AI 访问指数:对 684 个顶级站点的 AI 爬虫访问情况进行了测量
先了解这件事
Crawl Readiness 发布了其 AI 访问指数的第一版,于 2026 年 11 月 1 日测量了 Tranco 排名前 1,000 的主机名如何对待 AI 爬虫;684 个站点作出了回应。在这 684 个站点中,79.7% 对 AI 搜索和 AI 训练均开放,8.8% 允许 AI 搜索但阻止训练,3.8% 为选择性开放,7.7% 对 AI 关闭。 该指数还比较了 robots.txt 声明与实际服务器行为:在 547 个受测站点中,11.3% 拒绝其 robots.txt 允许的爬虫;在 124 个受测站点中,63.7% 向其 robots.txt 阻止的爬虫提供内容。 已发布文件采用 CC BY-NC 4.0 许可,可免费共享和改编用于非商业用途并注明出处;商业用途(例如用于产品或用于出售的数据集)需要获得 Crawl Readiness 的许可。样本之外的站点可以用同样的方式免费检查,样本内的站点可以要求将其行从已发布文件中删除。
AI 根据报道生成 · 20 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AIAI 访问指数:前 1,000 个主机名中有 684 个如何对待 AI 爬虫
Crawl Readiness 发布了其 AI 访问指数的第一版,于 2026 年 11 月 1 日测量了 Tranco 前 1,000 个主机名如何对待 AI 爬虫,其中 684 个站点作出了回应。这 684 个站点中,79.7% 对 AI 搜索和 AI 训练均开放,8.8% 允许 AI 搜索但阻止训练,3.8% 为选择性开放,7.7% 对 AI 关闭。该指数还比较了 robots.txt 与服务器行为:在 547 个受测站点中,11.3% 会拒绝其 robots.txt 允许的爬虫;在 124 个受测站点中,63.7% 会向其 robots.txt 阻止的爬虫提供内容。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月19日 07:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。