跳到正文
热点事件持续更新

AI 访问指数:对 684 个顶级站点的 AI 爬虫访问情况进行了测量

1 篇报道1 个报道来源21 小时前更新

先了解这件事

AI 综述

Crawl Readiness 发布了其 AI 访问指数的第一版,于 2026 年 11 月 1 日测量了 Tranco 排名前 1,000 的主机名如何对待 AI 爬虫;684 个站点作出了回应。在这 684 个站点中,79.7% 对 AI 搜索和 AI 训练均开放,8.8% 允许 AI 搜索但阻止训练,3.8% 为选择性开放,7.7% 对 AI 关闭。 该指数还比较了 robots.txt 声明与实际服务器行为:在 547 个受测站点中,11.3% 拒绝其 robots.txt 允许的爬虫;在 124 个受测站点中,63.7% 向其 robots.txt 阻止的爬虫提供内容。 已发布文件采用 CC BY-NC 4.0 许可,可免费共享和改编用于非商业用途并注明出处;商业用途(例如用于产品或用于出售的数据集)需要获得 Crawl Readiness 的许可。样本之外的站点可以用同样的方式免费检查,样本内的站点可以要求将其行从已发布文件中删除。

AI 根据报道生成 · 20 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Hacker News · AI
    AI 访问指数:前 1,000 个主机名中有 684 个如何对待 AI 爬虫

    Crawl Readiness 发布了其 AI 访问指数的第一版,于 2026 年 11 月 1 日测量了 Tranco 前 1,000 个主机名如何对待 AI 爬虫,其中 684 个站点作出了回应。这 684 个站点中,79.7% 对 AI 搜索和 AI 训练均开放,8.8% 允许 AI 搜索但阻止训练,3.8% 为选择性开放,7.7% 对 AI 关闭。该指数还比较了 robots.txt 与服务器行为:在 547 个受测站点中,11.3% 会拒绝其 robots.txt 允许的爬虫;在 124 个受测站点中,63.7% 会向其 robots.txt 阻止的爬虫提供内容。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月19日 07:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。