跳到正文
Hacker News · AI·· 21 小时前AI 评分55

AI 访问指数:前 1,000 个主机名中有 684 个如何对待 AI 爬虫

AI Access Index: how 684 of the top thousand hostnames treat AI crawlers

AI 导读

Crawl Readiness 发布了其 AI 访问指数的第一版,于 2026 年 11 月 1 日测量了 Tranco 前 1,000 个主机名如何对待 AI 爬虫,其中 684 个站点作出了回应。这 684 个站点中,79.7% 对 AI 搜索和 AI 训练均开放,8.8% 允许 AI 搜索但阻止训练,3.8% 为选择性开放,7.7% 对 AI 关闭。该指数还比较了 robots.txt 与服务器行为:在 547 个受测站点中,11.3% 会拒绝其 robots.txt 允许的爬虫;在 124 个受测站点中,63.7% 会向其 robots.txt 阻止的爬虫提供内容。

来源:Hacker News · AI · crawlreadiness.com