Hacker News · AI·· 21 小時前AI 評分55
AI 存取指數:前 1,000 個主機名稱中有 684 個如何對待 AI 爬蟲
AI Access Index: how 684 of the top thousand hostnames treat AI crawlers
AI 導讀
Crawl Readiness 發布了第一版 AI 存取指數,於 2026 年 11 月 1 日測量 Tranco 前 1,000 個主機名稱如何對待 AI 爬蟲,共有 684 個網站回應。這 684 個網站中,79.7% 同時對 AI 搜尋與 AI 訓練開放,8.8% 允許 AI 搜尋但封鎖訓練,3.8% 採選擇性策略,7.7% 對 AI 關閉。該指數也比較了 robots.txt 與伺服器行為:547 個受測網站中有 11.3% 拒絕了 robots.txt 允許的爬蟲,124 個受測網站中有 63.7% 向 robots.txt 封鎖的爬蟲提供內容。
來源:Hacker News · AI · crawlreadiness.com