跳至正文
熱點事件持續更新

AI Access Index:實測 684 個頂級網站對 AI 爬蟲的存取權限

1 篇報導1 個報導來源21 小時前更新

先了解這件事

AI 綜述

Crawl Readiness 發布了其 AI Access Index 的第一版,於 2026 年 11 月 1 日測量 Tranco 前 1,000 個主機名稱如何對待 AI 爬蟲;共有 684 個網站作出回應。在這 684 個網站中,79.7% 同時對 AI 搜尋與 AI 訓練開放,8.8% 允許 AI 搜尋但封鎖訓練,3.8% 為選擇性開放,7.7% 對 AI 封閉。 該指數還比較了 robots.txt 的聲明與伺服器的實際行為:在 547 個受測網站中,11.3% 拒絕其 robots.txt 所允許的爬蟲;而在 124 個受測網站中,63.7% 仍向被其 robots.txt 封鎖的爬蟲提供服務。 已發布的檔案採用 CC BY-NC 4.0 授權,可自由分享與改作,惟僅限非商業用途並須註明出處;商業用途(例如用於產品或出售的資料集)須取得 Crawl Readiness 的許可。不在樣本內的網站可用相同方式免費檢查,樣本內的網站則可要求將其資料列從已發布的檔案中移除。

AI 依報導生成 · 20 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. Hacker News · AI
    AI 存取指數:前 1,000 個主機名稱中有 684 個如何對待 AI 爬蟲

    Crawl Readiness 發布了第一版 AI 存取指數,於 2026 年 11 月 1 日測量 Tranco 前 1,000 個主機名稱如何對待 AI 爬蟲,共有 684 個網站回應。這 684 個網站中,79.7% 同時對 AI 搜尋與 AI 訓練開放,8.8% 允許 AI 搜尋但封鎖訓練,3.8% 採選擇性策略,7.7% 對 AI 關閉。該指數也比較了 robots.txt 與伺服器行為:547 個受測網站中有 11.3% 拒絕了 robots.txt 允許的爬蟲,124 個受測網站中有 63.7% 向 robots.txt 封鎖的爬蟲提供內容。

本事件熱度走勢

可比範圍當前
6
可比範圍峰值
1011月19日 07:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。