跳至正文
Hacker News · AI·· 10 小時前AI 評分42

AI 爬蟲的請求量超過所有搜尋引擎的總和,而且三分之一的「Googlebot」是假的

AI crawlers read my site more than Google does. A third of Googlebots were fake

AI 導讀

在不到兩週的 nginx 日誌中,AI 爬蟲發出的請求量幾乎是所有搜尋引擎總和的三倍,而且超過三分之一的「Googlebot」是假的。五台租用的 Google Cloud 伺服器使用了 30 個機器人名稱發出 2,496 次請求,它們先讀取 robots.txt 和網站地圖,然後探測密碼與金鑰檔案。沒有任何 AI 助理帶來任何訪客,而 Google 帶來了 108 位。

來源:Hacker News · AI · opensource-analytics.com