Hacker News · AI·· 10 小时前AI 评分42
AI爬虫的请求量超过所有搜索引擎之和,且三分之一的“Googlebot”是假冒的
AI crawlers read my site more than Google does. A third of Googlebots were fake
AI 导读
在不到两周的nginx日志中,AI爬虫发出的请求量几乎是所有搜索引擎总和的三倍,且超过三分之一的“Googlebot”是假冒的。五台租用的Google Cloud服务器使用了30个机器人名称发出2,496次请求,在首先读取robots.txt和站点地图后,探测密码和密钥文件。没有任何AI助手带来哪怕一位访客,而Google带来了108位。
来源:Hacker News · AI · opensource-analytics.com