开发者推出免费 AI 爬虫访问检测工具

一位开发者发布了 FloxoLab AI Crawler Access Checker，这是一款免费工具，用于检测 14 种 AI 爬虫是否能够实际读取指定页面。该工具按照 RFC 9309 读取 robots.txt，并以每种爬虫的 user agent 重新请求该 URL，将状态码和响应头与普通浏览器请求进行对比，最终为每种爬虫给出判定结果。 该工具无需账号，每 10 分钟最多可检测 8 次。它读取最大 3 MB 的原始 HTML，不跟进需要身份验证的页面；仅检测 80 和 443 端口，并拒绝私有、本地及内网地址。据开发者称，检测按请求执行，报告仅返回至用户浏览器，不保留 URL 或结果的数据库。

AI 根据报道生成 · 9 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。