Hacker News · AI·· 8 小时前AI 评分38
Show HN:FloxoLab AI 爬虫访问检查器测试 14 种 AI 爬虫
Show HN: I built a tool to check website access for 14 AI crawlers
AI 导读
一位开发者推出了 FloxoLab AI 爬虫访问检查器,这是一款免费工具,用于测试 14 种 AI 爬虫是否真的能读取给定页面。它按照 RFC 9309 读取 robots.txt,用每种爬虫的 user agent 重新请求该 URL,并将状态码和响应头与普通浏览器请求进行对比,为每种爬虫返回一个判定结果。该工具免费且无需账号,限制为每 10 分钟 8 次检查。
来源:Hacker News · AI · floxolab.com