Hacker News · AI·· 8 小時前AI 評分38
Show HN: FloxoLab AI Crawler Access Checker 測試 14 款 AI 爬蟲
Show HN: I built a tool to check website access for 14 AI crawlers
AI 導讀
一位開發者推出了 FloxoLab AI Crawler Access Checker,這是一款免費工具,可測試 14 款 AI 爬蟲是否真的能讀取指定頁面。它會依 RFC 9309 讀取 robots.txt,以各爬蟲的 user agent 重新請求該 URL,並將狀態碼與標頭和一般瀏覽器請求進行比對,針對每款爬蟲回傳一項判定結果。該工具免費、無需帳號,限制為每 10 分鐘 8 次檢查。
來源:Hacker News · AI · floxolab.com