Developer launches free checker for AI crawler access
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
A developer has released the FloxoLab AI Crawler Access Checker, a free tool that tests whether 14 AI crawlers can actually read a given page. It reads robots.txt per RFC 9309, re-requests the URL with each crawler's user agent, and compares status codes and headers against a normal browser request, returning a verdict per crawler. The tool requires no account and is limited to 8 checks per 10 minutes. It reads raw HTML up to 3 MB and does not follow pages behind authentication; only ports 80 and 443 are checked, and private, local and internal network addresses are refused. According to the developer, checks run on request and reports return only to the user's browser, with no database of URLs or results kept.
สร้างจากรายงาน · อัปเดต 7 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIShow HN: FloxoLab AI Crawler Access Checker ทดสอบ AI Crawler 14 ตัว
นักพัฒนาคนหนึ่งเปิดตัว FloxoLab AI Crawler Access Checker เครื่องมือฟรีที่ทดสอบว่า AI crawler 14 ตัวสามารถอ่านหน้าเว็บที่กำหนดได้จริงหรือไม่ โดยอ่าน robots.txt ตาม RFC 9309 แล้วส่งคำขอ URL ซ้ำด้วย user agent ของ crawler แต่ละตัว และเปรียบเทียบรหัสสถานะและเฮดเดอร์กับการร้องขอผ่านเบราว์เซอร์ปกติ จากนั้นคืนผลตัดสินแยกตาม crawler แต่ละตัว เครื่องมือนี้ใช้ฟรีไม่ต้องมีบัญชี และจำกัด 8 ครั้งต่อ 10 นาที
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม