Hacker News · AI·· 6 ชม. ที่แล้วคะแนน AI38
Show HN: FloxoLab AI Crawler Access Checker ทดสอบ AI Crawler 14 ตัว
Show HN: I built a tool to check website access for 14 AI crawlers
สรุปโดย AI
นักพัฒนาคนหนึ่งเปิดตัว FloxoLab AI Crawler Access Checker เครื่องมือฟรีที่ทดสอบว่า AI crawler 14 ตัวสามารถอ่านหน้าเว็บที่กำหนดได้จริงหรือไม่ โดยอ่าน robots.txt ตาม RFC 9309 แล้วส่งคำขอ URL ซ้ำด้วย user agent ของ crawler แต่ละตัว และเปรียบเทียบรหัสสถานะและเฮดเดอร์กับการร้องขอผ่านเบราว์เซอร์ปกติ จากนั้นคืนผลตัดสินแยกตาม crawler แต่ละตัว เครื่องมือนี้ใช้ฟรีไม่ต้องมีบัญชี และจำกัด 8 ครั้งต่อ 10 นาที
แหล่งข่าว:Hacker News · AI · floxolab.com