Show HN: FloxoLab AI Crawler Access Checker kiểm tra 14 trình thu thập dữ liệu AI
Một nhà phát triển đã ra mắt FloxoLab AI Crawler Access Checker, một công cụ miễn phí kiểm tra xem 14 trình thu thập dữ liệu AI có thực sự đọc được một trang nhất định hay không. Công cụ đọc robots.txt theo RFC 9309, gửi lại yêu cầu đến URL với user agent của từng trình thu thập dữ liệu, và so sánh mã trạng thái cùng header với một yêu cầu trình duyệt thông thường, trả về kết luận cho từng trình thu thập dữ liệu. Công cụ miễn phí, không cần tài khoản và giới hạn 8 lần kiểm tra mỗi 10 phút.