Nhà phát triển ra mắt công cụ kiểm tra miễn phí quyền truy cập của AI crawler
Bắt đầu từ đây
Một nhà phát triển đã phát hành FloxoLab AI Crawler Access Checker, một công cụ miễn phí kiểm tra xem 14 AI crawler có thực sự đọc được một trang nhất định hay không. Công cụ đọc robots.txt theo RFC 9309, gửi lại yêu cầu đến URL với user agent của từng crawler, và so sánh mã trạng thái cùng header với một yêu cầu trình duyệt thông thường, trả về kết luận cho từng crawler. Công cụ không yêu cầu tài khoản và giới hạn 8 lần kiểm tra mỗi 10 phút. Công cụ đọc HTML thô tối đa 3 MB và không theo dõi các trang nằm sau xác thực; chỉ kiểm tra cổng 80 và 443, đồng thời từ chối các địa chỉ mạng riêng, cục bộ và nội bộ. Theo nhà phát triển, các lần kiểm tra chạy theo yêu cầu và báo cáo chỉ trả về trình duyệt của người dùng, không lưu cơ sở dữ liệu URL hay kết quả.
Tạo từ các bài viết · cập nhật 7 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIShow HN: FloxoLab AI Crawler Access Checker kiểm tra 14 trình thu thập dữ liệu AI
Một nhà phát triển đã ra mắt FloxoLab AI Crawler Access Checker, một công cụ miễn phí kiểm tra xem 14 trình thu thập dữ liệu AI có thực sự đọc được một trang nhất định hay không. Công cụ đọc robots.txt theo RFC 9309, gửi lại yêu cầu đến URL với user agent của từng trình thu thập dữ liệu, và so sánh mã trạng thái cùng header với một yêu cầu trình duyệt thông thường, trả về kết luận cho từng trình thu thập dữ liệu. Công cụ miễn phí, không cần tài khoản và giới hạn 8 lần kiểm tra mỗi 10 phút.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.