Phân tích nhật ký máy chủ phát hiện trình thu thập dữ liệu AI vượt qua công cụ tìm kiếm
Bắt đầu từ đây
Một tác giả tại opensource-analytics.com đã phân tích chưa đầy hai tuần nhật ký nginx của trang web của họ và phát hiện ra rằng các trình thu thập dữ liệu AI đã thực hiện số yêu cầu gần gấp ba lần so với tất cả các công cụ tìm kiếm cộng lại. Tác giả chỉ tính một yêu cầu là thật nếu địa chỉ của nó thuộc về công ty đứng sau bot, được xác minh thông qua các danh sách công bố, DNS hoặc mạng đã đăng ký của công ty. Hơn một phần ba số yêu cầu tự nhận là "Googlebots" là giả. Năm máy chủ Google Cloud thuê đã sử dụng 30 tên bot cho 2.496 yêu cầu, đọc robots.txt và sitemap trước khi thăm dò các tệp mật khẩu và khóa. Không có trợ lý AI nào gửi một khách truy cập nào, trong khi Google gửi 108.
Tạo từ các bài viết · cập nhật 10 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIBot thu thập dữ liệu AI gửi yêu cầu nhiều hơn tất cả công cụ tìm kiếm cộng lại, và một phần ba số "Googlebot" là giả mạo
Chỉ trong chưa đầy hai tuần nhật ký nginx, bot thu thập dữ liệu AI đã gửi số yêu cầu gần gấp ba lần tất cả công cụ tìm kiếm cộng lại, và hơn một phần ba số "Googlebot" là giả mạo. Năm máy chủ Google Cloud thuê đã dùng 30 tên bot cho 2.496 yêu cầu, dò tìm các tệp mật khẩu và khóa sau khi đọc robots.txt và sitemap trước. Không trợ lý AI nào gửi một lượt truy cập nào, trong khi Google gửi 108.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 8
- Đỉnh, trong khoảng so sánh được
- 1017 tháng 11 23:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.