Chris Shiflett: AI Crawlers vẫn phụ thuộc vào HTML cơ bản
Bắt đầu từ đây
Chris Shiflett lập luận rằng các trình thu thập dữ liệu AI như GPTBot và ClaudeBot hành xử khá giống Googlebot chỉ văn bản của năm 2004: chúng tải HTML và phần lớn bỏ qua JavaScript, mặc dù các trình thu thập của OpenAI gần đây có vẻ đã chạy script trên một số trang. Ông đã xây dựng hai công cụ để kiểm tra xem AI có thể tìm thấy một trang web hay không và liệu nó có thực sự đề xuất trang đó hay không. Kết luận của Shiflett là robots.txt, sitemap, nội dung HTML thực và dữ liệu có cấu trúc quan trọng hơn bất kỳ thủ thuật llms.txt nào. Phát hiện này là đánh giá của chính ông từ việc thử nghiệm với các công cụ đó, không phải là một hiệu ứng xếp hạng được đo lường.
Tạo từ các bài viết · cập nhật 8 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIChris Shiflett: Sẵn sàng hay chưa, AI đang đến
Chris Shiflett lập luận rằng các trình thu thập dữ liệu AI như GPTBot và ClaudeBot giống với Googlebot chỉ đọc văn bản của năm 2004, tải HTML và phần lớn bỏ qua JavaScript, mặc dù các trình thu thập dữ liệu của OpenAI gần đây có vẻ đã chạy script trên một số trang web. Ông đã xây dựng hai công cụ để kiểm tra xem AI có thể tìm thấy một trang web hay không và liệu nó có thực sự đề xuất trang đó hay không, phát hiện ra rằng những điều cơ bản như robots.txt, sitemap, nội dung HTML thực và dữ liệu có cấu trúc quan trọng hơn bất kỳ thủ thuật llms.txt nào.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 8
- Đỉnh, trong khoảng so sánh được
- 1018 tháng 11 00:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.