Tới nội dung
Sự việc nóngĐang diễn ra

Chris Shiflett: AI Crawlers vẫn phụ thuộc vào HTML cơ bản

1 bài viết1 nguồn đưa tinCập nhật 9 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Chris Shiflett lập luận rằng các trình thu thập dữ liệu AI như GPTBot và ClaudeBot hành xử khá giống Googlebot chỉ văn bản của năm 2004: chúng tải HTML và phần lớn bỏ qua JavaScript, mặc dù các trình thu thập của OpenAI gần đây có vẻ đã chạy script trên một số trang. Ông đã xây dựng hai công cụ để kiểm tra xem AI có thể tìm thấy một trang web hay không và liệu nó có thực sự đề xuất trang đó hay không. Kết luận của Shiflett là robots.txt, sitemap, nội dung HTML thực và dữ liệu có cấu trúc quan trọng hơn bất kỳ thủ thuật llms.txt nào. Phát hiện này là đánh giá của chính ông từ việc thử nghiệm với các công cụ đó, không phải là một hiệu ứng xếp hạng được đo lường.

Tạo từ các bài viết · cập nhật 8 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

17 tháng 11
  1. Hacker News · AI
    Chris Shiflett: Sẵn sàng hay chưa, AI đang đến

    Chris Shiflett lập luận rằng các trình thu thập dữ liệu AI như GPTBot và ClaudeBot giống với Googlebot chỉ đọc văn bản của năm 2004, tải HTML và phần lớn bỏ qua JavaScript, mặc dù các trình thu thập dữ liệu của OpenAI gần đây có vẻ đã chạy script trên một số trang web. Ông đã xây dựng hai công cụ để kiểm tra xem AI có thể tìm thấy một trang web hay không và liệu nó có thực sự đề xuất trang đó hay không, phát hiện ra rằng những điều cơ bản như robots.txt, sitemap, nội dung HTML thực và dữ liệu có cấu trúc quan trọng hơn bất kỳ thủ thuật llms.txt nào.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
8
Đỉnh, trong khoảng so sánh được
1018 tháng 11 00:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.