Chris Shiflett: AI Crawlers ยังคงพึ่งพา HTML พื้นฐาน
เริ่มตรงนี้
Chris Shiflett ให้เหตุผลว่า AI crawlers อย่าง GPTBot และ ClaudeBot มีพฤติกรรมคล้ายกับ Googlebot แบบ text-only ในปี 2004 คือดึง HTML และข้าม JavaScript เป็นส่วนใหญ่ แม้ว่า crawlers ของ OpenAI เมื่อเร็วๆ นี้ดูเหมือนจะรันสคริปต์บนบางเว็บไซต์ เขาสร้างเครื่องมือสองตัวเพื่อทดสอบว่า AI สามารถค้นหาเว็บไซต์ได้หรือไม่ และมันแนะนำเว็บไซต์นั้นจริงหรือไม่ ข้อสรุปของ Shiflett คือ robots.txt, sitemaps, เนื้อหา HTML จริง และ structured data สำคัญกว่ากลเม็ด llms.txt ใดๆ ข้อค้นพบนี้เป็นการประเมินของเขาเองจากการทดสอบด้วยเครื่องมือเหล่านั้น ไม่ใช่ผลการจัดอันดับที่วัดได้
สร้างจากรายงาน · อัปเดต 8 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIChris Shiflett: พร้อมหรือไม่ AI กำลังมา
Chris Shiflett ให้ความเห็นว่า AI crawler อย่าง GPTBot และ ClaudeBot มีลักษณะคล้าย Googlebot ในปี 2004 ที่รองรับเฉพาะข้อความ ดึง HTML และข้าม JavaScript เป็นส่วนใหญ่ แม้เมื่อเร็ว ๆ นี้ crawler ของ OpenAI ดูเหมือนจะรันสคริปต์บนบางเว็บไซต์ เขาสร้างเครื่องมือสองตัวเพื่อตรวจสอบว่า AI สามารถค้นหาเว็บไซต์ได้หรือไม่ และ AI แนะนำเว็บไซต์นั้นจริงหรือไม่ โดยพบว่าพื้นฐานอย่าง robots.txt, sitemap, เนื้อหา HTML จริง และ structured data สำคัญกว่ากลเม็ด llms.txt ใด ๆ
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 8
- จุดสูงสุดในช่วงที่เทียบได้
- 1018 พฤศจิกายน 00:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู