Chris Shiflett:AI 爬蟲仍依賴基本 HTML
熱點事件持續更新
Chris Shiflett:AI 爬蟲仍依賴基本 HTML
1 篇報導1 個報導來源9 小時前更新
先了解這件事
AI 綜述
Chris Shiflett 認為,GPTBot 和 ClaudeBot 等 AI 爬蟲的行為很像 2004 年只能處理文字的 Googlebot:它們抓取 HTML,基本上會跳過 JavaScript,不過 OpenAI 的爬蟲最近似乎會在某些網站上執行腳本。他打造了兩項工具,用來測試 AI 能否找到某個網站,以及它是否真的會推薦該網站。 Shiflett 的結論是,robots.txt、sitemap、真正的 HTML 內容和結構化資料,比任何 llms.txt 技巧都更重要。這項發現是他用這些工具測試後得出的個人評估,並非實測到的排名效果。
AI 依報導生成 · 8 小時前更新
最新進展11月17日 23:46
Chris Shiflett:準備好了沒,AI 來了報導時間線
沿著報導,了解事件的不同側面。
11月17日
- Hacker News · AIChris Shiflett:準備好了沒,AI 來了
Chris Shiflett 主張,GPTBot 和 ClaudeBot 這類 AI 爬蟲很像 2004 年只能處理文字的 Googlebot,抓取 HTML 時大致會跳過 JavaScript,不過 OpenAI 的爬蟲最近似乎會在某些網站上執行腳本。他打造了兩項工具,用來檢查 AI 能否找到某個網站,以及它是否真的會推薦該網站,結果發現 robots.txt、sitemap、真正的 HTML 內容與結構化資料這些基本功,比任何 llms.txt 的花招都更重要。
本事件熱度走勢
- 可比範圍當前
- 8
- 可比範圍峰值
- 1011月18日 00:00
- 近 24 小時變化
- –
02.557.510
11月18日02:0004:0006:0008:00
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。