Hacker News · AI·· 9 小時前AI 評分33
Chris Shiflett:準備好了沒,AI 來了
Ready or Not, Here Comes AI, by Chris Shiflett
AI 導讀
Chris Shiflett 主張,GPTBot 和 ClaudeBot 這類 AI 爬蟲很像 2004 年只能處理文字的 Googlebot,抓取 HTML 時大致會跳過 JavaScript,不過 OpenAI 的爬蟲最近似乎會在某些網站上執行腳本。他打造了兩項工具,用來檢查 AI 能否找到某個網站,以及它是否真的會推薦該網站,結果發現 robots.txt、sitemap、真正的 HTML 內容與結構化資料這些基本功,比任何 llms.txt 的花招都更重要。
來源:Hacker News · AI · shiflett.org