Hacker News · AI·· 9 小时前AI 评分33
Chris Shiflett:无论准备好与否,AI 已经来了
Ready or Not, Here Comes AI, by Chris Shiflett
AI 导读
Chris Shiflett 认为,GPTBot 和 ClaudeBot 等 AI 爬虫类似于 2004 年只能处理文本的 Googlebot,它们抓取 HTML,基本跳过 JavaScript,不过 OpenAI 的爬虫最近似乎会在某些网站上执行脚本。他构建了两个工具,用来检查 AI 能否找到某个网站,以及它是否真的会推荐该网站,结果发现 robots.txt、站点地图、真实的 HTML 内容和结构化数据这些基础要素,比任何 llms.txt 技巧都更重要。
来源:Hacker News · AI · shiflett.org