跳到正文
热点事件持续更新

Chris Shiflett:AI 爬虫仍然依赖基础 HTML

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Chris Shiflett 认为,GPTBot 和 ClaudeBot 等 AI 爬虫的行为很像 2004 年只处理文本的 Googlebot:它们抓取 HTML,基本跳过 JavaScript,不过 OpenAI 的爬虫最近似乎会在某些网站上执行脚本。他构建了两个工具,用来测试 AI 能否找到某个网站,以及它是否真的会推荐该网站。 Shiflett 的结论是,robots.txt、站点地图、真实的 HTML 内容和结构化数据,比任何 llms.txt 技巧都更重要。这一发现是他用这些工具测试后得出的个人判断,并非实测的排名效果。

AI 根据报道生成 · 8 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. Hacker News · AI
    Chris Shiflett:无论准备好与否,AI 已经来了

    Chris Shiflett 认为,GPTBot 和 ClaudeBot 等 AI 爬虫类似于 2004 年只能处理文本的 Googlebot,它们抓取 HTML,基本跳过 JavaScript,不过 OpenAI 的爬虫最近似乎会在某些网站上执行脚本。他构建了两个工具,用来检查 AI 能否找到某个网站,以及它是否真的会推荐该网站,结果发现 robots.txt、站点地图、真实的 HTML 内容和结构化数据这些基础要素,比任何 llms.txt 技巧都更重要。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月18日 00:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。