跳到正文
热点事件持续更新

Andrew 提出用 Transcript Testing 验证 AI 生成的代码

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

博客作者 Andrew 提出“Transcript Testing”:不对单个值做断言,而是让测试记录一份人类可读的系统行为 transcript,再与预期的 transcript 比对,这样评审者就能读到代码实际做了什么。他在一个关于 Parquet Bloom filter pruning 的 Apache DataFusion pull request 上做了演示:原本 400 行由 AI 生成的测试被替换为 transcript 输出,显示读取了哪些 filter 和 page。 Andrew 指出这种方法并不新鲜,并引用了 Oracle 的 ORATEST 和 DataFusion 的 sqllogictests,但他认为 AI 如今让 transcript 生成器的成本低到可以更频繁地使用。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. Hacker News · AI
    转录测试:编写供人工审查的 AI 生成代码测试

    Andrew 提出 Transcript Testing,一种测试风格:记录系统行为的可读转录,并将其与预期转录进行断言,以帮助审查者验证 AI 编写的代码。他以 Apache DataFusion 中关于 Parquet Bloom filter pruning 的 PR 为例说明:一个 400 行的 AI 生成测试被转录输出取代,该输出显示了读取了哪些过滤器和页面。他指出该方法并不新颖,并引用了 Oracle 的 ORATEST 和 DataFusion 的 sqllogictests,但认为 AI 现在使转录生成器足够廉价,可以更频繁地使用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。