Andrew 提出用 Transcript Testing 验证 AI 生成的代码
热点事件持续更新
Andrew 提出用 Transcript Testing 验证 AI 生成的代码
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
博客作者 Andrew 提出“Transcript Testing”:不对单个值做断言,而是让测试记录一份人类可读的系统行为 transcript,再与预期的 transcript 比对,这样评审者就能读到代码实际做了什么。他在一个关于 Parquet Bloom filter pruning 的 Apache DataFusion pull request 上做了演示:原本 400 行由 AI 生成的测试被替换为 transcript 输出,显示读取了哪些 filter 和 page。 Andrew 指出这种方法并不新鲜,并引用了 Oracle 的 ORATEST 和 DataFusion 的 sqllogictests,但他认为 AI 如今让 transcript 生成器的成本低到可以更频繁地使用。
AI 根据报道生成 · 1 小时前更新
最新进展11月14日 00:20
转录测试:编写供人工审查的 AI 生成代码测试报道时间线
沿着报道,了解事件的不同侧面。
11月14日
- Hacker News · AI转录测试:编写供人工审查的 AI 生成代码测试
Andrew 提出 Transcript Testing,一种测试风格:记录系统行为的可读转录,并将其与预期转录进行断言,以帮助审查者验证 AI 编写的代码。他以 Apache DataFusion 中关于 Parquet Bloom filter pruning 的 PR 为例说明:一个 400 行的 AI 生成测试被转录输出取代,该输出显示了读取了哪些过滤器和页面。他指出该方法并不新颖,并引用了 Oracle 的 ORATEST 和 DataFusion 的 sqllogictests,但认为 AI 现在使转录生成器足够廉价,可以更频繁地使用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。