跳到正文
Meta Engineering Blog·· 15 天前AI 评分58

Meta详细说明“Catching JiTTests”的生产部署,采用人在回路审查

Catching Bugs Before They Land: JiTTesting’s Human-on-the-Loop Approach at Full Scale

AI 导读

Meta已将Catching JiTTests——其基于LLM的即时测试生成方法——从研究原型转入生产基础设施,并在FSE 2026论文《Just-in-Time Catching Test Generation at Meta》中公布了结果。该系统利用空闲算力在夜间运行,针对高风险diff,通过dodgy-diff和意图感知工作流生成测试,并在结果送达工程师之前,用LLM-as-Judge集成加上基于规则的RubFake评估器过滤误报。截至撰写时,589名工程师(占触达人数的64%)参与了结果互动,结果显示真阳性率为60%;在2026年上半年,该系统在diff阶段捕获了74个严重隐私缺陷,并将隐私SEV降低了20%。

来源:Meta Engineering Blog · engineering.fb.com