跳至正文
Meta Engineering Blog·· 15 天前AI 評分58

Meta 詳細說明「Catching JiTTests」的生產部署,並採用人在迴路中審查

Catching Bugs Before They Land: JiTTesting’s Human-on-the-Loop Approach at Full Scale

AI 導讀

Meta 已將 Catching JiTTests(其基於 LLM 的即時測試生成方法)從研究原型推進至生產基礎設施,並在 FSE 2026 論文《Just-in-Time Catching Test Generation at Meta》中發表了結果。該系統利用閒置算力在夜間運行,針對有風險的 diff,透過 dodgy-diff 與意圖感知工作流程生成測試,並在結果送達工程師之前,以 LLM-as-Judge 集成加上基於規則的 RubFake 評估器過濾誤報。截至撰寫本文時,已有 589 名工程師(佔觸達人數的 64%)參與了這些結果,結果顯示真陽性率為 60%;在 2026 年上半年,該系統在 diff 階段捕獲了 74 個嚴重的隱私缺陷,並將隱私 SEV 降低了 20%。

來源:Meta Engineering Blog · engineering.fb.com