Meta trình bày chi tiết triển khai sản xuất Catching JiTTests với quy trình đánh giá có con người trong vòng lặp

Meta đã đưa Catching JiTTests, phương pháp tạo kiểm thử đúng lúc dựa trên LLM của mình, từ nguyên mẫu nghiên cứu vào hạ tầng sản xuất và công bố kết quả trong bài báo FSE 2026 "Just-in-Time Catching Test Generation at Meta." Hệ thống chạy qua đêm trên công suất dư thừa, nhắm vào các diff rủi ro, tạo kiểm thử thông qua quy trình dodgy-diff và nhận biết ý định, đồng thời lọc dương tính giả bằng một tập hợp LLM-as-Judge cùng bộ đánh giá RubFake dựa trên quy tắc trước khi đến tay kỹ sư. Tính đến thời điểm viết bài, 589 kỹ sư (64% số được tiếp cận) đã tương tác với kết quả, cho thấy tỷ lệ dương tính thật 60%, và trong nửa đầu năm 2026 hệ thống đã phát hiện 74 lỗi quyền riêng tư nghiêm trọng ở giai đoạn diff và giảm 20% SEV về quyền riêng tư.