Nhóm Claude Code của Anthropic trình bày chi tiết cách họ xác minh mã do agent viết
Bắt đầu từ đây
Nhóm Claude Code của Anthropic cho biết khoảng 90% mã của họ được Claude viết và đánh giá, và họ dựa vào các vòng xác minh để giao việc ở quy mô đó. Trong thử nghiệm nội bộ về tạo tệp có cấu trúc, một bộ chấm điểm riêng kiểm tra đầu ra của Claude theo rubric đã cải thiện tỷ lệ thành công của tác vụ lên tới 10 điểm so với một vòng nhắc lệnh tiêu chuẩn, với mức cải thiện lớn nhất ở những bài toán khó nhất, nhóm cho biết. Nhóm ưu tiên các bài kiểm thử đầu-cuối, kiểm thử thuộc tính và kiểm thử vi phân, đồng thời cho Claude chạy một kỹ năng xác minh trước khi commit thay đổi. Nếu một kiểm tra vẫn thất bại sau ba vòng, Claude dừng lại và gọi con người vào. Các kiểm tra nằm trên một nhánh mà thay đổi không thể sửa đổi; chế độ quan sát ghi lại những gì lẽ ra đã bị chặn để có thể xem xét dương tính giả, và nếu commit bị chặn hai lần trong một phiên thì lần tiếp theo sẽ được cho qua để Claude không bị kẹt.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Anthropic · Claude.devTuyển chọnCách nhóm Claude Code tiếp cận việc xác minh mã do agent viết
Nhóm Claude Code cho biết khoảng 90% mã của họ được Claude viết và đánh giá, và họ dựa vào các vòng lặp xác minh để ủy thác ở quy mô đó. Trong thử nghiệm nội bộ về tạo tệp có cấu trúc, một bộ chấm điểm riêng kiểm tra công việc của Claude theo rubric đã cải thiện tỷ lệ thành công của tác vụ lên tới 10 điểm so với vòng lặp nhắc lệnh tiêu chuẩn, với mức tăng lớn nhất ở những bài toán khó nhất. Nhóm ưu tiên kiểm thử đầu-cuối, kiểm thử thuộc tính và kiểm thử vi sai, chạy một kỹ năng xác minh trước khi commit, chuyển một bước kiểm tra cho con người sau ba vòng sửa lỗi thất bại, và giữ các bước kiểm tra trên một nhánh mà thay đổi không thể sửa đổi.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.