Andrew đề xuất Transcript Testing để xác minh mã do AI tạo ra
Bắt đầu từ đây
Andrew, một tác giả blog, đề xuất "Transcript Testing": thay vì khẳng định trên từng giá trị riêng lẻ, một bài kiểm thử ghi lại bản ghi hành vi hệ thống mà con người có thể đọc được và đối chiếu với bản ghi mong đợi, để người đánh giá có thể đọc được mã thực sự đã làm gì. Ông minh họa điều này trên một pull request của Apache DataFusion về việc cắt tỉa Parquet Bloom filter, nơi một bài kiểm thử do AI tạo ra dài 400 dòng được thay bằng đầu ra bản ghi cho thấy những filter và trang nào đã được đọc. Andrew lưu ý rằng cách tiếp cận này không mới, dẫn chứng ORATEST của Oracle và sqllogictests của DataFusion, nhưng lập luận rằng AI giờ đây khiến các trình tạo bản ghi trở nên rẻ đến mức có thể dùng thường xuyên hơn nhiều.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIKiểm thử bản ghi: Viết kiểm thử mã do AI tạo để con người đánh giá
Andrew đề xuất Kiểm thử bản ghi (Transcript Testing), một phong cách kiểm thử ghi lại bản ghi hành vi hệ thống mà con người có thể đọc được và đối chiếu với bản ghi mong đợi, nhằm giúp người đánh giá xác minh mã do AI viết. Ông minh họa bằng một PR của Apache DataFusion về cắt tỉa bộ lọc Bloom trên Parquet, trong đó một bài kiểm thử do AI tạo dài 400 dòng được thay bằng đầu ra bản ghi cho thấy những bộ lọc và trang nào đã được đọc. Ông lưu ý cách tiếp cận này không mới, dẫn chứng ORATEST của Oracle và sqllogictests của DataFusion, nhưng lập luận rằng AI hiện nay khiến các trình tạo bản ghi trở nên rẻ đến mức có thể dùng thường xuyên hơn nhiều.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.