Tới nội dung
Chỉ Nghiên cứu#Lập trình
13 tháng 11Thứ Sáu
  1. Hacker News · AI58

    Nghiên cứu phát hiện các ghim phiên bản lỗi thời kiểu AI trong 13,7% gói npm mới trong nửa đầu 2026

    Kobi Mozgori đã lấy mẫu 250.000 gói npm và phát hiện rằng các gói mới có phiên bản phụ thuộc được ghim chủ yếu là các số tròn x.0.0 đã bị thay thế đã tăng từ mức cơ sở 1–2,4% năm 2019 đến đầu 2024 lên 13,7% trong nửa đầu 2026, giảm xuống 7,6% trong nửa cuối 2026 tính đến đầu tháng 11. Phụ thuộc được ghim trung vị khoảng 155 ngày tuổi khi sinh ra trong giai đoạn 2021–2023 nhưng là 451 ngày trong quý 2 năm 2026, và tỷ lệ các gói sinh ra với về cơ bản tất cả các ghim đều ở bản phát hành mới nhất đã giảm từ khoảng 28% xuống khoảng 10%. Tác giả diễn giải mô hình này như một suy luận chứ không phải bằng chứng, vì siêu dữ liệu của registry không thể cho thấy ai hoặc cái gì đã viết một manifest, và lưu ý rằng sự sụt giảm từ giữa năm 2026 vẫn chưa được giải thích.

  2. Hacker News · AI58

    Bao nhiêu phần trong số công cụ AI được gắn sao nhiều nhất trên GitHub là do các tác nhân lập trình viết ra?

    Một phân tích toàn bộ lịch sử git của 52 kho lưu trữ công cụ AI được gắn sao nhiều nhất trên GitHub, bao gồm 324.088 commit, cho thấy ở kho lưu trữ trung vị, 16,9% số commit trong 180 ngày hoạt động gần nhất mang dấu hiệu AI, và 21 trong số 52 kho đạt từ 25% trở lên. Số sao và tỷ lệ commit có dấu hiệu AI không cho thấy mối liên hệ nào có thể phát hiện được (Spearman ρ = -0,05, p = 0,72), và 85,3% trong số 36.892 commit có dấu hiệu đến từ Claude, công cụ của nó mặc định thêm một trailer. Tác giả lưu ý rằng việc sử dụng AI nhiều tập trung ở các dự án bắt đầu từ năm 2025 trở đi, nên mẫu không thể tách biệt việc sử dụng AI khỏi tính gần đây, và mọi tỷ lệ phần trăm AI đều là giới hạn dưới.

6 tháng 11Thứ Sáu
  1. Microsoft Research58

    PDD Kit của Microsoft Research chính thức xác minh các ứng dụng web full-stack do agent viết

    Microsoft Research đã giới thiệu PDD Kit, một nguyên mẫu nghiên cứu biến ý định bằng ngôn ngữ tự nhiên của nhà phát triển thành đặc tả hình thức Verus, chứng minh mã Rust do coding agent viết thỏa mãn đặc tả đó với mọi đầu vào, và quay về kiểm thử ở những nơi chứng minh không thể vươn tới. Trong một bản demo bên trong Chopin của GitHub Next, nhóm đã dùng PDD Kit để xác minh logic đăng nhập của Pet Store, một ứng dụng full-stack Rust khoảng 5.000 dòng, với việc nhà phát triển xem xét tạo tác ý định thay vì từng dòng mã được sinh ra. PDD Kit hiện chỉ xác minh Rust, và các bảo đảm của nó dựa trên sáu thành phần tin cậy đã được nhà phát triển phê duyệt, bao gồm kiểm tra mật khẩu bcrypt và hai lần tra cứu cơ sở dữ liệu.

30 tháng 10Thứ Sáu
  1. Meta Engineering Blog58

    Meta trình bày chi tiết triển khai sản xuất Catching JiTTests với quy trình đánh giá có con người trong vòng lặp

    Meta đã đưa Catching JiTTests, phương pháp tạo kiểm thử đúng lúc dựa trên LLM của mình, từ nguyên mẫu nghiên cứu vào hạ tầng sản xuất và công bố kết quả trong bài báo FSE 2026 "Just-in-Time Catching Test Generation at Meta." Hệ thống chạy qua đêm trên công suất dư thừa, nhắm vào các diff rủi ro, tạo kiểm thử thông qua quy trình dodgy-diff và nhận biết ý định, đồng thời lọc dương tính giả bằng một tập hợp LLM-as-Judge cùng bộ đánh giá RubFake dựa trên quy tắc trước khi đến tay kỹ sư. Tính đến thời điểm viết bài, 589 kỹ sư (64% số được tiếp cận) đã tương tác với kết quả, cho thấy tỷ lệ dương tính thật 60%, và trong nửa đầu năm 2026 hệ thống đã phát hiện 74 lỗi quyền riêng tư nghiêm trọng ở giai đoạn diff và giảm 20% SEV về quyền riêng tư.

24 tháng 10Thứ Bảy
  1. Epoch AI · Gradient Updates42

    Epoch Brief: Thử nghiệm tự động hóa công việc bằng AI, Chuẩn đánh giá SpireClimb và bước tiến biên giới của Gemini 4 Argon

    Epoch AI đã thử nghiệm sáu mô hình hàng đầu trên 11 nhiệm vụ công việc thực tế của Epoch và nhận thấy không mô hình nào có thể đáp ứng đáng tin cậy tiêu chuẩn chất lượng của mình, với Claude Fable 5.1 và GPT-6 Astra gần như ngang bằng nhau ở vị trí dẫn đầu. Chuẩn đánh giá SpireClimb mới của họ cho thấy các mô hình biên giới đã đi từ chỗ chật vật với Slay the Spire đến chỗ thắng hơn 90% các lượt chơi ở độ khó cơ bản trong sáu tháng, với GPT-6 Astra đạt 98%. Gemini 4 Argon đạt 166 điểm trên Chỉ số Năng lực Epoch, ngang bằng với Claude Fable 5.1 và xếp sau Claude Opus 5.5 và GPT-6 Astra ở mức 169.

5 tháng 10Thứ Hai
  1. GitHub Blog · AI & ML58

    GitHub phát hành ReviewBench, một benchmark mở cho đánh giá mã nguồn bằng AI

    GitHub đã phát hành ReviewBench, một benchmark mở dành cho các tác nhân đánh giá mã nguồn bằng AI, được xây dựng trên 219 pull request công khai thuộc 19 ngôn ngữ, với phân bố ngôn ngữ và quy mô kho mã mô phỏng theo 103,9 triệu pull request trên GitHub. Tập dữ liệu chuẩn (golden set) lấy các phát hiện từ người đánh giá là con người, các commit tiếp theo của tác giả, phân tích tĩnh và nhiều LLM tiên tiến, được chấm điểm bởi Claude Sonnet 5 theo một rubric đã công bố, và các kỹ sư cấp cao đã độc lập gán nhãn lại từng phát hiện với mức đồng thuận 96,6%. GitHub cho biết đánh giá ngoại tuyến của họ đối với tính năng đánh giá mã nguồn của Copilot đã dự đoán đúng hướng của một thử nghiệm A/B trong môi trường sản xuất, trong đó tỷ lệ được xử lý tăng 8,0%, độ phủ (recall) tăng 13,6% và chi phí cho mỗi lần đánh giá giảm 8,0%.

29 tháng 4Thứ Tư
  1. Factory58

    Factory đánh giá 13 mô hình trên code review, nhận thấy GPT-5.2 tốt nhất và MiniMax M2.7 rẻ nhất

    Factory đã xây dựng một benchmark mã nguồn mở thử nghiệm 13 mô hình trên 50 pull request thực tế từ Sentry, Grafana, Keycloak, Discourse và Cal.com, với mỗi mô hình review mỗi PR ít nhất ba lần ở mức nỗ lực suy luận cao và một giám khảo LLM chấm điểm các phát hiện so với một golden set do con người tuyển chọn. GPT-5.2 dẫn đầu với 60,5% F1 với $1,25 mỗi PR, trước Claude Opus 4.6 với 59,8% F1 và $3,11 mỗi PR, trong khi MiniMax M2.7 đạt 45,6% F1 với $0,15 mỗi PR và Kimi K2.5 đạt 51,9% F1 với $0,41. Factory cho biết chi phí chỉ giải thích khoảng 21% phương sai chất lượng, và họ đã mã nguồn mở golden set, các script đánh giá và một Droid Action GitHub Action hỗ trợ cả 13 mô hình.