Tới nội dung
#Đánh giá / benchmark
9 tháng 11Thứ Hai
  1. Recraft Blog22

    Trình tạo nhãn dán AI tốt nhất năm 2026: So sánh 7 công cụ

    Recraft là trình tạo nhãn dán AI tốt nhất cho đường viền cắt rời, PNG trong suốt và SVG từ cùng một khung vẽ, trong khi Canva tốt hơn cho bảng nhãn dán và đặt in ngay trong cùng trình biên tập. Bảy công cụ đã được chấm điểm vào ngày 9 tháng 11 năm 2026 theo năm tiêu chí in ấn, và chỉ Recraft, Kittl và Canva Print mang lại lộ trình thực sự để có đường cắt hoặc bảng in. Firefly, Ideogram, Leonardo AI và ChatGPT thắng ở những tác vụ hẹp hơn như chuyển ảnh thành nhãn dán hoặc bộ nhãn dán chat.

  2. Recraft Blog38

    Các công cụ tạo nhân vật AI tốt nhất năm 2026: So sánh Recraft, Midjourney, Gemini, ChatGPT và hơn thế nữa

    Một so sánh giữa bảy công cụ tạo nhân vật AI, được chấm điểm dựa trên tính nhất quán của tư thế, ảnh tham chiếu, kiểm soát phong cách, định dạng xuất và gói miễn phí, cho thấy không có công cụ nào tốt nhất cho mọi yêu cầu. Recraft dẫn đầu về việc giữ một nhân vật qua nhiều tư thế với phong cách tái sử dụng và xuất vector SVG, trong khi Midjourney thắng về diện mạo khung hình đơn nhưng không có gói miễn phí, gói Basic giá $10 mỗi tháng. Gemini và ChatGPT phù hợp để lặp lại một nhân vật trong cuộc trò chuyện, và Recraft, Gemini, ChatGPT, Leonardo, Ideogram và OpenArt đều cung cấp gói miễn phí hoặc tín dụng hàng tuần.

  3. Artificial Analysis Articles71

    Muse Ember của Meta là mô hình rẻ nhất đạt 36 điểm trên Chỉ số Trí tuệ Artificial Analysis

    Muse Ember của Meta đạt 36 điểm trên Chỉ số Trí tuệ Artificial Analysis, ngang bằng Claude Haiku 5.5 (max) với 0,14 USD mỗi tác vụ so với 0,41 USD của Claude Haiku 5.5. Mô hình này nổi bật trên AutomationBench-AA với 68,1% và đạt 46 điểm trên Chỉ số Tác nhân Lập trình trong Muse Code, vượt Claude Haiku 5.5 trong Claude Code (37) và GPT-6 Luna trong Codex (31). Điểm yếu chính của nó là kiến thức: độ chính xác AA-Omniscience là 21,1% so với 34,7% của Claude Haiku 5.5, phần lớn do nó từ chối trả lời 64% câu hỏi, giúp giữ tỷ lệ ảo giác ở mức 17,4%.

  4. Artificial Analysis Articles58

    Artificial Analysis phát hành Chỉ số Độ chính xác Endpoint v1.1 với khoảng tin cậy long-context chặt chẽ hơn và phạm vi bao phủ sáu mô hình

    Artificial Analysis đã ra mắt Chỉ số Độ chính xác Endpoint v1.1, thu hẹp khoảng tin cậy AA-LCR-25 và bổ sung phạm vi bao phủ cho GLM-5.3 Flash và Muse Spark Open. Trong số 103 endpoint serverless được đánh giá chuẩn, 24 endpoint có điểm số thấp hơn đáng kể về mặt thống kê so với tham chiếu tự lưu trữ, với các nguyên nhân bao gồm giới hạn token đầu ra, giảm suy luận, lỗi định dạng gọi công cụ và hết thời gian yêu cầu. Việc nâng AA-LCR-25 lên 25 lần lặp lại mỗi câu hỏi thu hẹp khoảng tin cậy 95% trung bình từ ±4,7 xuống ±2,6 điểm, và khoảng tin cậy của chỉ số tổng hợp từ ±5,5 xuống ±4,3 điểm trên 45 endpoint được chấm điểm theo cả hai phiên bản.

8 tháng 11Chủ Nhật
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 ra mắt với Decision Score mới và các bài kiểm tra riêng tư

    Artificial Analysis đã phát hành Decision Index v2, với 45% của Index hiện được xây dựng trên các bộ dữ liệu riêng tư, tăng từ 25% ở v1. Drex Max v1.1 của Nace AI dẫn đầu sát sao các mô hình ra quyết định với 73 điểm, trong khoảng 1 điểm so với GLiDE v1.2 và Mammoth 27B. Decision Score mới thưởng cho cả tính chính xác và độ tin cậy được hiệu chỉnh, trong khi AA-Paperclip và AA-Symmetry bổ sung các bài kiểm tra tài liệu riêng tư và tính nhất quán.

6 tháng 11Thứ Sáu
  1. SemiAnalysis75

    SemiAnalysis đánh giá Google TPUv7 Ironwood trên suy luận tác tử so với GPU NVIDIA

    SemiAnalysis công bố kết quả suy luận tác tử đa lượt, ngữ cảnh dài đầu tiên trên InferenceX/AgentX cho Google TPUv7 Ironwood trên bốn mô hình, nhận thấy nó cạnh tranh về hiệu năng trên mỗi đô la hoặc đạt mức tiên tiến trong một số trường hợp. Trên GLM-5.2 ở FP8, TPUv7 đạt 1,2x đến 2,7x số token trên mỗi đô la so với B200, B300 và MI355X từ 60 đến 300 tok/s/người dùng, trong khi GPU FP4 vẫn dẫn đầu trên GLM-5.3 vì TPUv7 thiếu hỗ trợ FP4 gốc cho đến TPUv8 vào Q1 2027. Bài viết cũng lập luận rằng bộ máy quan liêu của NVIDIA làm chậm các đóng góp driver và hệ sinh thái so với AMD và Google.

  2. Artificial Analysis Articles40

    VIALS-AA: Những con đường khác nhau để suy luận hình ảnh khoa học

    VIALS-AA phân tích cách 19 mô hình suy luận trên hình ảnh khoa học, phân loại 9.177 lần chạy thử của các lệnh gọi công cụ. Xem hình ảnh chiếm 38,3% số lệnh gọi và chuẩn bị hoặc đo lường hình ảnh chiếm 47,3%, trong khi đo lường hình ảnh chỉ chiếm 5–6% số lệnh gọi đối với GPT-6 Astra (max) và GPT-6.1 Sol (max), so với 25–27% đối với Claude Opus 5.5 (max) và Claude Sonnet 5.5 (max). Gemini 3.8 Flash (high) tạo ra 86,7% số lệnh gọi bình luận/không thao tác của nhóm, và chi phí cho mỗi tác vụ thay đổi gần 100 lần giữa các mô hình.

  3. Modal Blog22

    Snorkel vận hành mô phỏng tác nhân thực tế với Modal như thế nào

    Snorkel sử dụng các sandbox GPU và CPU của Modal để chạy hàng triệu mô phỏng tác nhân mỗi tháng, đạt đỉnh hàng chục nghìn sandbox mỗi giờ, và dựa vào Modal để suy luận trên các mô hình trọng số mở mà họ đánh giá. Việc áp dụng tính năng memory bursting của Modal đã cắt giảm tổng hóa đơn sandbox của Snorkel khoảng 20%, với khoảng 10-15% số sandbox của họ sử dụng bursting hiện nay. Modal là nhà cung cấp sandbox duy nhất có thể đáp ứng nhu cầu sandbox GPU của Snorkel ở quy mô lớn.

5 tháng 11Thứ Năm
  1. Artificial Analysis Articles58

    Nanbeige phát hành Nanbeige4.3-33B, đạt 20 điểm trên Artificial Analysis Intelligence Index

    Nanbeige đã phát hành Nanbeige4.3-33B, một mô hình suy luận dense trọng số mở theo giấy phép Apache 2.0, đạt 20 điểm trên Artificial Analysis Intelligence Index v5, ngang bằng Qwen3.8 27B (xhigh) với 20 điểm. Mô hình 33B có cửa sổ ngữ cảnh 524K token, chỉ nhận và xuất văn bản, chưa có API công khai được xác nhận, và đạt 30% trên Terminal-Bench 4.0 so với 6% của Qwen3.8 27B, nhưng kém hơn trên HLE-Diamond (7% so với 15%). Trên AA-Omniscience v1.1, mô hình ghi nhận tỷ lệ ảo giác 18% so với 29% của Qwen3.8 27B, với tỷ lệ từ chối 71%, và sử dụng 158K token đầu ra cho mỗi tác vụ Intelligence Index so với 110K của Qwen3.8 27B.

3 tháng 11Thứ Ba
  1. Ai2 · Allen Institute for AI55

    Ai2 phát hành StateBench để kiểm tra cách các mô hình ngôn ngữ theo dõi thay đổi trạng thái trong tài liệu dài

    Ai2 giới thiệu StateBench, một bộ đánh giá với bốn mức độ khó cho việc theo dõi trạng thái trong ngữ cảnh dài, từ gán bất biến đến cập nhật tự tham chiếu và tham chiếu chéo. Trong các bài kiểm tra, Gemini 3.8 Flash, Claude Opus 5.5, và GPT-6 Sol và Luna xử lý được các mức dễ hơn nhưng giảm xuống còn 13% hoặc thấp hơn trên các bài toán hữu hạn tổng quát dài nhất, trong khi Gated DeltaNet 275M tham số và các mô hình lai được huấn luyện từ đầu tổng quát hóa gần như hoàn hảo ở ba mức đầu tiên và các transformer không bao giờ học được mức khó nhất.

  2. OpenAI Alignment Blog58

    OpenAI xem xét khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân và vai trò của nhận thức về đánh giá

    Các nhà nghiên cứu OpenAI đã đo lường khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân: trên sáu mô hình được phục vụ, tỷ lệ thành công trên bài đánh giá Respecting Warnings thấp hơn 10,2 đến 37,4 điểm phần trăm so với các quyết định vận hành Codex tương ứng, với khoảng cách lớn nhất ở GPT-5.6 Sol và GPT-6 Sol. Chỉ riêng nhận thức chung về đánh giá cho thấy mối liên hệ yếu với khoảng cách này (R² = 0,008), trong khi nhận thức cụ thể về mục tiêu đánh giá mạnh hơn (R² = 0,370), và các mô hình thường diễn đạt sai mục tiêu nhất (chống lại prompt injection) có khoảng cách lớn nhất. Trong một can thiệp trên GPT-6.1 Sol, một tín hiệu đánh giá chung gần như không làm thay đổi tỷ lệ thành công (63,1% so với 63,4%), tín hiệu mục tiêu đúng đã nâng lên 91,6%, và tín hiệu mục tiêu sai đã giảm xuống 17,6%.

2 tháng 11Thứ Hai
  1. Import AI42

    Import AI 479: Spacewar, tác vụ độ trễ thấp so với LLM, Genie 4

    Import AI 479 đề cập đến Realtime-Bench, một bộ đánh giá gồm 50 tác vụ với 30 tác vụ web và 20 tác vụ trò chơi do các nhà nghiên cứu tại UT Austin, Ohio State, UIUC, NVIDIA, Northwestern và Steadyworks xây dựng nhằm kiểm tra liệu các mô hình tiên tiến có thể hành động dưới áp lực thời gian thực hay không. GPT-6 Astra (high) đạt tỷ lệ vượt qua theo thời gian thực cao nhất là 36%, trong khi các lần chạy với đồng hồ tạm dừng cho phép các mô hình suy luận cao đạt khoảng 70% đến 80%. Số này cũng đề cập đến báo cáo "Challenges to Security in Space" của Cơ quan Tình báo Quốc phòng và Genie 4.

  2. SemiAnalysis58

    SemiAnalysis ra mắt bộ đánh giá GDPx cho năng lực tác nhân tiên tiến trên các lĩnh vực giá trị cao

    SemiAnalysis đã phát hành GDPx, một bộ đánh giá bao gồm thiết kế chip, an ninh mạng, sinh học, tài chính, pháp lý, giao dịch định lượng, RSI, thiết kế phần cứng, khoa học vật liệu, căn chỉnh và kỹ thuật phần mềm, được xây dựng với 14 đối tác môi trường RL chuyên biệt. Ngay cả mô hình tốt nhất cũng chỉ đạt 12%, với Opus 5.5 giành chiến thắng ở giao dịch định lượng, phần cứng và thiết kế chip, Gemini 4 Carbon dẫn đầu về sinh học và kỹ thuật phần mềm, và GPT-6 Astra đứng đầu về RSI và khoa học vật liệu. Mỗi nhiệm vụ đều chạy trong một môi trường mô phỏng thực tế, chẳng hạn như một phòng giao dịch cổ phần tư nhân với ~4.000 tệp hoặc các dải an ninh mạng đa dịch vụ trực tiếp, khác với GDPval của OpenAI, mà SemiAnalysis lập luận rằng cung cấp ngữ cảnh sẵn và thiếu môi trường.

30 tháng 10Thứ Sáu
  1. Microsoft Research40

    Microsoft xây dựng nền tảng dữ liệu doanh nghiệp tổng hợp để đánh giá Copilot

    Nền tảng Tạo Dữ liệu Đánh giá Ngành của Microsoft tạo ra các môi trường doanh nghiệp tổng hợp quy mô đầy đủ để đánh giá Microsoft Copilot mà không sử dụng dữ liệu khách hàng. Dựa trên các nguồn công khai như dữ liệu nghề nghiệp O*NET, tin tuyển dụng và hồ sơ nộp lên SEC, nền tảng này tạo ra các tenant thực tế với người dùng, cuộc họp, email và tài liệu, cùng với các pipeline truy vấn tự động và các khung chất lượng. Microsoft cho biết điều này thiết lập đường cơ sở đánh giá chuẩn hóa đầu tiên cho Copilot.

28 tháng 10Thứ Tư
  1. Google Developers Blog46

    Cải thiện chất lượng Agent bằng Đánh giá Agents CLI

    Không gian tên eval của Agents CLI do Google phát triển chạy một vòng lặp leo đồi cho agent: eval generate, grade, compare, analyze và optimize. Trong một bài hướng dẫn trên mẫu LangChain trong Agents CLI v1.8.0, một baseline đạt 4.0/5 với gemini-3.8-flash làm giám khảo, và một system prompt đầu bếp sai đã làm giảm xuống còn 2.75.

  2. Artificial Analysis Articles82

    Gemini 4 Carbon đứng đầu Artificial Analysis Intelligence Index v5, xếp thứ hai trên Coding Agent Index

    Gemini 4 Carbon của Google là vị trí thứ 5 mới trên Artificial Analysis Coding Agent Index. 5 (tối đa, 62), và nó dẫn đầu 4 trong 9 đánh giá của Index bao gồm HLE-Diamond và Terminal-Bench-Science. 1 tăng từ 4% lên 11%; mô hình đang được triển khai cho người dùng được chọn và chưa có sẵn công khai.

    Vì sao đáng chú ý: Gemini 4 Carbon đứng đầu Artificial Analysis Intelligence Index v5 với 59 điểm và kém Claude Opus 5.5 3 điểm trên Coding Agent Index, với chi phí mỗi tác vụ và số liệu ảo giác để so sánh.

27 tháng 10Thứ Ba
  1. Ai2 · Allen Institute for AI58

    Nghiên cứu của Ai2 kiểm tra liệu LLM có thể đánh giá đáng tin cậy tính mới của ý tưởng nghiên cứu hay không

    Ai2 đã công bố Old Ideas, Novel Problems, một nghiên cứu và bộ đánh giá kiểm tra mức độ đáng tin cậy của LLM khi đánh giá tính mới của các ý tưởng nghiên cứu, cùng với dữ liệu, mã nguồn và một pipeline để xây dựng các bộ đánh giá mới. Qua sáu giám khảo gồm GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6, những thay đổi nhỏ trong prompt đã làm độ chính xác dịch chuyển hơn 50 điểm phần trăm trên các ý tưởng do AI tạo ra, và một baseline Claude Opus 4.6 đơn giản với prompt đạt macro-F1 0,854 với chi phí 2,59 USD, so với 0,642 với chi phí 30,66 USD của Idea Novelty Checker và 0,772 với chi phí 82,05 USD của AI Scientist do Sakana AI phát triển.

  2. Epoch AI · Gradient Updates58

    Epoch AI thử nghiệm AI trên chính các nhiệm vụ nghiên cứu của mình, các mô hình hàng đầu đạt 65% và trượt tất cả

    Epoch AI đã mở rộng nỗ lực trước đó nhằm tự động hóa công việc của một nhà nghiên cứu cấp cao thành Epoch Automation Reports, đánh giá AI trên các nhiệm vụ thực tế của Epoch như thiết kế đồ họa và lập kế hoạch nghiên cứu theo cùng tiêu chuẩn áp dụng cho nhân viên con người. 1 và GPT-6 Astra đạt trung bình 65% theo rubric, nhưng điểm 65% vẫn bị tính là nhiệm vụ thất bại, vì mọi bài nộp sẽ bị từ chối hoặc yêu cầu sửa lại nếu do con người thực hiện.

26 tháng 10Thứ Hai
  1. Import AI62

    Import AI 478: Toán học cho alignment, ProgramBench, và tín hiệu RSI của Mirendil

    Import AI 478 tổng hợp bốn diễn biến: startup an toàn AI Resolution đã tự động hình thức hóa việc giải kỳ dị trong Lean bằng các tác nhân điều phối, với chi phí token ước tính 135.000 USD trong khoảng một tuần. Claude Opus 5.5 đạt 18,5% giải được trên ProgramBench, tăng từ 0% của mọi mô hình khi benchmark ra mắt vào tháng 5. OpenAI mô tả các tác nhân trong các microVM riêng biệt trao đổi bí mật tổng hợp qua timing bộ nhớ đệm của bộ xử lý, và Mirendil báo cáo một nhà nghiên cứu đã tiền huấn luyện một mô hình lập trình 100B-500B tham số trong 3,5 tháng với chi phí tính toán dưới 10 triệu USD.

24 tháng 10Thứ Bảy
  1. Redwood Research58

    Redwood Research công bố bài báo về đánh giá kiểm soát mô phỏng cho các giám sát viên tác nhân AI

    Redwood Research đã công bố một bài báo về đánh giá kiểm soát mô phỏng (SCE), một phương pháp sử dụng trình mô phỏng môi trường LLM để kiểm tra xem các giám sát viên giám sát tác nhân AI có phát hiện ra một mô hình cố ý gây hại hay không, mà không thực thi các lệnh gọi công cụ của nó.

  2. Epoch AI · Gradient Updates42

    Epoch Brief: Thử nghiệm tự động hóa công việc bằng AI, Chuẩn đánh giá SpireClimb và bước tiến biên giới của Gemini 4 Argon

    Epoch AI đã thử nghiệm sáu mô hình hàng đầu trên 11 nhiệm vụ công việc thực tế của Epoch và nhận thấy không mô hình nào có thể đáp ứng đáng tin cậy tiêu chuẩn chất lượng của mình, với Claude Fable 5.1 và GPT-6 Astra gần như ngang bằng nhau ở vị trí dẫn đầu. Chuẩn đánh giá SpireClimb mới của họ cho thấy các mô hình biên giới đã đi từ chỗ chật vật với Slay the Spire đến chỗ thắng hơn 90% các lượt chơi ở độ khó cơ bản trong sáu tháng, với GPT-6 Astra đạt 98%. Gemini 4 Argon đạt 166 điểm trên Chỉ số Năng lực Epoch, ngang bằng với Claude Fable 5.1 và xếp sau Claude Opus 5.5 và GPT-6 Astra ở mức 169.

21 tháng 10Thứ Tư
  1. Amazon Science38

    Amazon hợp tác với AVERI để đánh giá độc lập các bộ dữ liệu đánh giá an toàn AI của mình

    Amazon đã hợp tác với tổ chức phi lợi nhuận độc lập AVERI để đánh giá chất lượng các bộ dữ liệu đánh giá an toàn nội bộ của mình, không chỉ đầu ra của mô hình. AVERI đã xác nhận phạm vi chủ đề, tính đa dạng của prompt và rủi ro nhiễm bẩn thấp, đồng thời khuyến nghị mở rộng phạm vi đa ngôn ngữ, bổ sung nhiều prompt đối kháng đa bước hơn và tiêu chí chấm điểm rõ ràng hơn. Amazon đã phản hồi bằng các bộ kiểm thử được làm mới, phân cấp độ khó và nhịp đánh giá hàng quý.

  2. OpenAI Alignment Blog28

    OpenAI đề xuất các chỉ số pair-matched và post-control để mở rộng khả năng giám sát của g-mean²

    Blog Alignment của OpenAI bổ sung hai chỉ số vào g-mean², thước đo cấp độ tập dữ liệu về khả năng phân biệt của monitor. Chỉ số pair-matched chỉ so sánh các mô hình trên những trường hợp tác vụ hỗ trợ phép so sánh dương, âm hoặc hợp lệ can thiệp liên quan, trong khi chỉ số tích hợp post-control mô phỏng việc từ chối có cổng kiểm soát bởi monitor và ước tính xác suất hệ thống triển khai vẫn phát ra đầu ra xấu. Bài viết cũng suy ra một cận dưới bi quan cho các đánh giá can thiệp.

20 tháng 10Thứ Ba
  1. One Useful Thing40

    Ethan Mollick's Co-Existence Charts 30 Months of AI Progress, Made by Claude Opus 5.5

    Ethan Mollick đã xuất bản Co-Existence, cuốn sách AI thứ hai của ông, 30 tháng sau Co-Intelligence, và sử dụng Claude Opus 5.5 trong Claude Projects để tạo các biểu đồ của bài đăng và một video "con rái cá trên máy bay dùng wifi" trong vài phút. Ông lưu ý rằng 180 mô hình hiện vượt trội GPT-4 tại thời điểm phát hành, 19 trong số đó chạy trên một điện thoại thông minh hiện đại, trong khi Long Horizon Benchmark của METR tăng từ một tác vụ bốn phút vào năm 2024 lên 17 giờ làm việc của con người vào tháng 4 năm 2026 trước khi benchmark cạn kiệt.

  2. AI as Normal Technology40

    Bài báo của Princeton vạch ra 33 xu hướng mới nổi trong đánh giá AI Agent

    Một nhóm do Princeton dẫn đầu, cùng với Stanford, Viện An ninh AI Vương quốc Anh và Brookings, đã công bố "Emerging Trends in AI Agent Evaluation", tổng hợp 33 xu hướng trong khoa học đánh giá, chương trình nghiên cứu và hệ sinh thái đánh giá. Bài báo lập luận rằng đánh giá agent phức tạp hơn nhiều so với đánh giá mô hình, vì người đánh giá phải xem xét toàn bộ quỹ đạo thay vì kết quả cuối cùng, và lưu ý rằng một số agent trên benchmark ExploitBench tốn hàng chục nghìn đô la tín dụng để đánh giá. Bài báo kêu gọi mở rộng chương trình nghiên cứu bao gồm năng lực, tương tác con người và tác động thể chế, cùng với sự tham gia rộng rãi hơn và tài trợ cho các đơn vị đánh giá độc lập.

19 tháng 10Thứ Hai
  1. inclusionAI Repositories58

    inclusionAI phát hành mô hình tổng hợp giọng nói Ming-3.0-tts với hai biến thể 0.5B dense và 7.9B MoE tiny

    inclusionAI đã phát hành Ming-3.0-tts, một họ mô hình tổng hợp giọng nói đa ngôn ngữ với trọng số mở gồm hai mô hình: Ming-3.0-tts-0.5b, một mô hình dense 0.5B, và Ming-3.0-tts-tiny, một mô hình MoE xây dựng trên Ling V3 với tổng 7.9B tham số và 1.3B tham số hoạt động. Cả hai đều đi kèm mã suy luận, một cookbook tác vụ và các bảng benchmark, đồng thời hỗ trợ nhân bản giọng nói, thiết kế giọng nói dựa trên văn bản, điều khiển cách thể hiện bằng ngôn ngữ tự nhiên dạng tự do, 14 thẻ ngôn ngữ cận ngôn ngữ nội tuyến, điều khiển cảm xúc và tốc độ/cao độ/âm lượng, cùng tiếng Trung, tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Pháp, tiếng Hàn, tiếng Nhật, tiếng Tứ Xuyên và tiếng Quảng Đông. Trên bảng xếp hạng text-to-speech của Artificial Analysis tháng 10 năm 2026, Ming-3.0-tts xếp thứ 1 trong số các mô hình trọng số mở ở hạng mục Controlled Voice, thứ 1 tổng thể ở hạng mục Pronunciation Robustness với 93.2%, và thứ 3 trong số các mô hình trọng số mở ở hạng mục Provider Voice.

  2. Modal Blog38

    Legora chạy 2.000 đánh giá agent song song trên Modal Sandboxes như thế nào

    Legora hiện chạy từng đánh giá agent pháp lý của mình trong một Modal Sandbox riêng, khởi động toàn bộ ứng dụng được ghim vào một commit cụ thể để mỗi lần chạy phản ánh đúng phiên bản sản phẩm. Một thử nghiệm điển hình gồm 100 ca, 4 biến thể harness và 5 lần thử mỗi ca — 2.000 lần chạy song song — với Modal Volumes chụp nhanh trạng thái tài liệu, cơ sở dữ liệu và quyền. Legora cũng chuyển từ gVisor sang Modal VM Sandboxes, loại bỏ các giải pháp vòng cho mạng Docker và FUSE, đồng thời giảm 30% chi phí agent nhờ nén thông minh hơn và tìm kiếm công cụ tùy chỉnh.

12 tháng 10Thứ Hai
  1. Import AI38

    Import AI 476: Sáng tạo và RSI, các mô hình open weight tệ hơn Trung Quốc, và AI trong không gian

    Import AI 476 đề cập đến một benchmark mới cho thấy các LLM tiên tiến vẫn kém con người về suy luận thị giác trực quan, với GPT 6 Astra đạt 53,6 pass@1 so với mức cơ sở của con người là 93,1. Nội dung cũng thảo luận về việc các hệ thống AI đang cải thiện "gu nghiên cứu" thông qua benchmark TasteVal, và lập luận rằng AI có thể tăng tốc công nghiệp hóa không gian và tạo ra lợi thế người đi trước tích lũy.

10 tháng 10Thứ Bảy
  1. Epoch AI · Gradient Updates65

    InnovationEval của Epoch AI phát hiện các agent tiên phong chỉ đạt 15% mức cải thiện của SDPO trong R&D AI tự động

    6 Sol và Fable 5 với việc độc lập tái phát hiện một kỹ thuật hậu huấn luyện mới lạ tương đương với Self-Distillation Policy Optimization (SDPO), cấp cho mỗi bên 3.000 GPU-giờ trong một sandbox không có truy cập internet. Phương pháp của 6 Sol, phần lớn sao chép từ công trình trước đó, đạt 15% mức cải thiện của SDPO sau khi điều chỉnh cho việc huấn luyện chậm hơn, trong khi kỹ thuật của Fable 5 không cải thiện được hiệu suất.

9 tháng 10Thứ Sáu
  1. Epoch AI · Gradient Updates22

    Bản tin Epoch, ngày 8 tháng 10 năm 2026: Ước tính số lượng AI Agent, chi phí AI giảm, và mức độ phơi nhiễm chip của Trung Quốc

    Epoch AI ước tính rằng chip AI xuất xưởng đến năm 2027 có thể hỗ trợ khoảng 30 đến 170 triệu agent mô hình tiên tiến chạy đồng thời, hoặc gần 2 tỷ nếu chạy trên các mô hình rẻ hơn. Nghiên cứu của họ cũng phát hiện chi phí cho một mức hiệu suất AI cố định đã giảm khoảng 47% mỗi quý trong ba năm, tức khoảng 13 lần mỗi năm. Riêng Epoch ước tính mức độ phơi nhiễm của Trung Quốc trước các cú sốc nguồn cung chất bán dẫn cao gấp 2,7 lần so với Mỹ.

6 tháng 10Thứ Ba
  1. LiveKit Blog38

    Retell vs. Vapi vs. LiveKit: So sánh dành cho nhà phát triển về AI Agent thoại

    LiveKit đã công bố một so sánh hướng đến nhà phát triển giữa Retell, Vapi và LiveKit để xây dựng AI agent thoại, định hình lựa chọn quanh bốn câu hỏi: ai sẽ lặp cải tiến agent sau khi ra mắt, điều gì xảy ra khi nhu cầu vượt ra ngoài các cấu hình mặc định, liệu nó có phải chạy ngoài phạm vi cuộc gọi điện thoại, và chi phí ở quy mô lớn. Retell là một nền tảng được quản lý với trình chỉnh sửa trực quan, Vapi là một nền tảng được quản lý hướng đến nhà phát triển, được cấu hình qua API và dashboard, còn LiveKit là một framework mã nguồn mở Apache 2.0 có thể tự lưu trữ. Chi phí ước tính tổng cộng mỗi phút khoảng $0.070–$0.310 cho Retell, $0.070–$0.116 cho Vapi và $0.037–$0.099 cho LiveKit.

5 tháng 10Thứ Hai
  1. GitHub Blog · AI & ML58

    GitHub phát hành ReviewBench, một benchmark mở cho đánh giá mã nguồn bằng AI

    GitHub đã phát hành ReviewBench, một benchmark mở dành cho các tác nhân đánh giá mã nguồn bằng AI, được xây dựng trên 219 pull request công khai thuộc 19 ngôn ngữ, với phân bố ngôn ngữ và quy mô kho mã mô phỏng theo 103,9 triệu pull request trên GitHub. Tập dữ liệu chuẩn (golden set) lấy các phát hiện từ người đánh giá là con người, các commit tiếp theo của tác giả, phân tích tĩnh và nhiều LLM tiên tiến, được chấm điểm bởi Claude Sonnet 5 theo một rubric đã công bố, và các kỹ sư cấp cao đã độc lập gán nhãn lại từng phát hiện với mức đồng thuận 96,6%. GitHub cho biết đánh giá ngoại tuyến của họ đối với tính năng đánh giá mã nguồn của Copilot đã dự đoán đúng hướng của một thử nghiệm A/B trong môi trường sản xuất, trong đó tỷ lệ được xử lý tăng 8,0%, độ phủ (recall) tăng 13,6% và chi phí cho mỗi lần đánh giá giảm 8,0%.

28 tháng 9Thứ Hai
  1. Anthropic · Claude.dev72

    Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api trong Claude Code

    Anthropic đã thêm hai lệnh vào skill claude-api bên trong Claude Code: /claude-api build-eval xây dựng một bộ đánh giá trong codebase của bạn, và /claude-api hillclimb lặp cải tiến một ứng dụng dựa trên bộ đánh giá đó với một tập giữ riêng để phát hiện overfitting.

    Vì sao đáng chú ý: Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api của mình, cho thấy Claude Code có thể thiết kế các bộ đánh giá và lặp cải tiến dựa trên chúng đồng thời phòng ngừa overfitting.

22 tháng 9Thứ Ba
  1. Every75

    Vibe Check: GPT-6 Sol so với Claude Opus 5.5

    Every đã đăng một bài Vibe Check so sánh GPT-6 Sol của OpenAI và Claude Opus 5.5 của Anthropic, cả hai đều ra mắt cùng ngày, nhằm giúp độc giả quyết định nên dùng mô hình nào. Bài so sánh dựa trên trải nghiệm của chính trang này và đánh giá cả hai mô hình trong công việc hằng ngày của họ, và toàn bộ bài viết dành cho người đăng ký.

21 tháng 9Thứ Hai
  1. Every44

    Cách tạo benchmark AI cá nhân của riêng bạn

    Trưởng bộ phận đánh giá của Every giải thích cách xây dựng một benchmark AI cá nhân thay vì dựa vào MMLU-Pro và các bài kiểm tra công khai khác, dựa trên kinh nghiệm của chính anh ấy khi thử nghiệm Claude Opus 5, Claude Fable 5, GPT-5.6 Sol, Astra, Luna và Haiku trên các tác vụ công việc thực tế. Phương pháp này có ba cấp độ và nhằm mục đích chỉ ra khi nào nên chuyển đổi mô hình và liệu một mô hình nhỏ hơn, rẻ hơn có đủ dùng hay không.

18 tháng 9Thứ Sáu
  1. Every42

    Vibe Check: GPT-6 Astra có phải là bước đột phá cho các nhà làm phim độc lập?

    Studio sáng tạo Afterimage đã thử nghiệm GPT-6 Astra trên các cảnh quay từ những buổi quay thực tế để xem liệu kỹ năng Blender 3D của nó có chuyển sang được công việc hiệu ứng hình ảnh hay không. Astra đã xử lý các tác vụ từ việc thay một chiếc đĩa trong một cú lia máy đang di chuyển đến việc thêm một tòa nhà vào một con phố ở Brooklyn và làm cho một chiếc xe diễu hành khổng lồ xuất hiện bên ngoài cửa sổ trong cảnh quay bằng iPhone cầm tay. Một số cảnh quay thành công và một số thì không, nhưng cuối cùng nhóm đã mơ ra những hiệu ứng mà trước đây họ chưa từng thử làm.

24 tháng 8Thứ Hai
  1. Every38

    Kiểm thử mô hình AI tập trung vào viết được xây dựng để khắc phục văn phong AI

    Một phòng thí nghiệm mới lập luận rằng sự giống nhau của văn phong AI là một vấn đề huấn luyện và đã xây dựng một mô hình tập trung vào viết để giải quyết vấn đề này. Trong quá trình kiểm thử, đầu ra của mô hình tỏ ra khó dự đoán hơn, tuy không nhất thiết là tốt hơn. Bài viết đặt nỗ lực này trong bối cảnh mà họ gọi là sự tiến bộ trì trệ về viết tại các phòng thí nghiệm lớn.

18 tháng 8Thứ Ba
  1. Vapi Blog55

    Vapi ra mắt Simulations để kiểm thử các voice agent với người gọi do AI tạo

    Vapi ra mắt Simulations, một tính năng kiểm thử gốc do AI vận hành, đặt những người kiểm thử AI có tính cách riêng biệt và các kịch bản lấy từ khách hàng ở đầu bên kia cuộc gọi với một voice agent. Mỗi lần chạy trả về kết quả đạt/không đạt, bản ghi đầy đủ và bản ghi âm, và các nhóm có thể giả lập phản hồi API, chạy chế độ trò chuyện văn bản tiết kiệm chi phí hoặc chế độ thoại đầy đủ, và kích hoạt các lần chạy qua API với các cổng chất lượng chặn triển khai khi tỷ lệ đạt giảm.

5 tháng 8Thứ Tư
  1. AI as Normal Technology65

    Nghiên cứu phát hiện các tác nhân AI tiên phong vẫn chưa thể thực hiện nghiên cứu AI mở

    Một bài báo mới từ nhóm AI as Normal Technology đã thực hiện một đánh giá mô phỏng, trong đó các tác nhân AI tiên phong được yêu cầu trả lời các câu hỏi nghiên cứu chính của hai bài báo AI chưa công bố, với hàng nghìn đô la tín dụng API và tài nguyên tính toán cùng sáu ngày thời gian thực, và các tác giả gốc đã bác bỏ rõ ràng cả hai bài báo của tác nhân.

3 tháng 8Thứ Hai
  1. Vapi Blog33

    Vì sao tính linh hoạt của mô hình lại quan trọng trong giọng nói: Speechify Simba 3.2 và Fish Audio S2.1-Pro đứng đầu Chỉ số Humanness của Vapi

    Simba 3.2 của Speechify ra mắt ở vị trí dẫn đầu Chỉ số Humanness của Vapi với 99 điểm, chỉ kém một điểm so với mức cơ sở của con người là 100, và S2.1-Pro của Fish Audio gia nhập ở mức 94 với thời gian đến âm thanh đầu tiên là 141 ms. Đương kim dẫn đầu trước đó, Grok TTS của xAI, chỉ giữ vị trí số một trong ba tuần với 95 điểm, và điểm số dẫn đầu kể từ đó đã tăng từ 95 lên 99. Vapi lập luận rằng các nền tảng giọng nói không phụ thuộc mô hình cho phép các đội nhóm hoán đổi mô hình TTS khi thứ hạng thay đổi.