Tới nội dung
Chỉ Chính chủ#Đánh giá / benchmark
13 tháng 11Thứ Sáu
  1. LiveKit Blog62

    LiveKit thử nghiệm Gemini 4 Hydrogen so với 3.8 Flash trong một voice agent với các công cụ bị cố ý làm hỏng

    LiveKit đã chạy Gemini 4 Hydrogen và Gemini 3.8 Flash qua cùng một plugin Google trong một voice agent trợ lý du lịch với các công cụ bị cố ý làm lỗi, và Hydrogen tạo ra 0 báo cáo đặt chỗ sai trên 54 bản ghi, so với 2 của 3.8 Flash. Với Hydrogen ở mức high và 3.8 Flash ở mức mặc định, câu đầu tiên của Hydrogen đến sớm hơn 1,2 giây (4,0 giây so với 5,2 giây), và ở mức low trên cả hai thì sớm hơn 1,7 giây (2,8 giây so với 4,6 giây). Tác giả khuyến nghị dùng mức thinking medium hoặc high cho voice agent, lưu ý mức xhigh có trung vị 7,8 giây đến câu đầu tiên và trường hợp xấu nhất là 52 giây.

    Vì sao đáng chú ý: Bài kiểm tra thực tế của LiveKit cho thấy Gemini 4 Hydrogen báo cáo mọi lệnh gọi công cụ bị cố ý làm hỏng và bắt đầu trả lời sớm hơn 3.8 Flash, kèm dữ liệu độ trễ theo từng mức thinking cho voice agent.

  2. OpenRouter Announcements58

    OpenRouter thử nghiệm 11 reranker trên bộ benchmark RAG 274 câu hỏi

    OpenRouter đã benchmark 11 reranker trên một bộ dữ liệu RAG tổng hợp gồm 274 câu hỏi và phát hiện rằng việc rerank 30 ứng viên hàng đầu từ tìm kiếm vector bằng voyageai/rerank-3-lite đã nâng precision@1 từ 81,0% lên 97,1% với chi phí khoảng 0,10 USD cho mỗi 1.000 truy vấn. Hướng dẫn khuyến nghị truy xuất khoảng 30 chunk, rerank chúng, và chỉ gửi 3 chunk hàng đầu đến LLM, điều này trong thử nghiệm của họ đã nâng độ chính xác câu trả lời lên 99,3% đồng thời giảm chi phí trả lời từ 0,22 USD xuống 0,16 USD cho mỗi 1.000 câu hỏi. Nó cũng chỉ ra các chế độ lỗi: bỏ qua tham số input_type mất 7 đến 12 điểm precision@1, và cohere/rerank-v3.5 âm thầm bỏ qua nội dung vượt quá giới hạn 4.096 token của nó.

  3. LangChain Blog45

    Phát triển dựa trên đánh giá là gì? Cách cải thiện AI Agent

    LangChain giải thích phát triển dựa trên đánh giá (EDD), một quy trình ba bước để xây dựng AI Agent: xác định thế nào là tốt, viết đánh giá trước khi xây dựng, và so sánh kết quả sau mỗi thay đổi. Vì agent có tính không xác định, đánh giá sẽ chấm điểm các lần chạy trên một tập dữ liệu ví dụ và có thể dùng LLM-as-a-judge, với các lần chạy agent thực tế trong LangSmith làm nguồn đầu vào kiểm thử.

  4. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore Evaluations: trình đánh giá tích hợp, DeepEval và AutoEval

    Amazon Bedrock AgentCore Evaluations hiện cho phép các nhóm chạy các trình đánh giá tích hợp của AWS song song với các chỉ số DeepEval và AutoEval được quản lý, cùng các trình đánh giá tùy chỉnh bắt nguồn từ một trong hai. Danh mục tích hợp bao gồm 15 trình đánh giá trên chất lượng phản hồi, hoàn thành mục tiêu, sử dụng công cụ, kỹ năng và an toàn, với ba kiểm tra quỹ đạo cho các đường dẫn công cụ dự kiến. DeepEval bổ sung các chỉ số đa lượt như ConversationCompleteness và KnowledgeRetention, trong khi AutoEval đóng góp các tín hiệu chuyên biệt bao gồm bảo mật.

  5. AWS Machine Learning Blog60

    AWS mã nguồn mở UAEF, một hệ thống đánh giá độc lập với framework cho các tác nhân AI

    AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.

    Vì sao đáng chú ý: Nhóm AWS đã mã nguồn mở UAEF, sử dụng các adapter để thống nhất quỹ đạo tác nhân từ các framework khác nhau thành một định dạng duy nhất, sau đó chấm điểm chúng trên 7 khía cạnh bằng 36 chỉ số, cung cấp một lớp đánh giá có thể tái sử dụng để so sánh các phiên bản tác nhân across frameworks.

  6. AWS Machine Learning Blog40

    Agent DLC: Kỹ thuật AI Agent từ Nguyên mẫu đến Sản xuất

    AWS giới thiệu Agent Development Lifecycle (Agent DLC), một khung với một vòng đời, hai vòng lặp và một tiêu chuẩn rõ ràng duy nhất để đánh giá mọi thay đổi của agent. Nó giải quyết ba thuộc tính của agent khiến CI/CD thông thường bị phá vỡ: tính không xác định, prompt như mã nguồn và các phụ thuộc di chuyển độc lập. Một trợ lý chính sách nhân sự tham chiếu cho thấy độ chính xác truy xuất ở cấp độ đoạn là 1,00 trên cả ba câu hỏi kiểm tra trong khi độ chính xác ở cấp độ sự kiện giảm xuống 0,09 và độ phủ truy xuất đạt 0,00 ở một câu hỏi.

12 tháng 11Thứ Năm
  1. OpenRouter Announcements28

    Cách đánh giá LLM: Hướng dẫn chấm điểm bằng mã từ OpenRouter

    OpenRouter đã công bố hướng dẫn đánh giá LLM trên dữ liệu đầu vào của chính ứng dụng, chấm điểm đầu ra bằng mã và so sánh độ chính xác, chi phí tính phí và thời gian yêu cầu. Trên 60 tác vụ tổng hợp, GPT-6.1 Sol đã vượt qua 180/180 lần thử qua ba lần lặp lại, trong khi DeepSeek có chi phí phản hồi thấp nhất với 157/180 lần vượt qua. Mức độ đồng thuận với bảng xếp hạng công khai là yếu, với hệ số tương quan Spearman là 0.109.

11 tháng 11Thứ Tư
  1. inclusionAI Models34

    inclusionAI phát hành mô hình quyết định LemonDecider 4B v3 dựa trên Qwen3.5-4B

    inclusionAI đã phát hành LemonDecider 4B v3, một mô hình quyết định được tinh chỉnh từ Qwen3.5-4B, trả về xác suất lựa chọn, có/không hoặc thứ tự thông qua một lượt lan truyền xuôi kết hợp duy nhất thay vì sinh ra các token trả lời. Mô hình được huấn luyện trên khoảng 1,20M dòng quyết định/hỏi đáp và đạt 61,67 trên bộ công khai Decision Index 0.4, với độ trễ yêu cầu trung vị là 49,9 ms.

  2. OpenRouter Announcements60

    OpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM

    OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint của Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và không phát hiện sự khác biệt về độ chính xác giữa fp16, fp8 và fp4, với cả sáu endpoint đạt điểm từ 98,3% đến 99,2%. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn có giá rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc lựa chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn so với độ chính xác, với endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần so với rẻ nhất.

    Vì sao đáng chú ý: OpenRouter đã đo các endpoint fp8, fp4 và fp16 của một mô hình trên 240 tác vụ có đáp án chính xác và không tìm thấy khoảng cách độ chính xác có thể phát hiện được, trong khi chênh lệch giá phụ thuộc vào nhà cung cấp nhiều hơn là độ chính xác.

  3. OpenAI News28

    Kiến trúc sư trưởng JioStar Vijay Seshadri bàn về khám phá bằng AI ở quy mô 500 triệu người dùng

    Kiến trúc sư trưởng JioStar Vijay Seshadri chia sẻ bài học về vận hành khám phá bằng AI ở quy mô 500 triệu người dùng, bao gồm đánh giá, rào chắn bảo vệ và đưa AI vào sản xuất. Bài viết do OpenAI công bố tập trung vào các thực tiễn vận hành đằng sau triển khai AI quy mô lớn.

  4. inclusionAI Models40

    inclusionAI phát hành mô hình ZoomGain-9B và ZoomGain-4B cùng ZoomGainBench và dữ liệu huấn luyện RL

    inclusionAI đã phát hành các checkpoint mô hình thị giác-ngôn ngữ ZoomGain-9B và ZoomGain-4B, cùng với bộ đánh giá ZoomGainBench và dữ liệu huấn luyện RL ZoomGain. ZoomGain khai thác khoảng cách nhận thức từ toàn cục đến thu phóng để xây dựng giám sát thị giác chi tiết, và ZoomGain-9B đạt hiệu suất vượt trội trên nhiều bộ đánh giá nhận thức chi tiết và tổng quát. ZoomGainBench chứa 1.000 câu hỏi trên 941 hình ảnh, trong khi bộ dữ liệu RL có 9.000 bản ghi huấn luyện và 7.713 hình ảnh nguồn.

  5. inclusionAI Models40

    inclusionAI phát hành SingVL S1 4B - mô hình quyết định đa phương thức trên Qwen3.5

    inclusionAI đã phát hành SingVL S1, một mô hình quyết định đa phương thức 4B được xây dựng trên Qwen3.5, có khả năng trả lời các câu hỏi có tên trên văn bản hoặc JSON và tối đa bốn hình ảnh trong một lần chạy xuôi duy nhất của Transformers. Mô hình hỗ trợ câu hỏi lựa chọn, có/không (noul) và câu hỏi chấm điểm từ 2–10 mức, đạt 73,94 trên Public Vision Index và 69,76 trên Public Text Index. Mô hình đi kèm mã suy luận Python và một máy chủ HTTP FastAPI.

10 tháng 11Thứ Ba
  1. OpenRouter Announcements72

    OpenRouter đánh giá 15 mô hình thị giác và Mistral OCR trên tài liệu quét

    OpenRouter đã thử nghiệm 15 mô hình thị giác, Mistral OCR và Tesseract trên tám bản quét suy giảm tự tạo, và Claude Opus 5.5 chính xác nhất với 262 trong 264 giá trị khóa đúng với chi phí 16,42 đô la cho 1.000 trang, trong khi Mistral OCR có giá trị tốt nhất với 258 trong 264 với giá 2,02 đô la. Trên một hóa đơn mờ, GPT-6 Luna và GPT-6.1 Sol đã bịa ra chữ số thẻ, tên máy chủ và mật khẩu wifi, những lỗi mà tỷ lệ lỗi ký tự không phát hiện được. Bài viết bao gồm mã để phiên âm bản quét, tắt suy luận, kiểm tra chéo hai mô hình từ các phòng thí nghiệm khác nhau và chạy Mistral OCR thông qua plugin phân tích tệp.

    Vì sao đáng chú ý: Một đánh giá thực hành về 15 mô hình thị giác cùng Mistral OCR và Tesseract trên tám bản quét suy giảm, với mã có thể chạy để kiểm tra chéo hai mô hình nhằm phát hiện các giá trị bịa đặt.

  2. Apple Machine Learning Research31

    Nghiên cứu của Apple đánh giá các giám khảo LLM cho việc đánh giá phong cách viết cá nhân hóa

    Các nhà nghiên cứu của Apple đã kiểm tra mức độ mà các giám khảo LLM đánh giá xem văn bản được tạo có phù hợp với phong cách viết ưa thích của người dùng hay không, bằng cách tạo văn bản với bốn LLM trên ba tác vụ viết dài và so sánh chú thích của giám khảo với nhãn so sánh cặp của con người. Chất lượng giám khảo chỉ tương quan yếu với năng lực LLM tổng quát trên MMLU (Pearson's ρ ≤ 0.2) và thay đổi theo tác vụ viết và tiêu chí đánh giá, và so sánh cặp tỏ ra nhất quán hơn so với chấm điểm độc lập. Các LLM mạnh nhất không phải là những mô hình tái tạo đánh giá của con người một cách đáng tin cậy nhất, có thể do độ nhạy cảm quá mức với các chi tiết tinh tế.

  3. Recraft Blog34

    Trình tạo biểu tượng AI tốt nhất năm 2026: So sánh 7 công cụ

    Recraft được vinh danh là trình tạo biểu tượng AI tốt nhất năm 2026 sau khi so sánh bảy công cụ, chấm điểm bài kiểm tra phong cách nhất quán với năm biểu tượng và xuất SVG gốc. Recraft giữ nguyên độ dày nét và bán kính góc trên các glyph và xuất SVG có thể chỉnh sửa, trong khi Canva chỉ đạt một phần và Adobe Firefly cùng Midjourney đều trượt cả hai tiêu chí với đầu ra dạng raster.

  4. Recraft Blog22

    Trình tạo meme AI tốt nhất năm 2026: So sánh 7 công cụ

    Bảy trình tạo meme AI — Imgflip, Canva, Supermeme.ai, Recraft, Kapwing, ChatGPT và Magic Hour — đã được thử nghiệm trên gói miễn phí, hình mờ, mẫu, hiển thị chú thích, kích thước xuất và API bằng cùng ba đề bài meme. So sánh cho thấy không có người thắng chung cuộc: Imgflip thắng nhờ mẫu cổ điển, Supermeme.ai nhờ chuyển ý tưởng thành chú thích, Recraft và ChatGPT nhờ hình ảnh gốc, Kapwing nhờ video và GIF, còn Canva khi meme phải khớp với bố cục.

9 tháng 11Thứ Hai
  1. Recraft Blog22

    Trình tạo nhãn dán AI tốt nhất năm 2026: So sánh 7 công cụ

    Recraft là trình tạo nhãn dán AI tốt nhất cho đường viền cắt rời, PNG trong suốt và SVG từ cùng một khung vẽ, trong khi Canva tốt hơn cho bảng nhãn dán và đặt in ngay trong cùng trình biên tập. Bảy công cụ đã được chấm điểm vào ngày 9 tháng 11 năm 2026 theo năm tiêu chí in ấn, và chỉ Recraft, Kittl và Canva Print mang lại lộ trình thực sự để có đường cắt hoặc bảng in. Firefly, Ideogram, Leonardo AI và ChatGPT thắng ở những tác vụ hẹp hơn như chuyển ảnh thành nhãn dán hoặc bộ nhãn dán chat.

  2. Recraft Blog38

    Các công cụ tạo nhân vật AI tốt nhất năm 2026: So sánh Recraft, Midjourney, Gemini, ChatGPT và hơn thế nữa

    Một so sánh giữa bảy công cụ tạo nhân vật AI, được chấm điểm dựa trên tính nhất quán của tư thế, ảnh tham chiếu, kiểm soát phong cách, định dạng xuất và gói miễn phí, cho thấy không có công cụ nào tốt nhất cho mọi yêu cầu. Recraft dẫn đầu về việc giữ một nhân vật qua nhiều tư thế với phong cách tái sử dụng và xuất vector SVG, trong khi Midjourney thắng về diện mạo khung hình đơn nhưng không có gói miễn phí, gói Basic giá $10 mỗi tháng. Gemini và ChatGPT phù hợp để lặp lại một nhân vật trong cuộc trò chuyện, và Recraft, Gemini, ChatGPT, Leonardo, Ideogram và OpenArt đều cung cấp gói miễn phí hoặc tín dụng hàng tuần.

6 tháng 11Thứ Sáu
  1. Modal Blog22

    Snorkel vận hành mô phỏng tác nhân thực tế với Modal như thế nào

    Snorkel sử dụng các sandbox GPU và CPU của Modal để chạy hàng triệu mô phỏng tác nhân mỗi tháng, đạt đỉnh hàng chục nghìn sandbox mỗi giờ, và dựa vào Modal để suy luận trên các mô hình trọng số mở mà họ đánh giá. Việc áp dụng tính năng memory bursting của Modal đã cắt giảm tổng hóa đơn sandbox của Snorkel khoảng 20%, với khoảng 10-15% số sandbox của họ sử dụng bursting hiện nay. Modal là nhà cung cấp sandbox duy nhất có thể đáp ứng nhu cầu sandbox GPU của Snorkel ở quy mô lớn.

3 tháng 11Thứ Ba
  1. Ai2 · Allen Institute for AI55

    Ai2 phát hành StateBench để kiểm tra cách các mô hình ngôn ngữ theo dõi thay đổi trạng thái trong tài liệu dài

    Ai2 giới thiệu StateBench, một bộ đánh giá với bốn mức độ khó cho việc theo dõi trạng thái trong ngữ cảnh dài, từ gán bất biến đến cập nhật tự tham chiếu và tham chiếu chéo. Trong các bài kiểm tra, Gemini 3.8 Flash, Claude Opus 5.5, và GPT-6 Sol và Luna xử lý được các mức dễ hơn nhưng giảm xuống còn 13% hoặc thấp hơn trên các bài toán hữu hạn tổng quát dài nhất, trong khi Gated DeltaNet 275M tham số và các mô hình lai được huấn luyện từ đầu tổng quát hóa gần như hoàn hảo ở ba mức đầu tiên và các transformer không bao giờ học được mức khó nhất.

  2. OpenAI Alignment Blog58

    OpenAI xem xét khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân và vai trò của nhận thức về đánh giá

    Các nhà nghiên cứu OpenAI đã đo lường khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân: trên sáu mô hình được phục vụ, tỷ lệ thành công trên bài đánh giá Respecting Warnings thấp hơn 10,2 đến 37,4 điểm phần trăm so với các quyết định vận hành Codex tương ứng, với khoảng cách lớn nhất ở GPT-5.6 Sol và GPT-6 Sol. Chỉ riêng nhận thức chung về đánh giá cho thấy mối liên hệ yếu với khoảng cách này (R² = 0,008), trong khi nhận thức cụ thể về mục tiêu đánh giá mạnh hơn (R² = 0,370), và các mô hình thường diễn đạt sai mục tiêu nhất (chống lại prompt injection) có khoảng cách lớn nhất. Trong một can thiệp trên GPT-6.1 Sol, một tín hiệu đánh giá chung gần như không làm thay đổi tỷ lệ thành công (63,1% so với 63,4%), tín hiệu mục tiêu đúng đã nâng lên 91,6%, và tín hiệu mục tiêu sai đã giảm xuống 17,6%.

30 tháng 10Thứ Sáu
  1. Microsoft Research40

    Microsoft xây dựng nền tảng dữ liệu doanh nghiệp tổng hợp để đánh giá Copilot

    Nền tảng Tạo Dữ liệu Đánh giá Ngành của Microsoft tạo ra các môi trường doanh nghiệp tổng hợp quy mô đầy đủ để đánh giá Microsoft Copilot mà không sử dụng dữ liệu khách hàng. Dựa trên các nguồn công khai như dữ liệu nghề nghiệp O*NET, tin tuyển dụng và hồ sơ nộp lên SEC, nền tảng này tạo ra các tenant thực tế với người dùng, cuộc họp, email và tài liệu, cùng với các pipeline truy vấn tự động và các khung chất lượng. Microsoft cho biết điều này thiết lập đường cơ sở đánh giá chuẩn hóa đầu tiên cho Copilot.

28 tháng 10Thứ Tư
  1. Google Developers Blog46

    Cải thiện chất lượng Agent bằng Đánh giá Agents CLI

    Không gian tên eval của Agents CLI do Google phát triển chạy một vòng lặp leo đồi cho agent: eval generate, grade, compare, analyze và optimize. Trong một bài hướng dẫn trên mẫu LangChain trong Agents CLI v1.8.0, một baseline đạt 4.0/5 với gemini-3.8-flash làm giám khảo, và một system prompt đầu bếp sai đã làm giảm xuống còn 2.75.

27 tháng 10Thứ Ba
  1. Ai2 · Allen Institute for AI58

    Nghiên cứu của Ai2 kiểm tra liệu LLM có thể đánh giá đáng tin cậy tính mới của ý tưởng nghiên cứu hay không

    Ai2 đã công bố Old Ideas, Novel Problems, một nghiên cứu và bộ đánh giá kiểm tra mức độ đáng tin cậy của LLM khi đánh giá tính mới của các ý tưởng nghiên cứu, cùng với dữ liệu, mã nguồn và một pipeline để xây dựng các bộ đánh giá mới. Qua sáu giám khảo gồm GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6, những thay đổi nhỏ trong prompt đã làm độ chính xác dịch chuyển hơn 50 điểm phần trăm trên các ý tưởng do AI tạo ra, và một baseline Claude Opus 4.6 đơn giản với prompt đạt macro-F1 0,854 với chi phí 2,59 USD, so với 0,642 với chi phí 30,66 USD của Idea Novelty Checker và 0,772 với chi phí 82,05 USD của AI Scientist do Sakana AI phát triển.

21 tháng 10Thứ Tư
  1. Amazon Science38

    Amazon hợp tác với AVERI để đánh giá độc lập các bộ dữ liệu đánh giá an toàn AI của mình

    Amazon đã hợp tác với tổ chức phi lợi nhuận độc lập AVERI để đánh giá chất lượng các bộ dữ liệu đánh giá an toàn nội bộ của mình, không chỉ đầu ra của mô hình. AVERI đã xác nhận phạm vi chủ đề, tính đa dạng của prompt và rủi ro nhiễm bẩn thấp, đồng thời khuyến nghị mở rộng phạm vi đa ngôn ngữ, bổ sung nhiều prompt đối kháng đa bước hơn và tiêu chí chấm điểm rõ ràng hơn. Amazon đã phản hồi bằng các bộ kiểm thử được làm mới, phân cấp độ khó và nhịp đánh giá hàng quý.

  2. OpenAI Alignment Blog28

    OpenAI đề xuất các chỉ số pair-matched và post-control để mở rộng khả năng giám sát của g-mean²

    Blog Alignment của OpenAI bổ sung hai chỉ số vào g-mean², thước đo cấp độ tập dữ liệu về khả năng phân biệt của monitor. Chỉ số pair-matched chỉ so sánh các mô hình trên những trường hợp tác vụ hỗ trợ phép so sánh dương, âm hoặc hợp lệ can thiệp liên quan, trong khi chỉ số tích hợp post-control mô phỏng việc từ chối có cổng kiểm soát bởi monitor và ước tính xác suất hệ thống triển khai vẫn phát ra đầu ra xấu. Bài viết cũng suy ra một cận dưới bi quan cho các đánh giá can thiệp.

19 tháng 10Thứ Hai
  1. inclusionAI Repositories58

    inclusionAI phát hành mô hình tổng hợp giọng nói Ming-3.0-tts với hai biến thể 0.5B dense và 7.9B MoE tiny

    inclusionAI đã phát hành Ming-3.0-tts, một họ mô hình tổng hợp giọng nói đa ngôn ngữ với trọng số mở gồm hai mô hình: Ming-3.0-tts-0.5b, một mô hình dense 0.5B, và Ming-3.0-tts-tiny, một mô hình MoE xây dựng trên Ling V3 với tổng 7.9B tham số và 1.3B tham số hoạt động. Cả hai đều đi kèm mã suy luận, một cookbook tác vụ và các bảng benchmark, đồng thời hỗ trợ nhân bản giọng nói, thiết kế giọng nói dựa trên văn bản, điều khiển cách thể hiện bằng ngôn ngữ tự nhiên dạng tự do, 14 thẻ ngôn ngữ cận ngôn ngữ nội tuyến, điều khiển cảm xúc và tốc độ/cao độ/âm lượng, cùng tiếng Trung, tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Pháp, tiếng Hàn, tiếng Nhật, tiếng Tứ Xuyên và tiếng Quảng Đông. Trên bảng xếp hạng text-to-speech của Artificial Analysis tháng 10 năm 2026, Ming-3.0-tts xếp thứ 1 trong số các mô hình trọng số mở ở hạng mục Controlled Voice, thứ 1 tổng thể ở hạng mục Pronunciation Robustness với 93.2%, và thứ 3 trong số các mô hình trọng số mở ở hạng mục Provider Voice.

  2. Modal Blog38

    Legora chạy 2.000 đánh giá agent song song trên Modal Sandboxes như thế nào

    Legora hiện chạy từng đánh giá agent pháp lý của mình trong một Modal Sandbox riêng, khởi động toàn bộ ứng dụng được ghim vào một commit cụ thể để mỗi lần chạy phản ánh đúng phiên bản sản phẩm. Một thử nghiệm điển hình gồm 100 ca, 4 biến thể harness và 5 lần thử mỗi ca — 2.000 lần chạy song song — với Modal Volumes chụp nhanh trạng thái tài liệu, cơ sở dữ liệu và quyền. Legora cũng chuyển từ gVisor sang Modal VM Sandboxes, loại bỏ các giải pháp vòng cho mạng Docker và FUSE, đồng thời giảm 30% chi phí agent nhờ nén thông minh hơn và tìm kiếm công cụ tùy chỉnh.

6 tháng 10Thứ Ba
  1. LiveKit Blog38

    Retell vs. Vapi vs. LiveKit: So sánh dành cho nhà phát triển về AI Agent thoại

    LiveKit đã công bố một so sánh hướng đến nhà phát triển giữa Retell, Vapi và LiveKit để xây dựng AI agent thoại, định hình lựa chọn quanh bốn câu hỏi: ai sẽ lặp cải tiến agent sau khi ra mắt, điều gì xảy ra khi nhu cầu vượt ra ngoài các cấu hình mặc định, liệu nó có phải chạy ngoài phạm vi cuộc gọi điện thoại, và chi phí ở quy mô lớn. Retell là một nền tảng được quản lý với trình chỉnh sửa trực quan, Vapi là một nền tảng được quản lý hướng đến nhà phát triển, được cấu hình qua API và dashboard, còn LiveKit là một framework mã nguồn mở Apache 2.0 có thể tự lưu trữ. Chi phí ước tính tổng cộng mỗi phút khoảng $0.070–$0.310 cho Retell, $0.070–$0.116 cho Vapi và $0.037–$0.099 cho LiveKit.

5 tháng 10Thứ Hai
  1. GitHub Blog · AI & ML58

    GitHub phát hành ReviewBench, một benchmark mở cho đánh giá mã nguồn bằng AI

    GitHub đã phát hành ReviewBench, một benchmark mở dành cho các tác nhân đánh giá mã nguồn bằng AI, được xây dựng trên 219 pull request công khai thuộc 19 ngôn ngữ, với phân bố ngôn ngữ và quy mô kho mã mô phỏng theo 103,9 triệu pull request trên GitHub. Tập dữ liệu chuẩn (golden set) lấy các phát hiện từ người đánh giá là con người, các commit tiếp theo của tác giả, phân tích tĩnh và nhiều LLM tiên tiến, được chấm điểm bởi Claude Sonnet 5 theo một rubric đã công bố, và các kỹ sư cấp cao đã độc lập gán nhãn lại từng phát hiện với mức đồng thuận 96,6%. GitHub cho biết đánh giá ngoại tuyến của họ đối với tính năng đánh giá mã nguồn của Copilot đã dự đoán đúng hướng của một thử nghiệm A/B trong môi trường sản xuất, trong đó tỷ lệ được xử lý tăng 8,0%, độ phủ (recall) tăng 13,6% và chi phí cho mỗi lần đánh giá giảm 8,0%.

28 tháng 9Thứ Hai
  1. Anthropic · Claude.dev72

    Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api trong Claude Code

    Anthropic đã thêm hai lệnh vào skill claude-api bên trong Claude Code: /claude-api build-eval xây dựng một bộ đánh giá trong codebase của bạn, và /claude-api hillclimb lặp cải tiến một ứng dụng dựa trên bộ đánh giá đó với một tập giữ riêng để phát hiện overfitting.

    Vì sao đáng chú ý: Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api của mình, cho thấy Claude Code có thể thiết kế các bộ đánh giá và lặp cải tiến dựa trên chúng đồng thời phòng ngừa overfitting.

18 tháng 8Thứ Ba
  1. Vapi Blog55

    Vapi ra mắt Simulations để kiểm thử các voice agent với người gọi do AI tạo

    Vapi ra mắt Simulations, một tính năng kiểm thử gốc do AI vận hành, đặt những người kiểm thử AI có tính cách riêng biệt và các kịch bản lấy từ khách hàng ở đầu bên kia cuộc gọi với một voice agent. Mỗi lần chạy trả về kết quả đạt/không đạt, bản ghi đầy đủ và bản ghi âm, và các nhóm có thể giả lập phản hồi API, chạy chế độ trò chuyện văn bản tiết kiệm chi phí hoặc chế độ thoại đầy đủ, và kích hoạt các lần chạy qua API với các cổng chất lượng chặn triển khai khi tỷ lệ đạt giảm.

3 tháng 8Thứ Hai
  1. Vapi Blog33

    Vì sao tính linh hoạt của mô hình lại quan trọng trong giọng nói: Speechify Simba 3.2 và Fish Audio S2.1-Pro đứng đầu Chỉ số Humanness của Vapi

    Simba 3.2 của Speechify ra mắt ở vị trí dẫn đầu Chỉ số Humanness của Vapi với 99 điểm, chỉ kém một điểm so với mức cơ sở của con người là 100, và S2.1-Pro của Fish Audio gia nhập ở mức 94 với thời gian đến âm thanh đầu tiên là 141 ms. Đương kim dẫn đầu trước đó, Grok TTS của xAI, chỉ giữ vị trí số một trong ba tuần với 95 điểm, và điểm số dẫn đầu kể từ đó đã tăng từ 95 lên 99. Vapi lập luận rằng các nền tảng giọng nói không phụ thuộc mô hình cho phép các đội nhóm hoán đổi mô hình TTS khi thứ hạng thay đổi.

13 tháng 7Thứ Hai
  1. Vapi Blog58

    Chỉ số Humanness của Vapi: Grok TTS đạt 95 điểm và MiniMax Speech 2.5 đạt 93 điểm, so với giọng người thật đạt 100

    Chỉ số Humanness của Vapi, một bảng xếp hạng đánh giá mù từ cộng đồng nơi người nghe chọn giọng nói nhân bản nào trong hai giọng nghe giống người thật hơn, xếp Grok TTS của xAI ở mức 95 và MiniMax Speech 2.5 ở mức 93, so với bản ghi âm giọng người thật được chấm 100 điểm sau hơn 11.000 lượt bình chọn. Mỗi trận đối đầu đều sử dụng cùng một giọng nhân bản và cùng một kịch bản trên các mô hình, và bản ghi âm giọng người thật được đưa vào nhóm so sánh, nên mức 95 nghĩa là người nghe chọn Grok TTS với tỷ lệ gần như tương đương với giọng người thật trên cùng một câu trích dẫn. Vapi lập luận rằng độ tự nhiên không còn là nút thắt đối với các tác nhân giọng nói, vì người gọi trải nghiệm giọng nói chứ không phải lý luận đằng sau nó.

29 tháng 4Thứ Tư
  1. Factory58

    Factory đánh giá 13 mô hình trên code review, nhận thấy GPT-5.2 tốt nhất và MiniMax M2.7 rẻ nhất

    Factory đã xây dựng một benchmark mã nguồn mở thử nghiệm 13 mô hình trên 50 pull request thực tế từ Sentry, Grafana, Keycloak, Discourse và Cal.com, với mỗi mô hình review mỗi PR ít nhất ba lần ở mức nỗ lực suy luận cao và một giám khảo LLM chấm điểm các phát hiện so với một golden set do con người tuyển chọn. GPT-5.2 dẫn đầu với 60,5% F1 với $1,25 mỗi PR, trước Claude Opus 4.6 với 59,8% F1 và $3,11 mỗi PR, trong khi MiniMax M2.7 đạt 45,6% F1 với $0,15 mỗi PR và Kimi K2.5 đạt 51,9% F1 với $0,41. Factory cho biết chi phí chỉ giải thích khoảng 21% phương sai chất lượng, và họ đã mã nguồn mở golden set, các script đánh giá và một Droid Action GitHub Action hỗ trợ cả 13 mô hình.

20 tháng 1Thứ Ba
  1. Factory58

    Factory ra mắt Agent Readiness để đánh giá mức độ hỗ trợ của codebase đối với các tác nhân lập trình AI

    Factory ra mắt Agent Readiness, công cụ đánh giá mức độ hỗ trợ phát triển tự động của một codebase trên tám trụ cột kỹ thuật và năm cấp độ trưởng thành, có thể chạy qua /readiness-report trong Droid, bảng điều khiển tổ chức hoặc API. Mỗi tiêu chí mang tính nhị phân và một cấp độ chỉ được mở khóa khi 80% tiêu chí của cấp đó và toàn bộ các cấp trước đó đều đạt; việc neo mỗi đánh giá vào báo cáo trước đó của kho lưu trữ đã giảm phương sai điểm số từ trung bình 7% xuống 0,6% trên 9 kho lưu trữ chuẩn trong sáu tuần. Báo cáo có thể kích hoạt một tác nhân mở pull request để sửa các tiêu chí không đạt như thiếu AGENTS.md, cấu hình linter hoặc pre-commit hook.

2 tháng 7, 2025Thứ Tư
  1. Modal Blog40

    Modal đã dùng Evals và mở rộng compute tại thời điểm suy luận như thế nào để tạo ra Mã QArt có thể quét được

    Modal đã dùng evals và mở rộng compute tại thời điểm suy luận để cải thiện hệ thống mã QArt của mình, nâng tỷ lệ quét QR lên mục tiêu cấp dịch vụ 95% đồng thời cải thiện chất lượng thẩm mỹ và trả mã trong dưới 20 giây ở p95. Công trình này theo đúng quy trình ML tiêu chuẩn là thu thập đánh giá của con người, căn chỉnh theo các đánh giá đó, rồi mở rộng quy mô, giải quyết khoảng trống "nó chạy được trên prompt của tôi" khiến nhiều mã QR được tạo ra không thể quét được.

18 tháng 6, 2025Thứ Tư
  1. Vapi Blog22

    Claude vs ChatGPT: Hướng dẫn so sánh đầy đủ

    Claude và ChatGPT được so sánh về chất lượng hội thoại, bộ nhớ ngữ cảnh, tốc độ, tính năng, viết sáng tạo, nghiên cứu, giá cả và giao diện. Claude xử lý tới hơn 200.000 token cho người dùng Pro và vượt trội ở viết sáng tạo và hội thoại tinh tế, trong khi ChatGPT hỗ trợ 128.000 token, phản hồi trong 2-3 giây so với 5-10 giây của Claude, và cung cấp tạo hình ảnh cùng Custom GPTs. Cả hai gói Pro đều có giá 20 đô la mỗi tháng, với Claude Max ở mức 100-200 đô la và ChatGPT Pro ở mức 200 đô la.

5 tháng 6, 2025Thứ Năm
  1. Vapi Blog22

    GPT-4.1 vs Claude 3.7 Sonnet: AI nào mang lại Voice Agent tốt hơn?

    Vapi so sánh GPT-4.1 và Claude 3.7 Sonnet với vai trò LLM đứng sau voice agent, đánh giá chất lượng hội thoại, xử lý ngữ cảnh, tính minh bạch trong suy luận, tích hợp nền tảng và chi phí. GPT-4.1 cung cấp cửa sổ ngữ cảnh 1.000.000 token và đầu ra 32.768 token với ưu đãi caching 75%, trong khi Claude 3.7 cung cấp ngữ cảnh 200.000 token và đầu ra 128.000 token. Cả hai mô hình đều có thể lựa chọn trên nền tảng voice agent của Vapi.

30 tháng 5, 2025Thứ Sáu
  1. Vapi Blog15

    Các lựa chọn thay thế Speechify tốt nhất: So sánh 5 công cụ TTS

    Bài so sánh năm lựa chọn thay thế Speechify chọn NaturalReader cho việc sử dụng đa thiết bị và tích hợp ứng dụng với giá 119 đô la mỗi năm, Voice Dream Reader cho điều khiển bằng giọng nói trên iPhone với giá mua một lần 14,99 đô la, và Murf AI cho giọng nói chuyên nghiệp từ khoảng 19 đô la mỗi tháng. ReadSpeaker tập trung vào đọc các trang web trên 45 ngôn ngữ từ 4,90 đô la mỗi tháng, trong khi Balabolka là một lựa chọn miễn phí chỉ dành cho Windows.