Tới nội dung
#Đánh giá / benchmark
  1. LiveKit Blog62

    LiveKit thử nghiệm Gemini 4 Hydrogen so với 3.8 Flash trong một voice agent với các công cụ bị cố ý làm hỏng

    LiveKit đã chạy Gemini 4 Hydrogen và Gemini 3.8 Flash qua cùng một plugin Google trong một voice agent trợ lý du lịch với các công cụ bị cố ý làm lỗi, và Hydrogen tạo ra 0 báo cáo đặt chỗ sai trên 54 bản ghi, so với 2 của 3.8 Flash. Với Hydrogen ở mức high và 3.8 Flash ở mức mặc định, câu đầu tiên của Hydrogen đến sớm hơn 1,2 giây (4,0 giây so với 5,2 giây), và ở mức low trên cả hai thì sớm hơn 1,7 giây (2,8 giây so với 4,6 giây). Tác giả khuyến nghị dùng mức thinking medium hoặc high cho voice agent, lưu ý mức xhigh có trung vị 7,8 giây đến câu đầu tiên và trường hợp xấu nhất là 52 giây.

    Vì sao đáng chú ý: Bài kiểm tra thực tế của LiveKit cho thấy Gemini 4 Hydrogen báo cáo mọi lệnh gọi công cụ bị cố ý làm hỏng và bắt đầu trả lời sớm hơn 3.8 Flash, kèm dữ liệu độ trễ theo từng mức thinking cho voice agent.

  2. The Decoder88

    Google phát hành Gemini 4 Hydrogen, đạt điểm cao hơn Argon lớn hơn bốn tuần sau khi Argon ra mắt

    Google đã phát hành Gemini 4 Hydrogen, một mô hình đa dụng nhanh dành cho nhà phát triển và người dùng hàng ngày, với giá 1,50 USD mỗi triệu token đầu vào và 7,50 USD mỗi triệu token đầu ra cùng cửa sổ ngữ cảnh một triệu token. Google cho biết Hydrogen đạt 51 điểm trên Chỉ số Trí tuệ Artificial Analysis ở mức suy luận cao mặc định và 54 điểm ở mức xhigh mới, so với 50 điểm của Gemini 4 Argon lớn hơn. Kiểm thử độc lập của Artificial Analysis cho thấy Hydrogen gần tương đương Claude Sonnet 5.5 ở mức suy luận tối đa, nhưng yếu hơn ở công việc terminal tác tử, đạt 54 phần trăm trên Terminal-Bench 4.0 so với 64 phần trăm của Claude Sonnet 5.5.

    Vì sao đáng chú ý: Gemini 4 Hydrogen rẻ hơn của Google được cho là vượt qua Argon lớn hơn trên Chỉ số Trí tuệ Artificial Analysis, trong khi kiểm thử độc lập cho thấy nó kém hơn Claude và GPT-6.1 ở các tác vụ terminal.

  3. AWS Machine Learning Blog60

    AWS mã nguồn mở UAEF, một hệ thống đánh giá độc lập với framework cho các tác nhân AI

    AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.

    Vì sao đáng chú ý: Nhóm AWS đã mã nguồn mở UAEF, sử dụng các adapter để thống nhất quỹ đạo tác nhân từ các framework khác nhau thành một định dạng duy nhất, sau đó chấm điểm chúng trên 7 khía cạnh bằng 36 chỉ số, cung cấp một lớp đánh giá có thể tái sử dụng để so sánh các phiên bản tác nhân across frameworks.

  1. OpenRouter Announcements60

    OpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM

    OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint của Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và không phát hiện sự khác biệt về độ chính xác giữa fp16, fp8 và fp4, với cả sáu endpoint đạt điểm từ 98,3% đến 99,2%. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn có giá rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc lựa chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn so với độ chính xác, với endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần so với rẻ nhất.

    Vì sao đáng chú ý: OpenRouter đã đo các endpoint fp8, fp4 và fp16 của một mô hình trên 240 tác vụ có đáp án chính xác và không tìm thấy khoảng cách độ chính xác có thể phát hiện được, trong khi chênh lệch giá phụ thuộc vào nhà cung cấp nhiều hơn là độ chính xác.

  1. Latent Space85

    Anthropic phát hành Claude Fable 5.2 và Mythos 5.2, giành lại vị trí LLM hàng đầu khi bắt đầu roadshow IPO

    Anthropic phát hành Claude Fable 5.2 và Claude Mythos 5.2, đứng đầu hầu hết các bảng xếp hạng độc lập, bao gồm Artificial Analysis Intelligence Index v5 với 65 và SemiAnalysis GDPx với 16,4%. Giá giảm 20% xuống còn 8/40 USD cho 1M token đầu vào/đầu ra, nhưng SemiAnalysis báo cáo chi phí mỗi tác vụ GDPx tăng từ 67,16 USD lên 88,15 USD vì mô hình viết hàng trăm đến hàng nghìn ca kiểm thử và tạo các tác nhân phụ để kiểm tra công việc của mình. Nhiều đánh giá cho thấy mức nỗ lực tối đa hoạt động kém hơn mức cao, và Fable bị giới hạn ở 50% hạn mức đăng ký hàng tuần.

    Vì sao đáng chú ý: Anthropic phát hành Fable 5.2 và Mythos 5.2 với mức giảm giá 20% mỗi token, nhưng các đánh giá độc lập cho thấy chi phí mỗi tác vụ cao hơn và thiết lập nỗ lực tối đa hoạt động kém hơn mức cao.

  2. OpenRouter Announcements72

    OpenRouter đánh giá 15 mô hình thị giác và Mistral OCR trên tài liệu quét

    OpenRouter đã thử nghiệm 15 mô hình thị giác, Mistral OCR và Tesseract trên tám bản quét suy giảm tự tạo, và Claude Opus 5.5 chính xác nhất với 262 trong 264 giá trị khóa đúng với chi phí 16,42 đô la cho 1.000 trang, trong khi Mistral OCR có giá trị tốt nhất với 258 trong 264 với giá 2,02 đô la. Trên một hóa đơn mờ, GPT-6 Luna và GPT-6.1 Sol đã bịa ra chữ số thẻ, tên máy chủ và mật khẩu wifi, những lỗi mà tỷ lệ lỗi ký tự không phát hiện được. Bài viết bao gồm mã để phiên âm bản quét, tắt suy luận, kiểm tra chéo hai mô hình từ các phòng thí nghiệm khác nhau và chạy Mistral OCR thông qua plugin phân tích tệp.

    Vì sao đáng chú ý: Một đánh giá thực hành về 15 mô hình thị giác cùng Mistral OCR và Tesseract trên tám bản quét suy giảm, với mã có thể chạy để kiểm tra chéo hai mô hình nhằm phát hiện các giá trị bịa đặt.

  3. One Useful Thing78

    Ethan Mollick thử nghiệm Claude Fable 5.2 trên lập trình, kinh doanh và nghiên cứu, gọi nó gần như AGI

    2 trên các nhiệm vụ trải rộng từ hack phần cứng, lập kế hoạch kinh doanh, xây dựng khóa học nhân văn, nghiên cứu học thuật đến dự án cổng 3D 450 thế giới, và đánh giá nó gần như AGI theo định nghĩa của ông về việc sánh ngang hầu hết chuyên gia con người ở hầu hết các nhiệm vụ trí tuệ trên máy tính.

    Vì sao đáng chú ý: Các thử nghiệm thực tế của Ethan Mollick với Claude Fable 5.2 cho thấy năng lực tổng quát mạnh mẽ trên lập trình, kinh doanh và nghiên cứu, đồng thời phơi bày một khoảng trống dai dẳng trong việc tự đánh giá khi nào công việc đã đủ tốt.

  1. Artificial Analysis Articles82

    Gemini 4 Carbon đứng đầu Artificial Analysis Intelligence Index v5, xếp thứ hai trên Coding Agent Index

    Gemini 4 Carbon của Google là vị trí thứ 5 mới trên Artificial Analysis Coding Agent Index. 5 (tối đa, 62), và nó dẫn đầu 4 trong 9 đánh giá của Index bao gồm HLE-Diamond và Terminal-Bench-Science. 1 tăng từ 4% lên 11%; mô hình đang được triển khai cho người dùng được chọn và chưa có sẵn công khai.

    Vì sao đáng chú ý: Gemini 4 Carbon đứng đầu Artificial Analysis Intelligence Index v5 với 59 điểm và kém Claude Opus 5.5 3 điểm trên Coding Agent Index, với chi phí mỗi tác vụ và số liệu ảo giác để so sánh.

  1. Anthropic · Claude.dev72

    Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api trong Claude Code

    Anthropic đã thêm hai lệnh vào skill claude-api bên trong Claude Code: /claude-api build-eval xây dựng một bộ đánh giá trong codebase của bạn, và /claude-api hillclimb lặp cải tiến một ứng dụng dựa trên bộ đánh giá đó với một tập giữ riêng để phát hiện overfitting.

    Vì sao đáng chú ý: Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api của mình, cho thấy Claude Code có thể thiết kế các bộ đánh giá và lặp cải tiến dựa trên chúng đồng thời phòng ngừa overfitting.

  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.

Bạn đã xem hết