Tới nội dung
Chỉ Chính chủ#Đánh giá / benchmark
  1. LiveKit Blog62

    LiveKit thử nghiệm Gemini 4 Hydrogen so với 3.8 Flash trong một voice agent với các công cụ bị cố ý làm hỏng

    LiveKit đã chạy Gemini 4 Hydrogen và Gemini 3.8 Flash qua cùng một plugin Google trong một voice agent trợ lý du lịch với các công cụ bị cố ý làm lỗi, và Hydrogen tạo ra 0 báo cáo đặt chỗ sai trên 54 bản ghi, so với 2 của 3.8 Flash. Với Hydrogen ở mức high và 3.8 Flash ở mức mặc định, câu đầu tiên của Hydrogen đến sớm hơn 1,2 giây (4,0 giây so với 5,2 giây), và ở mức low trên cả hai thì sớm hơn 1,7 giây (2,8 giây so với 4,6 giây). Tác giả khuyến nghị dùng mức thinking medium hoặc high cho voice agent, lưu ý mức xhigh có trung vị 7,8 giây đến câu đầu tiên và trường hợp xấu nhất là 52 giây.

    Vì sao đáng chú ý: Bài kiểm tra thực tế của LiveKit cho thấy Gemini 4 Hydrogen báo cáo mọi lệnh gọi công cụ bị cố ý làm hỏng và bắt đầu trả lời sớm hơn 3.8 Flash, kèm dữ liệu độ trễ theo từng mức thinking cho voice agent.

  2. AWS Machine Learning Blog60

    AWS mã nguồn mở UAEF, một hệ thống đánh giá độc lập với framework cho các tác nhân AI

    AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.

    Vì sao đáng chú ý: Nhóm AWS đã mã nguồn mở UAEF, sử dụng các adapter để thống nhất quỹ đạo tác nhân từ các framework khác nhau thành một định dạng duy nhất, sau đó chấm điểm chúng trên 7 khía cạnh bằng 36 chỉ số, cung cấp một lớp đánh giá có thể tái sử dụng để so sánh các phiên bản tác nhân across frameworks.

  1. OpenRouter Announcements60

    OpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM

    OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint của Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và không phát hiện sự khác biệt về độ chính xác giữa fp16, fp8 và fp4, với cả sáu endpoint đạt điểm từ 98,3% đến 99,2%. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn có giá rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc lựa chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn so với độ chính xác, với endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần so với rẻ nhất.

    Vì sao đáng chú ý: OpenRouter đã đo các endpoint fp8, fp4 và fp16 của một mô hình trên 240 tác vụ có đáp án chính xác và không tìm thấy khoảng cách độ chính xác có thể phát hiện được, trong khi chênh lệch giá phụ thuộc vào nhà cung cấp nhiều hơn là độ chính xác.

  1. OpenRouter Announcements72

    OpenRouter đánh giá 15 mô hình thị giác và Mistral OCR trên tài liệu quét

    OpenRouter đã thử nghiệm 15 mô hình thị giác, Mistral OCR và Tesseract trên tám bản quét suy giảm tự tạo, và Claude Opus 5.5 chính xác nhất với 262 trong 264 giá trị khóa đúng với chi phí 16,42 đô la cho 1.000 trang, trong khi Mistral OCR có giá trị tốt nhất với 258 trong 264 với giá 2,02 đô la. Trên một hóa đơn mờ, GPT-6 Luna và GPT-6.1 Sol đã bịa ra chữ số thẻ, tên máy chủ và mật khẩu wifi, những lỗi mà tỷ lệ lỗi ký tự không phát hiện được. Bài viết bao gồm mã để phiên âm bản quét, tắt suy luận, kiểm tra chéo hai mô hình từ các phòng thí nghiệm khác nhau và chạy Mistral OCR thông qua plugin phân tích tệp.

    Vì sao đáng chú ý: Một đánh giá thực hành về 15 mô hình thị giác cùng Mistral OCR và Tesseract trên tám bản quét suy giảm, với mã có thể chạy để kiểm tra chéo hai mô hình nhằm phát hiện các giá trị bịa đặt.

  1. Anthropic · Claude.dev72

    Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api trong Claude Code

    Anthropic đã thêm hai lệnh vào skill claude-api bên trong Claude Code: /claude-api build-eval xây dựng một bộ đánh giá trong codebase của bạn, và /claude-api hillclimb lặp cải tiến một ứng dụng dựa trên bộ đánh giá đó với một tập giữ riêng để phát hiện overfitting.

    Vì sao đáng chú ý: Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api của mình, cho thấy Claude Code có thể thiết kế các bộ đánh giá và lặp cải tiến dựa trên chúng đồng thời phòng ngừa overfitting.

  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.

Bạn đã xem hết