Tới nội dung
#Đánh giá / benchmark
14 tháng 7Thứ Ba
  1. AI as Normal Technology34

    Bài phát biểu chính tại ICML của nhà nghiên cứu Princeton: Điều gì sẽ còn lại cho chúng ta để làm?

    Một nhà nghiên cứu tại Đại học Princeton đã dùng bài phát biểu chính tại ICML để lập luận rằng khuôn khổ "AI như Công nghệ Bình thường" vẫn đúng trừ khi xảy ra một sự gián đoạn như tự cải thiện đệ quy, và rằng không có cột mốc nào của phòng thí nghiệm sẽ đột ngột xóa bỏ mọi việc làm. Bài nói kêu gọi xây dựng các kỹ năng bổ trợ, tính chủ động và phán đoán thay vì chạy đua tích lũy của cải trước khi kỹ năng trở nên vô nghĩa.

13 tháng 7Thứ Hai
  1. Vapi Blog58

    Chỉ số Humanness của Vapi: Grok TTS đạt 95 điểm và MiniMax Speech 2.5 đạt 93 điểm, so với giọng người thật đạt 100

    Chỉ số Humanness của Vapi, một bảng xếp hạng đánh giá mù từ cộng đồng nơi người nghe chọn giọng nói nhân bản nào trong hai giọng nghe giống người thật hơn, xếp Grok TTS của xAI ở mức 95 và MiniMax Speech 2.5 ở mức 93, so với bản ghi âm giọng người thật được chấm 100 điểm sau hơn 11.000 lượt bình chọn. Mỗi trận đối đầu đều sử dụng cùng một giọng nhân bản và cùng một kịch bản trên các mô hình, và bản ghi âm giọng người thật được đưa vào nhóm so sánh, nên mức 95 nghĩa là người nghe chọn Grok TTS với tỷ lệ gần như tương đương với giọng người thật trên cùng một câu trích dẫn. Vapi lập luận rằng độ tự nhiên không còn là nút thắt đối với các tác nhân giọng nói, vì người gọi trải nghiệm giọng nói chứ không phải lý luận đằng sau nó.

1 tháng 7Thứ Tư
  1. One Useful Thing60

    Ethan Mollick về buổi hoàng hôn của chatbot và sự trỗi dậy của công việc do tác nhân AI vận hành

    Ethan Mollick lập luận rằng việc sử dụng AI đang chuyển từ đồng trí tuệ chatbot sang các tác nhân chạy dài hạn cần ít sự can thiệp của con người hơn, và sự thay đổi này đang diễn ra nhanh chóng. Ông trích dẫn METR, Viện An ninh AI Vương quốc Anh và các chuẩn đánh giá GDPval tăng nhanh hơn mức hàm mũ, cùng một phát hiện của Epoch rằng Opus 4.7 đã tự làm việc trong 14 giờ để xây dựng một gói phần mềm ước tính tương đương 2-17 tuần kỹ thuật của con người với chi phí 251 USD tiền token. Một nghiên cứu của OpenAI và các nhà kinh tế học hàn lâm phát hiện một phần tư nhân viên OpenAI vận hành ít nhất bốn tác nhân mỗi tuần, với bộ phận pháp lý và nhân sự áp dụng với tốc độ gần bằng lập trình viên, và một nghiên cứu về Claude Code phát hiện chuyên môn lĩnh vực, chứ không phải nghề nghiệp, dự báo thành công.

29 tháng 4Thứ Tư
  1. Factory58

    Factory đánh giá 13 mô hình trên code review, nhận thấy GPT-5.2 tốt nhất và MiniMax M2.7 rẻ nhất

    Factory đã xây dựng một benchmark mã nguồn mở thử nghiệm 13 mô hình trên 50 pull request thực tế từ Sentry, Grafana, Keycloak, Discourse và Cal.com, với mỗi mô hình review mỗi PR ít nhất ba lần ở mức nỗ lực suy luận cao và một giám khảo LLM chấm điểm các phát hiện so với một golden set do con người tuyển chọn. GPT-5.2 dẫn đầu với 60,5% F1 với $1,25 mỗi PR, trước Claude Opus 4.6 với 59,8% F1 và $3,11 mỗi PR, trong khi MiniMax M2.7 đạt 45,6% F1 với $0,15 mỗi PR và Kimi K2.5 đạt 51,9% F1 với $0,41. Factory cho biết chi phí chỉ giải thích khoảng 21% phương sai chất lượng, và họ đã mã nguồn mở golden set, các script đánh giá và một Droid Action GitHub Action hỗ trợ cả 13 mô hình.

20 tháng 1Thứ Ba
  1. Factory58

    Factory ra mắt Agent Readiness để đánh giá mức độ hỗ trợ của codebase đối với các tác nhân lập trình AI

    Factory ra mắt Agent Readiness, công cụ đánh giá mức độ hỗ trợ phát triển tự động của một codebase trên tám trụ cột kỹ thuật và năm cấp độ trưởng thành, có thể chạy qua /readiness-report trong Droid, bảng điều khiển tổ chức hoặc API. Mỗi tiêu chí mang tính nhị phân và một cấp độ chỉ được mở khóa khi 80% tiêu chí của cấp đó và toàn bộ các cấp trước đó đều đạt; việc neo mỗi đánh giá vào báo cáo trước đó của kho lưu trữ đã giảm phương sai điểm số từ trung bình 7% xuống 0,6% trên 9 kho lưu trữ chuẩn trong sáu tuần. Báo cáo có thể kích hoạt một tác nhân mở pull request để sửa các tiêu chí không đạt như thiếu AGENTS.md, cấu hình linter hoặc pre-commit hook.

2 tháng 7, 2025Thứ Tư
  1. Modal Blog40

    Modal đã dùng Evals và mở rộng compute tại thời điểm suy luận như thế nào để tạo ra Mã QArt có thể quét được

    Modal đã dùng evals và mở rộng compute tại thời điểm suy luận để cải thiện hệ thống mã QArt của mình, nâng tỷ lệ quét QR lên mục tiêu cấp dịch vụ 95% đồng thời cải thiện chất lượng thẩm mỹ và trả mã trong dưới 20 giây ở p95. Công trình này theo đúng quy trình ML tiêu chuẩn là thu thập đánh giá của con người, căn chỉnh theo các đánh giá đó, rồi mở rộng quy mô, giải quyết khoảng trống "nó chạy được trên prompt của tôi" khiến nhiều mã QR được tạo ra không thể quét được.

18 tháng 6, 2025Thứ Tư
  1. Vapi Blog22

    Claude vs ChatGPT: Hướng dẫn so sánh đầy đủ

    Claude và ChatGPT được so sánh về chất lượng hội thoại, bộ nhớ ngữ cảnh, tốc độ, tính năng, viết sáng tạo, nghiên cứu, giá cả và giao diện. Claude xử lý tới hơn 200.000 token cho người dùng Pro và vượt trội ở viết sáng tạo và hội thoại tinh tế, trong khi ChatGPT hỗ trợ 128.000 token, phản hồi trong 2-3 giây so với 5-10 giây của Claude, và cung cấp tạo hình ảnh cùng Custom GPTs. Cả hai gói Pro đều có giá 20 đô la mỗi tháng, với Claude Max ở mức 100-200 đô la và ChatGPT Pro ở mức 200 đô la.

5 tháng 6, 2025Thứ Năm
  1. Vapi Blog22

    GPT-4.1 vs Claude 3.7 Sonnet: AI nào mang lại Voice Agent tốt hơn?

    Vapi so sánh GPT-4.1 và Claude 3.7 Sonnet với vai trò LLM đứng sau voice agent, đánh giá chất lượng hội thoại, xử lý ngữ cảnh, tính minh bạch trong suy luận, tích hợp nền tảng và chi phí. GPT-4.1 cung cấp cửa sổ ngữ cảnh 1.000.000 token và đầu ra 32.768 token với ưu đãi caching 75%, trong khi Claude 3.7 cung cấp ngữ cảnh 200.000 token và đầu ra 128.000 token. Cả hai mô hình đều có thể lựa chọn trên nền tảng voice agent của Vapi.

30 tháng 5, 2025Thứ Sáu
  1. Vapi Blog15

    Các lựa chọn thay thế Speechify tốt nhất: So sánh 5 công cụ TTS

    Bài so sánh năm lựa chọn thay thế Speechify chọn NaturalReader cho việc sử dụng đa thiết bị và tích hợp ứng dụng với giá 119 đô la mỗi năm, Voice Dream Reader cho điều khiển bằng giọng nói trên iPhone với giá mua một lần 14,99 đô la, và Murf AI cho giọng nói chuyên nghiệp từ khoảng 19 đô la mỗi tháng. ReadSpeaker tập trung vào đọc các trang web trên 45 ngôn ngữ từ 4,90 đô la mỗi tháng, trong khi Balabolka là một lựa chọn miễn phí chỉ dành cho Windows.

5 tháng 8, 2024Thứ Hai
  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.