ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#เบนช์มาร์ก
  1. LiveKit Blog62

    LiveKit ทดสอบ Gemini 4 Hydrogen กับ 3.8 Flash ในวอยซ์เอเจนต์ที่มีเครื่องมือที่จงใจทำให้พัง

    LiveKit ทดสอบ Gemini 4 Hydrogen และ Gemini 3.8 Flash ผ่านปลั๊กอิน Google ตัวเดียวกันในวอยซ์เอเจนต์ผู้ช่วยท่องเที่ยว โดยมีเครื่องมือที่จงใจให้ล้มเหลว ผลปรากฏว่า Hydrogen รายงานการจองผิดพลาด 0 ครั้งจากบทสนทนา 54 รายการ เทียบกับ 2 ครั้งของ 3.8 Flash เมื่อใช้ Hydrogen ที่ระดับ high และ 3.8 Flash ที่ระดับ default ประโยคแรกของ Hydrogen มาถึงเร็วกว่า 1.2 วินาที (4.0 วินาที เทียบกับ 5.2 วินาที) และเมื่อใช้ระดับ low ทั้งคู่ เร็วขึ้น 1.7 วินาที (2.8 วินาที เทียบกับ 4.6 วินาที) ผู้เขียนแนะนำให้ใช้ระดับ thinking medium หรือ high สำหรับวอยซ์เอเจนต์ โดยระบุว่าที่ระดับ xhigh มีค่ามัธยฐาน 7.8 วินาทีถึงประโยคแรก และกรณีแย่ที่สุด 52 วินาที

    ทำไมเรื่องนี้สำคัญ: การทดสอบภาคปฏิบัติของ LiveKit แสดงให้เห็นว่า Gemini 4 Hydrogen รายงานทุกการเรียกเครื่องมือที่จงใจทำให้พัง และเริ่มตอบกลับเร็วกว่า 3.8 Flash พร้อมข้อมูลความหน่วงแยกตามระดับ thinking สำหรับวอยซ์เอเจนต์

  2. AWS Machine Learning Blog60

    AWS เปิดซอร์ส UAEF ระบบประเมินผลสำหรับ AI agents ที่ไม่ผูกกับเฟรมเวิร์ก

    AWS ได้เปิดซอร์ส UAEF (Universal Agent Evaluation Framework) ระบบที่ไม่ผูกกับเฟรมเวิร์ก ซึ่งใช้อะแดปเตอร์ในการปรับมาตรฐาน agent traces จาก LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore และ Langfuse ให้เป็น AgentTrace แบบมาตรฐานเดียว แล้วให้คะแนนด้วยเมตริกในตัว 36 รายการครอบคลุม 7 มิติ ผลลัพธ์ถูกจัดเก็บแยกตามการทดลองใน Amazon DynamoDB และ Amazon S3 เพื่อให้ทีมสามารถเปรียบเทียบเวอร์ชันของ agent กับ baseline ตรวจจับการถดถอยด้วยเกณฑ์เริ่มต้น 5 เปอร์เซ็นต์ และสร้างรายงานทางสถิติพร้อมข้อมูลเชิงลึกที่เขียนโดย LLM โพสต์ระบุว่าลูกค้าใน 12 องค์กรในอุตสาหกรรมโทรคมนาคม สุขภาพ และบริการทางการเงินได้ใช้ UAEF ก่อนการเปิดตัว และโค้ดภายใต้ Apache 2.0 ไลบรารี Python การติดตั้งด้วย CDK และโน้ตบุ๊กแยกตามเฟรมเวิร์กอยู่ในรีโพ GitHub awslabs/uaef

    ทำไมเรื่องนี้สำคัญ: ทีม AWS ได้เปิดซอร์ส UAEF ซึ่งใช้อะแดปเตอร์เพื่อรวมเส้นทางการทำงานของ agent จากเฟรมเวิร์กต่างๆ ให้เป็นรูปแบบเดียว แล้วให้คะแนนครอบคลุม 7 มิติด้วยเมตริก 36 รายการ มอบชั้นการประเมินที่นำกลับมาใช้ซ้ำได้สำหรับการเปรียบเทียบเวอร์ชันของ agent ข้ามเฟรมเวิร์ก

  1. OpenRouter Announcements60

    OpenRouter ทดสอบว่า fp8 และ fp4 quantization ส่งผลต่อคุณภาพและราคาของ LLM อย่างไร

    OpenRouter ได้รันงาน exact-answer 280 งานกับ six endpoints ของ Qwen3.8 27B เมื่อวันที่ 20 ตุลาคม 2026 และไม่พบความแตกต่างด้านความแม่นยำระหว่าง fp16, fp8 และ fp4 โดยทั้งหกได้คะแนนระหว่าง 98.3% ถึง 99.2% จาก 1,455 endpoints มี 59.5% ที่ไม่ระบุ precision เลย และ fp8 เป็นรูปแบบที่ติดป้ายมากที่สุดที่ 23.6% precision ที่ต่ำกว่ามีราคาถูกกว่าสำหรับโมเดลส่วนใหญ่แต่ไม่ใช่ทั้งหมด และการเลือกผู้ให้บริการส่งผลต่อราคามากกว่า precision โดย endpoint ที่มี precision เดียวกันและแพงที่สุดมีค่ามัธยฐานเป็น 1.72 เท่าของที่ถูกที่สุด

    ทำไมเรื่องนี้สำคัญ: OpenRouter วัด endpoints fp8, fp4 และ fp16 ของโมเดลหนึ่งๆ across 240 exact-answer tasks และไม่พบช่องว่างความแม่นยำที่ตรวจพบได้ ขณะที่ความแตกต่างของราคาเป็นไปตามผู้ให้บริการมากกว่า precision

  1. OpenRouter Announcements72

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัวและ Mistral OCR กับเอกสารสแกน

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัว, Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำที่สร้างขึ้นเองแปดภาพ และ Claude Opus 5.5 แม่นยำที่สุดโดยได้ค่าสำคัญ 262 จาก 264 ค่าถูกต้อง ในราคา $16.42 ต่อ 1,000 หน้า ขณะที่ Mistral OCR คุ้มค่าที่สุดด้วย 258 จาก 264 ในราคา $2.02 บนใบเสร็จที่จางลง GPT-6 Luna และ GPT-6.1 Sol สร้างตัวเลขบัตร ชื่อเซิร์ฟเวอร์ และรหัส wifi ขึ้นมาเอง ซึ่งเป็นข้อผิดพลาดที่อัตราความผิดพลาดระดับตัวอักษรไม่เผยให้เห็น โพสต์นี้มีโค้ดสำหรับถอดความภาพสแกน ปิดการให้เหตุผล ตรวจสอบไขว้ระหว่างสองโมเดลจากห้องแล็บต่างกัน และรัน Mistral OCR ผ่านปลั๊กอิน file-parser

    ทำไมเรื่องนี้สำคัญ: การทดสอบเชิงปฏิบัติของโมเดลวิชัน 15 ตัวพร้อม Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำแปดภาพ พร้อมโค้ดที่รันได้สำหรับตรวจสอบไขว้ระหว่างสองโมเดลเพื่อจับค่าที่ถูกสร้างขึ้นมา

  1. Anthropic · Claude.dev72

    Anthropic เพิ่มคำสั่ง build-eval และ hillclimb ให้กับสกิล claude-api ใน Claude Code

    Anthropic เพิ่มสองคำสั่งให้กับสกิล claude-api ภายใน Claude Code: /claude-api build-eval สร้างชุดการประเมินในโค้ดเบสของคุณ และ /claude-api hillclimb ทำการวนซ้ำบนแอปพลิเคชันเทียบกับชุดการประเมินนั้นด้วยชุด held-out เพื่อจับ overfitting

    ทำไมเรื่องนี้สำคัญ: Anthropic เพิ่มคำสั่ง build-eval และ hillclimb ให้กับสกิล claude-api ของตน แสดงให้เห็นว่า Claude Code สามารถออกแบบการประเมินและวนซ้ำเทียบกับการประเมินเหล่านั้นได้อย่างไร พร้อมทั้งป้องกัน overfitting

  1. Modal Blog62

    Modal ทำซ้ำ Large Language Monkeys: LLaMA 3.1 8B เทียบเท่า GPT-4o บน HumanEval ด้วยการค้นหา

    Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด

    ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ

อ่านครบทั้งหมดแล้ว