ข้ามไปที่เนื้อหา
#เบนช์มาร์ก
  1. LiveKit Blog62

    LiveKit ทดสอบ Gemini 4 Hydrogen กับ 3.8 Flash ในวอยซ์เอเจนต์ที่มีเครื่องมือที่จงใจทำให้พัง

    LiveKit ทดสอบ Gemini 4 Hydrogen และ Gemini 3.8 Flash ผ่านปลั๊กอิน Google ตัวเดียวกันในวอยซ์เอเจนต์ผู้ช่วยท่องเที่ยว โดยมีเครื่องมือที่จงใจให้ล้มเหลว ผลปรากฏว่า Hydrogen รายงานการจองผิดพลาด 0 ครั้งจากบทสนทนา 54 รายการ เทียบกับ 2 ครั้งของ 3.8 Flash เมื่อใช้ Hydrogen ที่ระดับ high และ 3.8 Flash ที่ระดับ default ประโยคแรกของ Hydrogen มาถึงเร็วกว่า 1.2 วินาที (4.0 วินาที เทียบกับ 5.2 วินาที) และเมื่อใช้ระดับ low ทั้งคู่ เร็วขึ้น 1.7 วินาที (2.8 วินาที เทียบกับ 4.6 วินาที) ผู้เขียนแนะนำให้ใช้ระดับ thinking medium หรือ high สำหรับวอยซ์เอเจนต์ โดยระบุว่าที่ระดับ xhigh มีค่ามัธยฐาน 7.8 วินาทีถึงประโยคแรก และกรณีแย่ที่สุด 52 วินาที

    ทำไมเรื่องนี้สำคัญ: การทดสอบภาคปฏิบัติของ LiveKit แสดงให้เห็นว่า Gemini 4 Hydrogen รายงานทุกการเรียกเครื่องมือที่จงใจทำให้พัง และเริ่มตอบกลับเร็วกว่า 3.8 Flash พร้อมข้อมูลความหน่วงแยกตามระดับ thinking สำหรับวอยซ์เอเจนต์

  2. The Decoder88

    Google เปิดตัว Gemini 4 Hydrogen ได้คะแนนเหนือกว่า Argon รุ่นใหญ่กว่าสี่สัปดาห์หลัง Argon เปิดตัว

    Google ได้เปิดตัว Gemini 4 Hydrogen โมเดลอเนกประสงค์ที่รวดเร็วสำหรับนักพัฒนาและผู้ใช้ทั่วไป ในราคา 1.50 ดอลลาร์ต่อล้านโทเค็นอินพุต และ 7.50 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต พร้อมหน้าต่างบริบทหนึ่งล้านโทเค็น Google ระบุว่า Hydrogen ได้คะแนน 51 บน Artificial Analysis Intelligence Index ที่ระดับการคิดสูงเริ่มต้น และ 54 ที่ระดับ xhigh ใหม่ เทียบกับ 50 สำหรับ Gemini 4 Argon รุ่นใหญ่กว่า การทดสอบอิสระโดย Artificial Analysis พบว่า Hydrogen อยู่ในระดับเดียวกับ Claude Sonnet 5.5 ที่การคิดสูงสุดโดยประมาณ แต่ด้อยกว่าในงานเทอร์มินัลแบบเอเจนต์ โดยได้ 54 เปอร์เซ็นต์บน Terminal-Bench 4.0 เทียบกับ 64 เปอร์เซ็นต์ของ Claude Sonnet 5.5

    ทำไมเรื่องนี้สำคัญ: Gemini 4 Hydrogen ที่ถูกกว่าของ Google มีรายงานว่าเอาชนะ Argon รุ่นใหญ่กว่าบน Artificial Analysis Intelligence Index ขณะที่การทดสอบอิสระแสดงให้เห็นว่าตามหลัง Claude และ GPT-6.1 ในงานเทอร์มินัล

  3. AWS Machine Learning Blog60

    AWS เปิดซอร์ส UAEF ระบบประเมินผลสำหรับ AI agents ที่ไม่ผูกกับเฟรมเวิร์ก

    AWS ได้เปิดซอร์ส UAEF (Universal Agent Evaluation Framework) ระบบที่ไม่ผูกกับเฟรมเวิร์ก ซึ่งใช้อะแดปเตอร์ในการปรับมาตรฐาน agent traces จาก LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore และ Langfuse ให้เป็น AgentTrace แบบมาตรฐานเดียว แล้วให้คะแนนด้วยเมตริกในตัว 36 รายการครอบคลุม 7 มิติ ผลลัพธ์ถูกจัดเก็บแยกตามการทดลองใน Amazon DynamoDB และ Amazon S3 เพื่อให้ทีมสามารถเปรียบเทียบเวอร์ชันของ agent กับ baseline ตรวจจับการถดถอยด้วยเกณฑ์เริ่มต้น 5 เปอร์เซ็นต์ และสร้างรายงานทางสถิติพร้อมข้อมูลเชิงลึกที่เขียนโดย LLM โพสต์ระบุว่าลูกค้าใน 12 องค์กรในอุตสาหกรรมโทรคมนาคม สุขภาพ และบริการทางการเงินได้ใช้ UAEF ก่อนการเปิดตัว และโค้ดภายใต้ Apache 2.0 ไลบรารี Python การติดตั้งด้วย CDK และโน้ตบุ๊กแยกตามเฟรมเวิร์กอยู่ในรีโพ GitHub awslabs/uaef

    ทำไมเรื่องนี้สำคัญ: ทีม AWS ได้เปิดซอร์ส UAEF ซึ่งใช้อะแดปเตอร์เพื่อรวมเส้นทางการทำงานของ agent จากเฟรมเวิร์กต่างๆ ให้เป็นรูปแบบเดียว แล้วให้คะแนนครอบคลุม 7 มิติด้วยเมตริก 36 รายการ มอบชั้นการประเมินที่นำกลับมาใช้ซ้ำได้สำหรับการเปรียบเทียบเวอร์ชันของ agent ข้ามเฟรมเวิร์ก

  1. OpenRouter Announcements60

    OpenRouter ทดสอบว่า fp8 และ fp4 quantization ส่งผลต่อคุณภาพและราคาของ LLM อย่างไร

    OpenRouter ได้รันงาน exact-answer 280 งานกับ six endpoints ของ Qwen3.8 27B เมื่อวันที่ 20 ตุลาคม 2026 และไม่พบความแตกต่างด้านความแม่นยำระหว่าง fp16, fp8 และ fp4 โดยทั้งหกได้คะแนนระหว่าง 98.3% ถึง 99.2% จาก 1,455 endpoints มี 59.5% ที่ไม่ระบุ precision เลย และ fp8 เป็นรูปแบบที่ติดป้ายมากที่สุดที่ 23.6% precision ที่ต่ำกว่ามีราคาถูกกว่าสำหรับโมเดลส่วนใหญ่แต่ไม่ใช่ทั้งหมด และการเลือกผู้ให้บริการส่งผลต่อราคามากกว่า precision โดย endpoint ที่มี precision เดียวกันและแพงที่สุดมีค่ามัธยฐานเป็น 1.72 เท่าของที่ถูกที่สุด

    ทำไมเรื่องนี้สำคัญ: OpenRouter วัด endpoints fp8, fp4 และ fp16 ของโมเดลหนึ่งๆ across 240 exact-answer tasks และไม่พบช่องว่างความแม่นยำที่ตรวจพบได้ ขณะที่ความแตกต่างของราคาเป็นไปตามผู้ให้บริการมากกว่า precision

  1. Latent Space85

    Anthropic เปิดตัว Claude Fable 5.2 และ Mythos 5.2 กลับมาครองอันดับหนึ่ง LLM ขณะเริ่มโรดโชว์ IPO

    Anthropic เปิดตัว Claude Fable 5.2 และ Claude Mythos 5.2 ซึ่งขึ้นอันดับต้นในลีดเดอร์บอร์ดอิสระส่วนใหญ่ รวมถึง Artificial Analysis Intelligence Index v5 ที่ 65 และ SemiAnalysis GDPx ที่ 16.4% ราคาลดลง 20% เหลือ $8/$40 ต่อ 1M โทเคนอินพุต/เอาต์พุต แต่ SemiAnalysis รายงานว่าต้นทุนต่องาน GDPx เพิ่มจาก $67.16 เป็น $88.15 เพราะโมเดลเขียนกรณีทดสอบหลายร้อยถึงหลายพันกรณีและสร้าง subagent เพื่อตรวจงานของตัวเอง การประเมินหลายชุดแสดงให้เห็นว่าระดับความพยายามสูงสุด (max effort) ให้ผลด้อยกว่าระดับ high และ Fable ถูกจำกัดที่ 50% ของขีดจำกัดการสมัครสมาชิกรายสัปดาห์

    ทำไมเรื่องนี้สำคัญ: Anthropic เปิดตัว Fable 5.2 และ Mythos 5.2 พร้อมลดราคาต่อโทเคน 20% แต่การประเมินอิสระกลับพบต้นทุนต่องานสูงขึ้น และการตั้งค่าความพยายามสูงสุดให้ผลด้อยกว่าระดับ high

  2. OpenRouter Announcements72

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัวและ Mistral OCR กับเอกสารสแกน

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัว, Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำที่สร้างขึ้นเองแปดภาพ และ Claude Opus 5.5 แม่นยำที่สุดโดยได้ค่าสำคัญ 262 จาก 264 ค่าถูกต้อง ในราคา $16.42 ต่อ 1,000 หน้า ขณะที่ Mistral OCR คุ้มค่าที่สุดด้วย 258 จาก 264 ในราคา $2.02 บนใบเสร็จที่จางลง GPT-6 Luna และ GPT-6.1 Sol สร้างตัวเลขบัตร ชื่อเซิร์ฟเวอร์ และรหัส wifi ขึ้นมาเอง ซึ่งเป็นข้อผิดพลาดที่อัตราความผิดพลาดระดับตัวอักษรไม่เผยให้เห็น โพสต์นี้มีโค้ดสำหรับถอดความภาพสแกน ปิดการให้เหตุผล ตรวจสอบไขว้ระหว่างสองโมเดลจากห้องแล็บต่างกัน และรัน Mistral OCR ผ่านปลั๊กอิน file-parser

    ทำไมเรื่องนี้สำคัญ: การทดสอบเชิงปฏิบัติของโมเดลวิชัน 15 ตัวพร้อม Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำแปดภาพ พร้อมโค้ดที่รันได้สำหรับตรวจสอบไขว้ระหว่างสองโมเดลเพื่อจับค่าที่ถูกสร้างขึ้นมา

  3. One Useful Thing78

    Ethan Mollick ทดสอบ Claude Fable 5.2 ในด้านการเขียนโค้ด ธุรกิจ และการวิจัย เรียกได้ว่าเกือบเป็น AGI

    2 ในงานที่ครอบคลุมการแฮ็กฮาร์ดแวร์ การวางแผนธุรกิจ การสร้างหลักสูตรมนุษยศาสตร์ การวิจัยทางวิชาการ และโปรเจกต์พอร์ทัล 3D ที่มี 450 โลก และตัดสินว่าเกือบเป็น AGI ภายใต้คำจำกัดความของเขาที่ว่าต้องเทียบเท่าผู้เชี่ยวชาญของมนุษย์ส่วนใหญ่ในงานทางปัญญาบนคอมพิวเตอร์ส่วนใหญ่

    ทำไมเรื่องนี้สำคัญ: การทดสอบภาคปฏิบัติของ Ethan Mollick ต่อ Claude Fable 5.2 แสดงให้เห็นความสามารถทั่วไปที่แข็งแกร่งในด้านการเขียนโค้ด ธุรกิจ และการวิจัย พร้อมทั้งเผยให้เห็นช่องว่างที่ยังคงอยู่ในการตัดสินด้วยตนเองว่างานดีพอแล้วหรือไม่

  1. Artificial Analysis Articles82

    Gemini 4 Carbon ครองอันดับหนึ่ง Artificial Analysis Intelligence Index v5 อยู่อันดับสอง Coding Agent Index

    Gemini 4 Carbon ของ Google ขึ้นเป็นอันดับ 5 ใหม่ใน Artificial Analysis Coding Agent Index 5 (สูงสุด 62) และนำใน 4 จาก 9 การประเมินของ Index รวมถึง HLE-Diamond และ Terminal-Bench-Science 1 เพิ่มจาก 4% เป็น 11%; โมเดลกำลังทยอยเปิดให้ผู้ใช้บางกลุ่ม และยังไม่เปิดให้ใช้งานทั่วไป

    ทำไมเรื่องนี้สำคัญ: Gemini 4 Carbon ครองอันดับหนึ่ง Artificial Analysis Intelligence Index v5 ที่ 59 และตามหลัง Claude Opus 5.5 อยู่ 3 คะแนนใน Coding Agent Index พร้อมตัวเลขต้นทุนต่องานและอัตราการสร้างข้อมูลเท็จเพื่อการเปรียบเทียบ

  1. Anthropic · Claude.dev72

    Anthropic เพิ่มคำสั่ง build-eval และ hillclimb ให้กับสกิล claude-api ใน Claude Code

    Anthropic เพิ่มสองคำสั่งให้กับสกิล claude-api ภายใน Claude Code: /claude-api build-eval สร้างชุดการประเมินในโค้ดเบสของคุณ และ /claude-api hillclimb ทำการวนซ้ำบนแอปพลิเคชันเทียบกับชุดการประเมินนั้นด้วยชุด held-out เพื่อจับ overfitting

    ทำไมเรื่องนี้สำคัญ: Anthropic เพิ่มคำสั่ง build-eval และ hillclimb ให้กับสกิล claude-api ของตน แสดงให้เห็นว่า Claude Code สามารถออกแบบการประเมินและวนซ้ำเทียบกับการประเมินเหล่านั้นได้อย่างไร พร้อมทั้งป้องกัน overfitting

  1. Modal Blog62

    Modal ทำซ้ำ Large Language Monkeys: LLaMA 3.1 8B เทียบเท่า GPT-4o บน HumanEval ด้วยการค้นหา

    Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด

    ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ

อ่านครบทั้งหมดแล้ว