ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#เบนช์มาร์ก
13 พฤศจิกายนวันศุกร์
  1. LiveKit Blog62

    LiveKit ทดสอบ Gemini 4 Hydrogen กับ 3.8 Flash ในวอยซ์เอเจนต์ที่มีเครื่องมือที่จงใจทำให้พัง

    LiveKit ทดสอบ Gemini 4 Hydrogen และ Gemini 3.8 Flash ผ่านปลั๊กอิน Google ตัวเดียวกันในวอยซ์เอเจนต์ผู้ช่วยท่องเที่ยว โดยมีเครื่องมือที่จงใจให้ล้มเหลว ผลปรากฏว่า Hydrogen รายงานการจองผิดพลาด 0 ครั้งจากบทสนทนา 54 รายการ เทียบกับ 2 ครั้งของ 3.8 Flash เมื่อใช้ Hydrogen ที่ระดับ high และ 3.8 Flash ที่ระดับ default ประโยคแรกของ Hydrogen มาถึงเร็วกว่า 1.2 วินาที (4.0 วินาที เทียบกับ 5.2 วินาที) และเมื่อใช้ระดับ low ทั้งคู่ เร็วขึ้น 1.7 วินาที (2.8 วินาที เทียบกับ 4.6 วินาที) ผู้เขียนแนะนำให้ใช้ระดับ thinking medium หรือ high สำหรับวอยซ์เอเจนต์ โดยระบุว่าที่ระดับ xhigh มีค่ามัธยฐาน 7.8 วินาทีถึงประโยคแรก และกรณีแย่ที่สุด 52 วินาที

    ทำไมเรื่องนี้สำคัญ: การทดสอบภาคปฏิบัติของ LiveKit แสดงให้เห็นว่า Gemini 4 Hydrogen รายงานทุกการเรียกเครื่องมือที่จงใจทำให้พัง และเริ่มตอบกลับเร็วกว่า 3.8 Flash พร้อมข้อมูลความหน่วงแยกตามระดับ thinking สำหรับวอยซ์เอเจนต์

  2. OpenRouter Announcements58

    OpenRouter ทดสอบ reranker 11 ตัวบนชุดทดสอบ RAG 274 คำถาม

    OpenRouter ทดสอบ reranker 11 ตัวบนชุดข้อมูล RAG สังเคราะห์ 274 คำถาม และพบว่าการ rerank ผู้สมัคร 30 อันดับแรกจาก vector search ด้วย voyageai/rerank-3-lite ช่วยเพิ่ม precision@1 จาก 81.0% เป็น 97.1% ด้วยต้นทุนประมาณ $0.10 ต่อ 1,000 คำถาม คู่มือแนะนำให้ดึงข้อมูลประมาณ 30 chunks แล้ว rerank จากนั้นส่งเฉพาะ 3 อันดับแรกให้ LLM ซึ่งในการทดสอบช่วยเพิ่มความแม่นยำของคำตอบเป็น 99.3% พร้อมลดต้นทุนการตอบจาก $0.22 เหลือ $0.16 ต่อ 1,000 คำถาม นอกจากนี้ยังชี้ให้เห็นโหมดความล้มเหลว: การละเว้นพารามิเตอร์ input_type ทำให้ precision@1 ลดลง 7 ถึง 12 คะแนน และ cohere/rerank-v3.5 เพิกเฉยต่อเนื้อหาที่เกินขีดจำกัด 4,096 โทเคนโดยไม่แจ้งเตือน

  3. LangChain Blog45

    Eval-Driven Development คืออะไร? วิธีปรับปรุง AI Agents

    LangChain อธิบาย eval-driven development (EDD) กระบวนการสามขั้นตอนสำหรับการสร้าง AI agents: กำหนดว่าอะไรคือสิ่งที่ดี เขียน eval ก่อนที่จะสร้าง และเปรียบเทียบผลลัพธ์หลังการเปลี่ยนแปลงแต่ละครั้ง เนื่องจาก agents ไม่สามารถกำหนดผลลัพธ์ได้แน่นอน evals จึงให้คะแนนการทำงานข้ามชุดข้อมูลตัวอย่าง และสามารถใช้ LLM-as-a-judge โดยมีการทำงานจริงของ agent ใน LangSmith เป็นแหล่งของอินพุตสำหรับการทดสอบ

  4. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore Evaluations: ตัวประเมินในตัว, DeepEval และ AutoEval

    ขณะนี้ Amazon Bedrock AgentCore Evaluations ช่วยให้ทีมต่างๆ รันตัวประเมินในตัวของ AWS ควบคู่ไปกับเมตริก DeepEval และ AutoEval ที่ได้รับการจัดการ รวมถึงตัวประเมินแบบกำหนดเองที่ได้มาจากทั้งสองแบบ แคตตาล็อกในตัวครอบคลุมตัวประเมิน 15 ตัวในด้านคุณภาพการตอบสนอง ความสำเร็จของเป้าหมาย การใช้เครื่องมือ ทักษะ และความปลอดภัย พร้อมการตรวจสอบเส้นทางการทำงาน 3 รายการสำหรับเส้นทางเครื่องมือที่คาดหวัง DeepEval เพิ่มเมตริกแบบหลายรอบ เช่น ConversationCompleteness และ KnowledgeRetention ขณะที่ AutoEval มีส่วนช่วยในสัญญาณเฉพาะทางรวมถึงความปลอดภัย

  5. AWS Machine Learning Blog60

    AWS เปิดซอร์ส UAEF ระบบประเมินผลสำหรับ AI agents ที่ไม่ผูกกับเฟรมเวิร์ก

    AWS ได้เปิดซอร์ส UAEF (Universal Agent Evaluation Framework) ระบบที่ไม่ผูกกับเฟรมเวิร์ก ซึ่งใช้อะแดปเตอร์ในการปรับมาตรฐาน agent traces จาก LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore และ Langfuse ให้เป็น AgentTrace แบบมาตรฐานเดียว แล้วให้คะแนนด้วยเมตริกในตัว 36 รายการครอบคลุม 7 มิติ ผลลัพธ์ถูกจัดเก็บแยกตามการทดลองใน Amazon DynamoDB และ Amazon S3 เพื่อให้ทีมสามารถเปรียบเทียบเวอร์ชันของ agent กับ baseline ตรวจจับการถดถอยด้วยเกณฑ์เริ่มต้น 5 เปอร์เซ็นต์ และสร้างรายงานทางสถิติพร้อมข้อมูลเชิงลึกที่เขียนโดย LLM โพสต์ระบุว่าลูกค้าใน 12 องค์กรในอุตสาหกรรมโทรคมนาคม สุขภาพ และบริการทางการเงินได้ใช้ UAEF ก่อนการเปิดตัว และโค้ดภายใต้ Apache 2.0 ไลบรารี Python การติดตั้งด้วย CDK และโน้ตบุ๊กแยกตามเฟรมเวิร์กอยู่ในรีโพ GitHub awslabs/uaef

    ทำไมเรื่องนี้สำคัญ: ทีม AWS ได้เปิดซอร์ส UAEF ซึ่งใช้อะแดปเตอร์เพื่อรวมเส้นทางการทำงานของ agent จากเฟรมเวิร์กต่างๆ ให้เป็นรูปแบบเดียว แล้วให้คะแนนครอบคลุม 7 มิติด้วยเมตริก 36 รายการ มอบชั้นการประเมินที่นำกลับมาใช้ซ้ำได้สำหรับการเปรียบเทียบเวอร์ชันของ agent ข้ามเฟรมเวิร์ก

  6. AWS Machine Learning Blog40

    Agent DLC: วิศวกรรมเอเจนต์ AI จากต้นแบบสู่โปรดักชัน

    AWS เปิดตัว Agent Development Lifecycle (Agent DLC) กรอบการทำงานที่มีหนึ่งวงจรชีวิต สองลูป และมาตรฐานชัดเจนเพียงหนึ่งเดียวสำหรับตัดสินทุกการเปลี่ยนแปลงของเอเจนต์ โดยแก้ปัญหาคุณสมบัติสามประการของเอเจนต์ที่ทำให้ CI/CD แบบเดิมใช้ไม่ได้ ได้แก่ ความไม่แน่นอนของผลลัพธ์ พรอมต์ในฐานะซอร์สโค้ด และ dependencies ที่เคลื่อนที่อย่างอิสระ ตัวอย่างผู้ช่วยนโยบาย HR แบบอ้างอิงแสดงความแม่นยำการดึงข้อมูลระดับชังก์ที่ 1.00 across ทั้งสามคำถามทดสอบ ขณะที่ความแม่นยำระดับข้อเท็จจริงลดลงเหลือ 0.09 และความครอบคลุมการดึงข้อมูลแตะ 0.00 ในหนึ่งคำถาม

12 พฤศจิกายนวันพฤหัสบดี
  1. OpenRouter Announcements28

    วิธี Benchmark LLMs: คู่มือการให้คะแนนด้วยโค้ดจาก OpenRouter

    OpenRouter เผยแพร่คู่มือสำหรับการ benchmark LLMs ด้วยอินพุตของแอปพลิเคชันของคุณเอง ให้คะแนนเอาต์พุตด้วยโค้ด และเปรียบเทียบความแม่นยำ ค่าใช้จ่ายที่เรียกเก็บ และเวลาที่ใช้ในการร้องขอ บนงานสังเคราะห์ 60 งาน GPT-6.1 Sol ผ่าน 180/180 ครั้งจากการทำซ้ำสามรอบ ขณะที่ DeepSeek มีค่าใช้จ่ายในการตอบสนองต่ำที่สุดที่ 180 ครั้งผ่าน 157 ครั้ง ความสอดคล้องกับอันดับสาธารณะอยู่ในระดับต่ำ โดยมีสหสัมพันธ์สเปียร์แมนที่ 0.109

11 พฤศจิกายนวันพุธ
  1. inclusionAI Models34

    inclusionAI เปิดตัว LemonDecider 4B v3 โมเดลตัดสินใจที่อิงจาก Qwen3.5-4B

    inclusionAI เปิดตัว LemonDecider 4B v3 โมเดลตัดสินใจที่ผ่านการ fine-tune จาก Qwen3.5-4B ซึ่งคืนค่าความน่าจะเป็นของตัวเลือก ใช่/ไม่ใช่ หรือลำดับ ผ่านการ forward pass แบบร่วมเพียงครั้งเดียว แทนการสร้างโทเค็นคำตอบ ฝึกบนข้อมูล decision/QA ประมาณ 1.20M แถว และได้คะแนน 61.67 บนชุดทดสอบสาธารณะ Decision Index 0.4 โดยมีค่ามัธยฐานของเวลาแฝงต่อคำขอที่ 49.9 ms

  2. OpenRouter Announcements60

    OpenRouter ทดสอบว่า fp8 และ fp4 quantization ส่งผลต่อคุณภาพและราคาของ LLM อย่างไร

    OpenRouter ได้รันงาน exact-answer 280 งานกับ six endpoints ของ Qwen3.8 27B เมื่อวันที่ 20 ตุลาคม 2026 และไม่พบความแตกต่างด้านความแม่นยำระหว่าง fp16, fp8 และ fp4 โดยทั้งหกได้คะแนนระหว่าง 98.3% ถึง 99.2% จาก 1,455 endpoints มี 59.5% ที่ไม่ระบุ precision เลย และ fp8 เป็นรูปแบบที่ติดป้ายมากที่สุดที่ 23.6% precision ที่ต่ำกว่ามีราคาถูกกว่าสำหรับโมเดลส่วนใหญ่แต่ไม่ใช่ทั้งหมด และการเลือกผู้ให้บริการส่งผลต่อราคามากกว่า precision โดย endpoint ที่มี precision เดียวกันและแพงที่สุดมีค่ามัธยฐานเป็น 1.72 เท่าของที่ถูกที่สุด

    ทำไมเรื่องนี้สำคัญ: OpenRouter วัด endpoints fp8, fp4 และ fp16 ของโมเดลหนึ่งๆ across 240 exact-answer tasks และไม่พบช่องว่างความแม่นยำที่ตรวจพบได้ ขณะที่ความแตกต่างของราคาเป็นไปตามผู้ให้บริการมากกว่า precision

  3. OpenAI News28

    หัวหน้าสถาปนิก JioStar Vijay Seshadri ว่าด้วย AI Discovery ในระดับผู้ใช้ 500 ล้านคน

    Vijay Seshadri หัวหน้าสถาปนิกของ JioStar แบ่งปันบทเรียนจากการดำเนินงาน AI discovery ในระดับผู้ใช้ 500 ล้านคน ครอบคลุมถึง evals, guardrails และการนำ AI ไปใช้ในระบบจริง บทความที่เผยแพร่โดย OpenAI นี้มุ่งเน้นแนวปฏิบัติเชิงปฏิบัติการเบื้องหลังการติดตั้งใช้งาน AI ขนาดใหญ่

  4. inclusionAI Models40

    inclusionAI เปิดตัวโมเดล ZoomGain-9B และ ZoomGain-4B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เปิดตัวเช็กพอยต์โมเดลวิชัน-ภาษา ZoomGain-9B และ ZoomGain-4B พร้อมกับเกณฑ์มาตรฐานการประเมิน ZoomGainBench และข้อมูลฝึก RL ของ ZoomGain โดย ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียด และ ZoomGain-9B มีประสิทธิภาพเหนือกว่าในเกณฑ์มาตรฐานการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGainBench มีคำถาม 1,000 ข้อจากภาพ 941 ภาพ ขณะที่ชุดข้อมูล RL มีบันทึกการฝึก 9,000 รายการและภาพต้นฉบับ 7,713 ภาพ

  5. inclusionAI Models40

    inclusionAI เปิดตัว SingVL S1 โมเดลตัดสินใจมัลติโมดัล 4B บน Qwen3.5

    inclusionAI เปิดตัว SingVL S1 โมเดลตัดสินใจมัลติโมดัลขนาด 4B ที่สร้างบน Qwen3.5 ซึ่งตอบคำถามที่ระบุชื่อได้จากข้อความหรือ JSON และรูปภาพสูงสุดสี่รูปในการประมวลผลไปข้างหน้าหนึ่งครั้งของ Transformers รองรับคำถามแบบตัวเลือก แบบใช่/ไม่ใช่ (noul) และแบบให้คะแนน 2–10 ระดับ โดยได้คะแนน 73.94 บน Public Vision Index และ 69.76 บน Public Text Index โมเดลนี้มาพร้อมโค้ดอนุมานภาษา Python และเซิร์ฟเวอร์ HTTP แบบ FastAPI

10 พฤศจิกายนวันอังคาร
  1. OpenRouter Announcements72

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัวและ Mistral OCR กับเอกสารสแกน

    OpenRouter ทดสอบโมเดลวิชัน 15 ตัว, Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำที่สร้างขึ้นเองแปดภาพ และ Claude Opus 5.5 แม่นยำที่สุดโดยได้ค่าสำคัญ 262 จาก 264 ค่าถูกต้อง ในราคา $16.42 ต่อ 1,000 หน้า ขณะที่ Mistral OCR คุ้มค่าที่สุดด้วย 258 จาก 264 ในราคา $2.02 บนใบเสร็จที่จางลง GPT-6 Luna และ GPT-6.1 Sol สร้างตัวเลขบัตร ชื่อเซิร์ฟเวอร์ และรหัส wifi ขึ้นมาเอง ซึ่งเป็นข้อผิดพลาดที่อัตราความผิดพลาดระดับตัวอักษรไม่เผยให้เห็น โพสต์นี้มีโค้ดสำหรับถอดความภาพสแกน ปิดการให้เหตุผล ตรวจสอบไขว้ระหว่างสองโมเดลจากห้องแล็บต่างกัน และรัน Mistral OCR ผ่านปลั๊กอิน file-parser

    ทำไมเรื่องนี้สำคัญ: การทดสอบเชิงปฏิบัติของโมเดลวิชัน 15 ตัวพร้อม Mistral OCR และ Tesseract กับภาพสแกนคุณภาพต่ำแปดภาพ พร้อมโค้ดที่รันได้สำหรับตรวจสอบไขว้ระหว่างสองโมเดลเพื่อจับค่าที่ถูกสร้างขึ้นมา

  2. Apple Machine Learning Research31

    งานวิจัยของ Apple ประเมิน LLM judges สำหรับการประเมินสไตล์การเขียนแบบเฉพาะบุคคล

    นักวิจัยของ Apple ทดสอบว่า LLM judges ประเมินได้ดีเพียงใดว่าข้อความที่สร้างขึ้นตรงกับสไตล์การเขียนที่ผู้ใช้ชื่นชอบหรือไม่ โดยสร้างข้อความด้วย LLM สี่ตัวในงานเขียนยาวสามประเภท และเปรียบเทียบคำannotations ของ judge กับป้ายกำกับแบบ pairwise จากมนุษย์ คุณภาพของ judge มีความสัมพันธ์เพียงเล็กน้อยกับความสามารถทั่วไปของ LLM บน MMLU (Pearson's ρ ≤ 0.2) และแปรผันตามประเภทงานเขียนและเกณฑ์การประเมิน และการเปรียบเทียบแบบจับคู่ให้ผลที่สอดคล้องมากกว่าการให้คะแนนแบบอิสระ LLM ที่แข็งแกร่งที่สุดไม่ได้จำลองการประเมินของมนุษย์ได้น่าเชื่อถือที่สุดเสมอไป ซึ่งอาจเป็นเพราะความไวที่เกินจริงต่อรายละเอียดเล็กๆ น้อยๆ

  3. Recraft Blog34

    เครื่องมือสร้างไอคอน AI ที่ดีที่สุดในปี 2026: เปรียบเทียบ 7 เครื่องมือ

    Recraft ได้รับการยกให้เป็นเครื่องมือสร้างไอคอน AI ที่ดีที่สุดในปี 2026 หลังการเปรียบเทียบเครื่องมือทั้งเจ็ดซึ่งให้คะแนนจากการทดสอบสไตล์ที่สม่ำเสมอด้วยไอคอนห้าไอคอนและการส่งออก SVG แบบเนทีฟ Recraft รักษาน้ำหนักเส้นและรัศมีมุมให้สม่ำเสมอตลอดทุก glyph และส่งออก SVG ที่แก้ไขได้ ขณะที่ Canva ผ่านเพียงบางส่วน ส่วน Adobe Firefly และ Midjourney ไม่ผ่านทั้งสองการตรวจสอบด้วยเอาต์พุตแบบแรสเตอร์

  4. Recraft Blog22

    ตัวสร้างมีม AI ที่ดีที่สุดในปี 2026: เปรียบเทียบ 7 เครื่องมือ

    เครื่องสร้างมีม AI เจ็ดตัว ได้แก่ Imgflip, Canva, Supermeme.ai, Recraft, Kapwing, ChatGPT และ Magic Hour ถูกทดสอบในด้านแพ็กเกจฟรี ลายน้ำ เทมเพลต การแสดงผลคำบรรยาย ขนาดไฟล์ส่งออก และ API โดยใช้โจทย์มีมเดียวกันสามข้อ การเปรียบเทียบพบว่าไม่มีผู้ชนะที่เหนือกว่าทุกด้าน: Imgflip ชนะด้านเทมเพลตคลาสสิก Supermeme.ai ชนะด้านการเปลี่ยนไอเดียเป็นคำบรรยาย Recraft และ ChatGPT ชนะด้านภาพต้นฉบับ Kapwing ชนะด้านวิดีโอและ GIF และ Canva ชนะเมื่อมีมต้องพอดีกับเลย์เอาต์

9 พฤศจิกายนวันจันทร์
  1. Recraft Blog22

    เครื่องมือสร้างสติกเกอร์ AI ที่ดีที่สุดในปี 2026: เปรียบเทียบ 7 เครื่องมือ

    Recraft เป็นเครื่องมือสร้างสติกเกอร์ AI ที่ดีที่สุดสำหรับเส้นตัดแบบไดคัท ไฟล์ PNG โปร่งใส และ SVG จากผืนผ้าใบเดียว ขณะที่ Canva เหมาะกว่าสำหรับแผ่นสติกเกอร์และการสั่งพิมพ์ในตัวแก้ไขเดียวกัน มีการให้คะแนนเครื่องมือเจ็ดตัวเมื่อวันที่ 9 พฤศจิกายน 2026 ตามเกณฑ์การพิมพ์ห้าข้อ และมีเพียง Recraft, Kittl และ Canva Print เท่านั้นที่เสนอเส้นทางจริงสู่เส้นตัดหรือแผ่นพิมพ์ Firefly, Ideogram, Leonardo AI และ ChatGPT ชนะงานที่แคบกว่า เช่น การแปลงภาพถ่ายเป็นสติกเกอร์หรือชุดแชท

  2. Recraft Blog38

    ตัวสร้างตัวละคร AI ที่ดีที่สุดในปี 2026: เปรียบเทียบ Recraft, Midjourney, Gemini, ChatGPT และอื่นๆ

    การเปรียบเทียบตัวสร้างตัวละคร AI เจ็ดตัวโดยให้คะแนนด้านความสม่ำเสมอของท่าทาง ภาพอ้างอิง การควบคุมสไตล์ รูปแบบการส่งออก และระดับฟรี พบว่าไม่มีเครื่องมือใดที่ดีที่สุดเพียงหนึ่งเดียวสำหรับทุกโจทย์ Recraft นำในด้านการรักษาตัวละครหนึ่งตัวให้คงที่ across ท่าทางด้วยสไตล์ที่ใช้ซ้ำได้และการส่งออกเวกเตอร์ SVG ขณะที่ Midjourney ชนะด้านลุคแบบเฟรมเดียวแต่ไม่มีแผนฟรี โดย Basic อยู่ที่ 10 ดอลลาร์ต่อเดือน Gemini และ ChatGPT เหมาะกับการวนปรับตัวละครภายในแชท และ Recraft, Gemini, ChatGPT, Leonardo, Ideogram และ OpenArt ต่างมีระดับฟรีหรือเครดิตรายสัปดาห์

6 พฤศจิกายนวันศุกร์
  1. Modal Blog22

    Snorkel ใช้ Modal จำลองเอเจนต์สมจริงได้อย่างไร

    Snorkel ใช้ GPU และ CPU sandbox ของ Modal เพื่อรันการจำลองเอเจนต์หลายล้านครั้งต่อเดือน โดยมีอัตราสูงสุดถึงหลักหมื่น sandbox ต่อชั่วโมง และพึ่งพา Modal สำหรับการ inference บนโมเดล open-weight ที่ประเมิน การนำ memory bursting ของ Modal มาใช้ช่วยลดค่าใช้จ่าย sandbox ทั้งหมดของ Snorkel ลงประมาณ 20% โดยปัจจุบันมี sandbox ประมาณ 10-15% ที่ใช้ bursting Modal เป็นผู้ให้บริการ sandbox รายเดียวที่สามารถตอบสนองความต้องการ GPU sandbox ของ Snorkel ได้ในระดับขนาดใหญ่

3 พฤศจิกายนวันอังคาร
  1. Ai2 · Allen Institute for AI55

    Ai2 เปิดตัว StateBench เพื่อทดสอบว่าโมเดลภาษาติดตามการเปลี่ยนแปลงสถานะในเอกสารยาวได้อย่างไร

    Ai2 เปิดตัว StateBench ซึ่งเป็นเบนช์มาร์กที่มีสี่ระดับความยากสำหรับการติดตามสถานะในบริบทแบบยาว ตั้งแต่การกำหนดค่าที่ไม่เปลี่ยนแปลง ไปจนถึงการอัปเดตแบบอ้างอิงตนเองและแบบอ้างอิงข้าม ในการทดสอบ Gemini 3.8 Flash, Claude Opus 5.5 และ GPT-6 Sol และ Luna จัดการระดับที่ง่ายกว่าได้ แต่ลดลงเหลือ 13% หรือต่ำกว่าบนปัญหาจำกัดทั่วไปที่ยาวที่สุด ขณะที่ Gated DeltaNet ขนาด 275M พารามิเตอร์และโมเดลไฮบริดที่ฝึกจากศูนย์สามารถ généralisé ได้เกือบสมบูรณ์แบบในสามระดับแรก และทรานส์ฟอร์เมอร์ไม่เคยเรียนรู้ระดับที่ยากที่สุดได้เลย

  2. OpenAI Alignment Blog58

    OpenAI ตรวจสอบช่องว่างพฤติกรรมระหว่างการประเมินกับการใช้งานจริงในความปลอดภัยของเอเจนต์ และบทบาทของการตระหนักรู้ถึงการประเมิน

    นักวิจัยของ OpenAI วัดช่องว่างพฤติกรรมระหว่างการประเมินกับการใช้งานจริงในความปลอดภัยของเอเจนต์: ในหกโมเดลที่ให้บริการ ความสำเร็จในการประเมิน Respecting Warnings ต่ำกว่าการตัดสินใจใช้งานจริงใน Codex ที่จับคู่กันอยู่ที่ 10.2 ถึง 37.4 เปอร์เซ็นต์ โดยช่องว่างที่ใหญ่ที่สุดพบใน GPT-5.6 Sol และ GPT-6 Sol การตระหนักรู้ถึงการประเมินโดยทั่วไปเพียงอย่างเดียวแสดงความสัมพันธ์ที่อ่อนกับช่องว่างนี้ (R² = 0.008) ขณะที่การตระหนักรู้ถึงวัตถุประสงค์เฉพาะของการประเมินนั้นแข็งแกร่งกว่า (R² = 0.370) และโมเดลที่พูดถึงวัตถุประสงค์ผิดบ่อยที่สุด (การต้านทานการฉีดพรอมต์) มีช่องว่างใหญ่ที่สุด ในการทดลองแทรกแซงบน GPT-6.1 Sol สัญญาณการประเมินทั่วไปทำให้ความสำเร็จแทบไม่เปลี่ยน (63.1% เทียบกับ 63.4%) สัญญาณวัตถุประสงค์ที่ถูกต้องเพิ่มเป็น 91.6% และสัญญาณวัตถุประสงค์ที่ไม่ถูกต้องลดลงเหลือ 17.6%

30 ตุลาคมวันศุกร์
  1. Microsoft Research40

    Microsoft สร้างแพลตฟอร์มข้อมูลองค์กรสังเคราะห์เพื่อประเมิน Copilot

    แพลตฟอร์ม Industry Evaluation Data Generation Platform ของ Microsoft สร้างสภาพแวดล้อมองค์กรสังเคราะห์แบบครบวงจรเพื่อประเมิน Microsoft Copilot โดยไม่ใช้ข้อมูลลูกค้า โดยอ้างอิงจากแหล่งข้อมูลสาธารณะ เช่น ข้อมูลอาชีพ O*NET ประกาศรับสมัครงาน และเอกสารที่ยื่นต่อ SEC ระบบจะสร้าง tenant ที่สมจริงพร้อมผู้ใช้ การประชุม อีเมล และเอกสาร รวมถึงไปป์ไลน์การสอบถามอัตโนมัติและกรอบการประเมินคุณภาพ Microsoft ระบุว่าสิ่งนี้สร้างมาตรฐานพื้นฐานการประเมินแบบมาตรฐานแห่งแรกสำหรับ Copilot

28 ตุลาคมวันพุธ
  1. Google Developers Blog46

    เพิ่มคุณภาพเอเจนต์ด้วยการประเมินผ่าน Agents CLI

    เนมสเปซ eval ของ Agents CLI จาก Google รันลูป hill-climbing สำหรับเอเจนต์: eval generate, grade, compare, analyze และ optimize ในตัวอย่างการใช้งานกับเทมเพลต LangChain ใน Agents CLI v1.8.0 คะแนนพื้นฐานอยู่ที่ 4.0/5 โดยใช้ gemini-3.8-flash เป็นผู้ตัดสิน และพรอมต์ระบบเชฟที่ผิดทำให้คะแนนลดลงเหลือ 2.75

27 ตุลาคมวันอังคาร
  1. Ai2 · Allen Institute for AI58

    งานวิจัยของ Ai2 ทดสอบว่า LLMs สามารถตัดสินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือหรือไม่

    Ai2 เผยแพร่ Old Ideas, Novel Problems ซึ่งเป็นงานวิจัยและ benchmark ที่ทดสอบว่า LLMs ประเมินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือเพียงใด พร้อมกับข้อมูล โค้ด และ pipeline สำหรับสร้างชุดการประเมินใหม่ จากการทดสอบผู้ตัดสินหกราย ได้แก่ GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 และ Claude Opus 4.6 การเปลี่ยนแปลง prompt เล็กน้อยทำให้ความแม่นยำเปลี่ยนไปมากกว่า 50 เปอร์เซ็นต์บนแนวคิดที่สร้างโดย AI และ baseline แบบ prompted Claude Opus 4.6 อย่างง่ายได้คะแนน macro-F1 0.854 ที่ราคา $2.59 เทียบกับ 0.642 ที่ $30.66 สำหรับ Idea Novelty Checker และ 0.772 ที่ $82.05 สำหรับ AI Scientist ของ Sakana AI

21 ตุลาคมวันพุธ
  1. Amazon Science38

    Amazon เลือก AVERI ตรวจสอบอิสระชุดข้อมูลประเมินความปลอดภัย AI ของตน

    Amazon ร่วมมือกับ AVERI องค์กรไม่แสวงหากำไรอิสระ เพื่อตรวจสอบคุณภาพชุดข้อมูลประเมินความปลอดภัยภายใน ไม่ใช่แค่ผลลัพธ์ของโมเดล AVERI ยืนยันความครอบคลุมของหัวข้อ ความหลากหลายของพรอมต์ และความเสี่ยงการปนเปื้อนต่ำ พร้อมแนะนำให้ขยายความครอบคลุมหลายภาษา เพิ่มพรอมต์เชิงปฏิปักษ์หลายขั้นตอน และเกณฑ์การให้คะแนนที่ชัดเจนขึ้น Amazon ตอบสนองด้วยชุดทดสอบที่ปรับปรุงใหม่ ระดับความยากแบบแบ่งชั้น และรอบการตรวจสอบรายไตรมาส

  2. OpenAI Alignment Blog28

    OpenAI เสนอตัวชี้วัดแบบ pair-matched และ post-control เพื่อขยายความสามารถในการตรวจสอบของ g-mean²

    บล็อก Alignment ของ OpenAI เพิ่มตัวชี้วัดสองตัวใน g-mean² ซึ่งเป็นตัววัดระดับชุดข้อมูลของความสามารถในการแยกแยะของมอนิเตอร์ ตัวชี้วัดแบบ pair-matched เปรียบเทียบโมเดลเฉพาะบนอินสแตนซ์งานที่รองรับการเปรียบเทียบเชิงบวก เชิงลบ หรือการเปรียบเทียบที่ใช้การแทรกแซงได้อย่างถูกต้อง ส่วนตัวชี้วัดการผสานรวมหลังการควบคุมจำลองการปฏิเสธที่ควบคุมด้วยมอนิเตอร์ และประเมินความน่าจะเป็นที่ระบบที่นำไปใช้งานยังคงส่งออกผลลัพธ์ที่ไม่ดี บทความยังได้อนุมานขอบเขตล่างแบบ pessimistic สำหรับการประเมินการแทรกแซง

19 ตุลาคมวันจันทร์
  1. inclusionAI Repositories58

    inclusionAI เปิดตัวโมเดลสังเคราะห์เสียง Ming-3.0-tts ทั้งรุ่น 0.5B dense และ 7.9B MoE tiny

    inclusionAI เปิดตัว Ming-3.0-tts ครอบครัวโมเดลสังเคราะห์เสียงหลายภาษาที่เปิดน้ำหนัก มีสองโมเดลคือ Ming-3.0-tts-0.5b ซึ่งเป็นโมเดล dense ขนาด 0.5B และ Ming-3.0-tts-tiny ซึ่งเป็นโมเดล MoE ที่สร้างบน Ling V3 มีพารามิเตอร์รวม 7.9B และพารามิเตอร์ที่ใช้งาน 1.3B ทั้งสองมาพร้อมโค้ดสำหรับ inference, cookbook สำหรับงานต่าง ๆ และตาราง benchmark และรองรับการโคลนเสียง การออกแบบเสียงจากข้อความ การควบคุมการส่งเสียงด้วยภาษาธรรมชาติแบบอิสระ แท็ก paralinguistic แบบอินไลน์ 14 แท็ก การควบคุมอารมณ์และความเร็ว/ระดับเสียง/ความดัง รวมถึงภาษาจีน อังกฤษ เยอรมัน สเปน ฝรั่งเศส เกาหลี ญี่ปุ่น ภาษาจีนเสฉวน และกวางตุ้ง บน leaderboard การสังเคราะห์ข้อความเป็นเสียงของ Artificial Analysis ประจำเดือนตุลาคม 2026 Ming-3.0-tts อยู่อันดับ 1 ในกลุ่มโมเดล open-weights ด้าน Controlled Voice อันดับ 1 โดยรวมด้าน Pronunciation Robustness ที่ 93.2% และอันดับ 3 ในกลุ่มโมเดล open-weights ด้าน Provider Voice

  2. Modal Blog38

    Legora 如何在 Modal Sandboxes 上并行运行 2,000 个 agent 评估

    Legora 现在将其每个法律 agent 评估都放在单独的 Modal Sandbox 中运行，启动其完整应用并固定到特定 commit，使每次运行都反映确切的产品版本。一个典型实验包含 100 个用例、4 个 harness 变体、每个 5 次试验——即 2,000 次并行运行——并由 Modal Volumes 对文档、数据库和权限状态进行快照。Legora 还从 gVisor 迁移到 Modal VM Sandboxes，移除了其 Docker 网络和 FUSE 变通方案，并通过更智能的压缩和自定义工具搜索将 agent 成本降低了 30%。

6 ตุลาคมวันอังคาร
  1. LiveKit Blog38

    Retell vs. Vapi vs. LiveKit: การเปรียบเทียบสำหรับนักพัฒนาสำหรับ Voice AI Agents

    LiveKit เผยแพร่การเปรียบเทียบที่เน้นนักพัฒนาเกี่ยวกับ Retell, Vapi และ LiveKit สำหรับการสร้าง voice AI agents โดยวางกรอบการเลือกด้วยสี่คำถาม: ใครจะเป็นผู้ปรับปรุง agent หลังเปิดใช้งาน สิ่งที่จะเกิดขึ้นเมื่อความต้องการอยู่นอกเหนือค่าเริ่มต้น จำเป็นต้องทำงานนอกเหนือจากการโทรศัพท์หรือไม่ และต้นทุนในระดับขนาดใหญ่ Retell เป็นแพลตฟอร์มแบบ managed ที่มี visual editor, Vapi เป็นแพลตฟอร์มแบบ managed ที่เน้นนักพัฒนาและกำหนดค่าผ่าน API และ dashboard, และ LiveKit เป็นเฟรมเวิร์กโอเพนซอร์ส Apache 2.0 ที่สามารถ self-hosting ได้ ต้นทุนรวมโดยประมาณต่อนาทีอยู่ที่ประมาณ $0.070–$0.310 สำหรับ Retell, $0.070–$0.116 สำหรับ Vapi และ $0.037–$0.099 สำหรับ LiveKit

5 ตุลาคมวันจันทร์
  1. GitHub Blog · AI & ML58

    GitHub เปิดตัว ReviewBench ซึ่งเป็นเบนช์มาร์กแบบเปิดสำหรับการรีวิวโค้ดด้วย AI

    GitHub เปิดตัว ReviewBench ซึ่งเป็นเบนช์มาร์กแบบเปิดสำหรับเอเจนต์รีวิวโค้ดด้วย AI สร้างจาก pull request สาธารณะ 219 รายการใน 19 ภาษา โดยมีการกระจายของภาษาและขนาดรีโพซิทอรีที่จำลองตาม pull request บน GitHub จำนวน 103.9 ล้านรายการ ชุด golden set รวบรวมข้อค้นพบจากผู้รีวิวที่เป็นมนุษย์ คอมมิตติดตามผลของผู้เขียน การวิเคราะห์แบบ static และ LLM ชั้นนำหลายตัว โดยให้ Claude Sonnet 5 เป็นผู้ให้คะแนนภายใต้ rubric ที่เผยแพร่ และวิศวกรอาวุโสได้ติดป้ายกำกับข้อค้นพบทุกข้อใหม่โดยอิสระด้วยความสอดคล้อง 96.6% GitHub ระบุว่าการประเมินแบบออฟไลน์ของการรีวิวโค้ดด้วย Copilot ของตนคาดการณ์ทิศทางของการทดสอบ A/B ในการใช้งานจริงได้ โดยอัตราการแก้ไขเพิ่มขึ้น 8.0% recall เพิ่มขึ้น 13.6% และต้นทุนต่อการรีวิวลดลง 8.0%

28 กันยายนวันจันทร์
  1. Anthropic · Claude.dev72

    Anthropic เพิ่มคำสั่ง build-eval และ hillclimb ให้กับสกิล claude-api ใน Claude Code

    Anthropic เพิ่มสองคำสั่งให้กับสกิล claude-api ภายใน Claude Code: /claude-api build-eval สร้างชุดการประเมินในโค้ดเบสของคุณ และ /claude-api hillclimb ทำการวนซ้ำบนแอปพลิเคชันเทียบกับชุดการประเมินนั้นด้วยชุด held-out เพื่อจับ overfitting

    ทำไมเรื่องนี้สำคัญ: Anthropic เพิ่มคำสั่ง build-eval และ hillclimb ให้กับสกิล claude-api ของตน แสดงให้เห็นว่า Claude Code สามารถออกแบบการประเมินและวนซ้ำเทียบกับการประเมินเหล่านั้นได้อย่างไร พร้อมทั้งป้องกัน overfitting

18 สิงหาคมวันอังคาร
  1. Vapi Blog55

    Vapi เปิดตัว Simulations เพื่อทดสอบ voice agents กับผู้โทร AI

    Vapi เปิดตัว Simulations ซึ่งเป็นฟีเจอร์ทดสอบที่ขับเคลื่อนด้วย AI แบบเนทีฟ ที่วางผู้ทดสอบ AI ซึ่งมีบุคลิกที่แตกต่างกันและสถานการณ์ที่ได้มาจากลูกค้าไว้อีกฝั่งของสายกับ voice agent แต่ละรอบการทดสอบจะคืนผลลัพธ์ผ่าน/ไม่ผ่าน บทสนทนาฉบับเต็ม และการบันทึกเสียง และทีมสามารถจำลองการตอบกลับของ API ได้ รันโหมดแชทแบบข้อความที่มีต้นทุนต่ำ หรือโหมดเสียงเต็มรูปแบบ และทริกเกอร์การรันผ่าน API พร้อม quality gates ที่บล็อกการดีพลอยเมื่ออัตราการผ่านลดลง

3 สิงหาคมวันจันทร์
  1. Vapi Blog33

    ทำไมความยืดหยุ่นของโมเดลจึงสำคัญในระบบเสียง: Speechify Simba 3.2 และ Fish Audio S2.1-Pro ขึ้นอันดับสูงสุดใน Humanness Index ของ Vapi

    Simba 3.2 ของ Speechify เปิดตัวเป็นอันดับหนึ่งใน Humanness Index ของ Vapi ด้วยคะแนน 99 ซึ่งต่ำกว่าเส้นฐานของมนุษย์ที่ 100 อยู่หนึ่งคะแนน และ S2.1-Pro ของ Fish Audio เข้ามาในอันดับที่ 94 ด้วยเวลาในการสร้างเสียงแรก 141 มิลลิวินาที ผู้นำคนก่อนหน้าอย่าง Grok TTS ของ xAI ครองตำแหน่งสูงสุดได้เพียงสามสัปดาห์ที่คะแนน 95 และคะแนนนำได้ขยับจาก 95 เป็น 99 นับตั้งแต่นั้นมา Vapi ให้เหตุผลว่าแพลตฟอร์มเสียงที่ไม่ผูกกับโมเดลใดโมเดลหนึ่งช่วยให้ทีมสามารถสลับโมเดล TTS ได้เมื่ออันดับเปลี่ยนแปลง

13 กรกฎาคมวันจันทร์
  1. Vapi Blog58

    ดัชนีความเป็นมนุษย์ของ Vapi: Grok TTS ได้ 95 คะแนน และ MiniMax Speech 2.5 ได้ 93 คะแนน เทียบกับเสียงมนุษย์จริงที่ 100 คะแนน

    ดัชนีความเป็นมนุษย์ของ Vapi ซึ่งเป็นกระดานอันดับแบบปิดชื่อผู้โหวตที่ผู้ฟังเลือกว่าเสียงโคลนใดในสองเสียงฟังดูเป็นมนุษย์มากกว่า จัดอันดับให้ Grok TTS ของ xAI ได้ 95 คะแนน และ MiniMax Speech 2.5 ได้ 93 คะแนน เทียบกับเสียงบันทึกของมนุษย์จริงที่ได้ 100 คะแนน หลังจากการโหวตมากกว่า 11,000 ครั้ง ทุกการเปรียบเทียบใช้เสียงโคลนและบทพูดเดียวกันในทุกโมเดล และมีเสียงบันทึกของมนุษย์จริงรวมอยู่ในชุดเปรียบเทียบด้วย ดังนั้น 95 คะแนนหมายความว่าผู้ฟังเลือก Grok TTS ในอัตราใกล้เคียงกับมนุษย์ในบทพูดเดียวกัน Vapi ให้เหตุผลว่าความเป็นธรรมชาติไม่ใช่คอขวดของ voice agent อีกต่อไป เนื่องจากผู้โทรได้สัมผัสกับเสียงมากกว่ากระบวนการคิดเบื้องหลัง

29 เมษายนวันพุธ
  1. Factory58

    Factory ทดสอบโมเดล 13 ตัวบนงานโค้ดรีวิว พบ GPT-5.2 ดีที่สุด และ MiniMax M2.7 ถูกที่สุด

    Factory สร้าง benchmark โอเพนซอร์สทดสอบโมเดล 13 ตัวกับ pull request จริง 50 รายการจาก Sentry, Grafana, Keycloak, Discourse และ Cal.com โดยแต่ละโมเดลรีวิวทุก PR อย่างน้อยสามครั้งด้วย high reasoning effort และ LLM judge ให้คะแนนสิ่งที่พบเทียบกับ golden set ที่มนุษย์คัดสรร GPT-5.2 นำที่ 60.5% F1 ในราคา $1.25 ต่อ PR เหนือกว่า Claude Opus 4.6 ที่ 59.8% F1 และ $3.11 ต่อ PR ขณะที่ MiniMax M2.7 ทำได้ 45.6% F1 ในราคา $0.15 ต่อ PR และ Kimi K2.5 ได้ 51.9% F1 ที่ $0.41 Factory ระบุว่าต้นทุนอธิบายความแปรปรวนของคุณภาพได้เพียงราว 21% และได้เปิดโอเพนซอร์ส golden set, สคริปต์ประเมิน และ Droid Action GitHub Action ที่รองรับทั้ง 13 โมเดล

20 มกราคมวันอังคาร
  1. Factory58

    Factory เปิดตัว Agent Readiness เพื่อให้คะแนนว่าโค้ดเบสสนับสนุน AI coding agents ได้ดีเพียงใด

    Factory เปิดตัว Agent Readiness ซึ่งประเมินว่าโค้ดเบสสนับสนุนการพัฒนาอัตโนมัติได้ดีเพียงใดผ่านเสาหลักทางเทคนิคแปดด้านและระดับความสมบูรณ์ห้าระดับ สามารถรันได้ผ่าน /readiness-report ใน Droid, แดชบอร์ดองค์กร หรือ API เกณฑ์แต่ละข้อเป็นแบบไบนารี และระดับจะปลดล็อกก็ต่อเมื่อผ่าน 80% ของเกณฑ์ในระดับนั้นและผ่านทุกระดับก่อนหน้าทั้งหมด การอ้างอิงการประเมินแต่ละครั้งกับรายงานก่อนหน้าของรีโพซิทอรีช่วยลดความแปรปรวนของคะแนนจากเฉลี่ย 7% เหลือ 0.6% across 9 benchmark repositories over six weeks รายงานสามารถทริกเกอร์เอเจนต์ที่เปิด pull request เพื่อแก้ไขเกณฑ์ที่ไม่ผ่าน เช่น AGENTS.md ที่หายไป การกำหนดค่า linter หรือ pre-commit hooks

2 กรกฎาคม 2025วันพุธ
  1. Modal Blog40

    Modal ใช้ Evals และการขยายคอมพิวต์ตอนอนุมานเพื่อสร้าง QArt Code ที่สแกนได้อย่างไร

    Modal ใช้ evals และการขยายคอมพิวต์ตอนอนุมานเพื่อปรับปรุงระบบ QArt code ของตน เพิ่มอัตราการสแกน QR ไปถึงเป้าหมายระดับบริการ 95% พร้อมทั้งปรับปรุงคุณภาพด้านความสวยงามและคืนรหัสได้ภายในเวลาไม่ถึง 20 วินาทีที่ p95 งานนี้เดินตามแนวทาง ML มาตรฐาน คือการเก็บคำตัดสินของมนุษย์ ปรับให้สอดคล้องกับคำตัดสินเหล่านั้น แล้วจึงขยายขนาด ซึ่งช่วยแก้ปัญหาช่องว่างแบบ "it worked on my prompt" ที่ทำให้ QR code ที่สร้างขึ้นจำนวนมากสแกนไม่ได้

18 มิถุนายน 2025วันพุธ
  1. Vapi Blog22

    Claude vs ChatGPT: คู่มือเปรียบเทียบฉบับสมบูรณ์

    Claude และ ChatGPT ถูกนำมาเปรียบเทียบในด้านคุณภาพการสนทนา ความจำบริบท ความเร็ว ฟีเจอร์ การเขียนเชิงสร้างสรรค์ การวิจัย ราคา และอินเทอร์เฟซ Claude รองรับได้ถึง 200,000+ โทเคนสำหรับผู้ใช้ Pro และโดดเด่นด้านการเขียนเชิงสร้างสรรค์และการสนทนาที่ละเอียดอ่อน ขณะที่ ChatGPT รองรับ 128,000 โทเคน ตอบสนองใน 2-3 วินาที เทียบกับ 5-10 วินาทีของ Claude และมีฟีเจอร์สร้างภาพและ Custom GPTs ทั้งสองแพ็กเกจ Pro ราคา $20 ต่อเดือน โดย Claude Max อยู่ที่ $100-$200 และ ChatGPT Pro อยู่ที่ $200

5 มิถุนายน 2025วันพฤหัสบดี
  1. Vapi Blog22

    GPT-4.1 กับ Claude 3.7 Sonnet: AI ตัวไหนให้ Voice Agent ที่ดีกว่า?

    Vapi เปรียบเทียบ GPT-4.1 และ Claude 3.7 Sonnet ในฐานะ LLM เบื้องหลัง voice agent โดยพิจารณาคุณภาพการสนทนา การจัดการบริบท ความโปร่งใสในการให้เหตุผล การผสานรวมแพลตฟอร์ม และค่าใช้จ่าย GPT-4.1 มีหน้าต่างบริบท 1,000,000 โทเคน และเอาต์พุต 32,768 โทเคน พร้อมส่วนลดแคช 75% ขณะที่ Claude 3.7 มีบริบท 200,000 โทเคน และเอาต์พุต 128,000 โทเคน ทั้งสองโมเดลสามารถเลือกใช้ได้บนแพลตฟอร์ม voice agent ของ Vapi

30 พฤษภาคม 2025วันศุกร์
  1. Vapi Blog15

    ทางเลือก Speechify ที่ดีที่สุด: เปรียบเทียบเครื่องมือ TTS 5 ตัว

    การเปรียบเทียบทางเลือก Speechify ห้าตัวเลือกเลือก NaturalReader สำหรับการใช้งานข้ามอุปกรณ์และการผสานรวมแอปที่ราคา $119 ต่อปี, Voice Dream Reader สำหรับการควบคุมด้วยเสียงบน iPhone ในราคาจ่ายครั้งเดียว $14.99, และ Murf AI สำหรับเสียงระดับมืออาชีพเริ่มต้นประมาณ $19 ต่อเดือน ReadSpeaker เน้นการอ่านหน้าเว็บใน 45 ภาษาเริ่มต้นที่ $4.90 ต่อเดือน ขณะที่ Balabolka เป็นตัวเลือกฟรีสำหรับ Windows เท่านั้น