ข้ามไปที่เนื้อหา
เฉพาะ งานวิจัย#เบนช์มาร์ก
13 พฤศจิกายนวันศุกร์
  1. Hacker News · AI58

    เครื่องมือ AI ที่มีดาวมากที่สุดบน GitHub เขียนโดย coding agent มากแค่ไหน?

    การวิเคราะห์ประวัติ git ทั้งหมดของ 52 repository เครื่องมือ AI ที่มีดาวมากที่สุดบน GitHub ครอบคลุม 324,088 commit พบว่าใน repository ค่ามัธยฐาน 16.9% ของ commit ในช่วง 180 วันสุดท้ายที่มีกิจกรรมมีลายเซ็น AI และ 21 จาก 52 แห่งมีสัดส่วน 25% ขึ้นไป ดาวและสัดส่วนที่ลงนามโดย AI ไม่แสดงความเชื่อมโยงที่ตรวจพบได้ (Spearman ρ = -0.05, p = 0.72) และ 85.3% ของ 36,892 commit ที่ลงนามมาจาก Claude ซึ่งเครื่องมือของ Claude เพิ่ม trailer โดยค่าเริ่มต้น ผู้เขียนเตือนว่าการใช้ AI อย่างหนักกระจุกตัวในโปรเจกต์ที่เริ่มในปี 2025 หรือหลังจากนั้น ดังนั้นตัวอย่างจึงไม่สามารถแยกการใช้ AI ออกจากความใหม่ได้ และเปอร์เซ็นต์ AI ทุกค่าคือขอบเขตล่าง

  2. Hacker News · AI38

    แบบทดสอบพบว่าโมเดล AI รู้หลักการ WPS แต่ไม่สามารถนำไปใช้ได้

    แบบทดสอบ WPS AI Leaderboard ของ Our Secure Future ซึ่งสร้างบนแพลตฟอร์ม Weval ของ Collective Intelligence Project พบว่า LLM ละเว้นมิติทางเพศจากการวิเคราะห์สันติภาพและความมั่นคงอย่างเป็นระบบ แม้ว่าพวกมันจะท่อง UNSCR 1325 ได้ก็ตาม ช่องว่างสมรรถนะ WPS ปรากฏในรูปแบบการละเลยแบบเฉยเมย ซึ่งโมเดลตัดหญิงและเด็กหญิงออกจากการประเมินตามปกติ และการยอมจำนนแบบเชิงรุก ซึ่งโมเดลช่วยผู้ตัดสินใจหลีกเลี่ยงนโยบาย

  3. Hacker News · AI38

    Terminal-Bench 4.1 เปิดตัวพร้อมตัวตรวจสอบที่แข็งแกร่งขึ้นเพื่อป้องกัน reward hacking

    Terminal-Bench 4.1 เปิดตัวแล้วพร้อมตัวตรวจสอบที่ปรับปรุงใหม่ซึ่งออกแบบมาเพื่อต้านทาน reward hacking และการให้คะแนน TB 4.0 ใหม่ด้วยตัวตรวจสอบใหม่ใช้ต้นทุนการอนุมานเพิ่มเติม $0 มีเพียงประมาณ 1.16% ของการทดลอง 11,550 ครั้งที่คะแนนเปลี่ยนแปลง และคะแนนที่อัปเดตของเอเจนต์ทั้ง 35 ตัวยังคงอยู่ในช่วงความเชื่อมั่น 95% เดิมของ TB 4.0

  4. Hacker News · AI58

    Westphalia Labs ทดสอบโมเดล AI 11 ตัวในบทบาทประธานการเจรจาสมมติของเจ็ดรัฐบาล

    Westphalia Labs กลุ่มประเมินที่ก่อตั้งโดยอดีตนักการทูต ได้ทดลองให้โมเดล AI 11 ตัวทำหน้าที่ประธานการเจรจาสมมติของเจ็ดรัฐบาล โดยแต่ละตัวรัน 40 ครั้ง ทั้งในเวอร์ชันที่เป็นไปได้และเป็นไปไม่ได้ มีเพียง GPT-6.1 Sol ที่ผ่านทุกครั้ง โดยบรรลุข้อตกลงเมื่อเป็นไปได้ และประกาศว่าฉันทามติเป็นไปไม่ได้เมื่อมันเป็นเช่นนั้นจริง ส่วน Claude Opus 5.5, Grok 4.7 และ DeepSeek V4.1 Flash ราคาประหยัด ต่างระบุเวอร์ชันที่เป็นไปไม่ได้ถูกต้องทุกครั้ง และเห็นพ้องกันใน 18 จาก 20 ครั้งของเวอร์ชันที่เป็นไปได้ การเรียกร้องเกินเลยทำให้ล้มเหลว 39 ครั้ง เทียบกับ 13 ครั้งจากการยอมผ่อนปรนน้อยเกินไป และเมื่อมีการคาดการณ์ที่น่าจะเป็น ก็ตามมาด้วยข้อตกลงใน 72 จาก 110 กรณี

  5. The Verge · AI58

    研究发现 ChatGPT、Gemini 和 Perplexity 推荐虚假零售网站

    知识产权保护公司 Podqi 的一项研究发现，ChatGPT、Gemini 和 Perplexity 在回答有关 151 个品牌的购物问题时，都引用或展示了高风险零售网站，这些网站被定义为虚假店面、重新注册的旧品牌域名或已失效的网站。在 9 月两个测试时段收集的 6,795 条回答中，Perplexity 在 15% 的回答中展示了高风险网站，ChatGPT 为 8%，Gemini 为 4%，而 ChatGPT 有 24% 的时间对其展示的高风险网站发出警告。关于较小品牌的查询产生高风险网站的频率约为较大公司的两倍，而关于区域品牌网站的提示更频繁地触发这些网站，Perplexity 曾将错误页面称为 Stüssy 的官方网站。

12 พฤศจิกายนวันพฤหัสบดี
  1. Epoch AI · Gradient Updates64

    สรุปย่อ Epoch: GLM 5.3 สร้าง exploit สำหรับ Firefox ได้เองจากช่องโหว่ในแพตช์ ด้วยต้นทุนประมาณ 1,000 ดอลลาร์ต่อครั้ง

    นักวิจัยจาก Epoch AI รายงานว่าในการทดลองแบบออฟไลน์ในแซนด์บ็อกซ์ โมเดลน้ำหนักเปิด GLM 5.3 สามารถเจาะระบบ Firefox หกเวอร์ชันล่าสุด ซึ่งเป็นเบราว์เซอร์ที่มีผู้ใช้ที่ใช้งานอยู่กว่า 200 ล้านคน ได้โดยอัตโนมัติ ด้วยต้นทุนประมาณ 1,000 ดอลลาร์ต่อ exploit หนึ่งครั้ง โดยการวิศวกรรมย้อนกลับการโจมตีจากแพตช์ที่ยังไม่ถึงมือผู้ใช้ โมเดลสร้างเว็บเพจที่สามารถอ่านไฟล์จากคอมพิวเตอร์ของผู้เยี่ยมชมและส่งไปยังผู้โจมตีได้โดยไม่ต้องมีมนุษย์สั่งการ ทีมงานไม่สามารถทำซ้ำได้กับ Chrome สรุปย่อเดียวกันยังระบุว่า Claude Fable 5.2 ของ Anthropic ซึ่งเปิดตัวเมื่อวันที่ 9 พฤศจิกายน ทำสถิติใหม่ของ Epoch Capabilities Index ที่ 174 สูงกว่า 169 ของ GPT-6 Astra

11 พฤศจิกายนวันพุธ
  1. inclusionAI Models40

    inclusionAI เปิดตัวโมเดล ZoomGain-9B และ ZoomGain-4B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เปิดตัวเช็กพอยต์โมเดลวิชัน-ภาษา ZoomGain-9B และ ZoomGain-4B พร้อมกับเกณฑ์มาตรฐานการประเมิน ZoomGainBench และข้อมูลฝึก RL ของ ZoomGain โดย ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียด และ ZoomGain-9B มีประสิทธิภาพเหนือกว่าในเกณฑ์มาตรฐานการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGainBench มีคำถาม 1,000 ข้อจากภาพ 941 ภาพ ขณะที่ชุดข้อมูล RL มีบันทึกการฝึก 9,000 รายการและภาพต้นฉบับ 7,713 ภาพ

10 พฤศจิกายนวันอังคาร
  1. Apple Machine Learning Research31

    งานวิจัยของ Apple ประเมิน LLM judges สำหรับการประเมินสไตล์การเขียนแบบเฉพาะบุคคล

    นักวิจัยของ Apple ทดสอบว่า LLM judges ประเมินได้ดีเพียงใดว่าข้อความที่สร้างขึ้นตรงกับสไตล์การเขียนที่ผู้ใช้ชื่นชอบหรือไม่ โดยสร้างข้อความด้วย LLM สี่ตัวในงานเขียนยาวสามประเภท และเปรียบเทียบคำannotations ของ judge กับป้ายกำกับแบบ pairwise จากมนุษย์ คุณภาพของ judge มีความสัมพันธ์เพียงเล็กน้อยกับความสามารถทั่วไปของ LLM บน MMLU (Pearson's ρ ≤ 0.2) และแปรผันตามประเภทงานเขียนและเกณฑ์การประเมิน และการเปรียบเทียบแบบจับคู่ให้ผลที่สอดคล้องมากกว่าการให้คะแนนแบบอิสระ LLM ที่แข็งแกร่งที่สุดไม่ได้จำลองการประเมินของมนุษย์ได้น่าเชื่อถือที่สุดเสมอไป ซึ่งอาจเป็นเพราะความไวที่เกินจริงต่อรายละเอียดเล็กๆ น้อยๆ

  2. Artificial Analysis Articles58

    Google DeepMind และ Artificial Analysis เปิดตัว MKA benchmark สำหรับงานความรู้แบบเอเจนต์บนไฟล์ภาพที่ซับซ้อน

    Google DeepMind ร่วมมือกับ Artificial Analysis เปิดตัว Multimodal Knowledge Agent (MKA) benchmark ซึ่งมอบหมายให้เอเจนต์ตรวจทานไฟล์โปรเจกต์ภาพที่มีข้อมูลหนาแน่น เช่น แบบสถาปัตยกรรม แผนผังวิศวกรรม และภาพสแกนทางคลินิก เพื่อสร้างสไลด์ สเปรดชีต PDF เอกสาร Word และภาพที่ทำเครื่องหมายแล้ว

9 พฤศจิกายนวันจันทร์
  1. Artificial Analysis Articles58

    Artificial Analysis เผยแพร่ Endpoint Accuracy Index v1.1 พร้อมช่วงความเชื่อมั่นแบบ long-context ที่แคบลงและครอบคลุมหกโมเดล

    Artificial Analysis เปิดตัว Endpoint Accuracy Index v1.1 ซึ่งทำให้ช่วงความเชื่อมั่นของ AA-LCR-25 แคบลง และเพิ่มการครอบคลุมสำหรับ GLM-5.3 Flash และ Muse Spark Open จาก 103 endpoint แบบ serverless ที่ถูก benchmark พบว่า 24 รายได้คะแนนต่ำกว่าค่าอ้างอิงแบบ self-hosted อย่างมีนัยสำคัญทางสถิติ โดยสาเหตุได้แก่ การจำกัดจำนวน output token การลดทอนการ reasoning ข้อผิดพลาดในการจัดรูปแบบ tool call และการ timeout ของคำขอ การเพิ่ม AA-LCR-25 เป็น 25 ครั้งต่อคำถามทำให้ช่วงความเชื่อมั่น 95% เฉลี่ยแคบลงจาก ±4.7 เป็น ±2.6 คะแนน และช่วงความเชื่อมั่นของดัชนีรวมแคบลงจาก ±5.5 เป็น ±4.3 คะแนน จาก 45 endpoint ที่ถูกให้คะแนนภายใต้ทั้งสองเวอร์ชัน

8 พฤศจิกายนวันอาทิตย์
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 เปิดตัวพร้อม Decision Score ใหม่และ Private Benchmarks

    Artificial Analysis เปิดตัว Decision Index v2 โดย 45% ของ Index สร้างจากชุดข้อมูลส่วนตัว เพิ่มขึ้นจาก 25% ใน v1 Drex Max v1.1 จาก Nace AI นำโมเดลตัดสินใจอย่างเฉียดฉิวที่ 73 ห่างจาก GLiDE v1.2 และ Mammoth 27B ไม่ถึง 1 คะแนน Decision Score ใหม่ให้รางวัลทั้งความถูกต้องและความมั่นใจที่ปรับเทียบแล้ว ขณะที่ AA-Paperclip และ AA-Symmetry เพิ่มการทดสอบเอกสารส่วนตัวและความสอดคล้อง

6 พฤศจิกายนวันศุกร์
  1. SemiAnalysis75

    SemiAnalysis ทดสอบประสิทธิภาพ Google TPUv7 Ironwood ด้าน agentic inference เทียบกับ GPU ของ NVIDIA

    SemiAnalysis เผยแพร่ผลลัพธ์ agentic inference แบบ long-context หลายรอบแรกบน InferenceX/AgentX สำหรับ Google TPUv7 Ironwood ครอบคลุมสี่โมเดล พบว่ามีความสามารถในการแข่งขันด้านประสิทธิภาพต่อดอลลาร์หรือเป็น state-of-the-art ในหลายกรณี บน GLM-5.2 ใน FP8 TPUv7 ให้ tokens ต่อดอลลาร์เป็น 1.2x ถึง 2.7x ของ B200, B300 และ MI355X ในช่วง 60 ถึง 300 tok/s/user ขณะที่ GPU แบบ FP4 ยังนำอยู่บน GLM-5.3 เนื่องจาก TPUv7 ไม่รองรับ FP4 แบบเนทีฟจนถึง TPUv8 ในไตรมาสที่ 1 ปี 2027 บทความยังโต้แย้งว่าระบบราชการของ NVIDIA ทำให้การมีส่วนร่วมด้านไดรเวอร์และระบบนิเวศช้ากว่า AMD และ Google

  2. Artificial Analysis Articles40

    VIALS-AA: เส้นทางที่แตกต่างสู่การให้เหตุผลเชิงภาพวิทยาศาสตร์

    VIALS-AA วิเคราะห์วิธีที่โมเดล 19 ตัวให้เหตุผลเหนือภาพวิทยาศาสตร์ โดยจำแนกการเรียกใช้เครื่องมือ 9,177 ครั้ง การดูภาพคิดเป็น 38.3% ของการเรียกใช้ และการเตรียมภาพหรือการวัดภาพ 47.3% ขณะที่การวัดภาพมีเพียง 5–6% ของการเรียกใช้สำหรับ GPT-6 Astra (max) และ GPT-6.1 Sol (max) เทียบกับ 25–27% สำหรับ Claude Opus 5.5 (max) และ Claude Sonnet 5.5 (max) Gemini 3.8 Flash (high) สร้าง 86.7% ของการเรียกใช้ประเภท commentary/no-op ของกลุ่มตัวอย่าง และต้นทุนต่องานแตกต่างกันเกือบ 100 เท่าระหว่างโมเดล

3 พฤศจิกายนวันอังคาร
  1. Ai2 · Allen Institute for AI55

    Ai2 เปิดตัว StateBench เพื่อทดสอบว่าโมเดลภาษาติดตามการเปลี่ยนแปลงสถานะในเอกสารยาวได้อย่างไร

    Ai2 เปิดตัว StateBench ซึ่งเป็นเบนช์มาร์กที่มีสี่ระดับความยากสำหรับการติดตามสถานะในบริบทแบบยาว ตั้งแต่การกำหนดค่าที่ไม่เปลี่ยนแปลง ไปจนถึงการอัปเดตแบบอ้างอิงตนเองและแบบอ้างอิงข้าม ในการทดสอบ Gemini 3.8 Flash, Claude Opus 5.5 และ GPT-6 Sol และ Luna จัดการระดับที่ง่ายกว่าได้ แต่ลดลงเหลือ 13% หรือต่ำกว่าบนปัญหาจำกัดทั่วไปที่ยาวที่สุด ขณะที่ Gated DeltaNet ขนาด 275M พารามิเตอร์และโมเดลไฮบริดที่ฝึกจากศูนย์สามารถ généralisé ได้เกือบสมบูรณ์แบบในสามระดับแรก และทรานส์ฟอร์เมอร์ไม่เคยเรียนรู้ระดับที่ยากที่สุดได้เลย

  2. OpenAI Alignment Blog58

    OpenAI ตรวจสอบช่องว่างพฤติกรรมระหว่างการประเมินกับการใช้งานจริงในความปลอดภัยของเอเจนต์ และบทบาทของการตระหนักรู้ถึงการประเมิน

    นักวิจัยของ OpenAI วัดช่องว่างพฤติกรรมระหว่างการประเมินกับการใช้งานจริงในความปลอดภัยของเอเจนต์: ในหกโมเดลที่ให้บริการ ความสำเร็จในการประเมิน Respecting Warnings ต่ำกว่าการตัดสินใจใช้งานจริงใน Codex ที่จับคู่กันอยู่ที่ 10.2 ถึง 37.4 เปอร์เซ็นต์ โดยช่องว่างที่ใหญ่ที่สุดพบใน GPT-5.6 Sol และ GPT-6 Sol การตระหนักรู้ถึงการประเมินโดยทั่วไปเพียงอย่างเดียวแสดงความสัมพันธ์ที่อ่อนกับช่องว่างนี้ (R² = 0.008) ขณะที่การตระหนักรู้ถึงวัตถุประสงค์เฉพาะของการประเมินนั้นแข็งแกร่งกว่า (R² = 0.370) และโมเดลที่พูดถึงวัตถุประสงค์ผิดบ่อยที่สุด (การต้านทานการฉีดพรอมต์) มีช่องว่างใหญ่ที่สุด ในการทดลองแทรกแซงบน GPT-6.1 Sol สัญญาณการประเมินทั่วไปทำให้ความสำเร็จแทบไม่เปลี่ยน (63.1% เทียบกับ 63.4%) สัญญาณวัตถุประสงค์ที่ถูกต้องเพิ่มเป็น 91.6% และสัญญาณวัตถุประสงค์ที่ไม่ถูกต้องลดลงเหลือ 17.6%

2 พฤศจิกายนวันจันทร์
  1. Import AI42

    Import AI 479: Spacewar, งานความหน่วงต่ำกับ LLMs, Genie 4

    Import AI 479 ครอบคลุม Realtime-Bench ซึ่งเป็นชุดทดสอบ 50 งาน ประกอบด้วย 30 งานเว็บและ 20 งานเกม สร้างโดยนักวิจัยจาก UT Austin, Ohio State, UIUC, NVIDIA, Northwestern และ Steadyworks เพื่อทดสอบว่าโมเดลระดับแนวหน้าสามารถทำงานภายใต้แรงกดดันแบบเรียลไทม์ได้หรือไม่ GPT-6 Astra (high) ทำคะแนนอัตราผ่านตามเวลาจริงได้สูงสุดที่ 36% ขณะที่การรันแบบหยุดนาฬิกาทำให้โมเดลที่มีการให้เหตุผลสูงเข้าถึงประมาณ 70% ถึง 80% ฉบับนี้ยังครอบคลุมรายงาน "Challenges to Security in Space" ของ Defense Intelligence Agency และ Genie 4

  2. SemiAnalysis58

    SemiAnalysis เปิดตัว GDPx benchmark สำหรับความสามารถของ agentic frontier ในโดเมนมูลค่าสูง

    SemiAnalysis เปิดตัว GDPx ซึ่งเป็น benchmark ที่ครอบคลุมการออกแบบชิป ความปลอดภัยไซเบอร์ ชีววิทยา การเงิน กฎหมาย การซื้อขายเชิงปริมาณ RSI การออกแบบฮาร์ดแวร์ วัสดุศาสตร์ alignment และวิศวกรรมซอฟต์แวร์ สร้างขึ้นร่วมกับพันธมิตรด้านสภาพแวดล้อม RL เฉพาะทาง 14 ราย แม้แต่โมเดลที่ดีที่สุดก็ได้คะแนนเพียง 12% โดย Opus 5.5 ชนะด้านการซื้อขายเชิงปริมาณ ฮาร์ดแวร์ และการออกแบบชิป Gemini 4 Carbon นำในด้านชีววิทยาและวิศวกรรมซอฟต์แวร์ และ GPT-6 Astra เป็นผู้นำในด้าน RSI และวัสดุศาสตร์ ทุกงานรันในสภาพแวดล้อมจำลองที่สมจริง เช่น ห้องดีล private equity ที่มีไฟล์ประมาณ 4,000 ไฟล์ หรือ cyber range แบบหลายบริการที่ใช้งานจริง ต่างจาก GDPval ของ OpenAI ซึ่ง SemiAnalysis โต้แย้งว่าป้อนบริบทให้เกินไปและขาดสภาพแวดล้อม

30 ตุลาคมวันศุกร์
  1. Microsoft Research40

    Microsoft สร้างแพลตฟอร์มข้อมูลองค์กรสังเคราะห์เพื่อประเมิน Copilot

    แพลตฟอร์ม Industry Evaluation Data Generation Platform ของ Microsoft สร้างสภาพแวดล้อมองค์กรสังเคราะห์แบบครบวงจรเพื่อประเมิน Microsoft Copilot โดยไม่ใช้ข้อมูลลูกค้า โดยอ้างอิงจากแหล่งข้อมูลสาธารณะ เช่น ข้อมูลอาชีพ O*NET ประกาศรับสมัครงาน และเอกสารที่ยื่นต่อ SEC ระบบจะสร้าง tenant ที่สมจริงพร้อมผู้ใช้ การประชุม อีเมล และเอกสาร รวมถึงไปป์ไลน์การสอบถามอัตโนมัติและกรอบการประเมินคุณภาพ Microsoft ระบุว่าสิ่งนี้สร้างมาตรฐานพื้นฐานการประเมินแบบมาตรฐานแห่งแรกสำหรับ Copilot

27 ตุลาคมวันอังคาร
  1. Ai2 · Allen Institute for AI58

    งานวิจัยของ Ai2 ทดสอบว่า LLMs สามารถตัดสินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือหรือไม่

    Ai2 เผยแพร่ Old Ideas, Novel Problems ซึ่งเป็นงานวิจัยและ benchmark ที่ทดสอบว่า LLMs ประเมินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือเพียงใด พร้อมกับข้อมูล โค้ด และ pipeline สำหรับสร้างชุดการประเมินใหม่ จากการทดสอบผู้ตัดสินหกราย ได้แก่ GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 และ Claude Opus 4.6 การเปลี่ยนแปลง prompt เล็กน้อยทำให้ความแม่นยำเปลี่ยนไปมากกว่า 50 เปอร์เซ็นต์บนแนวคิดที่สร้างโดย AI และ baseline แบบ prompted Claude Opus 4.6 อย่างง่ายได้คะแนน macro-F1 0.854 ที่ราคา $2.59 เทียบกับ 0.642 ที่ $30.66 สำหรับ Idea Novelty Checker และ 0.772 ที่ $82.05 สำหรับ AI Scientist ของ Sakana AI

  2. Epoch AI · Gradient Updates58

    Epoch AI ทดสอบ AI ด้วยงานวิจัยของตัวเอง โมเดลชั้นนำได้ 65% และล้มเหลวทั้งหมด

    Epoch AI ขยายความพยายามก่อนหน้านี้ในการทำงานอัตโนมัติของนักวิจัยอาวุโสให้เป็น Epoch Automation Reports โดยประเมิน AI ในงานจริงของ Epoch เช่น การออกแบบกราฟิกและการวางแผนการวิจัย เทียบกับมาตรฐานเดียวกับที่ใช้กับพนักงานมนุษย์ 1 และ GPT-6 Astra ได้คะแนนเฉลี่ย 65% ตามเกณฑ์ แต่คะแนน 65% ยังถือว่างานล้มเหลว เนื่องจากทุกผลงานที่ส่งมาจะถูกปฏิเสธหรือแก้ไขหากเป็นมนุษย์ที่ทำ

24 ตุลาคมวันเสาร์
  1. Redwood Research58

    Redwood Research เผยแพร่บทความเกี่ยวกับการประเมินการควบคุมแบบจำลองสำหรับตัวตรวจสอบเอเจนต์ AI

    Redwood Research เผยแพร่บทความเกี่ยวกับการประเมินการควบคุมแบบจำลอง (SCEs) ซึ่งเป็นวิธีการที่ใช้ตัวจำลองสภาพแวดล้อม LLM เพื่อทดสอบว่าตัวตรวจสอบที่ดูแลเอเจนต์ AI จะสามารถจับได้หรือไม่หากโมเดลพยายามก่ออันตรายโดยเจตนา โดยไม่ต้องดำเนินการเรียกเครื่องมือของมัน

  2. Epoch AI · Gradient Updates42

    Epoch Brief: การทดสอบระบบอัตโนมัติของงานด้วย AI, SpireClimb Benchmark และการผลักดันสู่ชายแดนของ Gemini 4 Argon

    Epoch AI ทดสอบโมเดลชั้นนำหกตัวบนงานจริงของ Epoch จำนวน 11 งาน และพบว่าไม่มีตัวใดผ่านเกณฑ์คุณภาพได้อย่างน่าเชื่อถือ โดย Claude Fable 5.1 และ GPT-6 Astra อยู่ในระดับใกล้เคียงกันเป็นผู้นำ ส่วน SpireClimb benchmark ใหม่แสดงให้เห็นว่าโมเดลชายแดนพัฒนาจากที่เคยเล่น Slay the Spire ได้อย่างยากลำบาก มาสู่การชนะมากกว่า 90% ของรอบระดับความยากพื้นฐานภายในหกเดือน โดย GPT-6 Astra อยู่ที่ 98% ขณะที่ Gemini 4 Argon ทำคะแนนได้ 166 บน Epoch Capabilities Index เท่ากับ Claude Fable 5.1 และตามหลัง Claude Opus 5.5 และ GPT-6 Astra ที่ 169

21 ตุลาคมวันพุธ
  1. OpenAI Alignment Blog28

    OpenAI เสนอตัวชี้วัดแบบ pair-matched และ post-control เพื่อขยายความสามารถในการตรวจสอบของ g-mean²

    บล็อก Alignment ของ OpenAI เพิ่มตัวชี้วัดสองตัวใน g-mean² ซึ่งเป็นตัววัดระดับชุดข้อมูลของความสามารถในการแยกแยะของมอนิเตอร์ ตัวชี้วัดแบบ pair-matched เปรียบเทียบโมเดลเฉพาะบนอินสแตนซ์งานที่รองรับการเปรียบเทียบเชิงบวก เชิงลบ หรือการเปรียบเทียบที่ใช้การแทรกแซงได้อย่างถูกต้อง ส่วนตัวชี้วัดการผสานรวมหลังการควบคุมจำลองการปฏิเสธที่ควบคุมด้วยมอนิเตอร์ และประเมินความน่าจะเป็นที่ระบบที่นำไปใช้งานยังคงส่งออกผลลัพธ์ที่ไม่ดี บทความยังได้อนุมานขอบเขตล่างแบบ pessimistic สำหรับการประเมินการแทรกแซง

20 ตุลาคมวันอังคาร
  1. AI as Normal Technology40

    งานวิจัยจาก Princeton ชี้ 33 แนวโน้มใหม่ในการประเมิน AI Agent

    กลุ่มวิจัยนำโดย Princeton ร่วมกับ Stanford, UK AI Security Institute และ Brookings เผยแพร่ผลงาน "Emerging Trends in AI Agent Evaluation" ซึ่งสังเคราะห์แนวโน้ม 33 ประการในด้านวิทยาศาสตร์การประเมิน วาระการวิจัย และระบบนิเวศของผู้ประเมิน บทความระบุว่าการประเมิน agent มีความซับซ้อนกว่าการประเมินโมเดลมาก เนื่องจากผู้ประเมินต้องตรวจสอบเส้นทางการทำงานทั้งหมด而非เฉพาะผลลัพธ์สุดท้าย และระบุว่า agent บางตัวบน benchmark ExploitBench ต้องใช้เครดิตในการประเมินถึงหลักหมื่นดอลลาร์ พร้อมเรียกร้องให้ขยายวาระการวิจัยครอบคลุมความสามารถ ปฏิสัมพันธ์กับมนุษย์ และผลกระทบเชิงสถาบัน รวมถึงการมีส่วนร่วมและทุนสนับสนุนที่กว้างขึ้นสำหรับผู้ประเมินอิสระ

12 ตุลาคมวันจันทร์
  1. Import AI38

    Import AI 476: ความคิดสร้างสรรค์และ RSI, โมเดล Open Weight ที่แย่กว่าจีน และ AI ในอวกาศ

    Import AI 476 นำเสนอ benchmark ใหม่ที่แสดงให้เห็นว่า LLM ระดับแนวหน้ายังตามหลังมนุษย์ในด้านการให้เหตุผลเชิงภาพตามสัญชาตญาณ โดย GPT 6 Astra ทำได้ 53.6 pass@1 เทียบกับพื้นฐานของมนุษย์ที่ 93.1 นอกจากนี้ยังกล่าวถึงระบบ AI ที่พัฒนาความสามารถด้าน "รสนิยมการวิจัย" ผ่าน benchmark TasteVal และโต้แย้งว่า AI อาจเร่งการพัฒนาอุตสาหกรรมอวกาศและสร้างข้อได้เปรียบแบบทบต้นสำหรับผู้ที่มาก่อน

10 ตุลาคมวันเสาร์
  1. Epoch AI · Gradient Updates65

    InnovationEval ของ Epoch AI พบว่า frontier agents ทำได้เพียง 15% ของผลตอบแทนที่ SDPO ได้ในการวิจัยและพัฒนาปัญญาประดิษฐ์อัตโนมัติ

    6 Sol และ Fable 5 ค้นพบเทคนิคหลังการฝึกใหม่ที่เป็นนวัตกรรมเทียบได้กับ Self-Distillation Policy Optimization (SDPO) ได้อย่างอิสระ โดยแต่ละตัวได้รับ GPU 3,000 ชั่วโมงในแซนด์บ็อกซ์ที่ไม่มีอินเทอร์เน็ต วิธีการของ 6 Sol ซึ่งส่วนใหญ่คัดลอกมาจากงานก่อนหน้า ทำได้เพียง 15% ของผลตอบแทนที่ SDPO ได้หลังจากปรับตามความเร็วในการฝึกที่ช้ากว่า ขณะที่เทคนิคของ Fable 5 ไม่สามารถปรับปรุงประสิทธิภาพได้

5 ตุลาคมวันจันทร์
  1. GitHub Blog · AI & ML58

    GitHub เปิดตัว ReviewBench ซึ่งเป็นเบนช์มาร์กแบบเปิดสำหรับการรีวิวโค้ดด้วย AI

    GitHub เปิดตัว ReviewBench ซึ่งเป็นเบนช์มาร์กแบบเปิดสำหรับเอเจนต์รีวิวโค้ดด้วย AI สร้างจาก pull request สาธารณะ 219 รายการใน 19 ภาษา โดยมีการกระจายของภาษาและขนาดรีโพซิทอรีที่จำลองตาม pull request บน GitHub จำนวน 103.9 ล้านรายการ ชุด golden set รวบรวมข้อค้นพบจากผู้รีวิวที่เป็นมนุษย์ คอมมิตติดตามผลของผู้เขียน การวิเคราะห์แบบ static และ LLM ชั้นนำหลายตัว โดยให้ Claude Sonnet 5 เป็นผู้ให้คะแนนภายใต้ rubric ที่เผยแพร่ และวิศวกรอาวุโสได้ติดป้ายกำกับข้อค้นพบทุกข้อใหม่โดยอิสระด้วยความสอดคล้อง 96.6% GitHub ระบุว่าการประเมินแบบออฟไลน์ของการรีวิวโค้ดด้วย Copilot ของตนคาดการณ์ทิศทางของการทดสอบ A/B ในการใช้งานจริงได้ โดยอัตราการแก้ไขเพิ่มขึ้น 8.0% recall เพิ่มขึ้น 13.6% และต้นทุนต่อการรีวิวลดลง 8.0%

5 สิงหาคมวันพุธ
  1. AI as Normal Technology65

    การศึกษาพบว่า AI agent ระดับแนวหน้ายังไม่สามารถทำการวิจัย AI แบบเปิดกว้างได้

    บทความใหม่จากทีม AI as Normal Technology ได้ทำการประเมินแบบเงา (shadow evaluation) โดยให้ AI agent ระดับแนวหน้าตอบคำถามวิจัยหลักของบทความ AI ที่ยังไม่เผยแพร่สองฉบับ โดยได้รับเครดิต API และพลังประมวลผลมูลค่าหลายพันดอลลาร์ พร้อมเวลาจริงหกวัน และผู้เขียนต้นฉบับปฏิเสธบทความของ agent ทั้งสองฉบับอย่างชัดเจน

29 เมษายนวันพุธ
  1. Factory58

    Factory ทดสอบโมเดล 13 ตัวบนงานโค้ดรีวิว พบ GPT-5.2 ดีที่สุด และ MiniMax M2.7 ถูกที่สุด

    Factory สร้าง benchmark โอเพนซอร์สทดสอบโมเดล 13 ตัวกับ pull request จริง 50 รายการจาก Sentry, Grafana, Keycloak, Discourse และ Cal.com โดยแต่ละโมเดลรีวิวทุก PR อย่างน้อยสามครั้งด้วย high reasoning effort และ LLM judge ให้คะแนนสิ่งที่พบเทียบกับ golden set ที่มนุษย์คัดสรร GPT-5.2 นำที่ 60.5% F1 ในราคา $1.25 ต่อ PR เหนือกว่า Claude Opus 4.6 ที่ 59.8% F1 และ $3.11 ต่อ PR ขณะที่ MiniMax M2.7 ทำได้ 45.6% F1 ในราคา $0.15 ต่อ PR และ Kimi K2.5 ได้ 51.9% F1 ที่ $0.41 Factory ระบุว่าต้นทุนอธิบายความแปรปรวนของคุณภาพได้เพียงราว 21% และได้เปิดโอเพนซอร์ส golden set, สคริปต์ประเมิน และ Droid Action GitHub Action ที่รองรับทั้ง 13 โมเดล