ข้ามไปที่เนื้อหา
เฉพาะ โมเดล#ข้อมูล / การเทรน
  1. Hugging Face Blog69

    IBM เปิดตัวโมเดลพรีวิว LLMON ที่สร้างบน Granite 4.1 3B และ 8B

    IBM เปิดตัวโมเดลพรีวิวเชิงทดลองสองรุ่น คือ granite-4.1-3b-LLMON-preview และ granite-4.1-8b-LLMON-preview ซึ่งพัฒนามาจากเช็กพอยต์ฐาน Granite 4.1 และฝึกให้อ่านและสร้าง LLMON ซึ่งเป็นภาษามาร์กอัปที่ออกแบบมาเพื่อ LLM โดยเฉพาะ ใช้ตัวคั่นโทเคนพิเศษที่สงวนไว้สำหรับกำกับคำสั่ง ข้อมูล และข้อกำหนด บนเบนช์มาร์ก OPI โมเดลเหล่านี้หลีกเลี่ยงการโจมตีแบบ indirect prompt injection ได้มากกว่าโมเดล frontier ที่ดีที่สุดที่ทดสอบถึง 47% และมากกว่าโมเดลโอเพนซอร์สที่ดีที่สุดถึง 95% ขณะที่ประสิทธิภาพบนเบนช์มาร์กมาตรฐานอยู่ในระดับเดียวกับ Granite 4.1 Instruct การเปิดตัวครั้งนี้มาพร้อมชุดเครื่องมือบน GitHub ที่มีตัวแปลง JSON-to-LLMON แบบไม่สูญเสียข้อมูล และผู้เขียนระบุว่าพรีวิวนี้มีไว้เพื่อการสำรวจ ไม่ใช่สำหรับการใช้งานจริง

    ทำไมเรื่องนี้สำคัญ: IBM ฝึกโมเดลพรีวิวบน Granite 4.1 ที่สามารถอ่านและเขียนแท็ก LLMON ได้ โดยใช้การแยกคำสั่งและข้อมูลอย่างชัดเจนเพื่อลดอัตราความสำเร็จของการโจมตีแบบ indirect prompt injection บนเบนช์มาร์ก OPI ให้ใกล้ศูนย์ ขณะที่ยังคงความสามารถทั่วไปไว้ได้

  1. Google DeepMind72

    DeepMind เปิดตัว AlphaGenome 2 โมเดล DNA ที่ทำนายผลของตัวแปรในเซลล์ชนิดเฉพาะ

    Google DeepMind ประกาศเปิดตัว AlphaGenome 2 โมเดลลำดับ DNA รุ่นใหม่ที่ทำนายว่าลำดับ DNA และตัวแปรของลำดับนั้นส่งผลต่อเซลล์มนุษย์ชนิดเฉพาะอย่างไร โมเดลแบบมีเงื่อนไขนี้ฝึกจากโปรไฟล์เซลล์แต่ละเซลล์มากกว่า 107 ล้านโปรไฟล์จาก 68 เนื้อเยื่อ สามารถระบุตัวแปรที่เปลี่ยนการแสดงออกได้เกือบสองเท่าของโมเดลก่อนหน้า และบนชุดข้อมูลเซลล์ภูมิคุ้มกัน TenK10K สามารถเรียกคืนตัวแปรเชิงสาเหตุได้ 30% เทียบกับ 16% ของ AlphaGenome เดิมที่ปรับแต่งบนข้อมูลเซลล์เดี่ยว ใช้งานได้สำหรับการวิจัยที่ไม่ใช่เชิงพาณิชย์ผ่าน AlphaGenome API และอยู่ในช่วงพรีวิวแบบส่วนตัวสำหรับการวิจัยเชิงพาณิชย์

    ทำไมเรื่องนี้สำคัญ: AlphaGenome 2 เปลี่ยนจากค่าเฉลี่ยระดับเนื้อเยื่อไปสู่การปรับเงื่อนไขระดับเซลล์เดี่ยว ทำให้การเรียกคืนตัวแปรเชิงสาเหตุบนข้อมูลเซลล์ภูมิคุ้มกันเพิ่มขึ้นราวสองเท่า ซึ่งสำคัญต่อการเชื่อมสัญญาณ GWAS เข้ากับเซลล์ชนิดเฉพาะ

  1. Amazon Science62

    Amazon เปิดตัว Mitra-v2 โมเดลพื้นฐานสำหรับข้อมูลตารางที่ผ่านการฝึกล่วงหน้าด้วยข้อมูลสังเคราะห์แบบขยายขนาด

    Amazon เปิดตัว Mitra-v2 โมเดลพื้นฐานสำหรับข้อมูลตารางรุ่นที่สองสำหรับการจำแนกประเภทและการถดถอย โดยเผยแพร่พร้อมโมเดลที่ผ่านการปรับแต่งละเอียดและโค้ดสำหรับการอนุมานและการปรับแต่งละเอียดภายใต้สัญญาอนุญาต Apache-2.0 บน Hugging Face โมเดลนี้ผ่านการฝึกล่วงหน้าบนตารางสังเคราะห์ที่มีจำนวนแถวมากกว่า Mitra-v1 ถึง 10 เท่าและมีจำนวนคอลัมน์มากกว่าประมาณ 3 เท่า โดยใช้ไพรเออร์ SCM แบบไฮบริดใหม่และออปติไมเซอร์แบบไฮบริด ขณะที่ยังคงสถาปัตยกรรม Transformer ไว้ไม่เปลี่ยนแปลง บน TabArena ซึ่งเป็นเกณฑ์มาตรฐานสาธารณะที่มีชุดข้อมูลจริง 51 ชุด Mitra-v2 อยู่ในอันดับนำในกลุ่มโมเดลเดี่ยว เอาชนะ Mitra-v1 ได้บน 32 จาก 33 ชุดข้อมูลที่ทั้งสองรันแบบเนทีฟ และรันเสร็จทั้ง 51 ชุดภายในงบเวลาหนึ่งชั่วโมง นอกจากนี้ Mitra-v2 ที่ผ่านการปรับแต่งละเอียดยังอยู่ในอันดับหนึ่งบน ScoringBench

    ทำไมเรื่องนี้สำคัญ: Mitra-v2 แสดงให้เห็นว่าการขยายข้อมูลฝึกล่วงหน้าสังเคราะห์ แทนที่จะเพิ่มความลึกของเครือข่าย ช่วยยกระดับโมเดลพื้นฐานสำหรับข้อมูลตารางขึ้นสู่อันดับนำในกลุ่มโมเดลเดี่ยวของ TabArena

  1. Mistral AI71

    Mistral เปิดตัว Timestral โมเดลพื้นฐานอนุกรมเวลา ขึ้นแท่นอันดับหนึ่งใน GIFT-Eval, TIME และ fev-bench

    Mistral เปิดตัว Timestral ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของบริษัท มีสี่ขนาดตั้งแต่ 5M ถึง 209M พารามิเตอร์ โมเดลที่ใหญ่ที่สุดครองอันดับหนึ่งในสามเบนช์มาร์กสาธารณะหลักทั้ง GIFT-Eval, TIME และ fev-bench ในกลุ่มโมเดลพรีเทรนแบบ zero-shot จากเช็กพอยต์เดียวโดยไม่ใช้เอนเซมเบิล โดยใช้สองในสามของพารามิเตอร์เมื่อเทียบกับสุดยอดของงานก่อนหน้า Timestral สร้างพยากรณ์หลายตัวแปรแบบความน่าจะเป็นด้วย 21 ควอนไทล์ รองรับตัวแปรร่วมแบบอดีตเท่านั้นและแบบอนาคตที่ทราบค่า ทำงานบน CPU โดยไม่ต้องใช้ GPU และใช้งานได้ผ่าน Mistral Forge สำหรับการปรับแต่ง พร้อมเผยแพร่ที่เก็บ GitHub และรายงานทางเทคนิคภายใต้สัญญาอนุญาต MIT ดัดแปลง

    ทำไมเรื่องนี้สำคัญ: ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของ Mistral อ้างว่าครองอันดับสูงสุดแบบ zero-shot ใน GIFT-Eval, TIME และ fev-bench ด้วยเช็กพอยต์ 209M พารามิเตอร์ มอบข้อมูลอ้างอิงการแลกเปลี่ยนระหว่างขนาดกับความแม่นยำสำหรับงานพยากรณ์

อ่านครบทั้งหมดแล้ว