Perplexity Decider v1.2 อธิบายโมเดลการตัดสินใจในบทวิเคราะห์เชิงลึกทางเทคนิค
เริ่มตรงนี้
บทวิเคราะห์เชิงลึกทางเทคนิคที่เผยแพร่โดยผู้เขียน jbarrow.ai อธิบายการทำงานของ Perplexity Decider v1.2: โมเดลการตัดสินใจแบบเปิดที่สร้างบน Qwen-3.8 27B ซึ่งเปลี่ยน LLM แบบ decoder-only ให้เป็น encoder แบบไม่เป็นเหตุเป็นผล และตอบคำถามการจำแนกประเภททั้งหมดในขั้นตอน prefill เดียวผ่าน readout head ที่มี 255 ตัวเลือก บทความอธิบายประเภทคำถาม yes_no, choice และ score ของ API /v1/decisions การฝึกบนชุดข้อมูลที่ปรับให้สอดคล้องกัน เช่น tasksource ด้วยข้อมูลสังเคราะห์และการสลับตัวเลือก และการปรับเทียบภายหลังที่อุณหภูมิ T=1.32 ผู้เขียนโต้แย้งว่าเหตุผลหลักที่โมเดลการตัดสินใจเหนือกว่า LLM แบบ autoregressive คือประสิทธิภาพของโทเค็น และระบุว่า Decider Flash รุ่น 9B ถูกฝึกด้วย distillation loss
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIเจาะลึกโมเดลการตัดสินใจ: Perplexity Decider v1.2 ทำงานอย่างไร
โพสต์นี้วิเคราะห์ Perplexity Decider v1.2 ซึ่งเป็นโมเดลการตัดสินใจแบบเปิดที่สร้างบน Qwen-3.8 27B โดยแปลง LLM แบบ decoder-only ให้เป็น encoder แบบ non-causal และตอบคำถามการจำแนกประเภททั้งหมดในขั้นตอน prefill เดียวผ่าน readout head ที่มี 255 ตัวเลือก ครอบคลุมประเภทคำถาม yes_no, choice และ score ของ API /v1/decisions การฝึกบนชุดข้อมูลที่ปรับให้สอดคล้องกัน เช่น tasksource พร้อมข้อมูลสังเคราะห์และการสลับตัวเลือก และการปรับเทียบภายหลังที่อุณหภูมิ T=1.32 ผู้เขียนโต้แย้งว่าเหตุผลหลักที่โมเดลการตัดสินใจเหนือกว่า LLM แบบ autoregressive คือประสิทธิภาพของโทเค็น และระบุว่า Decider Flash รุ่น 9B ถูกฝึกด้วย distillation loss
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม