dspy-wsp เปิดตัวต้นแบบออปติไมเซอร์ที่แก้ไขน้ำหนักโมเดลผ่าน LLM
เริ่มตรงนี้
dspy-wsp เปิดตัวต้นแบบออปติไมเซอร์ DSPy ชื่อ dspy-wsp ที่ให้ LLM ผู้เขียน เช่น GPT-6-Astra แก้ไขน้ำหนักของโมเดลอื่นโดยไม่ต้องใช้เกรเดียนต์หรือการเทรน บนโมเดลตัดสินใจแบบเปิดห้าโมเดลที่มีขนาด 0.6B ถึง 9B พารามิเตอร์ ทดสอบด้วยเบนช์มาร์ก Typed Decisions พบว่า WeightSpace เพียงอย่างเดียวเพิ่มความแม่นยำ 1.9 ถึง 16.1 คะแนนบนเคสที่แยกไว้ 400 เคส และเพิ่ม 6.5 ถึง 20.0 คะแนนเมื่อใช้ร่วมกับออปติไมเซอร์ ReAnchor ตามที่โครงการระบุ เครื่องมือนี้ต้องใช้ DSPy 3.5 และผู้เขียนอธิบายว่าเป็นเวอร์ชันทดลองอย่างมาก แต่ละครั้งใช้ forward pass 25 ครั้งที่ระดับความพยายามในการให้เหตุผลสูงสุด ด้วยค่าใช้จ่ายประมาณ $5-10 โมเดลที่แก้ไขแล้วรันในเครื่องผ่าน MLX บน Apple silicon หรือ PyTorch บน NVIDIA GPU ผู้เขียนเตือนว่าการรันแก้ไขบน LLM ที่สร้างข้อความนั้นใช้เวลานานและมีค่าใช้จ่ายสูง และอาจไม่ได้ผลลัพธ์ที่น่าพอใจ การปรับแต่งในปริภูมิของน้ำหนักบน d1-omni-600M รันได้บน Mac หรือ GPU ที่มีหน่วยความจำอย่างน้อย 4 GB
สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIdspy-wsp เปิดตัว WeightSpace optimizer ที่แก้ไขน้ำหนักโมเดลผ่าน writer LLM
dspy-wsp เป็นต้นแบบ DSPy optimizer ที่นำ Weight-Space Programming มาใช้กับโปรแกรมที่มีอยู่ โดยให้ writer LLM เช่น GPT-6-Astra แก้ไขน้ำหนักของโมเดลอื่นโดยไม่ต้องใช้ gradient หรือการเทรน ทดสอบกับโมเดลตัดสินใจแบบเปิดห้ารุ่นตั้งแต่ 0.6B ถึง 9B พารามิเตอร์ด้วย Typed Decisions benchmark พบว่า WeightSpace เพียงอย่างเดียวเพิ่มความแม่นยำ 1.9 ถึง 16.1 คะแนนจาก 400 เคสที่แยกไว้ และเพิ่ม 6.5 ถึง 20.0 คะแนนเมื่อใช้ร่วมกับ ReAnchor optimizer แต่ละรอบใช้ forward pass 25 ครั้งที่ระดับความพยายามในการReasoningสูงสุดด้วยต้นทุนประมาณ $5-10 และโมเดลที่แก้ไขแล้วรันในเครื่องผ่าน MLX บน Apple silicon หรือ PyTorch บน NVIDIA GPUs
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม