Hacker News · AI·· 3 ชม. ที่แล้วคะแนน AI71
dspy-wsp เปิดตัว WeightSpace optimizer ที่แก้ไขน้ำหนักโมเดลผ่าน writer LLM
Beating benchmarks by weight-space optimizing decision models with DSPy
สรุปโดย AI
dspy-wsp เป็นต้นแบบ DSPy optimizer ที่นำ Weight-Space Programming มาใช้กับโปรแกรมที่มีอยู่ โดยให้ writer LLM เช่น GPT-6-Astra แก้ไขน้ำหนักของโมเดลอื่นโดยไม่ต้องใช้ gradient หรือการเทรน ทดสอบกับโมเดลตัดสินใจแบบเปิดห้ารุ่นตั้งแต่ 0.6B ถึง 9B พารามิเตอร์ด้วย Typed Decisions benchmark พบว่า WeightSpace เพียงอย่างเดียวเพิ่มความแม่นยำ 1.9 ถึง 16.1 คะแนนจาก 400 เคสที่แยกไว้ และเพิ่ม 6.5 ถึง 20.0 คะแนนเมื่อใช้ร่วมกับ ReAnchor optimizer แต่ละรอบใช้ forward pass 25 ครั้งที่ระดับความพยายามในการReasoningสูงสุดด้วยต้นทุนประมาณ $5-10 และโมเดลที่แก้ไขแล้วรันในเครื่องผ่าน MLX บน Apple silicon หรือ PyTorch บน NVIDIA GPUs
แหล่งข่าว:Hacker News · AI · cmpnd.ai