Hacker News · AI·· 3 小時前AI 評分71
dspy-wsp 發布 WeightSpace 優化器,透過 writer LLM 編輯模型權重
Beating benchmarks by weight-space optimizing decision models with DSPy
AI 導讀
dspy-wsp 是一個 DSPy 優化器原型,將 Weight-Space Programming 帶入現有程式,讓 GPT-6-Astra 等 writer LLM 無需梯度或訓練即可編輯另一個模型的權重。在 Typed Decisions 基準上,以五個參數量從 0.6B 到 9B 的開放決策模型測試,WeightSpace 單獨在 400 個留出案例上提升了 1.9 到 16.1 個百分點的準確率,與 ReAnchor 優化器結合時則提升 6.5 到 20.0 個百分點。每次執行以最大推理強度進行 25 次前向傳遞,花費約 $5-10,編輯後的模型可透過 Apple 晶片上的 MLX 或 NVIDIA GPU 上的 PyTorch 在本機執行。
來源:Hacker News · AI · cmpnd.ai