Hacker News · AI·· 3 小时前AI 评分71
dspy-wsp 发布 WeightSpace 优化器,可通过 writer LLM 编辑模型权重
Beating benchmarks by weight-space optimizing decision models with DSPy
AI 导读
dspy-wsp 是一个原型 DSPy 优化器,将 Weight-Space Programming 引入现有程序,让 GPT-6-Astra 等 writer LLM 无需梯度或训练即可编辑另一个模型的权重。在 Typed Decisions 基准上对五个参数规模从 0.6B 到 9B 的开放决策模型进行测试,WeightSpace 单独在 400 个留出案例上提升了 1.9 到 16.1 个百分点的准确率,与 ReAnchor 优化器结合使用时提升了 6.5 到 20.0 个百分点。每次运行在最大推理强度下使用 25 次前向传播,成本约为 5-10 美元,编辑后的模型可通过 Apple 芯片上的 MLX 或 NVIDIA GPU 上的 PyTorch 在本地运行。
来源:Hacker News · AI · cmpnd.ai