跳到正文
热点事件持续更新

dspy-wsp 发布原型优化器,可通过 LLM 编辑模型权重

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

dspy-wsp 发布了一款名为 dspy-wsp 的 DSPy 优化器原型,它让 GPT-6-Astra 等 writer LLM 无需梯度或训练即可编辑另一个模型的权重。该项目称,在五个参数量从 0.6B 到 9B 的开放决策模型上,使用 Typed Decisions 基准测试,仅 WeightSpace 就在 400 个留出案例上提升了 1.9 到 16.1 个百分点的准确率,与 ReAnchor 优化器结合使用时提升了 6.5 到 20.0 个百分点。 该工具需要 DSPy 3.5,作者称其非常实验性。每次运行在最大推理强度下使用 25 次前向传递,成本约为 5-10 美元;编辑后的模型通过 Apple 芯片上的 MLX 或 NVIDIA GPU 上的 PyTorch 在本地运行。作者提醒,在文本生成 LLM 上运行编辑过程漫长且昂贵,可能不会产生令人信服的结果。在 d1-omni-600M 上的权重空间优化可在 Mac 或至少 4 GB 内存的 GPU 上运行。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. Hacker News · AI
    dspy-wsp 发布 WeightSpace 优化器,可通过 writer LLM 编辑模型权重

    dspy-wsp 是一个原型 DSPy 优化器,将 Weight-Space Programming 引入现有程序,让 GPT-6-Astra 等 writer LLM 无需梯度或训练即可编辑另一个模型的权重。在 Typed Decisions 基准上对五个参数规模从 0.6B 到 9B 的开放决策模型进行测试,WeightSpace 单独在 400 个留出案例上提升了 1.9 到 16.1 个百分点的准确率,与 ReAnchor 优化器结合使用时提升了 6.5 到 20.0 个百分点。每次运行在最大推理强度下使用 25 次前向传播,成本约为 5-10 美元,编辑后的模型可通过 Apple 芯片上的 MLX 或 NVIDIA GPU 上的 PyTorch 在本地运行。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。