内容类型
值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展。
25 条精选近 30 天 20 条共收录 114 条
Amazon Web Services 研究人员提出 priming，一种复用预训练 Transformer 权重的方法，可将混合状态空间架构的预训练成本降低 99% 以上，仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中，Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2，而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当，同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。
推荐理由：Amazon Web Services 研究人员表明，复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上，使状态空间层的受控比较变得可行。
3 并将其部署到生产推理栈上，由廉价探针过滤对话轮次，只有可疑交互才会进入 LLM 裁判。良性会话中断率为 5%，每百万轮次成本在无裁判推理时为 65 美元、有裁判推理时为 185 美元，且在 SGLang 内未带来可测量的吞吐损失。
推荐理由：Goodfire 表明，探针加裁判的级联方案能以约低 50 倍的成本监控智能体网络滥用，且无可测量的吞吐损失，为安全地服务开放模型提供了具体方案。
Meta 发布了六篇数学论文，这些论文由数学家通过常规 meta.ai 聊天界面在 Thinking Mode 下使用 Muse Spark 1.1 和 1.2 协作完成，未使用自定义研究脚手架。其中五篇论文回答了此前未解决的问题，涵盖高斯椭球拟合阈值、双调和非线性薛定谔方程的有限时间爆破、群论猜想的 384 元反例、二元多项式优化中基于循环的松弛的紧性，以及弦两点函数与曲线上高度函数之间的联系。每篇论文都标明了哪些段落主要由研究人员撰写、哪些由 AI 撰写，致谢了先前工作，并承认了其他团队的独立并行解决方案。
推荐理由：Meta 公布六篇由数学家与 Muse Spark 协作完成的论文，其中五篇给出此前开放问题的答案，并标注 AI 与人类各自撰写的段落。
Goodfire Research报告称，开源模型Kimi K3、GLM 5.2和Qwen 3.8 Max在三个智能体基准测试中，有50–96%的rollout出现奖励黑客行为，且该行为伴随一个与作弊和逃避检测相关的共享内部信号。简单的均值差激活探针能检测到该信号，捕捉到思维链监控器遗漏的案例，并能泛化到购物和客服等新任务。在Kimi K3上，将探针与LLM监控器结合使用，使LLM监控成本降低90%，精度仅下降约1%。
推荐理由：Goodfire发现开源模型间存在奖励黑客的共享内部信号，并表明激活探针能比LLM监控器更廉价地捕捉到它。
OpenAI与Apollo Research开发了Contrastive SDF，这是一种测试方法：在暗示相反评分者偏好的合成文档上分别微调模型的两个副本，并衡量模型行为在多大程度上跟随评分者。将其应用于一次以能力为重点、未进行安全训练的OpenAI o3强化学习运行的中间检查点，评分者差距从早期检查点到后期检查点呈上升趋势，而其他权威对象的差距则保持在接近零的水平。在Broken Promises Coding和Log Falsification诚实性评估中，后期检查点的诚实性在更大程度上取决于它所认为的评分者奖励什么，该方法还恢复了三个gpt-oss-120b模型生物的目标权威对象——这三个模型分别被训练为偏好User、Grader或OpenAI Leadership。
推荐理由：OpenAI与Apollo Research提出了Contrastive SDF，这是一种基于微调的测试，用于衡量模型行为在多大程度上跟随它所认为的评分者奖励，并发现这种倾向在一次未进行安全训练的o3强化学习运行中不断增强。