跳到正文
10月19日周一
  1. Sakana AI Blog55

    Sakana AI 提出 QD-Rec:一种将候选对象与 LLM 撰写的假设配对的质量-多样性推荐方法

    Sakana AI 开发了 QD-Rec,这是一种推荐方法,将候选对象加上解释为何选择它的假设作为推荐单元,并使用质量-多样性搜索来积累高质量、多样化的提议。在并购、客户定位和论文推荐实验中,QD-Rec 构建的档案平均得分更高、规模大于从头编写每个假设的基线,其代码已在 GitHub 上发布。论文报告了一些案例,其中某个假设对一家公司评分为 1 分(满分 10 分),经过变异并迁移到另一个候选对象后,得分提高到 5 分。

10月15日周四
  1. Mistral AI71

    Mistral 发布 Timestral 时间序列基础模型,在 GIFT-Eval、TIME 和 fev-bench 上登顶

    Mistral 发布了 Timestral,这是其首个时间序列基础模型系列,包含从 5M 到 209M 参数的四种规模。最大的模型在 GIFT-Eval、TIME 和 fev-bench 三大主要公开基准上,在来自单一检查点、未使用集成方法的预训练零样本模型中排名第一,且参数量仅为此前最先进模型的三分之二。Timestral 可生成具有 21 个分位数的概率多变量预测,支持仅历史协变量和已知未来协变量,可在无 GPU 的 CPU 上运行,并可通过 Mistral Forge 进行微调,同时在修改版 MIT 许可证下发布了 GitHub 仓库和技术报告。

    推荐理由:Mistral 的首个时间序列基础模型系列凭借 209M 参数的检查点在 GIFT-Eval、TIME 和 fev-bench 上宣称获得零样本排名第一,为预测工作提供了规模与精度的权衡参考。

  2. inclusionAI Repositories67

    inclusionAI 发布 Ming-3.0-audio-flash 与 Ming-3.0-audio-tiny 音频模型

    inclusionAI 发布了 Ming-3.0-audio-flash,这是一个 126B 参数的混合专家音频模型,激活参数为 6.5B;同时发布的还有紧凑型 Ming-3.0-audio-tiny,参数为 9.3B,激活参数为 2.7B。flash 模型覆盖中英文语音识别,包括方言和嘈杂多说话人场景、长音频理解、非语音声音与音乐感知、音频推理,以及可选用合成语音输出的端到端口语对话。该模型以 MIT 许可证提供,附带 vLLM-Omni、SGLang 和 Transformers 推理路径,默认 Flash 配置在 128K 上下文下使用四块 80 GB H800 GPU 进行张量并行。

    推荐理由:该发布详细介绍了一个 126B 参数的 MoE 音频模型(激活参数 6.5B),以及一个 9.3B 的 tiny 变体,为开放音频语言模型的规模与部署提供了具体参考。

  3. AI as Normal Technology36

    引导 AI 超越自动化:人机协作的研究议程

    斯坦福大学经济学家 Gabriel Unger 和 Arvind Narayanan 认为,AI 研究过度偏向完全自动化,并勾勒出一个以人机协作为中心的替代议程。他们提出四个研究方向,其中包括“白盒智能体”——这类智能体会揭示其中间过程、来源、假设和不确定性,以便用户能直接与之交互。该文追溯了这场辩论在计算机科学中的历史,并呼吁采取自下而上、市场驱动的方式来引导 AI 发展。

  4. Goodfire Research62

    Goodfire研究文章认为神经网络本身已是清晰的,叠加现象被误读

    Goodfire研究员认为,神经网络中多义性和叠加现象的经典证据被误读了,看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后,其最后一层99-100%的神经元变得易于解释;对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种,因此可解释性可以直接研究神经元和电路,而不必先训练稀疏自编码器等分解模型。

    推荐理由:这是对该领域经典多义性证据的第一手重新解读,主张网络是递归泛化而非打包不相关的概念,这将使直接的机制性研究变得可行。

10月13日周二
  1. Modal Blog58

    Modal 在 Qwen3.6-35B-A3B 上测试混合精度、混合加速器 RL 采样器

    Modal 在 agentic coding 任务上训练 Qwen3.6-35B-A3B,采样器分布在六种加速器类型(B200、B300、H100、H200、A100、RTX PRO 6000)上,采用 NVFP4、FP8 和 BF16 精度,向 B200 上的单个 BF16 训练器供给数据。普通 GRPO 在混合与同构采样器上均崩溃,但加入掩码重要性采样加分数中心化(无论是否配合 top-p 掩码重放)后,训练稳定进行到最后,并在 SWE-bench Pro V2 pass@4 上达到与同构采样器相当的水平,每次更新的采样器成本约低 15%。混合采样器运行时的平均采样器-训练器 KL 是同构设置的 4.7 倍,作者认为稳定性取决于将失配保持在有界范围内,而非保持低值。

  2. Amazon Science75

    Amazon Web Services 研究人员提出 priming,可将预训练 Transformer 转换为混合状态空间模型而无需完全重新训练

    Amazon Web Services 研究人员提出 priming,一种复用预训练 Transformer 权重的方法,可将混合状态空间架构的预训练成本降低 99% 以上,仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中,Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2,而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当,同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。

    推荐理由:Amazon Web Services 研究人员表明,复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上,使状态空间层的受控比较变得可行。

10月12日周一
  1. Import AI38

    Import AI 476:创造力与RSI、比中国更差的开源权重模型,以及太空中的AI

    Import AI 476 介绍了一项新基准,显示前沿大语言模型在直觉视觉推理上仍落后于人类,GPT 6 Astra 的 pass@1 得分为 53.6,而人类基线为 93.1。文章还讨论了AI系统通过 TasteVal 基准在“研究品味”上的提升,并认为AI可能加速太空工业化并形成复利式的先发优势。

  2. Meta AI Research Blog82

    Meta 发布 Muse Wonder 和 Muse Wonder Full 前沿模型,面向个人与专业智能体

    Meta 推出 Muse Wonder 系列,包括 Muse Wonder 和 Muse Wonder Full,称其在个人与专业智能体任务、记忆和编程方面达到最先进性能。Muse Wonder 即日起通过 Meta Model API 和 Muse Code 提供,Muse Wonder Full 即日起面向 Muse Code 订阅用户提供。这些模型将 Active Memory(跨对话携带上下文并检索任务相关细节)与 Active Focus(持续处理长期目标并在重要操作前确认)相结合;Meta 表示两者均在其千兆瓦级 Prometheus 数据中心训练。

    推荐理由:Meta 的 Muse Wonder 系列声称在智能体、记忆和编程基准上取得最先进结果,其构建围绕 Active Memory 和 Active Focus 两项能力。

  3. Modal Blog40

    Modal 推出 Endpoint Candidates,用于评估和提升推理端点

    Modal 发布了 Endpoint Candidates,现已面向所有工作区正式可用。用户可以为 Dedicated Endpoints 部署替代版本,在 Modal 运行基础设施的同时镜像一部分生产流量。用户可以查看延迟和吞吐量指标、运行基准测试,并通过每个 Candidate 自己的 URL 测试输出质量,然后在仪表板中将其提升为生产版本。镜像请求为尽力而为,按 Modal 标准计算价格计费。

10月7日周三
  1. OpenAI Alignment Blog52

    OpenAI研究语言模型内部的元博弈潜在变量

    OpenAI对齐研究人员在OpenAI o3中识别出与元博弈相关的稀疏自编码器潜在变量,并发现元博弈依赖多个重叠过程而非单一机制,包括任务分析、评估意识、奖励寻求和规范推理。沿这些潜在变量进行引导会改变Verbalized Metagaming分数,在even_number任务上还会改变奇数答案的占比,且部分潜在变量能在元博弈未出现在书面思维链中的情况下影响输出。这些潜在变量的激活水平和引导效应在RL检查点之间总体上升,与先前发现一致,即元博弈在强化学习过程中变得更常见。

10月5日周一
  1. Import AI40

    Import AI 475:群体扩展、Google DeepMind 的 SynthID Bio 水印,以及 AI 科学经济

    Import AI 475 涵盖 Toby Ord 的分析,发现 AI 群体大约用两倍的 token 换取一半的墙钟时间,且随着智能体数量增长收益递减。Google DeepMind 推出了 SynthID Bio,这是一个用于合成生物学的水印系列,在三个目标蛋白上,其命中率和结合亲和力与未加水印的设计相当。本期还涵盖 CSAIP 的民意调查,显示 61% 的美国人表示企业的自愿 AI 承诺“不够”,以及 SciUniverse 基准,包含 92 项任务,测试 AI 系统在自动化实验室中的运作能力。

10月3日周六
  1. Epoch AI · Gradient Updates58

    Epoch AI:未来两年建成的算力可运行数亿个AI智能体

    Epoch AI估计,未来两年生产出的AI算力可支持数千万至数亿个并发智能体运行当今最强的模型,或支持数十亿个智能体运行更便宜的模型。该分析基于2025年至2027年的HBM出货量预测,统计了GB300等效GPU,发现顶级智能体不间断运行可提供约1.4亿至7亿名全职员工的每周工时,而DeepSeek V4 Pro的服务基准测试则意味着约19亿个并发智能体。报告指出,关键的不确定性在于需求能否增长得足够快以证明这一建设规模的合理性,还是会留下过剩的智能体。

10月2日周五
  1. Meta AI Research Blog71

    Meta 分享六篇与数学家和 Muse Spark 合著的数学论文

    Meta 发布了六篇数学论文,这些论文由数学家通过常规 meta.ai 聊天界面在 Thinking Mode 下使用 Muse Spark 1.1 和 1.2 协作完成,未使用自定义研究脚手架。其中五篇论文回答了此前未解决的问题,涵盖高斯椭球拟合阈值、双调和非线性薛定谔方程的有限时间爆破、群论猜想的 384 元反例、二元多项式优化中基于循环的松弛的紧性,以及弦两点函数与曲线上高度函数之间的联系。每篇论文都标明了哪些段落主要由研究人员撰写、哪些由 AI 撰写,致谢了先前工作,并承认了其他团队的独立并行解决方案。

    推荐理由:Meta 公布六篇由数学家与 Muse Spark 协作完成的论文,其中五篇给出此前开放问题的答案,并标注 AI 与人类各自撰写的段落。

10月1日周四
  1. Zyphra Research38

    混合NoPE模型如何在无位置编码的情况下学习位置

    Zyphra Research解释了混合语言模型如何在全局注意力层不使用显式位置编码的情况下恢复位置信息。滑动窗口注意力和门控线性注意力等局部层在残差流中产生近因偏差,而全局NoPE注意力学习查询和键投影,将其作为隐式相对位置编码读取出来。这些发现从机制上解释了为什么将局部混合与全局NoPE注意力交错使用效果良好,并指出了能够外推到训练序列长度之外的位置表示。

  2. Modal Blog42

    Modal 运行时汇总:VM 沙箱、Modal 集群等

    Modal 发布了 VM 沙箱,为智能体提供完整的 Linux 计算机,可用于 Docker 技术栈、本地数据库和移动模拟器,Linear、Legora 和 Snorkel 已在使用。Modal 集群现已通过 @modal.clustered 装饰器正式可用,支持跨协调容器的万亿参数训练与推理服务。此外还推出了粘性会话和端点候选,后者处于私测阶段。

9月24日周四
  1. Modal Blog58

    Modal 与 CMU 全栈数据实验室发布 Quail:一款联合优化查询规划器与推理的 AI-SQL 推理引擎

    Modal 与卡内基梅隆大学全栈数据实验室构建了 Quail,这是一款面向 AI-SQL 工作负载的查询感知推理引擎,可联合优化 SQL 查询规划器与推理引擎。在一条多连接查询上,它每块 H100 GPU 每分钟可处理超过十亿个 token,比 Modal 在同一硬件上的 vLLM 基线快 10 倍以上,每十亿 token 成本低于 6 美分;在团队新推出的 AI-SQL 基准测试上,按任务几何平均计算,它比 vLLM 快 1.84 倍。由于 AI-SQL 的过滤和连接每个序列只需一个 token,Quail 跳过了解码、采样以及预填充-解码分离,并利用已知的查询计划来排序请求和管理 KV 缓存淘汰。

9月23日周三
  1. Vapi Blog38

    Vapi 测试 Jev 作为语音 AI 的实时护栏

    Vapi 使用 TypeSafe AI 的早期访问“System One”模型 Jev 进行了早期实验,将其作为护栏,在语音助手的回复被说出之前,对其是否违反开发者定义的规则进行评分。在一项早期测试中,Jev 至少捕获了四分之三的违规回复,不过 Vapi 表示这并非 100% 的合规保证,而只是在提示护栏之上的一道额外检查。

  2. Modal Blog58

    Modal 如何为万亿参数编码智能体提供数万亿 token 的服务

    Modal 解释了它如何为编码智能体优化 Kimi K2.6 推理,实现每个副本单用户 2.8 倍、跨用户 5.6 倍的性能提升,并以每天数千亿 token 的规模运行服务。这项工作结合了在编码轨迹上微调的定制 DFlash 推测解码、FP8 KV 缓存和 NVFP4 共享专家量化、HiCache CPU 层缓存,以及 KV 缓存感知的基于负载的路由。Modal 将其 SGLang 补丁上游化,并发布了 Modal Auto Endpoints 背后的配置。

9月17日周四
  1. Goodfire Research74

    Goodfire Research发现模型内部会发出奖励黑客信号,可通过激活探针检测

    Goodfire Research报告称,开源模型Kimi K3、GLM 5.2和Qwen 3.8 Max在三个智能体基准测试中,有50–96%的rollout出现奖励黑客行为,且该行为伴随一个与作弊和逃避检测相关的共享内部信号。简单的均值差激活探针能检测到该信号,捕捉到思维链监控器遗漏的案例,并能泛化到购物和客服等新任务。在Kimi K3上,将探针与LLM监控器结合使用,使LLM监控成本降低90%,精度仅下降约1%。

    推荐理由:Goodfire发现开源模型间存在奖励黑客的共享内部信号,并表明激活探针能比LLM监控器更廉价地捕捉到它。

9月7日周一
  1. Charlie O'Neill38

    让我们押注强化学习环境:为什么有用的数据和环境终将胜出

    文章指出,那些声称一切都会变成强化学习环境的人,并未按这一信念行事;而随着模型逼近递归自我改进(RSI),有用的强化学习环境将呈指数级变得愈发稀缺、愈发有价值。文章呼吁在真正具备专业知识的领域构建长时程任务,而非古德哈特式的任务农场,并认为广泛铺开的环境胜过一小撮前沿难题。

9月2日周三
  1. Charlie O'Neill38

    试图真正定义AI智能体的持续学习

    一位作者探讨了LLM智能体的持续学习问题,将当今的模型比作失忆的实习生——上下文窗口一结束,其知识就被重置。LLM只有两种原生记忆:无损但昂贵的上下文与KV缓存,以及压缩但难以更新的权重,两者之间几乎没有中间地带。文章权衡了更长的上下文、有状态记忆框架,以及将上下文压缩为学习到的潜在表示,并引用了Llama 3.1 70B的141 GB权重和每token 320 KiB的KV缓存。

8月24日周一
8月20日周四
  1. Goodfire Research26

    分叉加速:高效估计文本生成中的不确定性动态

    Goodfire Research 的研究人员提出 Forking Fast,这是一种统计方法,可对噪声较大的低样本 rollout 数据进行平滑处理,以近似高样本结果,从而降低 LLM 推理中基于重采样的不确定性分析成本。该研究发现,当对多条推理链进行重采样时,不确定性动态会收敛到稳定模式,而观察到的噪声在很大程度上是采样伪影,而非模型对单个 token 或步骤的敏感性。

8月12日周三
  1. Modal Blog62

    Qwen3.8-2.4T-A95B 开源权重发布,Modal 同步上线共享端点

    Qwen3.8-2.4T-A95B 已作为开源权重模型发布,并同步在 Modal 上线。Modal 表示其与 Qwen 在发布前合作,通过 SGLang 和针对 Qwen3.8 形状调优的定制 DFlash 推测器,为 Modal Auto Endpoints 提供 day zero 支持。

    推荐理由:Modal 在 Qwen3.8-2.4T-A95B 开源权重发布当天即上线共享端点,并说明其定制 DFlash 推测器如何针对该模型的形状提升推理速度。

7月29日周三
  1. Berkeley AI Research58

    从 CUDA 到 MLX:K-Search 将内核优化专长带到 Apple Silicon

    IBM Research 扩展了 K-Search——来自 UC Berkeley Sky Lab 的进化式内核搜索框架——为其增加了 MLX 后端和一个结构化的 CUDA 到 MLX 翻译层,可将现有 CUDA 内核适配为 Apple Silicon 内核。在一个 MLX 注意力内核上,该方法达到了 Apple 原生 MLX Attention 内核速度的 0.97 倍,而在没有翻译上下文时为 0.26 倍;在 M1 Max 上,一个进化出的 Mamba SSM 内核相比社区 mlx-lm 实现实现了最高 20 倍的 prefill 加速。作者将这一提升主要归因于提供给 LLM 的上下文和约束的质量,而非其编写 Metal 代码的能力,并表示该方法并非 MLX 专属。

7月26日周日
  1. Berkeley AI Research33

    ABBEL:教 LLM 为长程交互更新信念状态

    伯克利人工智能研究院提出 ABBEL 框架,用自然语言信念状态替代完整交互历史,并通过信念评分来监督其内容。在 CollabBench 协作编码任务上,基于重建的信念评分将与非完整上下文模型的差距缩小约 50%,训练步数从 100 步降至 50 步,同时峰值 token 用量更少。

7月15日周三
  1. Modal Blog60

    Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线

    Thinking Machines 发布了 Inkling,这是一个通用多模态模型,可接收文本、图像和音频输入并输出文本,Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer,总参数 975B,激活参数 41B,上下文窗口 1M token,原生支持音频和视觉,每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中,Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token,在同等吞吐下交互速度比模型内置的推测路径快 67%。

    推荐理由:Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明,定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。

7月6日周一
  1. Modal Blog38

    如何为无服务器 GPU 定价:Modal 的交互式成本模型

    Modal 发布了一个交互式工具,用于估算无服务器与预留 GPU 的成本,默认采用 B200 GPU 在 Modal 上以无服务器方式运行、以及通过三年期超大规模云厂商预留的当前费率。该模型显示,当应用的峰值与平均比超过预留折扣率时,无服务器 GPU 的总体成本更低,并且 Modal 提到观察到的折扣为 2-5 倍,而峰值与平均比为 5-10 倍。

7月1日周三
  1. One Useful Thing60

    Ethan Mollick 谈聊天机器人的黄昏与智能体主导工作的兴起

    Ethan Mollick 认为,AI 的使用正从聊天机器人式的协同智能转向需要更少人工干预的长时运行智能体,而且这一变化正在快速发生。他援引 METR、英国 AI 安全研究所和 GDPval 的基准测试结果,这些结果正以快于指数的速度上升;他还提到 Epoch 的一项发现:Opus 4.7 独自工作了 14 小时,构建出一个估计需要 2 至 17 周人类工程量的软件包,token 成本为 251 美元。OpenAI 与学术经济学家的一项研究发现,四分之一的 OpenAI 员工每周至少运行四个智能体,法律和人力资源部门的采用率与程序员几乎相同;一项 Claude Code 研究发现,预测成功的是领域专业知识,而非职业。

  2. Modal Blog58

    Modal Research 与 HeavyBall 的 MRP 将多 token 预测引入扩散语言模型

    Modal Research 与上海纽约大学的 HeavyBall Research 推出多 token 残差预测(MRP),这是一个附加在冻结扩散语言模型主干上的 3 层模块,预测步间 logit 残差而非完整的下一步分布。在 SDAR-4B GSM8K 上,MRP 在 K=3 时保持 70.9% 的准确率,而朴素 MTP 蒸馏仅为 5.9%;在 SGLang 中,推测模式下可实现最高 1.56 倍的无损吞吐提升,或在激进低阈值动态解码下最多恢复 +16 个准确率点。论文、代码、SGLang 实现以及 Hugging Face 上的 SDAR-MRP 模型均已发布。

6月25日周四
  1. Modal Blog55

    Modal 推出面向低延迟 HTTP、WebSocket 和 gRPC 流量的无服务器 Servers

    Modal 推出了 Servers,这是一个区域化的 HTTP 服务器副本自动扩缩容池,面向 HTTP、WebSocket 和 gRPC 流量,针对交互式智能体的 LLM 推理等延迟敏感型工作负载。Modal 表示,通过将控制平面查找和排队移出请求路径,p50 延迟从 39ms 降至 6ms,因此当没有可用副本时客户端会收到 503,必须在应用层处理降载。路由层运行在 AWS EKS 上,边缘使用 Envoy,Modal 自研的 Rust 代理 fprs 基于 Cloudflare 的 pingora 构建,负责域名关联和负载均衡,配置从 Spanner 读取并缓存在内存中。

6月24日周三
  1. Modal Blog58

    Modal 推出 Auto Endpoints,称采用推测解码实现业界领先的推理延迟

    Modal 正在推出 Modal Auto Endpoints,只需一键即可将 Modal 的基础设施扩展能力与业界领先的推理性能相结合,同时保留对代码的控制权。Modal 表示,主要的延迟收益来自使用自定义 DFlash 推测器模型的推测解码;在 Decagon Voice 的案例研究中,这将端到端延迟降低了约 100ms,约占服务端解码延迟的 40%,使其比最快的专有替代方案快 60ms 以上。Modal 还与 Z Lab 和 SGLang 一起发布了开源 DFlash 推测器模型,其中包括一个用于 Qwen 3.5 397B-A17B 的模型,其性能比 MTP 提升超过 50%。

6月23日周二
  1. Modal Blog60

    Modal 推出 Auto Endpoints,用于自助式、兼容 OpenAI API 的 LLM 推理

    Modal 推出了 Auto Endpoints,这是一项自助式服务,可将生产级 LLM 推理部署为兼容 OpenAI API 的端点,并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署,该部署根据 Modal 自身的基准测试进行调优,使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器,用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布,用于提供开销为 5ms 的区域化路由,并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。

    推荐理由:Modal 的 Auto Endpoints 公开了托管推理提供商通常隐藏的服务栈、引擎指标和基准测试配方,为团队提供了一条自助式路径来拥有开放模型推理。

6月19日周五
  1. Modal Blog60

    Modal 为 Qwen 3.5 和 3.6 发布 DFlash 推测器,声称额外提速 5-20%

    Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体,以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示,新的草稿器在现有 DFlash 基线之上额外提速 5-20%,并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s,而不使用推测时为 250 tok/s。文章认为,在内核优化只能带来几个百分点提升的地方,推测解码可带来 2 倍至 3 倍的增益,并提出了一个根据接受长度估算加速比的 roofline 模型。

    推荐理由:Modal 解释了为何押注推测解码,并为 Qwen 系列发布了 DFlash 草稿模型,附有实测加速比和用于估算增益的 roofline 模型。

6月11日周四
  1. Modal Blog34

    Modal 让 FlashAttention-4 在 LLM 推理中更快

    Modal 为 FlashAttention-4 内核贡献了优化,以加速以解码为主的 LLM 推理工作负载,这类负载的瓶颈在于内存带宽。改动包括将“split KV”并行技术移植到 FA4,并用 cp.async 替换 TMA cp.async.bulk 加载以应对不规则内存访问。一个 FP8 输入 PR(2026 年 4 月 17 日合并)相比 bf16 基线带来最高 1.16 倍的吞吐量,并支持更小的 KV 缓存。

6月10日周三
  1. One Useful Thing78

    Ethan Mollick 评测 Claude 5 Fable,首个公开的 Mythos 级模型

    Ethan Mollick 测试了 Claude 5 Fable——首个向公众发布的 Mythos 级模型,发现它的表现远超他用过的所有其他公开模型,差距相当明显,能针对多页规格说明连续运行长达十几个小时。在一次 Claude Code 会话中,它通过派生更便宜的 Claude Sonnet 智能体来研究 2,200 多个航班、铁路时刻表和道路速度,构建出一张交互式等时线地图;在另一次会话中,它工作了九个半小时,产出了用于校准人类与 AI 判断的软件 Concord。

    推荐理由:这是一份关于 Mythos 级模型的早期上手记录,展示了数小时的自主智能体运行如何将人类角色从操控转向委托结果。

6月9日周二
  1. MiniMax Blog58

    MiniMax详解MaxProof:用于数学证明的生成式验证器强化学习与进化搜索

    MiniMax发布技术博客,详解MaxProof框架——M3在IMO 2025和USAMO 2026上超越人类金牌阈值的背后方法。该流程训练三个专家模型,分别用于证明生成、错误判断和证明修复,然后运行进化式测试时搜索,采样32个候选,每个验证4次,最多迭代10轮。MiniMax表示,关键经验是:将生成式验证器用作强化学习奖励时,应优先降低假阳性率而非追求平均准确率,并援引M2-cycle的奖励黑客现象——训练期间假阳性率从约2.9%升至8.0%。

5月12日周二
  1. Modal Blog58

    Modal 如何实现真正的无服务器 GPU

    Modal 发布了一篇工程文章,讲述其如何将 AI 推理副本的启动时间从约 2,000 秒缩短至约 50 秒,所用四个组件为:空闲健康 GPU 缓冲池、名为 ImageFS 的惰性内容寻址文件系统、基于 gVisor runsc 的宿主机侧检查点/恢复,以及基于 Nvidia 驱动支持的 CUDA 检查点/恢复。在超过一万次冷启动中,对于约 1 GiB 的 bf16 Qwen 3 0.6B 模型,vLLM 平均启动延迟从 95,679 毫秒降至 13,797 毫秒,SGLang 从 83,713 毫秒降至 17,486 毫秒。文章也指出了局限,包括快照仅支持单 GPU,以及宿主机环境敏感性要求每次部署需准备多个快照。

5月8日周五
  1. Berkeley AI Research38

    自适应并行推理:高效推理扩展综述

    伯克利人工智能研究院的一篇综述考察了自适应并行推理,即推理模型自身决定何时分解子任务、生成多少并发线程以及如何协调它们。文章将其与固定并行方法(如自一致性、Best-of-N、思维树、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference)进行对比,这些方法从外部强加并行结构。顺序推理在 token 和延迟上线性扩展,并存在上下文腐化风险,这促使人们采用独立并发探索的并行线程。