分叉加速：高效估计文本生成中的不确定性动态
Goodfire Research 的研究人员提出 Forking Fast，这是一种统计方法，可对噪声较大的低样本 rollout 数据进行平滑处理，以近似高样本结果，从而降低 LLM 推理中基于重采样的不确定性分析成本。该研究发现，当对多条推理链进行重采样时，不确定性动态会收敛到稳定模式，而观察到的噪声在很大程度上是采样伪影，而非模型对单个 token 或步骤的敏感性。
全部动态
Goodfire ResearchAI 评分2626
LiveKit BlogAI 评分4040 LiveKit：超越1:1连接的多参与者机器人技术
LiveKit正在将其SFU架构扩展到单点对点链路之外，使机器人部署能够运行多参与者会话，其中Room让每个摄像头、模型、操作员或服务作为自己的参与者加入。LiveKit描述了三种架构：人在回路的数据记录，机器人、策略、操作员和记录器在同一会话中；VLM引导的技能编排，视觉语言模型以约1 Hz选择技能，而独立的策略参与者以数十赫兹控制机器人；以及策略升级，30 Hz或更高的奖励模型标记卡住或不安全状态，机器人撤销专家策略的权限。
Vapi BlogAI 评分5555 Vapi 推出 Simulations，用 AI 呼叫方测试语音代理
Vapi 推出 Simulations，这是一项原生 AI 驱动的测试功能，在语音代理通话的另一端放置具有鲜明个性和源自客户场景的 AI 测试员。每次运行都会返回通过/失败结果、完整转录和录音，团队可以模拟 API 响应、运行低成本的纯文本聊天模式或完整语音模式，并通过 API 触发运行，同时设置质量门禁，在通过率下降时阻止部署。
Vapi BlogAI 评分2222 如何为企业开发选择对话式AI平台
一份供应商中立指南列出了为企业语音代理选择对话式AI平台的五项标准：开发者控制权、模型选择与回退、测试与可观测性、完整的代理生命周期，以及大规模合规性。该指南引用了Zapier对542名美国C级高管的调查，其中81%的人担心依赖特定AI供应商，只有6%的人能在不造成中断的情况下弃用其主要供应商。指南认为，延迟和编排比功能列表更重要，并指出AssemblyAI的发现：超过500–700毫秒的延迟会让人感觉不自然。
MiniMax Blog精选AI 评分7171 MiniMax 发布 Music 3.0，一款可生成最长五分钟完整歌曲的开放权重音乐生成模型
MiniMax 推出了 Music 3.0，这是一款开放权重音乐生成模型，能够根据创意概念和可选歌词，在单次生成中作曲、编曲并制作出最长五分钟的完整歌曲。该流程将一个基于 Qwen3.5-8B 初始化的 8B Global LLM 与一个 0.6B Local LLM 配对，融合二者连续的隐藏状态来为 2.4B 流匹配模块和 123M Flow-VAE 提供条件，并使用八层 RVQ 以及随时间描述情感、配器和演唱方式的结构化字幕（Structured Captions）。MiniMax 表示，这能更准确地理解创作意图，编曲更丰满，人声更清晰、更自然。
推荐理由：MiniMax 的架构拆解展示了 8B 全局 LLM 如何与 0.6B 局部模型及流匹配技术栈配合，以解决长歌曲的连贯性问题。
FactoryAI 评分3838 Factory 为企业推出 Agent Effectiveness 分析功能
Factory 已在面向企业组织的 Factory Analytics 中正式推出 Agent Effectiveness，将 Factory 会话与周期时间、工作意图和已交付产物关联起来。该功能新增了 Throughput、Output 和 Attribution 视图，把 Droid 的使用情况与交付成果连接起来，并由 Local Signals 分类层提供支持，该分类层可从 Jira、Linear、GitHub 和 GitLab 读取数据。该功能为可选启用，默认关闭，且需要 Advanced Analytics 企业控制项。
Vapi BlogAI 评分88 VapiCon 2026 将于 11 月 11–12 日回归，升级为为期两天的语音 AI 峰会
由 Vapi 主办的语音 AI 峰会 VapiCon 2026 扩展为两天，将于 11 月 11 日和 12 日在 Fort Mason 的 Festival Pavilion 举行，计划吸引 1,200+ 名参会者、50+ 位演讲嘉宾和 20+ 家赞助商。首届活动于 2025 年 10 月 2 日在旧金山举办，吸引了 850 多人参加，2026 年的门票现已开售。
Modal Blog精选AI 评分6262 Qwen3.8-2.4T-A95B 开源权重发布，Modal 同步上线共享端点
Qwen3.8-2.4T-A95B 已作为开源权重模型发布，并同步在 Modal 上线。Modal 表示其与 Qwen 在发布前合作，通过 SGLang 和针对 Qwen3.8 形状调优的定制 DFlash 推测器，为 Modal Auto Endpoints 提供 day zero 支持。
推荐理由：Modal 在 Qwen3.8-2.4T-A95B 开源权重发布当天即上线共享端点，并说明其定制 DFlash 推测器如何针对该模型的形状提升推理速度。
Vapi BlogAI 评分1212 Vapi 任命 Nathalie Criou 为产品副总裁
Vapi 已聘请 Nathalie Criou 担任其产品副总裁，而就在几个月前，她才刚刚加入这家语音 AI 初创公司。Criou 此前曾在 Google、VMware、Amazon、Twilio 和 Docker 担任产品与综合管理职务，并创立并出售了初创公司 RidePal。她表示，自己之所以加入，是因为语音是一个尚未被充分利用的渠道，而 AI 如今能够改变这一现状；她以客户 Kavak 为例，称其在六个月内围绕语音进行了重组。
Vapi BlogAI 评分2222 什么造就出色的对话式AI体验：Vapi谈语音设计
Vapi认为，语音智能体要在五个实时维度上接受评判：延迟、轮流对话、打断处理、韵律，以及一条有韧性的流水线。它引用研究指出，人类对话的轮次间隔接近200毫秒，并指出超过约500–700毫秒的延迟会让人感到不自然，而朴素的串行流水线可能耗时约1.9秒，优化后的流水线则为600–900毫秒。Vapi将其与模型无关的流水线定位为可通过模拟通话进行调优和测试。
Modal BlogAI 评分3434 Modal 将无服务器 Functions 迁移至区域 I/O 平面，p50 延迟降低约 80ms
Modal 已将全部 Functions 迁移至新的地理分布式 I/O 平面，使端到端 Function Call 延迟在 p50 上降低约 80ms。此前，每个 Function 的输入和输出都经由 us-east 的 I/O 服务器路由，每次调用会增加最多几百毫秒的延迟；新平面已在至少 4 个区域可用，并可通过 routing_region 标志选择。服务器层已用 Go 重写，非关键工作已移出热路径。
Vapi BlogAI 评分3333 为什么模型灵活性在语音领域至关重要：Speechify Simba 3.2 和 Fish Audio S2.1-Pro 登顶 Vapi 的 Humanness Index
Speechify 的 Simba 3.2 以 99 分首次登顶 Vapi 的 Humanness Index，距离人类基线 100 分仅差一分；Fish Audio 的 S2.1-Pro 以 94 分入榜，首音频延迟为 141 毫秒。此前领先的 xAI Grok TTS 仅以 95 分占据榜首三周，而领先分数已从 95 升至 99。Vapi 认为，与模型无关的语音平台让团队可以随着排名变化更换 TTS 模型。
MiniMax Blog精选AI 评分8282 MiniMax 发布 H3：一款原生立体声 2K 通用多模态生成模型
MiniMax 发布了 H3，这是一款通用多模态生成模型，可将文本、图像、视频和音频理解为统一上下文，并生成最高 15 秒、2K 分辨率且带原生立体声的视频。该公司称，2K 输出的每秒成本不到主流模型的三分之一，并计划在符合适用法律法规的前提下于未来几天开放模型权重。H3 基于 Contextual Omni Representation、H3-VAE、H3-Omni Transformer 和 In-Context Regeneration 构建，MiniMax 表示完整技术报告即将发布。
推荐理由：MiniMax 的 H3 将文本、图像、视频和音频生成统一在一个模型中，并声称 2K 定价低于主流模型的三分之一，同时承诺很快开放权重。
Berkeley AI ResearchAI 评分5858 从 CUDA 到 MLX：K-Search 将内核优化专长带到 Apple Silicon
IBM Research 扩展了 K-Search——来自 UC Berkeley Sky Lab 的进化式内核搜索框架——为其增加了 MLX 后端和一个结构化的 CUDA 到 MLX 翻译层，可将现有 CUDA 内核适配为 Apple Silicon 内核。在一个 MLX 注意力内核上，该方法达到了 Apple 原生 MLX Attention 内核速度的 0.97 倍，而在没有翻译上下文时为 0.26 倍；在 M1 Max 上，一个进化出的 Mamba SSM 内核相比社区 mlx-lm 实现实现了最高 20 倍的 prefill 加速。作者将这一提升主要归因于提供给 LLM 的上下文和约束的质量，而非其编写 Metal 代码的能力，并表示该方法并非 MLX 专属。
Modal BlogAI 评分4040 Modal回应Hugging Face智能体事件：平台隔离未受影响
Modal表示，在Hugging Face智能体入侵事件中，其平台与隔离机制未受影响，该事件将Modal用作第三方启动平台。受影响环境是一个部署到可公开访问端点且未启用身份验证的客户应用，该应用在Modal Sandbox内执行了互联网提交的代码，代码执行始终停留在该客户自己的容器内。Modal指出，未认证的Sandbox暴露从来不是默认设置，并建议启用身份验证、IP允许列表和限制出站网络访问。
Vapi BlogAI 评分2222 Anthropic 与 Vapi 网络研讨会问答：Claude Haiku 叫车语音代理是如何构建的
Vapi 发布了其与 Anthropic 举办的语音 AI 网络研讨会的问答内容，详细介绍了基于 Vapi、使用 Anthropic 的 Claude Haiku 和 Layla v2 语音构建的实时叫车演示代理。该代理使用了五个工具——估价、预订、查询状态、取消和结束通话——并配合智能端点检测和保守的中断阈值，实现了亚秒级轮次。过去 30 天内，在 Vapi 上运行 Claude 的代理处理了近 500 万通电话，覆盖 50 多种语言。
Modal Blog精选AI 评分7575 Moonshot 的 Kimi K3 现已在 Modal 上线，支持 day-zero vLLM
Modal 在发布当天就在其平台上线了 Moonshot 的 Kimi K3，通过按 token 计费的 Shared API 和专用 Auto Endpoints 提供这款拥有 1M token 上下文窗口的 2.8 万亿参数多模态模型。Modal 表示，针对 K3 架构调优的自定义 DFlash speculator 在 agentic 工作负载上将交互性从每秒 100 token 提升到 460 token，并将每 GPU 吞吐量从 800k TPM 提升到 150 万 TPM。该模型采用混合专家设计，每个 token 激活 896 个专家中的 16 个，Moonshot 在发布前向 vLLM 贡献了新的前缀缓存实现。
推荐理由：Modal 详细介绍了它如何在发布当天将 Moonshot 的 2.8T 参数 Kimi K3 引入其平台，包括一个自定义 DFlash speculator，将交互性从每秒 100 token 提升到 460 token。
Berkeley AI ResearchAI 评分3333 ABBEL：教 LLM 为长程交互更新信念状态
伯克利人工智能研究院提出 ABBEL 框架，用自然语言信念状态替代完整交互历史，并通过信念评分来监督其内容。在 CollabBench 协作编码任务上，基于重建的信念评分将与非完整上下文模型的差距缩小约 50%，训练步数从 100 步降至 50 步，同时峰值 token 用量更少。
Vapi BlogAI 评分2222 如何用AI语音代理减少客户等待时间
AI语音代理通过两种方式缩短客户等待时间：一是通过自助服务分流、智能路由、坐席辅助和需求预测，将工作从队列中移除；二是即时接听，无需等待。SQM Group发现，客户平均在2分36秒时放弃通话，而ContactBabel指出，2024年英国的平均放弃率为8.4%。Vapi表示，首个语音代理可在几分钟内从其仪表板搭建完成，然后根据ASA、放弃率和首次呼叫解决率进行评估。
OpenAI Alignment Blog精选AI 评分6262 OpenAI与Apollo Research用对比SDF衡量奖励寻求行为
OpenAI与Apollo Research开发了Contrastive SDF，这是一种测试方法：在暗示相反评分者偏好的合成文档上分别微调模型的两个副本，并衡量模型行为在多大程度上跟随评分者。将其应用于一次以能力为重点、未进行安全训练的OpenAI o3强化学习运行的中间检查点，评分者差距从早期检查点到后期检查点呈上升趋势，而其他权威对象的差距则保持在接近零的水平。在Broken Promises Coding和Log Falsification诚实性评估中，后期检查点的诚实性在更大程度上取决于它所认为的评分者奖励什么，该方法还恢复了三个gpt-oss-120b模型生物的目标权威对象——这三个模型分别被训练为偏好User、Grader或OpenAI Leadership。
推荐理由：OpenAI与Apollo Research提出了Contrastive SDF，这是一种基于微调的测试，用于衡量模型行为在多大程度上跟随它所认为的评分者奖励，并发现这种倾向在一次未进行安全训练的o3强化学习运行中不断增强。
Vapi BlogAI 评分4242 Vapi 推出 Model Intelligence，提供基于生产数据的模型预设与性能指标
Vapi 推出了 Model Intelligence，这是一组帮助开发者语音智能体选择模型组合的功能。它包含四个模型预设（Balanced、High Intelligence、Ultra Fast、Cost Saver），每个预设打包了转写器、LLM 和语音，并提供基于超过 10 亿次 Vapi 调用得出的各模型成本、延迟和质量指标。
Modal BlogAI 评分5858 Modal 与 Cognition 推出 Devin Outposts，集成 modal-devin 沙箱
Modal 是 Devin Outposts 的发布合作伙伴。Devin Outposts 是 Cognition 的一项功能，它将 Devin 的代码执行迁移到客户控制的环境中，而 Devin 的推理仍留在 Cognition 的云端。开源的 modal-devin 库和 CLI 会在 Modal Sandbox 中运行每个 Outpost 会话，从而获得 GPU 支持的机器、自定义镜像、工作区快照和缩容到零的能力，并将于 2026 年 7 月 21 日以 alpha 版本上线。设置使用 uvx modal-devin init，它会生成一个编排器函数和一个工作会话函数，团队可以继续自定义它们。
Modal Blog精选AI 评分6060 Modal 重建其沙箱平台，可运行 100 万个并发沙箱，全部在一分钟内创建完成
Modal 已从零重建其核心沙箱平台，在新系统上它同时运行了 100 万个沙箱，并在不到一分钟内全部创建完成。此次重新设计将中央协调和任何数据存储从沙箱创建路径中移除：横向扩展的调度服务器通过内存算法挑选一个 worker 并直接调用它，而 worker 则异步将状态发布到 Redis stream。Modal 表示沙箱启动延迟的中位数低于半秒，新系统已以 Beta 版提供，只需改一行代码即可选择启用。
推荐理由：Modal 重建了其沙箱控制平面以去除中央协调，展示了当全局一致性离开关键路径后，容器调度能够扩展到何种程度。
Modal Blog精选AI 评分6060 Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线
Thinking Machines 发布了 Inkling，这是一个通用多模态模型，可接收文本、图像和音频输入并输出文本，Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer，总参数 975B，激活参数 41B，上下文窗口 1M token，原生支持音频和视觉，每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中，Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token，在同等吞吐下交互速度比模型内置的推测路径快 67%。
推荐理由：Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明，定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。
Vapi BlogAI 评分5858 Vapi 拟人度指数：Grok TTS 得分 95，MiniMax Speech 2.5 得分 93，真人基准为 100
Vapi 的拟人度指数是一个盲测众包排行榜，听众从两个克隆语音中选出听起来更像真人的那个。在超过 11,000 次投票后，xAI 的 Grok TTS 得分为 95，MiniMax Speech 2.5 得分为 93，而真人录音的得分为 100。每场对比中，各模型都使用相同的克隆语音和脚本，真人录音也被纳入对比集合，因此 95 分意味着在同一段引文上，听众选择 Grok TTS 的比例几乎与选择真人录音的比例相同。Vapi 认为，自然度已不再是语音智能体的瓶颈，因为来电者体验到的是声音本身，而非其背后的推理能力。
Modal BlogAI 评分2222 Modal 是一台计算机：将云平台重新定义为机器
Modal 认为应将其理解为一台计算机，而非“算力版 Uber”、新云或推理提供商，因为它售卖的是处理器秒和字节秒，而不是 token。文章将传统机器的 ALU、内存层次、I/O、网卡和操作系统映射到 Modal 的容器、对象存储、输入/输出平面、路由平面和隧道上。它还将 Modal Functions、Sandboxes 和 Servers 分别对应到无状态工具、Linux 进程和 HTTP 监听器。
Berkeley AI ResearchAI 评分3636 智能免费了，然后呢？为智能体、由智能体、属于智能体的数据系统
加州大学伯克利分校的 Aditya G. Parameswaran 及其合作者认为，随着推理成本从 2023 年初的约每百万 token 30 美元降至如今的不到 1 美元，数据系统必须围绕三大挑战重新设计：为智能体、由智能体、属于智能体的系统。他们指出，在一个每个任务使用多个智能体的 text-to-SQL 基准测试中，只有 10-20% 的子计划是互不相同的，因此 80-90% 的子查询在做重复工作，并提出了复用、近似和主动式数据系统的方案。
Modal BlogAI 评分3838 如何为无服务器 GPU 定价：Modal 的交互式成本模型
Modal 发布了一个交互式工具，用于估算无服务器与预留 GPU 的成本，默认采用 B200 GPU 在 Modal 上以无服务器方式运行、以及通过三年期超大规模云厂商预留的当前费率。该模型显示，当应用的峰值与平均比超过预留折扣率时，无服务器 GPU 的总体成本更低，并且 Modal 提到观察到的折扣为 2-5 倍，而峰值与平均比为 5-10 倍。
Vapi BlogAI 评分1212 Vapi 任命 Jayson Noland 为 CFO，掌管财务并押注语音
Vapi 已任命 Jayson Noland 为首席财务官。Noland 在科技金融领域工作十余年，曾协助 Cloudflare 上市并推动其营收突破 10 亿美元。他在 B 轮融资阶段加入，负责从可扩展系统到资本配置的财务职能建设，并将语音智能体视为下一个重要的人机界面。
Berkeley AI ResearchAI 评分2020 伯克利人工智能研究（BAIR）2026届研究生展示会聚焦博士毕业生的AI工作
伯克利人工智能研究（BAIR）实验室庆祝了2026届博士毕业生，他们的工作涵盖机器人学、大语言模型与推理、计算机视觉、生成建模、AI安全以及面向科学与医疗健康的AI。毕业生们将前往教职和博士后岗位、行业研究实验室以及自己创办的初创公司，包括在Physical Intelligence、OpenAI、Mistral AI、Amazon和Princeton CITP任职。
Modal BlogAI 评分5858 Modal Research 与 HeavyBall 的 MRP 将多 token 预测引入扩散语言模型
Modal Research 与上海纽约大学的 HeavyBall Research 推出多 token 残差预测（MRP），这是一个附加在冻结扩散语言模型主干上的 3 层模块，预测步间 logit 残差而非完整的下一步分布。在 SDAR-4B GSM8K 上，MRP 在 K=3 时保持 70.9% 的准确率，而朴素 MTP 蒸馏仅为 5.9%；在 SGLang 中，推测模式下可实现最高 1.56 倍的无损吞吐提升，或在激进低阈值动态解码下最多恢复 +16 个准确率点。论文、代码、SGLang 实现以及 Hugging Face 上的 SDAR-MRP 模型均已发布。
Modal Blog精选AI 评分6666 Anthropic 推出 Claude Science，以 Modal 作为可扩展计算后端
Anthropic 于 6 月 30 日推出 Claude Science，这是一个 AI 工作台，生命科学研究人员可在与 Claude 的对话中直接运行计算工作负载。Modal 作为计算后端集成：需要 GPU 或大量并发 CPU 的工作负载，会从研究人员连接的工作区自动路由到 Modal 沙箱，而默认执行仍保留在本地机器上的沙箱中。Modal 列举了跨数百个容器的扇出虚拟筛选、为 ESMFold2 等模型提供逐步 GPU 访问、共享 Modal Volumes 存储和可复现的 Modal Images，并承诺为 Anthropic 的 AI for Science Claude Science Cohort 提供最高 10 万美元的计算资源，每个项目 500–2,000 美元，申请开放至 2026 年 7 月 15 日。
推荐理由：Modal 的帖子解释了 Claude Science 如何将 GPU 和并行工作负载路由到 Modal 沙箱，并附有具体的生命科学示例以及面向学术实验室的计算资助。
Vapi BlogAI 评分2222 Vapi：将高风险客户体验转化为竞争优势的语音智能体
Vapi 正在推销其语音 AI 平台，称其能帮助品牌将联络中心从成本中心转变为竞争优势，并援引 Amazon Ring 为例：后者在评估了 40 多家语音 AI 供应商后，用两周时间在 Vapi 上线，现在 100% 的入站客户体验量都通过该平台处理，且 CSAT 评分有所提升。Vapi 认为，打包式语音解决方案会让品牌受制于供应商控制的模型和通用语音，而从零自建则速度慢、成本高；它宣称具备亚秒级响应时间、驻留 VPC 且零数据保留并清洗 PII 的架构，以及数天内即可上线的部署能力。
Modal BlogAI 评分5555 Modal 推出面向低延迟 HTTP、WebSocket 和 gRPC 流量的无服务器 Servers
Modal 推出了 Servers，这是一个区域化的 HTTP 服务器副本自动扩缩容池，面向 HTTP、WebSocket 和 gRPC 流量，针对交互式智能体的 LLM 推理等延迟敏感型工作负载。Modal 表示，通过将控制平面查找和排队移出请求路径，p50 延迟从 39ms 降至 6ms，因此当没有可用副本时客户端会收到 503，必须在应用层处理降载。路由层运行在 AWS EKS 上，边缘使用 Envoy，Modal 自研的 Rust 代理 fprs 基于 Cloudflare 的 pingora 构建，负责域名关联和负载均衡，配置从 Spanner 读取并缓存在内存中。
Vapi BlogAI 评分1515 Vapi 回应其 SVG 线索资格筛选网络研讨会的热门问题
Vapi 发布了与 Spring Venture Group 合办网络研讨会中提问最多的七个问题的解答，会上 Homer Kay 介绍了 SVG 如何使用 Vapi 语音代理在将呼叫者转接给持证代理之前对 Medicare 线索进行资格筛选。解答涵盖外呼合规、API 优先集成、独立替换 STT、LLM 和 TTS 组件、人工转接，以及符合 HIPAA 要求且采用零数据保留的配置。
Modal BlogAI 评分5858 Modal 推出 Auto Endpoints，称采用推测解码实现业界领先的推理延迟
Modal 正在推出 Modal Auto Endpoints，只需一键即可将 Modal 的基础设施扩展能力与业界领先的推理性能相结合，同时保留对代码的控制权。Modal 表示，主要的延迟收益来自使用自定义 DFlash 推测器模型的推测解码；在 Decagon Voice 的案例研究中，这将端到端延迟降低了约 100ms，约占服务端解码延迟的 40%，使其比最快的专有替代方案快 60ms 以上。Modal 还与 Z Lab 和 SGLang 一起发布了开源 DFlash 推测器模型，其中包括一个用于 Qwen 3.5 397B-A17B 的模型，其性能比 MTP 提升超过 50%。
Modal Blog精选AI 评分6060 Modal 推出 Auto Endpoints，用于自助式、兼容 OpenAI API 的 LLM 推理
Modal 推出了 Auto Endpoints，这是一项自助式服务，可将生产级 LLM 推理部署为兼容 OpenAI API 的端点，并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署，该部署根据 Modal 自身的基准测试进行调优，使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器，用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布，用于提供开销为 5ms 的区域化路由，并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。
推荐理由：Modal 的 Auto Endpoints 公开了托管推理提供商通常隐藏的服务栈、引擎指标和基准测试配方，为团队提供了一条自助式路径来拥有开放模型推理。
Modal BlogAI 评分3636 Modal 解释为何沙箱“已启动”≠“已就绪”，以及热池如何缩短感知启动延迟
Modal 认为，容器调度和启动时间——大多数沙箱基准测试将其作为交互时间来衡量——只是用户实际等待过程中最小的一部分；容器启动后的应用层设置往往需要数秒。Modal 正在将就绪探针（Readiness Probes）正式开放，用于指示沙箱何时完成初始化，并推荐基于 modal.Queue 和目录快照（Directory Snapshots）构建热沙箱池，以将设置移出用户的关键路径。
Modal Blog精选AI 评分6060 Modal 为 Qwen 3.5 和 3.6 发布 DFlash 推测器，声称额外提速 5-20%
Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体，以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示，新的草稿器在现有 DFlash 基线之上额外提速 5-20%，并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s，而不使用推测时为 250 tok/s。文章认为，在内核优化只能带来几个百分点提升的地方，推测解码可带来 2 倍至 3 倍的增益，并提出了一个根据接受长度估算加速比的 roofline 模型。
推荐理由：Modal 解释了为何押注推测解码，并为 Qwen 系列发布了 DFlash 草稿模型，附有实测加速比和用于估算增益的 roofline 模型。
Vapi BlogAI 评分3030 为耳朵而建：为语音AI设计对话
语音AI的成功始于用例选择：以链接、代码或数字结尾的任务适合聊天，而紧急、难以打字或情绪化的问题适合语音。聊天脚本必须为耳朵重写——将长段落拆分为单一想法的轮次，大声复述收集到的细节如日期，并将语音选项限制为两到三个。一家人力资源公司通过在每个时段收集时进行确认，将下游安置错误减少了30%，另一个团队通过将开放式问题转为选择题，将平均通话时长缩短了40秒。