Mistral与Mozilla合作，在法国和北美为Firefox Smart Window提供支持
Mistral宣布与Mozilla达成合作，其模型现为Mozilla的AI浏览助手Firefox Smart Window（测试版）提供支持，面向法国和北美用户，英国和德国预计今年晚些时候上线。Mistral表示，Smart Window的对话默认不会保存在Mozilla的服务器上，且合作伙伴同意零数据保留，并将该交易定位为将开放权重、针对区域微调的模型引入消费者浏览场景。
#开源生态
Mistral AIAI 评分5555
Modal BlogAI 评分4040 Modal 产品更新：沙箱边车、Kimi K3 与 GLM 5.3 支持、仪表盘焕新
Modal 在其 Auto Endpoints 上新增了对四个开放权重模型的首日支持——Kimi K3、Qwen3.8-2.4T-A95B、GLM-5.3 和 GLM-5.3-Flash，其中 Kimi K3 借助自定义 DFlash 推测器在智能体工作负载上达到每秒 460 个 token。Sandbox Sidecars 进入公开 alpha，VM Sandboxes 达到公开 beta，广域定价倍率从 1.5 倍降至 1.15 倍。仪表盘焕新并推出浅色模式 beta，Python SDK 1.5.5 以及 JavaScript 和 Go SDK 0.10.0 已发布。
LiveKit BlogAI 评分4040 LiveKit：超越1:1连接的多参与者机器人技术
LiveKit正在将其SFU架构扩展到单点对点链路之外，使机器人部署能够运行多参与者会话，其中Room让每个摄像头、模型、操作员或服务作为自己的参与者加入。LiveKit描述了三种架构：人在回路的数据记录，机器人、策略、操作员和记录器在同一会话中；VLM引导的技能编排，视觉语言模型以约1 Hz选择技能，而独立的策略参与者以数十赫兹控制机器人；以及策略升级，30 Hz或更高的奖励模型标记卡住或不安全状态，机器人撤销专家策略的权限。
MiniMax Blog精选AI 评分7171 MiniMax 发布 Music 3.0，一款可生成最长五分钟完整歌曲的开放权重音乐生成模型
MiniMax 推出了 Music 3.0，这是一款开放权重音乐生成模型，能够根据创意概念和可选歌词，在单次生成中作曲、编曲并制作出最长五分钟的完整歌曲。该流程将一个基于 Qwen3.5-8B 初始化的 8B Global LLM 与一个 0.6B Local LLM 配对，融合二者连续的隐藏状态来为 2.4B 流匹配模块和 123M Flow-VAE 提供条件，并使用八层 RVQ 以及随时间描述情感、配器和演唱方式的结构化字幕（Structured Captions）。MiniMax 表示，这能更准确地理解创作意图，编曲更丰满，人声更清晰、更自然。
推荐理由：MiniMax 的架构拆解展示了 8B 全局 LLM 如何与 0.6B 局部模型及流匹配技术栈配合，以解决长歌曲的连贯性问题。
Modal BlogAI 评分3434 Modal 将无服务器 Functions 迁移至区域 I/O 平面，p50 延迟降低约 80ms
Modal 已将全部 Functions 迁移至新的地理分布式 I/O 平面，使端到端 Function Call 延迟在 p50 上降低约 80ms。此前，每个 Function 的输入和输出都经由 us-east 的 I/O 服务器路由，每次调用会增加最多几百毫秒的延迟；新平面已在至少 4 个区域可用，并可通过 routing_region 标志选择。服务器层已用 Go 重写，非关键工作已移出热路径。
Modal Blog精选AI 评分7575 Moonshot 的 Kimi K3 现已在 Modal 上线，支持 day-zero vLLM
Modal 在发布当天就在其平台上线了 Moonshot 的 Kimi K3，通过按 token 计费的 Shared API 和专用 Auto Endpoints 提供这款拥有 1M token 上下文窗口的 2.8 万亿参数多模态模型。Modal 表示，针对 K3 架构调优的自定义 DFlash speculator 在 agentic 工作负载上将交互性从每秒 100 token 提升到 460 token，并将每 GPU 吞吐量从 800k TPM 提升到 150 万 TPM。该模型采用混合专家设计，每个 token 激活 896 个专家中的 16 个，Moonshot 在发布前向 vLLM 贡献了新的前缀缓存实现。
推荐理由：Modal 详细介绍了它如何在发布当天将 Moonshot 的 2.8T 参数 Kimi K3 引入其平台，包括一个自定义 DFlash speculator，将交互性从每秒 100 token 提升到 460 token。
Modal Blog精选AI 评分6060 Modal 推出 Auto Endpoints，用于自助式、兼容 OpenAI API 的 LLM 推理
Modal 推出了 Auto Endpoints，这是一项自助式服务，可将生产级 LLM 推理部署为兼容 OpenAI API 的端点，并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署，该部署根据 Modal 自身的基准测试进行调优，使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器，用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布，用于提供开销为 5ms 的区域化路由，并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。
推荐理由：Modal 的 Auto Endpoints 公开了托管推理提供商通常隐藏的服务栈、引擎指标和基准测试配方，为团队提供了一条自助式路径来拥有开放模型推理。
Modal Blog精选AI 评分6060 Modal 为 Qwen 3.5 和 3.6 发布 DFlash 推测器，声称额外提速 5-20%
Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体，以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示，新的草稿器在现有 DFlash 基线之上额外提速 5-20%，并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s，而不使用推测时为 250 tok/s。文章认为，在内核优化只能带来几个百分点提升的地方，推测解码可带来 2 倍至 3 倍的增益，并提出了一个根据接受长度估算加速比的 roofline 模型。
推荐理由：Modal 解释了为何押注推测解码，并为 Qwen 系列发布了 DFlash 草稿模型，附有实测加速比和用于估算增益的 roofline 模型。
Modal BlogAI 评分3434 Modal 让 FlashAttention-4 在 LLM 推理中更快
Modal 为 FlashAttention-4 内核贡献了优化，以加速以解码为主的 LLM 推理工作负载，这类负载的瓶颈在于内存带宽。改动包括将“split KV”并行技术移植到 FA4，并用 cp.async 替换 TMA cp.async.bulk 加载以应对不规则内存访问。一个 FP8 输入 PR（2026 年 4 月 17 日合并）相比 bf16 基线带来最高 1.16 倍的吞吐量，并支持更小的 KV 缓存。
MiniMax Blog精选AI 评分8787 MiniMax M3 发布，具备 100 万上下文、前沿编程能力与原生多模态
MiniMax 发布了 M3，这是一款开放权重模型，据称是首个将前沿编程与智能体性能、100 万 token 上下文窗口以及原生图像和视频输入结合在一起的模型。M3 采用 MiniMax 新的 MSA 稀疏注意力架构，公司报告称该架构将 100 万上下文下的每 token 计算量降至上一代的 1/20，并将预填充速度提升 9 倍以上、解码速度提升 15 倍以上。它在 SWE-Bench Pro 上得分 59.0%，在 Terminal-Bench 2.1 上得分 66.0%，在 MCP Atlas 上得分 74.2%，可通过 MiniMax Code、Token Plan 和 API 使用，权重和技术报告承诺在 10 天内发布。
推荐理由：MiniMax M3 将 100 万 token 上下文、前沿编程与智能体得分以及原生图像和视频输入结合在一个开放权重模型中，MSA 降低了长上下文下的每 token 计算量。
Modal BlogAI 评分3636 Modal 用 Python 字典缓存将 SGLang 多模态推理提升超过 10%
Modal 在多模态工作负载上对 SGLang 的调度器进行了性能分析，并用一个简单的 Python 字典缓存替代了重复的 CUDA IPC 句柄记录工作，在 H100 上运行 Qwen2.5-VL-3B-Instruct 时，吞吐量提升了 16.2%，平均 TTFT 降低了 13.2%，TPOT 降低了 17.2%。该修复已合并到 SGLang v0.5.10 中。
Modal Blog精选AI 评分7878 Modal 上线 GLM-5 免费端点并发布自部署与前端接入指南
Modal 推出 GLM-5 的免费 OpenAI API 兼容端点，可用至 4 月底，限单个并发请求，同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。
推荐理由：Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点，并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。
Modal BlogAI 评分4242 Modal 为 Mistral 3 增加 Day 0 支持，并通过 GPU 快照实现 10 倍更快的冷启动
Modal 现已提供对 Mistral 3 的 Day 0 支持，让开发者无需管理基础设施即可在无服务器 GPU 上部署该开放模型系列。在 3B 的 Ministral 3 模型上，Modal 的 GPU 快照功能将中位冷启动时间从约 118 秒缩短至约 12 秒，降幅接近 10 倍。Ministral 3 提供 3B、8B 和 14B 三种规模，在基准测试中与 Qwen 3-VL 系列表现相当。
Modal BlogAI 评分3636 Modal 博客：主机开销正在扼杀你的推理效率
Modal 的博客解释了主机开销——即 GPU 空闲等待 CPU 准备工作的时间间隙——如何在 AI 推理中表现为 GPU 内核利用率低下。当主机开销达到 50% 时，GPU 推理成本是原本的 2 倍。文章详细介绍了生产级开源推理引擎中采用的修复方法，包括在设备上构建张量而非传输张量，以及减少不必要的 CUDA 内核启动。
Modal BlogAI 评分5858 Modal、Pipecat 与开源模型实现一秒语音到语音延迟
Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人，当客户端与容器地理位置接近时，语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT，用 vLLM 服务 Qwen3-4B-Instruct-2507，用 KokoroTTS 做语音输出，并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面，为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接；同时，与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力，而将服务固定到附近区域则降低了网络延迟。
Modal BlogAI 评分3838 Modal 与 Datalab：5 分钟内即可部署 Marker 和 Surya 文档智能
Modal 已与 Datalab 合作，让开发者能在 5 分钟内于 Modal GPU 上部署 Marker 文档解析模型和 Surya OCR 工具包。Marker 是一个参数量低于十亿的模型，支持 90 多种语言，在 Modal 上运行每个容器约可达每秒 2.2 页，大约是使用 Apple MPS 的 M4 Mac 上每秒 0.22 页的 10 倍。Datalab 的工具对研究、个人使用以及融资或营收低于 200 万美元的初创公司保持免费，同时提供商业许可。
Modal BlogAI 评分5252 Modal 为批量转录开源 ASR 模型提供基准测试，速度提升 100 倍、成本降低 100 倍
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 和 canary-1b-flash 实现了批量转录服务，报告称其端到端性能比一个流行的专有 ASR API 快 100 倍以上或便宜 100 倍，同时在约一周的 ESB 基准音频上错误率与之相当。团队将这一提升归因于跨请求批次打乱文件、在 GPU 批次内按音频时长排序、并行下载，以及根据经验选择的 GPU 和 worker 配置。文章详细介绍了架构和优化步骤，以便他人构建类似服务。
Modal BlogAI 评分3131 Jamsocket 加入 Modal
Jamsocket 是开源编排器 Plane、Y-Sweet 和 ForeverVM 背后的后端平台，现已加入 Modal，联合创始人 Paul Butler 和 Taylor Baldwin 也将加入 Modal 团队。Jamsocket 产品将继续正常运营，同时核心功能将迁移至 Modal。创始人表示，这让以 AI 为核心的客户能够在一个平台上部署 GPU 推理、代码沙箱和实时后端。
Modal BlogAI 评分4040 Modal 1.0 发布：更稳定的 Python SDK，采用显式配置
Modal 已推出其 Python SDK 客户端的 1.0 版本，公司称这一里程碑为其无服务器云计算平台带来了新的成熟度和稳定性，预计未来破坏性变更将大幅减少。该版本移除了诸如自动挂载本地包之类的“魔法”行为，将核心功能拆分到独立的装饰器中（如新增的 @modal.concurrent），并将本地文件处理统一归入 modal.Image 类。Modal 还计划推出其他语言的 SDK，并正在探索该平台应如何服务于 AI 驱动的智能体工作流。
Vapi BlogAI 评分2020 10 款最佳开源医疗语音转文字工具
一份指南对 10 个用于临床的开源语音转文字模型进行了排名，评估维度包括实时准确率、临床术语处理、运行可靠性和数据安全。榜单涵盖 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 和 ESPnet，并分别匹配到低资源农村诊所、多语言医院和术语密集型研究中心等场景。所有模型均可集成到 Vapi 的模型无关语音 AI 平台。
Modal BlogAI 评分3434 Modal 将无服务器 KV 存储 Dict 的限制提升至无限存储，并新增锁定功能
Modal 升级了其无服务器 Dict 键值存储：新建的 Dict 现在拥有无限存储空间，而非此前 10GiB 的上限，条目过期时间改为自上次写入或读取起 7 天。.put() 上新增的 skip_if_exists 标志支持分布式锁定和“恰好一次”语义，Dict 现在还提供数据持久性。这些变更仅适用于新建的 Dict。
Modal BlogAI 评分2222 Modal 产品更新：更快的内存快照、OIDC、异步任务队列
Modal 发布了一轮产品更新，核心是其 beta 内存快照功能的重大升级，据称可将 Stable Diffusion 等模型的冷启动时间缩短一半。该平台还新增了对 OpenID Connect 的支持以提供短期身份令牌，支持 eStargz 镜像压缩以加快从 ECR 和 Docker Hub 等注册表的构建速度，并将异步任务队列的输入上限从 2k 扩展至 100 万。
Modal BlogAI 评分2222 Modal与AWS签署战略合作协议，共同推进GPU加速的生成式AI
Modal与AWS签署战略合作协议，帮助企业在面向GPU加速工作负载的无服务器平台上更快开发和部署AI产品，该平台可在短短一秒内启动支持GPU的容器。作为协议的一部分，Modal将在AWS Marketplace上架，并投资于AWS PrivateLink等集成，以服务有特定安全与隐私要求的客户。
Modal BlogAI 评分3636 Modal 的 modal-http：在无服务器基础设施上提供 Web 函数服务
Modal 构建了 modal-http，这是一个 HTTP 和 WebSocket 协议栈，使其无服务器函数能够接受 Web 请求，最近已完成完整的 WebSocket 支持。与 AWS Lambda 的 15 分钟和 50 MB 限制不同，Modal 容器最多可使用 64 个 CPU、336 GB 内存和 8 块 Nvidia H100 GPU，因此团队将 HTTP 转换为函数调用，而不是用传统的反向代理来前置容器。
Modal BlogAI 评分3838 Modal 为实时应用新增 WebSocket 支持
Modal 现已支持 WebSocket 连接，使其平台上的函数能够在客户端与服务器之间维持持久、双向的链路，而非按请求建立的 HTTP 连接。每个 WebSocket 连接计为一次输入，因此不受 CPU/GPU 限制的函数应允许并发输入，否则 Modal 会为每个连接启动一个新容器。Modal 会自动扩缩 WebSocket 处理程序，面向实时流式传输、长时间运行任务的进度更新，以及托管 ComfyUI、Streamlit 和 Gradio 等框架。