跳到正文
10月28日周三
  1. inclusionAI Repositories28

    UBTree 项目主页:使用 Unigram 和 Bigram 模型进行并行树草稿的推测解码

    UBTree 项目主页介绍了 UBTree,这是一种使用 unigram 和 bigram 模型草拟并行 token 树的推测解码方法,详见 arXiv:2609.39972。演示视频在 Ling3 Tiny 和 Flash 上使用未修改的 HumanEval anti_shuffle 和 bf 提示,将 UBTree 与 AR、DFlash 和 DSpark 进行比较,四种方法产生的输出 token 完全相同。该站点是纯 HTML/CSS/JS,通过 GitHub Pages 提供服务,图表和表格数字存储在 static/js/data.js 中。

10月23日周五
  1. Amazon Science38

    TorchNeuron 背后的科学:亚马逊为 AWS Trainium 芯片打造的新 PyTorch 后端

    亚马逊发布了 TorchNeuron,这是一个开源 PyTorch 后端,可将 PyTorch 代码转换为可在 AWS Trainium 系统上执行的操作,且只需极少代码改动或无需改动。它新增了一种可选的自适应 eager 模式,通过分组并编译操作来接近编译模式的性能,还提供多级 NEFF 缓存;在一项 64 进程的 LLM 测试中,共享编译服务将首次训练步骤的时间缩短了约三分之一。Annapurna 团队使用从数十万个开源模型中提炼出的 841 个代表性模型对其进行了调优和基准测试。

10月22日周四
  1. Modal Blog71

    Modal 发布 Spindle:一个开源、兼容 Tinker 的训练服务器

    Modal 发布了 Spindle,这是一个开源、兼容 Tinker 的训练服务器,运行在客户的 Modal 工作区内,让团队可以自定义技术栈,并按 GPU 时长付费,而不是按 token 付费。Spindle 支持对开源模型进行全参数训练和多 LoRA,Modal 报告称,在一个 DAPO-math GRPO 任务上,让 8 个客户端共享一个训练器,相比 Tinker 可将每 100 万输出 token 的成本降低最多 80%。Modal 表示 Spindle 仍处于 beta 阶段,并将其定位在其 Dojo 训练库与原始集群原语之间。

    推荐理由:Modal 的开源 Spindle 服务器为团队提供了一个兼容 Tinker 的替代方案,以按 GPU 时长付费取代按 token 定价,据称多 LoRA 共享可将成本降低最多 80%。

  2. Ai2 · Allen Institute for AI58

    Ai2 发布 OlmoEarth v1.3 卫星嵌入模型,提供全球预计算嵌入与浏览器探索工具

    Ai2 发布了 OlmoEarth v1.3,这是一个卫星嵌入模型,可将一年的 Sentinel-1、Sentinel-2 和 Landsat 时间序列转换为每个 10 米像素一个 128 维向量,其中前 64 维可作为更小的嵌入使用。Ai2 预计算了全球的年度嵌入并发布在 Source Cooperative 上,其 128 维嵌入在针对 AlphaEarth Foundations 和 Tessera v2 的 27 项评估中有 20 项得分最高,包括一项名为 PLANTEUR 的新热带作物基准。此次发布还包括 OlmoEarth Embeddings Explorer,这是一个无需登录的浏览器工具,可用于比较年份、查找相似地点并就地训练小型分类器,其中 2025、2024 和 2023 年为全球范围,2017 至 2022 年覆盖部分国家;权重、预训练数据和代码均已开放。

  3. inclusionAI Models58

    inclusionAI 发布 Ling-3.0-flash-Sante,一个 124B 医疗健康专用 MoE 模型

    inclusionAI 发布了 Ling-3.0-flash-Sante,这是一个基于 Ling-3.0-flash 构建的医疗健康专用模型,总参数 124B,每 token 激活参数 5.1B,权重已上传至 Hugging Face 和 ModelScope。它采用混合线性 MoE 架构,结合 Kimi Delta Attention、门控 MLA 和稀疏 MoE 层,训练上下文长度达 256K token,默认启用思考模式,并可通过兼容的服务框架进行工具调用。该公司将其标注为研究模型,而非医疗器械,并表示其输出不得替代专业医疗建议、诊断或治疗。

  4. MiniMax Blog62

    MiniMax Code 推出 Mini App 运行时,含托管 MCP 与开源仓库

    MiniMax 在 MiniMax Code 桌面应用中推出 Mini App,这是一种插件格式应用,包含前端和 Node.js 后端,让 Agent 的工作留在一个持续运行的页面上,而不是分散在对话中。此次发布包含一个运行时,具备持久化数据目录、托管 MCP、Agent API、Host Connectors 和页内工具审批,还有 /miniapp-creator,可从一句话请求直接生成可用页面,以及插件市场中的官方 Mini App。MiniMax Bot 本身就是一个 Mini App,其源代码与社区构建的 Mini App 现已放入开源仓库 MiniMax-Code-MiniApps;Mini App 可在 macOS 和 Windows 的本地会话中使用。

    推荐理由:MiniMax Code 把 Agent 的工作从对话流搬进常驻页面,并公开了 Mini App 的运行时与开源仓库,为 Agent 工具形态提供了一种可参考的架构。

10月21日周三
  1. Modal Blog58

    Modal 发布 Dojo,一个用于生产级 LLM 训练的库

    Modal 发布了 Modal Dojo,这是一个训练库,提供构建模块、调优好的默认配方以及一个可观测性仪表盘,用于生产级 LLM 后训练。它基于开源框架 Miles 和 Slime 构建,支持从 5 亿到数万亿参数的模型,并暴露 API 和 CLI,智能体可以驱动它们来启动和调试运行。Modal 表示,Axiom Bio 使用它将 DeepSeek V4.1 Flash 的 64k 上下文运行扩展到 64 块 B300,Afterquery 则以 256k 上下文长度训练 Kimi 和 DeepSeek。

10月20日周二
10月19日周一
  1. Sakana AI Blog55

    Sakana AI 提出 QD-Rec:一种将候选对象与 LLM 撰写的假设配对的质量-多样性推荐方法

    Sakana AI 开发了 QD-Rec,这是一种推荐方法,将候选对象加上解释为何选择它的假设作为推荐单元,并使用质量-多样性搜索来积累高质量、多样化的提议。在并购、客户定位和论文推荐实验中,QD-Rec 构建的档案平均得分更高、规模大于从头编写每个假设的基线,其代码已在 GitHub 上发布。论文报告了一些案例,其中某个假设对一家公司评分为 1 分(满分 10 分),经过变异并迁移到另一个候选对象后,得分提高到 5 分。

  2. inclusionAI Repositories58

    inclusionAI 发布 Ming-3.0-tts 语音合成模型,含 0.5B 稠密版与 7.9B MoE tiny 版

    inclusionAI 发布了 Ming-3.0-tts,这是一个开放权重的多语言语音合成系列,包含两个模型:Ming-3.0-tts-0.5b 是 0.5B 稠密模型,Ming-3.0-tts-tiny 是基于 Ling V3 的 MoE 模型,总参数 7.9B、激活参数 1.3B。两者均附带推理代码、任务 cookbook 和基准测试表格,支持声音克隆、基于文本的音色设计、自由形式的自然语言表达控制、14 个内联副语言标签、情绪与语速/音高/音量控制,并支持中文、英文、德文、西班牙文、法文、韩文、日文、四川话和粤语。在 2026 年 10 月的 Artificial Analysis 文本转语音排行榜上,Ming-3.0-tts 在 Controlled Voice 上位列开放权重模型第 1,在 Pronunciation Robustness 上以 93.2% 位列总榜第 1,在 Provider Voice 上位列开放权重模型第 3。

  3. inclusionAI Repositories58

    inclusionAI 发布 Ming-3.0-asr-tiny 上下文感知语音识别模型

    inclusionAI 发布了 Ming-3.0-asr-tiny,这是一款语音识别模型,将 Ling-tiny-v3 语言模型与音频编码器结合,用于中英文转写、方言识别和上下文 ASR。方言评测覆盖 15 个测试集,包括湖南话、闽南语、粤语、川渝话和上海话,并且可以在提示中提供热词或前序对话,以解析人名和技术术语。该仓库提供了 Transformers 和 SGLang 的部署指南,代码和权重以 MIT 许可证发布。

10月15日周四
  1. Mistral AI71

    Mistral 发布 Timestral 时间序列基础模型,在 GIFT-Eval、TIME 和 fev-bench 上登顶

    Mistral 发布了 Timestral,这是其首个时间序列基础模型系列,包含从 5M 到 209M 参数的四种规模。最大的模型在 GIFT-Eval、TIME 和 fev-bench 三大主要公开基准上,在来自单一检查点、未使用集成方法的预训练零样本模型中排名第一,且参数量仅为此前最先进模型的三分之二。Timestral 可生成具有 21 个分位数的概率多变量预测,支持仅历史协变量和已知未来协变量,可在无 GPU 的 CPU 上运行,并可通过 Mistral Forge 进行微调,同时在修改版 MIT 许可证下发布了 GitHub 仓库和技术报告。

    推荐理由:Mistral 的首个时间序列基础模型系列凭借 209M 参数的检查点在 GIFT-Eval、TIME 和 fev-bench 上宣称获得零样本排名第一,为预测工作提供了规模与精度的权衡参考。

  2. inclusionAI Repositories67

    inclusionAI 发布 Ming-3.0-audio-flash 与 Ming-3.0-audio-tiny 音频模型

    inclusionAI 发布了 Ming-3.0-audio-flash,这是一个 126B 参数的混合专家音频模型,激活参数为 6.5B;同时发布的还有紧凑型 Ming-3.0-audio-tiny,参数为 9.3B,激活参数为 2.7B。flash 模型覆盖中英文语音识别,包括方言和嘈杂多说话人场景、长音频理解、非语音声音与音乐感知、音频推理,以及可选用合成语音输出的端到端口语对话。该模型以 MIT 许可证提供,附带 vLLM-Omni、SGLang 和 Transformers 推理路径,默认 Flash 配置在 128K 上下文下使用四块 80 GB H800 GPU 进行张量并行。

    推荐理由:该发布详细介绍了一个 126B 参数的 MoE 音频模型(激活参数 6.5B),以及一个 9.3B 的 tiny 变体,为开放音频语言模型的规模与部署提供了具体参考。

  3. Goodfire Research62

    Goodfire研究文章认为神经网络本身已是清晰的,叠加现象被误读

    Goodfire研究员认为,神经网络中多义性和叠加现象的经典证据被误读了,看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后,其最后一层99-100%的神经元变得易于解释;对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种,因此可解释性可以直接研究神经元和电路,而不必先训练稀疏自编码器等分解模型。

    推荐理由:这是对该领域经典多义性证据的第一手重新解读,主张网络是递归泛化而非打包不相关的概念,这将使直接的机制性研究变得可行。

10月13日周二
  1. Amazon Science75

    Amazon Web Services 研究人员提出 priming,可将预训练 Transformer 转换为混合状态空间模型而无需完全重新训练

    Amazon Web Services 研究人员提出 priming,一种复用预训练 Transformer 权重的方法,可将混合状态空间架构的预训练成本降低 99% 以上,仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中,Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2,而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当,同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。

    推荐理由:Amazon Web Services 研究人员表明,复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上,使状态空间层的受控比较变得可行。

9月29日周二
  1. OpenClaw Blog71

    OpenClaw Enterprise 发布,作为管理持久化代理的开源平台

    OpenClaw 宣布推出 OpenClaw Enterprise(OCE),这是一个开源、厂商中立的平台,用于在敏感环境中管理持久化代理,目前仍在开发中,计划于今年晚些时候发布 1.0 版本。OCE 增加了一个企业控制平面,具备多租户、硬性安全边界、沙箱、基于 LLM 的审查和细粒度权限,并允许将 harness、模型和沙箱替换为第三方或内部实现。组织今天可以通过 docker-compose 进行本地开发,或通过 kubernetes 进行内部部署来自行托管,目前正在 Red Hat 和 OpenAI 等公司进行试点。

    推荐理由:OpenClaw Enterprise 是一个面向敏感环境中持久化代理的开源控制平面,具备多租户、硬性安全边界和可审计性,现已可用于内部试点工作负载。

9月24日周四
  1. Modal Blog58

    Modal 与 CMU 全栈数据实验室发布 Quail:一款联合优化查询规划器与推理的 AI-SQL 推理引擎

    Modal 与卡内基梅隆大学全栈数据实验室构建了 Quail,这是一款面向 AI-SQL 工作负载的查询感知推理引擎,可联合优化 SQL 查询规划器与推理引擎。在一条多连接查询上,它每块 H100 GPU 每分钟可处理超过十亿个 token,比 Modal 在同一硬件上的 vLLM 基线快 10 倍以上,每十亿 token 成本低于 6 美分;在团队新推出的 AI-SQL 基准测试上,按任务几何平均计算,它比 vLLM 快 1.84 倍。由于 AI-SQL 的过滤和连接每个序列只需一个 token,Quail 跳过了解码、采样以及预填充-解码分离,并利用已知的查询计划来排序请求和管理 KV 缓存淘汰。

9月23日周三
  1. Modal Blog58

    Modal 如何为万亿参数编码智能体提供数万亿 token 的服务

    Modal 解释了它如何为编码智能体优化 Kimi K2.6 推理,实现每个副本单用户 2.8 倍、跨用户 5.6 倍的性能提升,并以每天数千亿 token 的规模运行服务。这项工作结合了在编码轨迹上微调的定制 DFlash 推测解码、FP8 KV 缓存和 NVFP4 共享专家量化、HiCache CPU 层缓存,以及 KV 缓存感知的基于负载的路由。Modal 将其 SGLang 补丁上游化,并发布了 Modal Auto Endpoints 背后的配置。

9月1日周二
  1. Zyphra Research48

    Zyphra 发布 PUFFER:面向持续演进训练语料的增量模糊去重系统

    Zyphra 以 Apache 2.0 许可证开源发布了 PUFFER,这是一个具备来源感知能力的增量模糊去重系统,面向持续增长的 LLM 训练语料。相比现有基于 CPU 的去重方法,它实现了 11 倍至 35 倍的加速,单进程可在 1.75 小时内摄取 10 亿份文档,并已在超过 300 亿份文档上完成生产部署。PUFFER 维护一份驻留磁盘的 MinHash-LSH 历史记录,因此可以新增数据集、确定性地恢复中断的任务,并单独撤出某个数据集而无需重建整个语料索引。

7月29日周三
  1. Berkeley AI Research58

    从 CUDA 到 MLX:K-Search 将内核优化专长带到 Apple Silicon

    IBM Research 扩展了 K-Search——来自 UC Berkeley Sky Lab 的进化式内核搜索框架——为其增加了 MLX 后端和一个结构化的 CUDA 到 MLX 翻译层,可将现有 CUDA 内核适配为 Apple Silicon 内核。在一个 MLX 注意力内核上,该方法达到了 Apple 原生 MLX Attention 内核速度的 0.97 倍,而在没有翻译上下文时为 0.26 倍;在 M1 Max 上,一个进化出的 Mamba SSM 内核相比社区 mlx-lm 实现实现了最高 20 倍的 prefill 加速。作者将这一提升主要归因于提供给 LLM 的上下文和约束的质量,而非其编写 Metal 代码的能力,并表示该方法并非 MLX 专属。

7月21日周二
  1. Modal Blog58

    Modal 与 Cognition 推出 Devin Outposts,集成 modal-devin 沙箱

    Modal 是 Devin Outposts 的发布合作伙伴。Devin Outposts 是 Cognition 的一项功能,它将 Devin 的代码执行迁移到客户控制的环境中,而 Devin 的推理仍留在 Cognition 的云端。开源的 modal-devin 库和 CLI 会在 Modal Sandbox 中运行每个 Outpost 会话,从而获得 GPU 支持的机器、自定义镜像、工作区快照和缩容到零的能力,并将于 2026 年 7 月 21 日以 alpha 版本上线。设置使用 uvx modal-devin init,它会生成一个编排器函数和一个工作会话函数,团队可以继续自定义它们。

7月1日周三
  1. Modal Blog58

    Modal Research 与 HeavyBall 的 MRP 将多 token 预测引入扩散语言模型

    Modal Research 与上海纽约大学的 HeavyBall Research 推出多 token 残差预测(MRP),这是一个附加在冻结扩散语言模型主干上的 3 层模块,预测步间 logit 残差而非完整的下一步分布。在 SDAR-4B GSM8K 上,MRP 在 K=3 时保持 70.9% 的准确率,而朴素 MTP 蒸馏仅为 5.9%;在 SGLang 中,推测模式下可实现最高 1.56 倍的无损吞吐提升,或在激进低阈值动态解码下最多恢复 +16 个准确率点。论文、代码、SGLang 实现以及 Hugging Face 上的 SDAR-MRP 模型均已发布。

6月24日周三
  1. Modal Blog58

    Modal 推出 Auto Endpoints,称采用推测解码实现业界领先的推理延迟

    Modal 正在推出 Modal Auto Endpoints,只需一键即可将 Modal 的基础设施扩展能力与业界领先的推理性能相结合,同时保留对代码的控制权。Modal 表示,主要的延迟收益来自使用自定义 DFlash 推测器模型的推测解码;在 Decagon Voice 的案例研究中,这将端到端延迟降低了约 100ms,约占服务端解码延迟的 40%,使其比最快的专有替代方案快 60ms 以上。Modal 还与 Z Lab 和 SGLang 一起发布了开源 DFlash 推测器模型,其中包括一个用于 Qwen 3.5 397B-A17B 的模型,其性能比 MTP 提升超过 50%。

6月1日周一
5月27日周三
  1. MiniMax Blog72

    MiniMax 将 Agent 升级为 Mavis,并推出面向长时间运行任务的 Agent Teams

    MiniMax 将 MiniMax Agent 升级并更名为 Mavis,同时推出 Agent Teams,允许多个角色专属 Agent 在桌面端并行运行,处理长时间、复杂任务。该系统采用 Leader、Worker 和 Verifier 角色,配合状态机 Team Engine,让任务在生成、验证和完成之间循环,并将 TokenPlan 与 Agent Plan 合并为一个订阅,覆盖 CLI、API 和 Agent,横跨 M2.7、音乐、视频和语音。MiniMax 表示该 Agent 即将开源,预计与 MiniMax M3 模型一同发布,桌面应用目前已可用。

    推荐理由:MiniMax 解释了其 Leader-Worker-Verifier Agent Team 背后的设计权衡,包括交接、共享和聚合成本,为构建多 Agent 运行时提供了具体参考。

4月29日周三
  1. Factory58

    Factory 对 13 个模型进行代码审查基准测试,发现 GPT-5.2 最佳、MiniMax M2.7 最便宜

    Factory 构建了一个开源基准测试,用来自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 个真实拉取请求测试 13 个模型,每个模型在高推理强度下对每个 PR 至少审查三次,并由 LLM 评审员根据人工整理的金标准集对发现进行评分。GPT-5.2 以 60.5% 的 F1 领先,每个 PR 成本 1.25 美元,领先于 Claude Opus 4.6 的 59.8% F1 和每个 PR 3.11 美元,而 MiniMax M2.7 以每个 PR 0.15 美元达到 45.6% F1,Kimi K2.5 以 0.41 美元达到 51.9% F1。Factory 表示成本仅解释约 21% 的质量差异,并开源了金标准集、评估脚本以及支持全部 13 个模型的 Droid Action GitHub Action。

  2. Modal Blog33

    在 Modal 上构建强化学习定理证明工作流

    AE Studio 详细介绍了其如何在 Modal 上通过强化学习训练 LLM 证明数学定理,在保持训练循环固定的情况下对比了进化策略与 GRPO。该方案在 GPU 上运行 vLLM 推理,在隔离的 CPU 沙箱中运行 Lean 编译器验证,并配备轻量级编排器,使用按函数镜像、.map() 扇出以及 Volumes 存储基础权重。

3月13日周五
  1. Berkeley AI Research38

    伯克利AI研究推出SPEX与ProxySPEX,用于识别LLM大规模交互

    伯克利AI研究的研究人员介绍了SPEX和ProxySPEX,这两种算法能够在远超以往方法的规模上识别LLM中具有影响力的特征、数据和模型组件交互。SPEX将交互搜索重新表述为利用稀疏性和低度性的稀疏恢复,而ProxySPEX利用层次结构,以约10倍更少的消融实验匹配SPEX。在情感分析上,SPEX在短输入上与Faith-Shap和Faith-Banzhaf忠实度相当,并在上下文扩展到数千个特征时保持这一表现。

3月4日周三
  1. Modal Blog22

    Modal 产品更新:目录快照、GLM-5 端点和计费 API

    Modal 为 Sandboxes 新增了目录快照功能,用户可对单个目录创建快照,并将其独立于基础镜像挂载到新的 Sandbox 中。Modal 还与 Z.ai 合作发布了一个免费的公共 GLM-5 端点,有效期至四月底,兼容 OpenCode、Claude Code、OpenClaw 和 Vercel AI SDK。modal billing report CLI 和 modal.billing.workspace_billing_report API 现已面向 Team 和 Enterprise 工作区正式可用。

2月24日周二
  1. Vapi Blog38

    为你的 OpenClaw 智能体赋予声音:通过 Vapi Skills 添加电话通话功能

    OpenClaw 智能体现在可以通过 Vapi 兼容 AgentSkills 的技能拨打和接听电话,借助 npx skills CLI 或直接向智能体提出请求,约五分钟即可完成安装。Vapi 的处理流程目标是将语音响应控制在 500 毫秒以内,并支持通话中调用工具,共有八项技能,涵盖助手、通话、电话号码、工具、小队、webhook 和工作流。

2025年11月13日周四
  1. Modal Blog40

    Decagon 如何在 Modal 上交付实时语音 AI

    Decagon 与 Modal 合作构建了 Decagon Voice 2.0,将延迟降低 65%,同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型,使其超越更大的前沿模型;Modal 则训练了自定义 EAGLE3 草稿模型,接受长度提高 38%,并重新设计了 SGLang,加入异步投机解码调度器,将吞吐量提升最高 12%。

2025年10月31日周五
  1. Modal Blog22

    Modal 更新 Volumes v2、JavaScript 和 Go SDK 至测试版

    Modal 已面向所有应用发布 Volumes v2 公开测试版,其重建的文件系统带来更高吞吐量、更快的随机访问,以及支持数百个容器真正的高并发写入,且存储文件数量不设上限。其 JavaScript/TypeScript 和 Go SDK 也以 v0.5 进入测试版,新增统一的 Client 对象,并支持 Sandboxes、Functions、Images 和 Volumes。

2025年9月26日周五
  1. Modal Blog60

    Modal工程师逆向解析Flash Attention 4的工作原理

    Modal工程师阅读了已发布的Flash Attention 4源代码,逆向解析了这个针对Blackwell优化的注意力内核的工作原理,因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程,并详述了两个数学技巧:一个可替代基于SFU的指数运算的三次多项式软件指数,以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道,FA4比Nvidia闭源的cudnn注意力内核快约20%,而在撰写本文时反向版本尚不可用。

    推荐理由:Modal工程师阅读了已发布的Flash Attention 4源代码,解释了其warp特化流水线和两个数学技巧,提供了一个关于CUDA内核设计走向的可迁移视角。

2025年9月22日周一
  1. Modal Blog38

    Modal Vibe:一个基于 Modal Sandboxes 构建的 AI 编程平台,5 分钟内可扩展至 1,000 个应用

    Modal 构建了 Modal Vibe,这是一个基于 Modal Sandboxes 的开源演示型 vibe 编程平台,可在约五分钟内从 0 扩展到 1,000 个 AI 编码应用。一次创建 1,000 个应用(每个应用位于各自的 Sandbox 中)的负载测试耗时约 300 秒,其中 AI API 是限速环节。Modal 表示,Team Plan 可运行 1,000 个并发 Sandbox,足以支持每月超过一百万次会话。

2025年9月16日周二
  1. Modal Blog47

    深入 Modal Notebooks:Modal 如何打造秒级启动的云 GPU Notebook

    Modal 详细介绍了 Modal Notebooks 背后的工程实现:这款云端 Jupyter notebook 能在数秒内启动 GPU 和自定义镜像,并支持实时协作。内核运行在 Modal Sandboxes 内,由一个 modal-kernelshim 守护进程将 Jupyter ZeroMQ 消息转换为通过 Modal 控制平面隧道的 HTTP 调用。一个惰性加载的 Rust FUSE 容器文件系统通过分层缓存按需获取文件内容,从而避免了镜像解包延迟——对于 8 GB 的 Python/ML 镜像,该延迟可能接近一分钟。

2025年8月11日周一
  1. Modal Blog38

    Modal 产品更新:GPU 内存快照、Notebooks、服务令牌等

    Modal 以 alpha 形式新增 GPU 内存快照,通过跳过 Torch 编译等步骤,将 GPU 工作负载的冷启动时间缩短 10 倍,可通过 enable_gpu_snapshot 选项启用。此次更新还带来处于 beta 阶段的 Modal Notebooks,可在浏览器中运行 Python;面向工作区管理员的 Service Tokens;以及为已部署 Functions 提供的浏览器生成 UI。

2025年4月30日周三
  1. Modal Blog38

    Modal 发布 JavaScript 和 Go 的 alpha SDK

    Modal 发布了其官方 JavaScript 和 Go SDK 的 alpha 版本,让开发者可以从 Node、Next.js 或 Go 服务中调用已部署的 Modal Functions 并创建隔离沙箱,而无需编写 Python。这些 SDK 无法部署函数,部署函数仍需使用 Python,且目前仅支持类 JSON 或 bytes 数据类型。Modal 表示,无论使用哪种语言,都能无问题地运行 10,000 个沙箱。

2025年3月17日周一
2025年2月21日周五
  1. Modal Blog35

    Modal 以 CC BY 4.0 协议开源 GPU Glossary

    Modal 已在 GitHub 上以 Creative Commons BY 4.0 许可证开源其 GPU Glossary,这是一个关于 GPU 编程主题的相互链接的短文汇编。该词汇表最初于两个月前发布,旨在填补跨栈 GPU 参考资料方面的空白,而社区提出的贡献请求促成了此次开源。该仓库的 GitHub Issues 已列出计划中的扩展内容,包括两个示例 matmul 内核以及一个关于 Thread Block Clusters 的章节。

2025年2月14日周五
  1. Modal Blog22

    Modal 产品更新:Logs v2、实时容器性能分析,以及所有套餐均可选择区域

    Modal 推出了全新改版的日志仪表盘,支持按时间范围输入筛选;提供实时容器性能分析,用于调试卡住的容器或输入;以及 Debug Shells,可在运行中的容器内执行 vim、ps 和 strace 等命令。区域选择现已在所有套餐中提供,定价为基础价格乘以一个系数,客户端还通过新增的 oidc_auth_role_arn 字段为云存储桶挂载增加了 OIDC 认证。