Snorkel 如何借助 Modal 运行逼真的智能体模拟
Snorkel 使用 Modal 的 GPU 和 CPU 沙箱每月运行数百万次智能体模拟,高峰时每小时可达数万个沙箱,并依赖 Modal 对其评估的开源权重模型进行推理。采用 Modal 的内存突发功能后,Snorkel 的沙箱总账单降低了约 20%,目前约 10-15% 的沙箱使用了突发功能。Modal 是唯一能够大规模满足 Snorkel GPU 沙箱需求的沙箱提供商。
Snorkel 使用 Modal 的 GPU 和 CPU 沙箱每月运行数百万次智能体模拟,高峰时每小时可达数万个沙箱,并依赖 Modal 对其评估的开源权重模型进行推理。采用 Modal 的内存突发功能后,Snorkel 的沙箱总账单降低了约 20%,目前约 10-15% 的沙箱使用了突发功能。Modal 是唯一能够大规模满足 Snorkel GPU 沙箱需求的沙箱提供商。
Katie Parrott 提出四个问题,用来判断哪些 AI 工作流应当保留、重新设计、重新审视或淘汰,并认为今天失败的工具日后可能变得合适,因为新的选项会抽象掉技术难度。这篇重新发布自七月的文章以 Every CEO Dan Shipper 的 Codex 原生 Tend 系统为例。
Maude Lemaire 是首席工程师、《Refactoring at Scale》一书的作者,她在 The Pragmatic Engineer 播客中分享了扩展 Slack 和 GitHub 的内部视角。她曾用近八年时间领导 Slack 的后端性能基础设施团队,之后于 2024 年加入 GitHub 处理数据库扩展问题,最近则在 Cursor 从事性能工作,包括首 token 时间。她解释了 Slack 为何限制自定义表情为 23 个以避免惊群效应,为何用朴素方式对 50 万个 WebSocket 连接做负载测试每次运行要花费 15 万美元,以及为何 GitHub 的 Active Record 抽象和分散查询将其限制在 16 个数据库分片。
Meta 推出了 F3 Lightning,这是构建在其 Facebook Feature Framework(F3)之上的基础设施层,它将特征发布与共享执行解耦,使 20,000 多个广告排序特征中的每一个都能独立编译、验证、部署和回滚。与之前的 F3 相比,同类提取特征现在进入生产环境的速度提升了约 3.6 倍,且基础设施计算成本没有增加。
Google 开展了一项 50 道题的自动评分编码智能体基准测试,检验轻量级分类器 TypeSafe 的 Jev 能否将每项任务路由到仍能正确作答的最便宜 Gemini 配置。一个冻结的正则表达式与提示长度启发式方法在 16 道开发题上得分 93.8%,但在 34 项留出任务上下降 23.2 个百分点至 70.6%,而 Jev 在整个测试集上达到 96.0%。最强的无路由方案——Gemini 3.8 Flash 低思考模式——解决了全部 50 项任务;一个 Jev 路由器先将任务发送给 Flash-Lite、再对标记的任务升级,同样解决了全部 50 项任务,同时降低了成本和响应时间;将 maxOutputTokens 上限设为 300 在简单任务上未节省任何成本,却导致 25 项困难任务中的 7 项失败。
Google 发布了一份操作指南,介绍如何用其框架无关的 A2UI(Agent-to-UI)标准和 CopilotKit 的智能体集成栈构建生成式 UI 应用。A2UI 以声明式 JSON 消息而非可执行代码的形式发送 UI,因此客户端只渲染来自可信目录的组件,同一份载荷可在 React、Angular、Lit、SwiftUI、Jetpack Compose 和 Flutter 上通用。该指南展示了如何通过 AG-UI 接入 Google ADK 智能体、定义经 Zod 校验的组件目录,以及构建双向界面——用户输入会回传给智能体,以支持预订等多步流程。
Figma 详细介绍了它如何为其 Figma agent 训练一个第一方设计编辑模型:首先在合成编辑请求上进行监督微调,这些请求以 Figma 原生文件格式表示,并通过确定性检查和视觉模型评判器进行验证。
研究人员正在改造 Ai2 的开源 olmOCR 2 模型,用于转录历史和考古档案。历史学家 Maurice Casey 构建了 ArtificeOCR,在本地将 olmOCR 2 与 Tropy 配合运行,使他的档案照片库可进行关键词搜索;而维也纳工业大学的 CENTURIA 项目则用 LoRA 在 57 条标注记录上对 olmOCR 2 进行微调,将 450 条测试记录上的转录错误率从 15.58% 降至 1.11%。
The Pragmatic Engineer 采访了 Rootly、incident.io 和 ResolveAI,了解 AI SRE 工具的情况:这些工具大多只是加快 Slack 内的事故调查,而非自主行动。许多公司的部署频率一年内大约翻倍,Rootly 数据显示告警量上升,非工作时间告警几乎翻倍,同时厂商正围绕知识图谱、记忆和验证代理重建调查代理。内部案例包括 OpenAI 的 Sevbot、Stripe 的调查代理(简单运行约 3 分钟,深度运行 14 分钟)以及 Gemini CLI 中的 Google ProdAgent,后者通过 MCP 建议工具且不编写代码。
Meta 详细介绍了 PrivacyLib,这是一个嵌入其数百个数据处理与数据系统客户端的通用库,在数据访问点强制执行隐私要求,每秒执行数十亿次检查。系统只需集成一次,新的隐私能力便以插件模块形式发布,取代了以往可能需要数月的逐系统实现方式。一个 Agent Observability 模块通过将智能体上下文传递给 PrivacyLib,来追踪内部 AI 智能体的数据访问。
Google 的 Agents CLI 评估命名空间为智能体运行爬山循环:eval generate、grade、compare、analyze 和 optimize。在 Agents CLI v1.8.0 中对 LangChain 模板的演练中,以 gemini-3.8-flash 作为评判者,基线得分为 4.0/5,而错误的 chef 系统提示将其降至 2.75。
Google Cloud 开发者构建了 HappyDelivery,这是一个使用 LangGraph、Gemini、FastAPI 和 Google Cloud 的对话式商务可运行原型,遵循了此前由 Ingress、Memory 和 Cognition 组成的三层蓝图。Ingress 层验证 WhatsApp、RCS、Apple Messages 和 SMS 的平台特定 webhook 签名,将负载规范化为通用 schema 并卸载到 Pub/Sub,在约 300ms 内返回 HTTP 200。文章详细介绍了代码、状态机、确定性金融工具和自动化验证套件。
SemiAnalysis 的工程团队在 TorchTitan 和 TorchNeuron 栈上测试了 Trainium3 机架,发现原生 PyTorch 体验相比旧的 PyTorch/XLA 方案有重大改进,但 bug 和较长的编译时间仍然存在。在编译模式下,用 16 块 Trainium2 芯片训练 Qwen3-32B 达到每秒 14,156 个 token、MFU 为 30.47%,相比 eager 模式提升 1.28 倍;而 gpt-oss 20B 配方编译耗时 27 分 17 秒。团队还将 Neuron Explorer 评为业界领先的分析器,领先于 Nvidia 和 AMD 的工具,并报告 Trainium3 通过了 96 个 FlexAttention 测试用例中的 89 个。
Figma agent 现已正式可用,Figma 说明了如何将你的设计系统接入其中,使其输出与你的产品保持一致。连接已发布的库可让 agent 使用经批准的组件和 token,而 guidelines 文件用于编码团队规则,Examples 页面或 _example 命名则提供可复用的模式。
Google Cloud 研究人员公布了 Project Chrysalis,这是一个基于 Gemini 平台和 Agent Development Kit(ADK)构建的可治理、自进化 AI 智能体的参考架构。在模拟的黑色星期五缓存踩踏故障中,它将首次缓解时间从 15–45 分钟缩短至 1.8 秒,将 HTTP 5xx 错误率从 72.7%–80.0% 降至 0.0%,并将 P99 延迟从 519.8 ms 降至 18.2 ms。每一项自主操作都受到 Model Armor、Cloud KMS、Binary Authorization、OPA Policy Controller 以及双人保管人在环签核的约束。
在低代码平台被证明过于僵化且不透明之后,Acuity Health 在 LiveKit 上重建了其患者接入语音智能体,如今 80% 的来电完全由 AI 智能体处理。智能体基于 LiveKit Inference 运行,使用 Gemma 4 31B 模型,大多数预约在一分钟内完成,81% 的预约通话以“谢谢”结束。LiveKit Simulations 会在发布前针对患者画像测试每一项变更,一次提示词审查削减了约 24% 的用词,同时仍能通过相同的场景测试。
三位拥有十多年 Java 经验的 Java Champion 分别分享了他们在生产环境和开源工作中使用 GitHub Copilot 的方式。Vlad Mihalcea 在两天内(而非数周)构建了一个 Hypersistence Optimizer Web 应用,并基于自己的 65 篇文章训练了自定义技能,以匹配他的写作风格。Patrick Baumgartner 借助 Copilot 将 15 份演示文稿中约 900 张教学幻灯片从 Reveal.js 迁移到 Marp,并通过截图对比验证结果。
GitHub Copilot 应用会话现在可以直接在 VS Code 中打开,并延续对话、代码更改和工作树,让开发者无需重新开始即可查看差异、手动编辑并在本地测试。本教程逐步演示如何打开会话、逐行查看智能体的更改、在 Copilot 侧边栏中继续同一对话,以及将会话的拉取请求推送更新。
Google 发布了 Meta TorchTitan 的 TPU 分支版本,该版本通过 TorchTPU 原生的 torch.device("tpu") 后端在 Cloud TPU 上运行 PyTorch 训练,配备 TPU 原生内核和分步优化手册。在 TPU v7x(Ironwood)上,Llama 3 405B 在 128 至 1,024 芯片范围内保持约 57% MFU,Qwen3 235B 在单个 1,024 芯片切片上达到 32.42% MFU,FLUX.1 在 1,024 芯片上以 93% 弱扩展效率达到 19.4% MFU。该分支位于 https://github.com/google-pytorch/torchtitan/,此外还有 Transformers 建模后端和 agent 接入技能,可将同一训练器扩展到其他检查点。
推荐理由:Google 与 Meta 合作把 TorchTitan 移植到 TPU,并给出从 FLUX.1 到 Qwen3 235B 的逐级调优路径与 MFU 数字,可作为 PyTorch 团队评估 TPU 训练可行性的参考。
Legora 现在将每一项法律 agent 评估都放在独立的 Modal Sandbox 中运行,启动其完整应用并固定到特定 commit,使每次运行都反映确切的产品版本。一次典型实验包含 100 个用例、4 个 harness 变体、每个 5 次试验——即 2,000 次并行运行——并由 Modal Volumes 对文档、数据库和权限状态进行快照。Legora 还从 gVisor 迁移到 Modal VM Sandboxes,移除了其 Docker 网络和 FUSE 变通方案,并通过更智能的压缩和自定义工具搜索将 agent 成本降低了 30%。
Modal 详细介绍了它如何演进其文件系统栈以支撑 VM 沙箱,将客户机请求经由 virtio-fs 和 virtiofsd 路由到其 ImageFS 懒加载文件系统上。第一个版本启动很快但运行缓慢:递归 chown 从四秒变成一分多钟,pnpm 和 bun 安装大约慢了三倍。微基准测试显示,chown 在 virtio-fs 上耗时 9.87 秒,而在 gVisor 上为 2.31 秒,在 ImageFS 上为 1.58 秒。
PJ 是佛罗里达州奥卡拉的一名工程师出身的害虫防治公司老板,现在为小企业提供咨询——包括屋顶、泳池和汽车承包商——帮他们搭建 OpenClaw 并教他们自己运行。他的客户想要一个完全属于自己的工具,而不是把公司数据喂给租来的软件,其中一位客户、66 岁的行政人员 Donna 每天都在使用她的 OpenClaw。
LiveKit 的指南汇集了解决方案架构师和前置部署工程师的经验,讲述如何将 AI 语音智能体从演示推向生产,围绕三个问题展开:智能体是否足够智能和自然、其性能是否可观测、以及是否能可靠且经济高效地扩展。指南建议单独测量第一轮交互,因为一家公司发现大约 3/4 的通话在问候环节就结束了;并指出客户在 LiveKit Inference 上从 GPT-4.1 迁移到 Gemma 4 31B,在 p50 上节省了 300–500ms。
Claude Code 团队介绍了其分层代码审查流程:大部分阅读工作由机器完成,人的注意力则保留给基于风险的审批。6 月至 9 月,Claude Code 代码库中合并的拉取请求数量增长了一倍多,而不得不回滚的比例下降了 40% 以上。该流程在 PR 之前叠加验证、必需的 CI、Claude 审查、安全审查、按风险分级的人工审批,以及带标志和快速回滚的合并队列;团队还将过去的事故转化为审查者的每日评估集。
推荐理由:Anthropic 的 Claude Code 团队详细说明了如何将大部分代码阅读转移到自动化层,同时合并的 PR 翻倍、回滚下降超过 40%,为大量使用智能体的团队提供了一个可迁移的审查模型。
Modal 介绍了如何在其无服务器 GPU 上使用开放权重或自定义模型运行 LiveKit Agents,并以 BitHuman 的开放权重 Expression Video Avatar 为例,由 Qwen3-TTS 配音来克隆 Charles Frye。该方案通过 Modal Server 暴露 avatar 容器的 /launch 端点,并使用 Sticky Sessions 让 WebSocket 客户端保持在同一容器上,同时用 GPU 快照隐藏冷启动。
GitHub 训练了一个经过微调的 ModernBERT 分类器,用以替代其此前基于 LLM 的通用密钥检测流水线,使按所有者加权的告警精确率提升了 11.5%,并将推送后扫描执行时间中位数缩短了 86%。该两阶段流水线先通过正则表达式生成候选,再进行上下文感知分类,与远程 LLM 调用相比还将服务成本降低了 98% 以上。效率的提升使得将通用密钥检测扩展到推送保护成为可能,从而在变更被推送之前就返回结果。
LiveKit 发布了 Egress 的排查指南,涵盖常见错误,例如模板从未调用 START_RECORDING 导致的 412“未收到启动信号”、30 秒内未找到参与者或轨道导致的 404,以及 S3/GCP/Azure 凭证无效导致的 400 上传失败。指南还涉及布局、webhook 和自托管 Egress 问题,并指出该指导同时适用于当前的 StartEgress API 和已弃用的特定源 API。
GitHub 的 Copilot for Beginners 系列介绍了四种为 Copilot 提供项目上下文的方法:在 `.github/copilot-instructions.md` 中编写自定义指令,并在 `.github/instructions` 中添加路径专属文件;在 `.github/skills` 中定义 agent skills;在 `.github/agents` 中配置自定义 agent;以及通过 MCP 服务器将 Copilot 连接到 Playwright 等外部工具。文章逐一讲解了每种机制及其组合方式,并引导读者前往社区 Awesome Copilot 合集获取现成示例。
Vapi 工程师 Lat Ware 复盘自建 Pedantic Review Bot 的实践,该机器人现已审查每个 PR,平均合并时间从 130 小时降至 65 小时。
Serve AI 在 LiveKit 上为一位价值 1.5 亿美元的害虫防治客户重建了其电话代理,将 224 个节点的 Retell 流程图压缩为单一提示词,并用 Agent Simulations 进行了验证。约 100 通真实生产通话被转换为模拟场景,在切换前经过 10–15 次迭代达到 98% 的通过率,中位轮次延迟为 1.3 秒,低于 1.5 秒的上限。首次迁移耗时一周,无回滚,遏制率提升了 15%,Serve 估计这每年为客户额外节省 32 万美元。
Anthropic 发布了一份 Claude Managed Agents(测试版)的参考实现,该实现按 cron 计划读取 Slack 频道和 GitHub 拉取请求,通过按来源分别记录的书签追踪自上次运行以来的变更,并向 Slack 发布简报。该详解涵盖由 vault 保管的凭据、只读访问和单次运行支出上限,以及将某个来源读取失败报告为不可读而非视为平静无事的规则,还有在更新书签和账本之前先确认 Slack 发布成功的规则。一个带有 claude-api 技能的 Claude Code 命令可根据文章中的指导配置该智能体。
推荐理由:Anthropic 分享了一个定时 Claude Managed Agents 的参考实现,该实现读取 Slack 和 GitHub,并针对书签、读取失败和发布确认给出了具体规则。
Addy Osmani 详细介绍了 Claude Code 云会话:每个任务都在一个全新的、由 Anthropic 管理的虚拟机上运行,仓库被克隆到各自的分支上;云会话包含在 Pro、Max、Team 和 Enterprise 套餐中,不额外收取计算费用。在一个示例 Node 仓库上进行的四会话测试中,三个会话在彼此相隔 16 秒内启动,并在第一个会话开始后 87 秒完成;那个不稳定测试会话将测试套件运行了 40 次,零失败。该指南涵盖设置脚本、网络级别、GitHub 连接路径以及适合云会话的七种工作流,同时指出对于需要本地数据、VPN 服务、GPU 或零数据保留的任务,本地会话仍然是更合适的选择。
推荐理由:一份关于 Claude Code 云会话的实战指南,展示了按任务分配的虚拟机如何实现并行工作,以及本地会话在哪些场景下仍然更合适。
GitHub 博客指出,随着 AI 改变开发者的工作方式,开发者应加强三项技能:引导 AI 智能体而非仅仅使用它们;批判性地审查 AI 输出,而不是轻信第一个答案;利用 AI 节省的时间去解决更广泛的问题。文中提到 GitHub Copilot 内置的 Rubber Duck 智能体,它会在开发者继续推进之前,用第二个模型对计划、代码和测试进行评审。
一位 Every 员工描述了从单线程提示转向将整个项目委托给协同子智能体的过程,使用了技能、编排线程、上下文包、MCP 和计算机使用。这一转变源于六月的一条推文,Katie Parrott 在其中要求 Codex 将她置于“AI 采用的八个层级”指南中;Codex 将她定为第 5 级,并带有第 6 级的雏形。
Claude Code mods 是小型 JavaScript 或 TypeScript 文件,作为插件中附带的钩子在会话内运行,可以观察事件、重写行为,或在终端或桌面应用中绘制自定义 UI。本指南构建了 Token Weather,一个约 80 行的 mod,在每轮之后读取 $.session.usage(),并在提示符上方绘制一条天气风格的上下文窗口带;随后介绍了 Blast Radius(用于拦截有风险的 Bash 命令)和 Replay Theater(用于逐步查看某一轮的编辑)。Mods 需要 Claude Code 2.1.287 或更高版本,且默认开启;三个示例的完整代码位于 anthropics/claude-code-playground。
推荐理由:一篇动手实践指南,介绍 Claude Code mods,并用约 80 行代码构建一个可用的上下文窗口计量器,展示钩子、状态和自定义 UI 如何协同工作。
Anthropic 在 Claude Code 内的 claude-api skill 中新增了两个命令:/claude-api build-eval 会在你的代码库中构建评估集,/claude-api hillclimb 则基于该评估对应用进行迭代,并使用留出集来防止过拟合。
推荐理由:Anthropic 为其 claude-api skill 新增了 build-eval 和 hillclimb 命令,展示了 Claude Code 如何设计评估并据此迭代,同时防止过拟合。
Vapi 使用 TypeSafe AI 的早期访问“System One”模型 Jev 进行了早期实验,将其作为护栏,在语音助手的回复被说出之前,对其是否违反开发者定义的规则进行评分。在一项早期测试中,Jev 至少捕获了四分之三的违规回复,不过 Vapi 表示这并非 100% 的合规保证,而只是在提示护栏之上的一道额外检查。
Every 的评估负责人 Mike Taylor 介绍了他与 AI 配合使用的写作流程,从先写标题、收集资料,到录制口述独白,再用 Claude Opus 5.5、Fable 5.1 和 GPT-6 Astra 生成初稿。他说,这套流程把他写一篇 1200 字文章的时间从一天缩短到两小时以内,流量和读者正面评论都没有下降;他仍然自己写引言和结论,并预计初稿在自我编辑阶段会有 20% 到 30% 的内容被改动。
Modal 解释了它如何为编码智能体优化 Kimi K2.6 推理,实现每个副本单用户 2.8 倍、跨用户 5.6 倍的性能提升,并以每天数千亿 token 的规模运行服务。这项工作结合了在编码轨迹上微调的定制 DFlash 推测解码、FP8 KV 缓存和 NVFP4 共享专家量化、HiCache CPU 层缓存,以及 KV 缓存感知的基于负载的路由。Modal 将其 SGLang 补丁上游化,并发布了 Modal Auto Endpoints 背后的配置。
Every 的评测负责人解释了如何构建个人 AI 基准测试,而不是依赖 MMLU-Pro 和其他公开测试,并借鉴了他自己在真实工作任务上测试 Claude Opus 5、Claude Fable 5、GPT-5.6 Sol、Astra、Luna 和 Haiku 的经验。该方法分为三个层级,旨在说明何时应切换模型,以及更小、更便宜的模型是否足够。