跳到正文
11月13日周五
  1. LiveKit Blog62

    LiveKit 在语音智能体中测试 Gemini 4 Hydrogen 与 3.8 Flash,工具被故意破坏

    LiveKit 通过同一个 Google 插件,让 Gemini 4 Hydrogen 和 Gemini 3.8 Flash 运行在一个语音旅行礼宾智能体中,并故意让工具调用失败;在 54 份转录中,Hydrogen 的虚假预订报告为 0 次,而 3.8 Flash 为 2 次。在 Hydrogen 设为 high、3.8 Flash 设为默认的情况下,Hydrogen 的第一句话早到 1.2 秒(4.0 秒对 5.2 秒);两者都设为 low 时,早到 1.7 秒(2.8 秒对 4.6 秒)。作者建议语音智能体使用 medium 或 high 思考级别,并指出 xhigh 的首句延迟中位数为 7.8 秒,最坏情况为 52 秒。

    推荐理由:LiveKit 的实测显示,Gemini 4 Hydrogen 会报告每一次被故意破坏的工具调用,并且比 3.8 Flash 更早开始回复,同时提供了语音智能体在各思考级别下的延迟数据。

  2. ElevenLabs Blog18

    每位人类和AI客服人员都需要的7项客户服务技能

    ElevenLabs列出了七项客户服务技能——沟通、问题解决、冲突化解、同理心、适应力、个性化以及产品知识——人类和AI客服人员都需要具备这些技能。它引用了Zendesk的一项研究,该研究发现超过50%的客户在经历一次糟糕体验后会转向竞争对手;还引用了Gartner的预测,即到2028年至少70%的客户将通过AI界面开启他们的旅程。该指南强调在训练期间和部署之后评估对话指标,并强调无缝转接给人类以缓和局势。

  3. Databricks Blog36

    利用详细审计日志和 Genie 检测 Databricks 上由凭证驱动的攻击

    Databricks 详细说明了凭证驱动的攻击如何在其平台上展开,以及详细审计日志和 Genie 如何检测在窃取的 PAT、会话 cookie 或服务主体凭证被使用后发生的行为变化。该文章将攻击者活动划分为六个阶段,从初始登录到环境侦察,并涵盖响应步骤以及限制被盗凭证可触及范围的控制措施。

  4. Databricks Blog36

    Bright Machines 借助 Debezium 和 Iceberg,为气隙隔离工厂的客户提供实时仪表盘

    Bright Machines 现在无需开放任何入站访问,即可为客户提供来自气隙隔离工厂的实时、受治理的工厂数据仪表盘。它在边缘侧用 Debezium 捕获 PostgreSQL 变更,将其写为 Apache Iceberg,通过一条可审计的出站路径推送出去,并在 Databricks 中通过 Unity Catalog 联合就地读取。首个客户可见的仪表盘在上线启动约两个月后投入使用,已提交的行可在一到两分钟内查询,仪表盘每十分钟刷新一次。

  5. OpenRouter Announcements58

    OpenRouter 在 274 题 RAG 基准上测试 11 个重排序器

    OpenRouter 在一个 274 题的合成 RAG 数据集上对 11 个重排序器进行了基准测试,发现用 voyageai/rerank-3-lite 对向量检索的前 30 个候选进行重排序,可将 precision@1 从 81.0% 提升到 97.1%,成本约为每 1,000 次查询 0.10 美元。该指南建议检索约 30 个片段,对其进行重排序,只将前 3 个发送给 LLM,在其测试中将答案准确率提升到 99.3%,同时将每 1,000 个问题的回答成本从 0.22 美元降至 0.16 美元。它还指出了失败模式:省略 input_type 参数会损失 7 到 12 个百分点的 precision@1,而 cohere/rerank-v3.5 会静默忽略超出其 4,096 token 限制的内容。

  6. GitHub Blog · AI & ML58

    GitHub 指南解释如何构建可在 Claude Code、Cursor 和 Copilot 上运行的 agent skills

    GitHub 发布了一份关于 agent skills 的实用指南,agent skills 是以 SKILL.md 文件为中心、带版本号的目录,用于描述何时以及如何执行可重复的任务。该指南使用两个示例——用于对 AI 生成代码进行对抗性验证的 Proof Agent 和用于多技能数据管道的 Data Forge——来展示技能如何共享项目清单、复用同一条执行路径,并在每个阶段设置人工审批。它还介绍了一个打包脚本,可从单一 skills 源为 Claude Code、Cursor 和 GitHub Copilot 生成特定于客户端的文件。

  7. AWS Machine Learning Blog40

    Natera 如何在 Amazon Bedrock AgentCore 上为实验室运营构建 SWARM 智能体 AI 系统

    Natera 在 Amazon Bedrock AgentCore 上构建了用于实验室运营的智能体 AI 系统 SWARM,将首次响应时间缩短约 130 倍,并自动处理 96.2% 的支持工单。该系统将一个在工程师打开工单前起草诊断报告的 swarm-agent 与一个用于工程师实时交互的 swarm-hive 配对,两者共享同一个技能库。它每天处理三个队列中超过 65 个 Jira 工单,而这些工单此前的首次响应平均需要 17.4 小时。

  8. Databricks Blog30

    Databricks 澄清关于 Lakebase 架构的四个 LTAP 误区

    Databricks 回应了对 LTAP 的四种常见误读。LTAP 是 Lakebase 架构,它让同一份受治理的运营数据副本同时服务于 Postgres 和分析,无需 CDC。文章认为 LTAP 不是复制:湖前端的各层是缓存,而不是一个拥有自己目录的第二个数据库。文章还表示,堆页面和 Parquet 是同一批行的两种无损编码,因此点查询和扫描各自读取对其而言快速的布局。

  9. AWS Machine Learning Blog38

    规模化 Token 经济:使用 CUR 2.0 和 AWS Budgets 按 IAM 主体跟踪并限制 Amazon Bedrock 支出

    AWS 展示了如何仅使用原生功能按 IAM 主体跟踪并限制 Amazon Bedrock 生成式 AI 支出:Bedrock 会在每次推理请求时自动记录 IAM 用户或角色,这些标签会成为成本分配标签,可在 Cost Explorer 或 CUR 2.0 导出中读取。一个限定于 Bedrock 并按某个身份或标签值筛选的 AWS Budget 可以附加预算操作,在超过阈值后应用 Deny IAM 策略,常见场景下无需应用代码。

  10. AWS Machine Learning Blog36

    影响成本的四个 Amazon Bedrock 推理选择

    Amazon Bedrock 的缓存时长、服务层级、推理投入和 maxTokens 设置可以在不改变模型或提示词的情况下改变推理成本。在 Claude Sonnet 5 和 Claude Opus 5 上,5 分钟缓存写入的成本是输入费率的 1.25 倍,1 小时写入是 2 倍,缓存读取是 0.1 倍;向不支持的模型发送 Flex 层级请求会以 ValidationException 失败。

  11. LangChain Blog45

    什么是评估驱动开发?如何改进 AI 智能体

    LangChain 解释了评估驱动开发(EDD),这是构建 AI 智能体的三步流程:定义什么是好的表现、在构建之前先编写评估、每次更改后比较结果。由于智能体具有非确定性,评估会在一组示例数据集上对运行结果打分,并可使用 LLM-as-a-judge,同时以 LangSmith 中真实的智能体运行作为测试输入来源。

  12. Databricks Blog22

    Constellation 如何在 Databricks 上构建受治理的数据基础

    Constellation 是美国最大的核电机组运营商,正在 Databricks 上构建一个受治理的企业数据平台,以便为业务提供统一的数据含义。该平台使用 Unity Catalog 实现数据血缘、细粒度访问和单一权限模型,并对关键的可复用实体采用 Data Vault 建模。早期用例包括使用 Databricks Genie 构建的核工程助手以及停堆计划。

  13. Databricks Blog25

    Eclipse Aerospace 使用 Databricks PySpark 自定义数据源进行飞行数据摄取

    Eclipse Aerospace 正在使用 Databricks PySpark 自定义数据源摄取近 20 年的专有飞行数据,超过 3TB,涵盖逾一百万飞行小时,且无需常开专用计算资源。这个由 Rust 支持的 Python 包在基准测试中的性能是基于 PyArrow 的类似纯 Python 数据源的两倍,几乎是不使用 Arrow 的原生 Python 实现的 20 倍。该 API 在 Apache Spark 4.0 中引入,并在 Databricks Runtime 15.4 LTS 中可用,取代了此前的 Lambda-to-Avro 管道。

  14. AWS Machine Learning Blog34

    使用 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关

    一个基于 Amazon Bedrock Application Inference Profiles 和运行在 AWS Fargate 上的 LiteLLM 构建的自助式 LLM 网关,通过 OpenAI 兼容 API 对外暴露 Bedrock 基础模型,为开发者提供单一 base URL 和每用户密钥。该方案增加了每用户支出控制、按模型配额隔离以及 CloudWatch RPM/TPM 可观测性,并使用 Langfuse 实现提示词级遥测。自助发放密钥需要 LiteLLM Enterprise,因为免费版仅限五个用户。

  15. AWS Machine Learning Blog34

    在 Amazon Bedrock 上优化单任务成本并证明智能体 ROI

    这篇 AWS 文章主张,Amazon Bedrock 的支出应按单任务成本而非单 token 成本来衡量,因为分词器效率、输出冗长度、智能体循环次数和推理开销可能使价格更低的模型反而成本更高。一个示例显示,标价高 2 倍的模型单任务成本反而低 65%;文章还补充了缓存、路由和输出约束,以及一个五维评分卡,用于对照人工基线衡量智能体 ROI。

  16. Databricks Blog22

    H6.ai 如何借助 Lakebase Postgres 构建 AI 驱动的财务自动化

    H6.ai 在客户现有 ERP 之上实现应付账款自动化,为每个客户使用专属的 Lakebase Postgres 数据库作为记录系统。由于发票数据持续变化,团队使用 Lakebase 的写时复制分支来冻结客户数据库快照,并在各自独立的短生命周期分支上运行每项回归测试,因此绝不会写入生产数据库。每次运行由确定性断言以及来自不同模型提供商的 AI 评审团共同评判。

  17. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore Evaluations:内置、DeepEval 和 AutoEval 评估器

    Amazon Bedrock AgentCore Evaluations 现在让团队可以运行 AWS 内置评估器,同时支持托管的 DeepEval 和 AutoEval 指标,以及基于两者衍生的自定义评估器。内置目录涵盖响应质量、目标完成、工具使用、技能和安全性方面的 15 个评估器,并提供三项针对预期工具路径的轨迹检查。DeepEval 增加了 ConversationCompleteness 和 KnowledgeRetention 等多轮指标,而 AutoEval 则贡献了包括安全性在内的专业信号。

  18. AWS Machine Learning Blog36

    使用 LangGraph 和 Amazon Bedrock AgentCore Web Search 构建每日依赖监视器

    Amazon Bedrock AgentCore 中的 Web Search API 现已可用,通过一次 SigV4 签名的 API 调用即可让智能体获取最新的网页结果,该调用由 Amazon 运营的网页索引提供服务。一篇演练文章构建了一个每日依赖监视器,将其作为 LangGraph 图,并行研究 npm、PyPI 和容器基础镜像,并在代码中强制执行日期窗口、黑名单和搜索预算。在测试中,三个分支在 36 秒内完成,而按顺序运行则需要 99 秒。

  19. AWS Machine Learning Blog36

    AWS Quick AI-PDLC:六个智能体驱动 AI 产品开发

    AWS Quick 推出 AI-PDLC,这是一个由六个专用智能体组成的框架——由 Orchestrator 统领,涵盖 Discovery、Prioritize、Working Backwards、Spec Generator 和 Designer——可将来自 Slack、Jira、Salesforce 和 SharePoint 的分散企业信号转化为可追溯的 prototype_spec.md。每个阶段都需要人工审批,并且该规格可通过开放的 Agent Client Protocol (ACP) 交给 Kiro 或 Claude Code 等编码智能体。

  20. AWS Machine Learning Blog40

    AWS 开放其创新中心的 23 项可复用生成式 AI 资产目录

    AWS 发布了来自其生成式 AI 创新中心(现隶属于 AWS Frontier AI Engineering & Services)的 23 项生产就绪的开源生成式 AI 资产目录。这些构建模块涵盖 RAG 流水线、文档处理器、智能体脚手架和评估框架,AWS 表示它们可以将开发时间从数月缩短至数周。DoorDash 报告称测试能力提升了 50 倍,Ricoh 报告称基于这些资产构建后吞吐量提升了 7 倍。

  21. AWS Machine Learning Blog38

    DXC Technology 如何在 Amazon Bedrock 上构建多模型 AI 底座

    DXC Technology 在 Amazon Bedrock 上为其 DXC OASIS IT 运维框架构建了模型底座,通过一个统一托管接口接入 Anthropic Claude、Amazon Nova、Meta Llama 和开放权重模型。Amazon Bedrock Guardrails 对所有模型统一应用内容过滤、PII 脱敏和禁止话题策略,而 AWS PrivateLink 将推理流量保持在客户 VPC 内。DXC OASIS 自 2026 年 3 月起正式可用,在 56 个实测用例中平均将解决时间缩短了 95%。

  22. AWS Machine Learning Blog40

    Agent DLC:从原型到生产环境构建 AI Agent

    AWS 推出 Agent 开发生命周期(Agent DLC),这是一个包含一个生命周期、两个循环以及单一明确标准的框架,用于评判每一次 Agent 变更。它针对三个会破坏传统 CI/CD 的 Agent 特性:非确定性、提示词即源代码,以及独立变动的依赖项。一个参考 HR 政策助手显示,在全部三个测试问题上,块级检索精确度为 1.00,而事实级精确度降至 0.09,且其中一个问题的检索覆盖率为 0.00。

  23. AWS Machine Learning Blog36

    Amazon Bedrock Managed Knowledge Base 工具的细粒度访问控制

    AWS 展示了如何通过 AgentCore Gateway 将搜索作为 MCP 工具暴露,从而在 Amazon Bedrock Managed Knowledge Base 上为共享 AI agent 提供按用户划分的文档访问权限。请求拦截器会从 Cognito JWT 中提取已验证的用户邮箱并注入 userContext,ACL 感知机制则只返回该用户有权查看的文档。AgentCore 中的 Cedar 策略以及知识库上的基于资源的策略,为防范伪造或未授权搜索增加了第二道防线。

  24. AWS Machine Learning Blog58

    AWS 详解如何用 A2A 构建跨组织多智能体系统

    AWS 发布了一套参考架构:在 Amazon ECS 上基于 LangChain 的企业编排器通过 A2A 协议调用 Amazon Bedrock AgentCore 上基于 Strands Agents 的合规 SaaS 智能体,双方位于不同的 AWS 账户中,且不共享密钥。双方各自使用来自自身 Amazon Cognito 用户池的令牌进行身份验证,SaaS 智能体则回调企业上下文智能体以获取账户元数据,因此这些智能体是作为对等方而非客户端与服务端交互。该系统通过三个 Jupyter notebook 部署,这些 notebook 会创建五个 CloudFormation 堆栈,并运行一次端到端测试以及七项信任边界检查。

  25. AWS Machine Learning Blog34

    使用编码代理迁移到 Amazon Bedrock Managed Knowledge Base

    AWS 在 Agent Toolkit for AWS 的 amazon-bedrock 技能中新增了知识库迁移指南,让编码代理可以规划从客户托管知识库迁移到 Amazon Bedrock Managed Knowledge Base。代理首先进行只读发现和逐行审查的计划,然后在原始知识库旁创建新的知识库和数据源,或编写迁移后的 IaC 模板。Managed Knowledge Base 将默认配额提高到每个知识库 200 个数据源、每个账户每个区域 10,000 个知识库,并新增了代理式检索、AgentCore Gateway 集成和基于资源的策略。

11月12日周四
  1. LangChain Blog40

    LangChain 的 GTM Agent 如何构建一致、高质量的销售物料

    LangChain 内部的 GTM Agent 在 12 周内生成了 1,540 份销售物料,为客户经理在账户计划、提案演示文稿等文档上节省了 337 小时。发送过物料的交易中,有 47% 推进到了更后期阶段,而匹配的未发送物料的交易中这一比例为 16%;46% 的物料在 14 天内促成了客户通话。该 Agent 运行在 Deep Agents 框架上,其沙箱、技能、记忆和定时运行功能已在 Managed Deep Agents 中提供。

  2. AWS Machine Learning Blog36

    使用 Amazon Bedrock 和 Spring AI 构建自主 AI 智能体

    AWS 向 Java 团队展示了如何使用 Spring AI 和 Amazon Bedrock 的 AgentCore 构建自主 AI 智能体,并提供了 spring-ai-agentcore 集成。文中详细介绍了两个参考系统:一个具备工具调用和记忆功能的单智能体旅行助手,以及一个包含五个专业智能体、规则引擎和告警功能的多智能体智能文档处理平台。该技术栈需要 JDK 21、Spring Boot 4.1 与 Spring AI 2.0,并通过 AgentCore 运行时在 ARM64 容器上部署。

  3. OpenRouter Announcements58

    OpenRouter 通过盈亏平衡负载计算比较自托管 LLM 与 API 成本

    OpenRouter 发布了一项盈亏平衡分析,展示了在什么情况下自托管开放权重 LLM 的成本低于通过 API 调用,分析采用截至 2026 年 10 月 8 日的各提供商价格。按这些价格,在一台每小时 0.50 美元租用的 RTX 3090 上运行 Qwen3.8 27B,在 6% 至 12% 负载时达到盈亏平衡;而在四块 H200 上运行 DeepSeek V4.1 Flash,则始终无法胜过最便宜的零数据保留端点。文章还指出,provider.zdr 以及欧盟和美国域名已能满足大多数隐私需求,无需自托管,并建议在本地运行稳定的基础负载,同时将峰值发送到 API。

  4. OpenRouter Announcements58

    OpenRouter 发布教程:如何阻止 AI Agent 陷入无限循环

    OpenRouter 发布了一份指南,介绍如何阻止 AI Agent 在工具调用失败后反复重试、陷入死循环,其中给出四种防护措施,并在六个当前模型上进行了测试。启用 doomLoop 检测后,六个模型均在第三次相同的工具调用时被拦截;在 18 次运行中,工具调用次数从 314 降至 64,花费从 $0.29 降至 $0.05。该指南还加入了用于规范化参数的 loopKey、对步数和成本的 stopWhen 上限,以及 API key 上的额度限制——触发时返回 402,limit_source 为 openrouter_key_limit。

  5. OpenRouter Announcements28

    如何对 LLM 进行基准测试:来自 OpenRouter 的代码评分指南

    OpenRouter 发布了一份指南,介绍如何基于你自己应用的输入对 LLM 进行基准测试,用代码对输出评分,并比较准确率、计费成本和请求时间。在其 60 个合成任务上,GPT-6.1 Sol 在三次重复中共通过 180/180 次试验,而 DeepSeek 的响应成本最低,通过 157/180 次。与公开排名的吻合度较弱,Spearman 相关系数为 0.109。

  6. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash,吞吐量达 GB300 NVL72 的 58 倍

    vLLM 报告称,在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash,每 GPU 达到 170 万 tokens/s,每用户 387 tokens/s,是 GB300 NVL72 的 58 倍,峰值达 252 万 tokens/s,单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径,以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由,即使在高并发下前缀命中率也保持在 96.5-97%。

    推荐理由:vLLM 关于 DeepSeek-V4.1-Flash 的第三篇文章详细说明了 Rubin 专用 kernel 和机架级内存池化如何将吞吐量提升至 GB300 NVL72 的 58 倍,为大规模服务优化提供了具体参考。

  7. Hugging Face Blog36

    Hugging Face 发布 TRELLIS.2 3D 生成微调指南与脚本

    Hugging Face 发布了 TRELLIS.2 的微调脚本和容器,该模型是一个 3D 生成模型,可在本地或 Hugging Face Jobs 上运行。该指南通过 PEFT 库使用 LoRA 适配器,仅作用于稀疏结构流 DiT 和形状流 DiT,材质阶段保持冻结。在 GSO 数据集的 188 个物体鞋类子集上,预训练模型经常渲染出错误的鞋底,这正是 LoRA 微调所针对的问题。

  8. AWS Machine Learning Blog36

    在 Amazon Bedrock 上运行 OpenAI Codex:访问路径与上线指南

    本文介绍如何将 OpenAI Codex 模型请求路由到 Amazon Bedrock,同时复用现有的 AWS 身份、IAM、区域和可观测性实践。文章建议先通过 Native AWS Access 开展小规模最小权限试点,AgentCore Gateway 或 LLM Gateway 可作为替代方案,并演示了 IAM Identity Center 登录以及使用 GPT-5.6 Sol 直接检查 Bedrock Runtime 的流程。

  9. AWS Machine Learning Blog46

    在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

    在 Amazon SageMaker HyperPod 上运行的 PyTorch DDP 训练循环新增了三项检查,用于捕获静默数据损坏:非有限梯度检查、跨节点比较 loss 位与梯度指纹的环形重放审计,以及优化器步骤后的权重指纹比较。在 4 台 ml.p5.48xlarge 实例(32 块 NVIDIA H100 GPU)上通过软件注入故障进行测试,这些检查能指出可疑的 rank、将其映射到节点,并让 HyperPod 替换该节点并从检查点恢复。

  10. AWS Machine Learning Blog12

    AWS re:Invent 2026 AI/ML 专场:参会者指南

    AWS 将于 11 月 30 日至 12 月 4 日举办年度 re:Invent 大会,AI/ML 专场在超过 2,000 场学习会议中提供 140 多场独立会议。该指南将会议对应到 AWS AI 技术栈,涵盖 AI 芯片(AWS Trainium 和 NVIDIA GPU)、Amazon Bedrock 和 SageMaker AI 上的模型与推理,以及使用 Amazon Bedrock AgentCore 的智能体开发。会议从新手内容到技术深度解析进行组织,许多会议可点播观看。

  11. AWS Machine Learning Blog28

    用基于推送的架构自动化 AWS Agent Registry 更新

    AWS 介绍了一条事件驱动流水线,可在无需手动更新的情况下保持 MCP 服务器的 AWS Agent Registry 记录为最新。AWS CloudTrail 捕获 UpdateAgentRuntime API 调用,Amazon EventBridge 将其跨账户路由,Lambda 函数通过 AgentCore Identity OAuth 令牌查询 MCP 服务器的工具,然后对比并更新匹配的注册表记录。该示例仅更新现有记录,并同时支持单账户和多账户设置。

  12. Amazon Science36

    用数学验证网络配置:AWS Tiros 用于分段检查

    AWS 正在使用其自动推理工具 Tiros,对所有建模路径进行静态网络分段验证,而不是依赖基于数据包的采样。Tiros 将 Cloud WAN 配置(来自路由表、附件和策略文档)转换为逻辑命题,然后检查策略声明为禁止的网段之间是否存在任何路径,分析频率最高可达每小时一次。

  13. Meta Engineering Blog40

    Meta 智能投放:为广告排序分配算力的机器学习系统

    Meta 详细介绍了 Intelligent Delivery,这是一个由机器学习驱动的系统,它在广告服务栈中分配算力,以趋向系统级最优,在 2017 年至 2026 年上半年间模型与系统进步的基础上,贡献了约 10% 的增量排序性能。其 Resource Core Model 使用 6B 稀疏参数和 20M 稠密参数来预测每个请求的边际效用,Meta 称其在离线基准测试中将高影响力广告请求的识别率提升了约 20%。该系统还依赖多层分配机制和日益智能体化的 AI,以适应模型和硬件的变化。