llama.cpp 发布 v1.0.0，以语义化版本规则稳定下游 API
llama.cpp 发布 v1.0.0，同时 ggml 也发布 v1.0.0，两个项目今后将以主版本号变更来标示公共 C API 与 ABI 的不兼容改动。项目方表示，随着本地 AI 与隐私需求增长、下游应用增多，稳定的库接口变得关键，未来对破坏性变更的边界会更严格。
#部署/工程
Hugging Face BlogAI 评分5858 NVIDIA NewsroomAI 评分2222 AI如何帮助护理团队让患者更早获得正确的治疗
Dyania Health的Synapsis AI临床推理引擎会读取患者病历中的每一条记录、报告和化验结果，将相隔数年的发现关联起来，标记出哪些患者需要关注以及原因，且每个信号都可追溯到来源。它运行在医疗系统自身防火墙内由NVIDIA加速的计算环境中，因此患者数据永远不会离开医院。克利夫兰诊所使用它审查了2005年至2021年间超过7,800名主动脉瓣置换患者的病历，并构建了一个预测模型，用于评估三年、五年和十年时瓣膜恶化和再干预风险。
Modal BlogAI 评分4040 Modal Sandboxes 采用突发定价，相比预留成本降低 58%
Modal 现在按活跃资源使用量而非固定预留来计费 Sandboxes，允许每个 Sandbox 突破其默认的 0.125 核和 128 MiB 请求，并按每秒实际使用量付费。在一个 20 分钟的编码智能体示例中，突发计费为每 Sandbox 小时 8.4¢，而固定预留为 20.0¢，节省 58%。CPU 默认可在请求基础上突发至多 16 核，内存除非设置限制否则不设上限。
FactoryAI 评分5555 Factory 推出 Cyber Defense Network，将安全工具连接到 Security Factory
Factory 推出了 Cyber Defense Network，这是一个由网络安全公司组成的生态系统，其发现结果会流入 Security Factory，以便 Factory Droids 调查漏洞、实施代码更改并通过测试验证修复。创始合作伙伴包括 Snyk、Palo Alto Networks、Semgrep、Cogent、Casco、DepthFirst 和 Detail。该工作流涵盖来自合作伙伴工具的信号、对可达漏洞的初步分类，以及持续修复，生成可供工程团队审查和合并的修复方案，同时组织保留其现有的安全工具和工作流。
Databricks BlogAI 评分3636 利用详细审计日志和 Genie 检测 Databricks 上由凭证驱动的攻击
Databricks 详细说明了凭证驱动的攻击如何在其平台上展开，以及详细审计日志和 Genie 如何检测在窃取的 PAT、会话 cookie 或服务主体凭证被使用后发生的行为变化。该文章将攻击者活动划分为六个阶段，从初始登录到环境侦察，并涵盖响应步骤以及限制被盗凭证可触及范围的控制措施。
Databricks BlogAI 评分3636 Bright Machines 借助 Debezium 和 Iceberg，为气隙隔离工厂的客户提供实时仪表盘
Bright Machines 现在无需开放任何入站访问，即可为客户提供来自气隙隔离工厂的实时、受治理的工厂数据仪表盘。它在边缘侧用 Debezium 捕获 PostgreSQL 变更，将其写为 Apache Iceberg，通过一条可审计的出站路径推送出去，并在 Databricks 中通过 Unity Catalog 联合就地读取。首个客户可见的仪表盘在上线启动约两个月后投入使用，已提交的行可在一到两分钟内查询，仪表盘每十分钟刷新一次。
AWS Machine Learning BlogAI 评分5858 AWS 发布 SGLang-Neuron，可在 Trainium 上以原有 SGLang 接口部署前沿模型
Amazon 宣布 SGLang-Neuron 正式公开可用。这是一个 out-of-tree 插件，通过 AWS Deep Learning Container 在 AWS Trainium 上运行 SGLang，由 RadixArk 与 Annapurna Labs 发布。用户保留相同的 SGLang 服务器接口和生成 API，而该插件提供 Trainium 专用模型、注意力、MoE，以及一个基于原生 PyTorch 和 NKI 内核、经 torch.compile 编译的图运行器。它还支持 PD 分离，通过 EFA 上的 NIXL 将 prefill KV 缓存传输到 decode 服务器；演练使用 pytorch-inference-sglang-neuronx 容器在 Trainium3 EC2 实例上服务 openai/gpt-oss-120b。
AWS Machine Learning BlogAI 评分4040 Natera 如何在 Amazon Bedrock AgentCore 上为实验室运营构建 SWARM 智能体 AI 系统
Natera 在 Amazon Bedrock AgentCore 上构建了用于实验室运营的智能体 AI 系统 SWARM，将首次响应时间缩短约 130 倍，并自动处理 96.2% 的支持工单。该系统将一个在工程师打开工单前起草诊断报告的 swarm-agent 与一个用于工程师实时交互的 swarm-hive 配对，两者共享同一个技能库。它每天处理三个队列中超过 65 个 Jira 工单，而这些工单此前的首次响应平均需要 17.4 小时。
Databricks BlogAI 评分3030 Databricks 澄清关于 Lakebase 架构的四个 LTAP 误区
Databricks 回应了对 LTAP 的四种常见误读。LTAP 是 Lakebase 架构，它让同一份受治理的运营数据副本同时服务于 Postgres 和分析，无需 CDC。文章认为 LTAP 不是复制：湖前端的各层是缓存，而不是一个拥有自己目录的第二个数据库。文章还表示，堆页面和 Parquet 是同一批行的两种无损编码，因此点查询和扫描各自读取对其而言快速的布局。
AWS Machine Learning BlogAI 评分3838 规模化 Token 经济：使用 CUR 2.0 和 AWS Budgets 按 IAM 主体跟踪并限制 Amazon Bedrock 支出
AWS 展示了如何仅使用原生功能按 IAM 主体跟踪并限制 Amazon Bedrock 生成式 AI 支出：Bedrock 会在每次推理请求时自动记录 IAM 用户或角色，这些标签会成为成本分配标签，可在 Cost Explorer 或 CUR 2.0 导出中读取。一个限定于 Bedrock 并按某个身份或标签值筛选的 AWS Budget 可以附加预算操作，在超过阈值后应用 Deny IAM 策略，常见场景下无需应用代码。
AWS Machine Learning BlogAI 评分3636 影响成本的四个 Amazon Bedrock 推理选择
Amazon Bedrock 的缓存时长、服务层级、推理投入和 maxTokens 设置可以在不改变模型或提示词的情况下改变推理成本。在 Claude Sonnet 5 和 Claude Opus 5 上，5 分钟缓存写入的成本是输入费率的 1.25 倍，1 小时写入是 2 倍，缓存读取是 0.1 倍；向不支持的模型发送 Flex 层级请求会以 ValidationException 失败。
Databricks BlogAI 评分2222 Constellation 如何在 Databricks 上构建受治理的数据基础
Constellation 是美国最大的核电机组运营商，正在 Databricks 上构建一个受治理的企业数据平台，以便为业务提供统一的数据含义。该平台使用 Unity Catalog 实现数据血缘、细粒度访问和单一权限模型，并对关键的可复用实体采用 Data Vault 建模。早期用例包括使用 Databricks Genie 构建的核工程助手以及停堆计划。
Databricks BlogAI 评分2525 Eclipse Aerospace 使用 Databricks PySpark 自定义数据源进行飞行数据摄取
Eclipse Aerospace 正在使用 Databricks PySpark 自定义数据源摄取近 20 年的专有飞行数据，超过 3TB，涵盖逾一百万飞行小时，且无需常开专用计算资源。这个由 Rust 支持的 Python 包在基准测试中的性能是基于 PyArrow 的类似纯 Python 数据源的两倍，几乎是不使用 Arrow 的原生 Python 实现的 20 倍。该 API 在 Apache Spark 4.0 中引入，并在 Databricks Runtime 15.4 LTS 中可用，取代了此前的 Lambda-to-Avro 管道。
AWS Machine Learning Blog精选AI 评分6666 AWS 更新 AgentCore 运行时：会话启动速度提升 15 倍，算力提升 4 倍
AWS 宣布更新 Amazon Bedrock AgentCore 运行时——其面向智能体的托管计算层，会话启动速度现已提升至多 15 倍，算力扩展至 4 倍（最高 8 vCPU 和 32 GB，容器镜像最大 10 GB），运行效率提升至多 68%，同时每个会话仍运行在各自硬件隔离的 Firecracker MicroVM 中。无论镜像大小或并发量如何，会话启动均在 2 秒以内，空闲智能体可缩容至零，智能体可挂载文件系统（如支持 FUSE 的 Amazon S3 桶）并保存工作成果，使数据始终留在信任边界内。该运行时现已在北美、南美、欧洲和亚太地区的 AWS 区域可用。
推荐理由：AgentCore 运行时的新版本将会话启动、算力上限和内存计费一并调整，为需要长时间运行的智能体在隔离与成本之间提供了新的取舍。
AWS Machine Learning BlogAI 评分3434 使用 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关
一个基于 Amazon Bedrock Application Inference Profiles 和运行在 AWS Fargate 上的 LiteLLM 构建的自助式 LLM 网关，通过 OpenAI 兼容 API 对外暴露 Bedrock 基础模型，为开发者提供单一 base URL 和每用户密钥。该方案增加了每用户支出控制、按模型配额隔离以及 CloudWatch RPM/TPM 可观测性，并使用 Langfuse 实现提示词级遥测。自助发放密钥需要 LiteLLM Enterprise，因为免费版仅限五个用户。
AWS Machine Learning BlogAI 评分3434 在 Amazon Bedrock 上优化单任务成本并证明智能体 ROI
这篇 AWS 文章主张，Amazon Bedrock 的支出应按单任务成本而非单 token 成本来衡量，因为分词器效率、输出冗长度、智能体循环次数和推理开销可能使价格更低的模型反而成本更高。一个示例显示，标价高 2 倍的模型单任务成本反而低 65%；文章还补充了缓存、路由和输出约束，以及一个五维评分卡，用于对照人工基线衡量智能体 ROI。
Databricks BlogAI 评分2020 Databricks Genie Migrate 正式 GA，支持轻松迁移至 Lakehouse
Databricks 宣布 Genie Migrate 现已正式可用，让企业能够以更少的人工投入将数据工作负载迁移至 Databricks Lakehouse。该工具面向那些争相在湖仓数据之上构建 AI 智能体与应用的企业团队。
LangChain BlogAI 评分3030 拥有你自己的智能：LangChain 谈为何通用 AI 不够用
LangChain 认为，企业必须拥有自己的智能，而不能依赖通用模型，并要掌控三个层面：模型、harness 和上下文。它表示，拥有智能体系统，以及围绕它的经济性、质量和风险，才能把 AI 转化为持久的优势。
Databricks BlogAI 评分2222 H6.ai 如何借助 Lakebase Postgres 构建 AI 驱动的财务自动化
H6.ai 在客户现有 ERP 之上实现应付账款自动化，为每个客户使用专属的 Lakebase Postgres 数据库作为记录系统。由于发票数据持续变化，团队使用 Lakebase 的写时复制分支来冻结客户数据库快照，并在各自独立的短生命周期分支上运行每项回归测试，因此绝不会写入生产数据库。每次运行由确定性断言以及来自不同模型提供商的 AI 评审团共同评判。
Databricks BlogAI 评分5858 Databricks 推出 Lakehouse//RT，无需成本成比例增长即可提供实时分析
Databricks 推出 Lakehouse//RT，这是一个实时分析引擎，可直接在湖仓数据上运行高并发工作负载，目前已进入测试阶段。该公司表示，它能在每秒 12,000 次查询下实现低于 100 毫秒的延迟，每次增加一个节点来扩容，并避免单独的 serving 层；客户 Aurasell、VisionHeight 和 nOps 报告称，从多集群设置、Apache Pinot 和 Apache Druid 迁移后，基础设施成本降低了 6 到 10 倍。
AWS Machine Learning BlogAI 评分3838 Amazon Bedrock AgentCore Evaluations：内置、DeepEval 和 AutoEval 评估器
Amazon Bedrock AgentCore Evaluations 现在让团队可以运行 AWS 内置评估器，同时支持托管的 DeepEval 和 AutoEval 指标，以及基于两者衍生的自定义评估器。内置目录涵盖响应质量、目标完成、工具使用、技能和安全性方面的 15 个评估器，并提供三项针对预期工具路径的轨迹检查。DeepEval 增加了 ConversationCompleteness 和 KnowledgeRetention 等多轮指标，而 AutoEval 则贡献了包括安全性在内的专业信号。
AWS Machine Learning BlogAI 评分3636 使用 LangGraph 和 Amazon Bedrock AgentCore Web Search 构建每日依赖监视器
Amazon Bedrock AgentCore 中的 Web Search API 现已可用，通过一次 SigV4 签名的 API 调用即可让智能体获取最新的网页结果，该调用由 Amazon 运营的网页索引提供服务。一篇演练文章构建了一个每日依赖监视器，将其作为 LangGraph 图，并行研究 npm、PyPI 和容器基础镜像，并在代码中强制执行日期窗口、黑名单和搜索预算。在测试中，三个分支在 36 秒内完成，而按顺序运行则需要 99 秒。
AWS Machine Learning BlogAI 评分5858 Moonshot AI 的 Kimi K3.1 Pro Highspeed 在 Amazon Bedrock 上线
Moonshot AI 的 Kimi K3.1 Pro Highspeed 现已在 Amazon Bedrock 上可用，它是 Kimi K3 的后训练版本，具有相同的 3T 级开放权重架构和 100 万 token 上下文窗口，使用更多后训练算力进行训练，以支持长时程智能体工作并减少事实性错误。Moonshot AI 报告其输出速度是 Kimi K3.1 Pro 的 2–3 倍，现有 Kimi K3 用户可以通过更改模型 ID 进行切换。该文章展示了 Chat Completions、Responses 和 Converse API 调用、价格为 Standard 一半的 Flex 层级、使用 prompt_cache_breakpoint 的显式提示缓存，以及将模型连接到 OpenCode 编码智能体。
AWS Machine Learning BlogAI 评分3333 Amazon SageMaker AI 双向流式传输新增按用量定价，Deepgram 成为首发合作伙伴
Amazon SageMaker AI 双向流式传输现已支持按用量计量，允许模型提供商向 AWS Marketplace 软件费用上报实际消耗量，而端点基础设施费用仍需另行支付。Deepgram 是首发合作伙伴，将按用量计费的语音转文本和文本转语音计费引入 AWS Marketplace。该设计新增一条配套的 WebSocket 元数据流，限制为每秒一条消息、每条 512 字节，使提供商能够在实时会话期间发送增量计量记录。
AWS Machine Learning Blog精选AI 评分6060 AWS 开源 UAEF：一个与框架无关的 AI Agent 评估系统
AWS 已开源 UAEF（Universal Agent Evaluation Framework，通用 Agent 评估框架），这是一个与框架无关的系统，通过适配器将来自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的 Agent 轨迹归一化为统一的 AgentTrace，然后用覆盖 7 个维度的 36 项内置指标进行打分。结果按实验存储在 Amazon DynamoDB 和 Amazon S3 中，使团队可以将 Agent 版本与基线进行比较，用默认 5% 的阈值标记回归，并生成统计报告以及由 LLM 撰写的洞察。文章称，来自电信、医疗和金融服务领域 12 个组织的客户在发布前使用了 UAEF，Apache 2.0 代码、Python 库、CDK 部署和各框架 notebook 均位于 awslabs/uaef GitHub 仓库中。
推荐理由：AWS 团队开源 UAEF，用适配器把不同框架的 Agent 轨迹统一成一种格式，再以 36 项指标跨 7 个维度打分，为跨框架比较 Agent 版本提供了一套可复用的评测层。
AWS Machine Learning BlogAI 评分3636 AWS Quick AI-PDLC：六个智能体驱动 AI 产品开发
AWS Quick 推出 AI-PDLC，这是一个由六个专用智能体组成的框架——由 Orchestrator 统领，涵盖 Discovery、Prioritize、Working Backwards、Spec Generator 和 Designer——可将来自 Slack、Jira、Salesforce 和 SharePoint 的分散企业信号转化为可追溯的 prototype_spec.md。每个阶段都需要人工审批，并且该规格可通过开放的 Agent Client Protocol (ACP) 交给 Kiro 或 Claude Code 等编码智能体。
AWS Machine Learning BlogAI 评分4040 AWS 开放其创新中心的 23 项可复用生成式 AI 资产目录
AWS 发布了来自其生成式 AI 创新中心（现隶属于 AWS Frontier AI Engineering & Services）的 23 项生产就绪的开源生成式 AI 资产目录。这些构建模块涵盖 RAG 流水线、文档处理器、智能体脚手架和评估框架，AWS 表示它们可以将开发时间从数月缩短至数周。DoorDash 报告称测试能力提升了 50 倍，Ricoh 报告称基于这些资产构建后吞吐量提升了 7 倍。
AWS Machine Learning BlogAI 评分3838 DXC Technology 如何在 Amazon Bedrock 上构建多模型 AI 底座
DXC Technology 在 Amazon Bedrock 上为其 DXC OASIS IT 运维框架构建了模型底座，通过一个统一托管接口接入 Anthropic Claude、Amazon Nova、Meta Llama 和开放权重模型。Amazon Bedrock Guardrails 对所有模型统一应用内容过滤、PII 脱敏和禁止话题策略，而 AWS PrivateLink 将推理流量保持在客户 VPC 内。DXC OASIS 自 2026 年 3 月起正式可用，在 56 个实测用例中平均将解决时间缩短了 95%。
AWS Machine Learning BlogAI 评分4040 Agent DLC：从原型到生产环境构建 AI Agent
AWS 推出 Agent 开发生命周期（Agent DLC），这是一个包含一个生命周期、两个循环以及单一明确标准的框架，用于评判每一次 Agent 变更。它针对三个会破坏传统 CI/CD 的 Agent 特性：非确定性、提示词即源代码，以及独立变动的依赖项。一个参考 HR 政策助手显示，在全部三个测试问题上，块级检索精确度为 1.00，而事实级精确度降至 0.09，且其中一个问题的检索覆盖率为 0.00。
AWS Machine Learning BlogAI 评分3636 Amazon Bedrock Managed Knowledge Base 工具的细粒度访问控制
AWS 展示了如何通过 AgentCore Gateway 将搜索作为 MCP 工具暴露，从而在 Amazon Bedrock Managed Knowledge Base 上为共享 AI agent 提供按用户划分的文档访问权限。请求拦截器会从 Cognito JWT 中提取已验证的用户邮箱并注入 userContext，ACL 感知机制则只返回该用户有权查看的文档。AgentCore 中的 Cedar 策略以及知识库上的基于资源的策略，为防范伪造或未授权搜索增加了第二道防线。
AWS Machine Learning BlogAI 评分5858 AWS 详解如何用 A2A 构建跨组织多智能体系统
AWS 发布了一套参考架构：在 Amazon ECS 上基于 LangChain 的企业编排器通过 A2A 协议调用 Amazon Bedrock AgentCore 上基于 Strands Agents 的合规 SaaS 智能体，双方位于不同的 AWS 账户中，且不共享密钥。双方各自使用来自自身 Amazon Cognito 用户池的令牌进行身份验证，SaaS 智能体则回调企业上下文智能体以获取账户元数据，因此这些智能体是作为对等方而非客户端与服务端交互。该系统通过三个 Jupyter notebook 部署，这些 notebook 会创建五个 CloudFormation 堆栈，并运行一次端到端测试以及七项信任边界检查。
AWS Machine Learning BlogAI 评分3434 使用编码代理迁移到 Amazon Bedrock Managed Knowledge Base
AWS 在 Agent Toolkit for AWS 的 amazon-bedrock 技能中新增了知识库迁移指南，让编码代理可以规划从客户托管知识库迁移到 Amazon Bedrock Managed Knowledge Base。代理首先进行只读发现和逐行审查的计划，然后在原始知识库旁创建新的知识库和数据源，或编写迁移后的 IaC 模板。Managed Knowledge Base 将默认配额提高到每个知识库 200 个数据源、每个账户每个区域 10,000 个知识库，并新增了代理式检索、AgentCore Gateway 集成和基于资源的策略。
Databricks BlogAI 评分4040 Databricks Genie Slack 应用正式全面可用
Databricks 宣布其 Slack 版 Genie 应用正式全面可用，用户可通过私信或 @提及 提问数据问题，并在对话线程中获得基于 Unity Catalog 权限的答案。每个答案都会标注来源，并且通过 MCP 连接器，Genie 可以起草文档、工单和记录变更，在获得批准后再执行。
Databricks BlogAI 评分5858 Block 如何利用 Buzz 和 Databricks Unity Gateway 运行协作式 AI 智能体
Block 构建了 Buzz，这是一个开源协作工作空间，员工和 AI 智能体可以在其中通过群组讨论、聚焦对话和一对一交流协同工作，并使用 Databricks Unity Gateway 作为模型访问层。员工可以创建智能体、为每个智能体选择背后的模型或编码工具，并选择 Databricks 作为推理提供商，通过单一集成访问 OpenAI、Anthropic 和 Google 的前沿模型以及部分开放权重模型。Block 工程师还在试验多智能体设置，由能力更强的模型协调运行更小、更高效模型的智能体，并已构建了一套内部方法来对这些智能体团队进行基准测试。
NVIDIA BlogAI 评分1818 《战锤40,000：战争黎明IV》即将登陆GeForce NOW
由KING Art Games开发、Deep Silver发行的《战锤40,000：战争黎明IV》将于12月3日（周四）在Steam上线时同步登陆GeForce NOW。这款即时战略游戏包含超过70个战役任务，可单人游玩或合作游玩，另有The Last Stand、遭遇战和多人模式。搭载3D-Guided Neural Rendering的NVIDIA DLSS 5也将于11月中旬登陆《战争雷霆》，并于11月23日（周一）登陆《燕云十六声》。
LangChain BlogAI 评分4040 LangChain 的 GTM Agent 如何构建一致、高质量的销售物料
LangChain 内部的 GTM Agent 在 12 周内生成了 1,540 份销售物料，为客户经理在账户计划、提案演示文稿等文档上节省了 337 小时。发送过物料的交易中，有 47% 推进到了更后期阶段，而匹配的未发送物料的交易中这一比例为 16%；46% 的物料在 14 天内促成了客户通话。该 Agent 运行在 Deep Agents 框架上，其沙箱、技能、记忆和定时运行功能已在 Managed Deep Agents 中提供。
AWS Machine Learning BlogAI 评分3636 使用 Amazon Bedrock 和 Spring AI 构建自主 AI 智能体
AWS 向 Java 团队展示了如何使用 Spring AI 和 Amazon Bedrock 的 AgentCore 构建自主 AI 智能体，并提供了 spring-ai-agentcore 集成。文中详细介绍了两个参考系统：一个具备工具调用和记忆功能的单智能体旅行助手，以及一个包含五个专业智能体、规则引擎和告警功能的多智能体智能文档处理平台。该技术栈需要 JDK 21、Spring Boot 4.1 与 Spring AI 2.0，并通过 AgentCore 运行时在 ARM64 容器上部署。
LiveKit BlogAI 评分5555 LiveKit 开放 Cloud API 公测，编码智能体可管理 LiveKit Cloud
LiveKit 发布 LiveKit Cloud API 公测版，让编码智能体能够创建和配置项目、管理成员和 webhook，并从智能体通话中拉取转录文本、日志、追踪记录和录音。该 API 是一个 REST API，以用户身份登录运行，使用短期令牌并对照项目角色进行校验，敏感操作仅限项目管理员执行。在 LiveKit 文档助手上进行的一次测试中，一个编码智能体读取了过去一周的 4,321 个会话，并在约 30 分钟后返回了一份包含 8 个问题的排名列表。会话数据需要启用 Agent Observability，而通过 API 创建的项目默认关闭该功能；API 请求免费，但受套餐速率限制。
OpenRouter AnnouncementsAI 评分5858 OpenRouter 通过盈亏平衡负载计算比较自托管 LLM 与 API 成本
OpenRouter 发布了一项盈亏平衡分析，展示了在什么情况下自托管开放权重 LLM 的成本低于通过 API 调用，分析采用截至 2026 年 10 月 8 日的各提供商价格。按这些价格，在一台每小时 0.50 美元租用的 RTX 3090 上运行 Qwen3.8 27B，在 6% 至 12% 负载时达到盈亏平衡；而在四块 H200 上运行 DeepSeek V4.1 Flash，则始终无法胜过最便宜的零数据保留端点。文章还指出，provider.zdr 以及欧盟和美国域名已能满足大多数隐私需求，无需自托管，并建议在本地运行稳定的基础负载，同时将峰值发送到 API。
vLLM Blog精选AI 评分6060 vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 day-0 支持
vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small，这是一个多模态文本与视觉 MoE，总参数 594B、激活参数 17B，上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行（在 TP4 下将 8K token 的 prefill 步骤缩短 22%，TP8 下缩短 26%），以及一个 Gluon 相对注意力解码内核，将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS，接受长度为 3.5，并且还通过 SkyRL 支持 LoRA 和 RL。
推荐理由：vLLM 在发布当天即支持 Inkling 2 Small，并给出内核融合、序列并行和 Gluon 解码内核的具体优化数据，可供部署大 MoE 模型的团队参考。