SemiAnalysis 在智能体推理场景下对 Google TPUv7 Ironwood 与 NVIDIA GPU 进行基准测试

SemiAnalysis 在 InferenceX/AgentX 上发布了 Google TPUv7 Ironwood 在四个模型上的首批长上下文、多轮智能体推理结果，发现其在每美元性能上具有竞争力，在若干情况下达到最先进水平。在 FP8 精度下的 GLM-5.2 上，TPUv7 在 60 至 300 tok/s/user 区间内提供的每美元 token 数为 B200、B300 和 MI355X 的 1.2 倍至 2.7 倍，而 FP4 GPU 在 GLM-5.3 上仍然领先，因为 TPUv7 缺乏原生 FP4 支持，直到 2027 年第一季度推出的 TPUv8 才会具备。文章还认为，与 AMD 和 Google 相比，NVIDIA 的官僚作风拖慢了驱动和生态系统的贡献。