SemiAnalysis 在代理式推論上以 Google TPUv7 Ironwood 對 NVIDIA GPU 進行基準測試

SemiAnalysis 在 InferenceX/AgentX 上發布了首個針對 Google TPUv7 Ironwood 的長上下文、多輪代理式推論結果，涵蓋四個模型，發現其在每美元效能上具競爭力，或在若干情況下達到最先進水準。在 FP8 的 GLM-5.2 上，TPUv7 在每秒每使用者 60 至 300 個 token 的範圍內，每美元 token 數達到 B200、B300 和 MI355X 的 1.2 倍至 2.7 倍，而 FP4 GPU 在 GLM-5.3 上仍領先，因為 TPUv7 要到 2027 年第一季的 TPUv8 才具備原生 FP4 支援。文章還主張，與 AMD 和 Google 相比，NVIDIA 的官僚作風拖慢了驅動程式和生態系統的貢獻。