SemiAnalysis đánh giá Google TPUv7 Ironwood trên suy luận tác tử so với GPU NVIDIA

SemiAnalysis công bố kết quả suy luận tác tử đa lượt, ngữ cảnh dài đầu tiên trên InferenceX/AgentX cho Google TPUv7 Ironwood trên bốn mô hình, nhận thấy nó cạnh tranh về hiệu năng trên mỗi đô la hoặc đạt mức tiên tiến trong một số trường hợp. Trên GLM-5.2 ở FP8, TPUv7 đạt 1,2x đến 2,7x số token trên mỗi đô la so với B200, B300 và MI355X từ 60 đến 300 tok/s/người dùng, trong khi GPU FP4 vẫn dẫn đầu trên GLM-5.3 vì TPUv7 thiếu hỗ trợ FP4 gốc cho đến TPUv8 vào Q1 2027. Bài viết cũng lập luận rằng bộ máy quan liêu của NVIDIA làm chậm các đóng góp driver và hệ sinh thái so với AMD và Google.