- SemiAnalysis发布TPUv7 Ironwood在InferenceX预览版的第三方推理基准测试结果。在FP8单token预测的apples-to-

• 序号：449
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

• SemiAnalysis发布TPUv7 Ironwood在InferenceX预览版的第三方推理基准测试结果。在FP8单token预测的apples-to-apples对比中，Ironwood相比NVIDIA B200/B300提供高达50%的每美元性能优势。在100 tok/s/用户交互性下，Ironwood每百万token成本约0.181美元，比B200低19%、比B300低34%。TPU通过原生TorchTPU后端（替代TorchAX）实现vLLM/SGLang的首类支持，预计10月开源。TPUv8i将引入原生FP4支持和Boardfly网络拓扑，网络直径减少50%以上，有望与Rubin NVL72竞争。Anthropic已承诺使用超过100万个TPU（40万+直接采购，60万+通过GCP租赁）。

SemiAnalysis于2026年9月8日发布了在InferenceX预览版上的首个第三方推理基准测试结果，这是Google TPU历史上首次在外部服务栈上进行系统性第三方性能评估。报告核心结论是： ：在FP8同等精度对比下，Ironwood相比NVIDIA B200提供50.4%、相比B300提供96.0%的每美元token吞吐量优势 ：在100 tok/s/用户交互性下，Ironwood成本约0.181美元，比B200低19%、比B300低34% ：从TorchAX迁移到原生TorchTPU后端，使TPUs成为PyTorch/vLLM/SGLang的首类设备 ：原生FP4支持+Boardfly网络（直径减少50%）将使其与NVIDIA Rubin NVL72直接竞争

一、TPUv7 Ironwood性能基准详细解读 SemiAnalysis的InferenceX平台对Ironwood、B200和B300进行了（FP8精度、单token预测、聚合服务），关键发现：

TPU并非在所有原始性能维度上都领先NVIDIA GPU。其优势主要来自： 更低的每小时芯片成本（Google可直销TPU） 在20 tok/s/用户交互性下，Ironwood原始吞吐达9,364 total tokens/s/chip，比B200/B300高约5% 综合TCO后形成显著的每美元性能优势

报告特别指出，50-96%的优势，而非所有延迟目标： 并发256时，TPU平均TTFT（首token延迟）为5.41秒，B200为3.75秒，B300为2.40秒 在Pareto前沿曲线中，B200在30秒中位响应时间附近仍有局部优势 TPU在更长响应时间下重新获得成本优势

在进行"apples-to-bananas"对比（TPUv7聚合服务 vs GB300 NVL72解聚服务）： 低延迟和极长延迟场景下TPUv7具有竞争力 中等延迟区间（约30秒响应时间），GB300 NVL72解聚服务对TPUv7聚合服务有约30%的每美元性能优势 Google内部已运行多年解聚服务，但外部TPU服务栈尚未完全优化该路径，预计几个月内差距将缩小 二、TorchTPU：软件栈的根本性升级 这是本次报告最重要的技术叙事之一：

TPU的vLLM支持经历了三个阶段： ：基于PyTorch/XLA的原型，采用惰性执行模式 （当前公开版本）：tpu-inference后端，使用JAX执行，但需要TorchAX将PyTorch翻译为JAX （即将到来）：TorchTPU，将TPU作为原生PyTorch设备

TorchTPU使用PyTorch的PrivateUse1后端扩展点，将device="tpu"暴露为普通torch.Tensor，PyTorch分发器将ATen操作路由到TPU后端。开发者可以使用eager模式进行调试，或调用torch.compile进行图捕获。在编译路径中： TorchDynamo和AOTAutograd生成FX图 TorchTPU将其降阶为StableHLO XLA生成TPU可执行代码

正与Google紧密合作，将TorchTPU后端打造为vLLM和SGLang的首类体验 TorchTPU目前处于私有测试阶段， 初始bring-up模型为（FP8精度） 后续计划支持Kimi K3、GLM5.3及Google自有开源模型Gemma4 三、TPU推理优化深度技术解析 报告详细介绍了为Qwen3.5-397B等模型在Ironwood上运行所做的数百小时工程优化：

针对Qwen3.5的GQA层（32个query heads，2个共享KV heads）的特殊性，将8路数据并行与8路专家并行结合，避免不必要的All-to-All通信。

第二版grouped matmul重塑了MXU的专家输入供给方式，消除冗余tile计算，三缓冲专家权重 将不规则的token重排移至SparseCore，让TensorCore专注于矩阵乘法 报告称，TTFT和TPOT均下降

针对Qwen3.5的混合架构（同时使用GQA注意力和GDN线性注意力）： 通过代数重排让MXU和VPU工作重叠，避免依赖等待 GDN v3融合Conv1D和GDN为单一内核，decode速度提升1.41×，prefill提升1.60×，混合批次提升2.14×

将ReduceScatter集体操作从TensorCore迁移到SparseCore 利用Ironwood更快的die-to-die链接 引入双缓冲，使通信和计算重叠 实测：， 四、TPU系统架构解析

首次打破"MegaCore"惯例：每个芯片有两个独立计算die，通过高带宽die-to-die链路连接 每芯片2个TensorCores + 4个第三代SparseCores HBM容量约为Trillium的6倍 （之前需要软件模拟）

Ironwood采用256×256 systolic array（65,536 MACs/cycle），是v5及更早版本（128×128）的4倍FLOPs/cycle。但代价是严格的填充要求： Llama 3 8B的注意力head dimension为128，在256×256 MXU上注意力matmul最高仅50%利用率 head dimension为64时，利用率仅25% gpt-oss、DeepSeek MLA等模型的形状对TPU tile几何不友好

TPU v2/v3使用2D torus（每芯片4个邻居） TPU v4/v5p升级到3D torus（每芯片6个邻居） Ironwood继承3D torus拓扑 基础构建单元为4×4×4的64芯片立方体，映射到一个物理机架 通过光学电路交换机（OCS）连接多个立方体，可重构拓扑 最大支持，提供聚合算力 五、TPUv8i展望：Boardfly网络与原生FP4 这是报告中最具前瞻性的部分：

Google首次将训练和推理分为两个不同的芯片设计： （训练）：保留3D torus拓扑 （推理）：采用全新的"Boardfly"拓扑

网络直径相比同等规模3D torus（约从16跳降至7跳，在1,024-1,152芯片规模下） 更平坦的层次化高基数交换机结构，取代最近邻网格

，专门设计用于在片上保存推理和agentic模型的KV cache

TPUv8i将提供原生FP4计算支持，SemiAnalysis强烈认为这将使。 六、推理优化路线图 报告详细列出了Google团队需要进一步完成的关键工作：

用廉价的小型drafter提前猜测多个token，主模型在单次前向传播中验证 由于解码是带宽受限而非计算受限，可摊销权重读取成本

Google已在内部Gemini服务运行多年PD解聚，外部化工作于几个月前开始 TPU-Sync（前身为TPU-raiden）支持原生JAX和TorchTPU栈 支持Mooncake Store的DRAM P2P pooling，将多服务器的KV-cache存储聚合为单一逻辑内存池

多轮交互、长上下文、高前缀重用、子代理爆发四大特征 Google TPU客户已要求在AgentX上看到TPU性能结果，SemiAnalysis正在将TPU带到AgentX平台

本报告，但报告内容对相关投资标的具有以下重要含义：

TPU在推理每美元性能上的快速追赶可能在长期对NVIDIA推理市场份额构成压力 但NVIDIA在FP4（Rubin）、CUDA生态成熟度、NVL72解聚优化等方面仍保持领先 训练市场NVIDIA优势短期难以撼动

TPU外推加速意味着Google可将更多内部基础设施能力商业化 Anthropic等大客户的百万级TPU采购承诺提供可观收入 TPU在推理经济性上的优势有助于Google Cloud差异化竞争

SemiAnalysis直接对比指出，AMD仍在学习建立测试驱动的软件文化，而Google拥有数十年软件工程经验 这暗示AMD在AI加速器软件生态方面追赶难度极大

50-96%的每美元性能优势，非所有延迟目标下都成立 TTFT延迟在并发256时高达5.41秒，远高于B300的2.40秒，对延迟敏感型应用可能不适用

TorchTPU目前仍在私有测试阶段， 外部TPU解聚服务尚未完全优化，与GB300 NVL72解聚服务相比仍有约30%的性能差距 投机解码、KV-cache卸载等关键优化仍待完成

TPU对tensor形状有严格要求，head dimension小于128或非2的幂次的模型在TPU上效率低下 部分流行模型（如gpt-oss、DeepSeek MLA）在TPU tile几何上"先天不利" bring-up成本因模型而异，与模型流行度相关性较差

TPUv7 Ironwood，仅TPUv8i才支持 在FP4 vs FP8的对比中NVIDIA保持领先，存在质量vs性能的权衡

SemiAnalysis自身也指出CUDA护城河正在被"削弱"（reducing CUDA Moat），但CUDA的成熟度、生态丰富度、开发者惯性仍是TPU短期内难以完全跨越的障碍 vLLM/SGLang的day-0支持仍集中在NVIDIA，TPU要进入day-0名单还需时日

报告的优化主要针对Qwen3.5 397B一个模型，其他模型上的性能表现可能差异显著 8k1k基准（8k输入、1k输出）未必代表所有真实生产场景

Google内部TCO（$1.03/芯片小时）vs外部客户TCO存在巨大差异 实际采购折扣、长期合同条款、定制化需求等因素可能改变实际经济性

总体总结

主题正文

1. 在FP8单token预测的apples-to-apples对比中，Ironwood相比NVIDIA B200/B300提供高达50%的每美元性能优势。
2. TPU通过原生TorchTPU后端（替代TorchAX）实现vLLM/SGLang的首类支持，预计10月开源。
3. SemiAnalysis于2026年9月8日发布了在InferenceX预览版上的首个第三方推理基准测试结果，这是Google TPU历史上首次在外部服务栈上进行系统性第三方性能评估。
4. SemiAnalysis的InferenceX平台对Ironwood、B200和B300进行了（FP8精度、单token预测、聚合服务），关键发现：
5. TorchTPU使用PyTorch的PrivateUse1后端扩展点，将device="tpu"暴露为普通torch.Tensor，PyTorch分发器将ATen操作路由到TPU后端。
6. 针对Qwen3.5的GQA层（32个query heads，2个共享KV heads）的特殊性，将8路数据并行与8路专家并行结合，避免不必要的All-to-All通信。
7. Ironwood采用256×256 systolic array（65,536 MACs/cycle），是v5及更早版本（128×128）的4倍FLOPs/cycle。
8. SemiAnalysis自身也指出CUDA护城河正在被"削弱"（reducing CUDA Moat），但CUDA的成熟度、生态丰富度、开发者惯性仍是TPU短期内难以完全跨越的障碍