- SemiAnalysis发布了对NVIDIA Vera Rubin NVL72平台在智能体推理（Agentic Inference）场景下的首次实测结果。核

• 序号：370
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

• SemiAnalysis发布了对NVIDIA Vera Rubin NVL72平台在智能体推理（Agentic Inference）场景下的首次实测结果。核心结论包括：1）在170 TPS条件下，Rubin NVL72的每TCO总吞吐量约为GB300的67倍；在实际部署区间（60-100 TPS）也达到1.4-3倍领先；2）能效方面，Rubin每兆瓦token吞吐量较Jensen在GTC 2026上展示的'3倍'数据实际可达7倍，黄仁勋再次'藏拙'（参考GTC 2024时GB200声称30x、实测98x先例）；3）每个全功率吉瓦可产生约1595亿美元年收入和1499亿美元利润，较GB300高出约42%；4）Rubin是首款针对智能体时代进行六产品极简协同设计（Co-Design）的平台——Rubin GPU、Vera CPU、NVLink 6、ConnectX-9、BlueField-4、Spectrum-6，CUDA生态护城河在智能体推理场景依然有效。

SemiAnalysis 于 2026 年 9 月 15 日发布了对 NVIDIA 平台在 场景下的首次第三方实测结果。文章用数据回答了一个关键问题： 答案是——"越买越赚"（The More You Buy, The More You Earn）。 报告的五大核心结论： ：在 170 TPS 的 Apples-to-Apples NVFP4 Dense 测试中，Rubin NVL72 每美元 TCO 的总吞吐量是 GB300 Dynamo TRTLLM 的约 。 ：Jensen 在 GTC 2026 上声称 Rubin 每兆瓦性能是 Blackwell 的 3 倍，但实测高达 ——被 SemiAnalysis 调侃为"又在放烟雾弹"。 ：Rubin 每全功率 GW 可产生 1595 亿美元年收入、1499 亿美元利润，比最强的 GB300 配置（Dynamo SGLang）多 。 ：在智能体推理场景中，CUDA + TRTLLM 生态优势仍然显著领先 AMD MI355X 和其他替代方案。 ：Rubin 是首款同时跨越 GPU、CPU、NVLink、网卡、DPU 和交换机 6 款产品协同设计的 AI 平台。

一、智能体推理工作负载的特征 报告首先系统性地界定了 与传统聊天机器人推理的本质差异： 特征传统聊天智能体工作负载 交互轮次 几轮 数十至数百轮 上下文长度 较短 长上下文，系统提示+工具定义+历史累积 前缀复用率 低 极高（线性对话，n-1 输出拼接到 n） 子代理突发 无 大量短生命周期子代理引发 KV Cache 突发 正是这四个特征决定了推理架构需要 的综合能力，而传统为短对话设计的加速器在此场景下劣势尽显。 二、性能基准：AgentX 与 InferenceX SemiAnalysis 推出的 基准测试在行业内有广泛背书： ：Google Cloud、Microsoft Azure、Oracle、Meta 等几乎所有主要算力买方均参与验证。 ：vLLM、LMCache、SGLang、PyTorch、HuggingFace、TensorRT-LLM。 ：OpenAI、MiniMax、ZAI、Qwen、Moonshot Kimi 等。 ：目前是全球唯一同时覆盖 TPUv7、NVIDIA、AMD 的推理基准，SambaNova 与 Trainium 也即将加入。AMD 已承诺就  与 SemiAnalysis 合作。 这意味着 AgentX 的数据具有极高的行业可信度，可被超大规模 AI 实验室和推理服务提供商直接采用。 三、TCO 性能：67 倍从何而来？ SemiAnalysis 采用了 作为核心衡量指标。TCO 模型考虑了： ：服务器+网络 Capex 分摊、托管、电力、资金成本，含批量折扣。 ：2026 年 7 月 Rubin 租赁价 ，Blackwell Ultra NVL72 约 。 ： 指标Rubin NVL72GB300 Dynamo TRTLLM 170 TPS 下的 TCO 吞吐倍数 1x（基准）

80 TPS P90 互动的租赁 TCO 优势 +62% tokens 基准 60-100 TPS 实际部署区间优势

基准 vs MI355X 单节点（80 TPS）

基准 vs H200 智能体（80 TPS）

基准 vs H200 智能体（120 TPS）

基准 ： 在 60M tokens/$ TCO 下，Rubin P90 E2E 延迟约 ，B200/B300 + vLLM 约 。 在 160M tokens/$ TCO 下，Rubin 仍约 ，B200/B300 已飙至 ——。 报告甚至辛辣评论："在智能体工作负载下，Rubin 让 H200 的竞争力看起来和德州仪器 TI-84 计算器差不多。" 四、能效：Jensen 真的"藏拙"了吗？ SemiAnalysis 对 Jensen 在 展示的 "Rubin 每 MW 是 Blackwell 3 倍" 的说法进行了实测对比： TPS 目标Rubin tok/s/MWGB300 Dynamo SGLangGB300 Dynamo TRTLLMMI355X SGLang倍数优势 75 TPS Rubin 领先 较弱 较弱 — 明显 100 TPS

28.5M 21.1M 2.01M

150 TPS

~5.14M（推算） — —

170 TPS 62.9x 优势 — 1x（接近终点） —

200 TPS Rubin 仍领先 — — —

这并非 Jensen 第一次被 SemiAnalysis "打脸"。 时 Jensen 声称 GB200 NVL72 比 Hopper 快 30 倍，实测结果是 。 报告还将 Rubin 的能效领先归因于一项关键创新——：GPU 推理负载在中高速时不会消耗全部 TDP 包络，智能体可在数据中心层面动态调配功率，从而在固定电力 footprint 下塞入更多 GPU。SemiAnalysis 即将推出 PowerX 工具以做更精细测量。 五、收入与利润模型：每吉瓦 1595 亿美元 在 75 TPS 互动力、60% 利用率、无模型授权费的假设下： 平台年收入/GW年利润/GW

GB300 Dynamo SGLang $114.9B $105.3B

：每 GW 多赚约 。按线性扩展，在 10 MW 规模下相当于多赚 。 报告还指出一个关键定价含义：在保持相同收入的前提下，Rubin 运营商可以对缓存输入、非缓存输入和输出 token ——也就是说，效率优势可转化为价格竞争力或更高利润率，取决于需求弹性。 六、CUDA 护城河：智能体推理时代依然坚固 报告明确表示： 在 TRTLLM 生态下，Rubin 的优势是 。 但 GB300 +  在某些互动性区间可以缩小差距——意味着 AMD 等竞争对手需要在  上投入巨大资源才能追赶。 NVIDIA 的  形成了竞争对手短期内难以复制的系统级壁垒。

⚠️ 。SemiAnalysis 作为独立研究机构，其风格偏向 ，而非传统卖方研究的多空评级。 但报告的隐含结论非常明确： ：Rubin NVL72 在 TCO、能效、利润生成三个维度上形成"碾压级"领先，是数据中心 GPU 的"必买品"。Rubin 的 2x+ 每吉瓦利润能力意味着超大规模厂商的采购 ROI 极高，将驱动 。 ：MI355X UALoE72 在智能体推理场景下差距巨大（29.5x at 100 TPS），需要在硬件和软件栈上同时发力，且短期内难以构成实质性威胁。 ：若数据中心电力是瓶颈（多数一二线市场已是），Rubin 的每瓦优势意味着 ，是扩大推理收入的关键。 ：3 年承诺租赁价虽高（$8.5/hr/chip），但 Rubin 的 token 成本优势使其在价格战中仍有充足利润空间——这是 Neocloud 商业模式可行性的关键支撑。

：本次测试基于 ，SemiAnalysis 明确指出"性能只会更好"。但这也意味着早期客户可能无法立即获得报告中的全部优势，软件优化时间表存在不确定性。 ：3 年租赁价 $8.5/hr/chip 是 2026 年 7 月的调查数据，若 NVIDIA 定价更高或竞争加剧导致降价，实际 ROI 可能偏离假设。 ：报告中 Rubin vs GB300 的 67x 优势部分源于 。在某些 SGLang 优化区间，GB300 可缩小差距。读者应关注自身实际部署的 TPS 目标。 ：报告假设每 GW 可产生 ~$1500 亿利润，但这需要 。全球数据中心建设周期 2-3 年，电力扩容是真实瓶颈。 ：报告未充分讨论 和未来 在智能体推理上的进展。若 Google 内部 TPU 进一步对外开放，或 AWS Trainium3 在能效上取得突破，市场格局可能变化。 ：智能体推理工作负载仍在快速演进。DeepSeek V4 Pro 1.6T 已被 V4.1 Flash 取代，未来更长上下文、更多工具调用的模型可能改变硬件最优选型。 ：Rubin 的 6 产品极简协同设计意味着任何单环节（Vera CPU LPDDR5X 内存、NVLink 6 交换机等）的良率或产能问题都可能影响整机交付节奏。 💡 ：SemiAnalysis 用数据告诉市场——在 AI 推理的下一个时代（智能体），。"买得越多，赚得越多"这句话，在算力经济学上第一次有了实锤

总体总结

主题正文

1. 核心结论包括：1）在170 TPS条件下，Rubin NVL72的每TCO总吞吐量约为GB300的67倍；
2. 2）能效方面，Rubin每兆瓦token吞吐量较Jensen在GTC 2026上展示的'3倍'数据实际可达7倍，黄仁勋再次'藏拙'（参考GTC 2024时GB200声称30x、实测98x先例）；
3. 4）Rubin是首款针对智能体时代进行六产品极简协同设计（Co-Design）的平台——Rubin GPU、Vera CPU、NVLink 6、ConnectX-9、BlueField-4、Spectrum-6，CUDA生态护城河在智能体推理场景依然有效。
4. ：在 170 TPS 的 Apples-to-Apples NVFP4 Dense 测试中，Rubin NVL72 每美元 TCO 的总吞吐量是 GB300 Dynamo TRTLLM 的约 。
5. ：Rubin 每全功率 GW 可产生 1595 亿美元年收入、1499 亿美元利润，比最强的 GB300 配置（Dynamo SGLang）多 。
6. 报告还指出一个关键定价含义：在保持相同收入的前提下，Rubin 运营商可以对缓存输入、非缓存输入和输出 token ——也就是说，效率优势可转化为价格竞争力或更高利润率，取决于需求弹性。
7. ：3 年承诺租赁价虽高（$8.5/hr/chip），但 Rubin 的 token 成本优势使其在价格战中仍有充足利润空间——这是 Neocloud 商业模式可行性的关键支撑。
8. ：Rubin 的 6 产品极简协同设计意味着任何单环节（Vera CPU LPDDR5X 内存、NVLink 6 交换机等）的良率或产能问题都可能影响整机交付节奏。