- SemiAnalysis认为AI推理（Inference）时代正在终结HBM堆叠高度持续增长的趋势，4-hi HBM将成为最优配置。核心逻辑包括：(1) 每
- 序号：430
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
- SemiAnalysis认为AI推理（Inference）时代正在终结HBM堆叠高度持续增长的趋势，4-hi HBM将成为最优配置。核心逻辑包括：(1) 每个HBM cube的带宽与堆叠高度无关，4-hi即可获得全部2048个I/O通道的最大带宽；(2) 推理工作负载以带宽为瓶颈而非容量，超过阈值后更多容量带来递减收益；(3) 算力配置从预训练向推理转移，带宽敏感型工作负载成为主流；(4) 机架级系统（如Rubin Ultra NVL576）大幅扩展使聚合HBM容量远超模型权重需求，容量压力大幅缓解；(5) HBM晶圆极度紧缺，4-hi可使每个晶圆的内存带宽产出相比12-hi提高3倍、相比8-hi提高2倍，是优化tokens/W和tokens/HBM晶圆的必然选择。这一趋势对AI实验室TCO和内存供应商盈利能力均构成双赢。
SemiAnalysis在这篇深度报告中提出了一个反直觉但极具说服力的观点：。报告核心论证逻辑可归纳为三点： ：HBM4/HBM4E的每个cube提供2048个数据I/O通道，这些通道在所有核心DRAM die之间均匀分配。4-hi是能够获得全部2048 I/O并实现最大带宽的最低堆叠高度。，但显著降低$/带宽。 ：AI算力配置已从预训练为主转向推理为主（特别是推理解码），这类工作负载以带宽为瓶颈而非容量。当容量超过模型权重所需阈值后，额外容量收益递减但BOM成本持续上升。 ：HBM晶圆极度紧缺，4-hi可使每个晶圆产出的内存带宽相比12-hi提高3倍、相比8-hi提高2倍。这与数据中心追求的tokens/Watt优化逻辑一脉相承。
趋势逆转：从12-hi到8-hi再到4-hi 过去几年，AI加速器HBM配置经历了容量持续增长的过程：H100的80GB → H200的141GB → B200/B300的192GB/288GB。然而，，相比标准Rubin和B300的288GB出现重大回归。一年前业界还预期Rubin Ultra将搭载1TB HBM。 这一决策由三大因素驱动： ：没有足够的晶圆供应所需的12-hi cube ：HBM成本占加速器BOM比重不断攀升 ：推理工作负载特性使容量需求降低 工作负载类型与HBM需求 SemiAnalysis将AI算力分为三大类： 工作负载类型主要瓶颈HBM需求特征 预训练 容量敏感 需要存储权重、梯度、激活值 后训练/强化学习 带宽+容量 类似推理但需要更大batch 推理解码 带宽敏感 每个token需要读取全部活跃参数+用户KVCache 报告指出，随着端侧token需求增长和后训练技术成为模型扩展的主要方向，，多数算力配置变得对带宽敏感而非容量敏感。 容量过剩（Stranded Capacity）的实证 SemiAnalysis用Roofline分析展示了一个重要现象：。以Rubin Ultra NVL576系统运行Kimi K3模型为例： ：12-hi与8-hi吞吐量相同 ：8-hi、12-hi、4-hi吞吐量相同 ：8-hi仅比4-hi高8%，12-hi仅高10% 考虑到BOM成本，8-hi系统成本比4-hi高，12-hi高出——而吞吐量提升不足以抵消成本增加，。 KVCache Offloading缓解容量压力 SemiAnalysis的InferenceX基准测试显示，当HBM利用率从92%降至85%时（实际容量减少20GB/GPU，即KVCache预算减少36-44%），多数并发水平下吞吐量基本持平，仅在并发数超过70后才显著下降。这表明，进一步削弱了更高HBM堆叠的必要性。 系统级容量充裕度 报告强调了一个被忽视的关键点：当前讨论的是而非单芯片容量。随着NVLink域扩展： H100 HGX：640GB聚合HBM GB300 NVL72：约21TB聚合HBM（18倍提升） Rubin Ultra NVL576：再扩大8倍 Kimi K3（2.8T参数）以MXFP4量化存储仅需1,561GB，。这为KVCache提供了充裕空间，使得单芯片HBM密度可以放松。 反方观点：未来模型是否会需要更高容量？ SemiAnalysis承认，如果未来模型规模扩大3倍（如8.4T参数），12-hi可比4-hi多提供47%的吞吐量，8-hi多36%，此时较高堆叠开始具有合理性。但报告反驳了三点： ：强化学习和推理时计算（thinking time）的发展使参数规模扩展不再那么重要；GPT-6 Astra据信采用循环Transformer（looped transformers），通过深度而非权重扩展模型 ：前沿实验室的硬件团队最推崇4-hi HBM，他们会主动调整模型架构以适配此硬件 ：所有模型服务商的共同目标是最大化token输出，4-hi是实现这一目标的最佳路径 供应链层面的深远影响 采用4-hi HBM将从根本上改变AI供应链的瓶颈位置： HBM晶圆不再是唯一瓶颈 瓶颈将转移至：逻辑晶圆（加速器+HBM基础die）、基板、PCB、下游集成产能、电力等 释放出的DRAM产能可缓解服务器DRAM等被HBM挤压的市场
本报告为，而非个股评级。SemiAnalysis对以下领域蕴含的投资逻辑做出隐含判断： ： ：4-hi HBM成为主流将推动KVCache offloading、模型量化、循环Transformer等技术的进一步普及 ：4-hi趋势释放HBM晶圆产能，缓解整体DRAM紧缺，常规DRAM价格压力可能缓解 ：更多HBM cube但更简单的堆叠结构可能改变封装产业利润分配 ： （如SK海力士、三星、美光）：报告中明确指出报告付费版将进一步讨论"4-hi对内存供应商的影响以及他们如何回应"，暗示4-hi可能对部分供应商利润率产生影响 ：可能面临架构调整压力
：如果出现需要远超当前预期的模型规模（如数十万亿参数），4-hi容量可能不足，导致更高的TCO成本 ：如果AI工作负载从推理为主转向需要大量训练（如新的基础模型突破），对HBM容量的需求可能重新上升 ：SRAM-on-chip、CXL内存池化等替代技术可能改变HBM的必要性 ：如果HBM晶圆供应在未来几年大幅改善（如新产能投产），4-hi的供给侧逻辑将弱化 ：报告中分析基于当前HBM定价极度紧张的假设，如果价格大幅回落，8-hi/12-hi的TCO分析结论可能反转 ：如果超大规模厂商重新将更多算力分配给预训练（例如下一代基础模型训练），容量敏感型工作负载可能重新占据主导
总体总结
主题正文
-
- SemiAnalysis认为AI推理（Inference）时代正在终结HBM堆叠高度持续增长的趋势，4-hi HBM将成为最优配置。
- 核心逻辑包括：(1) 每个HBM cube的带宽与堆叠高度无关，4-hi即可获得全部2048个I/O通道的最大带宽；
- ：HBM4/HBM4E的每个cube提供2048个数据I/O通道，这些通道在所有核心DRAM die之间均匀分配。
- 过去几年，AI加速器HBM配置经历了容量持续增长的过程：H100的80GB → H200的141GB → B200/B300的192GB/288GB。
- 报告指出，随着端侧token需求增长和后训练技术成为模型扩展的主要方向，，多数算力配置变得对带宽敏感而非容量敏感。
- SemiAnalysis的InferenceX基准测试显示，当HBM利用率从92%降至85%时（实际容量减少20GB/GPU，即KVCache预算减少36-44%），多数并发水平下吞吐量基本持平，仅在并发数超过70后才显著下降。
- （如SK海力士、三星、美光）：报告中明确指出报告付费版将进一步讨论"4-hi对内存供应商的影响以及他们如何回应"，暗示4-hi可能对部分供应商利润率产生影响
- ：报告中分析基于当前HBM定价极度紧张的假设，如果价格大幅回落，8-hi/12-hi的TCO分析结论可能反转