- J.P. Morgan参会后对多年期AI基础设施建设的观点更为积极。核心观点包括:(1) 智能体AI推理已成为行业首要设计驱动力,解码主导型工作负载和KV缓
- 序号:113
- 星球链接:打开网页
- 附件:图片 0,音频 0,文档 0
- 音频文件:无音频
图片
无图片
正文
- J.P. Morgan参会后对多年期AI基础设施建设的观点更为积极。核心观点包括:(1) 智能体AI推理已成为行业首要设计驱动力,解码主导型工作负载和KV缓存管理正在根本性地重塑硅架构;(2) 自研芯片持续扩散,OpenAI的Jalapeño ASIC成为焦点,从RTL到流片仅约9个月;(4) AMD详细披露Instinct MI400系列及Helios机架方案,凭借UALink 128为NVLink提供开放标准替代选择;(5) 网络分类持续扩展,Nvidia通过BlueField-4引入"Scale-In"层级,Broadcom推出Thor Ultra 800G以太网NIC;(6) HBM仍是AI芯片的关键供应制约因素;报告认为Broadcom是贯穿整个会议的隐形赢家,受益于自研ASIC合作及AI网络领域扩张。主要受益标的包括AVGO、NVDA、AMD、MRVL、MTSI、ALAB、MU和SNDK。
J.P. Morgan于2026年8月31日发布半导体行业深度报告,基于Hot Chips 2026大会的实地观察,对多年期AI基础设施建设表达了更为积极的看法。报告核心论点认为:,这一转变是去年Hot Chips(仍以训练优化为设计重心)以来最显著的范式转移。报告看好AVGO、NVDA、AMD、MRVL、MTSI、ALAB、MU、SNDK作为AI基础设施持续建设的核心受益标的。
一、智能体AI推理成为行业首要设计驱动力 本屆Hot Chips大会出现了。每一场演示都以智能体AI工作负载为设计出发点,与去年训练优化架构仍占主导形成鲜明对比。 关键发现: 已成为常态。SambaNova的SN50 RDU演示量化显示,DeepSeek、MiniMax、Kimi、Qwen、GLM等前沿模型中,75%-97%的计算周期均为解码主导
成为一等公民级设计约束 :芯片周期日益分化为两个方向—— 训练优化型硅:峰值FLOPS + 大规模scale-up互联带宽 推理优化型硅:内存容量 + 片上SRAM + 低延迟多芯片互联 Google TPU v8(推理版v8i通过大幅增加片上SRAM以解决MoE推理延迟)、Intel Crescent Island GPU(专为智能体推理而生,选择LPDDR5x而非传统HBM以换取更大内存容量)、OpenAI Jalapeño(以延迟、每请求能耗、Pareto前沿定位而非峰值FLOPS为设计指标)均体现了这一行业级共识。 二、自研芯片持续扩散——OpenAI Jalapeño成焦点 OpenAI首次披露了其与Broadcom合作开发的,标志着公司正式进入自研芯片领域: :从初始RTL到流片仅约9个月,得益于AI加速的硬件/软件协同设计 :设计指标聚焦Pareto前沿定位(延迟、能耗、tokens/kW) :预计Jalapeño后续项目和邻近的硅项目将以快节奏持续推出 : 项目主要合作方 Google TPU v8/9/10/11 Broadcom OpenAI Jalapeño Broadcom Meta MTIA 300/400/450/500 Broadcom Microsoft MAIA Marvell SambaNova SN50 RDU 自有 Intel Crescent Island Intel自有 :尽管自研芯片加速扩散,但OpenAI仍承诺到2030年部署约12GW的Nvidia基础设施;超大规模厂商继续同时采购Nvidia GPU和自研芯片;没有任何前沿实验室表示要替代商用GPU。J.P. Morgan认为,自研ASIC针对已有模型、工作负载特征和足够规模可承担NRE的特定推理场景,而商用GPU则继续服务于需要通用平台的更广泛生态。 但从份额趋势看,。 三、AMD MI400 + Helios:竞争底气显著增强 AMD在本屆大会发布了其迄今,有效"去风险化"了相对Nvidia的竞争定位: : 单机架提供和 72 GPU/机架配置(匹配Nvidia Vera Rubin) 完整全栈方案,不只是GPU替代品 : 模块化Chiplet架构(计算芯粒用N2工艺,I/O和缓存裸片用N3P) HBM4容量和带宽较前代显著提升(契合MoE推理和长上下文工作负载的内存约束) 采用,为NVLink提供开放标准替代 :GPU + CPU + DPU + AI NIC,AMD正通过Pensando Vulcano 800 AI NIC和Pensando Salina 400 DPU,。 J.P. Morgan认为,叠加推理工作负载加速增长的有利动态(AMD凭借有吸引力的TCO和ROCm对NVDA训练模型的无摩擦部署展现了强劲竞争力),Hot Chips大会。 四、网络分类扩容,"Scale-In"新层级出现 AI网络是本屆大会的另一大主题: : 位于传统scale-up(NVLink)和scale-out(Spectrum-X以太网)之间 专门连接GPU工作负载与周边数据中心基础设施(存储、运行Agent的CPU、编排、安全) 强化Nvidia作为全栈网络平台供应商的定位(涵盖NVLink → Spectrum-X → Spectrum-XGS → BlueField-4) : 专为AI scale-out和scale-across网络打造 增强型RoCE(eRoCE)功能集,针对AI训练和推理工作负载在以太网上的可靠性、拥塞控制和多点路由挑战 强化以太网作为InfiniBand替代方案在AI scale-out网络中的地位 :AI网络是(scale-up和scale-out双向增长),竞争激烈但。受益范围不仅限于商用NIC/DPU厂商(AVGO、NVDA),还包括更广泛的网络硅生态: :定制scale-out硅、DCI/DSP、相干光学 :连接fabric、PCIe/CXL retimer :高速激光器和光组件 五、HBM:持续供应瓶颈 。大会上展示的每一份重要路线图都依赖于HBM3E/4/4E,进一步强化了的预期。 六、Intel:架构进展与执行风险并存 Intel展示了: : 采用3D Mesh架构(较Sierra Forest/Granite Rapids的Modular Mesh向前一步) 2.5D + 3D分解和基于功能的分区 定位从纯计算性能叙事转向"AI工厂数据移动、安全、编排" : 专为智能体AI推理设计 480GB LPDDR5x内存(而非HBM)—— 体现推理对内存容量而非原始带宽的敏感性 350W TDP定位能效 片上MoE推测解码加速 J.P. Morgan认为Intel在架构层面确有进展,——鉴于服务器CPU供需紧张,DMR的前景预计将较为乐观。 七、被低估的赢家:Broadcom J.P. Morgan特别强调,,其参与覆盖了大会展示的多项最具影响力的产品/技术: Google TPU项目(v8/9/10/11的主要设计合作伙伴) OpenAI Jalapeño ASIC Meta MTIA ASIC项目(300/400/450/500) SambaNova RDU(ASIC)项目 以太网在scale-up和scale-out中的扩散(包括Thor Ultra 800G Ethernet NIC) 这凸显了AVGO。
报告未给出具体目标价或评级调整,但: :AI ASIC设计合作伙伴+网络硅双引擎 :全栈平台领先者 :推理市场份额加速提升 :定制scale-out硅+网络组件 :高速激光器和光组件 :连接fabric和retimer :HBM关键供应商 :存储相关受益
:智能体AI推理需求增长若不及预期,整个AI基础设施投资逻辑将面临下行压力 :若超大规模厂商加速自研ASIC并减少商用GPU采购,可能影响NVDA和AMD的市场份额假设 :HBM3E/4/4E供应若持续紧张,可能限制AI芯片出货节奏 :Intel虽展示架构进展,但执行历史仍是最大不确定性 :InfiniBand vs.以太网、NVLink vs. UALink等竞争格局演变可能影响相关公司市场份额 :若宏观环境恶化或超大规模厂商资本开支放缓,将冲击整个半导体AI链条
总体总结
主题正文
- 核心观点包括:(1) 智能体AI推理已成为行业首要设计驱动力,解码主导型工作负载和KV缓存管理正在根本性地重塑硅架构;
- (5) 网络分类持续扩展,Nvidia通过BlueField-4引入"Scale-In"层级,Broadcom推出Thor Ultra 800G以太网NIC;
- J.P. Morgan于2026年8月31日发布半导体行业深度报告,基于Hot Chips 2026大会的实地观察,对多年期AI基础设施建设表达了更为积极的看法。
- SambaNova的SN50 RDU演示量化显示,DeepSeek、MiniMax、Kimi、Qwen、GLM等前沿模型中,75%-97%的计算周期均为解码主导
- Google TPU v8(推理版v8i通过大幅增加片上SRAM以解决MoE推理延迟)、Intel Crescent Island GPU(专为智能体推理而生,选择LPDDR5x而非传统HBM以换取更大内存容量)、OpenAI Jalapeño(以延迟、每请求能耗、Pareto前沿定位而非峰值FLOPS为设计指标)均体现了这一行业级共识。
- :GPU + CPU + DPU + AI NIC,AMD正通过Pensando Vulcano 800 AI NIC和Pensando Salina 400 DPU,。
- J.P. Morgan认为,叠加推理工作负载加速增长的有利动态(AMD凭借有吸引力的TCO和ROCm对NVDA训练模型的无摩擦部署展现了强劲竞争力),Hot Chips大会。
- :智能体AI推理需求增长若不及预期,整个AI基础设施投资逻辑将面临下行压力