💡 📌📌人工智能集群规模、算力持续提升，集群内部每一个组件，都需要实现更高吞吐、更低延迟、更大带宽。想要实现这些提升，不可避免会消耗更多电力。 📌📌📌所以供电层
- 序号：422
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
💡
📌📌人工智能集群规模、算力持续提升，集群内部每一个组件，都需要实现更高吞吐、更低延迟、更大带宽。想要实现这些提升，不可避免会消耗更多电力。 📌📌📌所以供电层面的挑战，不再仅仅局限于 GPU。现代人工智能集群是高度集成的整套系统，包含计算服务器、网络结构、内存子系统、存储基础设施、散热设备。集群性能每一轮升级，整套基础设施的功耗同步上涨。 📌📌📌我们的观点：人工智能基础设施下一阶段投资，不应该简单视作半导体硬件升级周期，同时也是由更高集群性能诉求驱动的，全链路功耗升级周期。 📌📌📌服务器整机热设计功耗持续走高。 📌📌📌英伟达人工智能服务器功耗路线，可以理解为行业从芯片定义风冷节点，过渡到功耗、散热、网络约束下的机架级计算机。安培时代 A100 SXM 标准热设计功耗 400 瓦，特殊热设计条件最高 500 瓦，搭载 40‑80GB 高带宽内存，NVLink 带宽每秒 600GB。8GPU、双 AMD EPYC 的 DGX A100 是传统 6U 服务器，最大输入功率 6.5 千瓦。除去 CPU、NVSwitch、内存、网卡、硬盘、风扇、变换损耗之后，GPU 芯片功耗大约只占到整机功耗的一半。 📌📌📌霍珀平台 H100 SXM 公开热设计功耗 700 瓦，80GB 高带宽内存 HBM3，内存带宽每秒 3TB，第四代 NVLink 带宽每秒 900GB。H200 保持大体相同的计算架构、功耗水平，但升级为 141GB 更快的 HBM3e，带宽每秒 4.8TB。H200 本质上是内存容量、带宽升级，而非算力热设计功耗提升。英伟达给出的 8GPU、双至强 DGX H100/H200 整机最大输入功率 10.2 千瓦，对比 DGX A100 的 6.5 千瓦明显抬升。 📌📌📌架构的重大转变发生在 GB200。不再把 8GPU 服务器作为横向扩展单元，InfiniBand、以太网更多承担节点之间通信；Grace‑Blackwell NVL72 把整套机架作为横向扩展域。整套机架集成 18 个 1U 计算托盘，每托盘 2 颗 72 核 Grace ARM CPU、4 颗 Blackwell GPU，外加 9 个 NVLink 交换托盘、管理交换机、50‑51 伏直流母排、铜质 NVLink 连接模块、液冷管路。36 颗 CPU、72 颗 GPU，作为一台低延迟 NVLink 互连整机运行。 📌📌📌基于同一款计算芯片，英伟达升级 HBM 配置进一步提升 GB300 芯片性能。综合测算，GB200 NVL72 机架功耗约 120 千瓦，GB300 NVL72 机架功耗约 140 千瓦。 📌📌📌维拉鲁宾，行业路线图也称作 VR200/R200，把这套机架级理念再往前推进一步。英伟达公开架构，72 颗双 Die 鲁宾 GPU，搭配 36 颗全新维拉 CPU。Grace 的 72 核 ARM Neoverse 内核升级为 88 颗定制 Olympus 内核，CPU 内存容量、带宽最高到 1.5TB LPDDR5X，带宽每秒 1.2TB；CPU‑GPU 之间 NVLink‑C2C 双向带宽翻倍到每秒 1.8TB。鲁宾 GPU 升级到 HBM4，单颗 288GB，带宽最高每秒 22TB。搭载第三代 Transformer 引擎，第六代 NVLink 单 GPU 横向扩展带宽每秒 3.6TB。ConnectX‑9 提供单 GPU 1.6Tbps 对外扩展带宽，BlueField‑4 越来越多地承担存储、安全、基础设施处理卸载任务。 📌📌📌英伟达公开数据手册没有直接给出鲁宾单芯片热设计功耗，供应链调研结果，能效优先模式大约 1.8 千瓦，性能模式最高约 2.3 千瓦，多家系统厂商信息可以交叉验证。华硕给出全液冷维拉鲁宾 NVL72，Max‑Q 模式整机功耗 187 千瓦，Max‑P 模式 227 千瓦。 📌📌📌展望未来，伴随技术迭代，工作负载要求越来越严苛，该趋势还会延续。 📌📌📌网络设备功耗同样走高。 📌📌📌网络交换机系统是数据中心另一类关键设备，多年来随着交换专用芯片迭代持续演进。Tomahawk1（2014）到 Tomahawk6（2025），工艺节点从 28 纳米缩小到 3 纳米；整机交换带宽从 3.2Tbps 增长到 102.4Tbps，提升 32 倍。同一周期 SerDes 速率从 25Gbps NRZ 提升到 200Gbps PAM4，端口最大速率从 100G 发展到 1.6T。 📌📌📌虽然工艺缩小显著改善交换效率，但没有阻止专用芯片功耗上涨。芯片热设计功耗从 150 瓦上涨至 800 瓦，体现大端口数交换机、高速 SerDes 接口复杂度持续提升。 📌📌📌芯片迭代带来的影响在系统层面体现。交换机带宽从 100G 级别系统升级到 800G、1.6T 平台，供电需求大幅抬升。代表性电源规格，Tomahawk2 系统 850 瓦，Tomahawk6 系统达到 3200 瓦，接近 4 倍提升。 📌📌📌电源功耗上涨，不仅来自芯片热设计功耗提升，高速光器件功耗增加、散热需求加大，整套系统总功耗预算扩张，同样起到推动作用。系统从 100G 端口走向 1.6T 端口，交换机厂商必须增加风扇冗余、更大散热片，部分机型使用 7+1 风扇冗余设计，去应对 102.4Tbps 交换能力带来的热负载。 📌📌📌所以，和服务器机架一样，网络交换机的功耗预算也在持续走高。
总体总结
主题正文
- 📌📌📌我们的观点：人工智能基础设施下一阶段投资，不应该简单视作半导体硬件升级周期，同时也是由更高集群性能诉求驱动的，全链路功耗升级周期。
- 安培时代 A100 SXM 标准热设计功耗 400 瓦，特殊热设计条件最高 500 瓦，搭载 40‑80GB 高带宽内存，NVLink 带宽每秒 600GB。
- 📌📌📌霍珀平台 H100 SXM 公开热设计功耗 700 瓦，80GB 高带宽内存 HBM3，内存带宽每秒 3TB，第四代 NVLink 带宽每秒 900GB。
- 英伟达给出的 8GPU、双至强 DGX H100/H200 整机最大输入功率 10.2 千瓦，对比 DGX A100 的 6.5 千瓦明显抬升。
- 整套机架集成 18 个 1U 计算托盘，每托盘 2 颗 72 核 Grace ARM CPU、4 颗 Blackwell GPU，外加 9 个 NVLink 交换托盘、管理交换机、50‑51 伏直流母排、铜质 NVLink 连接模块、液冷管路。
- Grace 的 72 核 ARM Neoverse 内核升级为 88 颗定制 Olympus 内核，CPU 内存容量、带宽最高到 1.5TB LPDDR5X，带宽每秒 1.2TB；
- 📌📌📌英伟达公开数据手册没有直接给出鲁宾单芯片热设计功耗，供应链调研结果，能效优先模式大约 1.8 千瓦，性能模式最高约 2.3 千瓦，多家系统厂商信息可以交叉验证。
- 系统从 100G 端口走向 1.6T 端口，交换机厂商必须增加风扇冗余、更大散热片，部分机型使用 7+1 风扇冗余设计，去应对 102.4Tbps 交换能力带来的热负载。