👤 🗣️他今天来 Hot Chips 演讲，但我有其他安排，所以没能亲自见面 —— 我只是在昨天提前与他联系过。 🚀他已经越过了一个障碍，现在正在推动 zHBM
- 序号：424
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
👤 🗣️他今天来 Hot Chips 演讲，但我有其他安排，所以没能亲自见面 —— 我只是在昨天提前与他联系过。 🚀他已经越过了一个障碍，现在正在推动 zHBM 作为下一个阶段。 📋 🔹阶段 1（卸载与优化）：通过采用紧凑的 D2D PHY 并将内存控制器卸载到 B‑die，从而回收 xPU 硅片面积。 🔹阶段 2（功能扩展）：将增值逻辑 —— 如遥测传感器、外部内存扩展和 PEs—— 直接集成到 B‑die 中。 🔹阶段 3（真正的 3D 融合）： 📑 📌行业正迅速转向紧密耦合的 AI 内存解决方案。对于 AGI 和推理，关键挑战是在严格的功率限制内最大化每秒令牌数。 🔍zHBM 的关键差异化因素是分布式 I/O 和真正的 3D 结构。分布式 I/O 最小化堆栈内部数据传输距离，3D 结构去除传统的 2D 接口（HBM PHY 或 D2D），设计目标是超低功耗。 ⚡主要优势是 I/O 功耗的显著降低。通过去除 SERDES（数据对齐 / DQ I/O）开销，在系统级别（1×GPU + 4× 内存堆栈，假设 1200 W GPU），这转化为 DRAM 带宽提高约 230%、节省约 100 W，以及整体功率效率提高 8.3%。 🖼️现场幻灯片内容说明： 📝第三阶段：3D 集成与 zHBM。行业趋势为 AI 内存架构快速转向紧密耦合解决方案；AGI 与推理场景的核心挑战是在严苛功耗约束下最大化带宽；zHBM 作为最终方案，实现 xPU 和 C‑die 堆栈真正 3D 垂直集成，去掉 2.5D 中介层。 📝第三阶段：zHBM 概念。核心差异点为分布式 I/O 与真正 3D 结构；分布式 I/O 缩短 HBM 堆栈内部数据传输距离；3D 结构取消 HBM PHY、D2D 这类传统 2D 接口，目标实现极低功耗。 📝第三阶段：zHBM 优势。核心收益来自 I/O 功耗大幅下降；对比 HBM5，zHBM 功耗下降 70%；系统层面，DRAM 带宽提升 230%，功耗节约 100W，整体能效提升 8.3%。 📝总结与结论。新一代 xPU 与 SoC 需要定制内存架构；将高级逻辑工艺应用到 HBM 内存芯片，带来全新架构灵活性；完整落地三步演进路线，最终通过 zHBM 达成 xPU 逻辑与 DRAM 堆栈的 3D 直接垂直集成，获取最高能效。
总体总结
主题正文
- 🔹阶段 1（卸载与优化）：通过采用紧凑的 D2D PHY 并将内存控制器卸载到 B‑die，从而回收 xPU 硅片面积。
- 🔹阶段 2（功能扩展）：将增值逻辑 —— 如遥测传感器、外部内存扩展和 PEs—— 直接集成到 B‑die 中。
- 分布式 I/O 最小化堆栈内部数据传输距离，3D 结构去除传统的 2D 接口（HBM PHY 或 D2D），设计目标是超低功耗。
- 通过去除 SERDES（数据对齐 / DQ I/O）开销，在系统级别（1×GPU + 4× 内存堆栈，假设 1200 W GPU），这转化为 DRAM 带宽提高约 230%、节省约 100 W，以及整体功率效率提高 8.3%。
- zHBM 作为最终方案，实现 xPU 和 C‑die 堆栈真正 3D 垂直集成，去掉 2.5D 中介层。
- 核心差异点为分布式 I/O 与真正 3D 结构；
- 核心收益来自 I/O 功耗大幅下降；
- 完整落地三步演进路线，最终通过 zHBM 达成 xPU 逻辑与 DRAM 堆栈的 3D 直接垂直集成，获取最高能效。