- SemiAnalysis探讨Engram模型架构创新及其对HBM/DRAM/NAND需求的深远影响。核心观点包括：(1) Engram通过学习多token查
- 序号：165
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
- SemiAnalysis探讨Engram模型架构创新及其对HBM/DRAM/NAND需求的深远影响。核心观点包括：(1) Engram通过学习多token查找扩展标准token嵌入，可在保持模型质量的同时降低HBM容量需求；(2) 该架构天然适合参数卸载——将Engram表从HBM卸载至主机DRAM甚至SSD，释放HBM用于模型权重和KV缓存；(3) 在B300上启用DRAM卸载后，可从TP4降至TP2，Pareto曲线提升高达1.6倍；(4) 4-hi HBM在推理场景中提供最佳$/带宽比，可能颠覆市场对高堆叠HBM的需求预期；(5) 尽管SSD卸载可行，但相比DRAM在P90交互性和总token/美元方面均无优势，不建议生产部署；(6) AMD MI355X在DeepSeekV4.1 Flash上性能仍比B200差2-4倍/美元，CUDA生态护城河依旧强大；(7) 报告结合Memory模型（季度HBM/DRAM/NAND供需预测）、InferenceX基准测试和AgentX代理推理场景进行全面分析。
SemiAnalysis本期深度报告聚焦于DeepSeek提出的及其对AI推理硬件生态（HBM、DRAM、NAND）的潜在颠覆性影响。报告核心论点为：Engram架构创新使得将记忆表从HBM卸载到更便宜的DRAM甚至SSD成为可能，从而，但对HBM的需求依然强烈。这一变化对HBM市场TAM、4-hi vs高堆叠HBM竞争格局、以及NVIDIA Rubin Ultra减配后的应对策略均有重大启示。
一、Engram架构原理与协同卸载机制 ：DeepSeek提出的Engram模块是对标准token嵌入的扩展，通过学习机制，让模型能够直接检索反复出现的局部模式向量，而无需通过注意力层和前馈层重建。这种"记忆+推理"的分工，使模型在事实性知识任务中可减少对深层计算的依赖。 ： 每个token仅访问少量embedding行，且地址仅依赖token ID而非隐藏状态 运行时可在前层计算的同时主机DRAM中的embedding行 表格无需驻留HBM，也无需传输完整权重矩阵 释放HBM空间可用于模型权重和KV缓存，支持更大batch或更多并发会话 ： DeepSeek-V4.1-Flash配置约需189 GiB Engram内存 每次处理token位置约12.4 KiB，分摊到4 GPU后每GPU仅3.1 KiB 请求24行×2个Engram层，查找粒度小但表格总量大 二、DRAM卸载实验结果 报告展示了基于AgentX代理推理场景的实测结果： GPU配置关键发现
启用Engram DRAM卸载后可从，Pareto曲线提升
把表格移回HBM仅加速稀疏查找，对decoder计算和通信无改善，且占用本可用于KV cache的内存
推理场景中内存带宽至关重要，4-hi HBM提供最佳$/带宽 ：当模型质量相同时，Engram可卸载到主机DRAM意味着HBM容量需求降低，。这是对当前HBM市场TAM预测的根本性挑战。 三、SSD卸载可行性分析 SemiAnalysis在B200上使用未优化的vLLM fork，将Engram表格存储在本地SSD的内存映射文件： ： 需将行ID复制到CPU→去重→收集到pinned buffers→回传GPU→反量化 即使文件系统缓存命中，仍存在协调开销和行传输损耗 文件系统缓存仍占用RAM ：在~125 tokens/s/user时，DRAM实现121M tokens/$，SSD仅52M tokens/$。。 四、CUDA护城河 vs AMD MI355X 报告延续对NVIDIA生态优势的论证： ：NVIDIA vLLM在DeepSeekV4.1 Flash发布当日即可在H100/H200/B200/B300/GB200/GB300全部6款SKU上工作 ：发布23小时内未公开发布vLLM镜像，"SPEED IS THE MOAT"口号与其执行能力形成反差 ：AMD最终发布后，性能/美元仍比B200差，比H200差 ：CUDA受益于NVIDIA与600万开发者社区协作，包括vLLM、SGLang、Tokenspeed等主流推理框架维护者 即使在最优条件下，MI355X在DeepSeekV4.1 Flash上（按完整TCO调整后）。 五、对HBM市场的深远影响 ：从原计划1024GB HBM减配至约200GB HBM，模型架构创新（如Engram）是重要应对手段 ：推理场景中带宽为王，4-hi提供最优性价比 ：若中国持续推出革命性架构创新，"0-Hi HBM"堆叠时代或将来临 ：Engram卸载到主机DRAM甚至SSD，将重塑数据中心内存层级配置
本报告为行业研究性质，，但隐含的投资判断包括： ：CUDA护城河+全SKU Day 0支持能力，强化其在AI推理市场的领先地位 ：MI355X性能差距明显，软件生态短板需持续投入 （SK海力士、三星、美光）：需重新评估高堆叠HBM的TAM预期，4-hi HBM在推理端将获得更多份额 ：主机DRAM和SSD在AI推理中将承担更多负载，对应需求结构性增长 ：架构创新能力可能持续颠覆硬件需求假设 报告配合SemiAnalysis的（季度HBM/DRAM/NAND供需预测）和（基于100+ GPU云服务商市场调研），为投资者提供完整的供需-成本分析框架。
：Engram的有效性基于DeepSeek-V4.1-Flash实验，其他厂商（OpenAI、Anthropic、Google等）未必采纳类似架构，结论的普适性有限 ：报告使用的是未优化的vLLM fork，原生UVA路径优化后SSD性能可能改善，但当前数据显示差距仍显著 ：NVIDIA Rubin Ultra减配已是既定事实，但其他GPU厂商（AMD MI400系列、Intel等）的HBM配置尚未确定，市场需求存在不确定性 ：MI355X差距不代表AMD无法在未来1-2代产品中缩小，软件迭代速度是关键变量 ：4-hi HBM和0-Hi HBM的推论涉及中国半导体自主化进程，地缘政治变化可能改变供应链格局 ：InferenceX基准虽获Google Cloud、Microsoft Azure、Oracle、Meta等验证，但AgentX场景仍可能无法完全代表所有生产推理负载
总体总结
主题正文
- 核心观点包括：(1) Engram通过学习多token查找扩展标准token嵌入，可在保持模型质量的同时降低HBM容量需求；
- (5) 尽管SSD卸载可行，但相比DRAM在P90交互性和总token/美元方面均无优势，不建议生产部署；
- SemiAnalysis本期深度报告聚焦于DeepSeek提出的及其对AI推理硬件生态（HBM、DRAM、NAND）的潜在颠覆性影响。
- 报告核心论点为：Engram架构创新使得将记忆表从HBM卸载到更便宜的DRAM甚至SSD成为可能，从而，但对HBM的需求依然强烈。
- ：NVIDIA vLLM在DeepSeekV4.1 Flash发布当日即可在H100/H200/B200/B300/GB200/GB300全部6款SKU上工作
- 报告配合SemiAnalysis的（季度HBM/DRAM/NAND供需预测）和（基于100+ GPU云服务商市场调研），为投资者提供完整的供需-成本分析框架。
- ：Engram的有效性基于DeepSeek-V4.1-Flash实验，其他厂商（OpenAI、Anthropic、Google等）未必采纳类似架构，结论的普适性有限
- ：NVIDIA Rubin Ultra减配已是既定事实，但其他GPU厂商（AMD MI400系列、Intel等）的HBM配置尚未确定，市场需求存在不确定性