---
title: "- SemiAnalysis探讨Engram模型架构创新及其对HBM/DRAM/NAND需求的深远影响。核心观点包括：(1) Engram通过学习多token查"
topic_id: 55521525121425544
created_at: 2026-09-20T14:55:57.276+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# - SemiAnalysis探讨Engram模型架构创新及其对HBM/DRAM/NAND需求的深远影响。核心观点包括：(1) Engram通过学习多token查

- 序号：165
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/55521525121425544)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

- SemiAnalysis探讨Engram模型架构创新及其对HBM/DRAM/NAND需求的深远影响。核心观点包括：(1) Engram通过学习多token查找扩展标准token嵌入，可在保持模型质量的同时降低HBM容量需求；(2) 该架构天然适合参数卸载——将Engram表从HBM卸载至主机DRAM甚至SSD，释放HBM用于模型权重和KV缓存；(3) 在B300上启用DRAM卸载后，可从TP4降至TP2，Pareto曲线提升高达1.6倍；(4) 4-hi HBM在推理场景中提供最佳$/带宽比，可能颠覆市场对高堆叠HBM的需求预期；(5) 尽管SSD卸载可行，但相比DRAM在P90交互性和总token/美元方面均无优势，不建议生产部署；(6) AMD MI355X在DeepSeekV4.1 Flash上性能仍比B200差2-4倍/美元，CUDA生态护城河依旧强大；(7) 报告结合Memory模型（季度HBM/DRAM/NAND供需预测）、InferenceX基准测试和AgentX代理推理场景进行全面分析。

SemiAnalysis本期深度报告聚焦于DeepSeek提出的及其对AI推理硬件生态（HBM、DRAM、NAND）的潜在颠覆性影响。报告核心论点为：Engram架构创新使得将记忆表从HBM卸载到更便宜的DRAM甚至SSD成为可能，从而，但对HBM的需求依然强烈。这一变化对HBM市场TAM、4-hi vs高堆叠HBM竞争格局、以及NVIDIA Rubin Ultra减配后的应对策略均有重大启示。

一、Engram架构原理与协同卸载机制
：DeepSeek提出的Engram模块是对标准token嵌入的扩展，通过学习机制，让模型能够直接检索反复出现的局部模式向量，而无需通过注意力层和前馈层重建。这种"记忆+推理"的分工，使模型在事实性知识任务中可减少对深层计算的依赖。
：
每个token仅访问少量embedding行，且地址仅依赖token ID而非隐藏状态
运行时可在前层计算的同时主机DRAM中的embedding行
表格无需驻留HBM，也无需传输完整权重矩阵
释放HBM空间可用于模型权重和KV缓存，支持更大batch或更多并发会话
：
DeepSeek-V4.1-Flash配置约需189 GiB Engram内存
每次处理token位置约12.4 KiB，分摊到4 GPU后每GPU仅3.1 KiB
请求24行×2个Engram层，查找粒度小但表格总量大
二、DRAM卸载实验结果
报告展示了基于AgentX代理推理场景的实测结果：
GPU配置关键发现

启用Engram DRAM卸载后可从，Pareto曲线提升

把表格移回HBM仅加速稀疏查找，对decoder计算和通信无改善，且占用本可用于KV cache的内存

推理场景中内存带宽至关重要，4-hi HBM提供最佳$/带宽
：当模型质量相同时，Engram可卸载到主机DRAM意味着HBM容量需求降低，。这是对当前HBM市场TAM预测的根本性挑战。
三、SSD卸载可行性分析
SemiAnalysis在B200上使用未优化的vLLM fork，将Engram表格存储在本地SSD的内存映射文件：
：
需将行ID复制到CPU→去重→收集到pinned buffers→回传GPU→反量化
即使文件系统缓存命中，仍存在协调开销和行传输损耗
文件系统缓存仍占用RAM
：在~125 tokens/s/user时，DRAM实现121M tokens/$，SSD仅52M tokens/$。。
四、CUDA护城河 vs AMD MI355X
报告延续对NVIDIA生态优势的论证：
：NVIDIA vLLM在DeepSeekV4.1 Flash发布当日即可在H100/H200/B200/B300/GB200/GB300全部6款SKU上工作
：发布23小时内未公开发布vLLM镜像，"SPEED IS THE MOAT"口号与其执行能力形成反差
：AMD最终发布后，性能/美元仍比B200差，比H200差
：CUDA受益于NVIDIA与600万开发者社区协作，包括vLLM、SGLang、Tokenspeed等主流推理框架维护者
即使在最优条件下，MI355X在DeepSeekV4.1 Flash上（按完整TCO调整后）。
五、对HBM市场的深远影响
：从原计划1024GB HBM减配至约200GB HBM，模型架构创新（如Engram）是重要应对手段
：推理场景中带宽为王，4-hi提供最优性价比
：若中国持续推出革命性架构创新，"0-Hi HBM"堆叠时代或将来临
：Engram卸载到主机DRAM甚至SSD，将重塑数据中心内存层级配置

本报告为行业研究性质，，但隐含的投资判断包括：
：CUDA护城河+全SKU Day 0支持能力，强化其在AI推理市场的领先地位
：MI355X性能差距明显，软件生态短板需持续投入
（SK海力士、三星、美光）：需重新评估高堆叠HBM的TAM预期，4-hi HBM在推理端将获得更多份额
：主机DRAM和SSD在AI推理中将承担更多负载，对应需求结构性增长
：架构创新能力可能持续颠覆硬件需求假设
报告配合SemiAnalysis的（季度HBM/DRAM/NAND供需预测）和（基于100+ GPU云服务商市场调研），为投资者提供完整的供需-成本分析框架。

：Engram的有效性基于DeepSeek-V4.1-Flash实验，其他厂商（OpenAI、Anthropic、Google等）未必采纳类似架构，结论的普适性有限
：报告使用的是未优化的vLLM fork，原生UVA路径优化后SSD性能可能改善，但当前数据显示差距仍显著
：NVIDIA Rubin Ultra减配已是既定事实，但其他GPU厂商（AMD MI400系列、Intel等）的HBM配置尚未确定，市场需求存在不确定性
：MI355X差距不代表AMD无法在未来1-2代产品中缩小，软件迭代速度是关键变量
：4-hi HBM和0-Hi HBM的推论涉及中国半导体自主化进程，地缘政治变化可能改变供应链格局
：InferenceX基准虽获Google Cloud、Microsoft Azure、Oracle、Meta等验证，但AgentX场景仍可能无法完全代表所有生产推理负载

## 总体总结

主题正文
1. 核心观点包括：(1) Engram通过学习多token查找扩展标准token嵌入，可在保持模型质量的同时降低HBM容量需求；
2. (5) 尽管SSD卸载可行，但相比DRAM在P90交互性和总token/美元方面均无优势，不建议生产部署；
3. SemiAnalysis本期深度报告聚焦于DeepSeek提出的及其对AI推理硬件生态（HBM、DRAM、NAND）的潜在颠覆性影响。
4. 报告核心论点为：Engram架构创新使得将记忆表从HBM卸载到更便宜的DRAM甚至SSD成为可能，从而，但对HBM的需求依然强烈。
5. ：NVIDIA vLLM在DeepSeekV4.1 Flash发布当日即可在H100/H200/B200/B300/GB200/GB300全部6款SKU上工作
6. 报告配合SemiAnalysis的（季度HBM/DRAM/NAND供需预测）和（基于100+ GPU云服务商市场调研），为投资者提供完整的供需-成本分析框架。
7. ：Engram的有效性基于DeepSeek-V4.1-Flash实验，其他厂商（OpenAI、Anthropic、Google等）未必采纳类似架构，结论的普适性有限
8. ：NVIDIA Rubin Ultra减配已是既定事实，但其他GPU厂商（AMD MI400系列、Intel等）的HBM配置尚未确定，市场需求存在不确定性