据钛媒体报道，在AI推理场景中，为了加速模型响应、避免重复计算，系统需要将KV Cache保留在高速存储中。但随着上下文窗口的急剧扩大，KV Cache的规模已
- 序号：037
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
据钛媒体报道，在AI推理场景中，为了加速模型响应、避免重复计算，系统需要将KV Cache保留在高速存储中。但随着上下文窗口的急剧扩大，KV Cache的规模已经远远超出了HBM和DRAM的承载能力。
AI数据中心存储架构第一层为HBM，紧贴GPU、速度最快，但典型容量较小，难以承载Agent场景下持续膨胀的KV Cache，需要向外层存储溢出。 具体而言，DRAM连接至CPU，容量通常是HBM的数倍，作为HBM外溢KV Cache的二级承接层。 基于NAND颗粒的SSD承载历史KV Cache及数据湖的海量数据存储，容量可达HBM的千倍左右。
据半导体产业纵横报道，三星核心芯片采用1c DRAM，基底裸片采用自家代工4纳米工艺，传输速度可达11.7Gbps。 据芯智讯资料，美光作为三大存储厂商中唯一的北美厂商，计划将约40%的DRAM产能落地美国本土。产品方面，美光近日发布其HBM4产品，带宽是上一代HBM3e的两倍以上。此外，美光正率先在业内挑战图形内存（GDDR）堆叠技术，效仿HBM的堆叠方式提升GDDR性能。
总体总结
主题正文
- 据钛媒体报道，在AI推理场景中，为了加速模型响应、避免重复计算，系统需要将KV Cache保留在高速存储中。
- AI数据中心存储架构第一层为HBM，紧贴GPU、速度最快，但典型容量较小，难以承载Agent场景下持续膨胀的KV Cache，需要向外层存储溢出。
- 具体而言，DRAM连接至CPU，容量通常是HBM的数倍，作为HBM外溢KV Cache的二级承接层。
- 基于NAND颗粒的SSD承载历史KV Cache及数据湖的海量数据存储，容量可达HBM的千倍左右。
- 据半导体产业纵横报道，三星核心芯片采用1c DRAM，基底裸片采用自家代工4纳米工艺，传输速度可达11.7Gbps。
- 据芯智讯资料，美光作为三大存储厂商中唯一的北美厂商，计划将约40%的DRAM产能落地美国本土。
- 产品方面，美光近日发布其HBM4产品，带宽是上一代HBM3e的两倍以上。
- 此外，美光正率先在业内挑战图形内存（GDDR）堆叠技术，效仿HBM的堆叠方式提升GDDR性能。