---
title: "据钛媒体报道，在AI推理场景中，为了加速模型响应、避免重复计算，系统需要将KV Cache保留在高速存储中。但随着上下文窗口的急剧扩大，KV Cache的规模已"
topic_id: 55522142152111184
created_at: 2026-05-09T22:02:18.511+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 据钛媒体报道，在AI推理场景中，为了加速模型响应、避免重复计算，系统需要将KV Cache保留在高速存储中。但随着上下文窗口的急剧扩大，KV Cache的规模已

- 序号：037
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/55522142152111184)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

据钛媒体报道，在AI推理场景中，为了加速模型响应、避免重复计算，系统需要将KV Cache保留在高速存储中。但随着上下文窗口的急剧扩大，KV Cache的规模已经远远超出了HBM和DRAM的承载能力。

AI数据中心存储架构第一层为HBM，紧贴GPU、速度最快，但典型容量较小，难以承载Agent场景下持续膨胀的KV Cache，需要向外层存储溢出。
具体而言，DRAM连接至CPU，容量通常是HBM的数倍，作为HBM外溢KV Cache的二级承接层。
基于NAND颗粒的SSD承载历史KV Cache及数据湖的海量数据存储，容量可达HBM的千倍左右。

据半导体产业纵横报道，三星核心芯片采用1c DRAM，基底裸片采用自家代工4纳米工艺，传输速度可达11.7Gbps。
据芯智讯资料，美光作为三大存储厂商中唯一的北美厂商，计划将约40%的DRAM产能落地美国本土。产品方面，美光近日发布其HBM4产品，带宽是上一代HBM3e的两倍以上。此外，美光正率先在业内挑战图形内存（GDDR）堆叠技术，效仿HBM的堆叠方式提升GDDR性能。

## 总体总结

主题正文
1. 据钛媒体报道，在AI推理场景中，为了加速模型响应、避免重复计算，系统需要将KV Cache保留在高速存储中。
2. AI数据中心存储架构第一层为HBM，紧贴GPU、速度最快，但典型容量较小，难以承载Agent场景下持续膨胀的KV Cache，需要向外层存储溢出。
3. 具体而言，DRAM连接至CPU，容量通常是HBM的数倍，作为HBM外溢KV Cache的二级承接层。
4. 基于NAND颗粒的SSD承载历史KV Cache及数据湖的海量数据存储，容量可达HBM的千倍左右。
5. 据半导体产业纵横报道，三星核心芯片采用1c DRAM，基底裸片采用自家代工4纳米工艺，传输速度可达11.7Gbps。
6. 据芯智讯资料，美光作为三大存储厂商中唯一的北美厂商，计划将约40%的DRAM产能落地美国本土。
7. 产品方面，美光近日发布其HBM4产品，带宽是上一代HBM3e的两倍以上。
8. 此外，美光正率先在业内挑战图形内存（GDDR）堆叠技术，效仿HBM的堆叠方式提升GDDR性能。