Agent对“存储的拉动” 一、需求框架:Agent时代上下文扩张,KV Cache膨胀,拉动存储需求 进入Agent阶段后,AI上下文扩张推高KV Cache

图片

无图片

正文

Agent对“存储的拉动”

一、需求框架:Agent时代上下文扩张,KV Cache膨胀,拉动存储需求 进入Agent阶段后,AI上下文扩张推高KV Cache用量,从而带动存储需求增长。据钛媒体报道,在AI推理场景中,为了加速模型响应、避免重复计算,系统需要将KV 更多加公众号:思维纪要社 Cache保留在高速存储中。但随着上下文窗口的急剧扩大,KV Cache的规模已经远远超出了HBM和DRAM的承载能力。

二、分级存储:HBM承载活跃数据,DRAM和NAND承接缓冲和低频数据 Agent场景下,KV Cache和上下文数据规模已超出单一介质承载能力,存储架构需按数据访问频率分级布局。活跃数据由高速介质HBM承载,缓冲数据和冷数据下沉至大容量的DRAM和NAND中。 1.HBM承载活跃KV Cache。AI数据中心存储架构第一层为HBM,紧贴GPU、速度最快,但典型容量较小,难以承载Agent场景下持续膨胀的KV Cache,需要向外层存储溢出。 2.DRAM承担二级缓冲职能。具体而言,DRAM连接至CPU,容量通常是HBM的数倍,作为HBM外溢KV Cache的二级承接层。 3.NAND承担冷数据存储职能。基于NAND颗粒的SSD承载历史KV Cache及数据湖的海量数据存储,容量可达HBM的千倍左右。

三、竞争格局:SK海力士深度绑定台积电,三星具备自有晶圆厂,美光占据北美本土优势 1.SK海力士深度绑定台积电。据半导体产业纵横报道,SK海力士HBM4的核心芯片采用1b DRAM,基底裸片采用台积电12纳米工艺。 2.三星具备自有晶圆厂。据半导体产业纵横报道,三星核心芯片采用1c DRAM,基底裸片采用自家代工4纳米工艺,传输速度可达11.7Gbps。 3.美光占据北美本土供应优势。据芯智讯资料,美光作为三大存储厂商中唯一的北美厂商,计划将约40%的DRAM产能落地美国本土。产品方面,美光近日发布其HBM4产品,带宽是上一代HBM3e的两倍以上。此外,美光正率先在业内挑战图形内存(GDDR)堆叠技术,效仿HBM的堆叠方式提升GDDR性能。

投资建议 看好海外存储产业链发展机遇,建议关注SK海力士、三星和美光等厂商的存储供应价值。

总体总结

主题正文

  1. 进入Agent阶段后,AI上下文扩张推高KV Cache用量,从而带动存储需求增长。
  2. 据钛媒体报道,在AI推理场景中,为了加速模型响应、避免重复计算,系统需要将KV 更多加公众号:思维纪要社 Cache保留在高速存储中。
  3. AI数据中心存储架构第一层为HBM,紧贴GPU、速度最快,但典型容量较小,难以承载Agent场景下持续膨胀的KV Cache,需要向外层存储溢出。
  4. 据半导体产业纵横报道,SK海力士HBM4的核心芯片采用1b DRAM,基底裸片采用台积电12纳米工艺。
  5. 据半导体产业纵横报道,三星核心芯片采用1c DRAM,基底裸片采用自家代工4纳米工艺,传输速度可达11.7Gbps。
  6. 据芯智讯资料,美光作为三大存储厂商中唯一的北美厂商,计划将约40%的DRAM产能落地美国本土。
  7. 看好海外存储产业链发展机遇,建议关注SK海力士、三星和美光等厂商的存储供应价值。