【国联民生计算机】Token“通胀”：模型端优化有望提振国产算力需求，继续看好“一芯二模三云”之“一芯” 月之暗面联合清华大学最新发表的论文《Prefill-a
- 序号：066
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
【国联民生计算机】Token“通胀”：模型端优化有望提振国产算力需求，继续看好“一芯二模三云”之“一芯”
月之暗面联合清华大学最新发表的论文《Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter》提出PrFaaS推理架构方案，通过混合架构将KV Cache吞吐量大幅降低，从理论层面打破了此前Prefill与Decode两个推理阶段必须绑定在同一RDMA域的调度限制，为推理任务跨地域、跨异构集群灵活调度提供了可行路径参考。
国产模型端优化有望推动国产算力加速发展
提升国产异构算力利用效率：Prefill与Decode两类任务可以调度到更加适配的硬件集群运行。
降低国产算力部署门槛：PrFaaS架构下KV Cache传输不再依赖昂贵的RDMA网络设备，国产芯片集群部署成本降低。
支持跨域全局调度，同时混合架构降低了KV Cache对显存带宽的要求，顺应国产算力的超节点发展等产业趋势并显示性价比优势。
AI Agent时代Token需求的非线性增长，或直接带来超预期的AI算力需求，我们仍建议按“一芯二模三云”作为投资主线，重视以“一芯”寒武纪为代表的国产算力的重要价值。
风险提示：行业需求释放进度不及预期；行业竞争加剧。
总体总结
主题正文
- 【国联民生计算机】Token“通胀”：模型端优化有望提振国产算力需求，继续看好“一芯二模三云”之“一芯”
- 月之暗面联合清华大学最新发表的论文《Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter》提出PrFaaS推理架构方案，通过混合架构将KV Cache吞吐量大幅降低，从理论层面打破了此前Prefill与Decode两个推理阶段必须绑定在同一RDMA域的调度限制，为推理任务跨地域、跨异构集群灵活调度提供了可行路径参考。
- 国产模型端优化有望推动国产算力加速发展
- 提升国产异构算力利用效率：Prefill与Decode两类任务可以调度到更加适配的硬件集群运行。
- 降低国产算力部署门槛：PrFaaS架构下KV Cache传输不再依赖昂贵的RDMA网络设备，国产芯片集群部署成本降低。
- 支持跨域全局调度，同时混合架构降低了KV Cache对显存带宽的要求，顺应国产算力的超节点发展等产业趋势并显示性价比优势。
- AI Agent时代Token需求的非线性增长，或直接带来超预期的AI算力需求，我们仍建议按“一芯二模三云”作为投资主线，重视以“一芯”寒武纪为代表的国产算力的重要价值。
- 风险提示：行业需求释放进度不及预期；