【国联民生计算机】‼️DeepSeek开源推理框架DeepInfer：模算协同再迎重要进展 [太阳]10月20日，DeepSeek在知乎专栏发布《DeepSee

• 序号：138
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

【国联民生计算机】‼️DeepSeek开源推理框架DeepInfer：模算协同再迎重要进展

[太阳]10月20日，DeepSeek在知乎专栏发布《DeepSeek V4.1 Flash大规模推理部署实践》，正式开源大规模云服务推理框架DeepInfer。

[太阳]据报告，DeepInfer支持分布式推理、推测解码、结构化输出，可在英伟达与华为昇腾平台上运行，同日还开源了生产级Token编解码组件deepseek-recipe。

[太阳]报告将“兼容多种厂商的计算芯片、充分发挥各平台性能”列为三大设计目标之一

部署上用8卡机器做Prefill、64～128卡超节点做Decode：Prefill取尽可能小的EP/DP，为EP2～8；Decode取尽可能大的EP/DP，为EP64～128。

[太阳]对Token工厂等推理服务的意义：基于该框架，DeepSeek已实现V4.1 Flash高吞吐、低延迟推理服务，单一集群吞吐达155万亿Tokens/天，收入每卡每小时38美金，按谷价计。

[太阳]建议关注：1）国产AI芯片：寒武纪、海光信息、云天励飞等。2）超节点：浪潮信息、软通动力、紫光股份、中国长城、联想集团、神州数码、慧博云通、拓维信息等。3）算力租赁/Token工厂：宏景科技、集智股份（ARM Token工厂）、协创数据、利通电子、行云科技等。

风险提示：算力需求释放节奏具有不确定性；行业竞争加剧。

总体总结

主题正文

1. [太阳]10月20日，DeepSeek在知乎专栏发布《DeepSeek V4.1 Flash大规模推理部署实践》，正式开源大规模云服务推理框架DeepInfer。
2. [太阳]据报告，DeepInfer支持分布式推理、推测解码、结构化输出，可在英伟达与华为昇腾平台上运行，同日还开源了生产级Token编解码组件deepseek-recipe。
3. 部署上用8卡机器做Prefill、64～128卡超节点做Decode：Prefill取尽可能小的EP/DP，为EP2～8；
4. [太阳]对Token工厂等推理服务的意义：基于该框架，DeepSeek已实现V4.1 Flash高吞吐、低延迟推理服务，单一集群吞吐达155万亿Tokens/天，收入每卡每小时38美金，按谷价计。
5. [太阳]建议关注：1）国产AI芯片：寒武纪、海光信息、云天励飞等。
6. 2）超节点：浪潮信息、软通动力、紫光股份、中国长城、联想集团、神州数码、慧博云通、拓维信息等。
7. 3）算力租赁/Token工厂：宏景科技、集智股份（ARM Token工厂）、协创数据、利通电子、行云科技等。
8. 风险提示：算力需求释放节奏具有不确定性；