[红包]【中信互联网】DeepSeek开源DeepInfer：推理降本+昇腾适配，进一步完善开源部署生态 [烟花]事件：10月20日，DeepSeek开源大规模
- 序号：178
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
[红包]【中信互联网】DeepSeek开源DeepInfer：推理降本+昇腾适配，进一步完善开源部署生态
[烟花]事件：10月20日，DeepSeek开源大规模推理框架DeepInfer及生产级Token编解码组件deepseek-recipe，分享V4.1 Flash的线上部署经验。前者开放高性能推理引擎及相关优化能力，后者对齐官方API处理逻辑，帮助开发者与企业搭建私有化及公有云服务。公司表示，未来新模型的推理代码及后续性能优化也将在DeepInfer中持续开源。
[咖啡]看点一：披露大规模线上运行表现，推理工程成为模型经济性的重要支撑
据公司披露，基于DeepInfer的V4.1 Flash单集群日服务吞吐达到155万亿Token，线上平均首字时延约400毫秒，吐字速度约230 Token/秒，代码场景约300 Token/秒；按谷价计算，平均每卡每小时收入约38美元。我们认为， 推理框架决定模型能力能够以多低的成本、服务多大规模的用户。本次开放生产实践，有望帮助社区提升算力利用效率，进一步改善AI服务的供给能力。
[咖啡]看点二：缓存复用与计算优化协同，降低长上下文和Agent任务成本
官方线上系统的平均输入缓存命中率达到96%，通过复用历史上下文的计算结果，减少多轮交互中的重复计算。同时，DeepInfer集成SWA Bounded Replay等优化：在V4.1架构下，通过有限范围重算恢复所需状态，使总预填充计算量近乎减半；DSpark变长验证相较固定验证5个Token，在其线上场景中进一步提升吞吐约6%。我们认为， Agent频繁调用工具、反复携带历史上下文，推理降本需要模型架构、缓存管理与调度共同优化。相关工程经验向社区扩散，有望降低复杂任务的服务成本，为更长流程、更多轮次的Agent应用提供支撑。
[咖啡]看点三：兼容昇腾叠加API协议对齐，降低第三方部署门槛
DeepInfer当前明确支持英伟达SM100 GPU及华为昇腾950 NPU，为V4.1 Flash提供跨硬件平台的推理实现。配套deepseek-recipe支持Chat Completions、Responses及Messages等主流API格式，统一处理请求编码、模型输出、思考内容及工具调用，并与官方API处理逻辑对齐。我们认为， 硬件适配解决算力选择，协议对齐减少应用迁移与接口适配工作，两者结合有望推动DeepSeek在国产算力、云服务及企业私有化场景中的采用，进一步扩大开源模型的部署生态。
我们的观点：此次开源将DeepSeek生态进一步从模型、算子库延伸至推理框架与API适配， 降低规模化部署门槛、提升单位算力服务能力是核心看点。后续重点关注： 一是社区复现后的端到端性能与单位Token成本； 二是昇腾平台实测及云厂商、企业客户的部署采用； 三是新模型适配和服务组件的持续完善。随着模型能力与推理效率共同迭代，有望进一步促进AI应用需求释放。
总体总结
主题正文
- [烟花]事件：10月20日，DeepSeek开源大规模推理框架DeepInfer及生产级Token编解码组件deepseek-recipe，分享V4.1 Flash的线上部署经验。
- 据公司披露，基于DeepInfer的V4.1 Flash单集群日服务吞吐达到155万亿Token，线上平均首字时延约400毫秒，吐字速度约230 Token/秒，代码场景约300 Token/秒；
- 同时，DeepInfer集成SWA Bounded Replay等优化：在V4.1架构下，通过有限范围重算恢复所需状态，使总预填充计算量近乎减半；
- DeepInfer当前明确支持英伟达SM100 GPU及华为昇腾950 NPU，为V4.1 Flash提供跨硬件平台的推理实现。
- 配套deepseek-recipe支持Chat Completions、Responses及Messages等主流API格式，统一处理请求编码、模型输出、思考内容及工具调用，并与官方API处理逻辑对齐。
- 我们认为， 硬件适配解决算力选择，协议对齐减少应用迁移与接口适配工作，两者结合有望推动DeepSeek在国产算力、云服务及企业私有化场景中的采用，进一步扩大开源模型的部署生态。
- 我们的观点：此次开源将DeepSeek生态进一步从模型、算子库延伸至推理框架与API适配， 降低规模化部署门槛、提升单位算力服务能力是核心看点。
- 后续重点关注： 一是社区复现后的端到端性能与单位Token成本；