为了防止专家负载不均导致大规模专家并行场景下的吞吐量下降，我们提出了一种全平衡的专家并行训练方法，该方法采用静态形状设计，且关键路径上无需主机同步。 由于推理效

• 序号：242
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

为了防止专家负载不均导致大规模专家并行场景下的吞吐量下降，我们提出了一种全平衡的专家并行训练方法，该方法采用静态形状设计，且关键路径上无需主机同步。 由于推理效率同样受益于更大的高带宽通信域，我们建议在包含或更多加速器的配置上部署 Kimi K3。 最后，鉴于对传统前缀缓存提出了新的挑战，我们已向 vLLM 社区贡献了相应的实现方案，该方案将与模型同步发布。采用预填充缓存的 KDA 技术，使我们能够在保持 Kimi K3 模型规模与长上下文能力的同时，以极具竞争力的提供服务。 Kimi

总体总结

主题正文

1. 为了防止专家负载不均导致大规模专家并行场景下的吞吐量下降，我们提出了一种全平衡的专家并行训练方法，该方法采用静态形状设计，且关键路径上无需主机同步。
2. 由于推理效率同样受益于更大的高带宽通信域，我们建议在包含或更多加速器的配置上部署 Kimi K3。
3. 最后，鉴于对传统前缀缓存提出了新的挑战，我们已向 vLLM 社区贡献了相应的实现方案，该方案将与模型同步发布。
4. 采用预填充缓存的 KDA 技术，使我们能够在保持 Kimi K3 模型规模与长上下文能力的同时，以极具竞争力的提供服务。