---
title: "为了防止专家负载不均导致大规模专家并行场景下的吞吐量下降，我们提出了一种全平衡的专家并行训练方法，该方法采用静态形状设计，且关键路径上无需主机同步。 由于推理效"
topic_id: 22255484122821441
created_at: 2026-07-17T08:50:17.805+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 为了防止专家负载不均导致大规模专家并行场景下的吞吐量下降，我们提出了一种全平衡的专家并行训练方法，该方法采用静态形状设计，且关键路径上无需主机同步。 由于推理效

- 序号：242
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/22255484122821441)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

为了防止专家负载不均导致大规模专家并行场景下的吞吐量下降，我们提出了一种全平衡的专家并行训练方法，该方法采用静态形状设计，且关键路径上无需主机同步。
由于推理效率同样受益于更大的高带宽通信域，我们建议在包含或更多加速器的配置上部署 Kimi K3。
最后，鉴于对传统前缀缓存提出了新的挑战，我们已向 vLLM 社区贡献了相应的实现方案，该方案将与模型同步发布。采用预填充缓存的 KDA 技术，使我们能够在保持 Kimi K3 模型规模与长上下文能力的同时，以极具竞争力的提供服务。 Kimi

## 总体总结

主题正文
1. 为了防止专家负载不均导致大规模专家并行场景下的吞吐量下降，我们提出了一种全平衡的专家并行训练方法，该方法采用静态形状设计，且关键路径上无需主机同步。
2. 由于推理效率同样受益于更大的高带宽通信域，我们建议在包含或更多加速器的配置上部署 Kimi K3。
3. 最后，鉴于对传统前缀缓存提出了新的挑战，我们已向 vLLM 社区贡献了相应的实现方案，该方案将与模型同步发布。
4. 采用预填充缓存的 KDA 技术，使我们能够在保持 Kimi K3 模型规模与长上下文能力的同时，以极具竞争力的提供服务。