主持人： 我们关注V4模型的训练过程用了哪些芯片？训练情况如何？ 专家： 根据公布的论文，训练依然采用英伟达的卡，主力是H800。在训练前期主要使 首发公众号：

• 序号：594
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

主持人： 我们关注V4模型的训练过程用了哪些芯片？训练情况如何？ 专家： 根据公布的论文，训练依然采用英伟达的卡，主力是H800。在训练前期主要使 首发公众号：思维纪要社 用BF16精度，在末尾阶段采用了混合的FP4精度进行训练。这样做是为了让模型能够适应推理阶段，因为国产算力卡更适应低精度（如8位、4位）量化推理。受限于工艺，国产算力卡的计算能力弱于英伟达，因此更需要低精度数据格式。

总体总结

主题正文

1. 我们关注V4模型的训练过程用了哪些芯片？
2. 根据公布的论文，训练依然采用英伟达的卡，主力是H800。
3. 在训练前期主要使 首发公众号：思维纪要社 用BF16精度，在末尾阶段采用了混合的FP4精度进行训练。
4. 这样做是为了让模型能够适应推理阶段，因为国产算力卡更适应低精度（如8位、4位）量化推理。
5. 受限于工艺，国产算力卡的计算能力弱于英伟达，因此更需要低精度数据格式。