🔥 Loop_Transformer 理论上可以减少显式 CoT Token，通过内部循环矩阵计算提升模型能力。但由此推导“蒸馏难度上升，利空国产模型”，这个
- 序号：323
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
🔥 Loop_Transformer 理论上可以减少显式 CoT Token，通过内部循环矩阵计算提升模型能力。但由此推导“蒸馏难度上升，利空国产模型”，这个 思维链过于简单了。
🌟蒸馏本质上只是低成本获取高质量训练数据的一种手段，真正决定模型能力的，依然是 架构设计、算法优化、后训练、infra等一整套能力 ，这些都是 靠国产模型厂商自己完成。
🌟 智谱 在半年报里也已经提到，Loop Transformer 已完成初步实验验证，说明 国内外在这条技术路线上基本同步。相比 YY“以后没法蒸馏了”，更值得关注的是 国产模型自身技术能力持续进步 ，不然就是本末倒置。
🌟 智谱 MiniMax
☎️From 华泰计算机 郭雅丽/范昳蕊/袁泽世/岳铂雄/王浩天/徐诚伟
总体总结
主题正文
- 🔥 Loop_Transformer 理论上可以减少显式 CoT Token，通过内部循环矩阵计算提升模型能力。
- 但由此推导“蒸馏难度上升，利空国产模型”，这个 思维链过于简单了。
- 🌟蒸馏本质上只是低成本获取高质量训练数据的一种手段，真正决定模型能力的，依然是 架构设计、算法优化、后训练、infra等一整套能力 ，这些都是 靠国产模型厂商自己完成。
- 🌟 智谱 在半年报里也已经提到，Loop Transformer 已完成初步实验验证，说明 国内外在这条技术路线上基本同步。
- 相比 YY“以后没法蒸馏了”，更值得关注的是 国产模型自身技术能力持续进步 ，不然就是本末倒置。
- 🌟 智谱 MiniMax
- ☎️From 华泰计算机 郭雅丽/范昳蕊/袁泽世/岳铂雄/王浩天/徐诚伟