【模型观点更新】GPT-6 实际的变化发生在后训练RL上 1）更好的RL使思维链又短又好： 从周末简单的学术交流看，GPT-6并没有上所谓Loop transf
- 序号：448
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
【模型观点更新】GPT-6 实际的变化发生在后训练RL上
1）更好的RL使思维链又短又好： 从周末简单的学术交流看，GPT-6并没有上所谓Loop transformer这类新架构，但其思维链COT确实体现出了更短的长度和更高的信息密度。过去之所以要做COT是因为写COT能显著加深模型的计算深度，写COT的模型就是比不写COT的模型做的更好，这次Openai应该是在RL上做了特殊调试，在不改变推理能力的背景下大幅缩短思维链长度，这对模型降本和做图像理解等抽象性事件都有帮助。
2）蒸馏依旧可以做（思维链COT的信息密度高），但无法改变国内和海外在RL上的较大差距
3）computeruse和专业工具软件使用是新的场景 从数据结构角度看，近半年以来预训练的多模态数据占比在提升，目前最高见到过多模态占比能达到40%，computer use 的能力在持续提升。此外，模型本身在尝试驾驭 CAD，EDA等专业工具软件，目前的调用方式是直接形成可编辑的代码文件（CAD文件本身就是一串设计的代码轨迹数据），从而在终端上做展示，简单的结构件设计已被攻克，负责设备整体还需要提升能力。模型的创意性需求是无限的且暂时绕不开专业工具软件，预期需求量会大增。
4）若以10万卡算力消耗测算，GPT-6可能是一个5t参数规模，200t训练数据，3个月时间跑出来的模型
结论：24年9月 GPT-O1用长COT大幅提升了模型推理正确率，本次Astra则是在确保正确率的基础上大幅缩减了COT长度，属于降本层面的革命。对多模态能力的结合有多大帮助则有待观察
总体总结
主题正文
- 【模型观点更新】GPT-6 实际的变化发生在后训练RL上
- 从周末简单的学术交流看，GPT-6并没有上所谓Loop transformer这类新架构，但其思维链COT确实体现出了更短的长度和更高的信息密度。
- 过去之所以要做COT是因为写COT能显著加深模型的计算深度，写COT的模型就是比不写COT的模型做的更好，这次Openai应该是在RL上做了特殊调试，在不改变推理能力的背景下大幅缩短思维链长度，这对模型降本和做图像理解等抽象性事件都有帮助。
- 2）蒸馏依旧可以做（思维链COT的信息密度高），但无法改变国内和海外在RL上的较大差距
- 从数据结构角度看，近半年以来预训练的多模态数据占比在提升，目前最高见到过多模态占比能达到40%，computer use 的能力在持续提升。
- 此外，模型本身在尝试驾驭 CAD，EDA等专业工具软件，目前的调用方式是直接形成可编辑的代码文件（CAD文件本身就是一串设计的代码轨迹数据），从而在终端上做展示，简单的结构件设计已被攻克，负责设备整体还需要提升能力。
- 4）若以10万卡算力消耗测算，GPT-6可能是一个5t参数规模，200t训练数据，3个月时间跑出来的模型
- 结论：24年9月 GPT-O1用长COT大幅提升了模型推理正确率，本次Astra则是在确保正确率的基础上大幅缩减了COT长度，属于降本层面的革命。