---
title: "【模型观点更新】GPT-6 实际的变化发生在后训练RL上 1）更好的RL使思维链又短又好： 从周末简单的学术交流看，GPT-6并没有上所谓Loop transf"
topic_id: 82258844488525412
created_at: 2026-09-07T08:12:49.521+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 【模型观点更新】GPT-6 实际的变化发生在后训练RL上 1）更好的RL使思维链又短又好： 从周末简单的学术交流看，GPT-6并没有上所谓Loop transf

- 序号：448
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/82258844488525412)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

【模型观点更新】GPT-6 实际的变化发生在后训练RL上

1）更好的RL使思维链又短又好：
从周末简单的学术交流看，GPT-6并没有上所谓Loop transformer这类新架构，但其思维链COT确实体现出了更短的长度和更高的信息密度。过去之所以要做COT是因为写COT能显著加深模型的计算深度，写COT的模型就是比不写COT的模型做的更好，这次Openai应该是在RL上做了特殊调试，在不改变推理能力的背景下大幅缩短思维链长度，这对模型降本和做图像理解等抽象性事件都有帮助。

2）蒸馏依旧可以做（思维链COT的信息密度高），但无法改变国内和海外在RL上的较大差距

3）computeruse和专业工具软件使用是新的场景
从数据结构角度看，近半年以来预训练的多模态数据占比在提升，目前最高见到过多模态占比能达到40%，computer use 的能力在持续提升。此外，模型本身在尝试驾驭 CAD，EDA等专业工具软件，目前的调用方式是直接形成可编辑的代码文件（CAD文件本身就是一串设计的代码轨迹数据），从而在终端上做展示，简单的结构件设计已被攻克，负责设备整体还需要提升能力。模型的创意性需求是无限的且暂时绕不开专业工具软件，预期需求量会大增。

4）若以10万卡算力消耗测算，GPT-6可能是一个5t参数规模，200t训练数据，3个月时间跑出来的模型

结论：24年9月 GPT-O1用长COT大幅提升了模型推理正确率，本次Astra则是在确保正确率的基础上大幅缩减了COT长度，属于降本层面的革命。对多模态能力的结合有多大帮助则有待观察

## 总体总结

主题正文
1. 【模型观点更新】GPT-6 实际的变化发生在后训练RL上
2. 从周末简单的学术交流看，GPT-6并没有上所谓Loop transformer这类新架构，但其思维链COT确实体现出了更短的长度和更高的信息密度。
3. 过去之所以要做COT是因为写COT能显著加深模型的计算深度，写COT的模型就是比不写COT的模型做的更好，这次Openai应该是在RL上做了特殊调试，在不改变推理能力的背景下大幅缩短思维链长度，这对模型降本和做图像理解等抽象性事件都有帮助。
4. 2）蒸馏依旧可以做（思维链COT的信息密度高），但无法改变国内和海外在RL上的较大差距
5. 从数据结构角度看，近半年以来预训练的多模态数据占比在提升，目前最高见到过多模态占比能达到40%，computer use 的能力在持续提升。
6. 此外，模型本身在尝试驾驭 CAD，EDA等专业工具软件，目前的调用方式是直接形成可编辑的代码文件（CAD文件本身就是一串设计的代码轨迹数据），从而在终端上做展示，简单的结构件设计已被攻克，负责设备整体还需要提升能力。
7. 4）若以10万卡算力消耗测算，GPT-6可能是一个5t参数规模，200t训练数据，3个月时间跑出来的模型
8. 结论：24年9月 GPT-O1用长COT大幅提升了模型推理正确率，本次Astra则是在确保正确率的基础上大幅缩减了COT长度，属于降本层面的革命。