Loop_Transformer 大概率会成为 Scaling 的下一个旋钮（0906）@华泰计算机 Loop Transformer核心就是：内部循环计算，
- 序号：498
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
Loop_Transformer 大概率会成为 Scaling 的下一个旋钮（0906）@华泰计算机
Loop Transformer核心就是：内部循环计算， 用算力换智能 。 很可能是下一个范式级别的进步。
目前模型已经有几种主要的 Scaling 路径：预训练 Scaling，堆参数、数据和训练算力；后训练 Scaling，通过 RL增加后训练能力；Test-time Scaling，通过拉长 CoT、增加 reasoning tokens 让模型多输出；现在又开始出现Loop Transformer带来的 Latent Scaling，让模型在输出 token 之前， 内部多算几轮 。
从目前公开信息看，GPT-6 Astra 采用 Loop Transformer 的可能性比较大，虽然目前实际增加的计算深度也并不夸张，说明这条路线还在早期阶段。也正因为如此， 后续还有比较大的Scaling空间。 智谱 在半年报里也已经提到 Loop Transformer，并称做了初步实验验证，说明国内外在这一代模型算法方向上基本还是同步的。
模型的Scaling还会给大家惊喜。
智谱 Minimax
☎️From 华泰计算机 郭雅丽/范昳蕊/袁泽世/岳铂雄/王浩天/徐诚伟
总体总结
主题正文
- Loop_Transformer 大概率会成为 Scaling 的下一个旋钮（0906）@华泰计算机
- Loop Transformer核心就是：内部循环计算， 用算力换智能 。
- 目前模型已经有几种主要的 Scaling 路径：预训练 Scaling，堆参数、数据和训练算力；
- Test-time Scaling，通过拉长 CoT、增加 reasoning tokens 让模型多输出；
- 现在又开始出现Loop Transformer带来的 Latent Scaling，让模型在输出 token 之前， 内部多算几轮 。
- 从目前公开信息看，GPT-6 Astra 采用 Loop Transformer 的可能性比较大，虽然目前实际增加的计算深度也并不夸张，说明这条路线还在早期阶段。
- 智谱 在半年报里也已经提到 Loop Transformer，并称做了初步实验验证，说明国内外在这一代模型算法方向上基本还是同步的。
- ☎️From 华泰计算机 郭雅丽/范昳蕊/袁泽世/岳铂雄/王浩天/徐诚伟