💡1、Recurrent Depth：复用同一组 Transformer 层做多次循环迭代。中间思考全部发生在神经网络隐藏向量（隐空间），不会输出成可读的文字
- 序号：287
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
💡1、Recurrent Depth：复用同一组 Transformer 层做多次循环迭代。中间思考全部发生在神经网络隐藏向量（隐空间），不会输出成可读的文字 token。传统 CoT 思维链，思考步骤全部写成文字 token 吐出来；Recurrent Depth 则是思考在内部循环完成，不需要输出中间思考 token。 ⚙️2、用计算换存储，模型权重只有一套，KV 缓存增长放缓，内存压力降低；同一组层反复跑很多次，每一步 token 的计算量显著变大，堆 HBM 容量的逻辑减弱。 🧠3、简单问题循环次数少；复杂几何、3D、科学任务，自动跑更多循环迭代，动态分配推理算力，这也是 GPT6 的 ARC‑AGI 分数暴涨的重要原因。 🔗4、大规模循环深度集群，节点之间高频交换隐状态向量，对低延迟高速互联、NVL 多卡直连、高速以太网交换机需求抬升。同时 GPU 算力卡依然受益。
总体总结
主题正文
- 💡1、Recurrent Depth：复用同一组 Transformer 层做多次循环迭代。
- 中间思考全部发生在神经网络隐藏向量（隐空间），不会输出成可读的文字 token。
- 传统 CoT 思维链，思考步骤全部写成文字 token 吐出来；
- Recurrent Depth 则是思考在内部循环完成，不需要输出中间思考 token。
- ⚙️2、用计算换存储，模型权重只有一套，KV 缓存增长放缓，内存压力降低；
- 同一组层反复跑很多次，每一步 token 的计算量显著变大，堆 HBM 容量的逻辑减弱。
- 复杂几何、3D、科学任务，自动跑更多循环迭代，动态分配推理算力，这也是 GPT6 的 ARC‑AGI 分数暴涨的重要原因。
- 🔗4、大规模循环深度集群，节点之间高频交换隐状态向量，对低延迟高速互联、NVL 多卡直连、高速以太网交换机需求抬升。