【西部计算机郑宏达团队】重视GPT6的新架构：Recurent Depth 1、Recurrent Depth：复用同一组Transformer层做多次循环迭代
- 序号：207
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
【西部计算机郑宏达团队】重视GPT6的新架构：Recurent Depth
1、Recurrent Depth：复用同一组Transformer层做多次循环迭代。中间思考全部发生在神经网络隐藏向量（隐空间），不会输出成可读的文字token。传统CoT思维链：思考步骤全部写成文字token吐出来；Recurrent Depth：思考在内部循环完成，不需要输出中间思考token。
2、 用计算换存储，模型权重只有一套，KV缓存增长放缓，内存压力降低；同一组层反复跑很多次，每一步token的计算量显著变大。堆HBM容量的逻辑减弱。
3、简单问题循环次数少；复杂几何、3D、科学任务，自动跑更多循环迭代，动态分配推理算力，这也是GPT6的ARC‑AGI分数暴涨的重要原因 。
4、大规模循环深度集群，节点之间高频交换隐状态向量，对低延迟高速互联、NVL多卡直连、高速以太网交换机需求抬升。同时GPU算力卡依然受益。
5、A股标的：盛科通信、澜起科技、寒武纪、海光信息、锐捷网络。
总体总结
主题正文
- 【西部计算机郑宏达团队】重视GPT6的新架构：Recurent Depth
- 1、Recurrent Depth：复用同一组Transformer层做多次循环迭代。
- 中间思考全部发生在神经网络隐藏向量（隐空间），不会输出成可读的文字token。
- Recurrent Depth：思考在内部循环完成，不需要输出中间思考token。
- 2、 用计算换存储，模型权重只有一套，KV缓存增长放缓，内存压力降低；
- 复杂几何、3D、科学任务，自动跑更多循环迭代，动态分配推理算力，这也是GPT6的ARC‑AGI分数暴涨的重要原因 。
- 4、大规模循环深度集群，节点之间高频交换隐状态向量，对低延迟高速互联、NVL多卡直连、高速以太网交换机需求抬升。
- 5、A股标的：盛科通信、澜起科技、寒武纪、海光信息、锐捷网络。