另一个解读: OpenAI发布GPT-6 Astra,聊聊技术范式的变化 GPT-6 Astra和Loop Transformer。 昨天先是全球 AI 大宕机

图片

无图片

正文

另一个解读:

OpenAI发布GPT-6 Astra,聊聊技术范式的变化 GPT-6 Astra和Loop Transformer。

昨天先是全球 AI 大宕机,然后 OpenAI 真把 GPT-6 Astra 发了。现在海外几乎全部的头部 Lab(OpenAI、Anthropic、Gemini、Meta)都更新了自己最新的 AI 模型。

如果简单说,这个模型就是for computer use的模型,for知识工作的模型。 OpenAI 自己的发布重点就是:旗舰模型开始更强调操作电脑、端到端干活。 上下文窗口 1.05M,最大输出 128K 每百万输入 Token 10 美元,每百万输出 Token 50 美元

Astra 是 OpenAI 第一个达到 cyber Critical 门槛的模型,官方同时承认它的 CoT monitorability 下降。能力越往 agent 走,evaluation 越不能只看答题分数,还得看真实成功率、成本和越权风险。 现在转发满屏都是 Brockman 那句“可能有一天会被看作 AGI 的到来”。等体验再说。

更想聊两个技术上的事情。 1/ 关于 loop transformer 我最好奇的其实是之前海外聊的,Astra 有一些结构性的变化。最早是 The Information 说 Astra 用了 constrained recurrent depth,之后海外就一堆人在讨论 recurrent depth 和 loop transformer。 这里解释一下。普通 Transformer 是信息依次穿过一层层网络,recurrent depth 是让它在同一个块里反复循环多次。 拿 Raschka 举的 Nanbeige4.2-3B 说,它有一个 22 层的 stack,跑两遍。效果上等于 44 层的深度,但权重只存了 22 层的量。省的是存储和显存,因为模型体积没变,还是 22 层;花的是算力,因为数据要过差不多两倍的层,推理贵将近一倍。

但是 OpenAI 现任首席科学家 Jakub Pachocki 说,要“防止被混乱的报道引发一场冲向不可监控性的竞赛”。

这次也发现 system card 的 Monitorability 一节里有这么一句: "we are quite confident that changes in CoT controllability are not differentially due to any architectural changes" OpenAI 在官方材料里主动排除了架构变化作为 CoT 可控性变化的解释。这跟"他们用架构换了可监控性"的叙事是反着的。

2/ 关于模型对齐 从一个更长远的角度聊聊。虽然 OpenAI 仍主张整体对齐变好了,对齐指标也确实几乎全线大幅变好:撒谎少 4 倍、蜜罐攻击归零、恶意指令服从率 52% → 0%。 但 CoT 可监控性同时明显变差,而且 OpenAI 说不清为什么。比如模型控制自己思维链内容的能力,Astra 这方面显著更强,且在 RL 训练期间尤其增长。他们只说不是架构导致的,然后把原因列进了后续研究方向"。 规避实验的几个结果: 只要告诉它存在 CoT 监控,它就会大幅缩短思维链,有时能成功躲开纯 CoT 监控 能在评测里策略性藏拙,而且藏的方式能躲开专门检测藏拙的监控器 禁用推理后,它无需 CoT 就能完成的任务范围扩大约一个数量级,可监控表面因此缩小 但目前它还做不到隐写式 CoT 推理,这限制了风险范围。

补充两个细节。 这一周的发布密度:Claude Fable 5.1(9/1)→ Gemini 3.8 Flash(9/2)→ Meta Muse Spark 1.3(9/2)→ GPT-6 Astra(9/3),四家三天。 宕机也确认了:9/3 Azure East US 故障,ChatGPT 报障峰值超 3.7 万,Claude、Grok 一起挂,只有 Gemini 因为在 Google Cloud 上幸存。

总体总结

主题正文

  1. Astra 是 OpenAI 第一个达到 cyber Critical 门槛的模型,官方同时承认它的 CoT monitorability 下降。
  2. 能力越往 agent 走,evaluation 越不能只看答题分数,还得看真实成功率、成本和越权风险。
  3. 最早是 The Information 说 Astra 用了 constrained recurrent depth,之后海外就一堆人在讨论 recurrent depth 和 loop transformer。
  4. "we are quite confident that changes in CoT controllability are not differentially due to any architectural changes"
  5. 虽然 OpenAI 仍主张整体对齐变好了,对齐指标也确实几乎全线大幅变好:撒谎少 4 倍、蜜罐攻击归零、恶意指令服从率 52% → 0%。
  6. 比如模型控制自己思维链内容的能力,Astra 这方面显著更强,且在 RL 训练期间尤其增长。
  7. 这一周的发布密度:Claude Fable 5.1(9/1)→ Gemini 3.8 Flash(9/2)→ Meta Muse Spark 1.3(9/2)→ GPT-6 Astra(9/3),四家三天。
  8. 宕机也确认了:9/3 Azure East US 故障,ChatGPT 报障峰值超 3.7 万,Claude、Grok 一起挂,只有 Gemini 因为在 Google Cloud 上幸存。