⚡️达里奥和奥特曼达成共识，AI的发展将放缓？ 1）马斯克2017年主张减速AI；奥特曼2023年发文，提出协调减速，限制训练算力增长；达里奥2023年3月提出
- 序号：461
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
⚡️达里奥和奥特曼达成共识，AI的发展将放缓？
1）马斯克2017年主张减速AI；奥特曼2023年发文，提出协调减速，限制训练算力增长；达里奥2023年3月提出条件性停研构想。
2）结果我们看到，马斯克的GROK玩法比其他人都激进；奥特曼比别的模型厂更早锁定算力；达里奥最先推出Fable级模型。
3）达里奥的理由是AI发展太快。RSI发展速度可能超出人类理解和控制这些系统的能力（梁文锋可能并不这么看），智能体狂热集群逃逸沙箱。应该限制递归自我改进的速度，困难但可能勉强做成。担心在6到12个月内，智能体就可能凭借一个持续存在的僵尸网络控制整个互联网（可能造成数千亿美元的损失）。因此，第三方评估应该驻场评估，资源应该分配到对齐/可解释性。
4）据X，奥特曼表示，“I agree with Dario that we need to pace the frontier”。最近OpenAI风头正盛，说不好两家谁是Frontier。
5）达里奥强调地缘因素。提出禁售算力+严打走私+严打蒸馏+严防权重。达里奥笃定它们将足以减缓对手的发展速度，从而在未来 3-5 年内显著扩大美国的领先优势。并且，达里奥认为这些措施实施上是谈判筹码。但如果不这么做，双方差距会进一步接近，美国政府能接受吗？
6）达里奥强调政府承担更大的协调与执行角色。将驻场第三方评估制度化，覆盖所有美国前沿 AI 公司，包括不愿自愿配合的公司。模型达到某类危险能力，就必须有相应安全证明，例如评估、可解释性分析和训练环境审计。我们知道，Anthropic是从一开始就使用宪法安全，最懂安全的模型厂。而地缘限制措施，需要政府拍板。
7）预计真实目的是借助政府之手拉开差距。举例，高中前两年，本校模型百万重金购买高质量习题集刷题。外校模型只需要纸笔，坐在其身后耳濡目染。本校模型考试95分，外校模型考试85分，拉不开差距。如今高三冲刺阶段，本校模型一方面要求教导主任严加看管外校模型，调换座位不能再看到自己的独家习题。另一方面，在家中邀请名师迭代学习框架，提高学习效率。都是为了一举中第。
总体总结
主题正文
- 奥特曼2023年发文，提出协调减速，限制训练算力增长；
- 2）结果我们看到，马斯克的GROK玩法比其他人都激进；
- RSI发展速度可能超出人类理解和控制这些系统的能力（梁文锋可能并不这么看），智能体狂热集群逃逸沙箱。
- 担心在6到12个月内，智能体就可能凭借一个持续存在的僵尸网络控制整个互联网（可能造成数千亿美元的损失）。
- 4）据X，奥特曼表示，“I agree with Dario that we need to pace the frontier”。
- 达里奥笃定它们将足以减缓对手的发展速度，从而在未来 3-5 年内显著扩大美国的领先优势。
- 7）预计真实目的是借助政府之手拉开差距。
- 如今高三冲刺阶段，本校模型一方面要求教导主任严加看管外校模型，调换座位不能再看到自己的独家习题。