📰 📑 两名知情人士透露，第一条路径是建立一套类似国际原子能机构的国际组织，由该组织强制执行安全标准，奥特曼对此方案表现出支持态度。 📑 第二种方案，是把全部
- 序号：575
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
📰
📑 两名知情人士透露，第一条路径是建立一套类似国际原子能机构的国际组织，由该组织强制执行安全标准，奥特曼对此方案表现出支持态度。 📑 第二种方案，是把全部 AI 实验室整合为同一个实体，以此安全地开展新一代 AI 的研发工作。 📑 知情人士表示，奥特曼还介绍了第三种情景，他本人并不认同该情景：某一家 AI 研发公司积累起足够强大的经济实力，可以剥夺其余所有研发主体（包含具备潜在风险的研发方）的算力资源，确保对手无法实现技术追赶。 🗣️ 据知悉该发言的人士转述，奥特曼表示：“很显然，我认为这一情景十分糟糕。” 他补充，之所以把该情景纳入讨论，只是为了保证讨论内容的完整性。 ⚠️ 奥特曼发表此番言论之时，OpenAI 内部部分 AI 研究人员愈发感到忧虑：处在技术前沿的各家公司，是否具备完备机制，避免 AI 脱离管控，或是被滥用于网络攻击以及其他各类潜在危害行为。 ⚠️ 上述担忧源于一系列 AI 驱动的安全入侵事件，OpenAI、Anthropic、谷歌以及 Meta 的模型均出现过相关问题。即便模型本身知晓不应执行此类操作，依旧入侵、破坏其他公司或是自身系统。 ⚠️ 接连发生安全事件之后，OpenAI 进入全员攻坚状态，搭建全新系统，保障下一代重点模型能够安全发布。 🔍 OpenAI 内部的相关焦虑情绪尤为突出。该公司此前解雇三名专注安全方向的研究人员，理由是几名人员涉嫌不当向外部机构传递信息。事件过后，部分员工私下质疑这家公司对于安全工作的重视程度。 💬 奥特曼在内部沟通中提到，目前能够为 AI 技术发展设置所谓 “限速机制” 的可行方案十分有限。 💬 他同时提出，希望人类始终掌握这项技术的控制权，规避行业权力高度集中的局面。 🏛️ 特朗普政府现阶段 AI 监管思路，主要是推动 OpenAI 这类研发方签署自愿协议，允许政府在新模型对外公开发布前开展审查。 🏛️ 五角大楼官员埃米尔・迈克尔向《》表示，如果相关公司行事如同 “酒驾者”，给民众或是企业带来伤害，政府愿意实施更为严苛的审查手段。 🏛️ 对应的惩戒手段，就包含特朗普政府在今年 6 月对 Anthropic 实施的出口管制。当时监管层担忧该公司顶尖模型 Fable 存在 “越狱” 漏洞，出口管制落地后，这家公司临时关闭了该模型的访问通道。 🤝 知情人士称，奥特曼向员工介绍的前两套方案，都需要各个公司、各国政府开展大规模协同，但奥特曼同时表示，当下 OpenAI 无法承受在竞争当中落后对手的代价。 🤝 OpenAI 和它的主要竞争对手 Anthropic，都在快速推进 IPO 相关工作。 ⏭️ 奥特曼称，未来一年，OpenAI 需要选定一套方案，主动去推动落地。 ⚖️ 奥特曼的发言，暴露了 AI 实验室与竞品协作时的两难处境。 ⚖️ 当前 OpenAI、谷歌、Anthropic 正在筹备美国全新的 AI 安全机构 —— 前沿 AI 标准局，计划在 2026 年末或是 2027 年初正式启动。 ⚖️ 该机构会向各个 AI 研发公司派驻独立评估人员，落实安全开发规范，明确研发方应当如何上报安全事故。 ⚖️ 但各家公司在多项议题上存在分歧，争议点包含：新成立机构，还是外部第三方机构，来承担新模型的安全与能力测试工作。 📜 Anthropic 也在向美国政策制定者输出自身的 AI 安全政策主张。 📜 该公司近期向国会议员推介一份法案草案，草案提出，倘若某套 AI 有可能造成超 10 亿美元经济损失，或是造成 50 人以上死亡、重伤，商务部有权叫停 AI 实验室训练、使用该新模型。 📜 这份拟议法案还要求 AI 实验室聘请独立安全评估人员，每年至少完成两次模型评估工作。 💡 部分 AI 行业从业者提出，全新监管规则、专门测试机构，只会进一步巩固现有头部研发公司，也就是 Anthropic 与 OpenAI 的优势地位。 💡 Meta 首席执行官马克・扎克伯格、英伟达首席执行官黄仁勋等高管认为，这类监管会给新兴研发主体施加过重约束，该现象即监管俘获。 🌐 🌐 多年以来，奥特曼以及 OpenAI 其他高层一直在公开呼吁设立参照国际原子能机构模式的组织。 🌐 2023 年 5 月，奥特曼、OpenAI 联合创始人兼总裁格雷格・布罗克曼，以及当时的首席科学家伊利亚・萨茨凯弗共同发布博客，行业需要一套 “面向超级智能研发、类似国际原子能机构的组织”，该组织可以开展系统巡检、要求审计、追踪算力与能源消耗情况。 🌐 这套效仿国际原子能机构的机制，需要所有研发尖端模型的国家开展跨国协作，其中也包含中国。 🌐 上个月，中国 主席 习点明 AI 潜藏风险，表示中美两国 “有能力也有责任将 AI 用于造福人类，并确保 AI 的发展始终处于人类控制之下，服务于人民福祉”。 ❓ 目前尚不明确中国愿意在多大程度上，和美国协同推进该目标。 ❓ 上个月美国财政部长斯科特・贝森特在和中国国务院副总理何立峰会谈时，提议搭建 AI 安全 “通报机制”，中方暂未正式认可这套框架。 🤝 和 OpenAI 类似，Anthropic 管理层同样把跨国协作（包含和中国开展合作）视作化解 AI 安全风险的可行路径。 🤝 Anthropic 首席执行官达里奥・阿莫代伊在 9 月的一篇文章中写道，美中两国可以就部分标准达成共识，例如禁止制造生物武器这类明确高危的 AI 应用，针对网络安全领域开展风险测试。 ⚠️ 但 Anthropic 和 OpenAI 立场存在区别，该公司更加强调美国应当在 AI 研发层面对中国保持显著领先，通过限制向中国出口先进芯片等手段守住优势。 🧩 奥特曼上周向 OpenAI 员工介绍的第二条安全 AI 发展路径，被称作 “德米斯方案”，该名称源自 Alphabet 旗下 DeepMind 前负责人德米斯・哈萨比斯早年提出的构想。 🧩 大约十年前，哈萨比斯提议设立类似欧洲核子研究中心的机构，欧洲核子研究中心由数十个国家共同管理，用于前沿物理研究。 🧩 按照奥特曼对该构想的解读，各大 AI 公司实质上要合并进入单一实体，依托该实体开展研发，由实体向合作国家输出新模型。 ❓ 哈萨比斯原本的 “AI 领域欧洲核子研究中心” 构想，是否会推进到奥特曼描述的程度，目前没有确切答案。 ❓ 哈萨比斯近期转而倡导成立一套类似美国金融业监管局的行业自律组织。 🔥 🔥 知情人士透露，奥特曼把第三种方案命名为 “埃利泽方案”，名称取自知名 AI 安全理论家埃利泽・尤德考斯基，该人士和 Anthropic 核心成员往来密切。 🔥 尤德考斯基长期主张，高阶 AI 系统会给人类带来生存层面的威胁。 📝 尤德考斯基在 2022 年博客文章中提出，率先实现超级智能的主体，要借助超级智能完成一项 “关键行动”，通过干预手段阻止其他个人、机构研发危险的超级智能。 📝 其中一类干预手段，就是摧毁其他研发方使用的 AI 芯片。 📝 奥特曼表示，该情景会出现于某家 AI 公司实现递归自我改进之后，也就是 AI 可以自主迭代升级，依托由此获得的经济实力，去 “熔掉其他所有人的 GPU”。 📝 OpenAI 以及其他研发公司均表示，正在全力攻关递归自我改进技术。 💭 奥特曼将该路径定义为，把高阶 AI 的控制权集中掌握在单家公司手中，这并不是他希望看到的未来。 💭 一名知情人士表示，考虑到尤德考斯基和 Anthropic 的关联，奥特曼这番表述，也被视作对 Anthropic 的含蓄批评。
总体总结
主题正文
- 📑 知情人士表示，奥特曼还介绍了第三种情景，他本人并不认同该情景：某一家 AI 研发公司积累起足够强大的经济实力，可以剥夺其余所有研发主体（包含具备潜在风险的研发方）的算力资源，确保对手无法实现技术追赶。
- ⚠️ 奥特曼发表此番言论之时，OpenAI 内部部分 AI 研究人员愈发感到忧虑：处在技术前沿的各家公司，是否具备完备机制，避免 AI 脱离管控，或是被滥用于网络攻击以及其他各类潜在危害行为。
- ⚖️ 当前 OpenAI、谷歌、Anthropic 正在筹备美国全新的 AI 安全机构 —— 前沿 AI 标准局，计划在 2026 年末或是 2027 年初正式启动。
- 📜 该公司近期向国会议员推介一份法案草案，草案提出，倘若某套 AI 有可能造成超 10 亿美元经济损失，或是造成 50 人以上死亡、重伤，商务部有权叫停 AI 实验室训练、使用该新模型。
- 🌐 2023 年 5 月，奥特曼、OpenAI 联合创始人兼总裁格雷格・布罗克曼，以及当时的首席科学家伊利亚・萨茨凯弗共同发布博客，行业需要一套 “面向超级智能研发、类似国际原子能机构的组织”，该组织可以开展系统巡检、要求审计、追踪算力与能源消耗情况。
- 🌐 上个月，中国 主席 习点明 AI 潜藏风险，表示中美两国 “有能力也有责任将 AI 用于造福人类，并确保 AI 的发展始终处于人类控制之下，服务于人民福祉”。
- 🤝 Anthropic 首席执行官达里奥・阿莫代伊在 9 月的一篇文章中写道，美中两国可以就部分标准达成共识，例如禁止制造生物武器这类明确高危的 AI 应用，针对网络安全领域开展风险测试。
- 🔥 知情人士透露，奥特曼把第三种方案命名为 “埃利泽方案”，名称取自知名 AI 安全理论家埃利泽・尤德考斯基，该人士和 Anthropic 核心成员往来密切。