---
title: "📄 📌 过去几十年，随着传统软件系统在整个经济领域广泛部署，我们拥有将行为追溯到特定代码路径的工具和能力。 📌 而在当今的超级智能系统中，这种机制性的理解却无从"
topic_id: 82258228158481152
created_at: 2026-10-11T14:49:35.550+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 📄 📌 过去几十年，随着传统软件系统在整个经济领域广泛部署，我们拥有将行为追溯到特定代码路径的工具和能力。 📌 而在当今的超级智能系统中，这种机制性的理解却无从

- 序号：129
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/82258228158481152)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

📄 

📌 过去几十年，随着传统软件系统在整个经济领域广泛部署，我们拥有将行为追溯到特定代码路径的工具和能力。
📌 而在当今的超级智能系统中，这种机制性的理解却无从获得，尽管驱动这些系统的前沿模型如今已比传统软件系统更为强大。我们无法将模型的行为和输出归因于特定的训练数据输入或模型权重配置。然而，我们却在部署这些复杂的智能体系统和模型，让它们访问我们最敏感的数据，并赋予它们代表我们执行关键任务操作的能力！
📌 这就是为什么现在需要退后一步，评估这个新时代的信任架构。我们绝不能将智能代表我们所做之事的责任外包出去。
📌 我们不能将超级智能视为一组嵌套的黑箱，只是简单地接受或拒绝其建议、答案和行动。我们必须构建受控系统，其行为可观察、边界可测试、行动始终可控。
📌 换句话说，
📌 暂且搁置对齐这一难题，我们需要从工程方法入手，实现遏制与治理。我们需要用强大的确定性系统设计、人工控制和可靠的操作流程来包围非确定性模型，并在现有标准不足的地方建立行业标准。
📌 并非因为它们一定怀有恶意，而是因为任何足够有能力的行为者，只要能接触到重要系统，就可能犯错或被攻破，而遏制与控制的架构必须考虑到这一点。
📌 好消息是，我们已经学到了很多关于如何在公司内部处理强大行为者的经验。这并非新问题！我们已经建立了一套最佳实践，并在数十年间不断完善（建立身份、限制权限、记录活动、创建遏制边界等）。
📌 而我们现在正开始将同样的原则应用于公司内部的超级智能。首先要做到“神经语” 不能成为模型推理不透明的借口。但仅靠思维链透明还不够，也不可靠，因为我们还不知道如何让模型输出本身始终忠实或透明！
📌 你可以而且应该用模型来对抗性地测试和验证彼此。然而，这样一来，你最终可能得到一个不透明的模型，处于一个不透明的编排层之中，又被另一个不透明的模型监视着。本质上就是层层嵌套的黑箱。
📌 这就是为什么这建立在可追溯到 20 世纪 70 年代的信息安全原则之上，即程序不得绕过或篡改执行其权限的机制。
📌 如今，这意味着将模型与编排其工作的框架以及定义其能力范围的操作空间分离开来。这也意味着将控制措施和保障机制外部化。
📌 因此，我们应该围绕可观测性原则来设计这些系统：
📌 不应让任何一个模型成为重要成果的唯一依赖，也不应让它负责验证自己的工作。
📌 每一个有意义的模型行为都必须留下防篡改、人类可读的证据。如果无法被观察，就无法被信任！我们需要能够复现某个结果是如何达成的，而不依赖模型自身来证明这一点。
📌 我们需要持续测试整个系统，包括故障、攻击、边缘情况、系统变更等，而不仅仅是成功的任务。
📌 各组织应能够独立决定模型可以访问什么以及可以采取什么行动。
📌 验证必须独立于被验证的智能。任何单一模型都不应同时控制系统行为以及判定该行为是否与原始意图一致所需的证据。
📌 我们必须假设模型已被攻破，并从一开始就对其进行遏制。可以把它想象成一个紧急刹车。获得授权的人员应当始终能够暂停或在任务中途关停模型。更先进的模型将需要更先进的遏制技术，而我们需要将这些技术标准化。
📌 当这些系统确实出现故障或被攻破时，我们需要及时向受影响方披露，并建立机制来分享出了什么问题、哪些控制措施失效了、如何防止再次发生，以及在全行业分享经验教训。这应包括会改变智能体运行时行为的实现细节。
📌

## 总体总结

主题正文
1. 📌 而在当今的超级智能系统中，这种机制性的理解却无从获得，尽管驱动这些系统的前沿模型如今已比传统软件系统更为强大。
2. 我们无法将模型的行为和输出归因于特定的训练数据输入或模型权重配置。
3. 然而，我们却在部署这些复杂的智能体系统和模型，让它们访问我们最敏感的数据，并赋予它们代表我们执行关键任务操作的能力！
4. 📌 我们不能将超级智能视为一组嵌套的黑箱，只是简单地接受或拒绝其建议、答案和行动。
5. 我们需要用强大的确定性系统设计、人工控制和可靠的操作流程来包围非确定性模型，并在现有标准不足的地方建立行业标准。
6. 📌 并非因为它们一定怀有恶意，而是因为任何足够有能力的行为者，只要能接触到重要系统，就可能犯错或被攻破，而遏制与控制的架构必须考虑到这一点。
7. 📌 这就是为什么这建立在可追溯到 20 世纪 70 年代的信息安全原则之上，即程序不得绕过或篡改执行其权限的机制。
8. 📌 当这些系统确实出现故障或被攻破时，我们需要及时向受影响方披露，并建立机制来分享出了什么问题、哪些控制措施失效了、如何防止再次发生，以及在全行业分享经验教训。