微软 CEO：应将前沿模型视为内部风险，控制须置于模型之外

ChainCatcher 消息，微软首席执行官萨提亚·纳德拉发文讨论超级智能时代的信任架构。他称，传统软件可把行为追溯到具体代码路径，而当前超级智能系统缺乏这种机制性理解，无法将模型行为与输出归因于特定训练数据或权重配置，却正在被部署并接触敏感数据、代为执行关键行动。他表示，不能把对智能行为的责任外包给模型提供方，也不能把超级智能当作层层嵌套的黑箱来接受或拒绝其建议与行动。

纳德拉提出，应将智能的供给与对智能的授权分开，用确定性系统设计、人工控制和操作规程包围非确定性模型，并在现有标准不足时建立行业标准。他建议把闭源与开源权重的前沿模型当作内部风险来管理，并非因为它们必然具有恶意，而是因为具备足够能力且能接触重要系统的行为主体可能出错或被攻破。相关做法包括建立身份、限制权限、记录活动并设置隔离边界，模型思维链透明应成为不可协商的起点。

他进一步称，权限与行动控制必须置于模型之外，模型、编排层与行动空间应分离。原则包括避免单一模型成为重要结果的唯一依赖或核验自身工作，关键行动须留下防篡改且人类可读的证据，持续测试失败、攻击与边界情况，组织独立决定访问与行动权限，验证独立于被验证的智能，预设模型已被攻破并支持中途暂停或关闭，以及在失效或被攻破时及时披露并在行业内共享教训。他总结称，最值得信任的超级智能系统，是让人最少需要信任模型的系统。