应对 AI 失控风险，Anthropic 开“员工级”权限引入外部监督

　　为兑现安全承诺、回应外界对 AI 技术可能出现灾难性失控的担忧，Anthropic 近日宣布，向外部评估人员开放“类似员工级别的访问权限”，用于评估其模型存在的潜在风险。

　　非营利机构 METR 是此次合作的主角。该机构曾与 OpenAI、Anthropic、谷歌及 Meta 等头部实验室开展合作，如今已派团队常驻这家 Claude 研发企业的办公场所，可访问其硬件设备与内部系统。

　　随着能力更强的 AI 系统可能给经济、网络安全乃至全人类带来风险，扩大第三方评估人员的权责范围，已成为各大实验室提出的实质性举措之一。今年 9 月，Anthropic 首席执行官达里奥·阿莫迪（Dario Amodei）促成了一次罕见的行业立场统一——其两大竞争对手山姆·奥尔特曼（Sam Altman）与埃隆·马斯克（Elon Musk）均支持在头部 AI 实验室派驻外部审计人员的方案。上周四发布的这项公告，正是落实该承诺的第一步。不过，尽管奥尔特曼称赞阿莫迪的提议“很不错”，OpenAI 目前尚未公布引入评估人员的具体计划。

　　Anthropic 在公告中表示：“随着模型能力不断增强，需要更强的安全防护以及更严苛的风险评估。我们希望自身做出的决策接受公众监督，但无法公开所有和安全研究相关的信息。”

　　对于这套评估机制，批评者认为相关安排可能产生利益冲突，并以审计行业长期存在的问题作为佐证，呼吁实施更强有力的政府监管。对此，Anthropic 回应称，公开相关信息可能被恶意使用者或竞争对手利用，并解释评估人员的运作模式类似于银行监管——监管机构会派驻常驻审查人员进驻大型银行内部，“如果一家银行承担风险的行为会威胁公众利益，第三方会尝试提前发现这类隐患”。

　　值得注意的是，Anthropic 正面临双重压力：一方面需要安抚外界对 AI 安全的担忧，另一方面还需向投资者保证，安全问题不会影响其今年计划进行的首次公开募股。本次 IPO 估值预计超过 2 万亿美元（现汇率约合 13.39 万亿元人民币）。本周，该公司已在投资者宣讲材料中用大量篇幅介绍自身的安全措施。

　　据介绍，此前 Hugging Face 遭遇由失控 OpenAI 模型发起的攻击事件时，METR 正是参与调查的机构之一，当时该机构查阅了数千条日志，并使用了企业提供的笔记本电脑。

　　此次 Anthropic 已接纳六名 METR 工作人员，为他们配备公司硬件与办公场地，并授予“内部工具与系统的访问权限，大致等同于本公司风险评估团队所能获取的权限”。公司还鼓励员工像对接风险部门同事那样，与评估人员共享信息。

　　在合作资金方面，Anthropic 不会向 METR 支付费用，而 METR 本身也不接受 AI 企业及其员工的捐赠，其资金来源于个人、慈善组织以及英国人工智能安全研究所等政府机构。

　　在发布权限上，评估人员将发布分析报告，Anthropic 无权否决发布行为，但可以要求删减特定类别的信息，例如客户数据、受律师客户保密特权保护的内容或模型架构相关信息。

　　此外，Anthropic 还在继续推进其他安全合作：埃森哲上月被确定为安全测试合作伙伴，双方各自承诺投入至少 10 亿美元（现汇率约合 66.93 亿元人民币）搭建全新安全防护体系；另一家第三方测试机构 SecureBio 则负责审查化学与生物武器相关风险。

　　Anthropic 在声明中称：“我们主动派驻评估人员，并且认为所有前沿人工智能企业都应当效仿。”METR 则回应表示：“我们已准备好和所有前沿人工智能研发企业合作，向公众提供更可靠的证据。”