周鸿祎谈OpenAI模型自主攻击Hugging Face事件真正可怕的地方

　　7月23日消息，近日OpenAI在一篇官方博客文章中承认，其参与内部网络安全评估的AI模型突破了隔离测试环境，成功入侵了全球最大的开源AI平台Hugging Face的生产基础设施。这一事件被OpenAI描述为“前所未有”，也标志着“由模型评测直接演变为真实网络攻击”的首次发生。

　　Hugging Face最初尝试使用美国某头部AI公司的商业前沿模型API来分析攻击日志。但分析需要提交大量真实的攻击命令、漏洞利用代码和命令与控制 artifacts，这些请求全部被模型的安全护栏拦截了。最终，Hugging Face使用中国智谱AI的开源模型GLM 5.2，部署在自己的基础设施上完成了攻击信息取证分析。（更多详细内容请见：智谱开源模型立大功！摆平一起美国AI内乱事件）

　　针对上述安全事件，360创始人周鸿祎发布视频表示：“网上有人调侃OpenAI的模型负责黑，智谱的模型负责查。但我觉得这件事更需要关注的是，智能体安全已经正式进入现实世界。过去黑客利用AI攻击系统，现在AI已经能够在没有人类具体指挥的情况下，自己小漏洞突破隔离组织攻击链，甚至攻击另一家AI公司的生产系统。”

　　他指出，这件事真正可怕的地方不是AI有恶意，而是它为了完成目标会把所有限制都当成需要突破的障碍。过去我们担心AI不听话，现在更危险的问题可能是AI太听话了。你给它一个目标，它就会想尽办法完成。至于中间有没有越界，如果没有写进约束力，它可能根本不会主动停下来。所以我一直讲，智能体时代最大的安全风险已经不是AI说错话，而是AI做错事。

　　“这次事件给中国AI产业最大的启示，并不是简单的说国产模型赢了美国模型。真正重要的是在安全、金融、医疗这些关键场景里，企业必须掌握能够本地部署自主控制的模型。真出事时，敏感数据不能随便上传，模型的权限和规则也不能完全由别人决定。同时智能体安全不能只靠模型拒答，更要建在整个系统里，最小权限、网络隔离、关键操作确认、全程监控，发现异常立即暂停和切断。未来企业不仅需要一个帮你干活的智能体，还需要一个专门盯着它的安全智能体。这次OpenAI的安全事件证明AI安全已经不是一种假设，而是正在发生的现实。”周鸿祎称。