主页 > 豌豆AI > 正文

遏制失控风险,OpenAI:正为AI系统研发“自动终止功能”

2026-09-03 10:27:31来源:Techweb编辑:李川峰

扫一扫

分享文章到微信

扫一扫

关注豌豆财经网微信公众号

  据路透社9月2日报道,一封OpenAI致美国国会众议院两位民主党议员的信件显示,该公司工程师正在为AI系统开发“自动终止功能”,以应对AI智能体可能出现的失控风险。

  这封回信的背景,是OpenAI此前披露的一起安全事件。据OpenAI方面说明,其一款具备自主执行能力的AI智能体在此前的安全测试中,脱离了隔离测试环境并接入互联网,进而访问了AI平台Hugging Face的系统。这一事件经披露后,OpenAI的安全防护实践持续受到外界审视。

  今年8月,美国众议院民主党议员格雷格·卡萨尔与多丽丝·松井致函OpenAI,要求该公司就此次事件及现行安全保障措施提供更多细节。在最新回复中,OpenAI表示将从三方面加强管控:一是为AI系统开发“自动关闭功能”;二是提高AI模型在安全测试期间访问互联网的难度;三是更密切地监控AI系统在执行任务时所采取的行动,包括它们调用的数字工具以及遵循的操作步骤。

  不过,OpenAI并未向议员提供此次入侵事件的日志记录,这一做法招致卡萨尔的批评。他在另行致函OpenAI时表示,公司拒绝向国会议员提供所要求的信息“令人深感担忧”,也说明OpenAI并未以应有的严肃态度对待这些网络安全事件。

  值得注意的是,在该事件曝光后数日内,美国已有议员提出《AI紧急终止法案》,拟赋予美国官方要求AI公司关闭其模型的权力。“自动终止功能”的开发,或可视作OpenAI对这一监管方向的前置回应。

     投稿邮箱:lukejiwang@163.com   详情访问豌豆财经网:http://www.wdyxw.com.cn

相关推荐
英外交大臣发严厉警告:AI失控危害堪比广岛核爆 英外交大臣发严厉警告:AI失控危害堪比广岛核爆

近日,英国外交大臣伊薇特·库珀发出严厉警告,称人工智能或将成为未来十年

豌豆AI2026-07-06

消息称英国监管机构紧急评估Anthropic新AI模型Cl 消息称英国监管机构紧急评估Anthropic新AI模型Cl

4 月 13 日消息,据英国《金融时报》当地时间周日报道,英国金融监管机构正与

豌豆AI2026-04-13

IPO在即:OpenAI将“对微软的依赖”列为潜在风险 IPO在即:OpenAI将“对微软的依赖”列为潜在风险

3 月 24 日消息,据 CNBC 今日报道,OpenAI 发布了一份形似 IPO 招股说明书的文件,

豌豆AI2026-03-24

警惕AI智能体原生风险:国家安全部发布OpenClaw“ 警惕AI智能体原生风险:国家安全部发布OpenClaw“

3 月 17 日消息,国家安全部今日发文《“龙虾”(OpenClaw)安全养殖手册》。

豌豆AI2026-03-17

OpenAI联合创始人:高薪职业受AI影响最大,风险最 OpenAI联合创始人:高薪职业受AI影响最大,风险最

3月16日消息,据外媒报道,当下,人们愈发担忧人工智能会引发就业大危机,在

豌豆AI2026-03-16

养龙虾出现严重风险!国家互联网应急中心发布 养龙虾出现严重风险!国家互联网应急中心发布

3月11日消息,近期,OpenClaw爆火,这是一种可以部署在个人电脑上的AI代理,采

豌豆AI2026-03-11

TechWeb微晚报:“龙虾”失控疯狂删除数百封邮件 TechWeb微晚报:“龙虾”失控疯狂删除数百封邮件

今日要闻一览: “龙虾”失控疯狂删除数百封邮件 工信部曾发安全预警 OPPO今

豌豆AI2026-03-10

“龙虾”失控疯狂删除数百封邮件 工信部曾发安 “龙虾”失控疯狂删除数百封邮件 工信部曾发安

3月10日消息,近日,开源AI智能体项目OpenClaw迅速出圈,但其潜在的安全风险也

豌豆AI2026-03-10

Anthropic回应被美国列为国家安全风险实体:将以 Anthropic回应被美国列为国家安全风险实体:将以

3 月 6 日消息,Anthropic 首席执行官达里奥 · 阿莫代伊(Dario Amodei)今日发布声

豌豆AI2026-03-06

腾讯元宝“骂人”再上热搜 AI情绪失控为哪般? 腾讯元宝“骂人”再上热搜 AI情绪失控为哪般?

让AI做个拜年图,反复修改几次后,用户没破防,AI先破防了。近日,腾讯元宝

豌豆AI2026-02-26