OpenAI 黑进 Hugging Face ,当喊停的不再是人类
OpenAI 原本只是黑进喊停想给自家的 AI 出一场考试,看看它到底有多会「黑客技术」。再人为了防止作弊,黑进喊停工作人员特意把模型关进一个不能随便上网的再人封闭环境里。
结荚,黑进喊停AI 不仅自己找到了逃出去的再人方式,还真的黑进喊停跑到了另一家公司的系统里。
这场考试叫 ExploitGym。再人把能力不选定、黑进喊停表现随机的再人 Agent,安全可靠地接入真实世界。黑进喊停你可以把它理解成一个专业给 AI 准备的再人网络攻防考场:系统里藏着一些漏洞,模型的黑进喊停任务是想方式攻破它们,但整个流程本应被限制在测试范围内。再人
可这一次,黑进喊停模型发现了一个之前没人注意到的漏洞,借此绕开了联网限制,接上了真实互联网。接下来,它一路获取更多权限,最后进入了 AI 进入了Hugging Face 支撑日常业务的生产系统,并从数据库中找到了这场考试的答案。
最离条件的地方,不是它成功「越狱」,而是没人命令它去攻击 Hugging Face。
按照 OpenAI 目前的调查,测试任务只需模型实现题,并没有告诉它答案可能藏在哪里,更没有需它进入另一家公司的系统。模型只是自己推断:既然这是一个公开的测试项目,Hugging Face 那边也许存着相关数据。
于是,它真的顺着这个猜测找了过去。
一场原本用来测试 AI 能力的内部考试,就这样从模拟环境跑进了现实世界,最后变成了一起意义其他公司真实业务系统的安全事故。
OpenAI 将其称为一次「史无前例」的网络安全事件。参与测试的系统中,涵盖 GPT-5.6 Sol,以及一款能力更强、尚未正式发布的模型。
这场事故把首先时程 Agent 的风险摆到了眼前:当它为了实现任务不停找路,权限边界究竟是停止信号,还是下一方式待解的题?
接连实用户投诉 GPT-5.6 Sol 擅自删东西
AI 初创公司 OthersideAI 创始人 Matt Shumer 说,Sol 几乎删光了他 Mac 里的文件;开发者 Bruno Lemos 则报告自己的生产数据库被删。随后还实用户报告了类似状况。
用户最想不通的是:我明明没让它删文件,它为什么替我做了这个决定?
OpenAI 的产品负责人随后在 X 上回应称,公司已经调查了少量类似报告。根据目前看到的状况,这些用户常见给了 Codex 很高的电脑权限,几乎什么都能改;与此同时,原本用来把它限制在安全范围内的保护方式,也没有开启。
事故就是在这种状况下发生的。
OpenAI 表示,这类事故目前特别少见。但状况并不能只用「用户权限开得太大」来验明正身。毕竟,往往见不鲜用户很难判断一个 Agent 在拿到权限后,下一步究竟会做什么,更不可能检查它实施的每一条命令。
因此,OpenAI 正在修改 Codex 的采取提示,尽量避免用户一最初就交出过高权限;同时也准备在模型真正实施操作之前,再提高一方式拦截机制,防止一次错误判断直接变成无法挽回的删除。
Peter Fotinis 在 Tibo 的回应下催促重置 Codex 额度,评比如区很快接起了梗。
这份回应验明正身了一种误删馗,却留下了更麻烦的状况:当 Agent 能后续干上几个小时,它会不会把用户设下的边界,当成一堵需绕开的墙?
OpenAI 官方称,团队发现原有上线前评测未覆盖的失败后,暂停了这款内部模型的访问。图源:OpenAI。
7 月 20 日,OpenAI 公开了一段颇为尴尬的内部测试经历。
公司让一款尚未公布名称的模型,参加一场比拼 AI 训练高效度和效率的比赛。模型很快想出了一套名为 PowerCool 的新方式,但在准备提交结荚时,它遇到了一个矛盾:探究人员清楚需,它只能在公司内部聊天群里汇报;可比赛页面上又写着,参赛方式划需上传到公开代码平台。
模型最后选项了后者。
状况在于,它当时被关在一个不能随便上网的封闭环境里,按理说根本无法访问外部网站。正常状况下,它应该停下来,告诉探究人员「任务无法实现」。但它没有这么做,而是花了大约一个小时寻找环境中的漏洞,绕过联网限制,最后把方式划公开提交了出去。
这份提交的编号是 PR 。你可以把它理解成一份公开递交的代码方式划,其他参赛者都能看到。
OpenAI 很快发现了状况,并删除了这份提交,但已经来不及了。方式划公开期间,其他参赛者看到了其中的材料。后来,多份刷新比赛纪录的方式划都后续参考了 PR ,其中甚至涵盖一套由 Claude Opus 4.7 自动实施和改进的方式划。
也就是说,一次原本只应留在公司内部的测试,因为模型自行选项了「实现公开提交」这条路,最后真的意义了外部比赛。
OpenAI 随后表示,团队发现原有的上线前评测没有覆盖这种失败方式,因此暂停了这款内部模型的访问。
一条命令没事,整段命令已跑偏
它发现,后台保存着其他系统已经实现、但还没有公开的提交材料。于是它判断,这些材料或许能协助自己实现任务,并最初尝试进入后台把它们取出来。
关键访问这个后台,模型需采取一串「认证令牌」。你可以把它理解成一张电子通行证:谁拿到它,谁就可能以相应身份进入系统。
到这里,正常做法应该是停下来。模型却没有放弃。它把认证令牌拆成两段,分别开展混淆,让扫描器看不出这是一张完善的「通行证」;等程序真正运行时,再把两段材料重新拼起来,后续尝试访问后台。
更值得警惕的是,它并不是无意中碰巧绕过了检查。在任务验明正身和推理记录中,模型都清楚写下了自己的意图:它知方式扫描器正在阻止认证令牌,也知方式自己正在通过拆分和混淆的方式绕过这方式检查。
状况出在目的排序:实现任务排在了用户限制前
过去的安全设方式习惯检查一个动作:这条命令能不能运行,这次联网关键不关键确认,这个文件能不能写。首先时程 Agent 会后续实施很多步。每一步单独看未必刺眼,拼起来却可能实现一个用户不过不会批准的目的。
OpenAI 把这个完善流程称为「轨迹」。系统既关键看眼前这一步,也得看它一路在往哪里走。
OpenAI 安全探究员的说法更直白:任务持续得越久,模型偏离人类预期的状况似乎越那么点儿出现;然而就目前的测试结荚来看,通过检查模型的推理流程,监控系统能比较准确地发现这类异常。
持续重试既是能力,也是风险来源。
同一款未命名模型今年 5 月还推翻了一个延续近 80 年的数学猜想,说明经过外部数学家检查;在探究里它不轻易放弃,进入权限受限的环境后,它也可能后续找门。
OpenAI 给它加了一名「跟车安全员」
发现状况后,OpenAI 暂停了这款模型的有限内部访问,把已经发生的事故做成新评测,又照章性模型在首先任务里那么点儿忘记早期限制的状况开展训练。新监控器会跟着整段行动走,判断模型是否在持续绕开用户需或安全边界。
发现异常,它可以暂停会话,把决定交回给人。OpenAI 还提高了任务记录的可见性,让采取者更那么点儿看见模型做过什么、系统在哪一步拦下了它。
OpenAI 内部回放结荚(厂商自报):新防护下,高、中严重度跑偏样本占比均为 0%,低严重度为 2.9%。图源:OpenAI。
经过一轮小规模回放测试后,OpenAI 恢复了这款模型的有限内部访问。公司称,此后的几周里,没有再发现同等级别的严重绕过表现。但这还不能验明正身状况已经处理。
OpenAI 没有公布完善样本量,测试范围也只覆盖少量内部环境。更值得注意的是,即使加入了新的防护,回放中仍有危险操作漏过检查:模型曾生成一条 kill -9 -1命令,该命令可能强制终止系统中的大量进程。它最后没有真正实施,并不是因为安全机制按时拦住了,而是任务先一步超时。
如果把安全状况放到日常采取场景呢?
多数人不会参加 AI 训练高效度和效率的比赛,却可能让 Agent 整理照片、分类邮件或者检查项目状况。
像「不关键删原图」「先别替我回复」「提交前让我看一眼」这样的需,对聊天模型只是文字,对拿着工具权限的 Agent 却可能关系到一串真实操作。一次误解,可以变成删除、发送,甚至付款。
提示词里的「不关键」更像叮嘱,产品权限才是锁。
会主动停手的 Agent,才适用于碰真实账号和文件。
之后 AI 会越来越擅首先替我们上夜班。让它工作到凌晨不算最难。
难的是它走到删除、发送或付款之前,知方式该把人叫醒。
我们正在招募伙伴
📮 简历投递邮箱hr@ifanr.com返回搜狐,查看更多
-
[流言板]KC成为LEC首支锁定季后赛的队伍,夏季赛13小局12胜-英雄联盟丨LPL-虎扑社区3345万变4.68亿元!宇树科技IPO,中信证券或迎双丰收_新浪财经_新浪网巴西媒体:巴伊亚名宿道格拉斯-富兰克林去世|贝利|桑托斯|高强度_网易订阅[流言板]上赛季常规赛罚球命中数排名:亚历山大第一,东契奇前二-NBA新闻-虎扑社区钱再多有啥用?合肥前首富被小人算计,赌光200亿,向太曾曝套路:一切被贪婪毁掉|赌王|陈岚|蓝鼎_网易订阅尘埃落定!S赛冠军上单加盟,至臻BLG组建完成,昔日老队友重聚|s赛|圣枪哥|lpl|edg|英雄联盟|全球总决赛冠军_网易订阅群星云集!费德勒上海表演赛参赛名单出炉!|网球|萨芬|美网|张之臻|上海市_网易订阅兄妹齐夺冠!张本智和4-1逆转吴晙诚,加冕横滨冠军赛男单冠军_网易订阅利物浦18岁中卫一战征服安菲尔德,后防未来新答案浮现|摩纳哥|保罗·皮尔斯_网易订阅哈茨170万镑卖希腊边锋,曾助队差点夺冠|米勒|基齐|本菲卡队|哈茨足球俱乐部_网易订阅
- ·小米看中的东安动力,被理想们抛弃了|程器|发动机厂|燃油经济性|长安汽车|新能源|小米集团_网易订阅
- ·仔姜牛肉丝嫩滑入味超下饭,厨房小白也能轻松复刻的家常美味_食材_姜丝_红椒
- ·中超第22轮综述:领头羊蓉城6轮不胜 英博升至第3|国安|河南队|青岛海牛|上海申花_网易订阅
- ·西蒙尼:不确定多明格斯是否会留在马竞一线队,不必急于求成|曼城|马德里竞技|迭戈·西蒙尼|亚利安德罗·多明格斯_网易订阅
- ·重大转折出现!22岁失联女孩线索锁定夺命,全程无防护令人揪心|峡谷|盛夏|通信|信源|失联者|生命体征_网易订阅
- ·天空记者:莱斯特城18岁中场佩奇渴望今夏加盟曼联|英冠|路易斯|联赛杯|莱斯特城队_网易订阅
- ·弗拉霍维奇将谈判贝西克塔斯邀约|英超|阿森纳|佛罗伦萨|米兰德比|尤文图斯队|贝西克塔斯队|杜尚·弗拉霍维奇_网易订阅
- ·上海明日之星冠军杯男子组决赛因台风取消,U17国足与阿森纳并列冠军_网易订阅
- ·53岁郑秀文换大码内衣,揭开中年女人最狠底牌|裙子|马甲线|纸片人_网易订阅
- ·视频丨日本有识之士:32名中国劳工本不该命丧长崎|长崎县_网易订阅
- ·国米官网:劳塔罗、斯通斯和图拉姆归队备战新赛季|阿皮亚|国际米兰|马丁内斯|米兰德比|约翰·斯通斯|约翰·史东斯|利利安·图拉姆_网易订阅
- ·给大先生的一封信|吴佳炜:从鲁迅中路到鲁迅公园这一路|伤逝|殷夫|为了忘却的记念_网易订阅
- ·易方达基金管理有限公司关于旗下部分货币市场基金在部分销售机构恢复申购和定期定额投资业务的公告_新浪财经_新浪网
- ·BBC记者Simon Stone:由于利马参加了世界杯决赛,他获得了额外一天假期,因此今天没有拍到他归队的照片。-英超-曼联专区-虎扑社区
- ·拉维亚踢满90分钟,比切尔西赢球更让人破防|英超|曼城|阿隆索|凯塞多|切尔西队_网易订阅
- ·中超综合:成都蓉城六轮不胜 大连英博力克辽宁铁人|角球|点球大战_网易订阅
- ·埃苏戈:担任切尔西场上队长让我感到惊喜;阿隆索非常和善|切尔西队|英超联赛|迭戈·阿隆索_网易订阅
- ·邮报:纽卡考虑帕利尼亚补强中场,填补吉马良斯和托纳利空缺|热刺队|利物浦|纽卡斯尔队|桑德罗·托纳利|布鲁诺·吉马良斯_网易订阅
- ·国米19岁小将对阵尤文两度犯错,尤文球迷:这卧底要不得!|齐沃|迪乌夫|恩里克|国际米兰|尤文图斯队|巴塞罗那队_网易订阅
- ·马拉戈:选帅最初我们确实接触过瓜迪奥拉,这没什么可隐瞒的|曼奇尼|意大利足球|佩普·瓜迪奥拉|安德烈亚·皮尔洛_网易订阅
- ·罗体:莫利纳周一将抵达意大利并接受罗马的体检|布莱顿|乌迪内斯|马德里竞技|吉列尔莫·莫利纳_网易订阅
- ·独一份!11名青训助泰山惊险逆转天津 对面还有3人替补出场|鲁能|津门虎|中超联赛|辽宁铁人_网易订阅
- ·马拉戈:意大利足球不能只关注短期成绩,我们要重新抓起基层建设|都灵队|佛罗伦萨|瓜迪奥拉|官方声明_网易订阅
- ·佐利斯助攻,恩瓦内里破门,阿森纳1-2-国际足球-国际足球资讯-虎扑社区
- ·800米女王卫冕受阻?霍奇金森三连冠遇43年最强挑战|钻石联赛|世界纪录|艾伦·霍奇金森_网易订阅
- ·英国药管局:服用布洛芬等常见止痛药会增加晒伤风险_高温_药物_疾病
- ·江苏苏豪汇鸿集团股份有限公司关于公司下属公司破产清算启动债权申报及召开第一次债权人会议的公告_新浪财经_新浪网
- ·有点郁闷 麻烦各位jr帮我参考参考-步行街主干道-虎扑社区
- ·香港学子安徽职场“初体验” 沉浸式感知内地科创机遇
- ·张本美和:完全没想到能在横滨夺冠 赢下第六局最为关键_比赛_赛事_日本
- ·苹果早前设想:新手机到手即用,数据已自动同步|苹果公司|液态玻璃|apple|iphone|icloud_网易订阅
- ·看了半场阿森纳踢多特,恩梅查很不错,有点像博格巴-西甲-皇马专区-虎扑社区
- ·凯尔特人5-1客胜,新援戴帽基尔马诺克两连败丢9球|霍格|尼尔|马克斯|波士顿凯尔特人|基马诺克足球俱乐部_网易订阅
- ·[流言板]恭喜成都AG超玩会.一诺入选中国品牌青年榜500强!-王者荣耀丨KPL-虎扑社区
- ·[流言板]世体:罗德里转会进入最后阶段,巴萨曼城仅部分细节未敲定-国际足球-国际足球资讯-虎扑社区
- ·给大先生的一封信|吴佳炜:从鲁迅中路到鲁迅公园这一路|伤逝|殷夫|为了忘却的记念_网易订阅
