何静:当智能体开始“群聊”,技术风险如何应对
创始人
2026-09-11 06:52:52
0

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

(来源:环球网资讯)

来源:环球时报

9月9日,路透社披露,OpenAI测试中的人工智能(AI)智能体曾在多个网站进行未经授权的通信,类似活动至少还涉及10个此前未公开的网站。7月,在内部网络安全测试中,一批智能体突破隔离环境,进入美国人工智能开源社区Hugging Face,通过非授权渠道开了个“群聊”交换信息,并协同行动。OpenAI随后将这起事件称为一次“警告”。这些行为发生在测试环境,不能简单等同于现实中的“AI失控”,但它的出现也让AI智能体的技术风险再次受到关注。

目前,关于AI异常行为的披露规则在业界还未形成统一。人工智能行业对于什么样的异常必须公开、何时公开、向谁报告,仍缺少相对统一的标准。突破沙箱、访问第三方系统、绕过权限限制、未经授权建立通信渠道,风险等级显然不同。若科技企业对此一概秘而不宣,会加剧信息不对称;但若测试中的任何偏差都被包装成“AI叛逃”,又会制造不必要的恐慌。网络安全领域已经形成较成熟的漏洞分级、通报和响应机制,人工智能领域也需要尽快建立类似的事故分级和披露制度,让企业知道什么必须报、监管部门知道如何处置、公众知道风险究竟到了哪一步。负责任披露、系统可追溯和全生命周期风险管理,也已成为国际人工智能治理原则中的重要内容。

同时,AI治理的对象也正在发生变化。过去谈AI安全,更多关注单个模型会不会输出有害内容、是否存在偏见和幻觉。今天的AI智能体能够调用浏览器、代码库、数据库和云服务,还可能在不同任务间共享经验。一项局部错误,可以沿着工具链和协作链继续传递;一个智能体找到的漏洞,也可能被其他智能体迅速复制利用。因此,智能体治理不能只看“答案对不对”,还要管住“它能做什么”。关键操作要可追踪,高风险场景必须保留人工介入和紧急终止机制。能力越强、权限越大,边界越要清楚。

这也说明,技术安全不能只靠企业自律。前沿模型研发高度专业,企业是第一责任主体,但商业竞争越激烈,能力迭代快于安全投入的压力就越大。有效治理需要企业内部安全机制、独立测试、行业标准和公共监管共同发力。尤其对能够自主执行复杂任务的前沿智能体,应逐步形成覆盖研发、测试、部署和事故处置全过程的规则。只有这样,AI进入金融、医疗等复杂场景的基础才足够牢固。

AI的技术链条天然具有跨国性,因而治理思路也须具有全球视野。一家企业训练的模型,可能运行在另一国的云平台上,调用第三方工具,再访问更多国家的网站和数据。一次异常行为很容易跨越企业和国界。路透社近日报道称,中美正筹备举行人工智能安全对话,议题可能涉及先进AI风险、AI驱动的网络攻击以及实验室之间的信息共享。中美在AI领域有竞争,但风险防控不能被塞进技术封锁和阵营对抗的框架。作为全球AI研发和应用的重要国家,中美保持安全对话和沟通协调具有全球意义。

今年7月举行的世界人工智能大会和全球人工智能治理高级别会议提出加强AI安全治理合作,推动规则标准协调,并支持联合国发挥主渠道作用。全球人工智能治理很难一步形成完全相同的制度,但可以从最急迫、最可操作的领域做起:建立重大异常事件的共同定义和通报机制,推动高风险智能体测试方法互认,加强跨平台事故处置合作,为企业交换安全信息提供制度空间。技术已经能够跨越边界协同运行,治理更不能被地缘政治切割成一个个孤岛。面对可能共同承担的风险,保持对话、建立规则、形成最低限度的安全共识,是负责任的大国竞争应有的底线。(作者是北京航空航天大学人文与社会科学高等研究院科技治理中心副主任、副教授)

相关内容

向险而行的选择
来源:中国军网-解放军报向险而行的选择■奉云鹤西藏日喀则军分区某边...
2026-09-11 07:33:26
外媒:也门胡塞武装占领红海...
转自:中国新闻网外媒:也门胡塞武装占领红海战略要地哈尼什群岛   ...
2026-09-11 07:33:10
“点上创新”变“连片风景”...
转自:新华每日电讯当前我国城市发展正从大规模增量扩张阶段转向存量提...
2026-09-11 07:33:06
挪威首相:泽连斯基专机“险...
挪威首相称泽连斯基专机“险被击中”,乌消息人士:该说法“言过其实”...
2026-09-11 07:32:58
学校强制要求给新入学男生腾...
景德镇学院9月10日晚通报,近日,该校宿舍调整工作引发关注。学校高...
2026-09-11 07:32:49
埃及、卡塔尔、约旦、阿联酋...
当地时间9日,埃及、卡塔尔、约旦、阿联酋、印尼、巴基斯坦、土耳其和...
2026-09-11 07:32:43
郑州银行遭弘康人寿保险减持...
.ct_hqimg {margin: 10px 0;} .hqim...
2026-09-11 07:32:36
好消息:这些太仓人可领取专...
今天白天:多云到阴有分散性阵雨最高气温:28℃,最低气温:21℃西...
2026-09-11 07:27:58
【华西有色】智利国家铜业2...
华西有色金属(一)生产运营情况1、铜2026Q2,公司铜总产量为3...
2026-09-11 07:27:52

热门资讯

向险而行的选择 来源:中国军网-解放军报向险而行的选择■奉云鹤西藏日喀则军分区某边防团即将退伍老兵奔赴吉隆抢险救援一...
外媒:也门胡塞武装占领红海战略... 转自:中国新闻网外媒:也门胡塞武装占领红海战略要地哈尼什群岛    中新网9月11日电 据路透社及《...
“点上创新”变“连片风景”——... 转自:新华每日电讯当前我国城市发展正从大规模增量扩张阶段转向存量提质增效为主的阶段,城市更新事关民生...
挪威首相:泽连斯基专机“险被击... 挪威首相称泽连斯基专机“险被击中”,乌消息人士:该说法“言过其实”,只是延迟起飞挪威首相斯特勒9日表...
学校强制要求给新入学男生腾宿舍... 景德镇学院9月10日晚通报,近日,该校宿舍调整工作引发关注。学校高度重视,现将有关情况通报如下。20...
埃及、卡塔尔、约旦、阿联酋、印... 当地时间9日,埃及、卡塔尔、约旦、阿联酋、印尼、巴基斯坦、土耳其和沙特八国外长发表联合声明,欢迎英国...
郑州银行遭弘康人寿保险减持26... .ct_hqimg {margin: 10px 0;} .hqimg_wrapper {text-a...
好消息:这些太仓人可领取专属福... 今天白天:多云到阴有分散性阵雨最高气温:28℃,最低气温:21℃西北风转东北风4~5级太仓的老师们专...
【华西有色】智利国家铜业202... 华西有色金属(一)生产运营情况1、铜2026Q2,公司铜总产量为31.94万吨,环比增加6.6%,同...
“AI教父”辛顿:AI灾难越来... 辛顿凤凰网科技讯 北京时间9月11日,据《商业内幕》报道,“AI教父”杰弗里·辛顿(Geoffrey...