阿里巴巴首席科学家周靖人：Agent执行要有安全沙箱机制
创始人
2026-09-10 11:58:43
0次
2026Inclusion·外滩大会于2026年9月9日至12日在上海黄浦世博园区举行，本届大会以“共创AI新经济”为主题。
阿里巴巴集团首席科学家周靖人表示，在权限层面，可以把Agent类比成一个人，当你给人下达指令时，同时会附带约束条件，明确哪些事情允许他去做。
在模型侧，他表示，安全能力已经取得长足进步，但仍有大量工作要持续推进。很关键一点，我们会给模型设置强约束，并且要保证模型始终遵守这些约束，不会因为中途读取其他资料，就弱化对约束条件的理解。
他强调，这里要做好区分：一类是硬性限制规则，另一类是任务执行过程中需要处理的数据。处理数据，不等于数据可以覆盖原有约束。比如设定100元以内完成任务，即便模型读到一份材料说要200元，Agent依然必须遵守最开始的限额约束。
他到安全与信任问题，他指出还有一个关键点：Agent执行要有安全沙箱机制，防止本意让它做A，结果它执行了B。这套能力由整套Agent系统来管控，提供安全执行环境。
他认为，理解Agent的信任问题其实不用想得太复杂，就把Agent当作人来看待。就像和同事协作，分配任务时都会附带约束条件。“Agent之间的协作，和人与人之间协作逻辑相近。只要把约束条件定义清楚，搭建好沙箱执行环境，让模型分清什么是强约束、什么是待处理数据，这个问题就能逐步得到很好解决。”他说。
相关内容
热门资讯
“槐young青春 苑你美好”...
距离“槐young青春 苑你美好”槐苑文化体育公园国风市集开集还有2天！9月12日下午，属于国风爱好...
第二届埃及航展在阿拉曼举行，多...
【文/观察者网 山猫】 当地时间9月8日，2026阿拉曼国际航空展（EIAS 2026）在埃及阿拉曼...
央行：提升货币政策的沟通和预期...
格隆汇9月10日丨中国人民银行副行长陆磊9月10日在国新办“开局起步‘十五五’”系列主题新闻发布会上...
中国人民银行副行长陆磊：推进人...
9月10日金融一线消息，国新办就金融领域贯彻落实“十五五”规划、推动金融强国建设有关情况举行新闻...
美国司法部据报调查英伟达与Gr...
美国司法部正在调查英伟达与人工智能芯片初创公司Groq达成的技术许可及人才引进安排，审查交易是否...
商务部：敦促法方立即停止利用《...
人民财讯9月10日电，针对“法国官员近日表示，法国《反超快时尚法》不具有歧视性和针对性，主要目的是保...
中国人民银行副行长陆磊：完善金...
9月10日金融一线消息，国新办就金融领域贯彻落实“十五五”规划、推动金融强国建设有关情况举行新闻...
证监会李超：健全“长钱长投”的...
炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 9月10日，国新...
118款生物药专利悬崖将至，中...
炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ （来源：网易科技）图...
证监会副主席李超：引导上市公司...
来源：上海证券报·中国证券网上证报中国证券网讯（记者 梁银妍）中国证监会副主席李超10日在国新办举行...