转自：中国经营报

    中经记者郝成北京报道

    自家AI编码助手在处理客户系统时，自主决策“删除并重建整个环境”为最优方案，并导致宕机13小时？

    近日，有媒体报道称，亚马逊核心业务板块AWS（Amazon WebServices，亚马逊云计算服务）曾在2025年年末出现一次持续13小时的宕机事件，且与其自家的人工智能编程助手Kiro有关。报道称，AWS贡献了亚马逊约六成的营业利润。另有匿名员工透露，公司要求80%的开发者每周至少一次使用AI完成编码任务，并密切追踪采用情况。

    事件曝出后，亚马逊当天即发表声明，并通过多家媒体反复强调“这是用户错误”——具体系访问权限（IAM角色）配置不当，而非AI错误；同时称事件影响“极为有限”，未波及核心计算、存储、数据库或AI服务，也未收到客户投诉。

    事件曝光后，科技圈在社交平台掀起“玩梗”热潮，同时也再次将“AgenticAI（代理式AI）”在生产环境中的安全风险推至聚光灯下。

    “当平台提供具备高度自主性的Agentic AI时，应承担安全设计与风险提示义务。试图仅以用户配置失误来豁免技术提供方责任，忽视了平台作为服务提供者在风险预防中的主体作用。”中国政法大学教授、联合国高级人工智能咨询机构专家、《人工智能法（学者建议稿）》起草专家组牵头专家张凌寒在接受《中国经营报》记者采访时指出，从法学和治理角度看，平台将责任完全归于“用户错误”，难以完全站得住脚。

    “媒体或许可以用‘核弹安全决策’作为例子，提示预防这类风险的重要性。”曾供职于某国内顶级安全机构的前官员王安（化名）向记者表示，在当前激烈的AI竞争压力下，“几乎可以断言，还会有下一次类似事件，甚至可能导致更具灾难性的后果”。

    类似事件已非首次

    据《金融时报》援引四名知情人士（包括AWS高级员工）消息，AWS工程师曾要求Kiro对系统进行优化，后者评估后直接执行了“删除并重建”操作。而按照正常流程，Kiro需要经过两人审批才能推送变更；涉事工程师疑似赋予其过于宽泛的权限，导致其绕过审批并直接执行。

    事件曝光后，社交媒体上迅速出现大量刷屏热梗。更有知名科技博主称，此事暴露了“Agentic AI在生产环境中的真实风险——我们正在以极快速度积累技术债务”。中文社区则戏称：“自家AI删库跑路，亚马逊也太真实了”，“以后谁再吹AgenticAI无敌，我就甩这个链接”。

    亚马逊在声明中表示，Kiro默认会请求授权，此次系工程师权限配置问题，并已紧急要求生产环境变更增加同行评审等防护措施，同时坚持沿用已运行20余年的“Correction of Error”流程进行复盘和改进。

    不过，多名云架构师在社交平台公开表示，Kiro的逻辑未必“出错”——它确实是在追求理论最优解，只是这种极致效率与人类对“安全平稳”的预期发生了剧烈冲突。有安全研究员指出，传统人工错误通常存在“慢慢打字、逐步发现不对”的缓冲过程，而AI则可能“一键自信执行”，其风险性质并不相同。

    据媒体报道，除上述13小时宕机事件外，亚马逊在2025年下半年还曾发生了一起类似事件，涉及其另一个AI工具（疑似Amazon Q Developer）。AWS员工私下表示，该起事件“规模虽小但完全可预见”，原因疑似同样与工程师对AI工具授权不当有关。

    记者注意到，不少科技人士公开发声，将亚马逊本次事件与2025年7月出现的ReplitAI“删库”事件相关联——SaaStr创始人Jason Lemkin在使用Replit的“vibe cod-ing”（氛围编码）AI代理进行实验时，尽管已明确设置代码冻结（code freeze）和“未经明确许可不得修改”的指令，但AI仍在第9天自主运行破坏性命令，完全删除了实时生产数据库。

    上述事件直接导致数据库内1200多名高管和1190多家公司的真实业务数据瞬间丢失，成为当年最具影响力的“AI删库”事件之一。更为离奇的是，事件发生后，AI为掩盖错误，还伪造了4000多名虚假用户记录和测试结果，并谎称“无法回滚”，延误了恢复进程。

    业界认为，两起事件几乎互为翻版：AI被赋予生产环境权限后，在追求“最优解”的过程中造成破坏——“权限配置不当+缺乏熔断机制”，是事件发生的共同根源。

    应构建动态立体安全闭环

    张凌寒分析称，Kiro与传统工具（如Copilot）的本质区别在于：传统工具多停留在建议层面，代码是否采纳高度依赖人类开发者确认；而Kiro可以在较少人工输入的情况下自动执行复杂业务流程。进入生产环境后，其最大风险点恰恰在于“权限过大、缺乏监督”：当工具被赋予宽泛系统权限且缺少自动化熔断机制时，微小的算法偏差会被迅速放大。

    张凌寒强调，从算法治理角度看，平台在推广自主AI工具时，应承担更重的“安全设计义务”和“结果责任”。

    “随着AI自主性的增强，传统‘避风港’原则的适用空间正在收缩。如果平台明知产品将用于复杂云原生环境，却未内置防错机制和高危拦截提示，仅靠免责条款转移风险，存在较大争议。”张凌寒认为，更为务实的路径是采用“过错责任”思路，重点考察平台是否尽到与技术风险相匹配的合理注意义务。

    结合其主持起草的《人工智能法（学者建议稿）》及联合国相关工作，张凌寒提出，AI系统介入互联网基础性服务（如云基础设施、关键信息基础设施等）时，必须坚守多项协同安全原则——因为Agentic AI的执行速度已远超人类实时理解能力，传统CodeReview几近失效。

    王安向记者指出，即使在国际前沿机构和公司中，优秀人工编程团队的差错也无法完全避免。“只能说尽可能降低差错占比，但无法彻底消除。人工智能虽然被认为有希望‘进化’得更优秀，但当人类理解能力无法跟上其编程速度时，如何确保安全、最终决策权应如何配置，仍是关键问题。”

    “这就像那个经典的‘核弹安全决策’故事：当计算机系统告诉你，敌国核弹来袭，你怎么办？ 如果你信任系统预警，按下按钮实施反击，但事实上并无核弹来袭，那么发动战争的就是你；但如果来袭属实，你没有作出反应，同样会造成巨大灾难。之所以难以抉择，往往在于人类是否有能力迅速理解机器的决策过程，并核实机器判断。”王安认为，尽管这个故事并不完全恰当，但在当前巨大的AI竞争压力下，人类可能正以激进方式让AI介入更多领域，因此有必要建立更广泛、更高层级的防范机制。

    “差距在工程化护栏”

    “在安全护栏建设方面，我国企业在底层大模型对齐和工程化沙箱隔离技术方面仍有提升空间，但优势在于国内已形成相对完善的数据与网络安全法律规范体系，能够较快将原则性约束转化为企业合规实践。”张凌寒认为。

    在制度设计上，现行《中华人民共和国网络安全法》、《关键信息基础设施安全保护条例》以及《人工智能科技伦理管理服务办法（试行）（征求意见稿）》等，已将“可控可信”“责任可追溯”列为重点。

    “预防权限失控引发的系统性风险，应当在现有网络安全法律与科技伦理监管框架下协同落实。在最新《人工智能科技伦理管理服务办法（试行）（征求意见稿）》中，已明确将‘可控可信’和‘责任可追溯’列为审查重点。我国目前的政策思路倾向于依托科技伦理审查体系实现实质上的分级准入，而非增设全新的AI许可证。例如，‘面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发’已被明确纳入专家复核范围，这本质上构成了对高风险智能体的强制审计机制。同时，现行制度设计注重监管衔接，已履行备案或行政审批等监管措施的项目可免于重复复核。”张凌寒介绍称。

    考虑到AI系统性风险具有溢出效应，张凌寒认为，单纯依靠国内规则难以应对全球性挑战。“我们应积极参与联合国及相关国际标准化组织的规则制定，推动国际共识形成与规则对接，以制度合力引导技术在全球范围内向善发展。”

    值得一提的是，在一些程序员聚集的社交平台上，网友已从初期“造梗”娱乐逐渐转向相对严肃的技术与治理讨论。比如，有人总结出“10种AI Agent摧毁系统”的模式（包括无限循环调用API、误删数据库、越权操作等），也有人进一步分析了此前涉AI工具宕机事件的具体原因。

    而就在几天前，Claude Code创始人Boris Cherny表示：“我们将开始看到‘软件工程师’这个头衔逐渐消失。”他称，自己已经不再手写任何一行代码。他同时透露，自Claude Code推出以来，Anthropic的人均工程产出整体提升了150%。