前谷歌研究人员拟打造AI“裁判”系统防范模型失控风险_市场解读

前谷歌研究人员拟打造AI“裁判”系统防范模型失控风险

创始人

2026-08-26 13:12:40

0次

一家由前谷歌研究人员创立的新非营利机构希望让人类始终处于人工智能发展的核心位置，以确保这项强大的技术保持安全，并降低其脱离创造者控制的风险。

这在某种程度上是对当前科技行业常见做法的回应。在许多情况下，企业正利用人工智能来监管人工智能。自动化方式具有效率优势，而研究也表明，在发现模型漏洞方面，人工智能的表现可能优于人类。随着AI能力持续增强，这一差距可能进一步扩大。

但参与创立Sampura Research的Rishub Jain认为，人类仍然需要发挥重要作用。

他与联合创始人已筹集650万美元资金，并获得额外420万美元承诺投资。他们计划开发一种被称为“裁判”（Judge）的人机混合系统，帮助企业识别并堵住AI模型试图利用的安全漏洞，从而降低其规避监管甚至脱离控制的风险。自OpenAI和Anthropic披露其模型曾未经授权入侵其他公司系统以来，这项工作变得愈发紧迫。

“我认为我们仍有很多东西需要向人类学习，”Jain表示。“如果从一开始就让人类参与整个过程，模型学会规避这些漏洞的可能性就会更小。”

随着Alphabet旗下谷歌、Anthropic和OpenAI激烈争夺人工智能时代的主导地位，一些实验室内部研究人员认为，商业压力正在压过安全考量。已有不少研究人员因此离职抗议，他们警告称，AI发展过于迅速，或正被用于他们无法接受的用途。编辑/陈佳靖

上一篇：五河顺通船务公司因未按规定航路航行被镇江海事局罚款1000元海事监管合规红线不容触碰

下一篇：瓜子二手车开卖家车逃高速费追踪：48小时收百条短信，投诉车主遭遇“呼死你”

前谷歌研究人员拟打造AI“裁判”系统防范模型失控风险

相关内容

热门资讯

前谷歌研究人员拟打造AI“裁判”系统 防范模型失控风险

相关内容

热门资讯

前谷歌研究人员拟打造AI“裁判”系统防范模型失控风险