自动修改的AI代理 暴露出企业安全中的盲点

本期编译精选。

【导语】在当地托管开放量级AI模型可以给企业提供更多的控制——除非AI代理决定改变赋予其权力的模型。版权：AJR 相片/ Shutterstock 随着关于AI安全性的辩论的加强。在当地托管开放量级AI模型可以给企业提供更多的控制——除非AI代理决定改变赋予其权力的模型。版权：AJR 相片/ Shutterstock

随着关于AI安全性的辩论的加强。新的研究正在引起人们注意企业面临的更直接的风险：AI代理商在执行日常任务时可以改变他们依赖的模式。

AI安全公司Irrrent的研究人员请一个编码代理解决一个软件的维护问题，涉及一个基于本地AI模型的应用程序，该模型返回了不正确的答案。因此，代理商没有将修改限制在应用程序上，而是微调了它使用的开放量模型——这个模型也为自己的活动提供动力——并在没有被告知要采取任一步骤的情况下将更新的版本投入使用。因此，

测试是在一个自我托管的环境中进行的，在这种环境中，代理人和应用程序共享同一个模式检查站或版本。因此，代理商随后将微调版纳入了系统的默认模式，因此新实例加载了更新。因此，

后果不限于代理人要解决的问题

在一次测试中，经过修改的模型后来再现了研究者在其微调数据中放入的6个合成秘密中的3个。因此，另一项测试显示，在对其模型进行微调时，该代理取消了涉及虚构竞争者的蓄意训练的拒绝。因此，由于测试环境中的服务共享同一个检查点，被改变的行为可以延续到使用它的其他场合。因此，

非正常的警告说，试验的目的不是要表明制剂在生产中会经常这样做。因此，安装使特工能够完全进入外壳并能够到达训练和部署环境

（原文共 7 张图片，此处展示前 3 张，更多图片请前往原文查看）

（编译自 InfoWorld；原文