本文来自微信公众号“安全内参”，安全内参编译。
安全内参1月21日消息，英国头部企业软件厂商Sage集团确认，由于Sage Copilot在会计工具中泄露了客户信息给其他用户，公司决定本月暂时停用这款AI助手。
Sage Copilot错误展示了其他客户的数据
一位知情人士上周向外媒The Register透露：“有一位客户发现，当他们请求Sage Copilot展示最近的发票列表时，AI从其他客户的账户中提取了数据，包括他们自己的账户信息。”
该消息人士表示：“这个问题经过支持热线报告后得到了确认，因此公司决定暂停AI的访问权限。”
在接受The Register采访时，Sage公司将此次事件描述为“轻微问题”，并否认机器学习系统像一些人担心的那样泄露了符合《通用数据保护条例》（GDPR）定义的敏感数据。
一位公司发言人表示：“在发现Sage Copilot在Sage Accounting中出现涉及少量客户的轻微问题后，我们立即暂停了这款AI助手。问题仅涉及少数客户的无关商业信息，并未暴露任何发票。修复工作已经完全完成，Sage Copilot正在按预期正常运行。”
发言人补充道，Sage Copilot已于上周一暂停了数小时，以调查并修复该问题。
Sage Copilot已内测近一年
Sage Copilot于2024年2月发布，开发者将其描述为“一个值得信赖的团队成员，能够实时处理行政和重复性任务，同时建议客户如何创造更多时间和空间，专注于发展和扩展他们的业务。”
这款聊天机器人旨在自动化工作流程、捕捉错误，并生成与商业会计相关的建议行动。
公司在其官网上表示：“每一步都优先考虑Sage Copilot的准确性、安全性和可信度，结合专家支持、强大的加密技术、访问控制和遵守数据保护法规。”
目前，Sage Copilot仍处于早期访问阶段，使用者仅限于受邀客户，且只有少数客户在使用该产品；公司发言人未透露具体使用人数。
AI失控事件频发，安全需要重视
微软表示，AI模型使得网络安全变得更加复杂。并且通常会有警告提示用户验证AI输出的内容，因为这些输出常常不准确。然而，企业依然坚持部署AI服务，尽管偶尔会因此感到沮丧。
本周，苹果暂停了Apple Intelligence的新闻总结功能，原因是担心该AI服务的总结内容不准确。
2024年，加拿大航空公司的聊天机器人错误告知丧亲票价折扣信息，导致公司向一名旅客赔付数百美元。麦当劳则在客户投诉AI点餐错误后，终止了自动点餐试点。
2023年，加利福尼亚州沃森维尔的一家汽车经销商使用的GM聊天机器人被巧妙的提示工程（prompt engineering）欺骗，导致该机器人同意以1美元的价格出售一辆2024款雪佛兰Tahoe。两年前，Zillow因其基于AI的房产估值失败，损失了3.04亿美元，并裁员2000人。
AI模型甚至已发明出虚假的软件包名称、引用不存在的法庭案件，并指控无辜的人犯下未曾犯下的罪行。
与此同时，包括Anthropic、Meta、微软、OpenAI和Nvidia等多家大型AI公司，因其用于开发这些模型的数据，正面临版权诉讼。
参考资料：theregister.com
