本文来自微信公众号“GoUpSec”。
随着掌管数字生活入口的万亿美元俱乐部企业——苹果公司跳入人工智能（AI）赛道，AI技术民主化的大幕正式拉开，同时也将AI安全问题推向舆论的风口浪尖。
根据瑞银本周一的智能手机调查报告，在中国以外的智能手机用户中，只有27%的人对提供生成式AI功能的设备感兴趣，价格和隐私才是用户最关心的问题。显然，用户最关心的不是AI带来的效率和体验，而是隐私和AI安全的新威胁。
AI面临的头号威胁：投毒攻击
近日，美国国家标准与技术研究院（NIST）发出警告称，随着人工智能技术的快速普及，越来越多的黑客将发起“投毒攻击”，AI应用的安全性将面临严峻考验。
投毒攻击是针对人工智能（AI）系统的一种恶意行为，黑客通过操纵输入数据或直接修改模型来影响AI系统的输出。
过去，业界针对AI系统的“投毒攻击”并不重视，软件公司Splunk曾在《2024年安全状态报告》指出：“AI中毒仍然是一种可能性，但尚未普及。”
但是安全专家们警告CISO加强戒备，因为有迹象表明黑客正越来越多地瞄准AI系统，尤其是通过破坏数据或模型来进行投毒攻击，各种规模和类型的企业都可能成为攻击目标。
咨询公司Protiviti透露，该公司的一家客户企业近日遭遇了投毒攻击：黑客试图通过投喂恶意输入数据来操纵该公司AI系统的输出结果。
Protiviti指出：“所有企业，无论是内部开发的AI模型还是使用第三方AI工具，都面临投毒攻击风险。”
四种主要的投毒攻击
NIST在2024年1月的一份报告中强调了投毒攻击的危险性：“中毒攻击非常强大，可导致AI系统的可用性或完整性受到破坏。”
NIST将投毒攻击划分为以下四大类型：
可用性投毒：无差别地影响整个机器学习模型，相当于针对AI系统的拒绝服务攻击。
目标投毒：黑客在少数目标样本上诱导机器学习模型产生错误的预测结果。
后门投毒：通过在训练时在一部分图像中添加小的触发补丁并更改其标签，可以影响图像分类器，以在实际使用时激活错误行为。
模型投毒：直接修改训练后的机器学习模型以注入恶意功能，使其在特定情况下表现异常。
NIST和安全专家指出，除了中毒攻击，AI系统还面临隐私泄露以及直接和间接提示注入等多种攻击。
NIST研究团队主管ApostolVassilev表示：“企业部署AI会引入全新的攻击面，我们已经看到了学术界和其他研究人员展示的漏洞利用。随着AI技术的普及，黑客攻击的价值也随之增加，这也是为什么我们会看到更严重的漏洞利用，我们已经看到相关案例的增加。”
AI投毒攻击可来自内部或外部
安全专家表示，中毒攻击既可能由内部人员发起，也可能由外部黑客发起，这与传统的网络攻击类似。
FTIConsulting管理董事DavidYoussef表示，国家级黑客可能是最大的风险之一，因为他们有能力和资源投资于这类攻击。
专家指出，黑客发起AI投毒攻击的动机与传统网络攻击类似，例如为了造成破坏或损失，以及获取机密数据或勒索金钱。
主要目标：AI厂商
虽然任何使用AI的企业和机构都可能成为受害者，但IEEE高级成员和Hyperproof的CISOKayneMcGladrey表示，黑客更有可能瞄准制造和训练AI系统的科技公司。
最近的一个案例暴露了AI技术供应链上游的潜在巨大风险。科技公司JFrog的研究人员发现，约有100个恶意机器学习模型被上传到公开的AI模型库HuggingFace。
研究人员指出，这些恶意模型可能允许攻击者在加载模型时向用户机器注入恶意代码，可能会迅速破坏大量用户环境。
CISO应该怎么做？
根据ISC2今年2月份的调查，很多CISO并未做好应对AI风险的准备。报告发现，超过1100名受访者中，75％表示中度至极度担心人工智能会被用于网络攻击或其他恶意活动，其中深度伪造、虚假信息和社会工程是网络专业人士最担心的三大问题。
尽管人们对此高度担忧，但只有60%的人表示，他们有信心带领组织安全采用AI。此外，41%的人表示，他们在保护AI和ML技术方面几乎没有或根本没有专业知识。与此同时，只有27%的人表示，他们的组织制定了有关AI安全和道德使用的正式政策。
ISC2首席信息安全官JonFrance表示：“一般的CISO并不擅长AI开发，也没有将AI技能作为核心竞争力。”
安全专家建议，防御投毒攻击需要采用多层防御策略，包括强大的访问和身份管理程序、安全信息和事件管理（SIEM）系统以及异常检测工具。此外，还需要良好的数据治理实践以及对AI工具的监控和监督。
NIST在《对抗性机器学习》报告中也提供了详细的缓解策略和关于投毒攻击的详细信息。
最后，一些安全领导者强烈建议CISO在团队中增加接受过AI安全培训的专业人才（普通SOC团队无法评估训练数据集和AI模型），并与其他高管合作，识别和理解与AI工具相关的风险（包括中毒攻击），制定风险缓解策略。
