本文来自微信公众号“安全牛”。
网安领导者和CISO发现，近年来大量影子AI应用程序已危及企业网络，有些甚至持续运行一年多。
这些应用并非典型的攻击手段，而是员工在无IT和安全监管的情况下私自创建的AI程序。目的是实现从自动化报告到营销自动化、数据分析等多种功能。依赖公司数据，它们正在使用私有数据训练公共模型，由此衍生风险。
因此，许多机构将影子AI视为2025年关键威胁之一。
影子AI泛滥成灾
所谓影子AI，是指未经批准在企业内部使用的AI工具和应用。
影子AI就像"数字类固醇"，让人能在更短时间完成更多工作。WinWire的CTO Vineet Arora指出，各部门纷纷使用未批准的AI解决方案，因为直接获得的好处太诱人了。
Prompt Security的CEO兼联合创始人Itamar Golan表示："我们每天看到50个新AI应用，已整理超过1.2万个。约40%默认会使用任何提供的数据训练，这意味着用户知识产权可能被纳入模型。"
影子AI应用数量正快速增长。Software AG的一项调查显示，75%的知识工作者已在使用AI工具，46%的人即使雇主禁止也不会放弃使用。大多数影子AI应用依赖ChatGPT和谷歌的Gemini。
自2023年以来，ChatGPT允许用户在几分钟内创建定制机器人。据统计，一个典型的销售、市场和定价经理，如今平均在ChatGPT中拥有22个定制机器人。
考虑到73.8%的ChatGPT账户都是缺乏安全和隐私控制的非公司账户，影子AI如此蔓延也就不足为奇了。Gemini的这一比例更高，达到94.4%。Salesforce的一项调查显示，超过一半(55%)的全球员工承认在工作中使用未经批准的AI工具。
Arora发现，各业务部门都在秘密使用AI驱动的SaaS工具。由于多个团队拥有独立预算权限，业务部门正在快速部署AI，而且往往没有经过安全审批。
大多数创建影子AI应用的员工并非出于恶意。他们正在应对日益复杂的工作、时间紧缺和更严格的期限。Golan比作"这就像在环法自行车赛中使用兴奋剂一样，人们想获得优势，但没有意识到长期后果。"
Arora指出，现有的IT和安全框架无法检测影子AI，大多数传统工具和流程都缺乏对AI应用的可见性和控制，这是影子AI在企业中泛滥的原因。
一场看不见的虚拟海啸
这种方式创建的AI应用和工具，很少甚至从未设置防护措施，带来了重大风险，包括数据泄露、合规性违规和声誉损害。
员工可能将敏感信息上传到生成式AI工具中，导致这些数据被不当使用或泄露。据Cyberhaven报告，2024年企业员工上传到生成式AI工具的敏感数据增长了485%。
Golan分析说，当用户在模型中粘贴源代码或财务数据，这些数据就存在于该模型中了。正在训练公共模型的公司，默认使用影子AI应用执行各种任务。一旦专有数据进入公共领域模型，任何组织都将面临更大挑战，尤其是对于有重大合规性和监管要求的上市公司而言。
他举例，数以千计嵌入主流SaaS产品中的AI功能正被修改，在IT或安全人员不知情的情况下训练、存储和泄露公司数据。
影子AI的使用还可能违反企业的数据保护政策和法规要求，导致合规性问题。Golan指出，或许即将出台的欧盟人工智能法案的罚款规模会超过GDPR，并警告说，如果私有数据流向未经批准的AI工具，美国的受监管行业也可能面临处罚。
此外，影子AI还存在运行时漏洞和提示注入攻击的风险，传统的终端安全和数据防丢失系统无法检测和阻止这些风险。
影子AI正在缓慢瓦解企业的安全边界。由于看不到组织内部影子AI使用的激增，许多企业都没有注意到这一点。
Golan举例，一家纽约金融公司的安全主管以为他们使用的AI工具不到10个，但经过10天的审计，他们发现了65个未经授权的解决方案，其中大多数都没有正式许可。
影子AI治理的七个关键
是时候系统治理影子AI了。
Golan认为，组织要直面影子AI，而不能假装其不存在。否则，可能会在问题发生时措手不及。
Arora表示，数据证明，一旦员工了解公司有经过批准的AI途径和明确的政策，就不会再觉得有必要秘密使用未经批准的工具。这可以减少了风险和摩擦。
Arora认为，对于影子AI的管控目标，是在不失控的情况下实现创新。不断平衡灵活性和安全性，不能因噎废食，扼杀创新。因此组织必须制定具有强大安全性的策略，同时让员工有效地使用AI技术，全面禁止往往会导致AI使用地下化，从而加剧风险。
在这种情况下，影子AI治理应该关注以下七个关键：
1.进行正式的影子AI审计。建立基于全面AI审计的起始基线。使用代理分析、网络监控和清单来揪出未经授权的AI使用情况。Arora认为，检测影子AI需要网络流量监控、数据流分析、软件资产管理、申请，甚至人工审计。
2.创建负责任AI办公室，将IT、安全、法律和合规性的政策制定、供应商审查和风险评估集中起来。Arora指出，这种做法在他的客户那里非常有效。他指出，这个办公室应该配套强有力的AI治理框架和对员工的数据泄露潜在风险培训。经审批的AI目录和强大的数据治理将确保员工使用安全、经批准的解决方案。
3.部署AI感知安全控制。传统工具无法发现基于文本的漏洞。采用专注于AI的数据防丢失、实时监控和自动化，以标记可疑提示。
4.建立集中的AI清单和目录。经过审查的已批准AI工具列表，可以减少业务部门对临时服务的诱惑。当IT和安全部门主动更新列表时，创建影子AI应用程序的动机就会减少。这种方法的关键是保持警惕，并对用户需求快速响应安全的高级AI工具。
5.强制执行员工培训，提供影子AI对任何企业有害的实例。Arora说："如果员工不理解，政策就没有意义。"教育员工安全使用AI和潜在的数据处理风险。
6.与治理、风险和合规性(GRC)以及风险管理相集成。Arora和Golan都强调，AI监管必须与关键的治理、风险和合规性流程相挂钩，这对受监管行业至关重要。
7.认识到全面禁令行不通，要想新办法快速提供合法的AI应用程序。Golan指出，全面禁令从来都不管用，反而会导致更多影子AI应用程序的创建和使用。Arora建议他的客户提供企业级安全AI选项(如Microsoft 365 Copilot、ChatGPT Enterprise)，并明确负责任使用的指引。
通过结合集中的AI治理策略、用户培训和主动监控，组织可以利用生成式AI的潜力，而不会牺牲合规性或安全性。Arora强调，单一的集中管理解决方案加上一致的政策至关重要，能够促进创新，同时保护企业数据，这两全其美的最佳方案。
影子AI将长期存在。与其彻底封杀，不如着眼于实现安全生产力，让员工能够按照自己的方式利用AI的变革力量。
参考链接：
https://venturebeat.com/security/shadow-ai-unapproved-ai-apps-compromising-security-what-you-can-do-about-it/
