本文来自微信公众号“嘶吼专业版”，作者/小二郎。
随着生成式AI技术部署日益增加，安全措施也需要具备与之同步的动态、智能和敏捷性。在近期举行的“人工智能智库日”（AI Think Tank Day）上，安全专家们讨论了其中一些变革性网络安全趋势。
趋势1：人工智能云和安全将成为重中之重
在这个GenAI模型正在重塑各行各业的时代，它们与云计算的整合变得不可避免。这些模型需要前所未有的计算能力、专用硬件和广泛的数据集，这使得云成为理想的托管环境。更重要的是，GenAI和云的这种合并引发了复杂的安全问题，组织绝对不能忽视。因此，将人工智能、云和安全作为首要任务不仅仅是一种趋势，这是一个翻天覆地的变化，从根本上改变了网络安全的格局。
GenAI模型在训练阶段需要一个强大的计算骨干，而本地硬件往往达不到这些严格的要求。在训练过程中进行的数学计算的绝对规模需要使用图形处理单元（GPU），这使得具有GPU支持的云环境变得不可或缺。如果没有这种专门的云资源，组织将很难有效地训练他们的GenAI模型，从而导致创新速度减慢和人工智能技术的部署效率降低。
此外，已训练GenAI模型的应用程序（称为“推理阶段”，inference stage）涉及其自身的一组硬件需求。当使用这些模型时（特别是用于实时或接近实时的任务），它们需要高吞吐量和低延迟的环境。在这里，支持GPU的云基础设施再次证明是无价的，它提供了所需的速度和适应性。云平台具有可扩展性的额外优势，允许组织根据不同的工作负载需求调整其计算能力，从而优化成本和性能。
但是，云之所以成为GenAI的理想合作伙伴不仅仅得益于计算方面，数据存储也是另一个关键因素。训练GenAI模型需要大量的数据集，这些数据集可以包括从通用数据到高度专业化、敏感或专有信息的任何内容。在本地管理如此庞大的数据不仅不切实际，而且会带来无数的安全风险，云环境提供了一个更可行的解决方案，以一种为高速检索和操作优化的方式托管大型数据集，同时实现强大的安全协议。
这就引出了一个最重要的问题：安全。
随着GenAI模型和大型数据集托管在云中，保护这个环境变得势在必行。
虽然云提供商配备了多层安全功能，包括身份和访问管理（IAM）、密钥管理、加密和虚拟私有云（VPC），但安全的责任并不仅仅在他们身上，在云中部署GenAI的组织有双重责任，他们需要了解并有效地利用可用的安全措施，确保数据和人工智能模型得到保护。考虑到这些模型是自适应的，并且是不断学习的，任何安全漏洞都可能是灾难性的，可能导致模型吸收损坏的数据，甚至遭受利用系统漏洞的针对性攻击。
因此，GenAI与云计算的结合不仅仅是为了方便或增强功能；它还与不断发展的安全范式紧密交织在一起，这种复杂的关系强调了组织提升其云安全策略的必要性。重点不仅仅是实施当前的最佳实践，还要不断调整和更新安全协议，以应对与GenAI技术同步发展的新威胁。因此，人工智能、云计算和安全的交叉不仅是一种新兴趋势，还是我们处理技术和网络安全问题的关键转变。
趋势2：所有业务应用程序都将使用GenAI重新构建，但安全性仍匮乏
随着GenAI不断渗透到业务应用程序中，并重新定义工作流和过程，对强大的网络安全措施的需求正变得更加迫切。这种紧迫性不仅仅在于更新现有安全协议，还需要重新定义在这种新的、灵活的、由GenAI驱动的环境中实现安全性的方法。
传统上，业务应用程序的本质是使用一套程序语言（如C、C++、Java、Python、Go甚至Cobol）将其编程为一组工作流和过程，这种编码结构虽然可靠，但也创建了一个僵化的系统，不容易适应业务策略、监管环境或市场条件的变化。这些方面的任何更改通常都需要大量的代码更新。这不仅是一个劳动密集型的过程，而且还充满了出错的风险，使整个系统在适应快速变化的商业世界时变得不那么敏捷。
GenAI从根本上改变了这种情况，开创了一个指示工程（prompt engineering）、使用插件API、函数调用和使用AI代理的时代。这种架构现在支持对业务工作流进行动态的、数据驱动的调整；与其被固定的、不灵活的代码所困，企业可以简单地通过改变或重新排序提示来灵活地调整他们的工作流，而无需彻底检查底层代码。
然而，这种变革式的灵活性并非没有挑战，尤其是在网络安全领域。这里引出了两个主要问题：第一个问题是，现有的传统安全措施不适合处理GenAI应用程序固有的动态性和适应性。
鉴于GenAI具有指导甚至重新定义业务流程的潜力，其漏洞影响深远。例如，如果恶意行为者控制了引导GenAI模型的提示，他们就可以在系统级别上操纵业务流程。组织可以将OWASP十大LLM漏洞资源作为理解这些新兴风险的起点。
第二个挑战在于人力资本方面——具体来说，缺乏了解GenAI独特复杂性的网络安全专业人员。GenAI不仅仅是一个工具，还是一个复杂的系统，它有自己的算法、数据依赖关系和潜在行为。确保其安全性需要对GenAI和网络安全有细致入微的了解，而这一技能目前还没有得到广泛应用。这种技能缺口强调了迫切需要旨在为网络安全专家提供专业GenAI知识的培训计划。
这些相互交织的挑战清楚地表明，随着GenAI日益改变业务应用程序的结构，组织必须同步重塑其网络安全方法。这不仅仅涉及改造旧方法以适应新模式，还需要有针对性的研究来创建能够在GenAI环境中茁壮成长的安全框架。同时，对于培养能够有效驾驭GenAI格局的网络安全专业人员的教育计划，也存在着明确而迫切的需求，如果不能解决这些关键问题，企业可能会面临漏洞，这些漏洞不仅可能损害数据，还可能完全破坏自适应工作流程，从而可能对企业运营造成灾难性影响
趋势3：GenAI驱动型网络安全工具的扩散
GenAI对业务应用程序和网络安全领域的影响不容小觑。GenAI从根本上改变了网络安全武器库，促生了一类新的专业工具。虽然这些工具可以在许多类别中找到应用程序，但为了讨论方便，我们将重点关注六个说明性示例。
1）应用程序安全和漏洞分析：GenAI对于如何处理应用程序安全和漏洞分析具有变革性的影响。与依赖静态规则集和签名来识别漏洞的传统工具不同，基于GenAI的工具带来了实时代码分析的优势。这些工具能够适应新的模式并预先识别安全风险，从而为应用程序安全性提供了更加动态和前瞻性的方法。
2）数据隐私和大型语言模型（LLM）安全：这是GenAI影响重大的另一个领域。由于GenAI通常用于处理敏感或个人身份信息的自然语言处理（NLP）应用程序，因此数据隐私成为一个关键问题。此类别的网络安全工具采用数据泄漏检测、加密数据分析、差分隐私和安全多方计算等先进技术来保护数据和模型。
3）威胁检测和响应：在这方面，GenAI通过增加主动能力，将网络安全游戏提升到了一个全新的水平，与依赖历史数据和已知攻击特征的传统系统不同，支持GenAI的工具可以根据新出现的数据模式和异常用户行为预测新的威胁。这实现了一个更具预测性的防线，使组织能够在威胁升级之前及时消除它。
4）GenAI治理和合规性：在高度监管的行业中，这些工具尤为重要，它们给合规性带来了一层新的复杂性，GenAI的使用会引发各种伦理和监管方面的挑战。该领域的工具使用GenAI来自动监控针对多种法律框架和内部政策的遵从性，同时还能预测未来的监管挑战，从而允许组织在潜在的法律问题上保持领先。
5）可观察性和DevOps：GenAI在这一领域也取得了重大进展。此类别中的工具提供对系统行为的实时洞察，并动态地适应变化，从而提供更具响应性和强大的安全态势。在DevOps情境中，GenAI还支持许多安全任务的自动化，从而在不牺牲安全性的情况下加快开发周期。
6）AI偏见检测和公平性：考虑到AI模型固有的偏见风险，这是一个新兴但越来越重要的领域。这里的工具旨在检测和减轻训练数据和模型结果中的偏差，这不仅是道德上的要求，而且对于确保相关人工智能系统的可靠性和可信赖性至关重要。
重要的是要注意，上述仅仅是6个说明性示例，在许多其他领域，基于GenAI的网络安全工具也正在发挥作用。随着这些技术的不断发展，对持续研究、监管监督和技能开发的需求越来越迫切，在GenAI增强安全性的巨大前景与其可能带来的新风险之间取得平衡是一项复杂但不可或缺的努力。因此，迫切需要进行多学科努力，以确保我们在利用GenAI好处的同时，也为它带来的独特挑战做好充分准备。
趋势4：GenAI驱动的网络攻击越来越复杂
利用GenAI技术的网络攻击日趋复杂，这说明在GenAI增强网络安全措施的同时，它也扩大了恶意行为者可用的工具包。
以暗网上出现的两个秘密工具：FraudGPT和WormGPT为例。FraudGPT可以编写恶意代码，创建恶意软件、网络钓鱼诈骗和其他欺诈行为。它似乎没有什么限制，并提供了无限的角色生成，这可能会助长恶意参与者的行为，该工具是基于订阅的，并声称已经实现了数千次销售。
WormGPT是一种新的GenAI网络犯罪工具，允许攻击者更轻松地创建复杂的网络钓鱼和商业电子邮件攻击（BEC），由于几个关键原因，这对安全构成了严重威胁。
第一，它是专门为网络钓鱼和BEC攻击等恶意活动而设计的，没有任何道德保障。这使得即使是新手网络犯罪分子也很容易发动攻击。
第二，它可以自动生成个性化的、令人信服的假电子邮件，这些电子邮件看起来是合法的，增加了收件人上当的可能性。
第三，不像ChatGPT有一些限制，WormGPT没有产生恶意内容的障碍，这使得它更容易被滥用。
第四，它使进行复杂网络攻击的能力民主化，允许更广泛的威胁行为者大规模执行BEC和网络钓鱼活动。
第五，WormGPT实现的自动化意味着攻击可以在没有高级技术技能的情况下快速有效地进行。
最后，它展示了没有适当保障的GenAI模型如何被坏人武器化，并被用来造成伤害。总而言之，WormGPT使网络犯罪分子很容易策划令人信服的社会工程攻击，加剧网络钓鱼威胁，使企业和个人面临更大的妥协风险。
这些工具无不表明GenAI驱动的威胁的适应性和预测性。它们代表了一种新的网络风险，这种风险不是静态的，而是不断发展的，这意味着我们的防御机制也需要实时发展。例如，在创建动态防御系统以预测GenAI驱动的攻击时，可以考虑使用GenAI技术；例如，预测分析可以被整合到入侵检测系统中，在异常行为演变为全面攻击之前识别出它们。
此外，这种快速发展的环境的复杂性表明，孤立的网络安全方法将是不够的。组织需要打破这些孤岛，参与更多关于新出现的威胁和有效对策的协作信息共享。在这种情况下，监管机构也有责任为GenAI的道德和安全使用制定指导方针，确保我们的防御与正在出现的新威胁类别同步发展。
为了应对日益增加的GenAI零日攻击，组织必须彻底检查其现有的零日策略和响应策略，这不仅包括一旦发现漏洞就快速修补，还包括一种更为主动的方法，诸如实时网络流量分析、系统行为的连续监视以及动态安全配置等活动。模拟零日攻击的桌面演变也可以让团队为现实世界的事件做好准备，在时间紧迫的情况下帮助简化响应过程。
同样重要的是，需要将零日防范措施整合到更广泛的网络安全治理框架中。这包括全面的风险评估（可能由GenAI分析增强）以预测潜在的漏洞，常规的第三方渗透测试可以提供额外的保证层，而与其他组织的协作和情报共享可以加快对新漏洞和攻击的识别。
总之，恶意行为者滥用GenAI带来了一系列艰巨的挑战，需要多管齐下、不断发展的网络安全方法。从使用GenAI算法升级我们的威胁检测和响应系统，到鼓励组织间协作和情报共享，防御GenAI攻击的策略必须与威胁本身一样动态且适应性强。这不仅涉及技术调整，还涉及一种更加综合的集体战略，引入监管监督和跨学科研究。
趋势5：攻击面扩展至边缘设备和端点AI模型
随着技术的发展，数据处理能力被推向网络的边缘，安全风险呈指数级增长，攻击面不再局限于大型云提供商或企业网络。现在，它已经扩展到无数设备，从智能恒温器和工业传感器到便携式健康监视器和自动驾驶汽车。
采用LoRA（Low Rank Adaptor）等技术或量化等参数优化技术，使得边缘设备可以在本地运行人工智能模型，虽然这种本地化处理可以在减少延迟和带宽使用方面带来好处，但它也带来了独特的安全性挑战。例如，如果一个运行人工智能模型的边缘设备被攻破，它可能会产生多米诺骨牌效应，危及整个网络的完整性。在边缘设备协作完成共享任务或根据本地数据处理做出集体决策的环境中，这是一个特别严重的问题。
另一层复杂性是由于边缘设备通常缺乏运行复杂安全软件的计算能力。传统的网络安全措施通常不适合设备资源有限的边缘计算环境，对于攻击者来说，这使得它们唾手可得，他们可以利用这些易受攻击的点来获得对更广泛网络的未经授权的访问。鉴于此，公司需要投资专门的端点安全解决方案，以更好地保护这些环境。
边缘环境的安全解决方案必须轻巧而强大，能够在处理能力有限的设备上高效运行。此外，这些解决方案必须设计成与更广泛的边缘计算框架协同工作，这需要一种多层安全策略，不仅包括边缘设备本身，还包括将它们连接到集中式系统的数据管道、控制其操作的算法以及管理它们的用户界面。由于边缘设备经常收集和处理敏感数据，因此必须结合加密和数据屏蔽技术，以确保数据隐私并符合GDPR或CCPA等法规。
然而，在边缘实现强大的安全措施不仅仅是一个技术挑战，这也是一个组织性的问题。安全必须嵌入到企业文化中，强调所有利益相关者（从设计边缘人工智能模型的开发人员到部署和管理边缘设备的运营团队）的共同责任，必须推出安全培训和意识计划，以教育员工在边缘环境中维护端点安全性的最佳实践。
此外，随着GenAI模型可能被部署在边缘，引入了新的风险类型。GenAI模型通常很复杂，需要大量的数据集进行训练。即使采用了量化等优化技术，这些模型仍然有可能存在机器学习算法特有的漏洞，比如对抗性攻击。在对抗性攻击中，输入数据的微小改变可能会欺骗AI模型做出错误的决策或分类。公司必须意识到这些机器学习特定的漏洞，并投资相应对策，例如对抗性训练或鲁棒性测试（robustness testing）。
实时监控和分析也是全面边缘安全策略的重要组成部分。考虑到边缘设备是实时运行的，安全解决方案必须能够在威胁发生时检测并减轻威胁，这可能涉及部署基于GenAI的异常检测算法，监测设备行为和网络流量中的违规行为，标记潜在的安全事件，以便立即进行调查。
为了增加额外的安全层，组织可以考虑为其边缘环境使用零信任架构。在零信任模型中，网络不断地验证和重新验证每个设备和用户的凭据和权限，而不考虑它们的位置或它们所连接的网络，这种持续的验证过程可以使攻击者更难以利用漏洞并在网络中横向移动。
总而言之，由于边缘设备和端点人工智能模型的扩散而不断扩大的攻击面是一个复杂的问题，需要多方面的方法来有效管理。公司需要采用专门的、资源高效的端点安全解决方案，这些解决方案可以与现有的边缘计算框架无缝集成；除了技术措施之外，还需要进行组织变革，灌输一种安全文化，以理解与边缘计算相关的高风险。
随着GenAI在网络边缘变得越来越普遍，引入了新的漏洞类型，要求公司积极主动地更新其安全措施。
实时监控、零信任架构都是有效保护不断扩大的攻击面的综合战略的关键组成部分。
