本文来自微信公众号“GoUpSec”。
当今的网络安全行业严重依赖传统方法(主要是人工驱动的方法),随着基于大语言模型的生成式人工智能变革浪潮袭来,首当其冲的网络安全行业正面临一次技术和方法的颠覆性革命,不想被淘汰的网络安全从业人员需要重新点亮技能树。
生成式人工智能是今年BlackHat黑帽大会的核心话题,一些快速涌现的,看似不成熟的生成式人工智能网络安全用例也已经解决了一些艰巨的挑战。例如将人类语言查询即时翻译成SQL语法,加快开发人员编码的速度,或对安全事件进行分类等,大语言模型的影响已经显现。在安全运营自动化、威胁检测和响应、威胁情报管理三大热门网络安全领域,大量生成式人工智能产品已经开始进入生产环境。
总之,生成式人工智能时代在批判和质疑声中已经到来,网络安全专业人员必须提高自己的水平并获得响应技能,才能在未来获得新的竞争优势。
本文我们将介绍生成式人工智能时代(大多数)网络安全专业人员需要掌握的三种关键技能:
一、机器学习——了解AI的引擎
机器学习是驱动人工智能的引擎,网络安全专业人员需要积极了解机器学习的工作原理——例如监督机器学习和无监督机器学习之间的区别,以及现有的不同算法。网络安全人士也许不需要成为数据科学专家,但可以尝试全面了解机器学习模型的工作原理,这对于在机器学习生命周期的各个阶段实施安全控制将非常有帮助。
机器学习方面的知识和技能还将帮助网络安全人士与人工智能专家沟通,后者将越来越多地出现在大企业的网络安全团队中。
机器学习技能还有助于网络安全专业人士针对特定的安全相关用例训练自己的ML模型。
最重要的是,不久的将来,懂得使用机器学习或微调大语言模型来检测和响应特定威胁的网络安全专业人士将成为网络安全行业最炙手可热的人才,市场需求巨大。
二、AI应用的威胁建模
随着云应用的增加,威胁建模作为一门学科在网络安全中变得越来越流行。威胁建模需要安全人士以攻击者的视角检查应用程序入口点、依赖项和信任级别。这是将应用安全分解成不同威胁区域并获取风险列表的最佳方法。
如今,基于人工智能的应用程序已经开始暴露出大量漏洞(例如提示注入攻击、数据投毒等),需要在部署之前进行识别。但与应用程序不同,对人工智能系统进行威胁建模需要采用全新的方法和模型:
你需要了解人工智能面临的特定威胁,例如数据中毒、推理、模型规避等,以便能够为人工智能系统创建有效的威胁模型。这里又涉及前文提到的机器学习技能!
同样,随着越来越多的人工智能应用程序融入生产环境中,AI威胁建模技能将变得越来越有价值。
三、人工智能数据隐私和道德
人工智能应用的模型训练需要大量数据,这也是生成式人工智能“学习”并做出决策的方式。
业界关于ChatGPT等生成式人工智能应用最大的争议是如何在数据隐私方面取得平衡,同时为这些应用程序提供所需的数据。
虽然欧盟和中国已经起草或颁布了一些针对人工智能的法规,但业界对快速野蛮生长的生成式人工智能的监管依然滞后,相关的隐私和道德问题将越来越复杂且代价高昂,相关技能的市场需求将快速增长,以确保生成式人工智能应用在隐私和道德方面的合规,同时保证其公平、透明、可追溯和无偏见。