本文来自微信公众号“安全牛”。
在迅速发展的人工智能（AI）领域，研究人员关注的焦点正由ChatGPT等大语言模型工具转向下一个前沿领域——AI代理（Agentic AI）。相比目前的大语言模型应用，AI代理技术更加智能化，可以在基本不需要人工干预的情况下完成复杂任务，以之前难以想象的方式进行主动学习、适应和协作。而在网络安全领域，AI代理技术的广泛应用或将彻底改变网络攻防博弈间的游戏规则。
什么是AI代理？
在最初的大语言模型中，通常是在一次响应中生成对提示的响应。例如，我们可能会请一个LLM（大型语言模型）来帮助撰写一篇文章或报告，它会一次性生成完整的草稿。但这种方法往往缺乏深度和精细度。这种形式也被称为零投提示（Zero Shot Prompting）——因为它试图在第一次投篮就“命中篮筐”，并在不重复的情况下获得一个好的结果。
事实证明，和人类一样，大语言模型很难通过一次或有限的交互就带来完美的结果。因此，OpenAI公司以聊天的形式创建了GPT3/4模型，这使得我们可以围绕相同主题进行附加提问迭代，包括给出评论，将问题划分为多个子问题，并要求模型执行自我反思等。
相比之下，AI代理技术旨在形成一种主动式、自动化的任务执行工作流，就像人工分阶段处理一个项目一样。通过生成最优化的代理流程，AI系统可以分多个步骤草拟、审查、修改和改善输出，从而获得更精细和更优质的结果。
在今年初举办的红杉资本AI Ascent大会上，人工智能技术先驱、Google Brain联合创始人Andrew Ng博士发表了一场富有远见的主题分享，探讨了AI代理技术的深远影响和巨大发展潜力。他表示：通过AI代理所形成代理工作流，是一种涉及AI模型不断改进输出的迭代流程，这将彻底颠覆传统的静态AI交互方式。
在这种代理工作流中，有四个关键设计模式：
结果反思：AI模型需要对每次输出的结果进行反思，并确定需要改进的方面。比如说，生成代码的AI可以检查代码的正确性和效率，然后根据自我批评改进代码。
规划和多代理协作：多个AI模型需要协同工作，每个模型司职不同的任务。比如说，一个AI生成代码，另一个AI审查和优化代码。
工具使用：AI模型使用外部工具来增强其功能，比如代码生成工具或获取额外信息的web搜索工具。
多对多使用：结合不同的AI模型（每个模型各有所长），以协同完成复杂的任务。
Andrew Ng认为，通过AI代理所形成的工作流将显著增强现有AI技术（模型）的应用能力，实现更精细的迭代过程。这种方法有望在包括网络安全在内的各种应用领域充分释放大语言模型和AI系统的应用潜力。
AI代理对网络安全的影响
研究人员认为，通过AI代理，可以让大模型工具的交互迭代过程更具协作性和适应性，因此非常适合在网络安全等复杂领域中应用。在某种意义上，AI代理可以被看作是一个自主运行的智能化网络安全系统，能够在无人干预的情况下做出安全决策并采取威胁处置行动。它的能力相当于一个技术娴熟、经验丰富的安全专家团队，而且不需要睡觉和休息，能够不间断地寻找和处置威胁。
不妨设想智能家居系统的工作原理。智能恒温器可以了解你的日常生活，根据你的喜好调整温度，并可以检测到不寻常的活动变化，比如温度突然下降（可能表明窗户开着）。同样，在网络安全防御背景下，AI代理可以使用类似的流程来开发和优化完善安全防护措施。比如说，AI代理可以持续监控网络流量、检测异常，并更新安全规程，以实时防御新的威胁。
目前，研究人员Richard Fang、Rohan Bindu、Akui Gupta和Daniel Kang已证明，GPT-4之类的大语言模型（LLM）可以自动利用1-day漏洞。研究小组在研究中针对15个实际的漏洞数据集测试了GPT-4。GPT-4成功利用了其中87%的漏洞，明显胜过其他工具。这项研究强调了我们迫切需要采取积极主动的网络安全措施，因为AI利用漏洞方面的潜力构成了新的重大威胁。定期更新和及时部署安全补丁对于减轻这些风险至关重要。
面对上述挑战，AI代理可以在没有人干预的情况下建立不断探索、学习和适应的网络安全防护体系。这也正是Project Voyager在游戏《我的世界》中所做的一切。
来自加州理工学院、斯坦福大学、得克萨斯大学和英伟达的研究人员共同开发了Voyager，这是目前第一个为开放式环境中终身学习而设计的AI代理实验。Voyager由三大部分组成：追求探索的自动课程、存储复杂行为的技能库以及基于反馈改进性能的迭代提示机制。当Voyager负责建造村庄的非玩家控制角色（NPC）用完了附近的树木去砍木头时，一个有趣的场景出现了，那些基于AI的NPC并非寸步难行，而是开始寻找解决办法。他们决定搬到邻近的村庄，赶走原居民，并用他们房子里的木头继续建造村庄。
这个实验展示AI在创造能够终身学习和适应的自主代理方面具有巨大潜力。无论是在游戏、机器人还是网络安全领域，这种代理不断学习和进化的能力为创新和解决问题开辟了新的前景。
结语
毋庸置疑，AI代理在网络安全领域将具有深远的影响，可以用来模拟攻击、识别漏洞，并自主制定防御策略。这将彻底改变我们对待网络安全防御的方式。然而，AI代理也让我们更接近实现AI在某些方面超越人类智能的可能，如何负责任地开发这些技术并确保它们安全可靠地用于造福社会就显得至关重要。
