本文来自微信公众号“安全419”。
最近，网络安全领域面临着一个新的令人生畏的现实问题——恶意生成式人工智能的兴起，如FraudGPT和WormGPT。这些不法产品潜伏在互联网的黑暗角落，对数字世界的安全构成了独特的威胁。本文将探讨生成式人工智能欺诈的本质，分析这些产品的信息传播路径，以及评估它们对网络安全的潜在威胁。虽然保持警惕至关重要，但我们同样需要避免恐慌泛滥。因为尽管情况令人不安，但目前无须过分警惕。
认识FraudGPT和WormGPT
FraudGPT代表了一种基于订阅的恶意生成式人工智能，利用复杂的机器学习算法生成欺骗性内容。它与合法的人工智能模型形成鲜明对比，FraudGPT没有限制，使其成为实现多种恶意的多功能武器。它具备制作精心定制的鱼叉式网络钓鱼电子邮件、伪造发票、捏造新闻文章等能力，所有这些都可以在网络攻击、网络骗局、舆论操纵、甚至创建难以被检测的恶意软件和钓鱼邮件的活动中加以利用。
另一方面，WormGPT与FraudGPT在非法AI领域的应用大致相同。虽然与ChatGPT的框架相似，但WormGPT的运行缺乏法律保障。换言之，它可以为黑客攻击和其他非法活动提供技术支持。尽管与最新的人工智能模型相比，其能力可能有限，但它代表着恶意生成式人工智能的成长轨迹。
虚假宣传的GPT产品
那些开发者和传播者正紧锣密鼓地推广FraudGPT和WormGPT。他们称这类工具为“网络罪犯的入门工具包”。它提供了一套付费订阅的资源，进一步降低了网络犯罪的门槛。
仔细观察可以发现，这些工具提供的信息并不比现有的生成式人工智能工具更多。其潜在原因可能是陈旧的模型架构和不透明的训练数据。WormGPT的创作者声称他们的模型是使用各种数据源构建的，特别侧重于恶意软件相关的数据。然而，他们却不愿透露使用的具体数据集。
同样，围绕FraudGPT的推广话术几乎让人很难相信语言模型（LM）的性能。在暗网的部分论坛上，FraudGPT的创作者将其宣传为尖端技术，声称LLM不仅可以制造“无法检测的恶意软件”，还能识别出易受欺诈攻击的网站。然而，除了它是GPT-3的变种的说法之外，创作者几乎没有提供关于LLM架构的任何信息，也没有提供制作无法检测的恶意软件的证据，这为我们留下了很多猜测空间。
网络罪犯将如何使用GPT工具
然而，恶意生成式人工智能的发展势头依旧难以阻挡。它们具有生成可信度较高的内容的能力，这对各种非法活动存在较强吸引力（从制作有说服力的的网络钓鱼电子邮件到迫使受害者参与欺诈计划，甚至生成恶意软件等）。虽然存在用于对抗这些新型攻击的安全工具和对策，但挑战仍在不断增加。
一些用于欺诈的生成式人工智能工具的潜在应用包括：
增强型网络钓鱼活动：这些工具可以自动创建多语言的定制化网络钓鱼电子邮件（鱼叉式网络钓鱼），从而提高成功的可能性。然而，它们是否能够逃避高级电子邮件安全系统和接收方的谨慎检测仍然存在疑问；
加速的开源情报（OSINT）收集：攻击者可以使用这些工具加快其行动的侦察进程，搜集与目标有关的信息，包括个人信息、偏好、行为和详细的公司数据；
自动化恶意软件生成：生成式人工智能具有令人不安的潜力生成恶意代码，简化了恶意软件创建过程，这方便了技术知识有限的个人。然而，这些工具可以生成代码，但生成的内容可能仍然很基础，需要额外的步骤才能成功进行网络攻击。
生成式人工智能对威胁格局的武器化冲击
FraudGPT、WormGPT等恶意生成式人工智能工具的出现在网络安全界引起了高度警惕。未来可能面临更复杂的网络钓鱼活动和生成式人工智能攻击数量的猛增。网络犯罪分子会利用这些工具降低进入网络犯罪的门槛，吸引技术知识有限的同伙。
但是，面对这些威胁时保持冷静非常重要。至少目前看来，FraudGPT和WormGPT并不代表网络犯罪领域的规则改变。它们自身存在局限性、复杂程度低且未使用最先进的人工智能模型，这意味着它们并非坚不可摧。值得注意的是，尽管FraudGPT和WormGPT的有效性尚未得到验证，但社会工程和精确定向的鱼叉式网络钓鱼已经展示了它们的效用。然而，这些恶意人工智能工具为网络犯罪分子提供了更多便利，使他们更容易制定此类网络钓鱼活动。
随着这些工具的不断发展和普及，组织必须为其员工面临下一波高度有针对性和个性化的攻击做好准备。
减少恐慌 充分准备
以FraudGPT和WormGPT为代表的恶意生成式人工智能的出现，确实引起了网络安全领域的担忧。尽管这些工具提出了新的严峻挑战，但它们并非不可战胜。犯罪分子们刚刚接触这些工具，而安全供应商已经研究了很长时间，一些基于人工智能的安全解决方案可以高效地对抗人工智能生成的电子邮件威胁，如：
专门用于抵御社会工程攻击，如商业电子邮件欺诈（BEC）、模仿和发票欺诈等的实时高级威胁保护；
自动化的鱼叉式网络钓鱼模拟测试，为员工提供个性化培训。
此外，了解生成式人工智能的发展以及使用这些技术的犯罪策略是至关重要的。保持警醒是减轻来自生成式人工智能在网络犯罪中使用的潜在风险的关键。
