本文来自微信公众号“数世咨询”，作者/nana。
尽管犯罪分子用ChatGPT和各种其他大语言模型帮助编写恶意软件的传言甚嚣尘上，但这一生成式AI技术似乎并不擅长处理这种工作。
近期研究表明，虽然一些骗子有意使用能给出源代码建议的ML模型，但该技术实际上并没有被广泛用于创建恶意代码。这可能是因为这些生成式系统无法胜任此类工作，或者用其完成恶意代码编写过程的门槛有点高，网络犯罪分子不得不放弃。
如果你想获得有用且可靠的漏洞利用程序和入侵工具，那你要么支付高昂款项购买，要么从GitHub之类的地方免费获取，要么具备编程技术、耐心和时间自己从头开始开发。AI可提供不了网络恶棍想要的捷径，其在网络犯罪圈子里的使用率跟在科技界其他领域也差不离。
01
相关研究
8月中旬发布的两份研究报告中，趋势科技和谷歌Mandiant分别就时兴的AI技术发表了各自的看法，结论相当一致：网民热议用生成式AI从事邪恶行径，但在现实中，此类用途仍十分有限。
趋势科技研究人员avid Sancho和Vincenzo Ciancaglini在报告中写道：“在灰产领域，AI还处在早期阶段。”
“我们看到的进展并非突破性的。事实上，大家在这方面的进步速度都差不多。”
同时，Mandiant的Michelle Cantos、Sam Riddell和Alice Revelli至少从2019年开始就在跟踪犯罪分子的AI使用情况。在8月17日发布的研究报告中，他们指出，“AI在入侵活动的应用仍旧十分有限，而且主要与社会工程相关。”
在犯罪分子如何应用AI从事非法活动方面，这两个威胁情报团队得出了相似的结论。简而言之：主要用于生成诱人通往网络钓鱼页面和类似骗局的文本和其他媒介，而不是用于自动化恶意软件开发。
“ChatGPT长于编造看起来可信的文本，这一点可被滥用来编写垃圾邮件和进行网络钓鱼活动”，趋势科技团队写道，并指出，犯罪论坛上售卖的一些产品已经开始纳入ChatGPT接口供买家创建网络钓鱼电子邮件了。
Sancho和Ciancaglini表示：“比如说，我们就观察到名为GoMailPro的一款垃圾邮件处理软件，这款软件支持AOL Mail、Gmail、Hotmail、Outlook、ProtonMail、T-Online和Zoho Mail账户，主要是犯罪分子用于向受害者发送垃圾邮件。2023年4月17日，该软件的作者在GoMailPro销售帖子里声明，据称ChatGPT被集成到GoMailPro软件中供起草垃圾邮件。”
除了辅助编写网络钓鱼电子邮件和其他社会工程骗局，尤其是用犯罪分子不会的语言编写，AI还擅长产出用于虚假信息散布活动的内容，包括深度伪造音频和图像。
02
模糊LLM
谷歌表示，AI精于模糊测试，也就是通过向软件中注入随机和/或精心构造的数据来触发和挖掘可利用漏洞的自动化漏洞检测。
谷歌开源安全团队的Dongge Liu、Jonathan Metzman和Oliver Chang写道：“利用LLM，我们无需手动编写额外的代码就能用我们的OSS-Fuzz服务提高关键项目的代码覆盖率。”
“采用LLM是颇具前景的新方法，可以在OSS-Fuzz目前模糊测试的超过1000个项目中扩展安全改进，扫清未来项目采用模糊测试的障碍。”
虽然这一过程确实涉及挺多提示工程和其他工作，但该团队最终收获了1.5%~31%的项目代码覆盖率提升。
谷歌团队称，在接下来的几个月里会开源其评估框架，让其他研究人员也能测试自己的自动化模糊目标生成。
与此同时，Mandiant将图像生成功能分为两类：可用于创建逼真人物头像的生成式对抗网络（GAN），以及可以根据文本提示生成定制图像的生成式文本到图像模型。
Mandiant的三名研究人员表示，尽管GAN似乎更常用，而且民族国家威胁组织尤为爱用，但“文本到图像模型也可能形成比GAN更大的欺骗型威胁”，因为这些模型可用于支持欺骗性叙事和虚假新闻，比如用AI生成的视频制作简短的“新闻片段”。
两份研究报告都承认犯罪分子对于利用LLM编写恶意软件很感兴趣，但这未必能转化为实际的代码。
正如合法开发人员所发现的那样，AI也有助于完善代码、开发源代码片段和示例函数，降低学习另一门编程语言的难度。然而，你依然需要具备一定的技术水平才能用AI编写恶意软件，而且可能仍然需要程序员来核查代码并更正。
因此，想用AI编写真实可用的恶意软件的人可能自己就能编写代码了。或许，LLM主要是为了加快开发速度，而不是推动勒索软件和漏洞利用程序的自动化装配线。
于是，令网络恶棍们驻足不前的是什么呢？部分原因可能在于防止LLM被用于恶意用途的一些限制，也因此，安全研究人员发现，有犯罪分子在向同行宣传能绕过模型防线的服务。
此外，正如趋势科技所指出的，关于ChatGPT越狱提示的讨论很多，尤其是在Hack Forums的“Dark AI”部分。
Sancho和Ciancaglini表示，由于犯罪分子愿意为这些服务付费，一些人猜测，“未来可能会出现所谓的‘提示工程师’”。两位研究人员还补充道：“我们保留对这一预测的判断。”
*本文为nana编译，原文地址：https://www.theregister.com/2023/08/18/ai_malware_truth/
