本文来自微信公众号“网络研究院”。
研究人员发现，攻击者可以利用ChatGPT返回虚假信息的倾向来传播恶意代码包。
这对软件供应链构成了重大风险，因为它可能允许恶意代码和特洛伊木马程序滑入合法应用程序和代码存储库，如npm、PyPI、GitHub等。
研究人员通过利用所谓的“AI包幻觉”，威胁行为者可以创建ChatGPT推荐的恶意代码包，开发人员在使用聊天机器人时可能会无意中下载这些代码包，将它们构建到随后被广泛使用的软件中。
在人工智能中，幻觉是人工智能做出的不充分、有偏见或完全不正确的合理反应。
它们的出现是因为ChatGPT（以及作为生成式AI平台基础的其他大型语言模型或LLM）根据他们在广阔的互联网上可用的资源、链接、博客和统计数据来回答向他们提出的问题，这些是并不总是最可靠的训练数据。
由于这种广泛的培训和接触大量文本数据，像ChatGPT这样的LLM可以生成“看似合理但虚构的信息，在他们的培训之外进行推断，并可能产生看似合理但不一定准确的响应，这是一种以前观察到的现象，似乎是大型语言模型工作方式的结果。
在开发者世界中，AI还会为CVE生成有问题的修复程序，并提供指向不存在的编码库的链接，后者提供了利用的机会。
在这种攻击场景中，攻击者可能会向ChatGPT寻求常见任务的编码帮助；ChatGPT可能会为未发布或不存在的软件包提供建议。
攻击者可以发布他们自己的建议包的恶意版本，并等待ChatGPT为合法开发人员提供相同的建议。
如何利用AI幻觉
为了证明他们的概念，研究人员使用ChatGPT 3.5创建了一个场景，其中攻击者向平台询问解决编码问题的问题，而ChatGPT以多个包进行响应，其中一些不存在，即未以合法方式发布包存储库。
当攻击者找到未发布包的推荐时，他们可以在其位置发布自己的恶意包。下次用户问类似的问题时，他们可能会收到来自ChatGPT的建议，使用现在存在的恶意包。
如果ChatGPT正在伪造代码包，攻击者可以利用这些幻觉来传播恶意代码，而无需使用域名仿冒或伪装等熟悉的技术，从而创建开发人员可能会在ChatGPT推荐的情况下使用的“真实”包。
通过这种方式，恶意代码可以找到进入合法应用程序或合法代码存储库的途径，从而给软件供应链带来重大风险。
向ChatGPT这样的生成式人工智能寻求代码帮助的开发人员可能会安装恶意库，因为人工智能认为它是真实的，而攻击者将其变为现实。
一个聪明的攻击者甚至可能制作一个工作库，作为一种特洛伊木马，在他们意识到它是恶意的之前可能会被多人使用。”
如何发现错误的代码库
如果威胁行为者有效地混淆了他们的工作，或者使用其他技术（例如制作一个实际可用的特洛伊木马程序包），则很难判断一个程序包是否是恶意的。
但是，有一些方法可以在将错误代码嵌入到应用程序或发布到代码存储库之前将其捕获。
为此，开发人员需要验证他们下载的库，并确保他们不仅按照他们所说的去做，而且不是一个聪明的木马伪装成合法的包。
当推荐来自人工智能而不是同事或他们在社区中信任的人时，这一点尤为重要。
开发人员可以通过多种方式做到这一点，例如检查创建日期；下载和评论的数量，或缺乏评论和明星；看看任何附注。
如果有任何东西看起来可疑，请在安装之前三思而后行。
ChatGPT:风险与回报
这种攻击场景只是ChatGPT可能带来的一系列安全风险中的最新一个。
该技术自去年11月发布以来迅速流行起来，不仅受到用户的欢迎，还受到热衷于利用它进行网络攻击和恶意活动的威胁行为者的欢迎。
仅2023年上半年，就有诈骗者模仿ChatGPT窃取用户业务凭据；攻击者通过恶意ChatGPT扩展窃取Google Chrome cookie；和网络钓鱼威胁行为者使用ChatGPT作为恶意网站的诱饵。
虽然一些专家认为ChatGPT的安全风险可能被夸大了，但它确实存在，因为人们很快就接受了生成人工智能平台来支持他们的专业活动并减轻日常工作量的负担。
除非你生活在岩石下，否则你会很清楚生成人工智能的热潮，数以百万计的人在工作中拥抱ChatGPT。
开发人员也不能幸免于ChatGPT的魅力，他们从Stack Overflow等在线资源寻求编码解决方案，转向AI平台寻求答案，这为攻击者创造了重大机会。
正如历史所证明的那样，任何能够迅速吸引坚实用户群的新技术也会迅速吸引旨在利用它为自己谋取机会的不良行为者。
ChatGPT提供了这种情况的实时示例。
