该问题允许攻击者利用ChatGPT生成虚假信息的倾向，特别是以不存在的代码包的形式。

在最近的一项研究中，网络安全研究人员在流行的生成人工智能(AI)平台ChatGPT中发现了一个令人担忧的漏洞。该缺陷/问题允许攻击者利用ChatGPT生成虚假信息的倾向，特别是以不存在的代码包的形式。

通过利用研究人员所说的“AI包幻觉”，威胁行为者可以创建和分发恶意代码包，开发人员可能会无意中下载这些代码包并将其集成到他们的合法应用程序和代码存储库中。

来自Vulcan Cyber的Voyager18研究团队的研究人员在2023年6月6日发布的博客文章中详细介绍了他们的发现。他们强调了软件供应链面临的风险，因为恶意代码和特洛伊木马程序很容易潜入广泛使用的应用程序和存储库，例如如npm、PyPI、GitHub等。

问题的根本原因在于ChatGPT对过时且可能不准确的训练数据的依赖。作为大型语言模型(LLM)，ChatGPT能够生成似是而非但虚构的信息。这种被称为AI幻觉的现象发生在模型推断超出其训练数据时，导致看似合理但可能不准确的反应。

攻击技术涉及向ChatGPT提出与编码相关的问题，然后它会提供代码包的建议。攻击者利用该平台推荐未发布或不存在的软件包的倾向。然后他们可以创建这些软件包的恶意版本，等待ChatGPT将它们推荐给毫无戒心的开发人员。因此，开发人员可能会在不知不觉中安装这些恶意软件包，从而给他们的软件供应链带来重大风险。

为了证明问题的严重性，研究人员使用ChatGPT 3.5进行了概念验证模拟。他们与平台进行了对话，要求提供解决编码问题的软件包。ChatGPT回应了多个包推荐，其中一些是不存在的。

然后研究人员开始发布他们的恶意包，替换不存在的建议。随后，当另一位用户提出类似问题时，ChatGPT提示了新创建的恶意包，导致其安装和潜在危害。

研究团队还就开发人员如何识别和减轻这些风险提供了建议。他们建议通过检查创建日期、下载数量、评论、星标和任何相关注释等因素来验证他们下载的包。

敦促开发人员谨慎行事，尤其是当建议来自AI平台而不是社区内可信赖的来源时。

这一发现增加了与ChatGPT相关的一系列安全风险。随着该平台获得广泛采用，威胁行为者抓住机会利用其功能进行各种恶意活动。来自恶意软件攻击、网络钓鱼活动和凭证盗窃；ChatGPT等生成式人工智能平台的兴起吸引了合法用户和恶意行为者。