网络安全研究人员发现，通过与ChatGPT等大型语言模型（LLM）聊天机器人进行角色扮演，可以绕过其安全功能，使其编写恶意软件。

“超级英雄”与“邪恶反派”

特拉维夫网络安全公司Cato Networks的威胁情报研究员Vitaly Simonovich向Business Insider透露，他仅通过几个小时的角色扮演，就让ChatGPT扮演了一个名为Jaxon的超级英雄。Jaxon的任务是通过其精湛的编程技能，对抗试图毁灭世界的邪恶反派Dax。

Simonovich成功说服了扮演角色的ChatGPT编写一段恶意软件，该软件足以侵入Google Chrome的密码管理器。Chrome密码管理器是一个浏览器扩展，允许用户存储密码，并在特定网站提示时自动填写。运行ChatGPT生成的代码后，Simonovich能够看到存储在该计算机浏览器上的所有数据，即使这些数据本应受到密码管理器的保护。

在调试ChatGPT生成的代码时，Simonovich对ChatGPT说：“我们快成功了，让我们把这段代码写得更好，打败Dax！”，而ChatGPT，扮演着Jaxon的角色，做到了。

聊天机器人赋能的黑客攻击和诈骗

自2022年11月OpenAI公开发布ChatGPT以来，以及随后的Anthropic的Claude、Google的Gemini和Microsoft的CoPilot，这些聊天机器人彻底改变了我们的生活、工作和约会方式，使我们能够更轻松地总结信息、分析数据和编写代码，就像拥有一个钢铁侠式的机器人助手。关键是，用户不需要任何专业知识就能做到这一点。

但坏人也不需要。

Thompson Hine律师事务所的网络安全顾问兼合伙人Steven Stransky表示，LLM的兴起改变了网络威胁的格局，使各种新的、日益复杂的诈骗得以出现，这些诈骗更难被标准的网络安全工具识别和隔离，例如“欺骗”电子邮件和短信，诱骗客户输入私人信息，以及开发整个网站，欺骗消费者，让他们以为自己与合法公司有关联。

“犯罪分子还在利用生成式人工智能来整合和搜索大量被盗的个人身份信息数据库，从而建立潜在的社交工程网络攻击目标档案。”Stransky说。

虽然在线诈骗、数字身份盗窃和恶意软件早在互联网诞生之初就已存在，但能够为潜在犯罪分子完成大部分前期工作的聊天机器人大大降低了入门门槛。

Simonovich说：“我们称他们为零知识威胁行为者，这意味着，仅凭LLM的力量，你只需要有恶意创造的意图和目标。”

Simonovich向Business Insider展示了他的发现，表明绕过ChatGPT的内置安全功能是多么简单。这些安全功能旨在防止他能够侥幸逃脱的恶意行为。

BI发现，ChatGPT通常会对编写恶意软件的直接请求做出一些道歉式的拒绝，例如：“对不起，我无法协助你。编写或分发恶意软件是非法的和不道德的。”

但是，如果你说服聊天机器人它是一个角色，并且它想象的世界的参数与我们生活的世界不同，那么机器人允许重写规则。

最终，Simonovich的实验使他能够破解自己设备上的密码管理器，如果恶意行为者以某种方式获得物理或远程控制权，他们就可以对毫无戒心的受害者这样做。

OpenAI的一位发言人告诉Business Insider，该公司已审查了Simonovich的发现，这些发现于周二由Cato Networks发布。该公司发现，报告中分享的代码似乎“本质上没有恶意”，并且所描述的场景“与正常的模型行为一致”，因为通过ChatGPT开发的代码可以以各种方式使用，具体取决于用户的意图。

OpenAI发言人说：“ChatGPT生成代码以响应用户提示，但本身不执行任何代码。与往常一样，我们欢迎研究人员通过我们的漏洞赏金计划或我们的模型行为反馈表分享任何安全问题。”

并非只有ChatGPT

Simonovich使用微软的CoPilot和DeepSeek的R1机器人重现了他的发现，它们都允许他侵入Google Chrome的密码管理器。Simonovich称这个过程为“沉浸式世界”工程，但它不适用于Google的Gemini或Anthropic的Claude。

Google的一位发言人告诉Business Insider：“Chrome使用Google的安全浏览技术来帮助防御用户，通过实时检测网络钓鱼、恶意软件、诈骗和其他在线威胁。”

微软、Anthropic和DeepSeek的代表没有立即回应Business Insider的置评请求。

虽然人工智能公司和浏览器开发人员都采取了安全措施来防止越狱或数据泄露，但Simonovich的发现突显出，在线上存在不断演变的新漏洞，在下一代技术的帮助下，这些漏洞比以往任何时候都更容易被利用。

Simonovich说：“我们认为，这些零知识威胁行为者的崛起将对使用LLM的威胁格局产生越来越大的影响。我们已经看到网络钓鱼邮件数量的增加，这些邮件是超现实的，而且LLM经过微调可以编写高质量的代码，因此也可以将其应用于恶意软件的开发，我们将看到越来越多使用LLM开发的恶意软件。”