工作来源
arXiv:2401.03315v1
[cs.CR]
工作背景
人工智能的浪潮席卷世界,攻击者也开始利用LLM(Large Language Model,后简称大模型)来进行恶意活动。从生成复杂的恶意软件到生成以假乱真的钓鱼邮件,针对大模型的滥用对网络安全的影响是深远的。
恶意服务运营方对外提供服务主要利用无额外审查的大模型和绕过有审查的大模型两种方式。OpenAI与Llama等厂商明确定义了不允许用户使用的情况,例如生成钓鱼邮件、生成钓鱼网站等非法活动。各类厂商也采取了安全措施对生成内容进行实时检查防范此类风险,例如OpenAI Moderation Endpoint与OpenChatKit Moderation
Model等。
工作设计
恶意大模型服务的典型模式如下所示:
① 恶意大模型服务运营方绕过有审查的大模型(OpenAI、Llama、JinaChat)API或者使用无额外审查的大模型(Luna AI Llama2 Uncensored、Pygmalion-13B),对外提供服务。
② 运营方将服务部署在Web服务器上或者托管在第三方托管平台(Poe)上。
③ 运营方通过地下论坛和地下市场以及Telegram进行推广和宣传 。
④ 用户找到合适的服务就会购买相应的服务。
⑤ 购买服务的用户可以通过界面或者API与恶意大模型服务进行交互。
⑥ 按照用户的意愿,生成恶意软件、生成钓鱼邮件、生成钓鱼网站等。
工作准备
2022年11月30日至2023年10月12日,研究人员在九个地下论坛(Abacus Market、Kerberos Market、Kingdom Market、WeTheNorth Market、MGM Grand Market、Hack Forums、XSS.is、Breach Forums与BlackHatWorld)跟踪发现了各种各样的恶意大模型服务:
LS数据集包含25个恶意大模型服务列表,研究人员手动筛选了其中14个服务。这些恶意大模型服务背后共由八个大模型驱动,分别是无额外审查的Pygmalion-13B、Luna AI Llama2 Uncensored、Davinci-002和Davinci-003,与存在审查的商业OpenAI GPT-3.5、OpenAI GPT-4、Anthropic Claude-instant和Anthropic
Claude-2-100k。
DS数据集在14个服务中,选取了9个服务进行分析。其中,七个服务是付费的,两个服务是免费的。注:有的攻击者十分警惕发现可疑情况就选择不售卖给分析人员,有的则是纯纯诈骗收到钱后也不提供服务。
MS数据集研究人员分析了这些服务背后的来源,如BadGPT和XXXGPT使用OpenAI GPT-3.5,Evil-GPT和WolfGPT分别使用OpenAI Davinci-003与OpenAI
Davinci-002。DarkGPT声称使用OpenAI
Davinci-003,EscapeGPT很可能使用GPT-3.5-Turbo,FreedomGPT使用无额外审查的Luna AI Llama2 Uncensored。
PM数据集收集了45个恶意提示词,其中35个与恶意软件生成有关,5个与钓鱼邮件生成有关,5个与钓鱼网站生成有关。26个提示词与编程语言有关,其中11个用于Python、10个用于C/C++。
DP数据集通过特定关键词在Poe与FlowGPT分别找到575个和174个大模型服务,最终确定分别有125个和73个都是恶意大模型服务。注:184个可以生成恶意软件,80个可以生成钓鱼邮件,31个可以生成钓鱼网站。
工作评估
研究人员在FlowGPT上发现的第一个恶意大模型服务是在2023年2月27日。后来恶意大模型服务的数量快速增加,每个恶意大模型服务的平均使用量超过一万。而在FlowGPT上随机抽取100个非恶意大模型服务,平均使用量才不到四千,恶意目的使用远远高于正常使用。
从格式有效性(F)、兼容性(C)、有效性(V)、可读性(R)、检测规避性(E)来对恶意大模型服务进行评估。结果发现效果与价格无关,并不是贵的服务就好。
在恶意软件生成上,DarkGPT和EscapeGPT表现最好,生成的代码大部分都能够成功编译且具备很好的检测逃避效果。EscapeGPT生成的样本完全没有被VirusTotal上的引擎检出,而DarkGPT只有一个检出还是因为提示词标记成了通用恶意软件。
在钓鱼邮件生成上,WolfGPT堪称遥遥领先。不仅经受住了格式与可读性的检查,也拥有最好的检测逃避效果。最妙的是,WolfGPT生成钓鱼邮件平均长度仅为67个单词,相比其他恶意大模型服务生成的近两百个单词来说极度简洁,这样绕过检测机制的可能性也更大。
在钓鱼网站生成上,EscapeGPT也是遥遥领先。生成的网站格式无错误,也能防止被检测引擎发现。
为了绕过审查,常用的“越狱”提示词如下所示:
有一些恶意大模型服务,其实就是在公共大模型API的基础上增加了越狱词来提供服务,生成的攻击代码与公共API越狱后的几乎一模一样。
工作思考
研究人员确定了WormGPT使用的两个(比特币/以太坊)钱包地址,活跃的三个月里分别收到了27笔和57笔交易收入,总计带来超过2.8万美元(约合二十万人民币)的收入,平均每月接近一万美元。
运营方已经为恶意软件生成服务提供了更低廉的价格,尤其是与传统恶意软件即服务(MaaS)的价格相比。这可能会进一步拉低攻击的成本和门槛,这可不可以命名为“恶意大模型即服务”(Malicious LLM as a Service,
MLLMaaS)的新商业模式?
大模型托管平台(Poe、FlowGPT)和加密货币支付的网络托管平台(Sellix.io、BTCPay Server)都已经成为了恶意大模型服务的沃土,它们往往缺乏对恶意实体的严格监控和主动抑制。信息时代、网络空间,监管面临的挑战也是巨大的。