十五年来,Yara已然成为全球恶意软件分析、威胁情报、威胁狩猎以及数字取证领域的基石。研究人员通过其灵活的语法和强大的模块化设计,定义基于文本或二进制模式的规则来分类和识别恶意软件。随着形势的变化,Yara面临着日益严峻的挑战。随着规则数量的爆炸式增长(达到数万甚至数十万条)以及待扫描文件体积和数量的剧增,C语言编写的Yara在内存安全管理、并发处理以及代码维护性方面的固有局限性开始暴露。
重大改进
2025年6月4日YARA-X 1.0.0版本发布,VirusTotal宣布原Yara项目正式进入"维护模式。VirusTotal期望通过Yara-X解决历史三大核心问题:
①Yara处理不可信输入文件的安全工具,C语言的内存管理机制会带来内存安全性问题。在C语言实现中,解析畸形的PE文件或构造精巧的恶意样本时,解析器往往面临崩溃风险,甚至可能被利用执行任意代码。Yara-X使用Rust重写,在编译阶段杜绝了绝大多数内存安全问题,从而显著提升了引擎的鲁棒性。基于Rust的语言特性,重新将Yara-X的扫描器设计为无状态的,在多核机器上实现近乎线性的性能扩展。
②Yara在处理包含复杂循环或大规模正则表达式的规则时,性能急剧下降后容易导致扫描超时。Yara-X引入WebAssembly作为中间层,将规则解析为抽象语法树并编译为WASM字节码,进而通过JIT/AOT转换为原生机器码,极大地提升了执行效率。另外,使用WASM后也可以支持跨平台以及沙箱隔离。
③Yara不同功能的代码紧密耦合在一起,难以进行扩展和重构。Yara-X将解析器、编译器和扫描器分离,通过模块化设计降低二开与集成的门槛。
性能提升
经过数月的生产环境测试,VirusTotal已经将LiveHunt(实时扫描)与RetroHunt(历史回扫)全量迁移到Yara-X。
在Yara时代,扫描超时的文件大约有2%。在Yara-X时代,扫描超时文件的比例下降到0.2%。这意味着原本无法完成扫描的文件现在可以被成功检测,直接提升了威胁检测的覆盖率。
针对那些包含大量正则表达式和循环的"复杂"规则,Yara-X表现出了5至10倍的速度提升(注:纯文本或者简单十六进制场景,Yara仍然比Yara-X快2 到 3倍)。在Yara时代,出于稳定性的考虑,这些可能导致性能下降的规则会抛出告警并在特定场景下拒绝加载这些规则。在Yara-X时代,这些规则也能够正常加载运行,这让研究人员可以更好地专注于检测逻辑。例如检测比特币地址的规则,在200MB的文件上Yara需要运行20秒,Yara-X只需要不到1秒即可。
迁移差异
VirusTotal提供了yara-x check功能,可以批量扫描现有的规则库并检查语法错误。典型的差异如下所示:
① 现在使用负数索引(@a[-1])会报错
② 现在使用重复修饰符(global global rule)会报错
③ 现在要求base64的字符串最短长度为3个字符,并且在同一字符串上应用base64和base64wide并分别指定不同的自定义字母表
④ 现在无效的转义字符串会报错,强制要求使用双反斜杠表示字面反斜杠,消除Windows路径匹配中可能带来的歧义
Yara时代,模块的结构体定义硬编码在C代码中,缺乏灵活性且难以与其他语言交互。Yara-X时代,强制要求每个模块通过Protobuf来定义其输出结构。典型的模块更新包括:基于Rust的nom库,重写了Mach-O模块。新增了LNK、DEX模块,重写了PE模块与ELF模块。并且,Yara-X已经不再推荐使用Magic模块和Cuckoo模块。
参考Rust编译器的输出风格,重构了新版本的命令行工具,会为用户输出上下文、行号以及修复建议。
引入fmt格式化工具,自动调整缩进、空格和对齐,为多人协作提供统一的规则风格。
说了这么多好处,接下来谈一谈大家的担忧:
1、大家担心Rust陡峭的学习曲线会阻碍第三方模块的生态繁荣。
2、大家担心会像Python3与Python2一样导致生态割裂。
3、大家担心Python接口库的变迁会带来适配工作量。
未来发展
摆脱了C语言后,Yara-X后续可能会基于Rust语言特性引入更多高级功能。例如在规则匹配命中后,执行轻量级的操作。
VirusTotal打算推出基于Yara-X解析器的语言服务器协议(LSP),帮助VS Code等IDE提供自动补全、自动跳转、即时错误检查等功能。
模块设计标准化后,社区可能会出现更多的模块来丰富Yara-X的功能。
总结
对于任何致力于构建现代化、可扩展威胁检测能力的安全团队而言,拥抱Yara-X不仅是技术升级的选择,更是应对未来复杂威胁的必经之路。