← 返回列表

科恩KHash@ISSTA2025论文解读|基于函数语义的二进制文件安全分析

单站 腾讯科恩实验室 发布 Fri, 27 Jun 2025 10:01:48 +0800 入库 2026-11-18T06:36:04

原创 腾讯科恩实验室 2025-06-27 10:01 上海

《基于函数语义的二进制文件安全分析》科恩K(EEN)Hash@ISSTA2025论文解读

0

引言

二进制代码相似性分析(BCSA: Binary Code Similarity Analysis)是网络安全等多个领域的重要研究方向。它能够对二进制代码(例如,程序和函数)进行比较,以识别它们之间的相似性和差异性。在其中,程序级别BCSA是一种强大的分析技术,它能够快速分析和比较完整的二进制文件间的相似性,因而可以被应用于诸多下游安全分析任务,包括:程序克隆检索、恶意软件检测、恶意软件基因分析、威胁情报等。

在此背景下,腾讯云安全科恩实验室基于在静态分析和AI安全领域的经验研发出二进制相似性哈希K(EEN)Hash算法(https://www.binaryai.cn/),利用函数语义嵌入将二进制文件转换成一种紧凑的向量表示形式,支持快速并准确计算二进制文件之间的相似度,可服务于威胁情报、开发安全等应用场景。

K(EEN)Hash相关的学术论文《KEENHash: Hashing Programs into Function-Aware Embeddings for Large-Scale Binary Code Similarity Analysis》已被软件工程领域顶级学术会议ISSTA 2025录用,该项研究由腾讯云安全科恩实验室和上海科技大学信息科学与技术学院合作完成。

文末阅读原文查收论文

1

背景与现状

程序级别BCSA通过分析二进制中的特征(例如,函数和函数调用图),来计算二进制的相似性以及差异性。利用该技术,能够辅助各类下游安全场景任务。例如,其中一种重要的任务是程序克隆检索。BCSA技术将用户输入的二进制文件转换为对应的表示形式,随后对比库中存储的海量相应二进制表示,最终根据计算所得的相似度结果检索返回最相似的K个二进制样本以用于对输入二进制做进一步的分析。

程序级别BCSA的关键是如何为二进制文件生成一种表示,既能够准确评估文件间的相似度,又能够快速完成相似度计算以支持大规模场景下的应用。遗憾的是,现有的方案均无法兼顾这两个性质。

目前,现有的方法主要能够分为两类:(1)函数级别BCSA,以及(2)基于简单特征的程序级别BCSA。(1)函数级别BCSA方法为每个二进制文件中的每个函数生成一个嵌入向量表示,并将这些向量与另一个二进制文件的向量进行迭代比较,以确定两个二进制文件之间相似函数匹配比例。这种匹配方法具有不可扩展的𝑂(nm^3)时间复杂度(n是二进制文件之间的比较次数,m是每个二进制文件中的函数数量),即使采用更快的启发式策略,也无法应用于大规模BCSA场景。(2)基于简单特征的程序级别BCSA方法使用简单的程序特征(例如,函数调用图、基本块数量、操作码n-gram等)来表示二进制的行为。这些方法能够保证快速的相似度计算,但是缺乏对二进制行为语义的考虑,使得无法准确评估二进制间的相似度,尤其是面对跨编译器优化等因素,严重影响大规模场景下的实际使用性能。

因此,为了能够同时兼顾BCSA的性能与效率,我们提出K(EEN)Hash二进制文件哈希算法。通过使用大语言模型(LLM),将二进制函数的语义进行嵌入,并利用K-Means聚类以及特征哈希(Feature Hashing) 技术,将二进制转换成紧凑且定长的程序嵌入向量表示,从而支持准确且高效的大规模程序级BCSA,性能与速度均优于此前的最新技术。

2

K(EEN)Hash技术解析

如图中所示,KHash的工作流程包括四个阶段:函数提取,函数嵌入向量生成,程序嵌入向量生成,以及相似性计算。 具体而言,为了将给定的二进制文件哈希为用于相似性分析的嵌入向量,KHash通过Ghidra提取二进制中的类C的伪代码函数。然后,KHash利用大语言模型生成这些伪代码函数的嵌入向量。接下来,在获得伪代码函数嵌入向量后,KHash利用基于函数匹配的结构特征,以及函数内在语义特征,分别将伪代码函数嵌入向量转化为紧凑且定长的结构和语义程序嵌入向量。最终,KHash针对生成的结构和语义嵌入分别采用相应的相似性指标进行计算,比较给定二进制文件与其他程序嵌入向量的相似性,以支持多种大规模程序级BCSA任务。

第一阶段,KHash提取项目的源代码函数以及二进制的伪代码函数。

源代码侧:从开源的C/C++项目中提取源代码函数。我们通过tree-sitter内置的解析器构建文件的AST并提取所有的C/C++源代码函数并去重。这些源代码函数在后续被用于两个用途:(1)作为伪代码函数的配对来训练函数嵌入向量模型;(2)作为程序嵌入向量生成的训练集。

二进制侧:我们利用Ghidra来反编译二进制文件,以生成二进制代码的类C伪代码表示作为二进制函数,用于后续分析。另外在训练过程中,我们使用DWARF调试信息将伪代码函数与对应的源代码函数进行配对,输入后续的函数嵌入向量生成阶段进行训练。

KHash的基础是函数嵌入向量模型,用于生成源函数和伪函数的函数嵌入向量来做后续的程序嵌入向量生成。该模型的目标是能够在单一向量空间中为伪代码和源代码函数学习到有意义的向量表示,其中相似的伪代码函数到源代码函数对在向量空间中保持接近,而不相似的函数向量则相距较远。

虽然源代码和伪代码的语法相似, 但由于各种语言特性(例如,函数内联)、编译环境(例如,优化选项)和反编译(例如,访问数据成员和函数)的不同,代码仍然可能存在显著差异,导致不同的代码格式。现有的LLM,通过在多种语言的代码上进行训练,能够理解并区分不同格式下代码语法和语义的复杂细节与相似性。因此,我们利用LLM来解决这一问题,并生成函数嵌入向量。我们使用一个预训练模型进行知识迁移,并通过对配对函数对进行对比学习进一步微调。通过这种方法,使LLM能够将相似函数聚集在一起,同时将不相似的函数区分开。

具体的,在KHash中,我们使用Pythia套件中的模型作为基础模型来初始化函数嵌入向量模型,然后进一步采用伪代码与源代码函数配对并使用对比学习进行微调。为了能够使函数嵌入向量在空间中分布均匀,我们使用CLIP对比学习,并应用Info NCELoss损失函数作为我们的对比训练目标。训练过程中,一个批次包含N个二进制到源代码的函数对,CLIP计算所有可能对之间的余弦相似度矩阵。训练目标是通过对称交叉熵损失对矩阵最大化N个正样本之间的相似度,同时最小化其余N*(N-1)个负样本之间的相似度。

函数是为执行特定任务而设计的自包含代码模块,它们的组合构成了程序的功能和行为。KHash的核心在于集成二进制中的函数,生成一个紧凑且固定长度的嵌入向量,用以表示该二进制,以支持大规模程序级BCSA。因此,我们分别从两个角度进行研究:程序结构(即二进制之间的函数匹配)和 程序语义(即在比较时放大二进制之间独特特征的语义)。我们将第一种方法称为K(EEN)Hash-stru,第二种称为K(EEN)Hash-sem。此外,我们强调这两种方法都应以无监督的方式进行,因为泛化构建大规模且多样化的二进制标注训练数据集的成本极高。

KHash-stru:KHash-stru的核心思想是通过伪代码函数进行函数匹配时,将该问题视为函数分类问题,使用函数嵌入向量模型统一源代码函数与伪代码函数在同一向量空间,利用大规模源代码函数构建训练集,从而通过1-NN方法高效实现伪代码函数匹配。具体流程是:首先从大量开源C/C++项目中提取不同的源函数,并利用函数嵌入向量模型为每个源代码函数生成向量,然后采用K-Means无监督聚类算法对这些嵌入向量进行聚类。每个聚类中心就代表一个函数类别。对待分析二进制中的伪代码函数,分别搜索到最相似的类别中心并记录,最终用所有被命中的类别标签集合,以位向量的形式表达该二进制的程序特征。另外,由于聚类数n(例如,2^22)往往很大,直接使用位向量会导致空间和计算资源消耗高,因此引入特征哈希方法将高维位向量哈希压缩为低维位向量,同时尽量保留原有的相似度分布,使后续比对依然高效准确。位向量长度m的选择在效率和准确率之间需要进行权衡,实际应用中一般选较大值如2^16,兼顾空间与处理速度。

KHash-sem:KHash-stru在函数匹配时仅关注程序间结构特征,忽略了函数语义差异,将所有函数视为等同重要,这使得面对大规模代码复用或不同编译环境下结构高度相似的二进制时,区分能力受限。为解决这一问题,KHash-sem引入基于函数语义重要性的加权策略生成程序语义表示。具体做法是借鉴TF-IDF和SIF等思想,通过赋予伪代码函数不同的权重来突出那些仅存在于同类二进制、能区分归属的“特征函数”语义,从而提升相似二进制的区分能力。权重主要依据函数的代码行数和字符串数量来综合衡量,函数越复杂、涉及字符串越多,其重要性越高。最终,每个伪代码函数的嵌入向量先归一化再加权求和,得到整个二进制的程序语义嵌入,能够有效强化同类二进制文件间的相似性、突出非同类间的特征差异。

KHash对二进制文件的相似性评价采用以下度量方式:

KHash-stru:生成的程序嵌入向量是一个位向量,表示基于函数分类的匹配结果。比较两个二进制时,采用杰卡德相似度来度量它们位向量间的相似性。这种度量方法能有效反映两个集合交并比的比例特征,适合描述结构特征匹配。

KHash-sem:生成的程序嵌入向量是浮点向量,用于表达整体语义特征。比较时,采用余弦相似度,与函数级别的嵌入向量一致,可量化两个向量间的角度关系,从而体现语义相似性。

3

技术评估

我们从以下五个方面对KHash的性能进行了全面评估:函数匹配有效性与效率、程序克隆检索有效性、程序克隆检索对抗代码混淆的鲁棒性、程序克隆检索面对超大规模复杂数据分布的鲁棒性、以及恶意软件检测准确度。

首先,我们将KHash与最新函数匹配方案SigmaDiff、BinDiffMatch、以及Diaphora进行比较。SigmaDiff和BinDiffMatch通过深度/机器学习生成的函数嵌入向量和基于函数调用图的启发式策略来精确找到二进制程序间最相似的函数配对。Diaphora则使用函数哈希值和调用关系完成函数匹配。我们使用2,098个跨各种版本和编译选项的GNU二进制文件作为测试集。

实验结果显示,随着K-Means聚类数量的增大,KHash的函数匹配性能持续提升。以聚类规模 n=2^22为例,Precision、Recall、F1-Score 分别达到 0.7573、0.7730 和 0.7651,明显优于 Diaphora。虽然K-Means的整体表现不如SigmaDiff和BinDiffMatch,但其 F1-Score 已达到SigmaDiff的93%和BinDiffMatch的83%(且是唯一支持大规模场景的方法(见下文))。这一现象的原因归结为K-Means无法区分同一类别内函数的相似性,也未利用二进制中的调用图信息,导致Recall偏低;同时,采用分类方式带来的类内多函数匹配(笛卡尔积现象)使假阳性率升高,从而拉低Precision。

另外,KHash在函数匹配速度上远超SigmaDiff和BinDiffMatch(Diaphora效率远低于SigmaDiff故不再做展示)。在函数与程序向量离线生成条件下,使用单核,KHash函数匹配平均速度分别比SigmaDiff和BinDiffMatch快1,254倍和215倍。在5.3亿级别相似度比较场景下,使用48核并行处理,SigmaDiff和BinDiffMatch分别需要323天和56天才能完成,而KHash-stru(基于K-Means(n=2^22))仅需约396秒,展现出极强的效率和实用性。与之相比,SigmaDiff、BinDiffMatch和Diaphora均无法支持此类大规模分析任务。

接着,我们通过使用程序克隆检索任务来评估KHash的相似度计算有效性。我们使用SSDEEP、TLSH、Vhash以及PSSO作为对比方法(下同)。SSDEEP和TLSH是两种常用于二进制相似性分析的模糊哈希算法,能够对整个文件进行快速比对。Vhash是业界认可、由VirusTotal推出的BCSA方法,本质上是一种结构特征哈希算法,被广泛用于相似文件查找和威胁情报。PSSO则基于谱分析,利用函数调用图的谱分布及控制流图中的边计数来描述和表征二进制程序。我们分别使用四个数据集来进行全面评估:

IoT:包含37,657个IoT恶意样本二进制文件。

BinaryCorp(BC):来自AOR和AUR的45,593 个不同的跨编译选项的C/C++良性二进制文件。

BinKit(BKN):涵盖51个GNU软件包,共67,680个跨架构与编译选项的良性二进制文件。

MLWMC(MC):包含49,820个真实世界的PE 32恶意软件样本。

这些测试集覆盖了物联网恶意样本、常见 Linux 软件、主流良性二进制,以及 Windows 平台的大量恶意软件,构成了全面的评测样本库。

实验结果表明,KHash(包括KHash-stru和KHash-sem)在四组数据集上的程序克隆检索性能表现显著优于所有其他方法。平均来看,KHash在mAP@100和mP@100上比对比方法(如 PSSO)分别提升至少12.69%和8.66%。在BinaryCorp等大量代码复用的良性数据集上,优势更加明显,例如BinaryCorp上PSSO的mAP@100仅为0.3212,而KHash-stru达到0.7247。在 IoT和真实恶意软件数据集上,KHash依然领先。这是因为这些传统方法仅提取简单结构特征,不包含语义信息,导致不同编译环境或样本变种间的相似性判断性能大幅下降。

另外,在海量代码复用场景上(即,BinaryCorp和BinKit),KHash-sem相比于KHash-stru性能更出色,说明强化语义特征,有助于在大量代码复用的场景下更有效地区分二进制文件。

其次,我们评估KHash对抗代码混淆的鲁棒性。使用的测试集为BinKit经过代码混淆后的版本。

实验结果表明,KHash 在代码混淆场景下较现有最优方法展现出更强的稳健性,mAP@100与mP@100指标平均提升至少23.66%至42.21%。此外,KHash-stru的性能通常优于KHash-sem,原因在于结构化的函数分类能够有效缓解混淆带来的相似性变化,对特征扰动更不敏感,因此在面对不同混淆策略时表现更为稳定。

然后,我们评估KHash面对超大规模复杂数据分布时的鲁棒性。再次实验中,测试集由之前所有使用到的数据集合并而成。

实验结果表明,两种KHash方法即使在大规模复杂分布的数据集上也能保持稳定的性能,至少比现有最先进方法高出23.16%mAP@100。相比之下,其他四种方法在多个检索场景中总是出现明显或轻微的性能下降(例如在IoT上显著),这表明它们在大规模场景下对二进制分布和多样性的敏感性较强,而KHash则展现出显著更强的鲁棒性和泛化能力。

最后,我们比较了KHash与其它BCSA方法在恶意软件检测方面的性能。我们使用此前使用的IoT数据以及BinKit数据作为这里的测试集。

实验结果表明,两种KHash方法在测试集上的分类错误数均为零。而其他所有方法都存在分类错误,哪怕是在广泛认可的BCSA方法(即,VirusTotal的Vhash)中也会出错,主要原因在于它们未能有效捕捉到语义信息。

4

总结

程序级别BCSA能够快速分析和比较完整的二进制文件间的相似性。但现有的方法无法同时兼具相似度计算效率以及对二进制语义信息的捕获,导致难以被应用到大规模场景或表现出较高的错误率。腾讯云安全科恩实验室自研二进制分析工具K(EEN)Hash,利用函数语义嵌入将二进制文件转换成一种紧凑的向量表示形式,支持快速并准确计算二进制文件之间的相似度,可服务于威胁情报、开发安全等应用场景。

5

参考文献

1. Lian Gao, Yu Qu, Sheng Yu, Yue Duan, and Heng Yin. 2024. SigmaDiff: Semantics-aware deep graph matching forpseudocode diffing. In Network and distributed system security symposium.

2. BinaryAI. 2024. BinaryAI BindiffMatch algorithm. https://github.com/binaryai/bindiffmatch.

3. Tristan Benoit, Jean-Yves Marion, and Sébastien Bardin. 2023. Scalable program clone search through spectral analysis.In Proceedings of the 31st ACM Joint European Software Engineering Conference and Symposium on the Foundations ofSoftware Engineering. 808–820.

4. Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, AmandaAskell, Pamela Mishkin, Jack Clark, et al . 2021. Learning transferable visual models from natural language supervision.In International conference on machine learning. PMLR, 8748–8763.

5. 2025. TLSH is a fuzzy matching program and library. TLSH - A Locality Sensitive Hash

6. VirusTotal. 2024. VirusTotal - free online virus, malware and URL scanner.VirusTotal

7. Ling Jiang, Junwen An, Huihui Huang, Qiyi Tang, Sen Nie, Shi Wu, and Yuqun Zhang. 2024. BinaryAI: Binary SoftwareComposition Analysis via Intelligent Binary Source Code Matching. In Proceedings of the IEEE/ACM 46th InternationalConference on Software Engineering. 1–13.

8. Jiyong Jang, David Brumley, and Shobha Venkataraman. 2011. Bitshred: feature hashing malware for scalable triageand semantic analysis. In Proceedings of the 18th ACM conference on Computer and communications security. 309–320.

9. Jesse Kornblum. 2006. Identifying almost identical files using context triggered piecewise hashing. Digital investigation3 (2006), 91–97.

“关于ISSTA”

ISSTA,全称International Symposium on Software Testing and Analysis,是软件测试领域国际最顶级学术会议,中国计算机学会推荐的A类国际学术会议。ISSTA 2025将于2025年6月25日至28日在挪威特隆赫姆举行。

点击“阅读原文”获取论文全文

原文链接:https://mp.weixin.qq.com/s?__biz=MzU1MjgwNzc4Ng==&mid=2247512943&idx=1&sn=aba87719889d0f17563a8f2635d722d7