2026年7月23日,英国AI安全研究所(UK AISI)和美国国家标准与技术研究院(NIST)联合发布了一份评估报告,测试了Moonshot AI最新发布的Kimi K3模型在网络攻击场景下的实际表现。
一、K3能做什么,不能做什么
先说数据。
评估用了两个基准测试。一个是卡内基梅隆大学开发的ExploitBench,包含41个Chrome V8引擎漏洞,测试模型能不能写出可用的漏洞利用代码。另一个是UK AISI开发的TLO(The Last Ones),一个32步攻击链的模拟企业网络,包含4个子网、约20台主机,人类安全专家完成整个攻击链大约需要20小时。Kimi K3在这两个测试上的表现如下:
ExploitBench:成功率32%,比此前最强的开源模型GLM-5.2(24%)高出8个百分点,但和美国前沿闭源模型(76.2%)有差距。
图1:ExploitBench性能对比,Kimi K3与中美模型差距
TLO攻击链:平均走到第17步(满分32步),GLM-5.2只走到第11步。更值得注意的是,10次尝试中有1次完整走完32步攻陷全网。但ExploitBench的细分数据更有意思。
图2:Kimi K3在ExploitBench各层级的表现,ACE阶段全部为零
K3在"触及漏洞代码"(41/41)和"触发崩溃"(34/41)上表现不错,说明它确实能理解漏洞的触发条件。到了"V8原语"(17/41)就开始下滑。而到了"通用原语"(任意读写、沙箱逃逸)和"完整利用"(指令指针控制、任意代码执行),得分全部归零。
翻译成人话就是,K3能发现漏洞、能触发崩溃,但写不出真正控制目标机器的payload。
从"触发崩溃"到"任意代码执行"(ACE),中间隔着一道质变的门槛。K3目前卡在这道门槛前面。
二、安全护栏分析
报告中有一句原文值得反复读:
"Kimi K3's safeguards did not prevent it from attempting cyber exploit development or offensive cyber operations."
K3的安全护栏没能阻止它参与漏洞利用开发和进攻性网络操作。
这里有个背景需要交代,美国模型在评估时主动关闭了系统级安全护栏,目的是测量模型的"最大能力上限"。而K3是在有护栏的状态下直接跑完了漏洞利用流程。
对比来看,美国前沿模型在关闭护栏后达到76.2%的ExploitBench成功率。
三、开源模型追赶速度比想象中快
把时间线拉开看更有感觉。
图3:中美模型网络能力聚合趋势(来源:NIST)
2026年6月,GLM-5.2在ExploitBench上拿到24%,TLO走到第11步。一个月后,Kimi K3把这两个数字分别推到了32%和第17步。
一个月,8个百分点,6步攻击链。
从图3的趋势线看,美国模型的整体网络能力(Elo评分)始终领先中国模型,斜率也更陡。但中国模型的追赶速度不慢——从DeepSeek R1到Kimi K3,不到两年时间,Elo评分从约100涨到约2000。
更关键的是,Kimi K3的权重在7月27日开源。这意味着任何有相应资源GPU的人都可本地部署、微调、去掉护栏。
四、TLO攻陷意味着什么
10次里成功1次,成功率10%,看起来不高。但换个角度想:
一个AI系统,给它一个模拟企业网络,它自己感知环境、规划攻击路径、执行命令、根据反馈调整策略,最终在十分之一的概率下完整攻陷了包含4个子网、20台主机的网络。整个过程不需要人类干预。
这本质上是Agent化的自主渗透测试。
此前,能自主完成TLO全链路的只有少数美国闭源模型。K3是第一个美国机构报告做到的开源模型。虽然成功率不高,但它证明了一件事,开源模型正在接近"可用"门槛。
对于小型、弱防护的企业系统来说,这个门槛已经够用了。你不需要100%的成功率,10%就意味着每10次尝试就有1次能进去。对于没有专职安全团队的中小企业,这已经是一个现实的威胁。
五、反过来想:K3能用来防守吗
能力评估不能只看攻击面。K3有几个特征,放在防御场景里反而成了优势。
1M超长上下文。安全日志、Agent执行轨迹、溯源图这类数据天然就是长文本。1M token窗口意味着可以一次性吃进完整的攻击链日志,不需要切分拼接。传统SIEM做关联分析要预定义规则,K3可以直接从零散告警里推理出完整攻击路径。
代码理解能力强。K3是首个登顶编程排行榜的开源模型。虽然它写不出完整的exploit(ACE=0),但它能理解漏洞利用的中间步骤。放在恶意软件分析场景里,它能更强的逆向分析能力、可识别反调试机制、把恶意行为映射到MITRE ATT&CK框架。
ACE=0反而是安全优势。K3能看懂攻击者在干什么,但做不出真正的payload。用在防御分析时,它天然就是"看得到、做不到"。即使被对抗样本诱导,它也生成不了可执行的exploit代码。这比那些能力强但"既能看又能做"的模型安全得多。
开源可本地部署。2.8T参数的MoE架构,7月27日开源权重。安全分析场景中数据不外泄是刚需,本地部署解决了这个问题,虽然资源要求很高。
具体来说,有几个场景值得尝试:
Agent运行时行为审计——把完整的Agent Session日志(Tool Call序列、I/O、中间推理)喂给K3,让它判断是否存在异常行为模式。这和实时检测方案(比如ClawGuard的EM侧信道)形成互补,实时方案做快速拦截,K3做深度事后审计。
多源日志联合研判——Sysmon、EDR、网络流、DNS日志放在一起分析,不依赖预定义关联规则,靠模型自己从零散告警中推理出攻击路径。1M上下文的优势在这里体现得最明显,传统方案可能只能看最近1小时的日志,K3可以吃进更长的时间窗口,减少分段带来的上下文断裂。
CTI情报结构化——结合ANCHOR这类LLM辅助CTI知识图谱构建方案,从威胁情报报告中自动提取TTP和IOC,生成UCO/STIX标准格式,辅助APT归因分析。
六、用K3做防御,需要注意什么
报告原文说K3的安全护栏形同虚设。这意味着用它做防御分析时,不能信任它自带的防护,得在外面套一层。
输入过滤。用户提交的样本和日志中可能包含对抗样本或提示注入payload。K3的护栏拦不住攻击性操作,同样也可能被精心构造的输入绕过。
输出限制。K3的分析结果不应该直接和系统命令交互。如果模型被间接提示注入,它的输出可能包含恶意指令。所有输出先过一层沙箱,确认安全再执行。
完整审计。所有K3的分析结果和推理过程需要完整记录。不是为了信任它,而是为了出问题时能追溯。
七、更大的背景
把这份报告放在更大的背景下看,AI Agent的自主网络攻击能力正在从概念验证走向实际可用。TLO测试的本质是Agent化渗透测试——模型自主感知环境、规划路径、执行命令、循环反馈。结合近期的几项研究——ZERO-APT(三角色渗透测试框架,自动侦察成功率79%)、Synthetic APTs(AI Agent模拟APT导致TTP归因失效)、Guardrail DoS(对安全护栏的拒绝服务攻击),可见攻击侧的AI能力在快速迭代,防御侧的AI安全体系差距窗口越拉越大。
参考文献
-
UK AISI / NIST.Kimi K3 Cyber Capability Assessment[R]. 2026-07-23. ↩
-
CMU.ExploitBench: Benchmarking LLM Vulnerability Exploitation[C]. arXiv:2605.14153, 2025. ↩
-
UK AISI.TLO: The Last Ones - A Benchmark for Autonomous Cyber Operations[C]. arXiv:2603.11214, 2026. ↩
-
NIST.GLM-5.2 Cyber Capability Evaluation Report[R]. 2026-07-17. ↩
-
VentureBeat.Moonshot AI releases Kimi K3, open-sources weights July 27[N]. 2026-07-16. ↩