原创 漏洞战争 2026-07-11 09:59 广东
递归自我改进(Recursive Self-Improvement, RSI)是人工智能领域的长期愿景,其核心在于系统能够利用自身智能改进产生该智能的认知机制。近年来的实践表明,模型与真实世界之间的部署层——即 Harness——在 RSI 路径中扮演着与模型核心智能同等重要的角色。本文系统梳理了 Harness 工程的设计模式、优化方法及与模型权重的联合优化策略,涵盖工作流自动化、文件系统持久记忆、子agent并行执行等设计范式,以及上下文工程、进化搜索、自我改进循环等优化技术。在此基础上,本文进一步整合了自演进agent领域的理论框架(递归自指、轻量化范式、多agent协同进化)、标准化协议与基础设施、评测基准及错误进化风险等最新研究进展,并讨论了评估器脆弱性、上下文生命周期管理、多样性坍缩、奖励黑客等开放性挑战,最后对 Harness 层与核心智能的边界演化趋势进行了分析。
关键词:递归自我演进;Harness 工程;智能体系统;上下文工程;进化搜索;自演进Agent
递归自我改进的概念可追溯至 Good (1965) 提出的"超智能机器"设想——一种在所有智力活动中超越人类、并能设计更优机器以改进自身的系统 [1]。Yudkowsky (2008) 进一步将其明确为一个反馈回路:AI 利用当前智能改进产生该智能的认知机制本身 [2]。在现代 AI 语境下,这一反馈回路可以表现为模型直接重写自身权重,也可以更广泛地理解为模型改进训练流程和部署系统,从而催生性能更强的后继模型 3。
值得关注的是,原始模型与真实世界上下文之间的部署层——即Harness——的重要性正日益凸显。Harness 是围绕基座模型构建的系统,负责编排执行流程,决定模型如何思考与规划、调用工具与执行动作、感知与管理上下文、存储制品以及评估结果。Claude Code 和 Codex 等编码agent产品的成功印证了这一点:模型的原始智能(即预训练后的评估表现)与 Harness 的工程质量共同决定了系统的实际能力上限。
本文聚焦 Harness 工程的研究进展及其对 RSI 的贡献。与早期智能体框架"agent = LLM + 记忆 + 工具 + 规划 + 动作"的公式不同,Harness 工程在此基础上额外涵盖了工作流设计(如循环工程)、评估机制、权限控制和持久状态管理。它已不再仅仅是提示模板的组合,而更接近运行时和软件系统设计。
Harness 的设计应当刻意保持简洁和通用,以支持泛化能力。一种有效的策略是参照已有软件工程实践,从而受益于模型预训练阶段习得的知识。Harness 与操作系统之间存在强烈的类比关系:正如操作系统封装复杂逻辑的同时保持接口简洁,Harness 也应遵循类似原则。与此同时,配置、工具接口及其他协议有望逐步实现行业标准化。
定义一个模型可以在其中操作、测试和迭代的工作流是实现自动化的关键设计。Karpathy 的 autoresearch 项目是该模式的典型实例 [5]。常见的工作流遵循一个目标导向循环:规划 → 执行 → 观察/测试 → 改进 → 再次执行,直至目标达成。在此过程中,模型可以主动向用户请求澄清任务规格或执行偏好。
工作流图的核心特征在于,模型通过"agent运行时"而非静态提示模板来分析自身轨迹和失败案例,并在此基础上迭代改进。
在长时程agent系统中,一个反复出现的模式是对丰富状态和制品的简洁控制。Harness 不应在上下文中承载整个工作流和所有日志,而应将持久状态保存在文件中。在长时程agent展开过程中,实验日志、代码差异、论文摘要、错误追踪和过往展开轨迹等制品的长度往往远超模型的上下文窗口。
通过文件系统(通常借助bash命令)进行读写和编辑是 LLM 的基础能力,因此以文件形式管理持久记忆能够自然地受益于核心模型能力的提升。
Harness 可以生成多个子agent并行执行并监控后端任务。当主agent需要搜索多个假设、并发运行实验或委派隔离子任务时,这一模式尤为有用——它可以避免污染主上下文。父agent随后充当一个轻量进程管理器:启动任务、检查日志、取消失败运行、将结果合并回主agent线程。
关键的设计选择在于使并行性显式化且可检查。如果子agent输出仅存在于瞬态聊天上下文中,它们很快会变得过时和隐蔽。若以文件、日志和状态记录的形式存储,模型则可以在中断后恢复,并对自身的执行历史进行推理。
主流编码agent(Claude Code、Codex、OpenCode、Cursor 等)的核心接口已趋于稳定。它们通常采用如下循环结构:
借助一组工具集,编码agent能够在给定代码库中开发和调试问题,类似于人类开发者使用 IDE 的方式。下表列出了编码agent常见的工具分组:
| 工具组 | 工具定义 |
|---|---|
| 文件系统 | 文件发现: glob, grep, ls;文件读取:read, read_many;文件修改:write, edit, multi_edit, apply_patch |
| Shell 执行 | 运行命令: bash, PowerShell |
| IO | lsp;Git 工具:git_status, git_diff, git_commit |
| 外部上下文 | MCP 工具, Skills |
| 网络搜索 | web_search, web_fetch, 浏览器工具 |
| 制品生成 | 读取文档、图片;生成 HTML、图片 |
| 后端进程 | CronCreate, CronDelete, CronList |
| agent委派 | spawn_agent, resume_agent, wait_agent, list_agents, close_agent, interrupt_agent 等 |
预测 RSI 的未来在多大程度上依赖 Harness 工程是困难的,但近期路径不太可能从模型直接重写自身权重开始。本文认为,Harness 层与核心智能之间存在一个阶段性的协同演化关系,可从三个维度理解。
Harness 工程将朝元方法论(meta-methodology)方向演化,即改进获取更优答案的机制本身,而非仅优化答案本身。在传统的 Harness 工程实践中,优化对象是具体任务的输出质量——通过调整提示模板、添加工具描述、修改工作流分支来提升模型在特定场景下的表现。元方法论转向意味着优化对象上移一个抽象层级:Harness 系统自身成为优化目标。
这一转向在前述各项研究中已具雏形。ACE 将上下文管理从手工规则转变为自动化的剧本演化;MCE 进一步将"如何管理上下文"的机制本身作为搜索对象;Meta-Harness 直接以编码agent为优化器,搜索决定信息存储、检索和呈现方式的代码;ADAS 和 AFlow 将工作流设计形式化为可通过元agent或 MCTS 自动搜索的优化问题。这些方法的共同特征是:启发式的、人肉设计的规则逐步被通用的、自动化的机制取代。其本质是从"工程师设计 Harness"迁移至"模型在设计空间中搜索 Harness",设计空间本身保持不变,但搜索主体和搜索效率发生了质变。
成熟的 Harness 系统与更强的模型智能之间存在双向制衡关系。一方面,成熟的 Harness 为模型自我改进循环中的自动研究提供了基础设施——AI Scientist 等系统已展示出从研究想法生成到论文撰写的全自动流水线能力 [10]。Harness 工程的质量直接决定了自改进循环能否闭合、能否在长时程任务中维持稳定。
另一方面,更智能的模型能够防止 Harness 系统的过度工程化。当模型的核心推理能力足够强时,许多原本需要复杂 Harness 逻辑才能完成的任务(如上下文压缩、失败模式分析、工作流分支选择)可以由模型自身承担,从而简化 Harness 设计。这种制衡关系使系统保持可持续性——避免陷入"Harness 越来越复杂、维护成本越来越高"的正反馈失控。STOP 的实验结果为这一论点提供了经验佐证:递归自改进在 GPT-4 上有效,但在 GPT-3.5 和 Mixtral 等较弱模型上出现退化 [15],表明基座模型的智能水平是 Harness 自改进机制发挥作用的前提条件。
最终,许多 Harness 改进可能会被内化为核心模型行为。当前由 ACE 策展器执行的结构化上下文更新、由 Self-Harness 实施的弱点修复、由进化搜索发现的工作流模式,在未来可能部分成为模型的原生能力——正如链式推理(Chain-of-Thought)曾是需要精心设计的提示技巧,而今已通过推理导向的强化学习内化为模型行为 [14]。
然而,与外部上下文和工具的接口应当保留。模型无论多么智能,仍需接收关于目标、约束条件、上下文和评估方式的明确 specification。这一模式与提示工程的演化路径高度相似:随着指令调优和模型推理能力的提升,手动提示技巧的中心性显著降低,但指定目标、约束、上下文和评估的需求并未消失——它从"教模型如何思考"退化为"告诉模型思考什么" [6]。Harness 的演化可能遵循相同轨迹:"如何做"的程序性技巧会被内化进模型权重,但"做什么"的接口 specification 将持续存在。这意味着 Harness 工程不会消亡,而是其重心从运行时逻辑设计转向接口与评估设计。
Harness 系统中优化对象的演进路径大致为:指令提示 → 结构化上下文 → 工作流 → Harness 代码 → 优化器代码。随着模型变得更智能、更强大,优化目标趋向更复杂的对象和更通用的方法。
简单地将所有工具响应和模型生成追加到上下文中,随着agent任务时程的增加会迅速失控。上下文管理是构建更结构化、更简洁上下文并管理持久状态的层。
Agentic Context Engineering(ACE)[7] 将上下文视为一份不断演化的"剧本"(playbook),而非不断增长的提示。ACE 包含三个组件:
生成器:参考要点生成任务轨迹。
反思器:从成功和失败轨迹中提炼洞见。
策展器:以增量、条目化的方式更新结构化上下文。
为防止迭代重写中的上下文坍缩和简洁性偏差,ACE 的策展器不重写完整的提示块,而是输出结构化条目(标识符, 描述),通过确定性逻辑合并到结构化上下文日志中,并周期性地进行精炼和去重。
ACE 从展开中学习洞见,推动自管理记忆的发展,但其更新规则和工作流仍是手工设计的。Meta Context Engineering(MCE)[8] 将机制(如何管理上下文)与制品内容(上下文中有什么)分离,在元优化层面运行技能演化,在基础层面运行上下文优化。
MCE 中的技能 s∈Ss \in S 定义了上下文函数 cs=(ρs,Fs)c_s = (\rho_s, F_s),将输入 xx 映射到上下文 c=Fs(x;ρs)c = F_s(x; \rho_s),其中 ρs\rho_s 为静态组件(提示、知识库、代码库),FsF_s 为动态算子(搜索、选择、过滤、格式化)。双层优化公式为:
Meta-Harness[9] 将优化目标进一步深入:被优化的对象是决定什么信息应被存储、检索和呈现给模型的代码本身。其命名中的"Meta"意味着它是优化 Harness 的 Harness。
提出新 Harness 的提议者本身是一个编码agent,最终输出是帕累托前沿上的一组 Harness 候选。整个执行历史通过文件系统访问,编码agent使用grep或cat等命令阅读历史,而非将所有内容塞入单个提示上下文。
核心启示在于:一旦 Harness 设计成为可执行的搜索空间,强大的编码agent就能利用人类工程师所使用的同一设计空间。
工作流设计可由领域专家手工构建。以自动研究为例,AI Scientist[10] 构建了一条从提出研究想法、编写代码、运行实验、分析结果、撰写手稿到同行评审的完整流水线。ScientistOne[11] 将可验证性作为核心设计约束,每条声明(引用、数值、方法论、结论)都必须追溯到证据源,并通过 Chain-of-Evidence 审计。
Autodata[12] 作为数据科学家agent,旨在生成训练和评估数据。主agent管理挑战者(提出问题)、弱求解器、强求解器和验证器/裁判,目标是合成"恰好合适"难度的数据——即强求解器成功而弱求解器失败的任务。
工作流设计空间极其庞大,可将其视为搜索问题。Automated Design of Agentic Systems(ADAS)[13] 将agent设计本身形式化为优化问题,由元agent提出新的工作流设计。初始化一个包含简单agent(如 CoT、self-refine)的档案库后,元agent受档案库中已有方案启发,以代码形式编程新agent,经自精炼检查新颖性后评估,成功者加入档案库。
AFlow[14] 将agent工作流表示为图,节点为 LLM 调用动作,边为代码实现的逻辑操作。工作流优化依赖蒙特卡洛树搜索(MCTS),在 QA、代码和数学任务上表现出对手工工作流和 ADAS 的改进。
上下文工程和工作流设计仅是 Harness 的局部。完整的 Harness 搜索需要同时优化上下文管理逻辑、工作流、权限控制等多个组件。代码是定义程序和系统的通用语言——一个 Harness 本质上是一段协调提示、工具调用、子agent、控制流、记忆和工作流逻辑的代码。如果 LLM 能够优化执行agent的代码,它就能访问比手写提示大得多的设计空间。
Self-Taught Optimizer(STOP)[15] 是递归支架改进的早期实例。种子改进器 I_0 在步骤 t=0接收初始解 s、效用函数 u 和黑盒语言模型 M,返回改进解 s'。STOP 的目标不是直接改进 s,而是改进改进器 I 本身。元效用定义为改进器函数 I 在下游任务集合 D 上的平均效用:
通过递归自改进更新:
实验中,STOP 在 GPT-4 上实现了跨迭代平均下游性能的提升,但在 GPT-3.5 和 Mixtral 等较弱模型上出现退化。这表明递归结构本身不够——基座模型必须具备足够的智能才能改进机制。
Self-Harness[16] 依赖 LLM agent通过"提出-评估-接受"循环改进自身 Harness,包含三个阶段:
弱点挖掘:将失败聚类为验证器基础的失败模式,需记录包含终端验证器级原因、相关agent行为的因果状态以及轨迹暴露的抽象agent机制的丰富信息。
Harness 提议:基于挖掘的失败模式提出有界 Harness 编辑,需考虑当前 Harness 的可编辑表面、验证器基础的失败模式、应保留的通过行为记录以及先前尝试的编辑摘要。
提议验证:在保留集上评估候选编辑,仅在无回归时接受并合并。
进化搜索受自然选择启发,通过变异种群中的解并保留高适应度个体来优化。当搜索空间庞大或形状不规则、难以用梯度直接优化但易于评估解时,进化搜索尤为适用——Harness 搜索恰好符合这些条件。
AlphaEvolve[17] 作为编码agent进化搜索系统,存储候选程序池并提示冻结的 LLM 生成改进差异。设计上的关键细节包括:提示包含父程序、结果和指令;代码改进区域以
Darwin Gödel Machine(DGM)[18] 明确以可编辑的 Harness 代码仓库为进化目标。从池中一个编码agent开始,每次迭代按性能正比、子代数量反比的概率选择父agent,由其检查自身基准评估日志并提出 Harness 代码库改进。以 Claude 3.5 Sonnet 为基座 LLM,DGM 发现的agent在 SWE-bench Verified 上从 20% 提升至 50%,在 Polyglot 上从 14.2% 提升至 30.7%。
Harness 进化改变的是模型周围的非参数化系统。为实现完全的自我改进,模型也可以同时更新自身权重。SIA[19] 是将 Harness 改进和模型参数更新纳入同一优化循环的早期尝试,包含三个组件:
元agent:提出初始 Harness。
任务agent:执行任务。
反馈agent:根据近期轨迹决定下一步是更新 Harness 还是模型权重。
SIA 的实验存在一些混淆因素(如任务agent使用的模型远弱于元agent和反馈agent的模型),其结果应被视为初步证据。训练稳定性和 Goodhart 效应等挑战仍然存在。
前面介绍的优化方法大多在实验室或单任务场景中验证,而企业级大规模agent服务面临的挑战有所不同。Yan et al. (2026) 在 AReaL 2.0 [28] 中指出,自演进agent在企业级部署中受阻的根本原因不在于 RL 算法本身,而在于缺乏支撑在线agent强化学习的系统基础设施。当前部署的 LLM agent在权重、系统提示、工具库和上下文 Harness 均在部署时冻结,任何改进都依赖人工数据收集、离线微调、范式修改和重新部署的手动循环。
该论文提出下一代agent RL 系统须围绕三大支柱协同设计:
支柱一:agent轨迹数据协议(Agent Trajectory Data Protocol, ATDP)。现有agent日志通常记录提示、补全、工具调用、延迟和错误等信息,适用于调试但不适用于在线 RL。学习就绪的轨迹必须保留步粒度的决策过程:agent可用的观察、相关内部或 Harness 状态、选择的动作、动作结果、延迟到达的奖励或批评信号,以及模型版本、工具模式、租户、成本和治理状态等元数据。ATDP 需厂商中立、框架无关,支持延迟反馈和奖励增强,保留版本化溯源以支持反事实重放,并从一开始就编码隐私、访问控制、保留期限和训练资格字段。
支柱二:企业级agent数据agent(Agentic Data Proxy)。ATDP 规定须表示什么,数据agent规定如何在异构企业环境中产生这些表示。由于部署的agent不会基于单一框架或提供商,数据agent须在稳定的执行边界处拦截:LLM 调用、工具调用、检索调用、记忆读写、文件或浏览器操作、审批事件、用户纠正和最终任务结果。其角色不仅是导出轨迹,而是通过脱敏敏感字段、执行访问控制和保留策略、附加溯源、采集弱信号和延迟奖励,将生产工作转化为受治理的学习材料。关键在于区分确定性重放、近似重放和不可重放事件——企业学习系统须能回答"在不同提示、模型检查点、记忆条目或工具模式下,agent是否仍会成功"。
支柱三:统一agent演进控制平面(Agent Evolution Control Plane)。自演进不应等同于盲目更新模型权重。部署的agent是一个由基座 LLM、上下文 Harness、记忆、工具和护栏组成的复合策略,不同的失败需要不同的干预表面:反复缺失的事实可能需要记忆插入,工具路由失败可能需要 Harness 或模式编辑,可复用的程序性失败可能需要技能补丁,跨租户、任务和工具配置持续出现的广泛失败则可能需要通过 SFT、偏好优化、在线 RL 或蒸馏来更新模型权重。控制平面将自演进视为一个受治理的决策问题——给定一组 ATDP 轨迹、轨迹统计、评估器分数、用户纠正率、工具失败聚类、成本信号、安全约束和分布漂移指标,在记忆更新、技能更新、Harness 编辑、工具模式变更、策略更新、回滚或无操作之间做出选择。每项选定的干预须经过先重放评估、离线回归测试、租户感知安全检查和版本化回滚。
AReaL 2.0 作为该愿景的一个限定分支原型,聚焦于在线策略 LLM 权重更新这一代表性演进路径,展示了如何将现有离线后训练 RL 框架重组为面向agent服务的在线 RL 循环:部署的agent服务可将 LLM 推理调用重定向至 AReaL 2.0 管理的agent计算工作节点,交互轨迹则由 RL 训练管线捕获和消费 [29]。
这一工作将 Lilian Weng 所述的优化对象演进路径(指令提示 → 结构化上下文 → 工作流 → Harness 代码 → 优化器代码)进一步延伸至系统级的自动决策层——不仅优化某一特定表面,而是自动决定该优化哪一个表面。SIA 的反馈agent是这一思路的雏形,而 AReaL 2.0 的控制平面将其系统化为企业级的多表面治理框架。
自演进agent作为一个独立研究方向,已形成从理论框架到关键实现技术再到评测基准的初步生态。两篇 2025–2026 年的综述为该领域建立了统一的术语体系和分类标准。
Gao et al. (2026) [30] 在首篇系统性综述中围绕"进化什么""何时进化""如何进化"三大维度完成全领域梳理,覆盖模型、记忆、工具、架构四类可进化组件,区分测试内迭代与长期在线演化等进化阶段,对比标量奖励、文本反思、单/多智能体协同等进化机制。Fang et al. (2025) [31] 则提出了自进化智能体的统一反馈循环抽象框架,包含输入、智能体、环境、优化器四大核心模块,并提出了自进化"三定律":安全适应、性能保持、自主进化——为系统的安全可控提供了设计原则。
Gödel Agent[32] 受哥德尔机理论启发,提出了首个工程可落地的全自指递归自进化框架。区别于固定架构、固定元学习算法的传统agent,Gödel Agent 可在运行时读取并动态改写自身的决策逻辑、工具调用策略与优化算法,无需预设参数搜索空间。在数学推理、科学问答和代码生成任务上,它超越了 ReAct 和 MetaAgent Search 等基线,能自主演化出启发式搜索和回溯等复杂求解策略。
与本文前述的 DGM(Darwin Gödel Machine)[18] 相比,Gödel Agent 侧重单agent的递归自指修改,而 DGM 引入了种群层面的开放式进化搜索,二者从不同角度推动了递归自改进的理论边界。后续工作Polaris[33] 将此框架推广至小语言模型(7B),通过经验抽象(experience abstraction)与最小补丁修复(minimal code patch repair),在多项基准测试上实现了超过大模型的性能,表明递归自进化并非大模型专属。
并非所有自进化路径都需要修改模型权重或重写代码。Reflexion[34] 开创了无微调的轻量化自进化范式:agent对任务中的错误进行语言层面的自我反思,将反思文本保存在情景记忆缓冲区中,以指导后续尝试。这一方法计算成本极低,不改动模型权重即可实现迭代提升,已成为几乎所有自进化工作的对比基线。
MetaAgent[35] 聚焦工具侧自进化,以"做中学"为原则,从最小化工作流开始,在任务执行中持续反思与验证,将经验浓缩为可迁移文本动态融入后续上下文,同时通过管理工具使用记录构建持久的内部知识库与工具体系,实现零模型微调的自进化。
Agent0[36] 提出了零外部数据的双agent协同自进化范式:课程agent持续生成难度递增的前沿任务,执行agent借助工具完成求解,执行能力提升倒逼课程agent产出更复杂任务。基于 Qwen3-8B 的实验显示,该方案将数学推理性能提升 18%、通用推理性能提升 24%,彻底摆脱了对人工数据集的依赖。
MorphAgent[37] 针对中心化调度瓶颈,提出去中心化协同自进化框架:agent可自主演化专属角色档案、动态调整集群协作拓扑,无需中心管控即可在开放环境中自主分工、互相学习迭代。其分布式经验沉淀机制实现了跨agent能力迁移,适用于机器人集群、分布式 AI 协作平台等场景。这一工作填补了集群层面自主分工与动态角色迭代的技术空白。
Autogenesis Protocol(AGP)[38] 从系统架构视角提出了双层标准化自进化协议:资源基底协议层(RSPL)统一建模提示词、agent、工具、记忆等全量可进化资源;自进化协议层(SEPL)定义带审计、回滚能力的闭环进化算子,实现进化对象与进化逻辑解耦。基于 AGP 构建的多agent系统在长时序、多工具复杂基准上优于基线,为工业化可管控的自进化agent提供了统一底层标准。
AgentGym[39] 推出了领域首个统一多环境agent训练与自进化开源平台,集成 14 类异构交互环境、标准化专家轨迹数据集 AgentTraj 与统一评测基准 AgentEval,配套跨环境自进化算法 AgentEvol,解决了环境碎片化和缺少通用评测工具的行业痛点。
自进化agent的评测本身是一个独立挑战。GDPevo[40] 据称是首个在具有真实经济价值(GDP 相关)的任务上专门评估agent自进化能力的基准。它覆盖 CRM、ERP 和金融三大场景共 120 个真实企业任务,采用"规则杂交"技术——将复杂业务逻辑拆分为元规则分散藏入训练集,再将其重新组合为测试题——以区分"背答案"和"学规则"。GDPevo 使用确定性规则打分器而非 LLM-as-a-Judge,保证分数可复现且失败可追溯。实验显示,当前主流agent(Claude Code、Codex)的自进化能力可将测试准确率提升约 17–22%,同时降低 Token 消耗。
该基准揭示了一个重要信号:当前agent已具备一定的自进化能力,但评估方法的成熟度仍是制约研究进展的瓶颈。GDPevo 采用端到端全自动的基准构建流程以对抗数据泄露,这一思路与 Loop Engineering 的理念一脉相承——当出题速度超过模型记忆泄露答案的速度时,基准始终保持有效。
自进化并非总是朝正确方向演进。Misevolution[41] 研究了自进化agent的"错误进化"风险:agent可能从经验中学到错误模式并将其固化为行为策略,导致性能退化而非提升。这一问题与本文第 4.5 节讨论的奖励黑客密切相关,但更为隐蔽——错误进化不一定源于奖励信号被优化,而可能源于agent从有限经验中归纳出错误的因果推断。这要求自进化系统具备错误检测与回滚机制,而非无条件接受所有"学到的"改进。
崔添翼(DeepSeek Harness 负责人)在转发翁荔博文时提出了一个重要的分层观察:Skill 是 Harness 自进化中比较初级的一种形式,即从 prompt 层面进行自进化[42]。这一观点为 Harness 优化路径提供了一个更精细的梯度划分——从 prompt 层的 Skill 自进化,到上下文工程的结构化演化,再到 Harness 代码层面的重写,自进化的深度逐级递增。Skill 层面的自进化门槛最低、见效最快,是 Harness 自进化最务实的入口。
这一判断已获得产业界的验证。DeepSeek 在 2026 年中期已形成"模型 + Harness"双轮驱动的研发模式,由专职团队推进 Agent 架构、上下文管理、多智能体调度和工具集成方向的工程化 [42]。这一模式并非 DeepSeek 独有——头部 AI 公司均在向"模型 + 模型外系统"的双轮配置迁移:OpenAI 以 GPT 模型配合 Function Calling 与 GPT-Live 工具 Harness;Anthropic 以 Claude 模型配合 Claude Code 编程 Harness 与 MCP 工具协议;Google 以 Gemini 模型配合 Agent Kit 多模态 Harness。
从产业边界视角审视,当前主流编码代理产品(Cursor、Claude Code、Devin、通义灵码等)本质上都是 Harness 公司——它们的核心竞争力不在基座模型,而在于 Harness 工程质量和工具生态的成熟度。Harness 正在成为"模型变现的最后一公里":同一个基座模型放入不同 Harness 中可能表现出完全不同的能力,这一观察已从少数人的经验判断演变为产业共识 42。GitHub Trending 数据也佐证了这一趋势——Agent/Harness 类项目持续占据前列,而纯模型项目逐渐退出热门榜单。
翁荔(前 OpenAI 安全副总裁、Thinking Machines Lab 联合创始人)与崔添翼(DeepSeek Harness 负责人)在 Harness 自进化方向上的共识具有标志性意义。两位横跨中美 AI 研究圈的代表性人物罕见达成一致,表明"自进化先从 Harness 开始"已不是个别观点,而是产业级判断 42。这与本文 2.5.1 节论述的元方法论转向形成呼应——Harness 工程的竞争重心正从"训练侧"(谁的模型更大)转向"工程侧"(谁的 Harness 更优),AI 产业的护城河正在从"模型权重"向"Harness 工程质量 + 工具生态 + 上下文管理能力"迁移。
Apodex(陈天桥创立的 AI 公司,专注"发现模型" Discovery Model)的两位首席科学家杜少雷与 Beibin Li 在 2026 年 7 月的深度对话中 [44],从工业实践角度揭示了自进化闭环的若干使能条件和耦合关系,为本文的理论框架提供了实践佐证。
编码能力作为自进化的底座。训练一个模型本质上是数据、基础设施和算法三件事,而这三者都高度依赖代码——合成数据生成、自然语言数据清洗、训练代码和底层 infra 代码均以代码形式存在。一旦模型的编码能力足够强(如 Anthropic 报告其 80% 的代码由模型自身编写),用它来进行自我提升就成为非常自然的事情 [44]。这一观察为本文 3.7.7 节的 Skill 分层观点提供了更底层的解释:Skill 层面的自进化之所以是最务实的入口,正是因为它直接利用了编码这一使能能力。换言之,编码能力是自进化阶梯的地基——没有足够强的编码能力,上层的历史记忆、上下文工程和 Harness 代码重写都无法有效运作。
Harness 与后训练的耦合进化。Apodex 的实践揭示了一个前文尚未充分讨论的动力学:Harness 进化与后训练进化难以解耦,二者构成交替推进的耦合关系[44]。模型在后训练阶段进化后,Harness 也需要相应进化以匹配新的模型能力;Harness 的改进又反过来为下一轮后训练提供更好的训练环境。这一"两只脚交替踩"的模式与本文 3.5 节 SIA 的"反馈代理决定改 Harness 还是改权重"形成了互补——SIA 将两者视为可选的替代路径,而 Apodex 的实践表明它们在实践中更可能是耦合的协同进化关系。AReaL 2.0 的控制平面(3.6 节)在设计上已隐含了这一耦合——它在记忆、技能、Harness、工具模式和权重之间做选择时,实际上是在不同表面之间推进耦合进化。
搜索能力作为自进化的导航器。后训练自进化的核心循环是"诊断自身缺陷 → 针对性造任务和答案 → 训练 → 验证 → 再诊断"。在这一循环中,搜索能力承担着导航器的角色——模型需要搜索与自身弱点对应的资料和数据来构造训练任务 [44]。这使得 Deep Research(深度研究)能力不仅是面向用户的应用,更是自进化循环内部的基础设施。搜索能力本质上代表了"当模型需要提高某个能力时,能否找到对应的数据来提升"这一使能条件。
"递归漂移"(Recursive Drift)是自进化面临的一个比错误进化更为根本的挑战。Apodex 团队将其精确表述为:模型在自行生成训练数据时,即使最终答案正确,推理过程中的错误也会逐代累积,最终导致进化结果偏离正轨[44]。这一问题与本文 4.6 节讨论的错误进化有交集但侧重不同——错误进化关注的是行为策略层面的错误固化,而递归漂移关注的是推理过程层面的误差累积,即使外在表现(答案)正确也可能发生。
递归漂移的严重程度与验证难度高度相关。在代码和数学领域,基于规则的验证(单元测试、Lean 形式化验证)能较好地控制漂移,因为验证信号客观且精确。但即便如此,测试代码本身也可能存在"太宽"(让错误代码通过)或"太窄"(惩罚正确代码)的问题,导致细微漂移仍然发生 [44]。在缺乏标准答案的开放性研究领域,递归漂移的控制则几乎缺乏可靠手段。
Apodex 的应对方案揭示了多代理验证范式的工程价值。其核心设计是Agent Team:问题被分解后,不同子代理分别负责解题和验证,验证代理与解题代理分离以避免上下文污染和角色冲突 [44]。此外引入冗余机制——同一问题由多个独立代理求解,再由全局代理判断哪个答案更可靠。这一设计基于一个结构性的判断:在当前 Self-attention 架构下,上下文越长注意力效果越差,单个模型处理超长上下文存在本质上限,因此多代理协作不是性能优化而是架构必然 [44]。
这一观点为本文 2.3 节的子代理并行模式提供了更深层的理论依据——子代理并行的设计动机不仅是避免上下文污染和提高并行效率,更是为了绕过单模型注意力衰减的结构性约束。Apodex 的实践也表明,裁判(验证器)应在训练过程中一起学习,以避免模型学会讨好裁判的奖励黑客行为 [44]——这与 Self-Harness 的回归测试和 AReaL 2.0 的版本化回滚形成了方法论上的呼应。
Apodex 团队提出的"发现模型"(Discovery Model)概念指向了自进化的一个更高维度挑战:模型不仅需要解题能力,还需要科学品味——即判断哪些问题值得追求、哪些结果令人惊讶且值得深入的能力[44]。
这一观点与 Lilian Weng 在第 4.1 节中提出的"研究品味难以量化"形成互补。Weng 从评估器角度指出研究品味的不可量化性,而 Apodex 的实践则从训练角度揭示了更深层的问题:"会提问"是一种比"会解题"更高维的元能力,涉及自我诊断、自我造题和自我训练的后训练循环 [44]。当前模型的训练范式已能较好地培养解题能力(如 SWE-bench Verified 类任务),但如何训练模型提出有价值的创新假设——尤其是 out-of-distribution 的假设——仍是一个未调通的问题。
这一挑战与本文 2.5.1 节的元方法论转向形成呼应:元方法论要求优化"获取更优答案的机制",而科学品味恰恰是这一机制中最高阶的组件——它决定了模型在无限的假设空间中应该搜索哪个方向。当前的自进化系统(如 STOP、Self-Harness、DGM)主要在已知任务空间内搜索改进,而科学品味的培养则要求模型具备在未知空间中导航的能力,这可能是实现完全 RSI 的最后一道门槛。
关于自进化闭环的实现时间线,Apodex 团队预测最快半年内 AI 即可跑通一次完整的自我进化闭环 [44]。业界数据显示,模型可完成的任务时长约每 7 个月翻一番(从 2024 年 3 月 Claude 3 Opus 的 4 分钟到 2026 年 Claude 4.6 Opus 的 12 小时),这一增速超过了经典摩尔定律 [44]。长程任务能力的指数级增长是 RSI 中"R"(递归)得以实现的前提条件——只有当模型能在无人类监督下持续工作足够长时间时,多轮自我改进才成为可能。
许多研究声明缺乏快速精确的验证器,现实世界任务亦然。当前自改进循环在评估指标可测量且客观的任务上表现最佳,类似于 RL 的适用条件。研究品味、新颖性和长期科学价值则难以量化——研究品味往往混合了问题构建、实验设计以及对哪些令人惊讶的结果值得追求、哪些失败案例值得重试的判断。
随着 AI agent变得更加自主,记忆管理需求持续增长。有用的 Harness 需要管理上下文和记忆,以弥补长上下文生成的现有局限,同时最大化长时程任务的成功率。人类能够在一生中维护记忆,这暗示上下文工程应成为智能的核心组成部分,而非停留在软件系统层。
文献中成功结果的发表偏差使得 LLM 在判断何时放弃假设、报告负面结果或承认失败方面可能表现不佳。研究 Harness 应使失败尝试易于保留,因为从失败中学习是缩减任务搜索空间的最佳途径。
进化和 RL 循环倾向于利用已知的高奖励模式。需要防止种群坍缩为同一解决方案的变体,这对于开放式研究尤为关键——最佳路径在当前评估器下可能最初表现更差。
自改进循环优化其获得的任何信号。如果奖励来自单元测试,agent可能过拟合测试;如果来自裁判模型,可能学习针对该裁判的奖励黑客技巧;如果来自基准分数,可能利用基准制品。评估器和权限控制应位于进化 Harness 的循环之外,配合保留测试、轨迹审计和关键决策点的人工审查。
自进化并非总是朝正确方向演进。agent可能从有限经验中归纳出错误的因果推断,并将其固化为行为策略,导致性能退化而非提升 [41]。这一问题比奖励黑客更为隐蔽——错误进化不一定源于奖励信号被刻意优化,而可能源于agent从非代表性样本中学习。例如,agent在某类任务上反复成功后,可能错误地将成功归因于无关因素,并在新任务中重复不适用策略。这要求自进化系统具备错误检测与回滚机制(如 AReaL 2.0 控制平面中的版本化回滚和 Self-Harness 中的回归测试),而非无条件接受所有"学到的"改进。GDPevo 基准的"规则杂交"设计 [40] 从评测侧对抗了这一问题——只有真正泛化了规则的agent才能通过测试,背答案的agent会被识别。
以编码agent为例,许多优化目标仍然过于短期。agent可以完成手头任务,但如何保护由数百或数千名工程师共同维护的代码库的长期健康则不够明确。标准沙箱 RLVR 式训练很少涵盖可维护性、所有权边界、迁移成本、向后兼容性或未来调试负担。
人类应向栈的上层移动而非被移出循环,即在正确的抽象层级和正确的时间点提供监督。系统设计应考虑何时以及如何设置此类接触点。上述诸多挑战需要人类的反馈和引导——毕竟,我们构建技术是为了人类更美好的未来,而非相反。
Harness 工程正从提示模板组合演变为运行时系统设计,其在 RSI 路径中的地位日益关键。本文梳理了三大设计模式(工作流自动化、文件系统持久记忆、子agent并行)、六条优化路径(上下文工程、工作流设计、自我改进循环、进化搜索、权重联合优化、面向自演进的系统基础设施)以及自演进agent的理论框架与生态全景(递归自指、轻量化范式、多agent协同、标准化协议、评测基准、错误进化风险、Skill 分层与产业实践、使能条件与耦合动力学、递归漂移与多代理验证、科学品味作为元能力),揭示了从手工启发式到自动化搜索再到系统级治理的方法论迁移趋势。
研究发现,一旦 Harness 设计成为可执行的搜索空间,强大的编码agent能够利用与人类工程师相同的设计空间进行探索。AReaL 2.0 的工作进一步表明,自演进agent在企业级部署中的瓶颈不在 RL 算法,而在系统基础设施——需要标准化的轨迹数据协议、企业级数据agent和统一的演进控制平面三大支柱协同。与此同时,Gödel Agent 和 DGM 从递归自指与开放式进化两个方向推进了理论边界,Reflexion 和 MetaAgent 证明了轻量化自进化范式的可行性,GDPevo 基准表明当前agent已具备一定的自进化能力(准确率提升 17–22%)。崔添翼提出的"Skill 是 Harness 自进化的初级形式"为优化路径提供了更精细的梯度划分,而头部 AI 公司向"模型 + Harness"双轮驱动模式的迁移则标志着产业级共识的形成。Apodex 的工业实践进一步揭示了编码能力作为自进化底座、Harness 与后训练的耦合进化、搜索能力作为自进化导航器等使能条件,以及递归漂移和多代理验证、科学品味作为元能力等深层挑战。然而,递归结构本身不足以驱动自我改进——基座模型必须具备足够的智能才能改进机制。评估器质量、多样性维持、奖励黑客、错误进化、递归漂移等问题仍是实现完全 RSI 的关键瓶颈。未来研究需要在自动化效率与人类监督之间找到平衡,使 Harness 改进既可扩展又可控。
[1] Good, I. J. "Speculations Concerning the First Ultraintelligent Machine."Advances in Computers, 6:31–88, 1965.
[2] Yudkowsky, Eliezer. "Recursive Self-Improvement." LessWrong, 2008.
[3] Anthropic. "Recursive Self-Improvement." Anthropic Institute, 2026.
[4] OpenAI. "How Agents Are Transforming Work." OpenAI Blog, 2026.
[5] Karpathy, A. "autoresearch." GitHub repository, 2026.
[6] Weng, Lilian. "Prompt Engineering." Lil'Log, Mar 2023.
[7] Zhang, et al. "Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models." ICLR 2026.
[8] Ye, et al. "Meta Context Engineering via Agentic Skill Evolution." arXiv:2601.21557, 2026.
[9] Lee, et al. "Meta-Harness: End-to-End Optimization of Model Harnesses." arXiv:2603.28052, 2026.
[10] Lu, et al. "Towards End-to-End Automation of AI Research."Nature, 651:914–919, 2026.
[11] Meng, et al. "ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence." arXiv:2605.26340, 2026.
[12] Kulikov, et al. "Autodata: An Agentic Data Scientist to Create High Quality Synthetic Data." arXiv:2606.25996, 2026.
[13] Hu, Lu, and Clune. "Automated Design of Agentic Systems." ICLR 2025.
[14] Zhang, et al. "AFlow: Automating Agentic Workflow Generation." ICLR 2025.
[15] Zelikman, et al. "Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation." COLM 2024.
[16] Zhang, et al. "Self-Harness: Harnesses That Improve Themselves." arXiv:2606.09498, 2026.
[17] Novikov, et al. "AlphaEvolve: A Coding Agent for Scientific and Algorithmic Discovery." arXiv:2506.13131, 2025.
[18] Zhang, et al. "Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents." arXiv:2505.22954, 2025.
[19] Hebbar, et al. "SIA: Self Improving AI with Harness & Weight Updates." arXiv:2605.27276, 2026.
[20] Trehan and Chopra. "Why LLMs Aren't Scientists Yet: Lessons from Four Autonomous Research Attempts." arXiv:2601.03315, 2026.
[21] Fernando, et al. "Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution." arXiv:2309.16797, 2023.
[22] Agrawal, A. et al. "GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning." arXiv:2507.19457, 2025.
[23] Lange, Imajuku, and Cetin. "ShinkaEvolve: Towards Open-Ended And Sample-Efficient Program Evolution." arXiv:2509.19349, 2025.
[24] Wang, et al. "ThetaEvolve: Test-time Learning on Open Problems." arXiv:2511.23473, 2025.
[25] Zhang, et al. "Hyperagents." arXiv:2603.19461, 2026.
[26] Madaan, et al. "Self-Refine: Iterative Refinement with Self-Feedback." NeurIPS 2023.
[27] Bubeck, et al. "Early Science Acceleration Experiments with GPT-5." arXiv:2511.16072, 2025.
[28] Yan, et al. "Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents." arXiv:2607.01120, 2026.
[29] AReaL Project. "AReaL 2.0: Agent-Oriented Online RL Infrastructure." GitHub repository, https://github.com/areal-project/AReaL, 2026.
[30] Gao, et al. "A Survey of Self-Evolving Agents: On Path to Artificial Super Intelligence." arXiv:2507.21046, 2026.
[31] Fang, et al. "A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems." arXiv:2508.07407, 2025.
[32] Yin, et al. "Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement."Proceedings of ACL, 2025.
[33] "Polaris: A Gödel Agent Framework for Small Language Models through Experience-Abstracted Policy Repair." arXiv, 2026.
[34] Shinn, et al. "Reflexion: Language Agents with Verbal Reinforcement Learning."NeurIPS, 2023.
[35] Qian and Liu. "MetaAgent: Toward Self-Evolving Agent via Tool Meta-Learning." arXiv:2508.00271, 2025.
[36] Xia, et al. "Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning."ICLR 2026 Workshop RSI, 2026.
[37] Lu, et al. "MorphAgent: Empowering Agents through Self-Evolving Profiles and Decentralized Collaboration." arXiv:2410.15048, 2025.
[38] Zhang, et al. "Autogenesis: A Self-Evolving Agent Protocol." arXiv:2604.15034, 2026.
[39] Xi, et al. "AgentGym: Evolving Large Language Model-based Agents across Diverse Environments." arXiv:2406.04151, 2024.
[40] Prism-Shadow. "GDPevo: A Benchmark for Evaluating Agent Self-Evolution on GDP-Related Tasks." 2026. https://github.com/Prism-Shadow/GDPevo
[41] Ren, et al. "Misevolution: On the Risk of Error Evolution in Self-Evolving Agents." 2026.
[42] 崔添翼(DeepSeek). 社交媒体转发评论. https://x.com/tianyi/status/2074475185957380379, 2026年7月.
[43] 量子位. "翁荔新博客提出「自进化先从Harness开始」,DeepSeek崔添翼转发附议." 2026年7月. https://www.qbitai.com/2026/07/442134.html
[44] 硅谷101播客. "E242|最快半年AI跑通自进化?与陈天桥首席科学家聊聊硅谷模型必争之地." 2026年7月. 嘉宾:杜少雷(Apodex首席科学家、华盛顿大学副教授)、Beibin Li(Apodex首席科学家). https://www.youtube.com/watch?v=VGIbhIW5ljk