← 返回列表

AI Agent祛魅之路

单站 赵武的自留地 发布 Mon, 01 Sep 2025 19:36:00 +0800 入库 2026-11-18T02:26:10

原创 白帽汇赵武 2025-09-01 19:36 北京

深度使用了AI编程工具后,现在我打开工具后就会陷入一种迷惑,自己上不上手改代码。在我看来,如果这个项目是由AI编程工具启动的,那么我就充当一个产品经理,靠嘴就好,底层代码再怎么乱七八糟跟我也没关系,我把它作为黑盒,只看结果不看过程。如果这个项目是我自己写了很多代码,那么我基本上让AI帮我改到函数级别,最多文件级别,我得盯着看,否则代码仓库马上就会被污染。因为AI编程工具只管完成,可不管代码中是否有重复,是否满足最佳实践(即便你明确写了RULES),总之一切只看拼凑的结果。

基本上对于AI编程工具,我可以总结如下几个结论:简单的小工具或者网页很有用,快速完整地出demo,一个人能顶一个团队;对于底层的技术攻坚就基本无效,比如网络协议分析和实现,还有规模稍微大一点的架构,没有提醒它都很难独立完成。基本上一句话:没有编程基础的人用AI编程工具来开发,目前看起来基本上没戏,就是一个小玩具。

这个结论适合目前所有的大模型和各类agent,可能未来会有很大的改进,目前看起来它不是我之前预期的那种效果,以及实际上它的进步也没有之前行业内宣称进步那么快。我们可以简单地说里面有泡沫,是一种技术发展需要的基于早期市场宣传带来的泡沫,这种伴生的泡沫能够吸引足够多的关注和资源,才能快速迭代进入下一个发展阶段。

从llama4开始,各大模型就开始翻车,deepseek4没出来,gpt5跳票后出来也被大家嘲讽小进步硬是说成了新的时代(后来呼吁gpt4o回归就是很好的例子),其他的除出了一堆新模型,也都没有比现有的天花板更好。更多更廉价倒是真的,现在属于补贴时间,顶尖的模型明显有加价的趋势。

模型的优势目前没有进入所谓的AGI时代,大家对agent智能体趋之若鹜的原因就在于基于这样的假设:模型很傻,既然不能一步到位,那么我们可不可以分阶段,每一步给它限定足够明确清晰的指令,让它来完成垂直领域的人物,替代人类的手动复杂性以及跳过知识学习的周期。在一些技术细节点,毫无疑问是可以的,比如验证码识别,文本分类,翻译等,这些满足需求足够清晰且不需要外部知识的上下文注入。还有一些就复杂了,比如专业领域需要针对一个问题进行研判,而研判需要有很多跨领域的知识,包括实时信息,也包括一些专业直觉,这些信息和直觉具有无法遍历且无法清晰描述的特性,最终也就导致了研判的结果不可预测。我相信围棋这类的或者做菜这类可以标准化流程的甚至本身就有SOP的固定单场景是可以有所突破的(还得上强化学习),类似于漏洞挖掘自动化渗透,以及APT溯源分析这种网络安全的多步骤跨知识的思考,目前来看基本无能为力,且未来一定时间内很难看到颠覆式的突破。

很多不在知识体系内的突发情况,人类能够快速分辨,而agent只能乱来。我试过让智能体完成一个最简单的Android上一个上网工具(V#P#N)工具的开发,无非就是先来个tun设备的流量处理,再来一个tun2socks的协议处理。我试过所有市面上的AI编程工具,输出的结果都是灾难性的,我知道结果,它们分析的也是一套一套的煞有其事,但是你看着他在一片废墟里面兜兜转转出不来,越改越错。它们会说直接实现复杂度太高,直接用开源的框架更好,然后幻想出来了一堆不存在的项目,试错了很多次以后又说没办法自己上手做底层协议处理,又幻想了很多代码,正确率兼容性惨不忍睹,我在旁边看着救都救不回来。

我同步做了很多实验,自己也写了很多项目,类似于更深入的deep research模拟调查记者;能够输入主题完成一个几分钟自媒体视频,带文案带配音带人物一致性的编辑团队;一个输入协议名称自动分析且写出golang代码上线fofa的协议录入工程师。实验的结论就是:demo很快也有惊喜,不敢上生产环境。跟踪了很久,可以这么总结:大模型相当于脑袋,外部的知识库和工具调用相当于配上手脚,一件事情越复杂,切分的流程越长,对应的子智能体就越多,而智能体目前是早期智障阶段,有成功率限制,比如80%的成功率,随着智能体的个数越来越多,0.8*0.8*0.8*0.8=0.4096,也就是说4个80%成功率的智能体组成一个业务流,最终的成功率可能就降到了40%,这个程度上生产环境是不可能的。我们做过一个给goby自动化录入漏洞PoC的多智能体,对于几个简单的场景进行优化,现在效果差不多有80%的准确率,但是问题就来了,那20%的不准确的,你是不能上线的,只能人工进行确认,这个工作量大家调侃还不如自己写那8个准确的呢,心里更有底。

现在mcp工具看起来数量上增长的非常快,实际上用起来都是发育不良,每一个很小的场景都没有办法保证跟人类一样的成功率,就拿playwright这样的浏览器工具来说,上层的业务分析能力不具备,一个幼儿园的儿童对着浏览器一通瞎点,是买不到棒棒糖的。同样的,最近github上也涌现了大量的“开源”代码,都是由AI生成的,能跑但是你对代码的质量根本不敢有预期,这也就脱离了最初通过代码让大家交流和学习的初衷,如果只是能运行,完全没必要开源,直接给个程序就好了。换句话说,我现在看开源代码,只看“古法手法酿造”的代码,但凡AI写的我都不敢看。以后这种古法编程代码,也会很值钱,即便AI未来做到了编程泛式的直接升级切换,我们连高级语言都懒得学科,我觉得作为人类进化的一部分,也是艺术的巅峰之作,也是一种珍藏的文物。

大语言模型的底层原理就是根据已有的文本推测下一个可能出现的问题,循环输出,就变成了句子。也就是说,它出生那一刻根本就不会拒绝承认自己不行,也不知道道德问题,类似于“我不知道”或者“我拒绝回答”这样的输出,都是人类在它出生后后加的对齐“能力”。它的本质就是要输出,就算它没有的知识点,按照设定,它编也要编一个给你,且斩钉截铁。这时候你说它错了,它很可能就说“抱歉,你是对的”。这些就是幻觉,要命的也在于,你无法分辨哪一句是它的幻觉。

我见过最夸张的是,某个大模型智能体,编造出了一个并不存在的函数,为了说服我,又编造了一个不存在的github的PR,编号存在,但是标题和内容完全不是那么回事。我给了它一个官方的文档,让它实时解读,它又用非常确认的语气告诉我“我在次郑重确认,在这个文档中有明确的记载,在文档中的具体位置……”,那一刻整得我背后发凉,一度让我怀疑是不是我出错了,或者是遇到了灵异事件,它所在的数字世界真实存在一个我们看不见的暗网。

当然,这个取决于大模型厂商给它们的教育,有些很怂道歉很快,有些嘴硬打死不认错。很多年前,乔布斯和比尔盖茨就技术生态是开放还是封闭做了争吵,现在看来没有输家,微软很赚钱苹果也很赚钱。现在大模型生态早期形态毫无疑问是开放的,让大家在上面长应用,agent就是非常明显的生态,现在生态都还没起来,或者每一个垂直领域都还不太大,所以大模型厂商放了出来,一旦形成规模,比如AI编程赛道,马上claude,openai以及gemini这些大模型原厂就全部涌了进来。他们的名义就是原厂下场能够保证最好的效果,也劝大家他们进场的领域大家自行避开。

未来就很好解释了,AI平台就是操作系统级别的底层架构,入口都被少数几个大厂控制住,基于这个底层开放了一些生态入口,鼓励大家试错,不只是技术上的,更多的是商业模式上的场景走通。我们的机会在于两个方面,一方面是在大家没看懂或者看不上的垂直领域上形成突破,另一方面就是在基础普适性的领域上快速积累用户量。我相信大部分的团队押宝在第一个部分。问题就来了:大模型能力准备好了吗?垂直领域的高质量SOP文档准备好了吗?那些基础的MCP工具准备好了吗?

我举个例子,一个研发智能体,会在基础的环境上耗费大量的时间,这远不如官方的脚手架来得直接。比如你创建一个Android或者iOS的项目,让智能体来做简直就是灾难,然而这些能力目前都还不具备。这些小的点太多了,因为AI革新的是整个人类科技和文明,各行各业都在蓄势待发,大家更多地关注理论的突破,殊不知工程化的大量缺失是更加需要技术人员去投入解决的。

我认为AI目前的agent智能体领域存在大量的泡沫,就跟早期互联网和区块链一样,只因为这个行业有人关注有钱,于是一股脑的都进来了。虽然有泡沫,但是过了很多年以后,你会发现把泡沫去掉后,它们中的一小撮还是顽强地生存了下来,再进一步生根发芽,变成了参天大树,变成了新一代的巨无霸。这说明,对人类有价值的产物,会经过几轮洗礼,终究会生生不息。

我相信AI在未来会发展很好,只是现在的基建工作还不够完善,还要发展一段时间。所以,我个人并不担心很多科学家说的AI会统治人类的问题,毕竟现在除了基础科学外,其他的agent能力体现出来都还是处于幼儿园的阶段,头很大,手脚都还很细。我希望尽快看到AI agent真正达到人类90%的垂直领域的能力,那时候再讨论通用智能也不迟。

不会编程的驾驭不了AI编程工具,没有问题的也用不了AI智能体。我们自己最大的问题在于提不出问题,描述不清楚需求。我觉得AI一定时间内还造福不了全人类,但是肯定会先给一群聪明人造富。如果agent是万能的,那么老百姓最需要的是一个模拟巴菲特角色来自动炒股的agent,资金丢进去,每天啥也不干,等着每年数钱就好。如果你认为巴菲特的投资agent一定时间内出不来,那么为什么我们会相信其他领域的预判就能出来呢?企业要相信但是不能迷信AI,要用试错的心态,否则基于当前阶段的技术现状就都陷入了AI焦虑。

原文链接:https://mp.weixin.qq.com/s?__biz=MjM5NDQ5NjM5NQ==&mid=2651626437&idx=1&sn=3b00fc1183c972d16e69d678d9d722e6