← 返回列表

Google最新研究给我解惑了:大模型只是概率预测吗?

单站 安全产品人的赛博空间 发布 Tue, 16 Dec 2025 10:01:00 +0800 入库 2026-11-18T16:24:06

原创 chengable 2025-12-16 10:01 浙江

最近这段时间,我一直在高强度地补课 LLM并陷入了一种对AGI的反思。

这种思考的源头,大概要追溯到那篇惊世骇俗的《Attention is All You Need》。后来,Karpathy 对 LLM 那一系列深入浅出的讲解视频,让我对“LLM 只是输出概率,但不认知世界”这个说法,有了更具象的认知。

但随着 Scaling Law似乎开始撞墙,一种隐约的焦虑感在整个行业蔓延。强化学习之父 Richard Sutton 更是直接泼了一盆冷水,他认为我们现在的路子可能走歪了。

这种焦虑在今天看完 Google最近发布的论文 《Nested Learning: The Illusion of Deep Learning Architecture》 后,转为一种豁然开朗。这篇论文不仅是一个新架构,更像是一种哲学层面的拨乱反正。

我想借这篇论文,和大家深入聊聊我最近对 LLM 发展路径的思考:我们到底是不是在一条死胡同里?

强化学习之父、图灵奖得主Richard Sutton面对当前的LLM技术路线,发出了尖锐的质疑:当前的大语言模型可能是一条通往AGI的死胡同 。

萨顿的核心论点直击LLM的命门:LLM本质上是在模仿,而非理解世界。

首先,缺乏世界模型与因果认知。萨顿指出,LLM学习的是“人类会说什么”,而不是“世界实际上发生了什么” 。它们是文本统计规律的极致拟合者,而非物理现实的交互者。当一个模型预测下一个token时,它并没有关于未来的“预测”或“意图”,它只是在计算过去数据的条件概率分布。真正的智能需要建立内部的世界模型,能够推演“如果我做A,世界会发生B”,而LLM仅仅是在拟合“如果有人说了A,他大概率会接着说B” 。

其次,目标缺失与被动性。真正的智能体应当具有改变环境的主观目标。而LLM的唯一目标是降低预测误差。这种被动的、旁观式的学习方式,导致模型无法像生物体那样通过“行动-反馈-修正”的闭环来建立因果认知。萨顿认为,没有与环境的交互,没有对结果的奖惩反馈,智能体就无法验证真伪,只是在“幻觉”与“事实”的概率分布。

最后,也是最关键的一点,缺乏体验与持续学习的能力。萨顿强调,智能源于主体与环境的交互体验。LLM不仅从未“活”过,甚至在预训练结束后就“死”了——它们的权重被冻结,不再随时间变化。这种静态的存在方式与智能的动态本质背道而驰。一个无法在部署后从新数据中实时学习系统,本质上只是一个巨大的、静态的知识压缩包,而非适应未来的智能体。

支撑过去五年AI繁荣的核心信仰是Scaling Law,即模型性能与算力、数据量和参数量呈幂律关系。然而,到了2025年,这一信仰开始遭遇物理与经济的双重天花板。

对数诅咒正在显现。要获得线性的性能提升,我们需要指数级地增加算力和数据。从GPT-3到GPT-4,我们或许消耗了10倍甚至100倍的资源。然而,要实现同样的性能跨度到GPT-5,可能需要100倍于GPT-4的资源。硬件摩尔定律已无法追赶Scaling Law的需求。这导致了边际成本的指数级上升和边际收益的线性下降。

数据枯竭是另一大瓶颈。高质量的人类文本数据几乎已被穷尽。虽然合成数据被寄予厚望,但模型在自我生成的数据上训练导致方差丢失和认知退化始终是一个问题。

此外,基准测试的饱和也让这种堆参数的策略显得疲态尽显。在MMLU、GSM8K等主流测试集上,前沿模型的得分已逼近90%甚至更高。这种分数的提升在实际应用中的体感差异越来越小。即使投入数千亿美元建设的数据中心,若只能换来在极端长尾问题上1%的提升,这种商业模式将难以为继。

指标 2020-2023 (Scaling 黄金期) 2024-2025 (Scaling 瓶颈期)
算力投入 每6个月翻倍 需指数级增长才能维持线性收益
数据来源 互联网文本挖掘 逼近“高质量人类数据”极限
性能提升 涌现能力频现 边际效应递减,长尾问题难解
主要挑战 训练稳定性 能耗、数据枯竭、灾难性遗忘

业界开始意识到,堆参数的时代可能正在结束。正如内燃机在达到热效率极限后,仅仅增加气缸数量不再是出路一样。难道这波 AI 浪潮,真的要止步于此?

面对质疑,我的观点可能稍微乐观一点:大模型这条路没走错,它只是才走到一半。

目前的 LLM 解决了一个核心问题:知识的压缩与提取。通过极其昂贵的预训练,我们成功地把人类文明的静态知识压缩进了一个神经网络里。它让 AI 拥有了世界观,拥有了底层的常识。

但它确实是不完整的。

如果将LLM类比为人类大脑,它处于一种极其怪异的状态。

首先,它拥有渊博的静态知识。通过预训练,它压缩了整个人类互联网的知识。这些知识是结构化的、稳定的,构成了模型的世界观。

其次,它拥有极短的工作记忆。通过上下文窗口,它可以处理几百万字。这相当于工作记忆。这是模型唯一的动态部分,但它是不持久的。

最致命的是,它患有遗忘症。这是最关键的缺陷。无论你在对话框中告诉它什么,无论它在交互中犯了什么错并被纠正,一旦对话结束,这些信息随风而逝,永远不会改变模型底层的权重。

当前的LLM是一个Read-Only的智能体。它的知识截止于预训练结束的那一刻。这种冻结状态使得模型极其脆弱,面对新知识(如最新的API文档、昨天的新闻)时,只能依赖RAG这种外挂式的小抄,而非真正的学习。RAG虽然缓解了信息获取问题,但它并未改变模型的认知结构,模型并没有学会新知识,只是看到了新知识。

预训练成本极高,然而,这种一次性构建,终身使用的模式在动态世界中注定失效。人类大脑并不是先在学校里预训练20年,然后冻结大脑去工作。人脑是时刻在进行输入+实时更新权重的持续学习系统 。每一次对话、每一个错误的决策、每一次新奇的体验,都会微调我们神经元之间的突触连接强度。这种实时可塑性才是生物智能适应环境的核心。

萨顿所批评的模仿,正是因为模型只能回放预训练中见过的模式。如果模型具备了持续学习能力,它就能在部署后通过与用户的交互,不断修正自己的预测,从而从模仿者进化为适应者。

结论:LLM解决了知识压缩和语言生成的问题,这完成了智能的一半。剩下的另一半—持续适应、实时权重更新与记忆固化—正是通往AGI的门槛。

为什么不直接放开,让模型在聊天时一边聊一边通过梯度下降改参数呢?

业界有个几十年的老迈过不去的坎:灾难性遗忘。

在神经网络中,知识分布在所有参数的权重之中。当你为了学习“B知识”而调整权重时,这些权重中原本编码的“A知识”就会被破坏。

对于LLM而言,这种遗忘是毁灭性的。

为了绕过灾难性遗忘,业界发明了LoRA等参数高效微调(PEFT)技术。LoRA并不改变原始模型的权重,而是旁路增加一小部分可训练参数。这看起来像是解决方案,但实际上存在严重局限:

  1. 无法无限叠加:你不能为每一个新任务都挂载一个LoRA。随着任务增多,管理成千上万个Adapter会导致推理延迟和系统复杂度爆炸。
  2. 知识隔离:LoRA学到的知识被隔离在特定模块中,无法与基础模型的深层能力真正融合。这就像给大脑打补丁,而不是大脑自身的生长。模型无法融会贯通地使用新旧知识。
  3. 依然存在干扰:即使是LoRA,在连续学习多个任务时,后一个任务的更新依然会干扰前一个任务的LoRA参数,导致性能下降。LoRA本质上只是缩小了可变参数的范围,并没有解决参数更新时的冲突问题。
  4. 离线而非在线:目前的LoRA微调通常是离线的,需要收集一批数据后进行训练。这与萨顿所倡导的“在线、实时、逐个样本”的体验式学习相去甚远。

总结:我们缺乏一种机制,能够像人脑一样,让记忆在不同时间尺度上自然流动和固化。

在NeurIPS 2025上,Google Research团队发表了一篇论文《Nested Learning: The Illusion of Deep Learning Architecture》这篇论文不仅是对现有架构的修补,更是对深度学习的一次重新定义。它为解决持续学习和灾难性遗忘提供了一条新路径。

传统深度学习将模型视为一个扁平的函数,训练过程是另一个独立的过程。Nested Learning  提出了一种全新的视角:整个智能系统是由一系列嵌套的、多层级的优化问题组成的,每一层都有自己的上下文流和更新频率。

这一思想颠覆了我们对“架构”和“优化器”的传统认知:

这种视角的转换具有明显的意义:如果我们把模型的所有组件都看作是以不同频率运作的记忆体,那么持续学习就不再是一个特殊功能,而是系统的内生属性。

基于NL思想,Google提出了HOPE (Higher-Order in-context learning through Self-Modifying-Learning Module and Continuum Memory System) 架构 。HOPE并非单一模型,而是一个包含多个层级学习模块的系统,旨在实现自我修改。

HOPE的核心在于它打破了训练与推理的界限,引入了自我修改学习模块(Self-Modifying Learning Module):

为了解决灾难性遗忘,NL引入了连续体记忆系统(Continuum Memory System, CMS) 。

传统的计算机系统只有“内存”和“硬盘”两级存储,且深度学习中通常只有短期上下文和长期冻结权重。而人脑的记忆是一个连续的光谱:

CMS模仿了这种结构。它不再强行将所有知识压缩到同一组权重中,而是将模型分解为多个以不同频率更新的模块:

这种设计使得新知识可以先被高频模块捕获,而不干扰低频模块中的旧知识,从而天然地规避了灾难性遗忘。

在NL框架中,驱动参数在不同层级间更新的核心信号被称为局部惊奇信号(Local Surprise Signal) 。

通过Delta Gradient Descent(DGD)等新型优化规则,NL将这种基于惊奇值的更新内嵌到了模型的前向传播中,使得推理即训练成为可能。这种方法让模型能够像人类一样,对新奇事物保持敏感,对常识保持淡定。

写到这里,我的观点很明确:大模型绝不是死胡同,我们只是正处在从静态智能向动态智能跨越的前夜。萨顿的悲观或许是对旧范式的终结判词,但Nested Learning为我们开启了新范式的大门

如果没有当前 LLM 这个“做了一半”的 AGI 引爆市场,吸引了全球的资金和天才,我们可能永远不会有这么多天才去攻克剩下这一半。

基于 Nested Learning 和 HOPE 这种思路,终极的 AGI 形态可能会非常接近人脑:

  1. 参数量适中:不需要无止境地堆到万亿。人脑也就 860 亿个神经元,未来的模型参数量可能回落到 100B 级别。
  2. 端侧运行:由于引入了分层更新机制,高频更新可以在本地(手机/PC NPU)完成,只有长时记忆的固化才需要大算力。
  3. 核心是“持续学习”:它能根据实时的输入,在秒级时间内动态调整自己的权重。

不再有训练与推理的二元对立:未来的模型将每一次交互都是一次微小的训练,模型随着使用而越发聪明,越发契合用户。这种在线学习将取代目前的版本更新模式。

从预测概率到理解因果:当模型能够通过实时反馈修正自己的错误(即处理“惊奇”),它就开始了从模仿到理解的质变。

想象一下,未来的 AI 助手,它在和你对话的每一秒,都在微调它的大脑。它记得你上周说想学吉他,记得你刚刚纠正了它的一个代码错误,并且永远不再犯。

那时,它就不再是一个冷冰冰的概率预测机器,而是一个真正“活着”的硅基生命。

那样的未来,才值得我们真正的期待。

原文链接:https://mp.weixin.qq.com/s?__biz=Mzg5NTUzODkxMw==&mid=2247484385&idx=1&sn=c7be680cb98e848dd74f12adf8b3d7da