← 返回列表

超出想象的简单!ChatGPT的记忆方案

单站 安全产品人的赛博空间 发布 Fri, 12 Dec 2025 14:07:00 +0800 入库 2026-11-18T16:24:06

原创 chengable 2025-12-12 14:07 浙江

国外一位老哥逆向了ChatGPT,分析它的记忆方案。

当我们还在讨论向量数据库、复杂检索系统的时候,ChatGPT其实用了一个相当朴素的方案。

没有向量数据库,没有复杂的RAG检索系统,只有四个简单层次的组合。

在会话开始时注入一次,包含:

这些信息帮助模型根据你的环境调整回应,但不会在会话结束后持久化。

这是ChatGPT存储的稳定、长期的用户事实。作者有33个存储事实:

这些记忆不是猜测的,只有在以下情况下才会明确存储:

最令人意外的是这一层。我原以为ChatGPT会对过去的对话使用某种RAG系统,但它使用了轻量级摘要:

1. \<时间戳>: \<对话标题>

|||| 用户消息片段 ||||

|||| 用户消息片段 ||||

特点:

这种设计避免了传统RAG系统的复杂性:嵌入每条过去消息、对每个查询运行相似性搜索、拉取完整消息上下文。

当前对话的普通滑动窗口,包含本次会话中所有消息的完整历史(非摘要)。

当你发送消息给ChatGPT时,按以下顺序发生:

  1. 会话开始:注入会话元数据,提供设备、订阅和使用模式上下文
  2. 每次消息:存储的记忆事实始终被包含,确保回应与你的偏好和背景一致
  3. 跨会话感知:近期对话摘要提供轻量级兴趣映射,无需拉取完整记录
  4. 当前上下文:当前会话消息的滑动窗口保持对话内连贯性
  5. Token预算:随着会话增长,旧消息会滚动移除,但记忆事实和对话摘要保持不变,保持连续性

与传统的RAG系统不同,ChatGPT没有本地查询机制。所有相关信息都是直接预注入到上下文中:

每次请求的上下文结构:

[0] System Instructions

[1] Developer Instructions

[2] Session Metadata (会话开始时注入一次)

[3] User Memory (每次都注入)

[4] Recent Conversations Summary (每次都注入)

[5] Current Session Messages (滑动窗口)

[6] 用户最新消息

ChatGPT的方法是预计算轻量级摘要并直接注入。这用详细上下文换取速度和效率。

传统RAG系统需要:

这篇文章基于实验和通过对话进行的逆向工程,而非官方文档——所以请谨慎对待

原文链接:https://mp.weixin.qq.com/s?__biz=Mzg5NTUzODkxMw==&mid=2247484364&idx=1&sn=fbd7b71b60899703f2599c113f1e8650