(来源:机器之心)
在当前的 AI 技术讨论中,模型的信息记忆与深度理解能力已成为核心议题。扩展上下文窗口和检索增强生成(RAG)虽然在一定程度上缓解了模型信息获取的困境,但本质上仍是将记忆外置,而非让模型真正内化知识。这种外部化思路导致模型每次推理都要重复处理相同信息,既增加了算力消耗,也阻碍了深层理解的形成。RAG 的被动性进一步限制了模型在复杂任务中的主动联想与判断能力,这揭示了当前 AI 应用中的一个根本矛盾,即模型虽拥有广博的知识储备,却未能在具体工作场景中实现持续成长与直觉化运作。这引出了一个值得追问的问题,如果模型只能被动响应而无法在工作中持续积累经验,它离真正的理解还有多远。
目录
01. 记忆与检索是否从一开始就是冲突的?
外置记忆模式存在哪些弊端?依赖外部检索会让模型缺失何种认知能力?...
02.RAG 的瓶颈是存储速度还是不知道该查什么?
RAG 复杂场景下的应用瓶颈是什么?权重内化知识与外部检索有何能力差异?现有 AI 缺失何种长效知识沉淀机制?...
03.人机协作中积累的能力表征能否形成个人资产?
通用模型为何难以适配不同团队的个性化场景?知识权重内化相较于检索有何核心价值?...
记忆与检索是否从一开始就是冲突的?
1、AI 初创公司 Engram 的联合创始人兼 CEO Dan Biderman 及联合创始人兼 CTO Jessy Lin 近期接受访谈,围绕记忆与持续学习的话题聊了 AI 模型如何从「用完即走」的工具演进为长期成长的系统。
① Engram 于 2025 年成立,聚焦于模型记忆与持续学习能力。该公司于 6 月 24 日完成了 9800 万美元的 A 轮融资,为企业提供模型原生持续记忆架构,让模型在私有数据上持续内化成长,而非每次都依赖外部检索。[2-1]
② Dan Biderman 曾任斯坦福 AI 实验室博士后研究员,拥有哥伦比亚大学计算神经科学博士学位。Jessy Lin 曾任 Meta FAIR 研究员,毕业于 MIT,关注模型的主动阅读与稀疏记忆微调。
2、访谈中,针对模型如何真正掌握私有信息的问题,Lin 认为将海量文档塞入提示词让模型临时读取,本质是外部化记忆而非真正学习,这种做法导致每次推理重复处理相同文件,如同员工每天搜索昨天做了什么,造成巨大 token 浪费。
① 知识工作中这种低效尤为明显,团队反复询问相似问题却每次都重新加载文档,既增加了推理成本也限制了响应速度。
② 当模型始终依赖外部读取而非内化记忆,它就无法像资深员工那样对组织上下文形成本能式理解,只能停留在临时查找的层面。
3、行业当前流行的 RAG 方案采用外部化信息存储的模式,Biderman 认为它只能帮模型临时查找信息而无法内化知识结构,本质上只是一套外部记忆工具而非真正的智能系统。
① 检索的真正瓶颈在 Biderman 看来并非存储容量或查询速度,而是模型缺乏该查什么的内在判断力,复杂任务中这一短板尤为致命。
② 内化到权重的知识能支撑跨领域抽象联想,而 RAG 只能响应显式查询,两者的差距在日常协作中随任务复杂度增加而急剧放大。
4、RAG 的局限根源在于其外部化本质,Biderman 以人脑为参照提供了不同的思考路径。人脑用有损压缩处理信息,不记一年前酒店房号但记家中密码,使用频率和调用速度是决定内化与否的依据,而睡眠中的离线消化正是将重要经历转化为长期记忆的关键机制。
① 人类大脑在睡眠中将经历整合为长期记忆并过滤噪声,Biderman 认为这种离线消化机制对 AI 持续学习有借鉴意义,当前系统缺少这一阶段。
② Engram 团队刻意避免用过多启发式规则筛选训练数据,希望模型像人脑一样从海量信息中自动分辨轻重缓急,而非依赖人工预设的静态规则。
5、人脑的启示虽提供了方向,但内化信息与检索信息的清晰边界至今悬而未决,Don 和 Biderman 认为这本身就是持续学习领域的核心开放问题,判断标准因团队和场景而异且随经验变化,不存在一次性固定的通用方案。
① Biderman 和 Lin 指出,「识别哪些信息值得内化会随着时间变化」的动态性要求学习系统具备持续判断的能力而非依赖静态预设。
② 在 Engram 的设想中,未来系统中外部检索与内部记忆协同工作而非彼此替代,由模型自主判断何时该查、何时该靠内化,并随使用经验持续优化这一决策。
RAG 的瓶颈是存储速度还是不知道该查什么?
1、RAG 存在三大根本缺陷,Biderman 和 Lin 将其归纳为重复读取浪费算力、只能响应显式查询而无法主动联想、以及模型缺乏该查什么的内在判断力...
关注👇🏻「机器之心PRO会员」,前往「收件箱」查看完整解读