AgeMem：把长期与短期记忆统一收编进 Agent 策略

1.1 核心工作

作者：Yi Yu, Liuyi Yao, Yuexiang Xie, Qingquan Tan, Jiaqi Feng, Yaliang Li, Libing Wu　|　单位：武汉大学国家网络安全学院；阿里巴巴集团

1.2 回溯的 5 篇相关工作

常用评测基准：ALFWorld · SciWorld · BabyAI · PDDL(AgentBoard) · HotpotQA · LOCOMO · LongMemEval · MSC

2.1 摘要

大语言模型 agent 在长程推理中受制于有限的上下文窗口，因此记忆管理至关重要。现有方法通常把长期记忆（LTM）与短期记忆（STM）当作两个分离的组件，依赖启发式规则或额外的控制器，这限制了自适应性和端到端优化的可能。本文提出 AgeMem，一个把 LTM 与 STM 管理直接内嵌进 agent 策略的统一框架。AgeMem 将记忆操作暴露为工具式动作，让 agent 自主决定何时以及存储、检索、更新、摘要或丢弃哪些信息。为训练这种统一行为，作者提出三阶段渐进式强化学习策略，并设计 step-wise GRPO 应对记忆操作带来的稀疏且不连续的奖励。五个长程基准上的实验表明，AgeMem 在多个 backbone 上持续超越强记忆增强基线，同时获得更好的任务表现、更高质量的长期记忆和更高效的上下文利用。

2.2 Motivation 与故事线

AgeMem 的叙事是一条清晰的三段式：先拆解现状的割裂，再论证割裂无法通过打补丁弥合，最后给出统一策略化方案。

第一步 · 指出记忆研究的两条平行线各自撞墙

短期记忆一侧（本质是 RAG 与上下文压缩）依赖「预定义的调度或启发式规则」，后果是双向的——既可能让「不频繁但关键的细节被忽略」，又会「引入不必要的噪声」。长期记忆一侧被归纳为两类，各有硬伤：触发式在预设时刻执行固定的记忆操作，僵化；智能体式依赖手工规则或额外专家模型，「限制了自适应性并增加了系统复杂度」。

第二步 · 论证割裂本身才是病根

关键论断是：LTM 与 STM「通常被当作分离且松耦合的模块」，结果是「记忆构建碎片化、长程推理任务上表现次优」。这里的洞察在于——决定「这条信息要不要写进长期库」和决定「当前上下文要不要压掉这一段」，本质上是同一个信息价值判断在两个时间尺度上的投影。把它们交给两套互不通气的启发式，必然出现「短期扔掉了长期没存的东西」这类不可恢复的信息损失。

第三步 · 落成三个可攻克的技术挑战

• C1 功能异构性协调：LTM 与 STM 目标不同（持久化 vs. 即时可用），需要统一编排。
• C2 训练范式错配：现有 RL 框架对两类记忆使用「显著不同的训练策略」；标准 RL「与记忆操作产生的本质上碎片化、不连续的经验相冲突」——写入记忆的动作在当下不产生任何可观测收益，收益要到很多步之后的问答时刻才兑现。
• C3 部署成本约束：依赖「辅助专家 LLM 做记忆控制，显著抬高推理成本与训练复杂度」。

2.3 方法论

2.3.1 状态表示

时刻 t 的状态定义为 s_t = (C_t, M_t, T)：C_t 是短期上下文（消息列表）；M_t 是长期记忆库，每条含内容、嵌入向量与元数据；T 是任务规格（查询 q、上下文信息 I_q、期望答案 A_q）。

2.3.2 六个记忆工具 —— 统一动作空间

这是全文最核心的抽象：LTM 与 STM 的操作被放进同一张工具表，由同一个策略调用。

值得注意 FILTER 的方向性：它删的是相似度过高的消息，即压制重复冗余，而非删掉「不相关」内容——这是一个防止误删关键低频信息的保守设计。

2.3.3 三阶段渐进式 RL 课程

每条轨迹 τ = (τ⁽¹⁾, τ⁽²⁾, τ⁽³⁾)，总长 T = T₁+T₂+T₃。三阶段之间的上下文重置 + 长期记忆保留是整个课程设计的机关所在。

2.3.4 奖励设计

2.3.5 Step-wise GRPO —— 针对 C2 的解法

把终局优势均匀广播到所有前置时间步，实现长程信用分配——最终任务结果因此得以监督横跨三个阶段的每一个中间记忆决策。这个设计的取舍很直白：广播放弃了步级信用分配的精度，换取在极稀疏奖励下的可训练性。

2.4 实验设计

五个长程基准（覆盖具身、科学、符号规划、导航、多跳问答五类异构任务）：ALFWorld（家务任务）、SciWorld（交互式科学实验）、PDDL（符号规划）、BabyAI（组合指令网格导航）、HotpotQA（维基百科多跳问答）。

Backbone：Qwen2.5-7B-Instruct、Qwen3-4B-Instruct　|　基线：LangMem、A-Mem、Mem0、Mem0ᵍ、AgeMem-noRL、No-Memory

指标：成功率 SR（ALFWorld/SciWorld/BabyAI）、进度率 PR（PDDL）、LLM-as-a-Judge（HotpotQA）；记忆质量 MQ（0–1）；平均 prompt token 数与工具调用次数。

主结果 · Qwen2.5-7B-Instruct

主结果 · Qwen3-4B-Instruct

Qwen2.5-7B 上相对 No-Memory 提升 49.59%、超最强基线 Mem0 达 4.82pp；Qwen3-4B 上相对提升 23.52%、超最强基线 A-Mem 达 8.57pp。RL 训练本身贡献 8.53pp / 8.72pp。

工具使用行为的相变（HotpotQA · Qwen2.5-7B）

这张表是全文最有说服力的定性证据：UPDATE/DELETE 训练前严格为零，训练后被激活；同时 RETRIEVE 反而下降。这是一个从「反应式」到「前瞻式」记忆行为的相变。

消融

奖励消融（HotpotQA · Qwen2.5-7B）：Answer-Only 得 J=0.509 / MQ=0.479 / 2,078 tokens / 3.93 次调用；All-Returns 得 J=0.544 / MQ=0.533 / 2,117 tokens / 4.92 次调用。完整奖励收敛更快、记忆质量更高，代价是略多的 token。
FILTER 阈值敏感性：θ_f ∈ [0.4, 0.8] 内稳定，0.5 最佳（J=0.551）；0.4 过度过滤、0.7 过于宽松。方法对超参不敏感。

2.5 价值分析

1. 概念贡献：把记忆从「系统组件」重新定义为「策略行为」。这是 AgeMem 与之前所有工作的分水岭。MemGPT 到 Mem0 这条线一直把记忆当作围绕 LLM 搭建的外部系统——存储策略写在 prompt 或代码里，模型只是被动被喂入检索结果。AgeMem 主张记忆管理是任务求解的内在组成部分，因此应与推理一起被同一目标优化。工具调用表里 UPDATE/DELETE 从 0 到非 0 的跃迁，是对这一主张的直接实证。
2. 方法贡献：三阶段课程解决了「记忆行为不可学」的根本困难。记忆写入的价值在写入时刻是不可观测的。三阶段课程通过「上下文重置 + LTM 持久化」人工构造了从存储决策到任务结果的因果链，把不可观测的价值变成了可反传的信号。这一设计对整个领域有独立的方法论价值。
3. 工程价值：去掉了辅助控制器。A-Mem、Mem0 都需要额外 LLM 调用做记忆提取与更新决策；AgeMem 把这部分折叠进主策略，推理成本结构显著简化。
4. 实证规模扎实。五个跨领域基准 × 两个不同代际 backbone × 六个基线 + 组件/奖励/超参三重消融，在记忆方向属上游水准。

2.6 局限性

论文自述

1. 固定工具集：「提供了清晰有效的抽象，但可以扩展以支持更细粒度的控制」。
2. 评测场景受控：「这些设定相对于开放式真实部署仍然是受控的。在持久化的长期对话或真实用户交互场景中的评估是重要的下一步」。
3. 训练数据依赖单一：「训练目前依赖 HotpotQA 作为三阶段轨迹的来源」。

补充的批判性观察

4. 优势广播牺牲了信用分配精度。Step-wise GRPO 把终局优势均匀广播，意味着一条成功轨迹里每一个记忆操作都被同等强化——包括冗余的、无效的、甚至有害但被其他步骤补救掉的那些。ADD 从 0.92 涨到 1.64 是否全是有效存储，论文缺乏剖析。
5. 效率收益偏小，与叙事强度不匹配。Token 减少仅 3.1% / 5.1%，且比较对象是 AgeMem-RAG 而非各基线。同时 All-Returns 奖励反而比 Answer-Only 用了更多 token（2,117 vs 2,078）和更多工具调用，与压缩奖励项的设计意图存在张力。
6. MQ 指标的区分度不足。AgeMem 与最强基线的 MQ 差距仅 0.006 / 0.018，而任务性能差距是 4.82pp / 8.57pp。这提示 MQ 可能没有真正捕捉到驱动性能差异的因素——提升也许更多来自 STM 侧的上下文管理与检索时机，而非存储内容质量本身。
7. 缺少与最直接的 RL 竞品的实证对比 —— 论证链条上最明显的缺口。论文在相关工作中引用了 Memory-R1（RL+LTM）与 MemAct（RL+STM），但基线里没有它们，对比的全是启发式方法。「统一优于分离」是本文核心主张，而验证它恰恰需要与「只做一侧的 RL 方法」对比。当前实验只能证明「RL 优于启发式」。
8. PDDL 上不敌 A-Mem。Qwen2.5-7B 上 17.31 vs. 18.39，是唯一失手项，论文未展开分析。符号规划对记忆结构化程度要求更高，A-Mem 的显式链接结构可能在此类任务上有本质优势——暗示「扁平条目 + 语义检索」的记忆表示存在天花板。
9. 规模上限未探明。Backbone 止步 7B。三阶段 RL 在 30B/70B 上是否仍有增益，还是会被模型自身的长上下文能力吃掉？近期 Supersede 的发现——前沿模型在有界记忆下仍有 15pp 的准确率断崖——暗示问题不会自动消失，但需直接验证。

R1 · MemGPT: Towards LLMs as Operating Systems（2023-10）

Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez（UC Berkeley）

解决的问题：首次系统性地把操作系统的虚拟内存层级类比引入 LLM——主上下文（≈RAM）与外部存储（≈磁盘）之间通过分页机制交换数据，由 LLM 自己通过函数调用发起换入换出，并用「中断」控制流让 agent 处理完记忆操作后继续原任务。它证明了 LLM 可以自主管理自己的记忆，是「记忆即工具」范式的起点。

遗留的问题：记忆管理策略完全由 prompt 工程驱动——什么时候翻页、存什么，写在系统提示里，模型只是照做。后果有三：策略无法从经验中改进；对 prompt 措辞高度敏感；在小模型上几乎失效（需 GPT-4 级指令遵循能力）。此外 MemGPT 只关心「上下文放不下了怎么办」，未区分「哪些信息值得长期保留」这一独立问题。

AgeMem 的回应：继承工具化记忆动作空间这一核心抽象，但把决策逻辑从 prompt 移进可训练的策略参数。AgeMem 能在 4B/7B 开源模型上取得增益，正因为记忆行为不再依赖模型天生的指令遵循能力。

R2 · A-MEM: Agentic Memory for LLM Agents（NeurIPS 2025）

Wujiang Xu, Zujie Liang, Kai Mei, Hang Gao, Juntao Tan, Yongfeng Zhang（Rutgers 等）

解决的问题：MemGPT 之后的记忆系统大多是扁平的条目集合，检索靠语义相似度，记忆之间没有结构。A-MEM 引入 Zettelkasten（卡片盒笔记法）原则：新记忆写入时生成含「上下文描述、关键词、标签」的结构化笔记，系统自动识别与已有记忆的链接，并支持记忆演化——新条目加入会触发旧条目更新。记忆库从静态存储变成自组织的知识网络，在六个基础模型上超越当时 SOTA。

遗留的问题：链接生成与演化决策依然由 LLM 提示驱动，没有优化目标——系统无法知道自己建立的链接是否真的有助于下游任务。演化机制还引入新风险：错误更新会级联污染整个网络（这一风险随后被 ACL 2026 的 How Memory Management Impacts LLM Agents 实证为「错误传播」现象）。此外 A-MEM 只管长期记忆，短期上下文仍交给外部 RAG。

AgeMem 的回应：把 A-MEM 列为主要基线并整体超越（Qwen3-4B 上 45.74 → 54.31）。用任务奖励替代提示式启发，使记忆维护行为有了正确性信号。但 PDDL 上 AgeMem 反而输给 A-MEM，说明 A-MEM 的结构化链接在强结构化任务上仍有 AgeMem 扁平表示所不具备的优势——这是一个尚未被合并的技术分支。

R3 · Mem0: Production-Ready AI Agents with Scalable Long-Term Memory（2025-04）

Prateek Chhikara, Dev Khant, Saket Aryan, Taranjeet Singh, Deshraj Yadav（Mem0 团队）

解决的问题：把记忆从研究原型推向生产可用。提出以记忆为中心的架构做对话中的动态信息抽取与检索（extract–update 管道），并提供图结构变体 Mem0ᵍ。在 LOCOMO 上相对六类基线全面领先，关键工程成果是相对全上下文方法实现 p95 延迟降低 91%、token 成本节省超 90%，相对 OpenAI 方案有 26% 相对提升。目前产业界事实上的开源记忆层标准。

遗留的问题：extract–update 管道的每一步阈值与规则都是手工调优的产物，跨领域迁移需重新调参。更根本的是，抽取器优化的是「信息是否被正确抽取」这一代理目标，而非「agent 是否因此完成了任务」——两者并不总是一致。Mem0 还需独立 LLM 调用执行抽取与更新决策，即 AgeMem 的 C3。

AgeMem 的回应：在两个 backbone 上都超越 Mem0 与 Mem0ᵍ，并把抽取决策折叠进主策略消除辅助调用，同时把优化目标从代理指标换成真实任务奖励。但需指出：Mem0 的评测场景（LOCOMO，多轮长期对话）与 AgeMem 的（agentic 任务基准）并不重合，AgeMem 没有在对话记忆场景上验证——这正是它自述局限 2 的具体所指。

R4 · Memory-R1: Manage and Utilize Memories via RL（2025-08）

Sikuan Yan, Xiufeng Yang, Zuchao Huang, Ercong Nie, Zifeng Ding 等（LMU Munich / TU Darmstadt / Edinburgh；Hinrich Schütze, Volker Tresp）

解决的问题：首次把 RL 引入记忆管理。设置两个专门化 agent——Memory Manager（决定 ADD/UPDATE/DELETE/NOOP）与 Answer Agent（从检索结果中做「记忆蒸馏」后回答），分别用 PPO 与 GRPO 训练，奖励来自下游问答正确性。最惊人的是数据效率：仅用 152 个训练 QA 对就超越强基线，并在 LoCoMo、MSC、LongMemEval 三个基准与 3B–14B 多个规模上泛化。

遗留的问题：双 agent 架构本身就是 AgeMem 要消除的「分离」。Memory Manager 与 Answer Agent 是两个独立优化的策略，管理器不知道回答者实际需要什么，回答者也无法反向影响存储决策——两者只能通过奖励信号间接耦合。此外 Memory-R1 只覆盖长期记忆的写侧，完全没有处理短期上下文管理（压缩、过滤、溢出），并需维护两套模型参数。

AgeMem 的回应：这是 AgeMem 最直接的前驱，也是「统一」主张最直接的靶子——AgeMem 用单一策略同时承担管理与求解，并把 STM 工具纳入同一动作空间。遗憾的是 AgeMem 并未把 Memory-R1 列入基线做实证对比，使「统一优于双 agent」缺少直接证据。

R5 · MemAct — Memory as Action: Autonomous Context Curation（ACL 2026 Findings）

Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang（北京交通大学 ADaM Lab）

解决的问题：与 Memory-R1 恰好互补——把短期上下文管理形式化为可学习的策略动作。核心观察是「长上下文 LLM 尽管容量扩大，仍需精心的工作记忆管理以缓解长程任务中的注意力稀释」。MemAct 用删除与插入两类操作对上下文做主动策展，由 RL 训练。结果是用显著更小的模型达到有竞争力的准确率，同时上下文长度减少约一半。

遗留的问题：MemAct 只做上下文内的增删，没有持久化的外部记忆库——被删除的内容永久丢失，无法在后续会话中恢复。这在单次长程任务中可接受，但在跨会话的持续交互中是致命的。它也不处理「哪些信息值得跨任务保留」的问题。

AgeMem 的回应：FILTER 与 SUMMARY 承担了 MemAct 的职能，但关键差异在于——AgeMem 的上下文清理动作与 LTM 的 ADD 处在同一动作空间，因此策略可以学会「先存进长期库、再从上下文里删掉」这一安全的组合操作，而 MemAct 只能选择删或不删。这是「统一」在架构层面就成立的能力增益。不过 MemAct 报告的上下文减半远超 AgeMem 的 3–5%，说明 AgeMem 在纯效率维度上并未压过专门化方法。

这条脉络的内在逻辑是一个逐步内化的过程：记忆管理的决策权从「写在 prompt 里」→「写在代码规则里」→「交给一个专门训练的辅助模型」→「折叠进 agent 自身的策略」。每一步都在减少人工先验、增加从经验中学习的成分。AgeMem 代表这条路径目前的终点，而它自身的局限（固定工具集、扁平记忆表示）指向了下一步该内化什么。

1. 「统一 vs. 分离」缺少判决性实验。领域现在有 Memory-R1（RL+LTM）、MemAct（RL+STM）、AgeMem（RL+统一）三个点，但没有任何一篇论文在同一实验设置下同时评测这三者。这是一个高价值、低门槛的实证空白——一篇严格的对照研究就能确立或证伪本领域当前最主流的架构主张。
2. 记忆表示的结构化与可学习性尚未调和。AgeMem 在 PDDL 上输给 A-MEM 是一个信号：扁平条目 + 语义检索可能存在天花板。把 A-MEM 的显式链接结构（或 MAGMA 的多图架构、EverMemOS 的自组织结构）纳入可学习的动作空间——例如增加 LINK/MERGE 工具——是自然的下一步，但会显著扩大动作空间并加剧信用分配困难。
3. 信用分配的粒度。Step-wise GRPO 的均匀广播是权宜之计。如何在极稀疏、跨阶段的记忆奖励下做出真正的步级信用分配（例如反事实归因：如果这条记忆没被存下，任务还能成功吗），是本方向最硬的技术问题。
4. 评测指标的有效性。MQ 与任务性能的脱节（0.006 的差距对应 4.82pp 的性能差距）说明「LLM 打分记忆质量」范式可能测不到真正重要的东西。近期的 LongMemEval-V2、AMA-Bench，以及 Supersede 提出的「supersession gap」（事实更新后模型仍引用陈旧值），都在从不同角度攻击这个问题。
5. 记忆的安全与治理。可学习的记忆意味着可被污染的记忆。2026 年已出现多篇专门工作（长期记忆安全综述 arXiv:2604.16548、SSGM 治理框架 arXiv:2603.11768、ACL 2026 的错误传播实证研究）。当记忆写入策略由 RL 训出而非人工规定时，攻击面如何变化，目前几乎空白。
6. 真实场景与规模。所有当前工作的评测都在受控基准上。持久化的多会话真实用户交互、跨越数周数月的记忆演化、以及在 30B+ 模型上这些方法是否仍然必要——这些是把研究推向部署必须回答的问题。