Agent Memory 每日追踪报告
Agent Memory 每日追踪报告
日期:2026-07-29 核心工作:AgeMem — Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents 发表于:ACL 2026 主会长文(Volume 1: Long Papers, pp. 21457–21483, San Diego) 一句话定位:把长期记忆与短期记忆的管理统一收编进 agent 自身的策略,用三阶段渐进式强化学习端到端训练出「什么时候存、存什么、什么时候删、什么时候压缩」的记忆行为。
一、链接清单
1.1 核心工作
| 项目 | 链接 |
|---|---|
| 会议主页(ACL Anthology) | https://aclanthology.org/2026.acl-long.981/ |
| 会议 PDF | https://aclanthology.org/2026.acl-long.981.pdf |
| arXiv | https://arxiv.org/abs/2601.01885 (v2, 2026-04-30) |
| DOI | 10.18653/v1/2026.acl-long.981 |
| 代码 / 数据 | 论文正文与附录中未给出公开仓库地址(实现基于 AgentScope + Trinity RL 框架) |
| 依赖框架 · AgentScope | https://github.com/modelscope/agentscope |
| 依赖框架 · Trinity-RFT | https://github.com/modelscope/Trinity-RFT |
作者:Yi Yu, Liuyi Yao, Yuexiang Xie, Qingquan Tan, Jiaqi Feng, Yaliang Li, Libing Wu 单位:武汉大学国家网络安全学院;阿里巴巴集团
1.2 回溯的相关工作
| # | 工作 | 会议 / 状态 | 论文链接 | 代码 / 数据 |
|---|---|---|---|---|
| R1 | MemGPT: Towards LLMs as Operating Systems | arXiv 2023-10(Letta 前身,工业界影响极大) | https://arxiv.org/abs/2310.08560 | https://github.com/letta-ai/letta · https://research.memgpt.ai |
| R2 | A-MEM: Agentic Memory for LLM Agents | NeurIPS 2025 Poster | https://arxiv.org/abs/2502.12110 · https://proceedings.neurips.cc/paper_files/paper/2025/hash/19909c36f51abc4856b4560aff3d36d6-Abstract-Conference.html | https://github.com/agiresearch/A-mem · https://github.com/WujiangXu/A-mem-sys |
| R3 | Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory | arXiv 2025-04(产业界事实标准) | https://arxiv.org/abs/2504.19413 | https://github.com/mem0ai/mem0 · 评测集 LOCOMO |
| R4 | Memory-R1: Enhancing LLM Agents to Manage and Utilize Memories via RL | arXiv 2025-08(v5 更新至 2026-01) | https://arxiv.org/abs/2508.19828 | https://github.com/yansikuan/memory-r1 |
| R5 | MemAct — Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks | ACL 2026 Findings(pp. 19149–19164) | https://aclanthology.org/2026.findings-acl.956/ · https://arxiv.org/abs/2510.12635 | https://github.com/ADaM-BJTU/MemAct |
常用评测基准入口:ALFWorld、SciWorld、BabyAI、PDDL(AgentBoard 系列)、HotpotQA、LOCOMO、LongMemEval、MSC。
二、核心工作深度解析:AgeMem
2.1 摘要(原文译述)
大语言模型 agent 在长程推理中受制于有限的上下文窗口,因此记忆管理至关重要。现有方法通常把长期记忆(LTM)与短期记忆(STM)当作两个分离的组件,依赖启发式规则或额外的控制器,这限制了自适应性和端到端优化的可能。本文提出 AgeMem,一个把 LTM 与 STM 管理直接内嵌进 agent 策略的统一框架。AgeMem 将记忆操作暴露为工具式动作,让 LLM agent 自主决定何时以及存储、检索、更新、摘要或丢弃哪些信息。为了训练这种统一行为,作者提出三阶段渐进式强化学习策略,并设计 step-wise GRPO 来应对记忆操作带来的稀疏且不连续的奖励。在五个长程基准上的实验表明,AgeMem 在多个 LLM backbone 上持续超越强记忆增强基线,同时获得更好的任务表现、更高质量的长期记忆和更高效的上下文利用。
2.2 Motivation 与故事线
AgeMem 的叙事逻辑非常清晰,是一条「先拆解现状的割裂,再论证割裂不可通过打补丁弥合,最后给出统一策略化方案」的三段式故事线。
第一步:指出记忆研究的两条平行线各自撞墙。 短期记忆一侧(本质上是 RAG 与上下文压缩)依赖「预定义的调度或启发式规则」,后果是双向的——既可能让「不频繁但关键的细节被忽略」,又会「引入不必要的噪声」。长期记忆一侧则被归纳为两类,各有硬伤:触发式(trigger-based)在预设时刻执行固定的记忆操作,僵化;智能体式(agent-based)依赖手工规则或额外的专家模型,「限制了自适应性并增加了系统复杂度」。
第二步:论证割裂本身才是病根。 作者的关键论断是,LTM 与 STM 「通常被当作分离且松耦合的模块」,结果是「记忆构建碎片化、长程推理任务上表现次优」。这里的洞察在于:决定「这条信息要不要写进长期库」和决定「当前上下文要不要压掉这一段」,本质上是同一个信息价值判断在两个时间尺度上的投影。把它们交给两套互不通气的启发式,必然出现「短期扔掉了长期没存的东西」这类不可恢复的信息损失。
第三步:把问题落成三个可攻克的技术挑战(C1–C3)。
- C1 功能异构性协调:LTM 与 STM 目标不同(持久化 vs. 即时可用),需要统一编排。
- C2 训练范式错配:现有 RL 框架对两类记忆使用「显著不同的训练策略」;而标准 RL「与记忆操作产生的本质上碎片化、不连续的经验相冲突」——写入记忆的动作在当下不产生任何可观测收益,收益要到很多步之后的问答时刻才兑现。
- C3 部署成本约束:依赖「辅助专家 LLM 做记忆控制,显著抬高了推理成本与训练复杂度」。
第四步(解法):如果记忆操作只是 agent 动作空间里的普通工具,那么「记忆管理」就不再需要独立的控制器,而是可以和任务求解一起被同一个 RL 目标优化。这是 AgeMem 全部设计的公理。
2.3 方法论
2.3.1 状态表示
时刻 t 的状态定义为 s_t = (C_t, M_t, T):
C_t = [u_1, …, u_{n_t}]:短期上下文,即当前消息列表;M_t = {m_i}:长期记忆库,每条条目含内容、嵌入向量与元数据;T:任务规格,包含查询q、上下文信息I_q、期望答案A_q。
2.3.2 六个记忆工具(统一动作空间)
这是全文最核心的抽象——LTM 与 STM 的操作被放进同一张工具表,由同一个策略调用。
长期记忆(写侧)
ADD:向持久库M_t插入新条目(内容 + 嵌入 + 元数据)。UPDATE:按memory_id修改已有条目的内容与时间戳。DELETE:删除过时条目,防止陈旧知识堆积。
短期记忆(读侧与上下文控制)
RETRIEVE(q, k):按余弦相似度取 top-kRETRIEVE(q,k) = TopK(M_t, sim(q,m_i), k),其中sim(q,m_i) = enc(q)ᵀenc(m_i) / (‖enc(q)‖‖enc(m_i)‖)。SUMMARY:用 LLM 压缩对话跨度,支持all或N(最近 N 轮)。FILTER:移除语义相似度超过阈值θ_f(默认 0.6)的上下文消息,抑制冗余噪声。
值得注意的是 FILTER 的方向性:它删的是相似度过高的消息,即压制重复冗余,而不是删掉「不相关」的内容——这是一个防止误删关键低频信息的保守设计。
2.3.3 三阶段渐进式 RL 课程
每条轨迹 τ = (τ⁽¹⁾, τ⁽²⁾, τ⁽³⁾),总长 T = T₁ + T₂ + T₃。三个阶段之间的上下文重置 + 长期记忆保留是整个课程设计的机关所在。
阶段一 · LTM 构建:agent 在闲聊式对话中接触上下文信息 I_q,目标是识别显著信息并通过 ADD/UPDATE/DELETE 写入 M_t。中间步骤奖励为零。M_t 向后传递。
阶段二 · 干扰下的 STM 控制:C_t 被重置(切断信息泄漏路径),M_t 保留。agent 接收由 DISTRACTORGEN 生成的合成干扰消息(无关话语),必须用 FILTER 与 SUMMARY 主动清理上下文。由于原始信息已不在上下文里,agent 被强制依赖从 M_t 的有效检索。
阶段三 · 整合推理:agent 收到正式查询 q,必须协调地从 M_t 检索、管理 C_t、生成最终答案 A_pred。终局奖励 R(τ) 在轨迹末尾给出。
设计要点:阶段间的上下文重置强制了真正的 LTM 检索行为(否则模型会退化成「直接看原文」);而 LTM 的跨阶段持久化,使得阶段一的存储决策能够影响阶段三的任务结果——这正是让「存什么」变得可学习的因果链条。
2.3.4 奖励设计
R(τ) = wᵀR + P_penalty,其中 R = [R_task, R_context, R_memory]ᵀ。
任务完成奖励 R_task:LLM 裁判分 S_judge(A_pred, A_q) ∈ [0,1];无答案则给惩罚。
上下文管理奖励 R_context(三项,等权 α_i = 1/3):
R_compression = max(0, 1 − T_used/T_max):鼓励 token 效率;R_preventive = 1[溢出前调用了工具]:奖励主动而非被动的过滤/摘要;R_preservation = 1_preserve:确保任务关键 token 被保留。
第二项是很聪明的设计——它奖励的是「在撞墙之前就转向」,把上下文管理从事后补救变成了前瞻行为。
记忆管理奖励 R_memory(三项,等权 β_j = 1/3):
R_storage = N_high_quality / max(1, N_total):高质量存储条目占比;R_maintenance = 1[执行了 update 或 delete]:鼓励主动维护而非只增不删;R_relevance = S_LLM(R, q):检索结果与查询的 LLM 语义相关性,归一化到 [0,1]。
惩罚项 P_penalty:超出最大对话轮数 P_rounds = −1;上下文溢出 P_overflow = −0.5。
2.3.5 Step-wise GRPO
针对 C2(奖励稀疏且不连续)的解法。对同一任务的轨迹组 G_q = {τ₁, …, τ_K}:
组内归一化优势:A_T^{(k,q)} = (r_T^{(k,q)} − μ_{G_q}) / (σ_{G_q} + ε)
优势广播:A_t^{(k,q)} = A_T^{(k,q)}, ∀t ∈ [1, T]
即把终局优势均匀广播到所有前置时间步,实现长程信用分配——最终任务结果因此得以监督横跨三个阶段的每一个中间记忆决策。
策略更新目标:J(θ) = E[ρ_t A_t − β·D_KL(π_θ ‖ π_ref)],其中重要性比 ρ_t = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)。
这个设计的取舍很直白:广播意味着放弃了步级信用分配的精度,换取了在极稀疏奖励下的可训练性。一次成功轨迹里所有的记忆操作都被同等地正向强化,包括其中可能无用甚至有害的那些——这一点在下文局限性中会再讨论。
2.4 实验设计
五个长程基准(覆盖具身、科学、符号规划、导航、多跳问答五类异构长程任务):
- ALFWorld(Shridhar et al., 2020)—— 具身家务任务(pick/place/heat/cool/clean)
- SciWorld(Wang et al., 2022)—— 物理/化学/生物交互式科学实验
- PDDL(Chang et al., 2024)—— 符号规划
- BabyAI(Chevalier-Boisvert et al., 2018)—— 组合语言指令网格导航
- HotpotQA(Yang et al., 2018)—— 维基百科多跳问答,约 9 万训练问题
Backbone:Qwen2.5-7B-Instruct、Qwen3-4B-Instruct
基线:LangMem(LangChain, 2025)、A-Mem(Xu et al., 2025)、Mem0、Mem0ᵍ(图变体)、AgeMem-noRL(消融对照)、No-Memory
指标:任务完成度(ALFWorld/SciWorld/BabyAI 用成功率 SR;PDDL 用进度率 PR;HotpotQA 用 LLM-as-a-Judge);记忆质量 MQ(LLM 评估存储记忆与真实事实的相关性,0–1);效率(平均 prompt token 数、每回合工具调用次数)。
主结果
Qwen2.5-7B-Instruct
| 方法 | ALFWorld | SciWorld | PDDL | BabyAI | HotpotQA | 平均 |
|---|---|---|---|---|---|---|
| No-Memory | 27.16 | 13.80 | 10.15 | 50.80 | 38.36 | 28.05 |
| LangMem | 38.27 | 28.29 | 15.85 | 51.34 | 37.43 | 34.23 |
| A-Mem | 34.68 | 28.06 | 18.39 | 58.82 | 43.95 | 36.78 |
| Mem0 | 37.49 | 26.99 | 13.96 | 60.58 | 46.66 | 37.14 |
| Mem0ᵍ | 35.34 | 30.50 | 14.86 | 58.78 | 42.06 | 36.31 |
| AgeMem | 41.07 | 35.55 | 17.31 | 61.42 | 54.44 | 41.96 |
Qwen3-4B-Instruct
| 方法 | ALFWorld | SciWorld | PDDL | BabyAI | HotpotQA | 平均 |
|---|---|---|---|---|---|---|
| No-Memory | 38.51 | 47.89 | 30.14 | 55.83 | 47.48 | 43.97 |
| LangMem | 40.89 | 50.42 | 28.42 | 53.80 | 42.70 | 43.25 |
| A-Mem | 34.31 | 50.14 | 34.41 | 61.35 | 48.48 | 45.74 |
| Mem0 | 41.17 | 51.38 | 31.72 | 60.05 | 39.16 | 44.70 |
| Mem0ᵍ | 36.69 | 47.76 | 29.61 | 57.59 | 38.12 | 41.95 |
| AgeMem | 48.97 | 59.48 | 35.07 | 72.56 | 55.49 | 54.31 |
关键增益:Qwen2.5-7B 上相对 No-Memory 提升 49.59%,超过最强基线 Mem0 达 4.82pp;Qwen3-4B 上相对提升 23.52%,超过最强基线 A-Mem 达 8.57pp。RL 训练本身贡献了 8.53pp(Qwen2.5)与 8.72pp(Qwen3)。
一个值得注意的细节:LangMem、Mem0ᵍ 在 Qwen3-4B 上均劣于 No-Memory 基线(43.25 / 41.95 vs. 43.97)。这直接支撑了论文的动机——启发式记忆管道在更强的 backbone 上可能变成负担而非助力,因为它们注入的噪声超过了带来的信息增益。
记忆质量与效率
- MQ:Qwen2.5-7B 上 0.533(Mem0 0.527,基线均值 0.498);Qwen3-4B 上 0.605(A-Mem 0.587,基线均值 0.565)。
- Token:Qwen2.5-7B 2,117 vs. AgeMem-RAG 2,186(−3.1%);Qwen3-4B 2,191 vs. 2,310(−5.1%)。
工具使用行为的变化(HotpotQA, Qwen2.5-7B,RL 前 → 后)
| 工具 | 训练前 | 训练后 |
|---|---|---|
| ADD | 0.92 | 1.64 |
| UPDATE | 0.00 | 0.13 |
| DELETE | 0.00 | 0.08 |
| RETRIEVE | 2.31 | 1.95 |
| SUMMARY | 1.08 | 0.82 |
| FILTER | 0.02 | 0.31 |
这张表是全文最有说服力的定性证据。训练前 UPDATE/DELETE 调用次数严格为零——未经训练的 LLM 根本不会主动维护记忆,它只会往里堆。训练后不仅这两个操作被激活,RETRIEVE 反而下降:作者的解释是存储质量提升后,不再需要反复的、被动的检索补救。这是一个从「反应式」到「前瞻式」记忆行为的相变。
消融
组件消融(Qwen2.5-7B)
| 基准 | Base | +LTM | +LTM/RL | +LTM/STM/RL |
|---|---|---|---|---|
| ALFWorld | 27.16 | 37.73 | 38.88 | 41.07 |
| SciWorld | 13.80 | 27.98 | 32.49 | 35.55 |
| HotpotQA | 38.36 | 45.76 | 52.04 | 54.44 |
STM 工具的增益在 SciWorld(+3.06pp)与 HotpotQA(+2.40pp)上最明显,验证了「学习到的上下文管理」优于静态 RAG。
奖励消融(HotpotQA, Qwen2.5-7B):Answer-Only 得 J=0.509 / MQ=0.479 / 2,078 tokens / 3.93 次调用;All-Returns 得 J=0.544 / MQ=0.533 / 2,117 tokens / 4.92 次调用。完整奖励收敛更快、记忆质量更高,代价是略多的 token 与工具调用。
FILTER 阈值敏感性:θ_f ∈ [0.4, 0.8] 内表现稳定,θ_f=0.5 最佳(J=0.551, MQ=0.550);0.4 过度过滤(0.524),0.7 过于宽松(0.530)。说明方法对超参不敏感。
2.5 价值分析
1. 概念贡献:把记忆从「系统组件」重新定义为「策略行为」。 这是 AgeMem 最重要的贡献,也是它与之前所有工作的分水岭。MemGPT 到 Mem0 这条线一直把记忆当作围绕 LLM 搭建的外部系统——存储策略写在 prompt 或代码里,模型只是被动地被喂入检索结果。AgeMem 的主张是:记忆管理是任务求解的内在组成部分,而不是它的基础设施;因此它应该和推理一起被同一个目标优化。工具调用行为表里 UPDATE/DELETE 从 0 到非 0 的跃迁,是对这一主张的直接实证。
2. 方法贡献:三阶段课程解决了「记忆行为不可学」的根本困难。 记忆写入的价值在写入时刻是不可观测的——你无法在存储的当下知道这条信息以后有没有用。三阶段课程通过「上下文重置 + LTM 持久化」人工构造了一条从存储决策到任务结果的因果链,把不可观测的价值变成了可反传的信号。这个设计可以脱离 AgeMem 单独使用,是对整个领域的方法论贡献。
3. 工程价值:去掉了辅助控制器。 C3 的解决是实打实的部署收益。A-Mem、Mem0 都需要额外的 LLM 调用做记忆提取与更新决策;AgeMem 把这部分折叠进主策略,推理成本结构显著简化。
4. 实证强度较为扎实。 五个基准跨越具身、科学、符号规划、导航、问答五个异构领域,两个不同规模与代际的 backbone,六个基线,加上组件/奖励/超参三重消融——这个实验规模在记忆方向的论文里属于上游水准。论文还声称展示了跨领域的 zero-shot 迁移。
2.6 局限性
论文自述的三点:
- 固定工具集:「采用了一组固定的记忆管理工具,这提供了清晰有效的抽象,但可以扩展以支持更细粒度的控制」。
- 评测场景受控:「尽管我们在五个代表性长程基准上评估并展示了跨领域 zero-shot 迁移,这些设定相对于开放式真实部署仍然是受控的。在持久化的长期对话或真实用户交互场景中的评估是重要的下一步」。
- 训练数据依赖单一:「训练目前依赖 HotpotQA 作为三阶段轨迹的来源」。
笔者补充的批判性观察:
优势广播牺牲了信用分配精度。 Step-wise GRPO 把终局优势均匀广播到所有时间步,意味着一条成功轨迹里的每一个记忆操作都被同等强化——包括其中冗余的、无效的、甚至有害但被其他步骤补救掉的那些。论文没有报告这种粗粒度信用分配是否导致了操作冗余(比如无意义的 ADD 被反复强化)。工具调用统计中 ADD 从 0.92 涨到 1.64 是否全是有效存储,缺乏进一步剖析。
效率收益偏小,与叙事强度不匹配。 Token 减少仅 3.1% / 5.1%,且比较对象是 AgeMem-RAG 而非各个基线方法。「更高效的上下文使用」在摘要中被列为三大成果之一,但数据支撑相对单薄。同时 All-Returns 奖励反而比 Answer-Only 用了更多 token(2,117 vs 2,078)和更多工具调用(4.92 vs 3.93),这与压缩奖励项的设计意图存在一定张力。
记忆质量指标 MQ 的区分度不足。 AgeMem 的 MQ(0.533 / 0.605)与最强基线(0.527 / 0.587)差距仅 0.006 / 0.018,而任务性能差距是 4.82pp / 8.57pp。这提示 MQ 这个 LLM 评分指标可能没有真正捕捉到驱动性能差异的因素——性能提升也许更多来自 STM 侧的上下文管理与检索时机,而非存储内容本身的质量。这是一个指标有效性问题。
缺少与最直接的 RL 竞品的实证对比。 论文在相关工作中引用了 Memory-R1(RL + LTM)和 Memory-as-Action / MemAct(RL + STM),但基线里没有它们——对比的全是启发式方法(LangMem/A-Mem/Mem0)。「统一优于分离」是本文的核心主张,而验证这一主张恰恰需要与「只做一侧的 RL 方法」对比。目前的实验只能证明「RL 优于启发式」,不能充分证明「统一优于分离」。这是本文论证链条上最明显的缺口。
PDDL 上不敌 A-Mem。 Qwen2.5-7B 上 AgeMem 得 17.31,低于 A-Mem 的 18.39,是唯一的失手项。论文未对此展开分析。符号规划任务对记忆的结构化程度要求更高,A-Mem 的显式链接结构可能在此类任务上有本质优势——这暗示纯粹的「扁平条目 + 语义检索」记忆表示存在天花板。
规模上限未探明。 Backbone 止步于 7B。三阶段 RL 课程在 30B/70B 级模型上是否仍有增益、还是会被模型自身的长上下文能力吃掉,是未回答的问题。Supersede(arXiv 2606.27472)近期的发现——即便是前沿模型在有界记忆下仍有 15 个百分点的准确率断崖——暗示这个问题不会自动消失,但需要直接验证。
三、相关工作回溯
R1 · MemGPT: Towards LLMs as Operating Systems (2023-10)
作者:Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez(UC Berkeley)
解决的问题:首次系统性地把操作系统的虚拟内存层级类比引入 LLM——主上下文(≈ RAM)与外部存储(≈ 磁盘)之间通过分页机制交换数据,由 LLM 自己通过函数调用发起换入换出,并用「中断」控制流管理让 agent 在处理完记忆操作后继续原有任务。它证明了 LLM 可以自主管理自己的记忆,这是「记忆即工具」这一范式的起点。
遗留的问题:MemGPT 的记忆管理策略完全由 prompt 工程驱动——什么时候该翻页、该存什么,写在系统提示里,模型只是照做。这带来三个后果:策略无法从经验中改进;对 prompt 措辞高度敏感;在小模型上几乎失效(需要 GPT-4 级别的指令遵循能力)。此外,MemGPT 只关心「上下文放不下了怎么办」,没有区分「哪些信息值得长期保留」这一独立问题。
AgeMem 的回应:继承了工具化的记忆动作空间这一核心抽象,但把决策逻辑从 prompt 移进了可训练的策略参数。AgeMem 在 4B/7B 的开源模型上取得增益,正是因为记忆行为不再依赖模型天生的指令遵循能力,而是被训出来的。
R2 · A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)
作者:Wujiang Xu, Zujie Liang, Kai Mei, Hang Gao, Juntao Tan, Yongfeng Zhang(Rutgers 等)
解决的问题:MemGPT 之后的记忆系统大多是扁平的条目集合,检索靠语义相似度,记忆之间没有结构。A-MEM 引入 Zettelkasten(卡片盒笔记法)原则:新记忆写入时生成包含「上下文描述、关键词、标签」的结构化笔记,系统自动识别与已有记忆的链接,并支持记忆演化——新条目的加入会触发对旧条目的更新。这让记忆库从静态存储变成了一个自组织的知识网络,在六个基础模型上超越了当时的 SOTA。
遗留的问题:链接生成与演化决策依然由LLM 提示驱动,没有优化目标——系统无法知道自己建立的链接是否真的有助于下游任务。演化机制还引入了新风险:错误的更新会级联污染整个网络(这一风险随后被 ACL 2026 的 How Memory Management Impacts LLM Agents 一文实证为「错误传播」现象)。此外 A-MEM 只管长期记忆,短期上下文管理仍交给外部 RAG。
AgeMem 的回应:把 A-MEM 列为主要基线并整体超越(Qwen3-4B 上 45.74 → 54.31)。AgeMem 用任务奖励替代了 A-MEM 的提示式启发,使记忆维护行为(UPDATE/DELETE)有了正确性信号。但如前所述,PDDL 上 AgeMem 反而输给 A-MEM,说明 A-MEM 的结构化链接在强结构化任务上仍有 AgeMem 的扁平表示所不具备的优势——这是一个尚未被合并的技术分支。
R3 · Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory (2025-04)
作者:Prateek Chhikara, Dev Khant, Saket Aryan, Taranjeet Singh, Deshraj Yadav(Mem0 团队)
解决的问题:把记忆从研究原型推向生产可用。Mem0 提出以记忆为中心的架构,做对话中的动态信息抽取与检索(extract–update 管道),并提供图结构变体 Mem0ᵍ。在 LOCOMO 基准上相对六类基线全面领先,关键的工程成果是相对全上下文方法实现 p95 延迟降低 91%、token 成本节省超 90%,同时相对 OpenAI 的方案有 26% 的相对提升。它是目前产业界事实上的开源记忆层标准。
遗留的问题:extract–update 管道的每一步阈值和规则都是手工调优的产物,跨领域迁移需要重新调参。更根本的是,Mem0 的抽取器优化的是「信息是否被正确抽取」这一代理目标,而非「agent 是否因此完成了任务」——两者并不总是一致。Mem0 还需要独立的 LLM 调用执行抽取与更新决策,构成额外的推理开销(即 AgeMem 的 C3)。
AgeMem 的回应:AgeMem 在两个 backbone 上都超越 Mem0 与 Mem0ᵍ,并且把抽取决策折叠进主策略,消除了辅助 LLM 调用。更关键的是把优化目标从代理指标换成了真实任务奖励。但需要指出,Mem0 的评测场景(LOCOMO,多轮长期对话)与 AgeMem 的(agentic 任务基准)并不重合,AgeMem 没有在对话记忆场景上验证——这正是它自述局限 2 的具体所指。
R4 · Memory-R1: Enhancing LLM Agents to Manage and Utilize Memories via RL (2025-08)
作者:Sikuan Yan, Xiufeng Yang, Zuchao Huang, Ercong Nie, Zifeng Ding 等(LMU Munich / TU Darmstadt / Edinburgh,Hinrich Schütze, Volker Tresp 等)
解决的问题:首次把 RL 引入记忆管理。Memory-R1 设置两个专门化 agent——Memory Manager(决定 ADD/UPDATE/DELETE/NOOP)与 Answer Agent(从检索结果中做「记忆蒸馏」后回答),分别用 PPO 与 GRPO 训练,奖励信号来自下游问答的正确性。最惊人的结果是数据效率:仅用 152 个训练 QA 对就超越了强基线,并在 LoCoMo、MSC、LongMemEval 三个基准与 3B–14B 多个模型规模上泛化。
遗留的问题:双 agent 架构本身就是 AgeMem 要消除的「分离」。 Memory Manager 与 Answer Agent 是两个独立优化的策略,管理器不知道回答者实际需要什么,回答者也无法反向影响存储决策——两者只能通过奖励信号间接耦合。此外 Memory-R1 只覆盖长期记忆的写侧,完全没有处理短期上下文管理(压缩、过滤、溢出)。它也需要维护两套模型参数。
AgeMem 的回应:这是 AgeMem 最直接的前驱,也是它「统一」主张最直接的靶子——AgeMem 用单一策略同时承担管理与求解,并把 STM 工具纳入同一动作空间。遗憾的是,AgeMem 并未把 Memory-R1 列入基线做实证对比,这使「统一优于双 agent」这一关键论点缺少直接证据。
R5 · MemAct — Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks (ACL 2026 Findings)
作者:Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang(北京交通大学 ADaM Lab)
解决的问题:与 Memory-R1 恰好互补——把短期上下文管理形式化为可学习的策略动作。核心观察是「长上下文 LLM 尽管容量扩大,仍需要精心的工作记忆管理以缓解长程任务中的注意力稀释」。MemAct 用删除与插入两类操作对上下文做主动策展,由 RL 训练。结果是用显著更小的模型达到有竞争力的准确率,同时上下文长度减少约一半。
遗留的问题:MemAct 只做上下文内的增删,没有持久化的外部记忆库——被删除的内容就永久丢失了,无法在后续会话中恢复。这在单次长程任务中可接受,但在跨会话的持续交互中是致命的。它也不处理「哪些信息值得跨任务保留」的问题。
AgeMem 的回应:AgeMem 的 FILTER 与 SUMMARY 工具承担了 MemAct 的职能,但关键差异在于——AgeMem 的上下文清理动作与 LTM 的 ADD 处在同一动作空间,因此策略可以学会「先存进长期库、再从上下文里删掉」这一安全的组合操作,而 MemAct 只能选择删或不删。这是「统一」带来的、在架构层面就成立的能力增益。不过 MemAct 报告的上下文减半远超 AgeMem 的 3–5%,说明 AgeMem 在纯效率维度上并未压过专门化方法。
四、技术演进脉络
2023 MemGPT ──────────── 记忆即工具(prompt 驱动,不可学)
│ 「LLM 可以自己管理记忆」
│
2025 ├─ A-MEM (NeurIPS'25) ── 记忆有结构(Zettelkasten 链接 + 演化)
│ 遗留:链接质量无监督信号
│
├─ Mem0 ─────────────── 记忆可生产(extract-update 管道)
│ 遗留:手工阈值 + 辅助 LLM 开销
│
├─ Memory-R1 ────────── 记忆可学习(RL,双 agent)
│ 遗留:管理与求解分离;只管 LTM
│
└─ MemAct (ACL'26 F.) ── 上下文可学习(RL,删除/插入)
遗留:无持久化存储;只管 STM
│
2026 AgeMem (ACL'26 主会长文)
统一 LTM + STM 进单一策略
三阶段渐进 RL + step-wise GRPO
这条脉络的内在逻辑是一个逐步内化的过程:记忆管理的决策权从「写在 prompt 里」→「写在代码规则里」→「交给一个专门训练的辅助模型」→「折叠进 agent 自身的策略」。每一步都在减少人工先验、增加从经验中学习的成分。AgeMem 代表了这条路径目前的终点,而它自身的局限(固定工具集、扁平记忆表示)指向了下一步该内化什么。
五、开放挑战与研究机会
1. 「统一 vs. 分离」缺少判决性实验。 整个领域现在有了 Memory-R1(RL+LTM)、MemAct(RL+STM)、AgeMem(RL+统一)三个点,但没有任何一篇论文在同一实验设置下同时评测这三者。这是一个高价值、低门槛的实证空白——一篇严格的对照研究就能确立或证伪本领域当前最主流的架构主张。
2. 记忆表示的结构化与可学习性尚未调和。 AgeMem 在 PDDL 上输给 A-MEM 是一个信号:扁平条目 + 语义检索可能存在天花板。把 A-MEM 的显式链接结构(或 MAGMA 的多图架构、EverMemOS 的自组织结构)纳入可学习的动作空间——例如增加 LINK/MERGE 工具——是自然的下一步,但也会显著扩大动作空间并加剧信用分配困难。
3. 信用分配的粒度。 Step-wise GRPO 的均匀广播是权宜之计。如何在极稀疏、跨阶段的记忆奖励下做出真正的步级信用分配(例如反事实归因:如果这条记忆没被存下,任务还能成功吗),是本方向最硬的技术问题。
4. 评测指标的有效性。 MQ 指标与任务性能的脱节(0.006 的差距对应 4.82pp 的性能差距)说明现有的「LLM 打分记忆质量」范式可能测不到真正重要的东西。近期涌现的 LongMemEval-V2、AMA-Bench 等新基准,以及 Supersede 提出的「supersession gap」(事实更新后模型仍引用陈旧值),都在从不同角度攻击这个问题。
5. 记忆的安全与治理。 可学习的记忆意味着可被污染的记忆。2026 年已出现多篇专门讨论此问题的工作(长期记忆安全综述 arXiv 2604.16548、SSGM 治理框架 arXiv 2603.11768、ACL 2026 的错误传播实证研究)。当记忆写入策略由 RL 训出而非人工规定时,攻击面如何变化,目前几乎是空白。
6. 真实场景与规模。 所有当前工作的评测都在受控基准上。持久化的多会话真实用户交互、跨越数周数月的记忆演化、以及在 30B+ 模型上这些方法是否仍然必要——这些是把研究推向部署必须回答的问题。
六、值得关注的其他近期工作(本期未展开)
| 工作 | 链接 | 一句话 |
|---|---|---|
| Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents | https://arxiv.org/abs/2606.27472 | 提出 supersession gap,前沿模型在有界记忆下准确率掉 15pp |
| Agentic Memory 论文列表(配套综述 Memory in the Age of AI Agents) | https://github.com/Shichun-Liu/Agent-Memory-Paper-List | 本方向最活跃的论文追踪仓库 |
| ICLR 2026 Workshop MemAgents | https://sites.google.com/view/memagent-iclr26/ | 首个专门针对 agent 记忆的顶会 workshop |
| MAGMA: Multi-Graph based Agentic Memory Architecture | https://arxiv.org/abs/2601.03236 | 多图记忆架构 |
| EverMemOS: Self-Organizing Memory Operating System | https://arxiv.org/abs/2601.02163 | 自组织记忆操作系统 |
| MemRL: Self-Evolving Agents via Runtime RL on Episodic Memory | https://arxiv.org/abs/2601.03192 | 运行时 RL + 情景记忆 |
| How Memory Management Impacts LLM Agents (ACL 2026) | https://aclanthology.org/2026.acl-long.27/ | 实证「经验跟随」与错误传播现象 |
报告生成时间:2026-07-29 · 每日 Agent Memory 追踪
