Agent Memory 每日追踪报告

Agent Memory 每日追踪报告

日期:2026-07-29 核心工作:AgeMem — Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents 发表于:ACL 2026 主会长文(Volume 1: Long Papers, pp. 21457–21483, San Diego) 一句话定位:把长期记忆与短期记忆的管理统一收编进 agent 自身的策略,用三阶段渐进式强化学习端到端训练出「什么时候存、存什么、什么时候删、什么时候压缩」的记忆行为。


一、链接清单

1.1 核心工作

项目链接
会议主页(ACL Anthology)https://aclanthology.org/2026.acl-long.981/
会议 PDFhttps://aclanthology.org/2026.acl-long.981.pdf
arXivhttps://arxiv.org/abs/2601.01885 (v2, 2026-04-30)
DOI10.18653/v1/2026.acl-long.981
代码 / 数据论文正文与附录中未给出公开仓库地址(实现基于 AgentScope + Trinity RL 框架)
依赖框架 · AgentScopehttps://github.com/modelscope/agentscope
依赖框架 · Trinity-RFThttps://github.com/modelscope/Trinity-RFT

作者:Yi Yu, Liuyi Yao, Yuexiang Xie, Qingquan Tan, Jiaqi Feng, Yaliang Li, Libing Wu 单位:武汉大学国家网络安全学院;阿里巴巴集团

1.2 回溯的相关工作

#工作会议 / 状态论文链接代码 / 数据
R1MemGPT: Towards LLMs as Operating SystemsarXiv 2023-10(Letta 前身,工业界影响极大)https://arxiv.org/abs/2310.08560https://github.com/letta-ai/letta · https://research.memgpt.ai
R2A-MEM: Agentic Memory for LLM AgentsNeurIPS 2025 Posterhttps://arxiv.org/abs/2502.12110 · https://proceedings.neurips.cc/paper_files/paper/2025/hash/19909c36f51abc4856b4560aff3d36d6-Abstract-Conference.htmlhttps://github.com/agiresearch/A-mem · https://github.com/WujiangXu/A-mem-sys
R3Mem0: Building Production-Ready AI Agents with Scalable Long-Term MemoryarXiv 2025-04(产业界事实标准)https://arxiv.org/abs/2504.19413https://github.com/mem0ai/mem0 · 评测集 LOCOMO
R4Memory-R1: Enhancing LLM Agents to Manage and Utilize Memories via RLarXiv 2025-08(v5 更新至 2026-01)https://arxiv.org/abs/2508.19828https://github.com/yansikuan/memory-r1
R5MemAct — Memory as Action: Autonomous Context Curation for Long-Horizon Agentic TasksACL 2026 Findings(pp. 19149–19164)https://aclanthology.org/2026.findings-acl.956/ · https://arxiv.org/abs/2510.12635https://github.com/ADaM-BJTU/MemAct

常用评测基准入口:ALFWorld、SciWorld、BabyAI、PDDL(AgentBoard 系列)、HotpotQA、LOCOMO、LongMemEval、MSC。


二、核心工作深度解析:AgeMem

2.1 摘要(原文译述)

大语言模型 agent 在长程推理中受制于有限的上下文窗口,因此记忆管理至关重要。现有方法通常把长期记忆(LTM)与短期记忆(STM)当作两个分离的组件,依赖启发式规则或额外的控制器,这限制了自适应性和端到端优化的可能。本文提出 AgeMem,一个把 LTM 与 STM 管理直接内嵌进 agent 策略的统一框架。AgeMem 将记忆操作暴露为工具式动作,让 LLM agent 自主决定何时以及存储、检索、更新、摘要或丢弃哪些信息。为了训练这种统一行为,作者提出三阶段渐进式强化学习策略,并设计 step-wise GRPO 来应对记忆操作带来的稀疏且不连续的奖励。在五个长程基准上的实验表明,AgeMem 在多个 LLM backbone 上持续超越强记忆增强基线,同时获得更好的任务表现、更高质量的长期记忆和更高效的上下文利用。

2.2 Motivation 与故事线

AgeMem 的叙事逻辑非常清晰,是一条「先拆解现状的割裂,再论证割裂不可通过打补丁弥合,最后给出统一策略化方案」的三段式故事线。

第一步:指出记忆研究的两条平行线各自撞墙。 短期记忆一侧(本质上是 RAG 与上下文压缩)依赖「预定义的调度或启发式规则」,后果是双向的——既可能让「不频繁但关键的细节被忽略」,又会「引入不必要的噪声」。长期记忆一侧则被归纳为两类,各有硬伤:触发式(trigger-based)在预设时刻执行固定的记忆操作,僵化;智能体式(agent-based)依赖手工规则或额外的专家模型,「限制了自适应性并增加了系统复杂度」。

第二步:论证割裂本身才是病根。 作者的关键论断是,LTM 与 STM 「通常被当作分离且松耦合的模块」,结果是「记忆构建碎片化、长程推理任务上表现次优」。这里的洞察在于:决定「这条信息要不要写进长期库」和决定「当前上下文要不要压掉这一段」,本质上是同一个信息价值判断在两个时间尺度上的投影。把它们交给两套互不通气的启发式,必然出现「短期扔掉了长期没存的东西」这类不可恢复的信息损失。

第三步:把问题落成三个可攻克的技术挑战(C1–C3)。

  • C1 功能异构性协调:LTM 与 STM 目标不同(持久化 vs. 即时可用),需要统一编排。
  • C2 训练范式错配:现有 RL 框架对两类记忆使用「显著不同的训练策略」;而标准 RL「与记忆操作产生的本质上碎片化、不连续的经验相冲突」——写入记忆的动作在当下不产生任何可观测收益,收益要到很多步之后的问答时刻才兑现。
  • C3 部署成本约束:依赖「辅助专家 LLM 做记忆控制,显著抬高了推理成本与训练复杂度」。

第四步(解法):如果记忆操作只是 agent 动作空间里的普通工具,那么「记忆管理」就不再需要独立的控制器,而是可以和任务求解一起被同一个 RL 目标优化。这是 AgeMem 全部设计的公理。

2.3 方法论

2.3.1 状态表示

时刻 t 的状态定义为 s_t = (C_t, M_t, T)

  • C_t = [u_1, …, u_{n_t}]:短期上下文,即当前消息列表;
  • M_t = {m_i}:长期记忆库,每条条目含内容、嵌入向量与元数据;
  • T:任务规格,包含查询 q、上下文信息 I_q、期望答案 A_q

2.3.2 六个记忆工具(统一动作空间)

这是全文最核心的抽象——LTM 与 STM 的操作被放进同一张工具表,由同一个策略调用

长期记忆(写侧)

  • ADD:向持久库 M_t 插入新条目(内容 + 嵌入 + 元数据)。
  • UPDATE:按 memory_id 修改已有条目的内容与时间戳。
  • DELETE:删除过时条目,防止陈旧知识堆积。

短期记忆(读侧与上下文控制)

  • RETRIEVE(q, k):按余弦相似度取 top-k RETRIEVE(q,k) = TopK(M_t, sim(q,m_i), k),其中 sim(q,m_i) = enc(q)ᵀenc(m_i) / (‖enc(q)‖‖enc(m_i)‖)
  • SUMMARY:用 LLM 压缩对话跨度,支持 allN(最近 N 轮)。
  • FILTER:移除语义相似度超过阈值 θ_f(默认 0.6)的上下文消息,抑制冗余噪声。

值得注意的是 FILTER 的方向性:它删的是相似度过高的消息,即压制重复冗余,而不是删掉「不相关」的内容——这是一个防止误删关键低频信息的保守设计。

2.3.3 三阶段渐进式 RL 课程

每条轨迹 τ = (τ⁽¹⁾, τ⁽²⁾, τ⁽³⁾),总长 T = T₁ + T₂ + T₃。三个阶段之间的上下文重置 + 长期记忆保留是整个课程设计的机关所在。

阶段一 · LTM 构建:agent 在闲聊式对话中接触上下文信息 I_q,目标是识别显著信息并通过 ADD/UPDATE/DELETE 写入 M_t。中间步骤奖励为零。M_t 向后传递。

阶段二 · 干扰下的 STM 控制C_t 被重置(切断信息泄漏路径),M_t 保留。agent 接收由 DISTRACTORGEN 生成的合成干扰消息(无关话语),必须用 FILTERSUMMARY 主动清理上下文。由于原始信息已不在上下文里,agent 被强制依赖从 M_t 的有效检索。

阶段三 · 整合推理:agent 收到正式查询 q,必须协调地从 M_t 检索、管理 C_t、生成最终答案 A_pred。终局奖励 R(τ) 在轨迹末尾给出。

设计要点:阶段间的上下文重置强制了真正的 LTM 检索行为(否则模型会退化成「直接看原文」);而 LTM 的跨阶段持久化,使得阶段一的存储决策能够影响阶段三的任务结果——这正是让「存什么」变得可学习的因果链条。

2.3.4 奖励设计

R(τ) = wᵀR + P_penalty,其中 R = [R_task, R_context, R_memory]ᵀ

任务完成奖励 R_task:LLM 裁判分 S_judge(A_pred, A_q) ∈ [0,1];无答案则给惩罚。

上下文管理奖励 R_context(三项,等权 α_i = 1/3):

  • R_compression = max(0, 1 − T_used/T_max):鼓励 token 效率;
  • R_preventive = 1[溢出前调用了工具]:奖励主动而非被动的过滤/摘要;
  • R_preservation = 1_preserve:确保任务关键 token 被保留。

第二项是很聪明的设计——它奖励的是「在撞墙之前就转向」,把上下文管理从事后补救变成了前瞻行为。

记忆管理奖励 R_memory(三项,等权 β_j = 1/3):

  • R_storage = N_high_quality / max(1, N_total):高质量存储条目占比;
  • R_maintenance = 1[执行了 update 或 delete]:鼓励主动维护而非只增不删;
  • R_relevance = S_LLM(R, q):检索结果与查询的 LLM 语义相关性,归一化到 [0,1]。

惩罚项 P_penalty:超出最大对话轮数 P_rounds = −1;上下文溢出 P_overflow = −0.5

2.3.5 Step-wise GRPO

针对 C2(奖励稀疏且不连续)的解法。对同一任务的轨迹组 G_q = {τ₁, …, τ_K}

组内归一化优势A_T^{(k,q)} = (r_T^{(k,q)} − μ_{G_q}) / (σ_{G_q} + ε)

优势广播A_t^{(k,q)} = A_T^{(k,q)}, ∀t ∈ [1, T]

即把终局优势均匀广播到所有前置时间步,实现长程信用分配——最终任务结果因此得以监督横跨三个阶段的每一个中间记忆决策。

策略更新目标J(θ) = E[ρ_t A_t − β·D_KL(π_θ ‖ π_ref)],其中重要性比 ρ_t = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)

这个设计的取舍很直白:广播意味着放弃了步级信用分配的精度,换取了在极稀疏奖励下的可训练性。一次成功轨迹里所有的记忆操作都被同等地正向强化,包括其中可能无用甚至有害的那些——这一点在下文局限性中会再讨论。

2.4 实验设计

五个长程基准(覆盖具身、科学、符号规划、导航、多跳问答五类异构长程任务):

  1. ALFWorld(Shridhar et al., 2020)—— 具身家务任务(pick/place/heat/cool/clean)
  2. SciWorld(Wang et al., 2022)—— 物理/化学/生物交互式科学实验
  3. PDDL(Chang et al., 2024)—— 符号规划
  4. BabyAI(Chevalier-Boisvert et al., 2018)—— 组合语言指令网格导航
  5. HotpotQA(Yang et al., 2018)—— 维基百科多跳问答,约 9 万训练问题

Backbone:Qwen2.5-7B-Instruct、Qwen3-4B-Instruct

基线:LangMem(LangChain, 2025)、A-Mem(Xu et al., 2025)、Mem0、Mem0ᵍ(图变体)、AgeMem-noRL(消融对照)、No-Memory

指标:任务完成度(ALFWorld/SciWorld/BabyAI 用成功率 SR;PDDL 用进度率 PR;HotpotQA 用 LLM-as-a-Judge);记忆质量 MQ(LLM 评估存储记忆与真实事实的相关性,0–1);效率(平均 prompt token 数、每回合工具调用次数)。

主结果

Qwen2.5-7B-Instruct

方法ALFWorldSciWorldPDDLBabyAIHotpotQA平均
No-Memory27.1613.8010.1550.8038.3628.05
LangMem38.2728.2915.8551.3437.4334.23
A-Mem34.6828.0618.3958.8243.9536.78
Mem037.4926.9913.9660.5846.6637.14
Mem0ᵍ35.3430.5014.8658.7842.0636.31
AgeMem41.0735.5517.3161.4254.4441.96

Qwen3-4B-Instruct

方法ALFWorldSciWorldPDDLBabyAIHotpotQA平均
No-Memory38.5147.8930.1455.8347.4843.97
LangMem40.8950.4228.4253.8042.7043.25
A-Mem34.3150.1434.4161.3548.4845.74
Mem041.1751.3831.7260.0539.1644.70
Mem0ᵍ36.6947.7629.6157.5938.1241.95
AgeMem48.9759.4835.0772.5655.4954.31

关键增益:Qwen2.5-7B 上相对 No-Memory 提升 49.59%,超过最强基线 Mem0 达 4.82pp;Qwen3-4B 上相对提升 23.52%,超过最强基线 A-Mem 达 8.57pp。RL 训练本身贡献了 8.53pp(Qwen2.5)与 8.72pp(Qwen3)。

一个值得注意的细节:LangMem、Mem0ᵍ 在 Qwen3-4B 上均劣于 No-Memory 基线(43.25 / 41.95 vs. 43.97)。这直接支撑了论文的动机——启发式记忆管道在更强的 backbone 上可能变成负担而非助力,因为它们注入的噪声超过了带来的信息增益。

记忆质量与效率

  • MQ:Qwen2.5-7B 上 0.533(Mem0 0.527,基线均值 0.498);Qwen3-4B 上 0.605(A-Mem 0.587,基线均值 0.565)。
  • Token:Qwen2.5-7B 2,117 vs. AgeMem-RAG 2,186(−3.1%);Qwen3-4B 2,191 vs. 2,310(−5.1%)。

工具使用行为的变化(HotpotQA, Qwen2.5-7B,RL 前 → 后)

工具训练前训练后
ADD0.921.64
UPDATE0.000.13
DELETE0.000.08
RETRIEVE2.311.95
SUMMARY1.080.82
FILTER0.020.31

这张表是全文最有说服力的定性证据。训练前 UPDATE/DELETE 调用次数严格为零——未经训练的 LLM 根本不会主动维护记忆,它只会往里堆。训练后不仅这两个操作被激活,RETRIEVE 反而下降:作者的解释是存储质量提升后,不再需要反复的、被动的检索补救。这是一个从「反应式」到「前瞻式」记忆行为的相变。

消融

组件消融(Qwen2.5-7B)

基准Base+LTM+LTM/RL+LTM/STM/RL
ALFWorld27.1637.7338.8841.07
SciWorld13.8027.9832.4935.55
HotpotQA38.3645.7652.0454.44

STM 工具的增益在 SciWorld(+3.06pp)与 HotpotQA(+2.40pp)上最明显,验证了「学习到的上下文管理」优于静态 RAG。

奖励消融(HotpotQA, Qwen2.5-7B):Answer-Only 得 J=0.509 / MQ=0.479 / 2,078 tokens / 3.93 次调用;All-Returns 得 J=0.544 / MQ=0.533 / 2,117 tokens / 4.92 次调用。完整奖励收敛更快、记忆质量更高,代价是略多的 token 与工具调用。

FILTER 阈值敏感性θ_f ∈ [0.4, 0.8] 内表现稳定,θ_f=0.5 最佳(J=0.551, MQ=0.550);0.4 过度过滤(0.524),0.7 过于宽松(0.530)。说明方法对超参不敏感。

2.5 价值分析

1. 概念贡献:把记忆从「系统组件」重新定义为「策略行为」。 这是 AgeMem 最重要的贡献,也是它与之前所有工作的分水岭。MemGPT 到 Mem0 这条线一直把记忆当作围绕 LLM 搭建的外部系统——存储策略写在 prompt 或代码里,模型只是被动地被喂入检索结果。AgeMem 的主张是:记忆管理是任务求解的内在组成部分,而不是它的基础设施;因此它应该和推理一起被同一个目标优化。工具调用行为表里 UPDATE/DELETE 从 0 到非 0 的跃迁,是对这一主张的直接实证。

2. 方法贡献:三阶段课程解决了「记忆行为不可学」的根本困难。 记忆写入的价值在写入时刻是不可观测的——你无法在存储的当下知道这条信息以后有没有用。三阶段课程通过「上下文重置 + LTM 持久化」人工构造了一条从存储决策到任务结果的因果链,把不可观测的价值变成了可反传的信号。这个设计可以脱离 AgeMem 单独使用,是对整个领域的方法论贡献。

3. 工程价值:去掉了辅助控制器。 C3 的解决是实打实的部署收益。A-Mem、Mem0 都需要额外的 LLM 调用做记忆提取与更新决策;AgeMem 把这部分折叠进主策略,推理成本结构显著简化。

4. 实证强度较为扎实。 五个基准跨越具身、科学、符号规划、导航、问答五个异构领域,两个不同规模与代际的 backbone,六个基线,加上组件/奖励/超参三重消融——这个实验规模在记忆方向的论文里属于上游水准。论文还声称展示了跨领域的 zero-shot 迁移。

2.6 局限性

论文自述的三点

  1. 固定工具集:「采用了一组固定的记忆管理工具,这提供了清晰有效的抽象,但可以扩展以支持更细粒度的控制」。
  2. 评测场景受控:「尽管我们在五个代表性长程基准上评估并展示了跨领域 zero-shot 迁移,这些设定相对于开放式真实部署仍然是受控的。在持久化的长期对话或真实用户交互场景中的评估是重要的下一步」。
  3. 训练数据依赖单一:「训练目前依赖 HotpotQA 作为三阶段轨迹的来源」。

笔者补充的批判性观察

  1. 优势广播牺牲了信用分配精度。 Step-wise GRPO 把终局优势均匀广播到所有时间步,意味着一条成功轨迹里的每一个记忆操作都被同等强化——包括其中冗余的、无效的、甚至有害但被其他步骤补救掉的那些。论文没有报告这种粗粒度信用分配是否导致了操作冗余(比如无意义的 ADD 被反复强化)。工具调用统计中 ADD 从 0.92 涨到 1.64 是否全是有效存储,缺乏进一步剖析。

  2. 效率收益偏小,与叙事强度不匹配。 Token 减少仅 3.1% / 5.1%,且比较对象是 AgeMem-RAG 而非各个基线方法。「更高效的上下文使用」在摘要中被列为三大成果之一,但数据支撑相对单薄。同时 All-Returns 奖励反而比 Answer-Only 用了更多 token(2,117 vs 2,078)和更多工具调用(4.92 vs 3.93),这与压缩奖励项的设计意图存在一定张力。

  3. 记忆质量指标 MQ 的区分度不足。 AgeMem 的 MQ(0.533 / 0.605)与最强基线(0.527 / 0.587)差距仅 0.006 / 0.018,而任务性能差距是 4.82pp / 8.57pp。这提示 MQ 这个 LLM 评分指标可能没有真正捕捉到驱动性能差异的因素——性能提升也许更多来自 STM 侧的上下文管理与检索时机,而非存储内容本身的质量。这是一个指标有效性问题。

  4. 缺少与最直接的 RL 竞品的实证对比。 论文在相关工作中引用了 Memory-R1(RL + LTM)和 Memory-as-Action / MemAct(RL + STM),但基线里没有它们——对比的全是启发式方法(LangMem/A-Mem/Mem0)。「统一优于分离」是本文的核心主张,而验证这一主张恰恰需要与「只做一侧的 RL 方法」对比。目前的实验只能证明「RL 优于启发式」,不能充分证明「统一优于分离」。这是本文论证链条上最明显的缺口。

  5. PDDL 上不敌 A-Mem。 Qwen2.5-7B 上 AgeMem 得 17.31,低于 A-Mem 的 18.39,是唯一的失手项。论文未对此展开分析。符号规划任务对记忆的结构化程度要求更高,A-Mem 的显式链接结构可能在此类任务上有本质优势——这暗示纯粹的「扁平条目 + 语义检索」记忆表示存在天花板。

  6. 规模上限未探明。 Backbone 止步于 7B。三阶段 RL 课程在 30B/70B 级模型上是否仍有增益、还是会被模型自身的长上下文能力吃掉,是未回答的问题。Supersede(arXiv 2606.27472)近期的发现——即便是前沿模型在有界记忆下仍有 15 个百分点的准确率断崖——暗示这个问题不会自动消失,但需要直接验证。


三、相关工作回溯

R1 · MemGPT: Towards LLMs as Operating Systems (2023-10)

作者:Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez(UC Berkeley)

解决的问题:首次系统性地把操作系统的虚拟内存层级类比引入 LLM——主上下文(≈ RAM)与外部存储(≈ 磁盘)之间通过分页机制交换数据,由 LLM 自己通过函数调用发起换入换出,并用「中断」控制流管理让 agent 在处理完记忆操作后继续原有任务。它证明了 LLM 可以自主管理自己的记忆,这是「记忆即工具」这一范式的起点。

遗留的问题:MemGPT 的记忆管理策略完全由 prompt 工程驱动——什么时候该翻页、该存什么,写在系统提示里,模型只是照做。这带来三个后果:策略无法从经验中改进;对 prompt 措辞高度敏感;在小模型上几乎失效(需要 GPT-4 级别的指令遵循能力)。此外,MemGPT 只关心「上下文放不下了怎么办」,没有区分「哪些信息值得长期保留」这一独立问题。

AgeMem 的回应:继承了工具化的记忆动作空间这一核心抽象,但把决策逻辑从 prompt 移进了可训练的策略参数。AgeMem 在 4B/7B 的开源模型上取得增益,正是因为记忆行为不再依赖模型天生的指令遵循能力,而是被训出来的。

R2 · A-MEM: Agentic Memory for LLM Agents (NeurIPS 2025)

作者:Wujiang Xu, Zujie Liang, Kai Mei, Hang Gao, Juntao Tan, Yongfeng Zhang(Rutgers 等)

解决的问题:MemGPT 之后的记忆系统大多是扁平的条目集合,检索靠语义相似度,记忆之间没有结构。A-MEM 引入 Zettelkasten(卡片盒笔记法)原则:新记忆写入时生成包含「上下文描述、关键词、标签」的结构化笔记,系统自动识别与已有记忆的链接,并支持记忆演化——新条目的加入会触发对旧条目的更新。这让记忆库从静态存储变成了一个自组织的知识网络,在六个基础模型上超越了当时的 SOTA。

遗留的问题:链接生成与演化决策依然由LLM 提示驱动,没有优化目标——系统无法知道自己建立的链接是否真的有助于下游任务。演化机制还引入了新风险:错误的更新会级联污染整个网络(这一风险随后被 ACL 2026 的 How Memory Management Impacts LLM Agents 一文实证为「错误传播」现象)。此外 A-MEM 只管长期记忆,短期上下文管理仍交给外部 RAG。

AgeMem 的回应:把 A-MEM 列为主要基线并整体超越(Qwen3-4B 上 45.74 → 54.31)。AgeMem 用任务奖励替代了 A-MEM 的提示式启发,使记忆维护行为(UPDATE/DELETE有了正确性信号。但如前所述,PDDL 上 AgeMem 反而输给 A-MEM,说明 A-MEM 的结构化链接在强结构化任务上仍有 AgeMem 的扁平表示所不具备的优势——这是一个尚未被合并的技术分支。

R3 · Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory (2025-04)

作者:Prateek Chhikara, Dev Khant, Saket Aryan, Taranjeet Singh, Deshraj Yadav(Mem0 团队)

解决的问题:把记忆从研究原型推向生产可用。Mem0 提出以记忆为中心的架构,做对话中的动态信息抽取与检索(extract–update 管道),并提供图结构变体 Mem0ᵍ。在 LOCOMO 基准上相对六类基线全面领先,关键的工程成果是相对全上下文方法实现 p95 延迟降低 91%、token 成本节省超 90%,同时相对 OpenAI 的方案有 26% 的相对提升。它是目前产业界事实上的开源记忆层标准。

遗留的问题:extract–update 管道的每一步阈值和规则都是手工调优的产物,跨领域迁移需要重新调参。更根本的是,Mem0 的抽取器优化的是「信息是否被正确抽取」这一代理目标,而非「agent 是否因此完成了任务」——两者并不总是一致。Mem0 还需要独立的 LLM 调用执行抽取与更新决策,构成额外的推理开销(即 AgeMem 的 C3)。

AgeMem 的回应:AgeMem 在两个 backbone 上都超越 Mem0 与 Mem0ᵍ,并且把抽取决策折叠进主策略,消除了辅助 LLM 调用。更关键的是把优化目标从代理指标换成了真实任务奖励。但需要指出,Mem0 的评测场景(LOCOMO,多轮长期对话)与 AgeMem 的(agentic 任务基准)并不重合,AgeMem 没有在对话记忆场景上验证——这正是它自述局限 2 的具体所指。

R4 · Memory-R1: Enhancing LLM Agents to Manage and Utilize Memories via RL (2025-08)

作者:Sikuan Yan, Xiufeng Yang, Zuchao Huang, Ercong Nie, Zifeng Ding 等(LMU Munich / TU Darmstadt / Edinburgh,Hinrich Schütze, Volker Tresp 等)

解决的问题首次把 RL 引入记忆管理。Memory-R1 设置两个专门化 agent——Memory Manager(决定 ADD/UPDATE/DELETE/NOOP)与 Answer Agent(从检索结果中做「记忆蒸馏」后回答),分别用 PPO 与 GRPO 训练,奖励信号来自下游问答的正确性。最惊人的结果是数据效率:仅用 152 个训练 QA 对就超越了强基线,并在 LoCoMo、MSC、LongMemEval 三个基准与 3B–14B 多个模型规模上泛化。

遗留的问题双 agent 架构本身就是 AgeMem 要消除的「分离」。 Memory Manager 与 Answer Agent 是两个独立优化的策略,管理器不知道回答者实际需要什么,回答者也无法反向影响存储决策——两者只能通过奖励信号间接耦合。此外 Memory-R1 只覆盖长期记忆的写侧,完全没有处理短期上下文管理(压缩、过滤、溢出)。它也需要维护两套模型参数。

AgeMem 的回应:这是 AgeMem 最直接的前驱,也是它「统一」主张最直接的靶子——AgeMem 用单一策略同时承担管理与求解,并把 STM 工具纳入同一动作空间。遗憾的是,AgeMem 并未把 Memory-R1 列入基线做实证对比,这使「统一优于双 agent」这一关键论点缺少直接证据。

R5 · MemAct — Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks (ACL 2026 Findings)

作者:Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang(北京交通大学 ADaM Lab)

解决的问题:与 Memory-R1 恰好互补——把短期上下文管理形式化为可学习的策略动作。核心观察是「长上下文 LLM 尽管容量扩大,仍需要精心的工作记忆管理以缓解长程任务中的注意力稀释」。MemAct 用删除与插入两类操作对上下文做主动策展,由 RL 训练。结果是用显著更小的模型达到有竞争力的准确率,同时上下文长度减少约一半

遗留的问题:MemAct 只做上下文内的增删,没有持久化的外部记忆库——被删除的内容就永久丢失了,无法在后续会话中恢复。这在单次长程任务中可接受,但在跨会话的持续交互中是致命的。它也不处理「哪些信息值得跨任务保留」的问题。

AgeMem 的回应:AgeMem 的 FILTERSUMMARY 工具承担了 MemAct 的职能,但关键差异在于——AgeMem 的上下文清理动作与 LTM 的 ADD 处在同一动作空间,因此策略可以学会「先存进长期库、再从上下文里删掉」这一安全的组合操作,而 MemAct 只能选择删或不删。这是「统一」带来的、在架构层面就成立的能力增益。不过 MemAct 报告的上下文减半远超 AgeMem 的 3–5%,说明 AgeMem 在纯效率维度上并未压过专门化方法。


四、技术演进脉络

2023  MemGPT ──────────── 记忆即工具(prompt 驱动,不可学)
        │                  「LLM 可以自己管理记忆」
        │
2025  ├─ A-MEM (NeurIPS'25) ── 记忆有结构(Zettelkasten 链接 + 演化)
      │                        遗留:链接质量无监督信号
      │
      ├─ Mem0 ─────────────── 记忆可生产(extract-update 管道)
      │                        遗留:手工阈值 + 辅助 LLM 开销
      │
      ├─ Memory-R1 ────────── 记忆可学习(RL,双 agent)
      │                        遗留:管理与求解分离;只管 LTM
      │
      └─ MemAct (ACL'26 F.) ── 上下文可学习(RL,删除/插入)
                               遗留:无持久化存储;只管 STM
                                          │
2026                    AgeMem (ACL'26 主会长文)
                        统一 LTM + STM 进单一策略
                        三阶段渐进 RL + step-wise GRPO

这条脉络的内在逻辑是一个逐步内化的过程:记忆管理的决策权从「写在 prompt 里」→「写在代码规则里」→「交给一个专门训练的辅助模型」→「折叠进 agent 自身的策略」。每一步都在减少人工先验、增加从经验中学习的成分。AgeMem 代表了这条路径目前的终点,而它自身的局限(固定工具集、扁平记忆表示)指向了下一步该内化什么。


五、开放挑战与研究机会

1. 「统一 vs. 分离」缺少判决性实验。 整个领域现在有了 Memory-R1(RL+LTM)、MemAct(RL+STM)、AgeMem(RL+统一)三个点,但没有任何一篇论文在同一实验设置下同时评测这三者。这是一个高价值、低门槛的实证空白——一篇严格的对照研究就能确立或证伪本领域当前最主流的架构主张。

2. 记忆表示的结构化与可学习性尚未调和。 AgeMem 在 PDDL 上输给 A-MEM 是一个信号:扁平条目 + 语义检索可能存在天花板。把 A-MEM 的显式链接结构(或 MAGMA 的多图架构、EverMemOS 的自组织结构)纳入可学习的动作空间——例如增加 LINK/MERGE 工具——是自然的下一步,但也会显著扩大动作空间并加剧信用分配困难。

3. 信用分配的粒度。 Step-wise GRPO 的均匀广播是权宜之计。如何在极稀疏、跨阶段的记忆奖励下做出真正的步级信用分配(例如反事实归因:如果这条记忆没被存下,任务还能成功吗),是本方向最硬的技术问题。

4. 评测指标的有效性。 MQ 指标与任务性能的脱节(0.006 的差距对应 4.82pp 的性能差距)说明现有的「LLM 打分记忆质量」范式可能测不到真正重要的东西。近期涌现的 LongMemEval-V2、AMA-Bench 等新基准,以及 Supersede 提出的「supersession gap」(事实更新后模型仍引用陈旧值),都在从不同角度攻击这个问题。

5. 记忆的安全与治理。 可学习的记忆意味着可被污染的记忆。2026 年已出现多篇专门讨论此问题的工作(长期记忆安全综述 arXiv 2604.16548、SSGM 治理框架 arXiv 2603.11768、ACL 2026 的错误传播实证研究)。当记忆写入策略由 RL 训出而非人工规定时,攻击面如何变化,目前几乎是空白。

6. 真实场景与规模。 所有当前工作的评测都在受控基准上。持久化的多会话真实用户交互、跨越数周数月的记忆演化、以及在 30B+ 模型上这些方法是否仍然必要——这些是把研究推向部署必须回答的问题。


六、值得关注的其他近期工作(本期未展开)

工作链接一句话
Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agentshttps://arxiv.org/abs/2606.27472提出 supersession gap,前沿模型在有界记忆下准确率掉 15pp
Agentic Memory 论文列表(配套综述 Memory in the Age of AI Agentshttps://github.com/Shichun-Liu/Agent-Memory-Paper-List本方向最活跃的论文追踪仓库
ICLR 2026 Workshop MemAgentshttps://sites.google.com/view/memagent-iclr26/首个专门针对 agent 记忆的顶会 workshop
MAGMA: Multi-Graph based Agentic Memory Architecturehttps://arxiv.org/abs/2601.03236多图记忆架构
EverMemOS: Self-Organizing Memory Operating Systemhttps://arxiv.org/abs/2601.02163自组织记忆操作系统
MemRL: Self-Evolving Agents via Runtime RL on Episodic Memoryhttps://arxiv.org/abs/2601.03192运行时 RL + 情景记忆
How Memory Management Impacts LLM Agents (ACL 2026)https://aclanthology.org/2026.acl-long.27/实证「经验跟随」与错误传播现象

报告生成时间:2026-07-29 · 每日 Agent Memory 追踪