基于大语言模型(LLM)的网络智能体在知识密集型任务上表现出色,但面临一个根本性矛盾:任务需要广泛探索,而上下文窗口却受到严格限制。现有解决方案通常依赖架构层面的修改(如内部记忆 token),这不仅破坏了与已有智能体的兼容性,还需要昂贵的端到端重训练。
为解决上述局限,本文提出了 ReSum——一种轻量级、即插即用的范式。它通过定期调用外部工具,将交互历史压缩为紧凑的摘要,从而实现无界探索。尽管该范式无需训练即可运行,但标准智能体本身并不具备对压缩上下文进行推理的能力。为弥补这一差距,作者进一步提出了 ReSum-GRPO,通过优势广播(advantage broadcasting)对分组相对策略优化(Group Relative Policy Optimization, GRPO)进行适配,将最终奖励传播到分段轨迹上,从而在长时程中实现信用分配。
大量实验表明:
- 在免训练设置下,ReSum 相比 ReAct 取得了 4.5% 的提升;
- ReSum-GRPO 在此基础上进一步带来 8.2% 的增益;
- 仅使用 1K 训练样本,经 ReSum 增强的 30B 智能体即可达到与领先开源模型相当的性能,验证了 ReSum 的有效性。