作者： Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez
摘要：
大型语言模型（LLM）已经彻底改变了人工智能，但其有限的上下文窗口限制了它们在扩展对话和文档分析等任务中的实用性。为了能够在有限上下文窗口之外使用上下文，我们提出了虚拟上下文管理（virtual context management）技术，该技术借鉴了传统操作系统中分层内存系统的思想，通过数据在快速内存和慢速内存之间的移动来提供大内存资源的表象。利用这项技术，我们引入了 MemGPT（Memory-GPT）系统，该系统能够智能地管理不同的内存层级，从而在 LLM 有限的上下文窗口内有效地提供扩展上下文，并利用中断来管理自身与用户之间的控制流。我们在两个领域评估了这种受操作系统启发的设计，在这两个领域中，现代 LLM 有限的上下文窗口严重阻碍了其性能：文档分析（MemGPT 能够分析远超底层 LLM 上下文窗口的大文档）和多会话聊天（MemGPT 可以创建能够通过长期用户交互动态记忆、反思和进化的会话智能体）。
主题/分类： 计算机科学 > 人工智能 (cs.AI)
提交/修订日期： 首次提交于 2023 年 10 月 12 日；最后修订于 2024 年 2 月 12 日（当前版本 v2）
代码与数据： 实验代码和数据可在 https://memgpt.ai 获取。