作者: Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez
提交/修订日期: 2023年10月12日提交，2024年2月12日修订 (v2)
主题/分类: 计算机科学 > 人工智能 (cs.AI)
摘要:
大语言模型 (LLMs) 已经彻底改变了人工智能领域，但其有限的上下文窗口限制了它们在扩展对话和文档分析等任务中的实用性。为了能够利用超出有限上下文窗口的上下文信息，我们提出了虚拟上下文管理技术。该技术借鉴了传统操作系统中分层内存系统的思想，通过数据在快速内存和慢速内存之间的移动，呈现出大内存资源的假象。利用这项技术，我们引入了 MemGPT (Memory-GPT) 系统。该系统智能地管理不同的内存层级，以在LLM有限的上下文窗口内有效地提供扩展的上下文，并利用中断来管理其自身与用户之间的控制流。我们在两个现代LLM有限上下文窗口严重制约其性能的领域评估了这种受操作系统启发的设计：文档分析，MemGPT能够分析远超底层LLM上下文窗口的大型文档；以及多会话聊天，MemGPT可以创建能够通过与其用户的长期互动进行记忆、反思和动态演化的对话代理。我们在 https://memgpt.ai 发布了MemGPT的代码和实验数据。
代码与数据: 可在 https://research.memgpt.ai 获取。