# Octopus v2: 用于超级智能体的设备端语言模型
## 作者
Wei Chen, Zhiyuan Li
## 摘要
语言模型在多种软件应用中展现了有效性，特别是在与自动化工作流相关的任务中。这些模型具备关键的函数调用能力，这对于创建 AI 智能体至关重要。尽管大型语言模型在云环境中表现优异，但它们常引发隐私和成本方面的担忧。当前的设备端模型在进行函数调用时面临延迟和准确性问题。我们的研究提出了一种新方法，使一个拥有 20 亿参数的设备端模型在准确性和延迟方面均超越了 GPT-4，并将上下文长度减少了 95%。与基于 RAG 的函数调用机制的 Llama-7B 相比，我们的方法将延迟提升了 35 倍。该方法将延迟降低到适合在多种生产环境中的边缘设备上部署的水平，符合实际应用的性能要求。
## 主题/分类
计算与语言 (Computation and Language, cs.CL)