作者: Albert Q. Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, Lélio Renard Lavaud, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed
提交日期: 2023年10月10日
摘要:
本文介绍了 Mistral 7B v0.1，这是一个拥有70亿参数的语言模型，旨在实现卓越的性能和效率。Mistral 7B 在所有评估的基准测试中都超越了 Llama 2 13B，并且在推理、数学和代码生成方面超越了 Llama 1 34B。该模型利用了分组查询注意力（GQA）以实现更快的推理，并结合滑动窗口注意力（SWA）来有效处理任意长度的序列，同时降低推理成本。我们还提供了一个经过微调以遵循指令的模型——Mistral 7B -- Instruct，该模型在人工和自动化基准测试中都超越了 Llama 2 13B -- Chat 模型。我们的模型在 Apache 2.0 许可证下发布。
主题/分类:
- 计算与语言 (cs.CL)
- 人工智能 (cs.AI)
- 机器学习 (cs.LG)
备注:
模型和代码可在 https://mistral.ai/news/announcing-mistral-7b/ 获取。