本文研究如何利用大语言模型从零开始撰写有据可依、结构良好的长篇条目,使其广度与深度可与维基百科页面相当。这一较少被探索的问题在写作前的准备阶段带来了新挑战,包括如何调研主题以及如何在动笔前拟定大纲。
作者提出 STORM(Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking),一个用于通过检索与多视角提问合成主题大纲的写作系统。STORM 对写作前阶段进行建模,包含三个步骤:
1. 在研究给定主题时发现多样化的视角;
2. 模拟对话:由持有不同视角的"写作者"向基于可信互联网来源的主题专家提问;
3. 整理收集到的信息以生成大纲。
在评估方面,作者构建了 FreshWiki 数据集(近期高质量维基百科条目),并设计了针对写作前阶段的大纲评估方法,同时收集了资深维基百科编辑的反馈。与基于大纲驱动的检索增强基线所生成的文章相比,STORM 的文章被判定为更有组织(绝对提升 25%)和覆盖面更广(提升 10%)的比例更高。专家反馈还揭示了生成有据可依的长篇文章所面临的新挑战,例如来源偏见迁移(source bias transfer)与不相关事实的过度关联(over-association of unrelated facts)。