RLAIF-V: 开源 AI 反馈实现超越 GPT-4V 的可信度
基本信息
- 标题：RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness
- 作者：Tianyu Yu, Haoye Zhang, Qiming Li, Qixin Xu, Yuan Yao, Da Chen, Xiaoman Lu, Ganqu Cui, Yunkai Dang, Taiwen He, Xiaocheng Feng, Jun Song, Bo Zheng, Zhiyuan Liu, Tat-Seng Chua, Maosong Sun（共 16 位作者）
- 主题分类：Computation and Language (cs.CL)
- 提交历史：2024 年 5 月 27 日提交（v1），2024 年 12 月 29 日修订（v2），2025 年 10 月 29 日最后修订（v3，当前版本）
- 项目主页：https://github.com/RLHF-V/RLAIF-V
- DOI：https://doi.org/10.48550/arXiv.2405.17220
- arXiv 编号：arXiv:2405.17220 [cs.CL]
摘要
传统的用于减少幻觉的反馈学习依赖人力密集的人工标注或昂贵的闭源专有模型，这导致社区缺乏关于如何利用开源多模态大模型（MLLM）构建高质量反馈的基础知识。为此，本文提出 RLAIF-V，一个在完全开源范式下对齐 MLLM 的新框架。
RLAIF-V 从两个层面最大化地挖掘开源 MLLM 的能力：
1. 高质量的反馈数据生成，用于偏好学习（preference learning）；
2. 自反馈引导（self-feedback guidance），用于推理时扩展（inference-time scaling）。
在六个基准上的自动评估与人工评估实验表明，RLAIF-V 在偏好学习和推理阶段均显著提升了模型的可信度：
- RLAIF-V 7B 将物体幻觉（object hallucination）降低 80.7%，整体幻觉降低 33.7%；
- RLAIF-V 12B 进一步揭示了开源 MLLM 的自我对齐（self-alignment）潜力——模型可以从自身反馈中学习，达到超越 GPT-4V 的可信度。