CV-MLLM经典论文解读| OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust

论文标题：

OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation

OPERA：通过过度信任惩罚和回顾分配来缓解多模态大型语言模型中的幻觉

论文链接：

Link-Context Learning for Multimodal LLMs论文下载

论文作者：

Qidong Huang1,2,*, Xiaoyi Dong2,3, Pan Zhang2, Bin Wang2, Conghui He2, Jiaqi Wang2, Dahua Lin2, Weiming Zhang1, Nenghai Yu1

内容简介：

这篇论文介绍了一种名为OPERA的新方法，旨在减轻多模态大型语言模型（MLLMs）中的幻觉问题。幻觉问题是指模型在用户给出的图像和提示中生成错误陈述，例如产生不相关或无意义的回应，错误识别图像中不存在的对象的颜色、数量和位置。OPERA通过在beam-search解码过程中引入过度信任惩罚项和回顾分配策略，有效地减少了幻觉问题，而无需额外的数据、知识或训练。

关键点：

1.问题背景：

多模态大型语言模型（MLLMs）在实际应用中面临幻觉问题，这