视觉理解论文系列(四)ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Languag-CSDN博客

本文链接：https://blog.csdn.net/csdn_tclz/article/details/109448343

论文介绍了ViLBERT，一个用于学习任务无关的图像和语言联合表征的模型。它采用双流结构，分别处理图像和文本，并通过共注意力层交互。ViLBERT在4个下游任务中优于特定任务的最先进的模型，展示出其在视觉和语言基础知识预训练上的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

本篇论文的作者来自于佐治亚理工学院、俄勒冈州立大学、Facebook AI 研究院。本文提出ViLBERT(Vision-and-Language BERT)，该模型用来学习任务无关的图像和自然语言联合表征。ViLBERT在BERT的基础上拓展为多模态的双流模型，在各自的流中处理图像和文本输入，这两个流通过Co-attention transformer层进行交互。ViLBERT应用到下游任务时仅需对基础架构进行少量的调整，实验结果表明本文的ViLBERT在4个下游任务中显著优于面向特定任务的最先进模型。ViLBERT代表了一种转折：从将学习视觉和语言之间的基础知识仅作为具体任务的一部分，转向把视觉基础知识(visual grounding)作为一种可预训练和可迁移的能力。

动机

视觉理解任务使用的主要策略是先基于其他大规模任务分别预训练视觉和语言模型，然后将其作为具体任务的一部分基础知识。然而，①这种方案学习到的基础知识并不牢靠，当visiolinguistic data有限或者有偏时(biased)，模型的泛化能力很差。
此外，②在单模态数据上学习的近乎完美的表征，往往忽略了与其他模态之间的联系。比如，即使狗品种分类的视觉表征是完美的，但在下游任务中模型若无法将该视觉表征与形如"小猎犬"或"牧羊人"这样的近似短语进行关联，这种完美的视觉表征也是近乎无用的。