多模态融合(五)Dynamic Fusion with Intra- and Inter-modality Attention Flow for Visual Question Answering

背景

本篇论文的工作来自香港中文大学。研究内容是VQA

摘要

学习有效地融合多模态特征是视觉问题回答的核心。本文提出了一种动态融合模态内、模态间信息流，即在视觉模态和语言模态之间传递动态信息的新方法。作者提到，在此之前，处理VQA问题所使用的方法基本分为两大派，模态内的关系学习或者模态间的关系学习。然而，在解决VQA问题的统一框架中，模态间和模态内的关系从来没有被联合研究过。本文认为，对于VQA问题，每个模态内的模态关系与模态间的关系是互补的，而现有的VQA方法大多忽略了这一点。

方法

Intermodality Attention Flow 模态间的注意力流

受Transformer模型的启发，利用 W Q , W V