Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit

本文是LLM系列文章，针对《Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings》的翻译。

摘要

在现有的多模态大型语言模型（MLLM）中过度使用视觉token通常会表现出明显的冗余，并带来高昂的计算成本。为了深入了解这个问题，我们首先对MLLM的注意力行为进行了广泛的实证研究，并总结了MLLM中的三个主要推理阶段：（i）token之间的早期融合首先快速完成。（ii）随后，模态内建模开始发挥作用。（iii）多模态推理恢复并持续到推理结束。特别是，我们发现，当文本token接收到足够的图像信息时，视觉token将停止对推理的贡献，从而产生明显的视觉冗余。基于这些广义的观察，我们提出了一种简单而有效的方法来提高MLLM的效率，称为动态视觉token退出（DyVTE）。DyVTE使用轻量级超网络来感知文本token状态，并决定在某一层之后删除所有视觉token，从而解决观察到的视觉冗余问题。为了验证VTE，我们将其应用于一组MLLM，包括LLaVA、VILA、Eagle和InternVL，并在一系列基准上进行了广泛的实验。实验结果不仅表明了我们的VTE在