Exploring the Transferability of Visual Prompting for Multimodal Large Language Models

本文是LLM系列文章，针对《Exploring the Transferability of Visual Prompting for Multimodal
Large Language Models》的翻译。

摘要

尽管多模态大型语言模型（MLLM）已经显示出有前景的多功能性，但它们在下游任务上的性能仍然不如专用模型，这使得有必要进行自适应以提高其效用。然而，微调方法需要对每个模型进行独立训练，从而导致巨大的计算和内存开销。在这篇论文中，我们提出了一种新的设置，我们的目标是通过一组针对下游任务优化的共享参数来提高各种MLLM的性能。为了实现这一目标，我们提出了可转移视觉提示（TVP），这是一种简单有效的生成视觉提示的方法，可以在仅在一个模型上训练后转移到不同的模型并提高其在下游任务上的性能。我们介绍了两种策略来解决现有视觉提示方法的跨模型特征损坏问题，并增强学习提示的可转移性，包括1）特征一致性对齐：对提示的特征变化施加约束，以保持任务无关的知识；2） 任务语义丰富：通过语言指导，鼓励提示的图像包含更丰富的任务特定语义。我们通过6个现代MLLM在从物体识别和计数到多模态推理和幻觉矫正等各种任务上的广泛实验验证了TVP的有效性。

1 引言

</