【论文串烧】多媒体推荐中的模态平衡学习 | 音视频语音识别中丢失导致的模态偏差对丢失视频帧鲁棒性的影响

一、多媒体推荐中的模态平衡学习

1.1 研究背景

• 多媒体内容在现代网络时代的主导地位，以及推荐系统在处理多媒体内容时面临的挑战。随着互联网内容以多种形式（如图像、文本、视频等）呈现，如何有效地整合这些多模态信息成为推荐系统研究的关键问题。然而，多模态信息的整合常常遇到模态不平衡问题，即不同模态之间的信息量不平衡，导致在所有模态上优化相同目标时，弱模态的性能优化不足。

1.2 解决问题

• 多模态推荐模型中的模态不平衡问题，即在多模态推荐系统中，由于不同模态的信息量不平衡，导致某些模态（如视觉模态）的性能优化不足，从而影响整体推荐效果。

1.3 实施方案

• 提出了一种名为Counterfactual Knowledge Distillation (CKD) 的方法，通过模态特定的知识蒸馏来指导多模态模型从单模态教师模型中学习特定于模态的知识。此外，设计了一种新颖的通用和特定蒸馏损失，以指导多模态学生模型从教师模型中学习更广泛和深入的知识。通过使用反事实推断技术估计每个模态对训练目标的因果效应，可以确定弱模态，量化不平衡程度，并相应地重新加权蒸馏损失。CKD方法可以作为插件模块，用于晚期融合和早期融合的任何现有多媒体推荐模型。

1.4 文章摘要

论文的摘要指出，多模态内容的推荐系统需要有效地整合来自不同模态的信息。然而，不同模态之间的信息不平衡导致了弱模态的性能优化不足。为了解决这些问题，论文提出了CKD方法，该方法通过模态特定的知识蒸馏和反事实推断技术，解决了模态不平衡问题，并充分利用了所有模态。通过在六个不同的推荐系统模型上进行广泛的实验，证明了CKD方法可以显著提高推荐性能。

1.5 文章重点

• 提出了CKD框架，用于解决多模态推荐中的模态不平衡问题。
• 设计了模态特定的知识蒸馏方法和通用-特定蒸馏损失。
• 使用反事实推断技术来估计模态的因果效应，并据此调整蒸馏损失的权重。
• 在多个数据集和推荐系统模型上验证了CKD的有效性。

1.6 文章图示

图 1：不同模型变体在 AmazonClothing 数据集上的初步研究

• 这张图展示了在 AmazonClothing 数据集上，多模态模型与单模态模型（仅文本和仅图像模型）的性能比较。图中显示了召回率（Recall@20）随训练周期（Epoch）的变化。阴影区域表示每种模态在多模态模型中的优化不足程度。使用早停法（early stopping）结束训练，导致不同模型的曲线长度不同。从图中可以看出，多模态模型中的视觉和文本模态的性能都不如相应的单模态模型，这表明在多模态联合训练过程中，不同模态之间存在相互抑制现象，导致整体性能低于单模态模型的简单相加（1 + 1 < 2）。此外，性能较差的弱模态（例如示例中的视觉模态）遭受更严重的优化不足问题。

在推荐系统中，召回率（Recall）是衡量模型性能的一个重要指标，它表示的是推荐系统能够从所有相关项中检索到的项的比例。召回率越高，意味着推荐系统能够找到更多用户可能感兴趣的项目，从而提供更全面的推荐。

召回率的计算公式为：
$$\text{Recall}=$$