深度学习核心技术精讲100篇（三十七）-利用Contrastive Learning对抗数据噪声：对比学习在微博场景的实践

文宇肃然

于 2021-05-21 10:04:53 发布

阅读量1.2k

点赞数

分类专栏：人工智能AI实战系列代码全解析文章标签：人工智能机器学习自然语言处理计算机视觉对比学习

本文链接：https://blog.csdn.net/wenyusuran/article/details/117109532

版权

本文探讨了对比学习在处理含有大量噪声数据时的应用，以微博场景为例，介绍了CD-TOM（纯文本对比学习模型）和W-CLIP（多模态对比学习模型）的实践。通过对比学习，模型能够在图文和文档话题数据中捕捉到语义关联，即使数据中存在大量噪声。实验表明，大规模的噪声数据配合对比学习可以训练出高质量的模型，用于文本类和多模态类应用，如话题预测、以文找文和以文找图等，取得良好效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

对比学习最近一年比较火，它的应用范围，已经从最初的图像领域，逐步拓展到了自然语言处理以及多模态等很多其它领域。本文介绍微博在自然语言处理以及多模态方面，应用对比学习的经验。

后文将要介绍的两个模型：CD-TOM和W-CLIP，CD-TOM是关于纯文本方面的对比学习模型；W-CLIP是关于<文本，图片>多模态数据方面的对比学习模型。两个模型的具体技术方案并不复杂，应该说主要受到了SimCLR和CLIP模型的启发（当然，其实CLIP模型明显也受到SimCLR模型的影响）。从后面介绍可以看出，文本类模型CD-TOM基本是图像领域里的SimCLR模型应用到文本领域做的改造，<文本，图片>类模型W-CLIP在结构上基本就是CLIP模型，只是做了一些小改动。在模型结构上，其实目前大多数对比学习系统都差不太多，很多模型差异来自于训练数据的正例、负例构造方法或损失函数定义上。我们这里提到的两个模型，和SimCLR或CLIP相比，模型结构差异不大，主要差异体现在采用的训练数据特性方面的差异。

我们知道，SimCLR是个纯自监督的任务，通过对无标注图片做不同的图像增强来构造训练数据的正例；而CLIP尽管叫做对比学习，它其实是个有监督的训练过程，它的正例来自于经过各种挖掘手段净化过的，比较干净的4亿<图片描述，图片&g

了解本专栏