VLDB-2020 论文简析:检测和预防众包数据中的混淆标签-Detecting and Preventing Confused Labels in Crowdsourced Data

最新推荐文章于 2025-03-25 23:19:00 发布

蜡笔小圈圈

最新推荐文章于 2025-03-25 23:19:00 发布

阅读量1.1k

点赞数 1

分类专栏：论文简析文章标签：人工智能大数据算法

本文链接：https://blog.csdn.net/Fama_Q/article/details/109612038

版权

该研究聚焦于众包数据中因混淆导致的错误标签问题，提出真值发现器的生成模型、MCMC-C推理算法和基于MV的贪婪算法。通过建模混淆，检测并纠正混淆标签，提高众包任务的准确性。实验表明，MCMC-C方法能有效检测和提升分类质量，且对多种数据集和聚类方法具有鲁棒性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如今，众包通常用于解决类似AI相关的问题，例如对象分类以及为机器学习（ML）算法生成带标签的训练数据。
因为观察的混淆，或者是因为两个对象是相似的，或者因为任务描述解释的差异，众包工作者可能将i类的对象与j类的对象混淆，导致众包工作者标记的数据可能且通常会带有偏差或噪声。
例如：如下图所示，摩纳哥国旗、波兰国旗和印度尼西亚国旗，红薯和山药，演员Rami Said Malek和皇后乐队主唱Freddie Mercury，通常是因为它们是相似的，导致在众包任务中工作人员出现观察混淆，从而辨别错误。

正如上述例子展示的那样，即使整体工作人员的准确性都非常高，但这些错误在不被注意的情况下，也很可能出现混淆，因为这不是一个全面的问题，只针对某些类。如果不被发现和未纠正，这导致一些类的标签总是错误的。

针对上述情况，对象分类任务中混淆错误的真值发现问题的解决具有以下困难挑战：

① 一个能检测混淆错误的真值发现模型
需要扩展现有的真值发现模型，使其能够对可能的混淆错误进行建模和推理，但是没有任何现有真相发现模型的解决方案能够做到这一点。
② 需要指定源和对象之间的所有概率依赖关系
③ 计算上的时间、空间复杂度考虑
为了检测和考虑混淆错误，需要测试所有可能的混淆，并查看其中哪些可能存在混淆。这是一个计算上昂贵的操作，它需要搜索指数数量的状态可能性(Nc个可能的混淆观察有2^Nc个状态)。
④ 研究针对的是在一组可能被混淆的类中的情况。
必须从数据中学习模型参数的数量和类型并且能够在工人、物品和标签的数量上进行缩放，才能有效地做到这一点。

将问题建模为一个分类任务，并引入了“聚类”（ 生成的聚类就是假设的互相混淆的对象组）的概念，通过显式建模混淆来扩展这个基本模型。然后混淆检测算法将专注于推断聚类中的对象之间是否存在混淆，以及哪些工人的投票可能“混淆”，有助于算法将混淆错误与其他错误分开，从而可以更有效地估计工人的准确性。
用聚类的概念扩展了基本的贝叶斯真值发现器，并定义了一个真值发现器的生成模型。
在提出的生成模型的基础上，提出了一种用于检测混淆观测的推理算法（MCMC-C）。一旦检测到混淆对象，我们就可以纠正它们（该算法有助于找到真实标签的概率）或预防混淆产生（通过修改众包任务）。
提出了一个简单的基于MV的贪婪算法来构建对象的聚类。