10、高维数据聚类评估解析

高维数据聚类评估解析

1. 引言

在实际的机器学习应用中，无监督学习经常出现，而聚类被认为是最重要的无监督学习任务之一。将数据划分为不同的簇有助于揭示数据中隐藏的结构，是许多数据处理流程中的有用步骤。

聚类是一个难题，对于非平凡的数据集，通常不清楚如何达到最优的聚类配置。这个问题不仅涉及聚类算法本身的选择，还涉及在非确定性聚类方法产生的不同聚类配置中进行选择。为了能够比较不同的聚类配置并确定它们之间的优劣，人们引入了各种聚类质量指标。

聚类质量指标可分为内部指标、外部指标和相对指标。内部指标通常衡量簇之间的紧凑性和分离度；外部指标基于数据的最优划分的真实信息；相对指标主要用于在单个聚类方法以不同参数重复运行时选择最佳和最稳定的输出。

聚类评估的主要问题在于没有单一的首选聚类质量标准，对于给定的应用，通常不清楚应该使用哪个标准。不同的质量指标在不同的上下文中更合适。高内在数据维度对许多标准机器学习方法，包括无监督学习方法，都是一个挑战，但在聚类评估的背景下，它却相对较少受到关注。

2. 基本符号

即使聚类通常应用于无标签数据，但可能存在真实信息，因此相关定义包含了这种可能性。这些标签也可能代表数据中与潜在簇不对应的类别。

设 (T = {(x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N)}) 表示在 (X \times Y) 上给出的训练数据，其中 (X) 是特征空间，(Y) 是有限标签空间。

为了评估突出邻居点对聚类质量估计的影响，引入了 (k) - 最近邻集的基本符号：
- (x_i) 的 (k) - 邻域表示为 (D_k(x_i)