聚类结果取决于怎样定义相似

从距离、密度和连通结构理解聚类,说明同一数据为何可能得到多种合理分组。

聚类结果取决于怎样定义相似

聚类试图在没有类别标签的情况下,把相似对象放到一起。问题在于,相似不是数据天然附带的属性,而是由特征、尺度、距离和算法共同规定。同一批对象按地理位置、消费行为或文本语义观察,可能形成完全不同却各有用途的分组。

距离把表示变成关系

许多聚类方法从样本间距离开始。欧氏距离适合连续、尺度可比较的坐标,余弦相似度更关注向量方向,类别或集合数据还需要其他度量。选择距离等于选择哪些差异重要、怎样累计差异。

特征量纲会直接影响结果。收入以万元还是元表示,虽然业务含义没有改变,却会改变未经标准化的欧氏距离。经纬度也不能在所有范围内直接当作平面坐标计算。预处理不是算法外的清洁步骤,而是聚类定义的一部分。

基于中心的方法偏好紧凑分组

K-means 用若干中心代表簇,并反复分配样本和更新中心。它计算高效,但隐含簇在所用空间中近似紧凑、尺度接近的假设。弯曲带状、密度差异明显或含有大量离群点的数据,可能被切成不符合实际结构的部分。

簇数必须预先给出,初始化也可能影响局部结果。多次初始化可以降低偶然性,却不能回答簇数是否有业务意义。中心是特征空间中的平均位置,也不一定对应一个真实样本。

密度和连通产生另一种边界

密度聚类把高密区域连接成簇,并把稀疏位置视为分隔或噪声。它能发现非球形结构,也不一定要求事先给定簇数。但邻域半径和最小样本数决定何为“密”,当不同区域密度差异很大时,一组参数很难同时适用。

层次聚类则根据合并或拆分过程形成树状关系。选择单链接、全链接或平均链接,会改变簇间距离的定义。树状图展示多尺度结构,但最后在哪里切断仍然需要分析目的支持。

指标不能代替外部判断

轮廓系数等内部指标考察簇内紧凑和簇间分离,适合比较同一表示与度量下的结果。它们往往偏好某些几何形状,无法证明分组对应真实类别,也无法判断分组是否对后续决策有用。

若有少量已知属性,可以检查簇与这些属性的关系,但不能事后挑选最容易解释的变量给簇命名。更可靠的做法是预先说明用途,用独立样本、领域审查和下游任务检验分组是否稳定且有价值。

稳定性揭示结果有多可靠

更换样本、随机种子、特征范围或参数后,簇成员可能变化。对数据进行重采样并比较分组一致性,可以发现只由少量样本支撑的结构。边界样本应保留不确定性,而不是强行赋予确定类别。

聚类适合探索结构、压缩候选和发现异常模式,不会自动产生客观分类体系。使用结果时要保存数据版本、特征处理、距离、算法与参数,并说明簇名称是后续解释,不是算法直接发现的事实。

资料依据