聚类结果取决于怎样定义相似
从距离、密度和连通结构理解聚类,说明同一数据为何可能得到多种合理分组。
聚类结果取决于怎样定义相似
聚类试图在没有类别标签的情况下,把相似对象放到一起。问题在于,相似不是数据天然附带的属性,而是由特征、尺度、距离和算法共同规定。同一批对象按地理位置、消费行为或文本语义观察,可能形成完全不同却各有用途的分组。
距离把表示变成关系
许多聚类方法从样本间距离开始。欧氏距离适合连续、尺度可比较的坐标,余弦相似度更关注向量方向,类别或集合数据还需要其他度量。选择距离等于选择哪些差异重要、怎样累计差异。
特征量纲会直接影响结果。收入以万元还是元表示,虽然业务含义没有改变,却会改变未经标准化的欧氏距离。经纬度也不能在所有范围内直接当作平面坐标计算。预处理不是算法外的清洁步骤,而是聚类定义的一部分。
基于中心的方法偏好紧凑分组
K-means 用若干中心代表簇,并反复分配样本和更新中心。它计算高效,但隐含簇在所用空间中近似紧凑、尺度接近的假设。弯曲带状、密度差异明显或含有大量离群点的数据,可能被切成不符合实际结构的部分。
簇数必须预先给出,初始化也可能影响局部结果。多次初始化可以降低偶然性,却不能回答簇数是否有业务意义。中心是特征空间中的平均位置,也不一定对应一个真实样本。
密度和连通产生另一种边界
密度聚类把高密区域连接成簇,并把稀疏位置视为分隔或噪声。它能发现非球形结构,也不一定要求事先给定簇数。但邻域半径和最小样本数决定何为“密”,当不同区域密度差异很大时,一组参数很难同时适用。
层次聚类则根据合并或拆分过程形成树状关系。选择单链接、全链接或平均链接,会改变簇间距离的定义。树状图展示多尺度结构,但最后在哪里切断仍然需要分析目的支持。
指标不能代替外部判断
轮廓系数等内部指标考察簇内紧凑和簇间分离,适合比较同一表示与度量下的结果。它们往往偏好某些几何形状,无法证明分组对应真实类别,也无法判断分组是否对后续决策有用。
若有少量已知属性,可以检查簇与这些属性的关系,但不能事后挑选最容易解释的变量给簇命名。更可靠的做法是预先说明用途,用独立样本、领域审查和下游任务检验分组是否稳定且有价值。
稳定性揭示结果有多可靠
更换样本、随机种子、特征范围或参数后,簇成员可能变化。对数据进行重采样并比较分组一致性,可以发现只由少量样本支撑的结构。边界样本应保留不确定性,而不是强行赋予确定类别。
聚类适合探索结构、压缩候选和发现异常模式,不会自动产生客观分类体系。使用结果时要保存数据版本、特征处理、距离、算法与参数,并说明簇名称是后续解释,不是算法直接发现的事实。
资料依据
- scikit-learn Project:User Guide,https://scikit-learn.org/stable/user_guide.html
- Ian Goodfellow、Yoshua Bengio、Aaron Courville:《Deep Learning》在线版,https://www.deeplearningbook.org/