从‘瑞士卷’到‘鸢尾花’用Python可视化彻底理解层次聚类当面对高维数据时我们常常需要一种能够直观展示数据结构的方法。层次聚类Hierarchical Clustering不仅提供了数据的聚类结果更重要的是通过树状图Dendrogram展现了数据点之间的层次关系。这种可视化方法让我们能够看见数据是如何一步步被组织起来的而不仅仅是得到一个冷冰冰的聚类标签。1. 层次聚类基础从原理到直觉层次聚类分为两种主要类型凝聚式Agglomerative和分裂式Divisive。凝聚式方法从每个数据点作为单独的簇开始逐步合并最相似的簇直到所有数据点都合并为一个簇或达到预设的簇数量。分裂式方法则相反从所有数据点作为一个簇开始逐步分裂为更小的簇。在Python中我们主要使用scipy和sklearn库来实现层次聚类。scipy.cluster.hierarchy模块提供了丰富的函数来生成和可视化树状图而sklearn.cluster.AgglomerativeClustering则提供了更高级的接口。四种常见的连接linkage准则单连接Single两个簇中最近的两个点之间的距离全连接Complete两个簇中最远的两个点之间的距离平均连接Average两个簇中所有点对之间距离的平均值Ward方法合并后簇内方差增加最小的两个簇from sklearn.cluster import AgglomerativeClustering # 使用不同连接方法的示例 ward AgglomerativeClustering(n_clusters3, linkageward) complete AgglomerativeClustering(n_clusters3, linkagecomplete) average AgglomerativeClustering(n_clusters3, linkageaverage) single AgglomerativeClustering(n_clusters3, linkagesingle)提示Ward方法通常能产生更平衡的簇大小而单连接可能导致链式效应即长条形的簇。2. 可视化层次聚类树状图的解读艺术树状图是理解层次聚类的关键工具。它展示了数据点如何通过一系列合并步骤逐渐形成更大的簇。在Python中我们可以使用scipy.cluster.hierarchy.dendrogram函数来生成树状图。树状图的关键元素解读叶子节点代表原始数据点分支高度表示两个簇合并时的距离颜色阈值线帮助确定合适的簇数量from scipy.cluster.hierarchy import dendrogram, linkage from matplotlib import pyplot as plt import numpy as np # 生成示例数据 X np.array([[1, 2], [1, 4], [1, 0], [4, 2], [4, 4], [4, 0]]) # 计算连接矩阵 Z linkage(X, ward) # 绘制树状图 plt.figure(figsize(10, 5)) plt.title(层次聚类树状图) dendrogram(Z) plt.show()树状图解读步骤观察y轴距离上的合并高度寻找明显的长分支——这些表示自然的簇分离在适当高度画一条水平线与垂直线相交的数量即为簇的数量3. 实战演练瑞士卷数据集的层次聚类瑞士卷数据集是一个经典的非线性流形数据集非常适合展示层次聚类的优势。让我们看看如何在这个复杂结构上应用层次聚类。from sklearn.datasets import make_swiss_roll # 生成瑞士卷数据 X, _ make_swiss_roll(n_samples1500, noise0.05) X[:, 1] * 0.5 # 使数据更薄 # 层次聚类 cluster AgglomerativeClustering(n_clusters6, linkageward) labels cluster.fit_predict(X) # 3D可视化 fig plt.figure(figsize(12, 8)) ax fig.add_subplot(111, projection3d) ax.scatter(X[:, 0], X[:, 1], X[:, 2], clabels, cmapviridis, s50) ax.set_title(瑞士卷数据集层次聚类结果) plt.show()连接约束的应用在复杂形状的数据集上添加邻域约束可以显著改善聚类结果from sklearn.neighbors import kneighbors_graph # 创建10-近邻连接矩阵 connectivity kneighbors_graph(X, n_neighbors10, include_selfFalse) # 带约束的层次聚类 constrained_cluster AgglomerativeClustering( n_clusters6, linkageward, connectivityconnectivity) constrained_labels constrained_cluster.fit_predict(X)比较带约束和不带约束的聚类结果可以发现前者能更好地捕捉数据的局部结构避免将空间上不相邻但距离相近的点错误地聚在一起。4. 鸢尾花数据集比较不同连接方法鸢尾花数据集是机器学习的经典数据集包含三种鸢尾花的四个特征。让我们用它来比较不同连接方法的效果。from sklearn.datasets import load_iris iris load_iris() X iris.data # 定义不同连接方法 linkage_methods [ward, complete, average, single] titles [Ward方法, 全连接, 平均连接, 单连接] # 绘制不同方法的树状图 plt.figure(figsize(20, 5)) for i, (method, title) in enumerate(zip(linkage_methods, titles)): plt.subplot(1, 4, i1) Z linkage(X, method) dendrogram(Z, truncate_modelastp, p12, show_leaf_countsTrue) plt.title(title) plt.tight_layout() plt.show()不同连接方法的比较方法优点缺点适用场景Ward产生平衡的簇仅适用于欧氏距离簇大小相近时全连接对噪声鲁棒可能分裂紧凑的簇噪声较多的数据平均连接平衡单连接和全连接计算成本较高一般情况单连接能发现非球形簇易受噪声影响链式效应非球形簇结构从鸢尾花数据集的树状图中我们可以清楚地看到不同连接方法产生的层次结构差异。Ward方法通常能产生最清晰的分离而单连接方法则显示出典型的链式效应。5. 高级技巧与最佳实践在实际应用中层次聚类有几个关键参数和技巧需要注意1. 距离度量的选择# 使用不同距离度量 AgglomerativeClustering(affinitycosine, linkageaverage) # 适合文本数据 AgglomerativeClustering(affinitymanhattan, linkagecomplete) # 适合高维数据2. 确定最佳簇数可以通过观察树状图中的最长分支或使用以下方法from scipy.cluster.hierarchy import fcluster # 基于距离阈值确定簇 clusters fcluster(Z, t3, criteriondistance) # 基于最大簇数确定 clusters fcluster(Z, t5, criterionmaxclust)3. 大数据集的处理策略对于大型数据集可以考虑以下优化使用fastcluster库加速计算先使用PCA降维采用批处理或采样方法注意层次聚类的时间复杂度为O(n³)空间复杂度为O(n²)因此对于超过10000个样本的数据集可能不适用。6. 层次聚类与其他算法的结合层次聚类可以与其他机器学习算法结合使用发挥更大威力1. 作为特征工程步骤from sklearn.pipeline import Pipeline from sklearn.ensemble import RandomForestClassifier # 构建聚类分类的管道 pipeline Pipeline([ (cluster, AgglomerativeClustering(n_clusters10)), (classify, RandomForestClassifier()) ])2. 多阶段聚类策略# 先用K-means粗聚类再用层次聚类细化 from sklearn.cluster import KMeans kmeans KMeans(n_clusters50) coarse_labels kmeans.fit_predict(X) # 对K-means的簇中心进行层次聚类 Z linkage(kmeans.cluster_centers_, ward)在实际项目中我经常发现结合层次聚类和平面聚类如K-means能产生更好的结果。先用层次聚类确定合适的簇数量再用K-means进行优化或者反过来先用K-means减少数据量再用层次聚类分析结构。