机器学习 - 层次聚类

层次聚类

层次聚类是一种用于聚类数据点的无监督学习方法。该算法通过测量数据之间的不相似性来构建聚类。无监督学习意味着模型不需要训练，我们也不需要“目标”变量。这种方法可用于任何数据，以可视化和解释各个数据点之间的关系。

在这里，我们将使用层次聚类对数据点进行分组，并使用树状图和散点图来可视化聚类。

它是如何工作的？

我们将使用聚合聚类，这是一种自下而上的层次聚类方法。我们开始将每个数据点视为其自己的聚类。然后，我们将它们之间距离最短的聚类连接在一起，以创建更大的聚类。重复此步骤，直到形成一个包含所有数据点的大型聚类。

层次聚类要求我们同时决定距离和连接方法。我们将使用欧几里得距离和Ward连接方法，该方法试图最小化聚类之间的方差。

实例

首先可视化一些数据点：

import numpy as np
import matplotlib.pyplot as plt

x = [4, 5, 10, 4, 3, 11, 14 , 6, 10, 12]
y = [21, 19, 24, 17, 16, 25, 24, 22, 21, 21]

plt.scatter(x, y)
plt.show()

亲自试一试

结果：

混淆矩阵

现在我们使用欧几里得距离计算 Ward 连接，并使用树状图进行可视化：

实例

import numpy as np
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage

x = [4, 5, 10, 4, 3, 11, 14 , 6, 10, 12]
y = [21, 19, 24, 17, 16, 25, 24, 22, 21, 21]

data = list(zip(x, y))

linkage_data = linkage(data, method='ward', metric='euclidean')
dendrogram(linkage_data)

plt.show()

亲自试一试

结果：

混淆矩阵

在这里，我们使用 Python 的 scikit-learn 库做同样的事情。然后，在二维图上可视化：

实例

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import AgglomerativeClustering

x = [4, 5, 10, 4, 3, 11, 14 , 6, 10, 12]
y = [21, 19, 24, 17, 16, 25, 24, 22, 21, 21]

data = list(zip(x, y))

hierarchical_cluster = AgglomerativeClustering(n_clusters=2, affinity='euclidean', linkage='ward')
labels = hierarchical_cluster.fit_predict(data)

plt.scatter(x, y, c=labels)
plt.show()

亲自试一试

结果：

混淆矩阵

例子解释

导入所需的模块。

import numpy as np
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage
from sklearn.cluster import AgglomerativeClustering

您可以在我们的 Matplotlib 教程 中学习 Matplotlib 模块。

您可以在我们的 SciPy 教程 中了解 SciPy 模块。

NumPy 是一个用于在 Python 中处理数组和矩阵的库，您可以在我们的 NumPy 教程 中了解 NumPy 模块。

scikit-learn 是一个流行的机器学习库。

创建类似于数据集中两个变量的数组。请注意，虽然我们这里只使用了两个变量，但这种方法将适用于任意数量的变量：

x = [4, 5, 10, 4, 3, 11, 14 , 6, 10, 12]
y = [21, 19, 24, 17, 16, 25, 24, 22, 21, 21]

将数据转换为一系列点：

data = list(zip(x, y))
print(data)

结果：

[(4, 21), (5, 19), (10, 24), (4, 17), (3, 16), (11, 25), (14, 24), (6, 22), (10, 21), (12, 21)]

计算所有不同点之间的连接。在这里，我们使用简单的欧几里得距离度量和Ward的连接，它旨在最小化聚类之间的方差。

linkage_data = linkage(data, method='ward', metric='euclidean')

最后，在树状图中绘制结果。此图将向我们展示从底部（单个点）到顶部（由所有数据点组成的单个聚类）的聚类层次结构。

plt.show() 让我们可以可视化树状图，而不是原始的连接数据。

dendrogram(linkage_data)
plt.show()

结果：

混淆矩阵

scikit-learn 库允许我们以不同的方式使用层次聚类。首先，我们使用相同的欧几里得距离和 Ward 连接初始化 AgglomerativeClustering 类，其中有 2 个聚类。

hierarchical_cluster = AgglomerativeClustering(n_clusters=2, affinity='euclidean', linkage='ward')

.fit_predict 方法可以在我们选择的聚类数上调用定义好的参数来计算聚类。

labels = hierarchical_cluster.fit_predict(data) print(labels)

结果：

[0 0 1 0 0 1 1 0 1 1]

最后，如果我们使用层次聚类方法为每个索引分配的颜色绘制相同的数据点，我们可以看到每个点被分配到的聚类：

plt.scatter(x, y, c=labels)
plt.show()

结果：

混淆矩阵