多维数据的k-means聚类后的PCA

Question

我有以下包含 10 个变量的数据集：

我想用这个多维数据集识别聚类，所以我使用以下代码尝试了 k-means 聚类算法：

clustering_kmeans = KMeans(n_clusters=2, precompute_distances="auto", n_jobs=-1)
data['clusters'] = clustering_kmeans.fit_predict(data)

为了绘制结果，我使用 PCA 进行降维：

reduced_data = PCA(n_components=2).fit_transform(data)
results = pd.DataFrame(reduced_data,columns=['pca1','pca2'])
sns.scatterplot(x="pca1", y="pca2", hue=kmeans['clusters'], data=results)
plt.title('K-means Clustering with 2 dimensions')
plt.show()

最后我得到以下结果：

所以我有以下问题：

1. 然而，这个 PCA 图看起来真的很奇怪，将整个数据集分割在图的两个角上。这是正确的还是我编码错误？

2. 还有其他多维数据聚类算法吗？我查看了 this 但我找不到合适的算法来聚类多维数据......我什至如何实现例如在 python 中为我的数据集进行 Ward 层次聚类？

3. 为什么要使用PCA进行降维？我也可以使用 t SNE 吗？好点了吗

Answer 1

1. 问题是您将 PCA 拟合到数据帧上，但数据帧包含集群。 “簇”列可能包含数据集中的大部分变化，因此第一台 PC 中的信息将与

   data['cluster']

   列一致。尝试仅在距离列上拟合您的 PCA：

    data_reduced = PCA(n_componnts=2).fit_transform(data[['dist1', 'dist2',..., dist10']]
   

2. 您可以使用 sklearn 来拟合层次聚类：

    sklearn.cluster.AgglomerativeClustering()` 
   

   您可以使用不同的距离度量和链接，例如“病房”

3. tSNE 用于可视化多变量数据，该技术的目标不是聚类