使用KMeans的正确姿势
使用Kmeans聚类的正确姿势
聚类算法作为一种无监督方法，其随机性是每一个使用者都会面临的问题。由于这种随机性的存在，导致问题不能复现，工程无法准确的优化调试。本文就是结合实际工程经验的基础上，探究KMeans的具体行为方式，以便于我们在工作中更好的理解和使用KMeans聚类方法。
1、KMeans聚类的随机性
KMeans是一种以距离作为核心来进行数据聚类的方法，它通过迭代式计算不同数据点与类簇质心之间的距离作为形成类簇的关键信息。标准的KMeans聚类算法的初始类簇质心选取都是随机形成，这种随机选择的初始类簇质心是形成随机性的根源。
下面我们通过一些具体工程demo来演示这种随机性现象。代码很简单，首先构造一个对角阵，然后转为矩阵送入KMeans聚类，由于对角线上的元素有13个，可以认为进行聚类的数据点有13个。其中每一行代表一个数据点。如图所示：
文章图片
代码示例 
文章图片
聚类数据 我们将上述代码执行20次，并且设置的类簇数目为5，每一次得到Label_Hat显示在以下表格中。其中每一行代表每一个聚类后，对所有数据点打上的类簇标签。为了简单起见，我们以对角线的元素作为上述13维数据点的代表，整理得到如下的随机聚类的表示。
文章图片
聚类结果 以第一个数据点0.98为例，可以看到在图中4个浅蓝色行的聚类任务中，该点都是和其他点形成一个类簇，在其他的行中该点都是单独作为一个类簇存在。由于我们聚类的类簇数设置为5，可以发现这种随机性在多次聚类任务中是可以消除的。
2、KMeans聚类随机性的消除
在上述任务中，我们输入数据是13维的，现在我们重新做一次实验，但是使用PCA将数据维度降低到5维，与聚类的类簇数保持一致，所使用的代码如下：
文章图片
代码示例 得到的聚类结果如下，从图中可以看出这里没有随机性现象存在，原因非常简单，我们输入聚类的数据通过降维之后是5维的，与聚类类簇数相同，聚类只要沿着每一个维度方向进行就可以得到最优解，随机性消失。
文章图片
无随机性聚类 更一般的结论是如果我们的聚类数据维度远远高于KMeans的类簇数时，这种随机性会非常大，导致算法的结果很不稳定。但是如果为了随机性的消失也去降低维度，这会带来新的问题么？为了深入探究降维前后的影响，下文会进一步分析降维的利弊。
3、数据降维后KMeans聚类的利弊
从前文可知，当待聚类的数据的维度远远大于类簇数目时，聚类会存在非常强的随机性，导致KMeans聚类算法失去工程上的实用价值。数据降维是有利于KMeans聚类的。
数据降维有利于KMeans聚类不光是因为降低随机性，还会带来另外一个好处：因为KMeans使用欧式距离作为衡量数据分布的唯一变量，降维之后可以使得KMeans算法执行更快，因为只使用更少的维度参与欧式距离计算。
KMeans背后的欧式距离不仅为KMeans的聚类任务提供了好处，也同时带来了负面影响。最典型的是欧式距离计算过程中，认为各个维度是无差别的，计算公式如下：
文章图片
【使用KMeans的正确姿势】正是上述的维度无差别性，导致KMeans认为[0, 1, 0]、[0, 0, 1]、[1, 0, 0]是无差别的，从距离的角度衡量三者具有可替代性。但是考虑到具体的工程上，向量背后都是有语义或者实际意义的。KMeans这种无差别的对待数据维度，必然使得最终的聚类结果偏离业务场景的意义。
推荐阅读
- 热闹中的孤独
- JAVA（抽象类与接口的区别&重载与重写&内存泄漏）
- 放屁有这三个特征的，请注意啦！这说明你的身体毒素太多
- 一个人的旅行，三亚
- 布丽吉特，人生绝对的赢家
- 慢慢的美丽
- 尽力
- 一个小故事，我的思考。
- 家乡的那条小河
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量