knn屬于監(jiān)督學習,類別是已知的,通過對已知分類的數據進行訓練和學習,找到這些不同類的特征,再對未分類的數據進行分類。kmeans屬于非監(jiān)督學習,事先不知道數據會分為幾類,通過聚類分析將數據聚合成幾個群體。

knn和kmeans的區(qū)別

1.KNN算法是分類算法，分類算法肯定是需要有學習語料，然后通過學習語料的學習之后的模板來匹配我們的測試語料集，將測試語料集合進行按照預先學習的語料模板來分類

2Kmeans算法是聚類算法，聚類算法與分類算法最大的區(qū)別是聚類算法沒有學習語料集合。

K-means算法是聚類分析中使用最廣泛的算法之一。它把n個對象根據他們的屬性分為k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高；而不同聚類中的對象相似度較小。

Kmeans算法的缺陷

聚類中心的個數K 需要事先給定，但在實際中這個 K 值的選定是非常難以估計的，很多時候，事先并不知道給定的數據集應該分成多少個類別才最合適

Kmeans需要人為地確定初始聚類中心，不同的初始聚類中心可能導致完全不同的聚類結果。(可以使用Kmeans++算法來解決)

針對上述第2個缺陷，可以使用Kmeans++算法來解決

K-Means ++ 算法

k-means++算法選擇初始seeds的基本思想就是：初始的聚類中心之間的相互距離要盡可能的遠。

從輸入的數據點集合中隨機選擇一個點作為第一個聚類中心

對于數據集中的每一個點x，計算它與最近聚類中心(指已選擇的聚類中心)的距離D(x)

選擇一個新的數據點作為新的聚類中心，選擇的原則是：D(x)較大的點，被選取作為聚類中心的概率較大

重復2和3直到k個聚類中心被選出來

利用這k個初始的聚類中心來運行標準的k-means算法

從上面的算法描述上可以看到，算法的關鍵是第3步，如何將D(x)反映到點被選擇的概率上，一種算法如下：

先從我們的數據庫隨機挑個隨機點當“種子點”

對于每個點，我們都計算其和最近的一個“種子點”的距離D(x)并保存在一個數組里，然后把這些距離加起來得到Sum(D(x))。

然后，再取一個隨機值，用權重的方式來取計算下一個“種子點”。這個算法的實現是，先取一個能落在Sum(D(x))中的隨機值Random，然后用Random -= D(x)，直到其<=0，此時的點就是下一個“種子點”。

重復2和3直到k個聚類中心被選出來

利用這k個初始的聚類中心來運行標準的k-means算法