kmeans算法原理以及实践操作

news2024/2/27 16:04:39

原文:http://www.cnblogs.com/dudumiaomiao/p/5839905.html

kmeans算法原理以及实践操作(多种k值确定以及如何选取初始点方法)

kmeans一般在数据分析前期使用,选取适当的k,将数据聚类后,然后研究不同聚类下数据的特点。

 

算法原理:

(1) 随机选取k个中心点;

(2) 在第j次迭代中,对于每个样本点,选取最近的中心点,归为该类;

(3) 更新中心点为每类的均值;

(4) j<-j+1 ,重复(2)(3)迭代更新,直至误差小到某个值或者到达一定的迭代步数,误差不变.

空间复杂度o(N)

时间复杂度o(I*K*N)

其中N为样本点个数,K为中心点个数,I为迭代次数

 

为什么迭代后误差逐渐减小:

SSE= 

对于 而言,求导后,当 时,SSE最小,对应第(3)步;

对于 而言,求导后,当 时,SSE最小,对应第(2)步。

因此kmeans迭代能使误差逐渐减少直到不变

 

轮廓系数:

轮廓系数(Silhouette Coefficient)结合了聚类的凝聚度(Cohesion)和分离度(Separation),用于评估聚类的效果。该值处于-1~1之间,值越大,表示聚类效果越好。具体计算方法如下:

  1. 对于每个样本点i,计算点i与其同一个簇内的所有其他元素距离的平均值,记作a(i),用于量化簇内的凝聚度。
  2. 选取i外的一个簇b,计算i与b中所有点的平均距离,遍历所有其他簇,找到最近的这个平均距离,记作b(i),即为i的邻居类,用于量化簇之间分离度。
  3. 对于样本点i,轮廓系数s(i) = (b(i) – a(i))/max{a(i),b(i)}
  4. 计算所有i的轮廓系数,求出平均值即为当前聚类的整体轮廓系数,度量数据聚类的紧密程度

从上面的公式,不难发现若s(i)小于0,说明i与其簇内元素的平均距离小于最近的其他簇,表示聚类效果不好。如果a(i)趋于0,或者b(i)足够大,即a(i)<<b(i),那么s(i)趋近与1,说明聚类效果比较好。

 

K值确定

法1:(轮廓系数)在实际应用中,由于Kmean一般作为数据预处理,或者用于辅助分聚类贴标签。所以k一般不会设置很大。可以通过枚举,令k从2到一个固定值如10,在每个k值上重复运行数次kmeans(避免局部最优解),并计算当前k的平均轮廓系数,最后选取轮廓系数最大的值对应的k作为最终的集群数目。

法2:(Calinski-Harabasz准则)

   

其中SSB是类间方差, ,m为所有点的中心点,mi为某类的中心点;

SSW是类内方差,

(N-k)/(k-1)是复杂度;

比率越大,数据分离度越大.

 

前提:

Duda-Hart test 看数据集是否适合分为超过1类

 

初始点选择方法:

思想,初始的聚类中心之间相互距离尽可能远.

法1(kmeans++):

1、从输入的数据点集合中随机选择一个点作为第一个聚类中心

2、对于数据集中的每一个点x,计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)

3、选择一个新的数据点作为新的聚类中心,选择的原则是:D(x)较大的点,被选取作为聚类中心的概率较大

4、重复2和3直到k个聚类中心被选出来

5、利用这k个初始的聚类中心来运行标准的k-means算法

 从上面的算法描述上可以看到,算法的关键是第3步,如何将D(x)反映到点被选择的概率上,一种算法如下:

1、先从我们的数据库随机挑个随机点当“种子点”

2、对于每个点,我们都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里,然后把这些距离加起来得到Sum(D(x))。

3、然后,再取一个随机值,用权重的方式来取计算下一个“种子点”。这个算法的实现是,先取一个能落在Sum(D(x))中的随机值Random,然后用Random -= D(x),直到其<=0,此时的点就是下一个“种子点”。

4、重复2和3直到k个聚类中心被选出来

5、利用这k个初始的聚类中心来运行标准的k-means算法

 

法2:选用层次聚类或Canopy算法进行初始聚类,然后从k个类别中分别随机选取k个点

,来作为kmeans的初始聚类中心点

 

优点:

1、 算法快速、简单;

2、 容易解释

3、 聚类效果中上

4、 适用于高维

 

缺陷:

1、 对离群点敏感,对噪声点和孤立点很敏感(通过k-centers算法可以解决)

2、 K-means算法中聚类个数k的初始化

3、初始聚类中心的选择,不同的初始点选择可能导致完全不同的聚类结果。

实践操作:

R语言

1、####################判断是否应该分为超过1类##########################

dudahart2(x,clustering,alpha=0.001)

2、###################判断使用轮廓系数或Calinski-Harabasz准则选用k值,以及是否使用大规模样本点处理方式##########################################

pamk(data,krange=2:10,criterion="asw", usepam=TRUE,

scaling=FALSE, alpha=0.001, diss=inherits(data, "dist"),    critout=FALSE, ns=10, seed=NULL, ...)

3、############利用pamk求出来的k,用kmeans聚类####################

pamk.result <- pamk(data)

pamk.result$nc

kc <- kmeans(data, pamk.result$nc)

4、############画出k与轮廓系数关系,求出拐点值########################

# 0-1 正规化数据

min.max.norm <- function(x){

    (x-min(x))/(max(x)-min(x))

}

raw.data <- iris[,1:4]

norm.data <- data.frame(sl = min.max.norm(raw.data[,1]),

                                        sw = min.max.norm(raw.data[,2]),

                                        pl = min.max.norm(raw.data[,3]),

                                        pw = min.max.norm(raw.data[,4]))

## k取2到8,评估K

K <- 2:8

round <- 30 # 每次迭代30次,避免局部最优

rst <- sapply(K, function(i){

    print(paste("K=",i))

    mean(sapply(1:round,function(r){

        print(paste("Round",r))

        result <- kmeans(norm.data, i)

        stats <- cluster.stats(dist(norm.data), result$cluster)

        stats$avg.silwidth

    }))

})

plot(K,rst,type='l',main='轮廓系数与K的关系', ylab='轮廓系数')

5、层次聚类得出k-means初始点

iris.hc <- hclust( dist(iris[,1:4]))

# plot( iris.hc, hang = -1)

plclust( iris.hc, labels = FALSE, hang = -1)

re <- rect.hclust(iris.hc, k = 3)

iris.id <- cutree(iris.hc, 3)######得出类别##########

 

6、################采用kmeans++选用k个初始点##################################

n<-length(x)

seed<-round(runif(1,1,n))

for ( i in 1:k){

       if(i==1){ seed[i]<- round(runif(1,1,N)) }

       dd<-0

       tmp<-0

       for(s in 1:n)

       {

              m<-length(seed)

                     for (j in 1:m) {

                            if(j==1){ tmp<-dist(x[s],seed[j]) }

                            else

                                   {

                                          tmptwo<-tmp

                                          tmp<-dist(x[s],seed[j])

                                          if(tmp>tmptwo)tmp<-tmptwo

                                   }

                            }

              dd[s]<-tmp

       }

       sumd<-sum(dd)

       random<--round(runif(1,0, sumd))

       for(ii in 1:n)

       {

              if(random<=0){break};

              else{

              random<-random-dd[ii]

         }

}

seed[i+1]<-ii

}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.cn/news/show-326072.html

如若内容造成侵权/违法违规/事实不符,请联系七分地网进行投诉反馈,一经查实,立即删除!

相关文章

define 双引号 其他宏_当年宏语言不受欢迎?背后的原因你知道吗?

人类用计算机处理文本主要是依赖宏语言以及一些专用的文本编辑器。事实上&#xff0c;早期的文本编辑器只提供基本的文本编辑功能&#xff0c;然后借助宏语言进行功能扩展。结果人类很快就发现&#xff0c;基于宏扩展的编辑器&#xff0c;功能越复杂&#xff0c;它的行为就越诡…

K-means聚类算法的三种改进(K-means++,ISODATA,Kernel K-means)介绍与对比

原文&#xff1a;http://www.cnblogs.com/yixuan-xu/p/6272208.html K-means聚类算法的三种改进(K-means,ISODATA,Kernel K-means)介绍与对比 一、概述 在本篇文章中将对四种聚类算法(K-means,K-means,ISODATA和Kernel K-means)进行详细介绍&#xff0c;并利用数据集来真实地反…

数据结构中常见的树(BST二叉搜索树、AVL平衡二叉树、RBT红黑树、B-树、B+树、B*树)

原文&#xff1a;http://blog.csdn.net/sup_heaven/article/details/39313731 数据结构中常见的树&#xff08;BST二叉搜索树、AVL平衡二叉树、RBT红黑树、B-树、B树、B*树&#xff09; 转载 2014年09月16日 12:07:0827624 BST树 即二叉搜索树&#xff1a; 1.所有非叶子结点至…

html载入字体,css怎么导入字体?

在做前端页面的时候&#xff0c;有些内容文字需要通过css来指定第三方的字体进行显示&#xff0c;而不是默认支持的一些字体&#xff0c;这就需要自己制作或者获得字体文件&#xff0c;然后放入对应的字体目录&#xff0c;并通过font-family来指定字体。在 CSS3 之前&#xff0…

奇异值的物理意义

知乎上的解释特别好&#xff0c;非常佩服&#xff0c;在此转载一下&#xff0c;做个笔记 原文&#xff1a;https://www.zhihu.com/question/22237507/answer/28007137 奇异值作用&#xff1a;图片压缩&#xff0c;去燥&#xff0c;模糊等等矩阵的奇异值是一个数学意义上的概念…

mabatisplus怎么给实体类自定义属性_如果你的角色属性可以自定义,你会怎么点?...

如今越来越多的人抱怨小时候学的一些特长&#xff0c;长大之后根本没什么用处&#xff0c;比如乐器、绘画等等。反而是一些实用的比如烹饪和动手能力更受到大家的欢迎。阿庆想说的是&#xff0c;你肯定是没有坚持&#xff0c;到最后自然只能像方仲永一样“泯然众人矣”了。在游…

selector多路复用_超详细的I/O多路复用概念、常用I/O模型、系统调用等介绍

概述当我们要编写一个echo服务器程序的时候&#xff0c;需要对用户从标准输入键入的交互命令做出响应。在这种情况下&#xff0c;服务器必须响应两个相互独立的I/O事件&#xff1a;1)网络客户端发起网络连接请求&#xff0c;2)用户在键盘上键入命令行。我们先等待哪个事件呢&am…

余弦计算相似度度量

目录 pytorch 余弦相似度&#xff0c; 余弦计算相似度度量 pytorch 余弦相似度&#xff0c; 余弦相似度1到-1之间&#xff0c;1代表正相关&#xff0c;0代表不相关&#xff0c;-1代表负相关 def l2_norm(input, axis1):norm torch.norm(input, 2, axis, True)output torc…

程序员表白简短html代码,【杂谈】2018浪漫七夕:7款程序员必备表白源码(超炫酷)...

2018七夕将要来临&#xff0c;ki4网给大家准备了七款程序员表白专用源码&#xff0c;让你可以一举俘获美人心&#xff0c;下面就来看一看这七款表白代码大全&#xff0c;包含html、html5、CSS、JQ编写的一些非常简单实用的表白代码&#xff0c;非常炫酷、浪漫&#xff01;1、CS…

哪种css实现方式优势更突出_【第十三课】更合理的CSS结构

前言从零开始学前端系列课程&#xff0c;与传统的视频大课堂教学不同&#xff0c;没有填鸭&#xff1b;也普通做练习题的方式不同&#xff0c;没有假想的模拟题。 本课程拆出80个左右必须掌握的技能点&#xff0c;并对其分组&#xff0c;从易到难地列出学习曲线。同时从真实项目…

TF-IDF与余弦相似性的应用

原文&#xff1a;http://www.ruanyifeng.com/blog/2013/03/tf-idf.html TF-IDF与余弦相似性的应用&#xff08;一&#xff09;&#xff1a;自动提取关键词 这个标题看上去好像很复杂&#xff0c;其实我要谈的是一个很简单的问题。 有一篇很长的文章&#xff0c;我要用计算机提取…

webloigc12服务启动不了_一键启动知多少!

一键启动(自动挡车型)相比对手动挡的钥匙启动高大上不会出现膝盖被钥匙磕到的情况也不会出现钥匙孔边上有划痕的现象但是一键启动开关启动的顺序是什么&#xff1f;是长按至启动还是通电后再启动&#xff1f;一键启动常见问题答疑■ 问&#xff1a;一键启动车辆是如何启动的&a…

机器学习算法之决策树

原文&#xff1a;http://www.jianshu.com/p/6eecdeee5012 决策树是一种简单高效并且具有强解释性的模型&#xff0c;广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树&#xff0c;如&#xff1a; 决策树在使用模型进行预测时&#xff0c;根据输入参数依次在各个判断…

组件三层_Angular 练级之旅(8)-Zorro Select组件的实现和进阶

很久没写相关的文章&#xff0c;正好前两天把抄来的Select组件重写了一下&#xff0c;简化了一些逻辑。先看下zorro 中select组件的一个目录结构zorro将select组件分成了 三大块Input / 选择框下拉列表连接以上2层的控制器层先看 我们使用的 nz-select 内部的模板到底是什么样的…

目标检测 RCNN算法详解

原文&#xff1a;http://blog.csdn.net/shenxiaolu1984/article/details/51066975 【目标检测】RCNN算法详解 Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedings of the IEEE conference on comput…

燕赵志愿云如何认证_如何获得云安全专家CCSP认证

关注↑↑↑我们获得更多精彩内容&#xff01;千呼万唤始出来&#xff0c;云安全专家CCSP认证正式上线&#xff0c;全文皆重点&#xff0c;请仔细查看。CCSP云安全专家认证是什么&#xff1f;两家国际顶尖的安全组织,云安全联盟Cloud Security Alliance与 (ISC)&#xff0c;在20…

替代方法_ASD干预:替代行为的正确使用方法和注意事项

在我们的日常干预中&#xff0c;孤独症的儿童的行为问题一直是我们干预的一个重点&#xff0c;和普通的儿童不一样&#xff0c;自闭症孩子由于其认知和社交方面的障碍&#xff0c;都会采取很多的"不恰当行为"来表达自己的不满和需求&#xff0c;比如尖叫&#xff0c;…

长沙医学院计算机系怎么样,长沙医学院有哪些专业及什么专业好

本文讲述了长沙医学院最新的专业介绍&#xff0c;主要包含长沙医学院有哪些专业及每个专业的收费标准、长沙医学院都有什么专业比较好等&#xff0c;更多信息请访问大学高考。本文目录&#xff1a;长沙医学院什么专业好长沙医学院比较好的专业有&#xff1a;临床医学、中医学、…

goahead如何使用cgi服务_北斗导航系统现已提供全球服务!你知道如何使用这个服务吗?...

在11月份的时候&#xff0c;我国传来了一个好消息&#xff0c;北斗导航全球组网成功&#xff01;这意味着我国23年的努力没有白费&#xff0c;取得了圆满的成功。此项研究成果也迅速让中国的国际地位提高&#xff0c;很多国家都想和我们谈生意&#xff0c;一起参加北斗导航系统…

fullcalendar 显示的时间间隔只有四十五分钟_Linux命令行监控程序,还能实时高亮显示差异,我就选它了...

引言watch用于定期运行任意命令&#xff0c;并在终端窗口上显示该命令的输出。当你必须重复执行命令并观察命令输出随时间变化时&#xff0c;它非常有用。例如&#xff0c;可以使用watch命令来监视系统正常运行时间或磁盘使用情况。watch程序是procps(或procps-ng)软件包的一部…