深入浅出K-Means算法

news2024/2/27 12:57:14

深入浅出K-Means算法

摘要:在数据挖掘中,K-Means算法是一种 cluster analysis 的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。

在数据挖掘中,K-Means算法是一种cluster analysis的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。

问题

K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序找出这几个点群来呢?于是就出现了我们的K-Means算法(Wikipedia链接)

K-Means要解决的问题

算法概要

这个算法其实很简单,如下图所示: 

K-Means 算法概要

从上图中,我们可以看到,A,B,C,D,E是五个在图中点。而灰色的点是我们的种子点,也就是我们用来找点群的点。有两个种子点,所以K=2。

然后,K-Means的算法如下:

  1. 随机在图中取K(这里K=2)个种子点。
  2. 然后对图中的所有点求到这K个种子点的距离,假如点Pi离种子点Si最近,那么Pi属于Si点群。(上图中,我们可以看到A,B属于上面的种子点,C,D,E属于下面中部的种子点)
  3. 接下来,我们要移动种子点到属于他的“点群”的中心。(见图上的第三步)
  4. 然后重复第2)和第3)步,直到,种子点没有移动(我们可以看到图中的第四步上面的种子点聚合了A,B,C,下面的种子点聚合了D,E)。

这个算法很简单,但是有些细节我要提一下,求距离的公式我不说了,大家有初中毕业水平的人都应该知道怎么算的。我重点想说一下“求点群中心的算法”。

求点群中心的算法

一般来说,求点群中心点的算法你可以很简的使用各个点的X/Y坐标的平均值。不过,我这里想告诉大家另三个求中心点的的公式:

1)Minkowski Distance公式——λ可以随意取值,可以是负数,也可以是正数,或是无穷大。

2)Euclidean Distance公式——也就是第一个公式λ=2的情况

3)CityBlock Distance公式——也就是第一个公式λ=1的情况

这三个公式的求中心点有一些不一样的地方,我们看下图(对于第一个λ在0-1之间)。

(1)Minkowski Distance     (2)Euclidean Distance    (3) CityBlock Distance

上面这几个图的大意是他们是怎么个逼近中心的,第一个图以星形的方式,第二个图以同心圆的方式,第三个图以菱形的方式。

K-Means的演示

如果你以”K Means Demo“为关键字到Google里查你可以查到很多演示。这里推荐一个演示:http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html

操作是,鼠标左键是初始化点,右键初始化“种子点”,然后勾选“Show History”可以看到一步一步的迭代。

注:这个演示的链接也有一个不错的K Means Tutorial。

K-Means++算法

K-Means主要有两个最重大的缺陷——都和初始值有关:

  • K是事先给定的,这个K值的选定是非常难以估计的。很多时候,事先并不知道给定的数据集应该分成多少个类别才最合适。(ISODATA算法通过类的自动合并和分裂,得到较为合理的类型数目K)
  • K-Means算法需要用初始随机种子点来搞,这个随机种子点太重要,不同的随机种子点会有得到完全不同的结果。(K-Means++算法可以用来解决这个问题,其可以有效地选择初始点)

我在这里重点说一下K-Means++算法步骤:

  1. 先从我们的数据库随机挑个随机点当“种子点”。
  2. 对于每个点,我们都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里,然后把这些距离加起来得到Sum(D(x))。
  3. 然后,再取一个随机值,用权重的方式来取计算下一个“种子点”。这个算法的实现是,先取一个能落在Sum(D(x))中的随机值Random,然后用Random -= D(x),直到其<=0,此时的点就是下一个“种子点”。
  4. 重复第(2)和第(3)步直到所有的K个种子点都被选出来。
  5. 进行K-Means算法。

相关的代码你可以在这里找到“implement the K-means++ algorithm”(墙)另,Apache的通用数据学库也实现了这一算法

K-Means算法应用

看到这里,你会说,K-Means算法看来很简单,而且好像就是在玩坐标点,没什么真实用处。而且,这个算法缺陷很多,还不如人工呢。是的,前面的例子只是玩二维坐标点,的确没什么意思。但是你想一下下面的几个问题:

1)如果不是二维的,是多维的,如5维的,那么,就只能用计算机来计算了。

2)二维坐标点的X,Y 坐标,其实是一种向量,是一种数学抽象。现实世界中很多属性是可以抽象成向量的,比如,我们的年龄,我们的喜好,我们的商品,等等,能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如:我们认为,18岁的人离24岁的人的距离要比离12岁的距离要近,鞋子这个商品离衣服这个商品的距离要比电脑要近,等等。

只要能把现实世界的物体的属性抽象成向量,就可以用K-Means算法来归类了

在《k均值聚类(K-means)》 这篇文章中举了一个很不错的应用例子,作者用亚洲15支足球队的2005年到1010年的战绩做了一个向量表,然后用K-Means把球队归类,得出了下面的结果,呵呵。

  • 亚洲一流:日本,韩国,伊朗,沙特
  • 亚洲二流:乌兹别克斯坦,巴林,朝鲜
  • 亚洲三流:中国,伊拉克,卡塔尔,阿联酋,泰国,越南,阿曼,印尼

其实,这样的业务例子还有很多,比如,分析一个公司的客户分类,这样可以对不同的客户使用不同的商业策略,或是电子商务中分析商品相似度,归类商品,从而可以使用一些不同的销售策略,等等。

最后给一个挺好的算法的幻灯片:http://www.cs.cmu.edu/~guestrin/Class/10701-S07/Slides/clustering.pdf

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.cn/news/show-326074.html

如若内容造成侵权/违法违规/事实不符,请联系七分地网进行投诉反馈,一经查实,立即删除!

相关文章

kmeans算法原理以及实践操作

原文&#xff1a;http://www.cnblogs.com/dudumiaomiao/p/5839905.html kmeans算法原理以及实践操作(多种k值确定以及如何选取初始点方法) kmeans一般在数据分析前期使用&#xff0c;选取适当的k&#xff0c;将数据聚类后&#xff0c;然后研究不同聚类下数据的特点。 算法原理&…

define 双引号 其他宏_当年宏语言不受欢迎?背后的原因你知道吗?

人类用计算机处理文本主要是依赖宏语言以及一些专用的文本编辑器。事实上&#xff0c;早期的文本编辑器只提供基本的文本编辑功能&#xff0c;然后借助宏语言进行功能扩展。结果人类很快就发现&#xff0c;基于宏扩展的编辑器&#xff0c;功能越复杂&#xff0c;它的行为就越诡…

K-means聚类算法的三种改进(K-means++,ISODATA,Kernel K-means)介绍与对比

原文&#xff1a;http://www.cnblogs.com/yixuan-xu/p/6272208.html K-means聚类算法的三种改进(K-means,ISODATA,Kernel K-means)介绍与对比 一、概述 在本篇文章中将对四种聚类算法(K-means,K-means,ISODATA和Kernel K-means)进行详细介绍&#xff0c;并利用数据集来真实地反…

数据结构中常见的树(BST二叉搜索树、AVL平衡二叉树、RBT红黑树、B-树、B+树、B*树)

原文&#xff1a;http://blog.csdn.net/sup_heaven/article/details/39313731 数据结构中常见的树&#xff08;BST二叉搜索树、AVL平衡二叉树、RBT红黑树、B-树、B树、B*树&#xff09; 转载 2014年09月16日 12:07:0827624 BST树 即二叉搜索树&#xff1a; 1.所有非叶子结点至…

html载入字体,css怎么导入字体?

在做前端页面的时候&#xff0c;有些内容文字需要通过css来指定第三方的字体进行显示&#xff0c;而不是默认支持的一些字体&#xff0c;这就需要自己制作或者获得字体文件&#xff0c;然后放入对应的字体目录&#xff0c;并通过font-family来指定字体。在 CSS3 之前&#xff0…

奇异值的物理意义

知乎上的解释特别好&#xff0c;非常佩服&#xff0c;在此转载一下&#xff0c;做个笔记 原文&#xff1a;https://www.zhihu.com/question/22237507/answer/28007137 奇异值作用&#xff1a;图片压缩&#xff0c;去燥&#xff0c;模糊等等矩阵的奇异值是一个数学意义上的概念…

mabatisplus怎么给实体类自定义属性_如果你的角色属性可以自定义,你会怎么点?...

如今越来越多的人抱怨小时候学的一些特长&#xff0c;长大之后根本没什么用处&#xff0c;比如乐器、绘画等等。反而是一些实用的比如烹饪和动手能力更受到大家的欢迎。阿庆想说的是&#xff0c;你肯定是没有坚持&#xff0c;到最后自然只能像方仲永一样“泯然众人矣”了。在游…

selector多路复用_超详细的I/O多路复用概念、常用I/O模型、系统调用等介绍

概述当我们要编写一个echo服务器程序的时候&#xff0c;需要对用户从标准输入键入的交互命令做出响应。在这种情况下&#xff0c;服务器必须响应两个相互独立的I/O事件&#xff1a;1)网络客户端发起网络连接请求&#xff0c;2)用户在键盘上键入命令行。我们先等待哪个事件呢&am…

余弦计算相似度度量

目录 pytorch 余弦相似度&#xff0c; 余弦计算相似度度量 pytorch 余弦相似度&#xff0c; 余弦相似度1到-1之间&#xff0c;1代表正相关&#xff0c;0代表不相关&#xff0c;-1代表负相关 def l2_norm(input, axis1):norm torch.norm(input, 2, axis, True)output torc…

程序员表白简短html代码,【杂谈】2018浪漫七夕:7款程序员必备表白源码(超炫酷)...

2018七夕将要来临&#xff0c;ki4网给大家准备了七款程序员表白专用源码&#xff0c;让你可以一举俘获美人心&#xff0c;下面就来看一看这七款表白代码大全&#xff0c;包含html、html5、CSS、JQ编写的一些非常简单实用的表白代码&#xff0c;非常炫酷、浪漫&#xff01;1、CS…

哪种css实现方式优势更突出_【第十三课】更合理的CSS结构

前言从零开始学前端系列课程&#xff0c;与传统的视频大课堂教学不同&#xff0c;没有填鸭&#xff1b;也普通做练习题的方式不同&#xff0c;没有假想的模拟题。 本课程拆出80个左右必须掌握的技能点&#xff0c;并对其分组&#xff0c;从易到难地列出学习曲线。同时从真实项目…

TF-IDF与余弦相似性的应用

原文&#xff1a;http://www.ruanyifeng.com/blog/2013/03/tf-idf.html TF-IDF与余弦相似性的应用&#xff08;一&#xff09;&#xff1a;自动提取关键词 这个标题看上去好像很复杂&#xff0c;其实我要谈的是一个很简单的问题。 有一篇很长的文章&#xff0c;我要用计算机提取…

webloigc12服务启动不了_一键启动知多少!

一键启动(自动挡车型)相比对手动挡的钥匙启动高大上不会出现膝盖被钥匙磕到的情况也不会出现钥匙孔边上有划痕的现象但是一键启动开关启动的顺序是什么&#xff1f;是长按至启动还是通电后再启动&#xff1f;一键启动常见问题答疑■ 问&#xff1a;一键启动车辆是如何启动的&a…

机器学习算法之决策树

原文&#xff1a;http://www.jianshu.com/p/6eecdeee5012 决策树是一种简单高效并且具有强解释性的模型&#xff0c;广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树&#xff0c;如&#xff1a; 决策树在使用模型进行预测时&#xff0c;根据输入参数依次在各个判断…

组件三层_Angular 练级之旅(8)-Zorro Select组件的实现和进阶

很久没写相关的文章&#xff0c;正好前两天把抄来的Select组件重写了一下&#xff0c;简化了一些逻辑。先看下zorro 中select组件的一个目录结构zorro将select组件分成了 三大块Input / 选择框下拉列表连接以上2层的控制器层先看 我们使用的 nz-select 内部的模板到底是什么样的…

目标检测 RCNN算法详解

原文&#xff1a;http://blog.csdn.net/shenxiaolu1984/article/details/51066975 【目标检测】RCNN算法详解 Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedings of the IEEE conference on comput…

燕赵志愿云如何认证_如何获得云安全专家CCSP认证

关注↑↑↑我们获得更多精彩内容&#xff01;千呼万唤始出来&#xff0c;云安全专家CCSP认证正式上线&#xff0c;全文皆重点&#xff0c;请仔细查看。CCSP云安全专家认证是什么&#xff1f;两家国际顶尖的安全组织,云安全联盟Cloud Security Alliance与 (ISC)&#xff0c;在20…

替代方法_ASD干预:替代行为的正确使用方法和注意事项

在我们的日常干预中&#xff0c;孤独症的儿童的行为问题一直是我们干预的一个重点&#xff0c;和普通的儿童不一样&#xff0c;自闭症孩子由于其认知和社交方面的障碍&#xff0c;都会采取很多的"不恰当行为"来表达自己的不满和需求&#xff0c;比如尖叫&#xff0c;…

长沙医学院计算机系怎么样,长沙医学院有哪些专业及什么专业好

本文讲述了长沙医学院最新的专业介绍&#xff0c;主要包含长沙医学院有哪些专业及每个专业的收费标准、长沙医学院都有什么专业比较好等&#xff0c;更多信息请访问大学高考。本文目录&#xff1a;长沙医学院什么专业好长沙医学院比较好的专业有&#xff1a;临床医学、中医学、…

goahead如何使用cgi服务_北斗导航系统现已提供全球服务!你知道如何使用这个服务吗?...

在11月份的时候&#xff0c;我国传来了一个好消息&#xff0c;北斗导航全球组网成功&#xff01;这意味着我国23年的努力没有白费&#xff0c;取得了圆满的成功。此项研究成果也迅速让中国的国际地位提高&#xff0c;很多国家都想和我们谈生意&#xff0c;一起参加北斗导航系统…