数据挖掘算法初窥门庭--聚类

本贴最后更新于 3441 天前,其中的信息可能已经斗转星移

#聚类(Cluster)
##概念
什么是聚类:
按照个体或样品的特征将它们分类,使同一类别的个体具有尽可能高的同质性,而类别之间则应该具有尽可能高的异质性。
聚类的特点:
不是一种统计方法,而是数据处理技术;需要自定聚类变量以及类别个数,属于非监督的分析方法;一般不涉及有关统计量的分布;不需要进行显著性检验;聚类算法比距离算法对结果影响更大;样本的顺序会影响聚类的结果。
一些重要概念:

  • 聚类变量:一组表示个体特征的变量。完全由研究者规定,会对结果产生较大的影响。需要需要对变量进行标准化处理。
  • 类别个数:聚类结果类别的个数。完全由研究者规定,不管实际数据中是否存在不同的类别吗,都能得到若干类别的解。
  • 个体同质程度:有两种方式进行测量
    • 采用描述个体之间的接近程度指标(数量),如“距离”:欧式距离、 曼哈顿距离等
    • 采用描述铬铁之间的相似程度指标(模式),如“相关系数”:皮尔逊相关系数

##快速聚类和两阶段聚类
根据聚类算法的处理过程可以分为:快速聚类和两阶段聚类。

  • 快速聚类:
    • 思想:
      选取 k 个观测量作为初始聚类中心,以距离最小原则将样本分配到 k 个类中,在每个类中以一定的方法重新选举聚类中心。不断迭代,直到收敛或满足要求。
    • 特点:
      一般只能处理数值型的变量;噪声对结果影响比较大;强线性关系变量会导致重复贡献影响结果。
  • 两阶段聚类:
    • 思想:
      将聚类分为预聚类(类数目增加)和聚类(类数目减少)两个阶段,类似于,构造一棵树,从根向上不断生长出更多的分支,然后对树进行修剪,把小的分支处理掉,合并留下的大分支。
    • 特点:
      可以处理数值型和分类型的变量;自动确定最优聚类数目;诊断离群点和噪声数据;可缩放性强。

##常见算法
根据算法思想可以把聚类算法分为下列类型。下面我们简单学习各种算法的思想,特点,优缺点等。具体算法在实践中再进行具体的学习。

###划分算法
思想:划分算法属于快速聚类的方法。

1.选取 k 个观测量作为初始聚类中心
2.以距离最小原则将每个实例分配到 k 个类中
3.在每个类中以一定的方法重新选举聚类中心
4.不断迭代,直到收敛或满足要求

  • k-means 算法

    • 特点:初始类中心选取是任意的,类中心的再选举采用类中所有对象的均值。
    • 优点:算法简单,也是最常用的聚类算法;对大数据是可伸缩的且效率高,时间复杂度接近于线性。
    • 缺点:初始值的选取会对结果产生较大的影响;对脏数据很敏感;只能处理数值类型数据
  • k-medoids 算法

    • 特点:是对 K-MEANS 算法的改进,类中心(medoids)的再选举采用的是选取到类中其他点距离之和最小的点。
    • 优点:对脏数据不敏感
    • 缺点:选取类中心计算量大,一般只能用于小数据集
  • clara 算法

    • 特点:是 k-medoids 效率不好的解决方案,在选举类中心时,使用抽样数据代替整个数据集
    • 优点:提高选举类中心的效率
    • 缺点:效率取决于采样的大小,采样大小决定了聚类的结果,一般不太可能得到最佳结果
  • clarans

    • 特点:是对 clara 的改进:clara 在选举类中心时是用的采用是不变的,clarans 算法在没一次迭代使用的采样都是不一样的。
    • 优点:解决 clara 算法无法得到最佳结果的问题
    • 缺点:必须人为限定迭代次数。
k-means 是一种典型的划分聚类算法,它用一个聚类的中心来代表一个簇,即在迭代过程中选择的聚点不一定是聚类中的一个点,该算法只能处理数值型数据
k-modes K-Means算法的扩展,能够处理分类数据,采用简单匹配方法来度量分类型数据的相似度
k-prototypes 结合了K-Means和K-Modes两种算法,能够处理混合型数据
k-medoids 在迭代过程中选择簇中到其他点距离之和最小的点为中心,PAM是典型的k-medoids算法
CLARA CLARA算法在PAM的基础上采用了抽样技术,能够处理大规模数据
CLARANS CLARANS算法融合了PAM和CLARA两者的优点,是第一个用于空间数据库的聚类算法, 该算法适用于处理数值型数据

###层次算法
层次聚类方法是对给定数据集进行层次分解明知道某种条件满足为止。具体可以分为凝聚和分裂两种方案。

  • 凝聚:自底向上,首先每个对象作为一簇,然后合并这些原子簇,知道某个条件被满足。
  • 分裂:自顶向下,首先将所有的对象置于同一个簇,然后逐渐分裂为更小的簇,直到某个条件被满足。
CURE 采用抽样技术先对数据集随机抽取样本,再采用分区技术对样本进行分区,然后对每个分区局部聚类,最后对局部聚类进行全局聚类。适合处理数值型数据类型
ROCK 也采用了随机抽样技术,该算法在计算两个对象的相似度时,同时考虑了周围对象的影响,适合处理混合型数据类型
CHEMALOEN(变色龙算法) 首先由数据集构造成一个K-最近邻图Gk ,再通过一个图的划分算法将图Gk 划分成大量的子图,每个子图代表一个初始子簇,最后用一个凝聚的层次聚类算法反复合并子簇,找到真正的结果簇
SBAC SBAC算法则在计算对象间相似度时,考虑了属性特征对于体现对象本质的重要程度,对于更能体现对象本质的属性赋予较高的权值
BIRCH BIRCH算法利用树结构对数据集进行处理,叶结点存储一个聚类,用中心和半径表示,顺序处理每一个对象,并把它划分到距离最近的结点,该算法也可以作为其他聚类算法的预处理过程。适合处理数值型数据类型
BUBBLE BUBBLE算法则把BIRCH算法的中心和半径概念推广到普通的距离空间
BUBBLE-FM BUBBLE-FM算法通过减少距离的计算次数,提高了BUBBLE算法的效率

###密度算法
基于距离的算法只能发现“类圆形”的聚类,基于密度的算法克服了这个缺点。
密度算法的知道思想是,当一个区域中的点的密度大于某个阈值,就把它加入到与之相近的聚类中去。

DBSCAN 采用空间索引技术来搜索对象的邻域,引入了“核心对象”和“密度可达”等概念,从核心对象出发,把所有密度可达的对象组成一个簇,适合处理数值型数据类型
GDBSCAN 算法通过泛化DBSCAN算法中邻域的概念,以适应空间对象的特点
OPTICS OPTICS算法结合了聚类的自动性和交互性,先生成聚类的次序,可以对不同的聚类设置不同的参数,来得到用户满意的结果
FDC FDC算法通过构造k-d tree把整个数据空间划分成若干个矩形空间,当空间维数较少时可以大大提高DBSCAN的效率

###网格算法
基于网格的算法先将数据空间划分为有限个单元的网格结构,所有的处理都是以单个的单元为对象。网格算法的特点是处理速度很快,通常于单元个数有关而与记录个数无关。

STING 利用网格单元保存数据统计信息,从而实现多分辨率的聚类
WaveCluster 在聚类分析中引入了小波变换的原理,主要应用于信号处理领域。只能处理数值型数据类型
CLIQUE 是一种结合了网格和密度的聚类算法,适合处理数值型数据类型

###模型算法
基于模型的方法给每一个聚类假定一个模型,然后去寻找能够很好满足这个模型的数据集。这种算法的潜在假定是:目标数据集是由一系列的概率分布决定的。

AutoClass 是以概率混合模型为基础,利用属性的概率分布来描述聚类,该方法能够处理混合型的数据,但要求各属性相互独立
自组织神经网络SOM 由外界输入不同的样本到人工的自组织映射网络中,一开始时,输入样本引起输出兴奋细胞的位置各不相同,但自组织后会形成一些细胞群,它们分别代表了输入样本,反映了输入样本的特征

###weka 中的聚类算法

  • EM,用户可指定需要产生多少聚类,否则所用的算法可通过交叉验证来决定,用户可指定循环次数的最大值,并且为正常的密度计算设定可允许的最小标准差。

  • SimpleKMeans 使用 k 均值来聚类数据;聚类的数量通过一个参数设定。

  • Cobweb 实现了用于名词属性的 Cobweb 算法和用于数值性属性的 Classit 算法。

  • FarthestFirst 实现 Hochbaum 和 Shmoys 远端优先遍历算法。

  • MakeDensityBaseCluster 是一个元聚类器,它包装一个聚类算法,使其返回一个概率分布和密度。它为每个聚类拟合一个离散分布,或一个对称的正态分布。

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • ss via macOS

    @88250 这个给老大看看不错,老大的那个分类方法最终实现离不开这些东东呢。既然是学 java 的,不知到有没有把 scala 和 spark 一块学了?

  • 88250

    @ss 木。

推荐标签 标签

  • 工具

    子曰:“工欲善其事,必先利其器。”

    302 引用 • 772 回帖
  • JRebel

    JRebel 是一款 Java 虚拟机插件,它使得 Java 程序员能在不进行重部署的情况下,即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 687 关注
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    85 引用 • 324 回帖
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 1 关注
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖 • 5 关注
  • 人工智能

    人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    120 引用 • 323 回帖
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 3 关注
  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1340 回帖
  • IDEA

    IDEA 全称 IntelliJ IDEA,是一款 Java 语言开发的集成环境,在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。

    181 引用 • 400 回帖 • 1 关注
  • 外包

    有空闲时间是接外包好呢还是学习好呢?

    26 引用 • 234 回帖 • 3 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    173 引用 • 414 回帖 • 354 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 651 关注
  • Typecho

    Typecho 是一款博客程序,它在 GPLv2 许可证下发行,基于 PHP 构建,可以运行在各种平台上,支持多种数据库(MySQL、PostgreSQL、SQLite)。

    12 引用 • 67 回帖 • 445 关注
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖 • 1 关注
  • Maven

    Maven 是基于项目对象模型(POM)、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    188 引用 • 319 回帖 • 235 关注
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 166 关注
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时,提供更无缝的用户体验。

    1 引用 • 2 回帖 • 83 关注
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展,它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖 • 1 关注
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议,它实现了浏览器与服务器之间的全双工通信(full-duplex)。

    48 引用 • 206 回帖 • 278 关注
  • 尊园地产

    昆明尊园房地产经纪有限公司,即:Kunming Zunyuan Property Agency Company Limited(简称“尊园地产”)于 2007 年 6 月开始筹备,2007 年 8 月 18 日正式成立,注册资本 200 万元,公司性质为股份经纪有限公司,主营业务为:代租、代售、代办产权过户、办理银行按揭、担保、抵押、评估等。

    1 引用 • 22 回帖 • 812 关注
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    59 引用 • 25 回帖
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    32 引用 • 108 回帖 • 1 关注
  • ngrok

    ngrok 是一个反向代理,通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 660 关注
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 1 关注
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    26791 引用 • 111671 回帖
  • IPFS

    IPFS(InterPlanetary File System,星际文件系统)是永久的、去中心化保存和共享文件的方法,这是一种内容可寻址、版本化、点对点超媒体的分布式协议。请浏览 IPFS 入门笔记了解更多细节。

    20 引用 • 245 回帖 • 241 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    76 引用 • 1742 回帖 • 1 关注