为了账号安全,请及时绑定邮箱和手机立即绑定

机器学习 西瓜书 Day11 聚类(下)

标签:
机器学习

p202 -  p224
今天平平淡淡

第九章 聚类

9.4 原型聚类

原型”是指样本空间中具有代表性的点。

9.4.1 k-means

针对所得簇最小化平方误差
想要最小化平方误差 是一个NP难问题
因此使用了贪心策略

算法伪码:p203 图9.2

算法开始随机选取样本作为初始均值向量
考察每个样本,与哪个均值向量最近,从而分到哪个簇
分完一轮之后更新均值向量
重复以上过程直至收敛。

9.4.2 学习向量量化(LVQ)

也是试图找到一组原型向量。
但LVQ假设数据样本带有标记,利用这些监督信息来辅助聚类。

LVQ的目的是学得一组n维原型向量,每个向量代表一个簇

算法伪码:p205 图9.4
先初始化原型向量。
每一轮迭代中,随机选取一个有标记的训练样本,找到和他最近的原型向量,并根据两者的类别标记决定如何更新。如果一样,则将原型更靠近一些。不一样,则远离一些。

可以这样理解:每个原型向量定义了与之相关的一个区域。
这些区域形成一个划分。
该划分通常称为“Voronoi划分”

9.4.3 高斯混合聚类

与上两个不同,高斯混合聚类采用概率模型来表达聚类原型。
p206 - 210。
比较数学。

9.5 密度聚类

基于密度的聚类假设聚类结构能通过样本分布的紧密程度来确定

DBSCAN,基于一组邻域参数来刻画紧密程度。
ε-邻域、核心对象、密度直达、密度可达、密度相连的定义。p212

从而DBSCAN对“簇”进行了定义:
连续性:同一个簇的必然密度相连。
最大性:每个都不可再扩大。

那么如何找到满足上面性质的簇呢?不难证明,由x密度可达的所有样本组成的集合就是一个簇。

于是,DBSCAN先选一个样本作为种子。找簇。一直下去直到找完。

9.6 层次聚类

形成树形的聚类结构。
既可以从上往下,也可以从下往上。

AGNES:从下往上。
把每个样本看成一个初始聚类簇,然后每一步对两个最近的合并。直到簇数达到要求。

簇间距离的刻画:最小距离/最大距离/平均距离。
伪码 p215 图9.11



作者:皇家马德里主教练齐达内
链接:https://www.jianshu.com/p/840a9299f314


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消