大数据解析与应用导论 (29).pdf

《大数据解析与应用导论 (29).pdf》由会员分享，可在线阅读，更多相关《大数据解析与应用导论 (29).pdf（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1第五章 聚类分析5.4 高斯混合模型2高斯混合模型的英文全称为“Gaussian Mixture Model”，缩写为GMM。利用GMM来区分GMM算法介绍 GMM算法主要是通过研究数据的分布对数据进行聚类。GMM是将若干个概率分布为高斯分布的模型（高斯元，Gaussian component）混合在一起的模型。简单地说，k-means 的结果是每个数据点被 assign 到其中某一个 cluster 了，而 GMM 则给出这些数据点被 assign 到每个cluster 的概率，又称作 soft assignment 3GMM算法介绍 GMM的模型：其中被称为权重系数，它代表了第k个高斯元

2、在这个模型中所占的比重。GMM模型中需要训练的参数为：在离线训练时，利用EM算法可以估算出相应的训练参数值4()1|,KkkkkPN X=k,(1,2,.,),kkkkK=GMM算法的公式表达5 利用GMM进行聚类，需要计算出每个待聚类样本属于每个高斯元的概率。在GMM中，我们习惯性用一个变量来表示高斯元。因此，我们可以有计算公式如下：上式表示了当取到样本后，又取到（该样本点隶属于）第i个高斯元的后验概率。经过计算，最终可以得到K个，并认为该样本属于概率最大的高斯元。()()()1|,|,iiiiKiiiip xp Yy xp x=x x()Y|ipy x=Y利用GMM算法进行聚类GMM聚类大

3、致分为如下几步:Step1.模型训练1.设置一个初始的高斯元数K.2.利用训练数据训练出模型参数。Step2.数据聚类1.将样本一个个的输入到模型中，计算出该样本属于不同高斯元的后验概率（posterior probability）2.将待判定样本归入后验概率最大的一个高斯元中。当每个样本都归入到了对应的高斯元，则聚类完成。6GMM算法的实现步骤影响GMM聚类结果的两个重要因素：1.高斯元K的设置。2.初始时的模型参数（每个高斯元的均值，方差以及权重）7GMM算法的关键参数K=？?=高斯元n高斯元1高斯元2?=初始迭代值迭代结束后最终参数值8Python 实现 GMM聚类的代码:引入相应的包：

4、from sklearn import mixture定义模型初始参数：GMM=mixture.GaussianMixture(n_components=GC,covariance_type=diag,max_iter=1000)拟合待聚类数据data：GMM.fit(data)对待聚类数据data进行聚类:GMM.predict(data)GMM算法的代码实现9随机产生服从两个不同的二维高斯分布（，）的训练数据data：0101001NN 5402504NN GMM算法的数据示例10利用data训练得到的GMM模型包含两个高斯元的参数：N1的估计参数为：N1的实际参数为：N2的估计参数为：N2的实际参数为：111=0.502550.02870=0.021441.035890=00.95620111=0.497455.12247=4.993833.731370=04.00704111=0.50=010=01 111=0.55=540=04 GMM算法的聚类结果11聚类结果实际情况GMM算法的聚类结果12GMM算法对人群身高进行聚类13GMM 还可以用于对人群身高的聚类还可以用于对人群身高的聚类GMM算法对人群身高进行聚类14男生女生GMM算法对人群身高进行聚类