机器学习应用——无监督学习实例-31省市居民家庭消费调查&学生上网时间分布聚类&鸢尾花数据&人脸数据特征提取.docx

《机器学习应用——无监督学习实例-31省市居民家庭消费调查&学生上网时间分布聚类&鸢尾花数据&人脸数据特征提取.docx》由会员分享，可在线阅读，更多相关《机器学习应用——无监督学习实例-31省市居民家庭消费调查&学生上网时间分布聚类&鸢尾花数据&人脸数据特征提取.docx（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、机器学习应用无监督学习（实例:31省市居民家庭消费调查&学生上网时间分布聚类&鸢尾花数据&人脸数据特征提取）2结果展示-1聚成2类:kmKMeans(n_clusters2)-2聚成3类:kmKMeans(n_clusters3)-3聚成4类:kmKMeans(n_clusters4)3拓展改良计算两条数据相似性时,Sklearn的K-Means默认用的是欧式间隔。固然还有余弦相似度,马氏间隔等多种方法,但没有设定计算间隔方法的参数。想自定义计算间隔的方式时可更改此处源代码建议使用scipy.spatial.distance.cdist方法3.DBSCAN方法1DBSC

2、AN算法是一种基于密度的聚类算法聚类的时候不需要预先指定簇的个数最终的簇的个数不定2DBSCAN算法将数据点分为三类:核心点:在半径Eps内含有超过MinPts数目的点。边界点:在半径Eps内点的数量小于MinPts但是落在核心点的邻域内。噪音点:既不是核心点也不是边界点的点。3DBSCAN算法流程将所有点标记为核心点、边界点或者噪声点删除噪声点为间隔在Eps之内的所有核心点之间赋予一条边每组连通的核心点形成一个簇将每个边界点指派到一个与之关联的核心点的簇中(即在哪一个核心点的半径范围之内4举例如下13个样本点使用DBSCAN进展聚类取Eps3MinPts3,根据DBSACN对所有点进展聚类这

3、里使用曼哈顿间隔对每个点计算其邻域Eps3内的点的集合集合内点的个数超过MinPts3的点为核心点查看剩余点是否在核心点的邻域内,假设在,那么为边界点,否那么为噪声点。将间隔不超过Eps3的点互相连接构成一个簇,核心点邻域内的点也会被参加到这个簇中。4.DBSCAN应用1问题分析现有大学校园网的日志数据,为290条大学生的校园网使用情况数据数据包括用户ID,设备的MAC地址,IP地址开场上网时间,停顿上网时间,上网时长,校园网套餐等。利用已有数据,分析学生上网的形式。2实验目的通过DBSCAN聚类,分析学生上网时间以及上网时长的形式。3技术道路采用sklearn.cluster.DBSCAN模

4、块4数据实例5实验经过6代码实现建立工程导入sklearn相关包importnumpyasnpfromsklearn.clusterimportDBSCANDBSCAN主要参数1eps两个样本被看作邻居节点的最大间隔2min_samples簇的样本数3metric间隔计算方式例sklearn.cluster.DBSCAN(eps0.5,min_samples5,metriceuclidean)对上网时间聚类创立DBSCAN算法实例并进展训练获得标签附码importnumpyasnpimportsklearn.clusterfromsklearnimportmetricsfromsklearn.

5、clusterimportDBSCANmac2iddict()#字典onlinetimesfopen(TestData.txt)forlineinf:macline.split(,)2#读取每条中的mac地址onlinetimeint(line.split(,)6)#读取上网时长starttimeint(line.split(,)4.split()1.split(:)0)#读取开场上网时间ifmacnotinmac2id:mac2idmaclen(onlinetimes)#其中key是mac地址onlinetimes.append(starttime,onlinetime)#value是对应m

6、ac地址的上网时长和开场上网时间else:onlinetimesmac2idmac(starttime,onlinetime)real_Xnp.array(onlinetimes).reshape(-1,2)#对上网时间聚类创立DBSCAN算法实例并进展训练获得标签Xreal_X:,0:1dbsklearn.cluster.DBSCAN(eps0.01,min_samples20).fit(X)#调用DBSCAN方法进展训练labelsdb.labels#labels为每个数据的簇标签print(Labels:)print(labels)#打印数据被记上的标签ratiolen(labelsla

7、bels:-1)/len(labels)#计算标签为-1即噪声数据的比例print(Noiseratio:,format(ratio,.2%)#Numberofclustersinlabels,ignoringnoiseifpresentn_clusters_len(set(labels)-(1if-1inlabelselse0)#计算簇的个数并打印print(Estimatednumberofclusters:%d%n_clusters_)print(SilhouetteCoefficient:%0.3f%metrics.silhouette_score(X,labels)#评价聚类效果fo

8、riinrange(n_clusters_):#打印各簇标号及簇内数据print(Cluster,i,:)print(list(Xlabelsi.flatten()#对上网时长聚类创立DBSCAN算法实例并进展训练获得标签Xnp.log(1real_X:,1:)dbsklearn.DBSCAN(eps0.1401,min_samples10).fit(X)#调用DBSCAN方法进展训练labelsdb.labels#labels为每个数据的簇标签print(Labels:)print(labels)#打印数据被记上的标签ratiolen(labelslabels:-1)/len(labels)

9、#计算标签为-1即噪声数据的比例print(Noiseratio:,format(ratio,.2%)#Numberofclustersinlabels,ignoringnoiseifpresentn_clusters_len(set(labels)-(1if-1inlabelselse0)#计算簇的个数并打印print(Estimatednumberofclusters:%d%n_clusters_)print(SilhouetteCoefficient:%0.3f%metrics.silhouette_score(X,labels)#评价聚类效果foriinrange(n_clusters

10、_):#统计每一个簇内的样本个数均值标准差print(Cluster,i,:)countlen(Xlabelsi)meannp.mean(real_Xlabelsi:,1)stdnp.std(real_Xlabelsi:,1)print(tnumberofsample:,count)print(tmeanofsample:,format(mean,.1f)print(tstdofsample:,format(std,.1f)输出标签查看结果画直方图分析实验结果importmatplotlib.pyplotaspetplt.hist(X,24)观察得出:上网时间大多聚集在22:00以及23:00

11、数据分布vs聚类技巧对数变换对上网时长聚类创立DBSCAN算法实例并进展训练获得标签输出标签查看结果1按照上网时长DBSCAN聚了5类,上图所示,显示了每个聚类的样本数量、聚类的均值、标准差。2时长聚类效果不如时间的聚类效果明显。三、降维1.PCA方法1主成分分析PCA主成分分析(PrincipalComponentAnalysis,PCA是最常用的一种降维方法,通常用于高维数据集的探究与可视化,还可以用作数据压缩以及预处理等。PCA可以把具有相关性的高维变量合成为线性无关的低维变量称为主成分。主成分可以尽可能保存原始数据的信息。2涉及到的相关术语:方差是各个样本以及样本均值的差的平方以及的均

12、值,用来度量一组数据的分散程度协方差用于度量2个变量直接的线性相关性程度假设为0那么可认为二者线性无关。协方差矩阵由变量的协方差值构成的矩阵对称阵特征向量描绘数据集构造的非零向量公式如图A是方阵v是特征向量是特征值3原理矩阵的主成分其协方差矩阵对应的特征向量按照对应的特征值大学进展排序最大特征值为第一主成分其次是第二主成分以此类推4算法经过5主要参数在sklearn库中可使用sklearn.decomposition.PCA加载PCA进展降维n_components指定主成分的个数即降维后数据的维度svd_solver设置特征值分解的方法默认为auto,其他可选有full,arpack,ran

13、domized可参考官网API2.PCA应用实例鸢尾花数据PCA实现高维数据可视化1问题分析已知鸢尾花数据是4维的,共三类样本。使用PCA实现对鸢尾花数据进展降维,实如今二维平面上的可视化。2代码实现建立工程导入sklearn相关工具包#加载matplotlib用于数据可视化importmatplotlib.pyplotasplt#加载PCA算法包fromsklearn.decompositionimportPCA#加载鸢尾花数据集导入函数fromsklearn.datasetsimportload_iris加载数据并进展降维按类别对降维后的数据进展保存降维后数据点的可视化#建立工程导入skl

14、earn相关工具包#加载matplotlib用于数据可视化importmatplotlib.pyplotasplt#加载PCA算法包fromsklearn.decompositionimportPCA#加载鸢尾花数据集导入函数fromsklearn.datasetsimportload_iris#加载数据并进展降维dataload_iris()#以字典形式加载鸢尾花数据集ydata.target#使用y表示数据集中的标签Xdata.data#使用x表示数据集中的属性标签pcaPCA(n_components2)#加载PCA算法设置降维后主成分数目为2reduced_Xpca.fit_trans

15、form(X)#对原始数据进展降维保存在reduce_X中#按类别对降维后的数据进展保存red_x,red_y,#第一类数据点blue_x,blue_y,#第二类数据点green_x,green_y,#第三类数据点foriinrange(len(reduced_X):#按照鸢尾花的类别将降维后的数据点保存在不同的列表中ifyi0:red_x.append(reduced_Xi0)red_y.append(reduced_Xi1)elifyi1:blue_x.append(reduced_Xi0)blue_y.append(reduced_Xi1)else:green_x.append(redu

16、ced_Xi0)green_y.append(reduced_Xi1)#降维后数据点的可视化plt.scatter(red_x,red_y,cr,markerx)#第一类数据点plt.scatter(blue_x,blue_y,cb,markerD)#第二类数据点plt.scatter(green_x,green_y,cg,marker.)#第三类数据点plt.show()#可视化3结果展示可以看出,降维后的数据仍可以明晰地分成三类。这样不仅能削减数据的维度,降低分类任务的工作量,还能保证分类的质量。3.NMF方法1非负矩阵分解Non-negativeMatrixFactorizationNM

17、F是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法2根本思想给定一个非负矩阵V,NMF可以找到一个非负矩阵W以及一个非负矩阵H使得矩阵W以及H的乘积近似等于矩阵V中的值W矩阵根底图像矩阵相当于从原矩阵V中抽取出来的特征H矩阵系数矩阵NMF可以广泛应用于图像分析、文本挖掘以及语音处理等领域3矩阵分解优化目的最小化“W与矩阵H的乘积以及“原始矩阵之间的差异目的函数如下基于欧氏间隔基于KL散度的优化目的损失函数如下W矩阵以及H矩阵的求解为迭代算法在此不详细讲述参考链接:/4在sklearn库中可以使用sklearn.decomposition.NMF加载NMF算法主要参数有n_componen

18、ts:用于指定分解后矩阵的单个维度kinitW矩阵以及H矩阵的初始化方式默认为nndsvdar其他参数参考官网API4.NMF应用人脸数据特征提取1问题分析目的已知Olivetti人脸数据共400个,每个数据是64*64大小。由于NMF分解得到的W矩阵相当于从原始矩阵中提取的特征,那么就可以使用NMF对400个人脸数据进展特征提取。通过设置k的大小,设置提取的特征的数目。在本实验中设置k6随后将提取的特征以图像的形式展示出来。2代码实现建立工程导入sklearn相关工具包#加载matplotlib用于数据的可视化importmatplotlib.pyplotasplt#加载PCA算法包from

19、sklearnimportdecomposition#加载Olivetti人脸数据集导入函数fromsklearn.datasetsimportfetch_olivetti_faces#加载RandomState用于创立随机种子fromnumpy.randomimportRandomState设置根本参数并加载数据设置图像的展示方式创立特征提取的对象NMF使用PCA作为比照#建立工程导入sklearn相关工具包#加载matplotlib用于数据的可视化importmatplotlib.pyplotasplt#加载PCA算法包fromsklearnimportdecomposition#加载Ol

20、ivetti人脸数据集导入函数fromsklearnimportdatasets#加载RandomState用于创立随机种子fromnumpy.randomimportRandomState#设置根本参数并加载数据n_row,n_col2,3#设置图像展示时的排列情况2行3列如图n_componentsn_row*n_col#设置提取的特征的数目image_shape(64,64)#设置人脸数据图片的大小datasetdatasets.fetch_olivetti_faces(shuffleTrue,random_stateRandomState(0)facesdataset.data#加载数

21、据并打乱顺序#设置图像的展示方式defplot_gallery(title,images,n_coln_col,n_rown_row):plt.figure(figsize(2.*n_col,2.26*n_row)#创立图片并指定图片大小英寸plt.suptitle(title,size16)#设置标题及字号大小fori,compinenumerate(images):plt.subplot(n_row,n_col,i1)#选择画制的子图vmaxmax(comp.max(),-comp.min()plt.imshow(comp.reshape(image_shape),cmapplt.gray

22、,interpolationnearest,vmin-vmax,vmaxvmax)#对数值归一化并以灰度图形式显示plt.xticks()plt.yticks()#去除子图的坐标轴标签plt.subplots_adjust(0.01,0.05,0.99,0.93,0.04,0.)#对子图位置及间隔进展调整plot_gallery(FirstcenteredOlivettifaces,faces:n_components)plt.show()#创立特征提取的对象NMF使用PCA作为比照estimators#将他们存放在一个列表中(Eigenfaces-PCAusingrandomizedSVD,

23、#提取方法名称decomposition.PCA(n_components6,whitenTrue),#PCA实例(Non-nefativecomponents-NMF,#提取方法名称decomposition.NMF(n_components6,initnndsvda,tol5e-3)#NMF实例#降维后数据点的可视化forname,estimatorinestimators:#分别调用PCA以及NMFprint(Extractingthetop%d%s.%(n_components,name)print(faces.shape)estimator.fit(faces)#调用PCA或者NMF

24、提取特征components_estimatorponents_plot_gallery(name,components_:n_components)#获取提取的特征plt.show()#按照固定格式进展排列3效果展示总结关于无监视学习比拟核心的就是聚类以及降维问题在此仅用4个实例讲明两大核心的四大典型方法其余便不多做赘述。关于代码之中的一些改良问题由于用到库中的其他方法且本人才能有限大众感兴趣可自行查阅官网API。两点问题1代码运行需要根底数据支撑py的自带库中有些内含所需数据有些那么没有本篇并未放上数据txt文件只是为了展示无监视学习的体系流程以作演示2在库的包导入假设发生问题看看版本更新问题和局部包在近年度来命名以及函数有所调整各位客官可面向百度ps人脸数据运行结果出来真是把我送走了机器学习让人头秃代码非原创内容乃课件整理所得。如有问题欢送指正