大数据解析与应用导论 (25).pdf

《大数据解析与应用导论 (25).pdf》由会员分享，可在线阅读，更多相关《大数据解析与应用导论 (25).pdf（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1大数据解析与应用导论大数据解析与应用导论Introduction to Big Data Analytics and Application第二章第二章 绪论数据数据预处理及特征提取理及特征提取数据清洗数据清洗1.数据数据转换2.主成分分析主成分分析2（算法）（算法）4.主成分分析主成分分析1（基本概念）（基本概念）3.实例例应用用5.（一）（一）PCA应用（人用（人脸识别）人脸识别：利用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸图像进行一系列的相关应用操作人脸识别的方法有很多，其中PCA是一种很重要的方法。（一）（一）PCA应用（人用（人脸识

2、别）Step 1 创建人脸数据库2T2T2T2T(a)(b)图(a)为系统人脸数据库中的原始人脸图像，图(b)为经过灰度转换后的人脸图像读入系统人脸数据库，将图像变换为相应的二维人脸灰度图像。将变换后的二维人脸灰度图像变换为一维人脸向量矩阵，一个大小为M*N的二维人脸图像可以看成长度为MN的人脸图像向量。人脸图像通常维数很高，如128*128的矩阵可以展开为16384维的向量。（一）（一）PCA应用（人用（人脸识别）Step 2 计算特征脸，形成特征库。如此高的向量维度，各维度间相关性很强。这时PCA就派上了用场，使用PCA对原始向量进行特征提取，大大降低了向量维度。特征向量构成特征脸。特征脸

3、（特征值最大的前36个特征向量）（一）（一）PCA应用（人用（人脸识别）Step 3 对人脸进行识别。对测试的人脸图像，按上述方法转化为特征向量，与特征库内的特征向量进行比对，使用欧氏距离等方法进行判决分类。人脸姿态发生变化下的人脸识别结果人脸表情变化下的人脸识别结果（二）（二）PCA应用（用（过程程监测）生产过程常常有许多测量变量，这些测量变量可能存在大量耦合，同时伴有噪声干扰，基于PCA的过程监测是一种十分有效的方法。PCA降维，低维特征表示。（二）（二）PCA应用（用（过程程监测）在大型流程工业，比如火电生产过程中，往往收集数据的监测点有成千上万个之多，高维的数据会对分析和处理带来巨大的

4、困难，而PCA就是我们实现降低数据维度，实现数据压缩的有效工具在这一小节，我们的任务是从一从一组数据中辨别出哪些采样点是汽点是汽轮机正常运行时的数据，哪些采样点是汽轮机机运行运行异异常常时的数据，即这是一个二分类的问题。我们要面临的数据维度达2179维，样本点共16560个，样本点分为正常和异常两类，部分展示如下：（二）（二）PCA应用（用（过程程监测）高维数据：运行负担重 难以找出有效信息（二）（二）PCA应用（用（过程程监测）数据清洗数据标准化数据分析训练样本和测试样本7：3划分使用决策树进行分类模型的运行时间约为20分钟，精度为91%（二）（二）PCA应用（用（过程程监测）使用PCA进行

5、降维，9个维度的属性可以代替之前2100多个维度的属性程序显示时间为0，而分类精度也仅仅是从0.91降到了0.90（三）（三）PCA应用（法官用（法官评分）分）数据集USJudgeRatings包含了律师对美国高等法院法官的评分。数据集包含43个样本，12个变量：是否能够用较少的变量来总结这12个变量评估的信息呢？如果可以，需要多少个？（三）（三）PCA应用（法官用（法官评分）分）X1X2X3X12PC2PC1主成分分析模型，变量（X1到X12）映射为主成分（PC1,PC2）PC1(84.4%)和PC2(9.2%)共可以解释这12个变量的93.6%的信息（四）（四）总结PCA实例应用人脸识别过程监测法官评价