大数据解析与应用导论 (46).pdf

《大数据解析与应用导论 (46).pdf》由会员分享，可在线阅读，更多相关《大数据解析与应用导论 (46).pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1大数据解析与应用导论大数据解析与应用导论Introduction to Big Data Analytics and Application第四章 回归分析基本概念基本概念1.最小二乘回归最小二乘回归2.岭回归岭回归3.主元回归主元回归4.偏最小二乘偏最小二乘5.4.5 主元回归分析主元回归分析（1）主元回归分析的背景）主元回归分析的背景维数灾难大数据时代回归分析面临的困难?数据多重共线性维数灾难特征复杂多变（2）主元回归分析基本流程）主元回归分析基本流程4.5 主元回归分析主元回归分析主成分：包含较多信息投影方向，从数据角度来讲就是方差波动较大的方方差波动较大的方向向。主成分之间相互正交主

2、成分之间相互正交。1.先选择方差最大的作为第一主成分；2.找到与其正交的方差第二大投影方向作为第二主成分；3.以此类推，直到方差中包含足够多的信息；主成分选择：4.5 主元回归分析主元回归分析（2）主元回归分析基本流程）主元回归分析基本流程利用主成分特征进行回归分析原始回归模型YX=+其中X是标准化后的原始样本矩阵主元回归模型*=YZX=+Z=是降维后的数据矩阵，为对提取出的主元进行回归的系数；*1kkkkZ Y=经过拟合推导后可得，在主元回归中，对于自变量X的回归系数如下式所示：主成分分析主成分分析主主成成分分主元回归模型主元回归模型原始数据原始数据特征提取()12,kk =是对应X的协方差

3、阵前k个特征值的特征向量其中（3）岭回归与主元回归分析的对比）岭回归与主元回归分析的对比4.5 主元回归分析主元回归分析数据多重共线性问题岭回归分析主元回归分析()1()TTX XIX y=+从原始数据原始数据入手，针对系数矩阵无法求逆加入一次惩罚项；弊端：A.冗余的数据被重复计算，运算效率低运算效率低；B.区分不出重点特征，抓不住主要信息抓不住主要信息；从数据重组数据重组入手，先进行特征提取特征提取，去除重复的共线性信息，同时降低维数，提高回归模型运算效率；*1kkkkZ Y=（5）例子）例子中国民航客运量：中国民航客运量：5.5 主元回归分析主元回归分析为了研究我国民航客运量的变化趋势及其

4、成因，我们以民航客运量作为因变量y,以国民收入、消费额、铁路客运量、民航航线里程、来华旅游入境人数为影响民航客运量的主要因素。数据来源应用回归分析（第四版）何晓群符号说明：y客运量（万人）1国民收入（亿元）2消费额（亿元）3铁路客运量（万人）4民航航线里程（万公里）5来华旅游入境人数（万人）（5）例子）例子中国民航客运量：中国民航客运量：5.5 主元回归分析主元回归分析PC1PC2-2.58-1.43-2.31-1.01-2.00-0.55-1.77-0.30-1.590.06-1.350.58-0.940.92-0.471.04-0.100.700.470.951.191.771.160.781.17-0.821.81-0.962.96-0.994.34-0.74主元自变量主元自变量截距1159.124PC1468.899PC2-192.530前两个两个主成分的累积方差贡献率达到98%以上以上表2.前两个主成分投影后的结果表3.利用主元建立的线性回归模型Y=1159.124+468.899*PC1-192.530*PC2客运量回归模型：5.5 主元回归分析主元回归分析（6）主元回归的优缺点总结：）主元回归的优缺点总结：优点：实现多维数据的降维处理，提高运算速度；特征组合可一定程度地解决数据多重共线性的问题；缺点：无监督方法，对提取出的主成分合理性缺少解释