因子分析法详细步骤知识分享.ppt

因子分析因子分析第一页，共26页。一、前言一、前言(qin yn)变量的相关性变量的相关性公共因子？公共因子？将多个实测将多个实测(sh c)变量转换成变量转换成少数几个不相关的综合指数少数几个不相关的综合指数第二页，共26页。二、因子分析模型二、因子分析模型(mxng)一般地，设一般地，设X=(x1,x2,xp)为可观为可观测测(gunc)的随机变量，且有的随机变量，且有f=(f1,f2,fm)为公共（共性）因子为公共（共性）因子（common factor），简称因子），简称因子（factor）第三页，共26页。e=(e1,e2,ep)e=(e1,e2,ep)为特殊因子为特殊因子（specific factorspecific factor）f f和和e e均为不可直接观测的随机变量均为不可直接观测的随机变量=(1,2,p)=(1,2,p)为总体为总体x x的均的均值值(jn zh)(jn zh)A=(aij)p*mA=(aij)p*m为因子负荷（载荷）为因子负荷（载荷）（factor loadingfactor loading）矩阵）矩阵第四页，共26页。通常先对通常先对x x作标准化处理，使其均值为零，作标准化处理，使其均值为零，方差方差(fn ch)(fn ch)为这样就有为这样就有假定（）假定（）fifi的均数为，方差的均数为，方差(fn(fn ch)ch)为；为；（）（）eiei的均数为，方差的均数为，方差(fn(fn ch)ch)为为ii；（）（）fi fi与与eiei相互独立相互独立则称则称x x为具有为具有m m个公共因子的因子模型个公共因子的因子模型第五页，共26页。如果再满足如果再满足(mnz)(mnz)（）（）fifi与与fjfj相互独相互独立（立（ijij），则称该因子模型为正交因），则称该因子模型为正交因子模型。子模型。正交因子模型具有如下特性：正交因子模型具有如下特性：x x的方差可表示为的方差可表示为设设第六页，共26页。（）（）hi2hi2是是m m个公共因子对第个公共因子对第i i个变量个变量的贡献，称为第的贡献，称为第i i个共同个共同(gngtng)(gngtng)度（度（communalitycommunality）或共性方差，公）或共性方差，公因子方差（因子方差（common variancecommon variance）（）（）ii称为特殊方差（称为特殊方差（specific specific variancevariance），是不能由公共因子解），是不能由公共因子解释的部分释的部分第七页，共26页。因子载荷（负荷因子载荷（负荷(fh)(fh)）aijaij是随机变是随机变量量xixi与公共因子与公共因子fjfj的相关系数。的相关系数。设设称称gj2gj2为公共因子为公共因子fjfj对对x x的的“贡献贡献”，是，是衡量公共因子衡量公共因子fjfj重要性的一个指标。重要性的一个指标。第八页，共26页。三、因子分析的步骤三、因子分析的步骤(bzhu)输入原始数据输入原始数据xn*p，计算，计算(j sun)样样本均值和方差，进行标准化计算本均值和方差，进行标准化计算(j sun)（处理）；（处理）；求样本相关系数矩阵求样本相关系数矩阵R=(rij)p*p；求相关系数矩阵的特征根求相关系数矩阵的特征根i(1,2,p0)和相应的标准正交的特和相应的标准正交的特征向量征向量li；第九页，共26页。确定公共因子数；确定公共因子数；计算公共因子的共性计算公共因子的共性(gngxng)方差方差hi2;对载荷矩阵进行旋转，以求能更好地解释对载荷矩阵进行旋转，以求能更好地解释公共因子；公共因子；对公共因子作出专业性的解释。对公共因子作出专业性的解释。第十页，共26页。四、因子四、因子(ynz)分析提取因分析提取因子子(ynz)的方法的方法主成分主成分(chng fn)法法（principal component factor）第十一页，共26页。每一个公共因子的载荷系数之平方和等每一个公共因子的载荷系数之平方和等于于(dngy)对应的特征根，即该公共因对应的特征根，即该公共因子的方差。子的方差。第十二页，共26页。极大似然法（极大似然法（maximum likelihood factor）假定原变量服从正态分布，公共因假定原变量服从正态分布，公共因子和特殊因子也服从正态分布，构子和特殊因子也服从正态分布，构造因子负荷造因子负荷(fh)和特殊方差的似和特殊方差的似然函数，求其极大，得到唯一解。然函数，求其极大，得到唯一解。第十三页，共26页。主因子法（主因子法（principal factor）设原变量的相关矩阵设原变量的相关矩阵(j zhn)为为R=(rij)，其逆矩阵，其逆矩阵(j zhn)为为R-1=(rij)。各变量特征方差的。各变量特征方差的初始值取为逆相关矩阵初始值取为逆相关矩阵(j zhn)对角线元素的倒数，对角线元素的倒数，i=1/rii。则共同度的初始值为。则共同度的初始值为(hi)2=1-i=1-1/rii。第十四页，共26页。以以(hi)2代替相关矩阵中的对角线上的元素，代替相关矩阵中的对角线上的元素，得到约化相关矩阵。得到约化相关矩阵。(h1)2 r12 r1p r21 (h2)2 r2p R=.rp1 rp2 (hp)2R的前的前m个特征根及其对应的单位个特征根及其对应的单位(dnwi)化特征向量就是主因子解。化特征向量就是主因子解。第十五页，共26页。迭代主因子法（迭代主因子法（iterated principal factor）主因子的解很不稳定。因此，常以主因子的解很不稳定。因此，常以估计的共同度为初始值，构造新的估计的共同度为初始值，构造新的约化矩阵，再计算其特征根及其特约化矩阵，再计算其特征根及其特征向量，并由此再估计因子负荷及征向量，并由此再估计因子负荷及其各变量的共同度和特殊其各变量的共同度和特殊(tsh)方方差，再由此新估计的共同度为初始差，再由此新估计的共同度为初始值继续迭代，直到解稳定为止。值继续迭代，直到解稳定为止。第十六页，共26页。Heywood现象(xinxing)残差矩阵第十七页，共26页。五、因子五、因子(ynz)旋转旋转目的：使因子负荷两极分化，要么目的：使因子负荷两极分化，要么接近于接近于0，要么接近于，要么接近于1。常用常用(chn yn)的旋转方法：的旋转方法：第十八页，共26页。（1 1）方差最大正交旋转（）方差最大正交旋转（varimax varimax orthogonal rotationorthogonal rotation）基本思想：使公共因子的相对负荷基本思想：使公共因子的相对负荷（lij/hi2lij/hi2）的方差之和最大，且保持）的方差之和最大，且保持原公共因子的正交性和公共方差总和原公共因子的正交性和公共方差总和不变。不变。可使每个因子上的具有最大载荷可使每个因子上的具有最大载荷(zi(zi h)h)的变量数最小，因此可以简化对因的变量数最小，因此可以简化对因子的解释。子的解释。第十九页，共26页。（2 2）斜交旋转）斜交旋转（oblique rotationoblique rotation）因子斜交旋转后，各因子负荷发生因子斜交旋转后，各因子负荷发生了较大变化，出现了两极分化。各了较大变化，出现了两极分化。各因子间不再相互独立，而彼此相关。因子间不再相互独立，而彼此相关。各因子对各变量的贡献各因子对各变量的贡献(gngxin)(gngxin)的总和也发生了改变。的总和也发生了改变。适用于大数据集的因子分析。适用于大数据集的因子分析。第二十页，共26页。六、因子六、因子(ynz)得分得分Thomson法，即回归法法，即回归法回归法得分是由回归法得分是由Bayes思想导出的，思想导出的，得到的因子得到的因子(ynz)得分是有偏的，得分是有偏的，但计算结果误差较小。但计算结果误差较小。第二十一页，共26页。Bartlett法法Bartlett因子因子(ynz)得分是极大似得分是极大似然估计，也是加权最小二乘回归，然估计，也是加权最小二乘回归，得到的因子得到的因子(ynz)得分是无偏的，得分是无偏的，但计算结果误差较大。但计算结果误差较大。因子因子(ynz)得分可用于模型诊断，得分可用于模型诊断，也可用作进一步分析的原始资料。也可用作进一步分析的原始资料。第二十二页，共26页。七、因子分析应用七、因子分析应用(yngyng)实例实例第二十三页，共26页。八、因子分析应用八、因子分析应用(yngyng)的的注意事项注意事项应用条件应用条件（1）变量是计量）变量是计量(jling)的，能的，能用线性相关系数（用线性相关系数（Pearson积叉相关积叉相关系数）表示。系数）表示。（2）总体的同质性）总体的同质性第二十四页，共26页。样本量样本量没有估计公式没有估计公式(gngsh)。至少要。至少要保证样本相关系数稳定可靠。保证样本相关系数稳定可靠。因子数目因子数目一般认为，累积贡献要达到一般认为，累积贡献要达到80%以以上。但要注意上。但要注意Heywood现象。现象。第二十五页，共26页。谢谢(xi xie)！第二十六页，共26页。