结构方程模型与偏最小二乘法.ppt

结构方程模型与偏最小二乘法报告人：宁禄乔吴兵福何 涛主要内容v结构方程模型简介v结构方程模型原理因子模型路径模型v结构方程模型与偏最小二乘法v基于两个潜变量的偏最小二乘法v基于多个潜变量的偏最小二乘法v偏最小二乘法的几何意义结构方程模型简介v 结构方程模型（Structural Equation Model,SEM）v 协方差结构模型（Covariance Structure Modeling,CSM）v 线性结构方程模型LISREL（LInear Structural RELationship）v 基于变量的协方差(相关系数)矩阵来分析变量之间关系的一种统计方法v 应用于社会学、教育学、心理学等 为何要用结构方程模型 v 很多社会、心理研究中涉及的变量，都不能准确、直接地测量，这种变量称为潜变量（Latent variable），如智力、学习动机、家庭社会经济地位等等。我们只好退而求其次，用一些外显指标（observable indicators），去间接测量这些潜变量。v 例如：以学生父母教育程度、父母职业及其收入（共6个变量），作为学生家庭社会经济地位（潜变量）的指标；以学生语文、数学、英语三科成绩（外显变量），作为学业成就（潜变量）的指标。为何要用结构方程模型v 回归分析虽然容许因变量含测量误差，但需要假设自变量是没有误差的。当自变量和因变量都不能准确测量时，理论上来说，线性回归方程是不能用来估计变量之间的关系。v 结构方程分析经常用来比较不同的模型。例如，被测试学生接收多个科目（语文，数学，英语，生物，化学，物理，地理，历史等）的测验，我们提出不同模型去解释各种能力之间的关系。这包括：（1）所有能力可用一个一般能力（类似心理学上一般智力）来表达；（2）各种能力可分为文、理两类；（3）其他。结构方程分析将同一组数据用不同的模型去拟合，看看哪一个模型拟合得更好，从而推测学生各科目能力的结构。一种量化研究方法v定性研究定量研究（演绎）v例如：顾客满意度与顾客忠诚智商，情商与成就v定量研究定性研究（归纳）调查问卷数据挖掘结构方程分析v 纯粹验证（strictly confirmatory）：只有一个模型去拟合一个样本数据，分析目的是决定接受还是拒绝这个模型v 选择模型（alternative model）：提出数个不同的可能模型，从各模型拟合样本数据的优劣，决定哪个模型最为可取。v 模型产生（model generating）：先提出一个或多个基本模型，检查这些模型是否拟合样本数据，基于理论或样本数据，分析找出模型中拟合欠佳的部分，修改模型，并通过同一数据或其他样本，检查修正模型的拟合程度，整个分析过程的目的在于产生一个最佳模型。学科 1 2 3 4 5 6 7 8 91 1.002 0.12 1.003 0.08 0.08 1.004 0.50 0.1 1 0.08 1.005 0.48 0.03 0.12 0.45 1.006 0.07 0.46 0.15 0.08 0.1 1 1.007 0.05 0.44 0.15 0.12 0.12 0.44 1.008 0.14 0.17 0.53 0.14 0.08 0.10 0.06 1.009 0.16 0.05 0.43 0.10 0.06 0.08 0.10 0.54 1.00模型v学科可分为三组（即三个因子）：学科1，4，5为一组；学科2，6，7为一组；学科3，8，9为一组；这三组成绩可能相互关联。模型路径图 结构方程分析原理 v结构方程模型是验证性因子模型和（潜变量）因果模型的结合。因子分析算法原理 因子模型v x1，x2，x3是潜变量1的指标（indicator），x4，x5是潜变量2的指标v测量方程（measurement equation），反映了因子（潜变量）与其测量指标之间的关系测量方程模型假设 v误差项的均值为零，即E(i)=0，i=15；v误差项与因子之间不相关，即cov(i，j)=0，i=1，2，j=1,2,5；v误差项之间不相关，即cov(i，j)=0，ij。矩阵形式v x x+学科 1 2 3 4 5 6 7 8 91 1.002 0.12 1.003 0.08 0.08 1.004 0.50 0.1 1 0.08 1.005 0.48 0.03 0.12 0.45 1.006 0.07 0.46 0.15 0.08 0.1 1 1.007 0.05 0.44 0.15 0.12 0.12 0.44 1.008 0.14 0.17 0.53 0.14 0.08 0.10 0.06 1.009 0.16 0.05 0.43 0.10 0.06 0.08 0.10 0.54 1.00学科 1 2 3 4 5 6 7 8 91 1.002 0.10 1.003 0.1 1 0.10 1.004 0.50 0.09 0.10 1.005 0.48 0.09 0.09 0.45 1.006 0.10 0.46 0.10 0.09 0.09 1.007 0.09 0.44 0.09 0.09 0.08 0.44 1.008 0.13 0.12 0.53 0.12 0.12 0.12 0.1 1 1.009 0.1 1 0.10 0.43 0.10 0.10 0.10 0.09 0.54 1.00模型路径参数与再生矩阵的关系 v cov(1,9)=0.73*0.22*0.66=0.11v即学科1与学科9的相关系数学科1负荷两因子间相关系数学科9负荷 路径分析算法原理 v例子：研究小学生受同学喜欢的程度，这个变量受到该生的学习成绩、欺负行为的影响，还会受到班主任对他的喜欢程度的影响，而班主任对他的喜欢程度也受到该生的学习成绩、欺负行为的影响。学习成绩（x1）；欺负行为（x2）；班主任的喜欢程度（y1）；受同学喜欢的程度（y2）。术语v在路径（因果）模型中，将回归方程称为结构方程（structural equation），将标准化的回归系数称为路径系数（path coefficient）v对整个模型，变量可分为外源（exogenous）变量和内生（endogenous）变量。外源变量是那些只起自变量作用的变量，内生变量是那些起因变量作用的变量路径图路径系数 v协方差的线性性质v Z1和Z3的协方差路径系数（续）结构方程分析原理 v 结构方程模型是验证性因子模型和（潜变量）因果模型的结合。v 包含：因子模型部分称为测量模型（measurement model），其中的方程称为测量方程（measurement equation），描述了潜变量与指标之间的关系。结构方程模型包含的因果模型部分称为潜变量模型（latent variable model），也称为结构模型，其中的方程称为结构方程（structural equation），描述了潜变量之间的关系。结构方程模型v测量方程v结构方程方程说明v y是由p个内生指标组成的p1向量 v 是由m个内生潜变量（因子）组成的m1向量 v y是y在上的pm因子负荷矩阵 v 是p个测量误差组成的p1向量 v x是由q个外源指标组成的q1向量 v 是由n个外源潜变量（因子）组成的n1向量 v x是x在上的qn因子负荷矩阵v 是q个测量误差组成的q1向量 方程说明（续）v B是mm系数矩阵，描述了内生潜变量之间的彼此影响 v 是mn系数矩阵，描述了外源潜变量对内生潜变量的影响 v 是m1残差向量 模型假设 v测量方程误差项、的均值为零 v结构方程残差项的均值为零 v误差项、与因子、之间不相关，与不相关 v残差项与、之间不相关 参数矩阵v一个完整的结构方程模型包含如下8个参数矩阵：y，x，B，和 v y，x，B，在测量方程或结构方程中出现 v 为潜变量的协方差矩阵 v 为残差项的协方差矩阵 v 和分别是和的协方差矩阵 结构方程模型求解结构方程分析步骤v 模型建构（model specification）v 模型拟合（model fitting）v 模型评价（model assessment）v 模型修正（model modification）模型建构 v 观测变量（即指标）与潜变量（即因子）的关系；v 各潜变量之间的相互关系（指定哪些因子之间有相关关系或直接效应）；v 在复杂的模型中，可以限制因子负荷或因子相关系数等参数的数值或关系；模型拟合 v 建立模型，设法求出模型的解，主要的是模型参数的估计（模型拟合）。在结构方程模型分析中，我们的目标是求参数使得模型隐含的协方差矩阵（即再生矩阵）与样本协方差矩阵的差距最小。如何定义差距，产生不同的模型拟合方法及相应的参数估计。v 常用的估计方法如下：工具变量（instrumental variable）两阶段最小二乘（two stage least squares）无加权最小二乘（unweighted least squares）最大似然（maximum likelihood）广义最小二乘（generalized least squares）一般加权最小二乘（generally weighted least squares）对角加权最小二乘（diagonally weighted least squares）在上述方法中，最大似然估计最为常用。模型评价 v结构方程的解是否适当，包括迭代估计是否收敛（iterated estimate converge），各参数估计值是否在合理范围内；v参数与假设模型的关系是否合理。各参数不应出现互相矛盾，与先验假设有严重冲突的现象；v检查多个不同类型的整体拟合指数，以衡量模型的拟合程度；模型修正 v 根据理论或有关假设，提出一个或数个合理的先验模型；v 检查潜变量与指标之间的关系，建立测量模型，有时可能增删或重组；v 对每一个模型，检查标准误差，t值，标准化残差，修正指数，参数期望改变值等各种拟合参数；v 最后的模型是依据某一个样本数据修改而成，最好用另一个独立样本作交叉验证（cross validate）结构方程模型的统计方法v常用的统计方法，部分蕴含从属关系。v例如：方差分析用以检查两组或更多组别的均值差异，但t检验只能处理两组，所以t检验是方差分析的特例。但（没有重复测量的）方差分析又是回归分析的特例，因为理论上，方差分析所涉及的问题，都可在回归模型下处理，所以回归分析涵盖方差分析和t检验。结构方程模型的统计方法v结构方程分析包括测量模型（因子与指标的关系）和结构模型（因子间关系）。若各因子可以直接测量（因子本身就是指标），则结构方程分析就是回归分析。若只考虑因子之间的相关，不考虑因子之间的因果关系，则结构方程分析就是因子分析。结构方程模型优点 v 同时处理多个因变量在计算回归系数或路径系数时，是对每个因变量逐一计算，意味着在计算对某一个因变量的影响或关系时，都忽略了其他因变量的存在及其影响 v 容许自变量和因变量含测量误差v 同时估计因子结构和因子关系常用的做法是对每个潜变量，先用因子分析计算潜变量与指标变量的关系，进而得到因子得分，作为潜变量的观测值；然后再计算因子得分的相关系数，作为潜变量之间的相关系数。结构方程模型优点v 容许更大弹性的测量模型传统方法只容许一个指标从属于单一因子，结构方程分析容许更加复杂的模型。例如，我们用英语书写的数学试题，去测量学生的数学能力，则测验得分（指标）既从属于数学因子，也从属于英语因子v 估计整个模型的拟合程度在传统路径分析中，只估计每一路径（变量间关系）的强弱。在结构方程分析中，除了上述参数的估计外，还可以计算不同模型对同一个样本数据的整体拟合程度，从而判断哪一个模型更接近数据所呈现的关系。结构方程模型与偏最小二乘法v结构方程求解过程：在理论上就是求解一组线性方程组在计算机求解过程中是迭代v结构方程模型求解方法基于LISREL算法基于PLS算法LISREL与PLS比较LISREL方程表示PLS方程表示PLS估计与LISREL估计系数比较 描述性统计比较多个潜变量的PLS算法v 如何将PLS算法从两个潜变量扩展到多个潜变量 形式规范(formal specification)v 外部关系（outer relation）v 内部关系（inner relation）v 因果预测（causal-predictive）关系 v 权重关系（weight relation）迭代步骤 符号检验 外部关系v 假定每个指标变量（也称为显变量Manifest Variable，MV）与其潜变量均成线性关系 代表第个潜变量；代表第个显变量；代表显变量值；代表潜变量值；代表误差值；代表第个潜变量的第个显变量值；代表回归方程的截距(location parameter)；代表回归方程的回归系数，也称其为指标变量的载荷(loading)；外关系服从预测规范（predictor specifcation）内部关系 v假定潜变量之间的关系是一种线性因果链（causal chain）服从预测规范因果预测关系 v使用消元的办法，用外生潜变量来表示内生潜变量的指标变量 v例如：权重关系 v PLS算法的主要原理是假定各组观测变量之间的所有信息均由潜变量来传递，因此我们可以利用潜变量与其相邻接潜变量进行信息交换；v 在PLS算法中，这种信息交换是通过两种方式来体现的：内部关系权重关系v 权重关系利用信息交换过程中的部分信息估计潜变量值。任何一个潜变量均可以通过其指标变量的加权和来估计，而权重则由所选择的权重关系来确定。每个潜变量权重关系可根据不同的情况包括模式A（Mode A）或模式B（Mode B）。权重关系权重关系权重关系PLS算法的计算步骤 符号检验应用举例模型路径图 程序运行结果 结论v教育水平，科技水平和收入水平呈很强的正相关；v除半文盲比例与教育水平呈负相关外，其他指标变量与潜变量之间均呈很强的正相关。v科技水平0.9326教育水平 v收入水平0.1176教育水平0.8290科技水平 0