线性回归例子幻灯片.ppt
线性回归例子线性回归例子1第1页，共27页，编辑于2022年，星期一2第2页，共27页，编辑于2022年，星期一简单实例简单实例l一套一套200平方米的房子价格平方米的房子价格l由数据由数据-曲线曲线l要求：拟合曲线的误差最少要求：拟合曲线的误差最少直线直线多项式多项式对数对数指数指数3第3页，共27页，编辑于2022年，星期一梯度下降梯度下降l梯度下降方法实现回归梯度下降方法实现回归l方向导数方向导数l梯度梯度4第4页，共27页，编辑于2022年，星期一方向导数方向导数l方向导数：如果函数方向导数：如果函数z f(x，y)在点在点P(x，y)是是可微分的，那么函数在该点沿任一方向可微分的，那么函数在该点沿任一方向l 的方的方向导数都存在，且有向导数都存在，且有 5第5页，共27页，编辑于2022年，星期一梯度梯度l梯度：梯度：函数在某点的梯度是这样一个向量，函数在某点的梯度是这样一个向量，它的方向它的方向与取得最大方向导数的方向一致与取得最大方向导数的方向一致(等高线，法向量等高线，法向量)，而它的模为方向导数的最大值，而它的模为方向导数的最大值 PS：grad f(x,y)，即函数f(x,y)梯度 f(x,y)=c，即在(x,y)处等高线值为c6第6页，共27页，编辑于2022年，星期一梯度下降梯度下降-实例（实例（1）l考虑一座山在点考虑一座山在点(x,y)的高度是的高度是H(x,y)。在这一。在这一点的点的梯度梯度是在该点是在该点坡度坡度（或者说（或者说斜度斜度）最陡的最陡的方向方向。梯度的。梯度的大小大小告诉我们坡度到底告诉我们坡度到底有多陡有多陡。7第7页，共27页，编辑于2022年，星期一梯度下降梯度下降-实例（实例（1）l函数，如下曲面图：曲面图：8第8页，共27页，编辑于2022年，星期一梯度下降梯度下降-实例（实例（1）等高线图：等高线图：9第9页，共27页，编辑于2022年，星期一梯度下降回归梯度下降回归-缺陷缺陷l靠近极小值时速度减慢。靠近极小值时速度减慢。l可能会可能会之字型之字型地下降。地下降。10第10页，共27页，编辑于2022年，星期一梯度下降梯度下降-实例（实例（2）l表达式表达式lWhere is 最小值最小值?l远离远离(1,1)点点 和和 在在(1,1)点领域内的变化缓急？点领域内的变化缓急？?11第11页，共27页，编辑于2022年，星期一梯度下降梯度下降-实例（实例（2）12第12页，共27页，编辑于2022年，星期一梯度下降梯度下降-实例（实例（2）l其最小值在(1,1)处，数值为0。l此函数具有狭窄弯曲的山谷，最小值就在这些山谷之中，并且谷底很平。l优化过程是之字形的向极小值点靠近，速度非常缓慢。13第13页，共27页，编辑于2022年，星期一logistic回归回归lLogistic回归本质上是线性回归，只是在特征到结果回归本质上是线性回归，只是在特征到结果的映射中加入一层函数映射的映射中加入一层函数映射14第14页，共27页，编辑于2022年，星期一logistic回归回归l应用应用二分类二分类Logistic回归模型回归模型多分类多分类Logistic回归模型回归模型15第15页，共27页，编辑于2022年，星期一logistic回归回归l患病率 P1=a/m1 P2=b/m216第16页，共27页，编辑于2022年，星期一logistic回归回归lOdds=(Odds为优势为优势)lP越大越大,则则Odds越大；越大；P越小越小,则则Odds越小越小l对于两个对于两个Odds的比较，一般用它们的的比较，一般用它们的Ratio，并称并称为为Odds Ratio(OR,优势比优势比)，其定义如下：，其定义如下：17第17页，共27页，编辑于2022年，星期一logistic回归回归l样本估计统计量为样本估计统计量为：l比较结果：比较结果：OR=1?OR1?OR1?l多重线性回归的表达式为：多重线性回归的表达式为：公式18第18页，共27页，编辑于2022年，星期一logistic回归回归l由上面公式可推导出19第19页，共27页，编辑于2022年，星期一logistic回归系数的意义回归系数的意义l以以x1的回归系数的回归系数 为例为例l一个暴露因素：暴露为一个暴露因素：暴露为1，非暴露为，非暴露为0。l除除x1，固定其它自变量固定其它自变量20第20页，共27页，编辑于2022年，星期一logistic回归回归实例（实例（1）研究急性心肌梗塞研究急性心肌梗塞(AMI)患病与饮酒的关系。患病与饮酒的关系。21第21页，共27页，编辑于2022年，星期一logistic回归回归实例（实例（1）l饮酒的患病率和饮酒的患病率和Odds分别为分别为l不饮酒的患病率和不饮酒的患病率和Odds分别为分别为22第22页，共27页，编辑于2022年，星期一logistic回归回归实例（实例（1）l患病患病(Y=1)的概率为的概率为lx=1 表示饮酒，表示饮酒，x=0表示不饮酒表示不饮酒l回归系数回归系数 是未知参数，通常用最大似然估计的方是未知参数，通常用最大似然估计的方法获得。法获得。23第23页，共27页，编辑于2022年，星期一logistic回归回归实例（实例（1）l饮酒饮酒(x=1)，患病概率和未患病概率分别为，患病概率和未患病概率分别为l不饮酒不饮酒(x=0)，患病概率和未患病概率分别为，患病概率和未患病概率分别为24第24页，共27页，编辑于2022年，星期一logistic回归回归实例（实例（1）l最大似然估计最大似然估计l选择选择 使似然函数使似然函数L达到最大，即最大似然估计。达到最大，即最大似然估计。25第25页，共27页，编辑于2022年，星期一logistic回归回归实例（实例（1）l用用Logistic模型进行统计分析模型进行统计分析l以上述实例资料用以上述实例资料用Stata统计软件对回归系数进行最大似然估计，统计软件对回归系数进行最大似然估计，得到回归系数估计为得到回归系数估计为l即即26第26页，共27页，编辑于2022年，星期一27第27页，共27页，编辑于2022年，星期一
