深度学习基础Mchapter1ALL (3).pdf
《深度学习基础Mchapter1ALL (3).pdf》由会员分享,可在线阅读,更多相关《深度学习基础Mchapter1ALL (3).pdf(40页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、(Linear Regression Model and Its Solution)线性回归模型及其求解方法1什么是回归?什么是回归?利用训练数据,使用回归模型(如线性模型)去拟合变量之间的关系。因此训练任务就是利用数据,来学习模型中的参数parameter(如线性模型中的斜率和截距)。在本例中,训练完毕后,输入一个披萨的尺寸,模型就可以预测出其价格应该为多少。给定一组数据X?,?研究X和之间关系的统计分析方法称之为回归回归。X是自变量,是因变量。回归和分类的区别和联系回归和分类的区别和联系 区别:区别:分类:使用训练集推断输入所对应的离散类别类别(如:+1,-1)。回归:使用训练集推断输入所
2、对应的输出值输出值,为连续实数。联系:联系:利用回归模型进行分类利用回归模型进行分类:可将回归模型的输出离散化以进行分类,即?。利用分类模型进行回归利用分类模型进行回归:也可利用分类模型的特点,输出其连续化的数值。线性模型线性模型 狭义线性(狭义线性(linear)模型:)模型:通常指自变量与因变量之间按比例、成直线的关系,在数学上可理解为一阶导数为常数的函数,如?;线性通常表现为一次曲线。广义线性(广义线性(generalizedlinearmodel,GLM):):是线性模型的扩展,主要通过联结函数?(linkfunction),使预测值落在响应变量的变幅内。例如逻辑回归?(括号内为线性函
3、数)非线性模型非线性模型 非线性nonlinear模型:非线性一般指不按比例、不成直线的关系,一阶导数不为常数 常见的非线性模型常见的非线性模型 2次以上的多项式 y?+,+?幂函数模型?指数函数模型?对数函数模型:?等等线性回归线性回归 线性回归模型中,假设自变量和因变量满足如下形式:?问题:已知一些数据,如何求里面的未知参数,给出一个最优解。因此通常将参数求解问题转化为求最小误差问题。一般采用模型预测结果与真实结果的差的平方和作为损失函数:?.即求?min?概率解释概率解释 设预测结果?与真实结果?之间误差为?,即?+?通常误差满足平均值为0的高斯分布,即正态分布。那么在一个样本上和的概率
4、密度公式为?;?exp?模型在全部样本上预测的最大似然估计为?12exp?2?2?2?从而,需要?最小求解参数求解参数 接下来,就是求解使得?最小的参数。解法有:矩阵解法。scikitlearn中的LinearRegression类使用的是矩阵解法(有时也称为最小二乘法)。可以解出线性回归系数。梯度下降法。梯度下降(Gradientdescent)是利用一阶的梯度信息找到函数局部最优解的一种方法。参数的矩阵解法参数的矩阵解法例如,设?,即为线性关系?通过通过使 最小,即可确定?,?。根据数学知识我们知道,函数的极值点为偏导为0的点,即?2?1?0?2?0?参数的梯度下降求解法参数的梯度下降求解
5、法梯度下降(Gradientdescent)是利用一阶的梯度信息找到函数局部最优解的一种方法,也是机器学习里面常用的一种优化方法。其基本思想是,要找代价函数最小值,只需要每一步都往下走,也就是每一步都可以让误差损失函数小一点。对于线性回归,参数的更新方法一般为:?1?如何求梯度?Cost()?线性回归的梯度下降线性回归的梯度下降(接上文)?,是如何得出的?对于某个实例i:?12?2?先初始化一组,在这个值之上,用梯度下降法去求出下一组的值。当迭代到一定程度,?的值趋于稳定,此时的即为要求得的值。Thanks!12(Multivariate Regression and Polynomial R
6、egression)多元回归与多项式回归13Sklearn的一元线性回归在scikit-learn中,所有的估计器都带有fit()和predict()方法。fit()用来拟合模型,predict()利用拟合出来的模型对样本进行预测。本例中本例中根据模型,预测12英寸披萨的价格为$13.68from sklearn.linear_model import LinearRegression#创建并拟合模型model=LinearRegression()X=6,8,10,14,18y=7,9,13,17.5,18model.fit(X,y)print(预测12英寸匹萨价格:$%.2f%model.p
7、redict(12)0)用scikit-learn来构建一元线性回归的例子:线性回归的参数 对于刚才的例子,LinearRegression类的fit()方法学习线性回归模型:?线性回归模型学习到的参数是截距和权重系数。下图中的直线就是匹萨直径与价格的线性关系。残差(residual)残差:估计值(拟合值)与实际观察值之间的差。多元线性回归X?,?输出结果:输出结果:Predicted:10.06250019,Target:11Predicted:10.28125019,Target:8.5Predicted:13.09375019,Target:15Predicted:18.14583353
8、,Target:18Predicted:13.31250019,Target:11R-squared:0.77from sklearn.linear_model import LinearRegressionX=6,2,8,1,10,0,14,2,18,0y=7,9,13,17.5,18model=LinearRegression()model.fit(X,y)X_test=8,2,9,0,11,2,16,2,12,0y_test=11,8.5,15,18,11predictions=model.predict(X_test)for i,prediction in enumerate(pred
9、ictions):print(Predicted:%s,Target:%s%(prediction,y_testi)print(R-squared:%.2f%model.score(X_test,y_test)R方计算步骤设 是测试集第个样本的价格,?是真实价格的均值,?是模型对第 个样本的预测价格,n是样本数量。则R方计算步骤为:1).计算残差平方和:?11?9.775?+?8.5?10.75?+?11?13.68?19.192).计算样本总离差平方和:?11?12.7?+?8.5?12.7?+?11?12.7?56.83).最后得到R方:?1?1?.?.?0.66R方是0.66说明测试集中
10、过半数的价格都可以通过模型解释。测试样本真实价格 预测价格?1119.77528.510.7531512.7041817.5851113.68R方可以用于评估回归模型对现实数据拟合的程度。多项式回归用适当幂次的多项式来近似反映因变量与自变量之间的关系。什么是多项式模型?它是由常数与自变量 经过有限次乘法与加法运算得到。例如?+,+?就是多项式函数。多项式回归的步骤:1.生成多项式特征。例如输入样本是维的如?,?,则二阶多项式的 特 征 集 为?1,?,?。在 sklearn 中 可 以 使 用生成多项式特征。2.利用得到的多项式特征,使用线性分类器处理。二次回归(QuadraticRegres
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度学习基础Mchapter1ALL 3 深度 学习 基础 Mchapter1ALL
限制150内