深度学习基础Mchapter1ALL (1).pdf

《深度学习基础Mchapter1ALL (1).pdf》由会员分享，可在线阅读，更多相关《深度学习基础Mchapter1ALL (1).pdf（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、(TheIntroductionofDeepLearning)深度学习的引出深度学习的引出1人类的学习2自行车自行车汽车汽车？自行车汽车什么是机器学习？3xy训练(求参数?,?,?的取值)举例：两类数据点，如何进行分类？机器学习（Machine Learning）是对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数。并最终对数据进行预测和分析的一门学科。其基础主要是归纳和统计。?问题模型已明确分类结果的样本数据集（训练集）模型(参数?,?,?具有了最终的取值)分类/判别待分类的数据结果(待分类数据属于哪一类别的判断)(模型参数?,?,?的取值待确定)?,其中?1,?0,?，?表示阈

2、值4问题：根据繁华程度(?)、交通便利度(?)、与市中心距离(?)、楼层(?)预测房价的高低:输入输出?,?,?,?从简单线性分类器到深度学习（一）?5深度学习网络往往包含多个中间层（隐藏层），且网络结构要更复杂一些！加入中间层（隐藏层）：输入层输出层输出：?,其中?1,?0,?，?表示阈值中间层输入：某样本的四个分量?,?,?,?从简单线性分类器到深度学习（二）什么是深度学习？深度学习（Deeplearning）是一种实现机器学习的技术,是机器学习重要的分支。其源于人工神经网络的研究。深度学习的模型结构是一种含多隐层的神经网络。通过组合低层特征形成更加抽象的高层特征。6机器学习深度学习输入层

3、(InputLayer)隐藏层(HiddenLayer)输出层(OutputLayer)隐藏层(HiddenLayer)深度学习的来历 受到了人脑神经元工作机理的启发:典型神经元的结构深度学习的多层神经网络结构1995年支持向量机1969年Minsky 神经网络的三起两落:72012年深度学习2006年Hinton1986年Hinton1958年Rosenblatt深度学习领域“三驾马车”8Geoffery HintonGeoffery HintonYannLeCunYoshua Bengio LeCun提出了一种神经网络模型(卷积神经网络)，用于手写字符图像识别。开创了将神经网络应用于自然语

4、言处理的先河。深度学习工具 Theano 的开发者。深度学习之父。2006年在Science发表文章，提出深度学习的概念。深度学习的应用领域910数据集拆分性能评价循环神经网络梯度计算信息熵特征工程回归问题正则化卷积神经网络递归神经网络课程后续内容安排生成式神经网络有监督模型无监督模型xyThanks!哈尔滨工业大学计算机学院 刘远超11(DataSetandItsSplit)数据集及其拆分数据集及其拆分12Iris(鸢尾花)数据集变色鸢尾(Iris versicolor)山鸢尾(Iris setosa)维吉尼亚鸢尾(iris virginica)分类特征：分类特征：花萼（sepal）和花瓣（

5、petal）的宽度和长度13二维表sepallength sepalwidth petallength petalwidthclass5.13.51.40.214.931.40.2173.24.71.426.43.24.51.526.33.362.535.82.75.11.93每个样本包含4个特征(单位：cm)，1个类别标签(类别编码)。共有150个样本，3类，每类50个样本。Iris(鸢尾花)数据集(续)14数据集(dataset)的数学表示sepallength sepalwidth petallength petalwidthclass5.13.51.40.214.931.40.2173

6、.24.71.426.43.24.51.526.33.362.535.82.75.11.9315数据集在数学上通常表示为?,?,?,?,?,?,?,?的形式，其中?为样本特征。由于样本一般有多个特征，因而?,?,?。而?表示样本 的类别标签。类别标签的groundtruth与goldstandard ground truth：可翻译为地面实况等。在机器学习领域一般用于表示真实值、标准答案等，表示通过直接观察收集到的真实结果。gold standard：可翻译为金标准。医学上一般指诊断疾病公认的最可靠的方法。在机器学习领域，更倾向于使用“ground truth”。而如果用 gold stand

7、ard这个词，则表示其可以很好地代表ground truth。16数据集与有监督学习 有监督学习中数据通常分成训练集、测试集两部分。训练集(trainingset)用来训练模型，即被用来学习得到系统的参数取值。测试集(testingset)用于最终报告模型的评价结果，因此在训练阶段测试集中的样本应该是unseen的。有时对训练集做进一步划分为训练集和验证集(validationset)。验证集与测试集类似，也是用于评估模型的性能。区别是验证集主要用于模型选择和调整超参数，因而一般不用于报告最终结果。训练预测模型?,?)?比较17训练集=测试集=?,?,?,?,?,?,?,?训练集、测试集的拆分

8、可以使用sklearn(即scikitlearn)进行训练集、测试集的拆分。如何安装sklearn:anaconda是一个开源的Python发行版本，其包含了很多科学包及其依赖项，也包含sklearn。网址：https:/ 留出法（HoldOutMethod）数据拆分步骤：1.将数据随机分为两组，一组做为训练集，一组做为测试集2.利用训练集训练分类器，然后利用测试集评估模型，记录最后的分类准确率为此分类器的性能指标 留出法的优点是处理简单。而不足之处是在测试集上的预测性能的高低与数据集拆分情况有很大的关系，所以基于这种数据集拆分基础上的性能评价结果不够稳定。19训练集测试集数据集K折交叉验证

9、K折交叉验证的上述做法有助于提高评估结果的稳定性Round1D1D2D3D4D5Round2D1D2D3D4D5Round3D1D2D3D4D5Round4D1D2D3D4D5Round5D1D2D3D4D5TrainsetTestset5折交叉验证示意图测试结果1测试结果2测试结果3测试结果4测试结果5返回平均值20过程：1.数据集被分成K份（K通常取5或者10）2.不重复地每次取其中一份做测试集，用其他K1份做训练集训练，这样会得到K个评价模型3.将上述步骤2中的K次评价的性能均值作为最后评价结果分层抽样策略（分层抽样策略（StratifiedkfoldStratifiedkfold）将数

10、据集划分成k份，特点在于，划分的k份中，每一份内各个类别数据的比例和原始数据集中各个类别的比例相同。21数据集用网格搜索来调超参数（一）什么是超参数？指在学习过程之前需要设置其值的一些变量，而不是通过训练得到的参数数据。如深度学习中的学习速率等就是超参数。什么是网格搜索?假设模型中有2个超参数：A和B。A的可能取值为a1,a2,a3，B的可能取值为连续的，如在区间01。由于B值为连续，通常进行离散化，如变为0,0.25,0.5,0.75,1.0 如果使用网格搜索，就是尝试各种可能的(A,B)对值，找到能使的模型取得最高性能的(A,B)值对。22BA00.250.50.751.0a3a2a1用网

11、格搜索来调超参数（二）网格搜索与K折交叉验证结合调整超参数的具体步骤：1.确定评价指标；2.对于超参数取值的每种组合，在训练集上使用交叉验证的方法求得其K次评价的性能均值；3.最后，比较哪种超参数取值组合的性能最好，从而得到最优超参数的取值组合。训练预测模型预测K折交叉验证23训练集测试集超参数取值的每种组合Thanks!哈尔滨工业大学计算机学院 刘远超24(ClassificationProblemandItsPerformanceEvaluation)分类及其性能度量分类及其性能度量25分类问题 分类问题是有监督学习的一个核心问题。分类解决的是要预测样本属于哪个或者哪些预定义的类别。此时输

12、出变量通常取有限个离散值。分类的机器学习的两大阶段：1）从训练数据中学习得到一个分类决策函数或分类模型，称为分类器（classifier）；2）利用学习得到的分类器对新的输入样本进行类别预测。两类分类问题与多类分类问题。多类分类问题也可以转化为两类分类问题解决，如采用一对其余(One-vs-Rest)的方法：将其中一个类标记为正类，然后将剩余的其它类都标记成负类。26分类性能度量准确率假设只有两类样本，即正例(positive)和负例(negative)。通常以关注通常以关注的类为正类，其他类为负类。的类为正类，其他类为负类。实际类别预测类别正负总计正TPFNP(实际为正)负FPTNN(实际为

13、负)表中AB模式：第二个符号表示预测的类别，第一个表示预测结果对了(True)还是错了(False)分类准确率（分类准确率（accuracy）：分类器正确分类的样本数与总样本数之比:?27思考：假设共有100个短信，其实际情况为，其中有1个是垃圾短信，99个是非垃圾短信。某分类模型将这100个短信都分为非垃圾短信，则准确率（accuracy）为？分类性能度量精确率和召回率 精确率(precision)和召回率(recall)：是二类分类问题常用的评价指标。是二类分类问题常用的评价指标。precision?recall?精确率反映了模型判定的正例中真正正例的比重。在垃圾短信分类器中，是指预测出的

14、垃圾短信中真正垃圾短信的比例。召回率反映了总正例中被模型正确判定正例的比重。医学领域也叫做灵敏度（sensitivity）。在垃圾短信分类器中，指所有真的垃圾短信被分类器正确找出来的比例。实际类别预测类别正例负例总计正例TPFNP(实际为正例)负例FPTNN(实际为负例)28分类性能度量PR曲线Area(AreaUnderCurve,或者简称AUC)Area的定义（p-r曲线下的面积）如下:?Area有助于弥补P、R的单点值局限性，可以反映全局性能。29如何绘制PR曲线要得到PR曲线，需要一系列Precision和Recall的值。这些系列值是通过阈值阈值来形成的。对于每个测试样本，分类器一般

15、都会给了“Score”值，表示该样本多大概率上属于正例。步骤：1.从高到低将“Score”值排序并依此作为阈值threshold；2.对于每个阈值，“Score”值大于或等于这个threshold的测试样本被认为正例，其它为负例。从而形成一组预测数据。实际类别预测类别正例负例总计正例TPFNP(实际为正例)负例FPTNN(实际为负例)样本#实际类别预测分值1P0.92N0.83P0.754N0.75P0.65?precision?,recall?)PNPNPN30分类性能度量F值 F值?是精确率和召回率的调和平均:?一般大于0。当=1时，退化为F1：?比较常用的是F1,即表示二者同等重要31分

16、类性能度量ROC 假设只有两类，即正类(positive)和负类(negative),通常以关注的类为正类，其他类为通常以关注的类为正类，其他类为负类。负类。则有4种可能：实际类别预测类别正例负例总计正例TPFNP(实际为正例)负例FPTNN(实际为负例)表中AB模式：第二个符号表示预测的类别，第一个表示预测结果对了还是错了 横轴：假正例率?纵轴：真正例率?ROC(受试者工作特征曲线,receiver operating characteristic curve)描绘了分类器在(真正正例占总正例的比率，反映命中概率，纵轴)和 (错误的正例占反例的比率，反映误诊率、假阳性率、虚惊概率，横轴)间的

17、tradeoff。32分类性能度量ROC曲线绘制要得到一个曲线，需要一系列 和 的值。这些系列值是通过阈值来形成的。对于每个测试样本，分类器一般都会给了“Score”值，表示该样本多大概率上属于正例（或负例）。步骤：1.从高到低将“Score”值排序并依此作为阈值threshold；2.对于每个阈值，“Score”值大于或等于这个threshold的测试样本被认为正例，其它为负例。从而形成一组预测数据。实际类别预测类别正例负例总计正例TPFNP(实际为正例)负例FPTNN(实际为负例)样本#实际类别预测分值1P0.92N0.83P0.754N0.75P0.65?,?)PNPNPN33分类性能度

18、量ROCAUC计算ROC AUC（AreaUnderCurve）定义）定义为ROC曲线下的面积 AUC值提供了分类器的一个整体数值。通常AUC越大，分类器更好 取值范围为0,134分类性能可视化混淆矩阵（Confusionmatrix）的可视化如用热图（heatmap）直观地展现类别的混淆情况（每个类有多少样本被错误地预测成另一个类）实际类别预测类别正例负例总计正例TPFNP(实际为正例)负例FPTNN(实际为负例)35分类报告分类报告(Classificationreport)显示每个类的分类性能。包括每个类标签的精确率、召回率、F1值等。precisionrecallf1scoresupp

19、ortclass00.671.000.802class10.000.000.001class21.001.001.002avg/total0.670.800.72536Thanks!37(RegressionProblemandItsPerformanceEvaluation)回归问题及其性能评价回归问题及其性能评价38回归问题什么是回归？回归分析（regressionanalysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。39和分类问题不同，回归通常输出为一个实数数值。而分类的输出通常为若干指定的类别标签。回归性能度量方法(RegressionmetricsRegr

20、essionmetrics)常用的评价回归问题的方法:平均绝对误差MAE(mean_absolute_error)均方误差MSE(mean_squared_error)及均方根差RMSELogloss，或称交叉熵loss(crossentropyloss)R方值，确定系数(r2_score)(后文介绍)40平均绝对误差平均绝对误差MAEMAEMAE(Meanabsoluteerror)是绝对误差损失(absoluteerrorloss）的期望值。如果?是第i个样本的预测值，yi是相应的真实值，那么在nsamples个测试样本上的平均绝对误差（MAE）的定义如下：?,?|?|?41均方差MSEM

21、SEMSE(Meansquarederror),该指标对应于平方误差损失(squarederrorloss)的期望值。如果?是第i个样本的预测值，yi是相应的真实值，那么在nsamples上的均方差的定义如下：?,?1?|?|?均方根差RMSE:RootMeanSquaredError,RMSE,是MSE的平方根42均方差MSE的应用举例 假设模型预测某日下雨的概率为P:43预测概率Groundtruth（1表示下雨，0表示没下雨）MSE模型性能1.01(1.01.0)2=0完美1.00(1.00)2=1糟糕0.71(0.71.0)2=0.09误差较小0.31(0.31.0)2=0.49误差较

22、大logistic回归损失(二类)简称Logloss，或交叉熵损失(crossentropyloss)常用于评价逻辑回归LR和神经网络对于二类分类问题：1.假设某样本的真实标签为y(取值为0或1)，概率估计为?1?，2.每个样本的logloss是对分类器给定真实标签的负log似然估计(negativeloglikelihood)：?,?log?1?log?1?44logistic回归损失(二类)公式：?,?log?1?log?1?假设y_true=0,0,1,1y_pred=.9,.1,.8,.2,.3,.7,.01,.99对于第一个样本，y=0，p=0.1则?,?1?log 1?1 0.9?

23、对于第二个样本，y=0，p=0.2,则?,?1?log 1?1 0.8?对于第三个样本，y=1，p=0.7,则?,?1?log 1?1 0.7?对于第四个样本，y=1，p=0.99,则?,?1?log 1?1 0.99?以对数e为底数，则上述四项的均值为0.1738(Sklearn中默认为以e为底)45logistic回归损失(多类)对于多类问题(multiclassproblem),可将样本的真实标签（truelabel)编码成1ofK（K为类别总数）的二元指示矩阵Y：假设模型对测试样本的概率估计结果为P，则在测试集(假设测试样本总数为N)上的交叉熵损失表示如下：?,?,?,?其中?,?表示

24、第 i 个样本的第 k个标签的真实值，注意由于表示为“1ofK”模式，因此每个样本只有其中一个标签值为1，其余均为0。?,?表示模型对该样本的预测值。转换举例：假设K=3,即三个类Y_true=1,2,3Y_trueB=1,0,0,0,1,0,0,0,146logistic回归损失(多类)举例：6个样本，三个类Y_true=0,0,1,1,2,2Y_trueB=1,0,0,1,0,0,0,1,0,0,1,0,0,0,1,0,0,1Y_pred=.6,.1,.3,.5,.2,.3,.3,.6,.1,.1,.8,.1,.3,.3,.4,.2,.5,.31 0.61 0.51 0.61 0.81 0

25、.41 0.3则?,?0.6?0.5?0.6?0.8?0.4?0.3?/6=0.676347根据公式，?,?,?,?讨论:回归评价的groundtruth如何获得？MAE,RMSE(MSE）常用于评分预测评价很多提供推荐服务的网站都有一个让用户给物品打分的功能。预测用户对物品评分的行为称为评分预测。48Thanks!49(Agreement Evaluation)一致性的评价方法一致性的评价方法50什么是一致性评价？什么是一致性评价？一致性评价，是指对两个或多个相关的变量进行分析，从而衡量其相关性的密切程度。51假设两评委（rater）对5部电影的评分如下，则二者的一致如何？rater1=0.

26、5,1.6,2.5,2.5,2.4rater2=1.5,2.6,3.5,3.5,3.4一致性评价一致性评价皮尔森相关系数法问题举例：如何评价两个评委的一致性？rater1=0.5,1.6,2.5,2.5,2.4rater2=1.5,2.6,3.5,3.5,3.4皮尔森相关系数(Pearsoncoefficient)的应用背景：用来衡量两个用户之间兴趣的一致性用来衡量预测值与真实值之间的相关性既适用于离散的、也适用于连续变量的相关分析X和Y之间的皮尔森相关系数计算公式：,?,?其中，,表示和之间的协方差（Covariance）,?是的均方差,?是的均值,表示数学期望取值区间为1，1。1:完全的负

27、相关，+1:表示完全的正相关，0:没有线性相关52一致性评价一致性评价CohenskappaCohenskappa 相关系数相关系数 Cohens kappa相关系数也可用于衡量两个评价者之间的一致性。其特点在于：与pearson相关系数的区别：Cohens kappa 相关系数通常用于离散通常用于离散的的分类的一致性评价。其通常被认为比两人之间的简单一致百分比更强壮更强壮，因为Cohenskappa考虑到了二人之间的随机一致的可能性。如果评价者多于2人时，可以考虑使用Fleisskappa.53假设有50个人申请奖学金。有两个评委A和 B。每个评委对每个申请者说“Yes”or“No”。假设A

28、B一致性情况如下矩阵所示。Cohenskappa计算方法Cohenskappa计算方法先计算AB一致性比例为?0.7再计算AB之间的随机一致性概率 (theprobabilityofrandomagreement)，注意到:1.A对25个申请者说yes，因此 比例为25/50=50%2.B对30个申请者说yes，因此比例为30/50=60%3.因此，AB两人随机都说YES的概率?0.5 0.6?0.34.同样，?0.5 0.4?0.25.AB的整体随机一致性(Overallrandomagreement)概率?=0.3+0.2=0.5 最后应用Cohenskappa公式，得到?.?.?.?.B

29、YesNoAYesabNocdBYesNoAYes205No101554CohenskappaCohenskappa取值的一致性含义取值的一致性含义kappascore是一个介于1到+1之间的数.55Fleisskappa1234510000142026423003564039205228116770007326308253229652101002237Total2028392132以上是14个评价者对10个item进行5级评价的结果（N=10，n=14，k=5）。则计算Fleiss Kappa相关系数的过程为：step 1.对每一列计算，即同列数据相加除以任务总数(14*10=140)。可以

30、理解为每个分类的随机一致概率。以第一列为例，则?0.143560.1430.2000.2790.1500.229Fleisskappa(续)Step2.计算?，即对每一个标注任务进行实际一致性的计算，以第2个item为例：?0?2?6?4?2?14?0.2531234510000142026423003564039205228116770007326308253229652101002237Total20283921320.1430.2000.2790.1500.229571.0000.2530.3080.4400.3300.4620.2420.1760.2860.286Fleisskappa(续)1234510000141.0002026420.2533003560.3084039200.4405228110.3306770000.4627326300.2428253220.1769652100.28610022370.286Total20283921320.1430.2000.2790.1500.229Step3.计算?和?：?1.000?0.253?0.286?0.286?3.780?0.378?0.143?0.200?0.279?0.150?0.229?0.213Step4.最后计算FleissKappa系数?.?.?.?0.21058Thanks!59