(9.6)--9.6 深度学习引论(一).ppt
IntroductiontoDeepLearning深度学深度学习引引论（一）（一）CHAPTER ONE三朵乌云CloudsoverANN第一朵乌云：局部最小问题一、一、“三朵乌云三朵乌云”模型参数量激增复杂非线性-MLP网络结构决定了其模型参数量极大-MLP网络包含多层非线性激活函数()目标函数形态更加复杂-包含大量局部最小陷阱的非凸函数第二朵乌云：收敛速度问题一、一、“三朵乌云三朵乌云”刚性问题震荡与缓慢的矛盾-不同连接权权重的梯度差异较大-学习太快，在局部容易出现震荡学习率设定问题-不同权重应该具有不同的学习率-学习太慢，收敛过程太长，训练成本激增-同一权重在不同阶段应具有不同的学习率-学习率的设定与调整应该具有自适应机制第三朵乌云：梯度消失问题一、一、“三朵乌云三朵乌云”梯度的“反向激活”反传播的梯度会随着网络层数加深而快速趋近于0迭代次数累积因子浅层权重无法得到有效学习，深度网络只能是“梦想”当网络层数增加时，反传播梯度呈指数下降CHAPTER TWO为何需要深度网络WhyDeep二、为何需要深度网络二、为何需要深度网络浅层网络 vs 深度网络.浅层网络深度网络哪个更好？二、为何需要深度网络二、为何需要深度网络浅层网络 vs 深度网络Layer X SizeError Rate(%)Layer X SizeError Rate(%)1X2k24.22X2k20.41X377222.53X2k18.41X463422.64X2k17.85X2k17.27X2k17.11X16k22.1Seide,Frank,GangLi,andDongYu.ConversationalSpeechTranscriptionUsingContext-DependentDeepNeuralNetworks.Interspeech.2011.同等参数量下，深度网络错误率更低！二、为何需要深度网络二、为何需要深度网络深度网络的优势分类器1分类器2分类器3分类器4长尾猫长尾狗短尾猫短尾狗弱分类器少量训练样本二、为何需要深度网络二、为何需要深度网络深度网络的优势猫vs狗长尾vs短尾基础分类器vs长尾猫长尾狗短尾猫短尾狗vs长尾猫 长尾狗短尾猫 短尾狗充足训练样本二、为何需要深度网络二、为何需要深度网络深度网络的优势猫vs狗长尾vs短尾基础分类器充分利用训练样本分类器1分类器2分类器3分类器4长尾猫长尾狗短尾猫短尾狗特征工程CHAPTER THREE深度网络组件ComponentsofDeepNetwork激活函数三、深度网络组件三、深度网络组件传统Sigmoidal函数的局限性需要怎样的新激活函数：强烈的非线性，计算复杂反传播梯度随层数增加呈指数下降计算简单梯度消失问题计算与收敛问题没有梯度消失隐患收敛性好三、深度网络组件三、深度网络组件常用激活函数常用激活函数(see https:/en.wikipedia.org/wiki/Activation_function)Relu系列激活函数三、深度网络组件三、深度网络组件ReLU计算速度快收敛速度快解决梯度消失问题P-ReLU解决ReLU激活函数在小于0的区间内激活值总为0的问题=0=Relu系列激活函数三、深度网络组件三、深度网络组件ReLU计算速度快收敛速度快解决梯度消失问题=0梯度为0，对应于神经元输出为0；对于网络输出不起作用，无需更新梯度为1，反传播过程不会衰减；不会出现梯度消失问题分类层三、深度网络组件三、深度网络组件传统分类层Sigmoidal函数二分类任务单输出，标签属于0,1深度网络分类层Softmax多分类任务向量输出，标签为One-hot向量交叉熵损失函数逻辑回归损失函数分类层Softmax三、深度网络组件三、深度网络组件123+损失函数Softmax层Softmax层分类层Softmax三、深度网络组件三、深度网络组件+2=21=33=2207.40.1427.54100One-hot向量0.7260.2690.005预测输出向量交叉熵损失函数三、深度网络组件三、深度网络组件交叉熵损失公式:逻辑回归模型代价函数:交叉熵损失函数三、深度网络组件三、深度网络组件信息论解释:信息论中使用KL散度来衡量两个分布之间的差异信息信息熵熵交叉交叉熵熵交叉熵最小化交叉熵损失函数三、深度网络组件三、深度网络组件工程实践用法LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听
