ELM_Song.ppt

《ELM_Song.ppt》由会员分享，可在线阅读，更多相关《ELM_Song.ppt（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Extreme Learning Machine极限学习机极限学习机目录目录背景介绍背景介绍ELM理论基础理论基础ELM数学模型数学模型ELM学习算法学习算法AUV避障原理避障原理基于基于ELM自主导算法航的基本构想自主导算法航的基本构想背景介绍背景介绍2006年由南洋理工大学黄广斌副教授提出。年由南洋理工大学黄广斌副教授提出。极限学习机极限学习机是一种基于是一种基于单隐层前向馈神经网络单隐层前向馈神经网络(single-hidden layer feed forward neural network)简单易用、简单易用、有效的有效的学习算法。学习算法。传统的神经网络学习算法需要人为设置大量的

2、网络训练参传统的神经网络学习算法需要人为设置大量的网络训练参数，并且很容易产生局部最优解。数，并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数，在算法执行极限学习机只需要设置网络的隐层节点个数，在算法执行过程中不需要调整网络的输入权值以及隐元的偏置，并且过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因此具有学习速度快且泛化性能好的产生唯一的最优解，因此具有学习速度快且泛化性能好的优点。优点。目录目录背景介绍背景介绍ELM理论基础理论基础ELM数学模型数学模型ELM学习算法学习算法AUV避障原理避障原理基于基于ELM自主导算法航的基本构想自主导算法航的基本构

3、想单隐含层前馈神经网络（单隐含层前馈神经网络（SLFN）ELM理论基础理论基础单隐含层前馈神经网络单隐含层前馈神经网络(SLFM)具有良好的学习能具有良好的学习能力，因此应用广泛。力，因此应用广泛。但是，传统的学习算法有自身的缺陷，这些缺陷但是，传统的学习算法有自身的缺陷，这些缺陷限制了限制了SLFN的发展。的发展。传统学习算法的缺点：传统学习算法的缺点：（1）训练速度慢；（）训练速度慢；（2）不容易得到全局最优解；（不容易得到全局最优解；（3）学习率选择敏感；）学习率选择敏感；基于此，极限学习机基于此，极限学习机(ELM)应运而生。应运而生。ELM理论基础理论基础ELM理论基础理论基础 EL

4、M学习算法的优点：学习算法的优点：(1)训练速度快训练速度快(2)能获得全局最优解能获得全局最优解(3)具有良好的具有良好的泛化性能泛化性能 解释：解释：所谓泛化能力（所谓泛化能力（generalization abilitygeneralization ability）是指）是指机器学习算法对新鲜样本的适应能力。机器学习算法对新鲜样本的适应能力。目录目录背景介绍背景介绍ELM理论基础理论基础ELM数学模型数学模型ELM学习算法学习算法AUV避障原理避障原理基于基于ELM自主导算法航的基本构想自主导算法航的基本构想ELM数学模型数学模型ELM数学模型数学模型给定给定N个学习样本矩阵个学习样本矩

5、阵给定构造网络的给定构造网络的L个单隐层节点和单隐层节点励个单隐层节点和单隐层节点励函数函数一般情况下：一般情况下：因此因此ELM数学模型可表示为：数学模型可表示为：ELM数学模型数学模型其中：其中：j=1,2,3.N;所有输入与第所有输入与第 i 个节点连接权重个节点连接权重所有输出与第所有输出与第 i 个节点连接权重个节点连接权重写成矩阵的表示方式就是：写成矩阵的表示方式就是：ELM数学模型数学模型ELM数学模型数学模型写成矩阵的表示方式就是：写成矩阵的表示方式就是：H为网络隐层输出矩阵。当给任意定为网络隐层输出矩阵。当给任意定w 和和b时则：时则：ELM数学模型数学模型总结，由上面所述，

6、我们可以看出：总结，由上面所述，我们可以看出：只要一次设定隐含层参数只要一次设定隐含层参数L、激励函数、权、激励函数、权值值w和偏移量和偏移量b，无须调整。因此，网络的，无须调整。因此，网络的训练速度得到极大提高。训练速度得到极大提高。目录目录背景介绍背景介绍ELM理论基础理论基础ELM数学模型数学模型ELM学习算法学习算法AUV避障原理避障原理基于基于ELM自主导算法航的基本构想自主导算法航的基本构想 由前面的分析我们可知，由前面的分析我们可知，ELM训练之前，可训练之前，可以随机产生以随机产生 ，只需要确定隐含层神经，只需要确定隐含层神经元个数和激励函数元个数和激励函数 ，即可计算出，即可

7、计算出确定隐含层神经元个数确定隐含层神经元个数 随机设定输入层随机设定输入层和隐含层连接权值和隐含层连接权值 与隐含层神经元偏置与隐含层神经元偏置选择一个无限可微的函数选择一个无限可微的函数 作为激励函作为激励函数，计算隐含层输出矩阵数，计算隐含层输出矩阵计算输出层权值：计算输出层权值：ELM学习算法学习算法ELM学习算法学习算法产生训产生训练集合练集合创建创建/训练训练ELMELM仿真仿真测试测试性能性能评价评价ELM学习算法的一般步骤：学习算法的一般步骤：目录目录背景介绍背景介绍ELM理论基础理论基础ELM数学模型数学模型ELM学习算法学习算法AUV避障原理避障原理基于基于ELM自主导算法

8、航的基本构想自主导算法航的基本构想AUV避障原理避障原理AUV硬件架构硬件架构工业控制机工业控制机PC104协议转换板协议转换板串口卡串口卡DVL 声纳声纳 陀螺仪陀螺仪 HARS推进器推进器系统系统参数采参数采集系统集系统CAN总线总线感知器官感知器官行动器官行动器官大脑大脑AUV避障原理避障原理决策控制系统传感器数据采集及处理系统数据库控制器AUV实体期望控制信息传感器信息AUV模块流程图模块流程图AUV避障原理避障原理基于人工势场法避障行为设计基于人工势场法避障行为设计目标目标障碍物障碍物AUV走走过的路过的路径径AUV避障原理避障原理AUV避障原理避障原理X1X2Xn基于神经网络的权值计算基于神经网络的权值计算输输出出AUV避障原理避障原理X1X2XnY1Y2Y3基于极限学习机的基于极限学习机的SLFN Thank You For Your Attention！