数据挖掘原理与SPSS Clementine应用宝典第12章 神经网络.ppt

数据挖掘原理与数据挖掘原理与SPSS Clementine应用宝典应用宝典第第12章章 神经网络神经网络第十二章第十二章 神神经网网络本章内容本章内容 1.神神神神经经网网网网络络基本原理基本原理基本原理基本原理 2.BPBP神神神神经经网网网网络络 3.RBFRBF神神神神经经网网网网络络 4.HopfieldHopfield神神神神经经网网网网络络 5.SOFMSOFM神神神神经经网网网网络络 6.神神神神经经网网网网络络在在在在数数数数据据据据挖挖挖挖掘中的掘中的掘中的掘中的应应用用用用神经网络基本原理神经网络基本原理-基本分类基本分类基本分类基本分类按五大个原则对神经网络进行归类：l按照网络的拓扑结构区分，有前向网络和反馈网络；l按照学习方式区分，则分为有教师学习和无教师学习网络；l按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络；l按照突触性质区分则有一阶线性关联网络和高阶非线性关联网络；l按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。神经网络基本原理神经网络基本原理-网络模型网络模型网络模型网络模型常见的神经网络模型有：l全互连型结构；l层次型结构；l网孔型结构；神经网络基本原理神经网络基本原理-组成要素组成要素组成要素组成要素人工神经网络由八个方面的要素组成，分别为：l一组处理单元；l处理单元的激活状态；l每个处理单元的输出函数；l处理单元之间的联接模式；l传递规则；l把处理单元的输入及当前状态结合起来产生激活值的激活规则；l通过经验修改联接强度的学习规则；l系统运行的环境。神经网络基本原理神经网络基本原理-学习方式学习方式学习方式学习方式神经网络的学习方式主要分为：l有监督学习(supervised learning)；l无监督学习(Unsupervised Learning,或称自组织self-organizing)；l自监督学习(self-supervised learning)；BP神经网络神经网络-改进改进改进改进改进的BP神经网络步骤如下：BP神经网络神经网络-影响影响影响影响BPBP网络建模的因素网络建模的因素网络建模的因素网络建模的因素影响BP网络建模的因素主要有：lBP神经网络层数的确定；lBP神经网络中节点数的确定；(1)输入层节点数的确定；(2)隐层节点数的确定；(3)输出层节点数的确定。RBF神经网络神经网络-网络结构网络结构网络结构网络结构l输入层由一些源点(感知单元)组成，将网络与外界环境连接起来；l隐含层是非线性的，在输入空间到隐层空间之间进行非线性变换；l输出层是线性的，对输入层的训练数据做出响应。RBF神经网络神经网络-基本步骤基本步骤基本步骤基本步骤Hopfield神经网络神经网络-基本结构基本结构基本结构基本结构Hopfield神经网络神经网络-离散离散离散离散 HopfieldHopfield神经网络神经网络神经网络神经网络 Hopfield神经网络神经网络-连续连续连续连续HopfieldHopfield神经网络神经网络神经网络神经网络 连续型 Hopfield网络(Continuous Hopfield Neural Network，简称CHNN)的输入与输出为连续可微且单调上升的函数，每个神经元的输入是一个随时间变化的状态变量，与外界输入和从其它神经元来的偏置信号有直接关系，同时也与其它神经元同它之间的连接权有关系。状态变量直接影响输入变量，使系统变成一个随时间变化的动态系统。SOFM神经网络神经网络-网络模型网络模型网络模型网络模型 SOFM是仅由输入层和输出层(竞争层)两层构成。网络上层是输出层，网络下层为输入层。常用的SOFM网络的输入层是线性排列的神经元。SOFM神经网络神经网络-基本算法基本算法基本算法基本算法 神经网络在数据挖掘中的应用神经网络在数据挖掘中的应用-步骤步骤步骤步骤基于神经网络方法的数据挖掘过程主要包括三个主要阶段：l选择与预处理数据为构造网络准备数据，包括训练数据和测试数据；l网络训练与剪枝这个阶段需要选择拟采用的网络模型，选择或设计一种网络训练算法；l规则提取与评估经过学习和剪枝之后，网络中蕴含着学习到的规则(知识)，但以这种形式存在规则不易理解。神经网络在数据挖掘中的应用神经网络在数据挖掘中的应用-评价评价评价评价评价数据挖掘模型实现算法的优良与否，可根据以下指标与特征：l在噪音和数据不完整的情况下，能否高质量建模；l该模型必须为用户理解，并能用于决策；l该模型可接受领域知识(规则的加入和提取)，以提高建模质量。