第7章--智能技术在传感器系统中的应用-补充内容资料优秀PPT.ppt

第7章 智能技术在传感器系统中的应用-补充内容 目目 录录 第1章 概 述 第2章 智能传感器系统中经典传感技术基础 第3章 不同集成度智能传感器系统介绍 第4章 智能传感器的集成技术 第5章 智能传感器系统智能化功能的实现方法 第6章 通信功能与总线接口第第7 7章章 智能技术在传感器系统中的应用智能技术在传感器系统中的应用 第8章 智能传感器系统的设计与应用 第9章 无线传感器网络技术概述 第7章 智能技术在传感器系统中的应用-补充内容 第第7 7章章 智能技术在传感器系统中的应用智能技术在传感器系统中的应用补充内容补充内容 要 点：u 支持向量机技术在智能传感器中的应用；u 粒子群优化算法在智能传感器中的应用。第7章 智能技术在传感器系统中的应用-补充内容 支持向量机SVM（Support Vector Machines），主要用于传感器的动态建模、故障诊断、气体辨识和交叉灵敏度的消退等。支持向量机通过定义不同的内积函数,可以实现多项式靠近、贝叶斯分类器、径向基函数、多层感知器等学习算法的功能。支持向量机与神经网络方法类似，相对于多元回来分析法，不须要建立包括非目标参量在内的函数解析式，但均需由试验标定供应训练样本和检验样本，对于k个非目标参量，须要供应k+1维的标定试验数据。7.3 支持向量机技术在智能传感器中的应用支持向量机技术在智能传感器中的应用第7章 智能技术在传感器系统中的应用-补充内容 7.3.1 7.3.1 基础学问基础学问一、统计学习理论一、统计学习理论 基于数据的机器学习：基于数据的机器学习：从观测数据动身，找寻探讨对象的规律性，利用其规律性进从观测数据动身，找寻探讨对象的规律性，利用其规律性进行数学建模，并进而对将来的数据进行预料。行数学建模，并进而对将来的数据进行预料。三种机器学习的实现方法：三种机器学习的实现方法：经典的参数统计估计方法经典的参数统计估计方法传统统计学传统统计学 缺点：要求探讨的样本数目趋于无穷大，缺乏好用性。缺点：要求探讨的样本数目趋于无穷大，缺乏好用性。阅历非线性方法，如人工神经网络阅历非线性方法，如人工神经网络 两个方向：参数选择的优化算法；选择两个方向：参数选择的优化算法；选择“最优最优”模型的统计模型的统计测量方法。测量方法。基于统计学习理论的学习方法，如支持向量机和基于核的方法基于统计学习理论的学习方法，如支持向量机和基于核的方法 特地探讨小样本数据量状况下，机器学习规律性的理论。特地探讨小样本数据量状况下，机器学习规律性的理论。统计学习理论探讨的主要问题包括四个方面：统计学习理论探讨的主要问题包括四个方面：第7章 智能技术在传感器系统中的应用-补充内容 1）基于阅历风险最小化原则下统计学习一样性的充要条件。2）学习过程的收敛性及收敛速度。3）学习过程中收敛速度（推广实力）的限制。4）学习算法的构造1、学习问题的一般性表示 学习：利用有限数量的观测数据来找寻待求的依靠关系。最小化风险泛函：F（z）：空间z上的概率测度；=1，2，：参数集合；Q（z，）：函数集合；z：z1，z2，zl，独立同分布数据。第7章 智能技术在传感器系统中的应用-补充内容 测试误差的期望风险：P（x，y）：未知概率分布，对应的 p 是其分布密度；y：与x相对应的实际值；f（x，）：与x相对应的理论值；一个观测数量有限的训练集上的被测平均误差率阅历风险：期望风险与阅历风险的关系描述：第7章 智能技术在传感器系统中的应用-补充内容 上式成立的概率：1-；0 1；h：非负整数，称为VC维，h越大，学习机器的困难性越高；上式右边称为“风险界”，第2项称为“VC置信范围”。2、VC（Vapnik Chervonenkis）维 用于测量函数列的容量。N（F，h）：h维向量中不同向量的个数。3、结构风险最小化（Structural Risk Minimization，SRM）定义了在对给定数据靠近的精确性与靠近函数的困难性之间的一种折中。第7章 智能技术在传感器系统中的应用-补充内容 对于确定的（p，k），函数集合满足下列不等式：这种结构称为容许结构，结构风险最小化原则就是在容许结构的嵌套函数集Sk中找寻一个合适的子集S*，使结构风险达到最小，即：4、建模误差 包括靠近误差和估计误差。靠近误差因模型失配产生；估计误差因学习过程中选择了非优化模型所造成。这两个误差共同形成泛化误差。第7章 智能技术在传感器系统中的应用-补充内容 结构风险最小化原理 第7章 智能技术在传感器系统中的应用-补充内容 二、支持向量机（二、支持向量机（Support Vector MachineSupport Vector Machine）基于统计学习理论的一种新的通用机器学习方法，基本思想：基于统计学习理论的一种新的通用机器学习方法，基本思想：通过用内积函数定义的非线性变换将输入空间变换到一个高维特征空间；通过用内积函数定义的非线性变换将输入空间变换到一个高维特征空间；在高维空间用线性函数假设空间找寻输入与输出之间的非线性关系；在高维空间用线性函数假设空间找寻输入与输出之间的非线性关系；学习算法基于结构风险最小化原则。学习算法基于结构风险最小化原则。1 1、支持向量机的优点：、支持向量机的优点：特地针对有限样本，求得在现有信息条件下的最优解；特地针对有限样本，求得在现有信息条件下的最优解；通过二次型寻优，解决了神经网络方法中无法避开的局部极值问题；通过二次型寻优，解决了神经网络方法中无法避开的局部极值问题；通过非线性变换，保证学习机器有较好的推广实力，并使算法困难度与样本通过非线性变换，保证学习机器有较好的推广实力，并使算法困难度与样本维数无关。维数无关。2 2、支持向量机的结构、支持向量机的结构 i i：拉格朗日乘子，：拉格朗日乘子，i=1i=1，2 2，s s；b b：阈值或偏移量；：阈值或偏移量；：一个支持向量机的核函数；：一个支持向量机的核函数；第7章 智能技术在传感器系统中的应用-补充内容 支持向量机结构示意图 第7章 智能技术在传感器系统中的应用-补充内容 支持向量机通过核函数将输入空间的数据映射到高维的特征空间，在特征空间F中，通过线性回来函数进行数据的分类或拟合。3、支持向量机的核函数：建立核函数的目标是使得特征空间的维数不再影响计算，或在特征空间不须要进行内积计算。定义 为输入空间 X 到特征空间 F 的映射，若特征空间的内积与输入空间的核函数等价，即：满足Mercer条件：第7章 智能技术在传感器系统中的应用-补充内容 则核函数就能表征为特征空间中的一个内积。4 4、核函数的种类、核函数的种类 SVM的核函数不同，则SVM输出表达式及输出结果就不同。1）线性核 2）多项式核 3）RBF核高斯型径向基函数第7章 智能技术在传感器系统中的应用-补充内容 4）Sigmoid（多层感知器）核 5）张量积核 5、支持向量机的种类：1）SVC（支持向量分类）用支持向量的方法描述分类的问题，这里又分线性可分、线性不行分、非线性分类三种情形。2）SVR（支持向量回来）用支持向量的方法描述回来的问题，分线性回来、非线性回来。第7章 智能技术在传感器系统中的应用-补充内容 7.3.2 7.3.2 支持向量机的训练、检验与测量支持向量机的训练、检验与测量一、训练样本及检验样本的制备一、训练样本及检验样本的制备 在输入变量整个变更范围内依据须要确定标定点及数量，对在输入变量整个变更范围内依据须要确定标定点及数量，对试验标定所获得的样本数据试验标定所获得的样本数据N N，将其分为两部分：训练样本，将其分为两部分：训练样本N1N1、检验样本检验样本N2N2，并使其格式相同，从而形成，并使其格式相同，从而形成SVMSVM的输入向量（样本）的输入向量（样本）和输出向量（样本）：和输出向量（样本）：二、支持向量机的训练二、支持向量机的训练 训练步骤：训练步骤：1 1）输入训练样本）输入训练样本 训练样本（训练样本（N1N1个）作为支持向量，个）作为支持向量，y y作为期望输出向量，作为期望输出向量，并行输入支持向量机；并行输入支持向量机；第7章 智能技术在传感器系统中的应用-补充内容 检验样本（N2个）作为特征空间向量，串行输入支持向量机。2）设置SVM学习参数及核函数参数 3）SVM训练：基于训练样本及真实风险最小化原则，求出SVM结构参数（权系数和偏移量）。若模型输出向量y（x）与期望输出向量y的差值最小，则训练结束。三、支持向量机的检验 将检验样本（N2个）作为输入向量输入训练好的支持向量机，比较检验样本输出结果与期望的输出值，若：1）在要求的误差范围内，训练好的支持向量机满足运用要求；2）超出范围，调整SVM学习参数及核函数参数，重新训练；3）确定权系数1，2，s和偏移量b，即得到回来模型。第7章 智能技术在传感器系统中的应用-补充内容 四、测量四、测量 由实际测量中获得的测量样本输入到由实际测量中获得的测量样本输入到SVM的输出表达式中，即可获得精确的输出表达式中，即可获得精确的待测量。的待测量。五、移植五、移植 经过训练并通过检验的支持向量机，将已知的权系数和偏移量代入经过训练并通过检验的支持向量机，将已知的权系数和偏移量代入SVM的的输出表达式，依据所选用的硬件运用环境，进行软件编程实现，并通过实际输出表达式，依据所选用的硬件运用环境，进行软件编程实现，并通过实际运行，获得同样的运用效果。运行，获得同样的运用效果。第7章 智能技术在传感器系统中的应用-补充内容 7.3.3 7.3.3 基于基于SVMSVM方法的三传感器数据融合方法的三传感器数据融合一、系统组成一、系统组成 基于SVM的智能压力传感器系统框图 第7章 智能技术在传感器系统中的应用-补充内容 1 1、传感器模块、传感器模块 接受右图所示的检测电路，接受右图所示的检测电路，分别获得压力、温度、电流信分别获得压力、温度、电流信号的电压输出值：号的电压输出值：UPUP、UTUT、UIUI。2 2、支持向量机模块、支持向量机模块 在上式中，通过多维标定试验获得在上式中，通过多维标定试验获得 n n 组样本：组样本：；输入向量的维数输入向量的维数 m=3 m=3；是从是从n n组样本中取组样本中取s s组样本作为训练样本的支持向量；组样本作为训练样本的支持向量；b b 是是SVMSVM的阈值或偏移量；的阈值或偏移量；是是SVMSVM的权系数向量，数量为的权系数向量，数量为s s；i i是与是与 对对应的拉格朗日乘子；应的拉格朗日乘子；第7章 智能技术在传感器系统中的应用-补充内容 实际测量时，x 代表被测输入向量，即：UP、UT、UI；而 y 代表期望输出标量 P；是SVM的核函数。二、示例1：降低两个干扰量影响的SVM功能模块的设计 接受Gaussian型RBF核函数的SVM作为其计算模型。1、样本的制作 分学习（训练）样本、测试（检验）样本；输入样本（三维）、输出样本（一维）。2、编程实现 1）利用Matlab平台进行设计、测试、验证；2）数据的预处理，依据须要确定是否进行归一化处理；3）支持向量机的参数；4）不同参数对输出结果的影响，影响最大；第7章 智能技术在传感器系统中的应用-补充内容 5）对输入样本是否进行归一化处理，使输出结果最佳的 的最优值一般不一样。3、SVM 融合输出结果及评价 核函数的参数 kerneloption（）对融合输出结果的影响比较大，须要反复测试，才能找到合适的支持向量机的结构参数：w、b。第7章 智能技术在传感器系统中的应用-补充内容 4 4、移植、移植 利用利用PCPC的强大计算功能，基于的强大计算功能，基于MatlabMatlab软件计算平台，进行支持向量软件计算平台，进行支持向量SVMSVM的的训练，确定好训练合格支持向量训练，确定好训练合格支持向量SVMSVM的结构参数、权系数的结构参数、权系数w w、偏置量、偏置量b b、RBFRBF核核参数参数。将上述参数干脆固化到单片机或将上述参数干脆固化到单片机或DSPDSP的内存中；同时用的内存中；同时用C C语言改编上述实语言改编上述实际运行程序为单片机或际运行程序为单片机或DSP DSP 能够干脆编译执行的程序并下载固化。能够干脆编译执行的程序并下载固化。现场实际测量时，由下式求取融合后的数值：现场实际测量时，由下式求取融合后的数值：y=wx+b y=wx+b第7章 智能技术在传感器系统中的应用-补充内容 粒子群优化算法是近年来快速发展的一种智能优化算法，与遗传算法有点类似，都是基于群体优化的方法，都是将系统初始化为一组随机数，通过迭代搜寻最优值。但粒子群优化算法更简洁、更简洁实现，因此，目前已成为国际上优化领域新的探讨热点。在这里，我们结合参考教材里面的相关内容，对粒子群优化算法的基本概念、基本内容、具体应用做一个简要的介绍。7.4 粒子群优化算法在智能传感器中的应用粒子群优化算法在智能传感器中的应用第7章 智能技术在传感器系统中的应用-补充内容 7.4.1 7.4.1 粒子群优化算法概况粒子群优化算法概况 群智能（群智能（Swarm IntelligenceSwarm Intelligence）无智能或简洁智能的主体通过任何形式的聚集协同而表现出无智能或简洁智能的主体通过任何形式的聚集协同而表现出智能行为的特性。智能行为的特性。群智能的主要算法群智能的主要算法 两种主要算法：两种主要算法：1 1）蚁群优化算法（）蚁群优化算法（Ant Colony OptimizationAnt Colony Optimization，ACOACO）应用于组合优化问题，如：车辆调度、机器人路径规划、应用于组合优化问题，如：车辆调度、机器人路径规划、路由算法设计等。路由算法设计等。2 2）粒子群优化算法（）粒子群优化算法（Particle Swarm OptimizationParticle Swarm Optimization，PSOPSO）应用于过程限制、图像识别、故障诊断等一些优化领域。应用于过程限制、图像识别、故障诊断等一些优化领域。群智能算法的特点群智能算法的特点 1 1）是一种能够有效解决大多数全局优化问题的新方法，而）是一种能够有效解决大多数全局优化问题的新方法，而且方法简洁，易于实现。且方法简洁，易于实现。第7章 智能技术在传感器系统中的应用-补充内容 2）应用领域包括：多目标优化、数据分类、聚类、模式识别、流程规划、信号处理、系统辨识、限制与决策等。3）仍旧处于新兴发展与改进完善阶段。7.4.2 粒子群优化算法基础学问 粒子群优化算法源于人类对自然界生物群体行为探讨的结果，通过计算机对动物困难的群体行为进行仿真探讨，建立起了微粒群算法的基本概念，其规则为：1）飞离最近的个体；2）飞向目标；3）飞向群体的中心。个体学习与文化传递；信念的社会性及智能性；特性与社会性的平衡。第7章 智能技术在传感器系统中的应用-补充内容 基本粒子群优化算法基本粒子群优化算法 粒子粒子 i i 在第在第 j j 维子空间中运动的速度及位置：维子空间中运动的速度及位置：i=1 i=1，2 2，M M，M M是粒子的总数；是粒子的总数；j j：表示微粒的第：表示微粒的第j j维，或称为算法优化的第维，或称为算法优化的第j j个参数；个参数；c1 c1：认知参数，又称加速因子，取值范围：认知参数，又称加速因子，取值范围：0 02 2；c2 c2：社会参数，又称加速因子，取值范围：社会参数，又称加速因子，取值范围：0 02 2；r1j r1j：随机函数，在：随机函数，在0 0 11之间变更；之间变更；r2j r2j：随机函数，在：随机函数，在0 0 11之间变更；之间变更；pij pij：为粒子个体：为粒子个体i i的历史最好解的第的历史最好解的第j j维值；维值；pgj pgj：为全部粒子在：为全部粒子在t t时刻的历史最好解的第时刻的历史最好解的第j j维值。维值。第7章 智能技术在传感器系统中的应用-补充内容 每次迭代，每个粒子依据目标函数计算其适应值大小，再依据适应值确定当前粒子最优位置pij（t），群体最优位置pgj（t），再由上式调整各个粒子的速度及位置。结束条件：1）迭代次数达到设定值，一般设为100；2）搜寻到的最优位置满足预设的最小适应值，一般为零。设f（x）为最小化目标函数，微粒i的当前最好位置：粒子数为M的群体最好位置：第7章 智能技术在传感器系统中的应用-补充内容 为防止微粒在进化过程中离开搜寻空间，对为防止微粒在进化过程中离开搜寻空间，对vijvij有范围限定：有范围限定：标准粒子群优化算法标准粒子群优化算法 在基本在基本PSOPSO算法的基础上，引入了惯性权重因子，即：算法的基础上，引入了惯性权重因子，即：w w 本身是非负实数，具有平衡全局和局部搜寻实力的作用。在实际运用本身是非负实数，具有平衡全局和局部搜寻实力的作用。在实际运用过程中，一般在（过程中，一般在（1 1，0 0）之间取值，由大到小渐渐变更。）之间取值，由大到小渐渐变更。粒子群优化算法流程粒子群优化算法流程 1 1）初始化。在允许范围内随机设置粒子的初始位置、速度、群体最优）初始化。在允许范围内随机设置粒子的初始位置、速度、群体最优值。值。第7章 智能技术在传感器系统中的应用-补充内容 粒子群优化流程粒子群优化流程第7章 智能技术在传感器系统中的应用-补充内容 2）计算每个粒子的适应值或目标函数值（均方误差、方差、均方根误差）。3）将每个粒子的适应值与历史最优位置pij的适应值f（pij）进行比较，确定是否置换。4）将每个粒子的当前最优位置pij的适应值f（pij）与历史最优位置pgj适应值f（pgj）进行比较，确定是否置换。5）由上述计算结果更新粒子的速度和位置值。6）检查终止条件，若满足，终止迭代；否则返回2）重复进行。第7章 智能技术在传感器系统中的应用-补充内容 7.4.3 7.4.3 粒子群优化算法的应用粒子群优化算法的应用 以优化选取最小二乘法支持向量机（以优化选取最小二乘法支持向量机（LS-SVMLS-SVM）中核函数参数）中核函数参数及惩处因子及惩处因子C C为应用目标。为应用目标。几种优化方法的比较：几种优化方法的比较：这里的比较，是说明：通过粒子群优化算法，获得更精确的这里的比较，是说明：通过粒子群优化算法，获得更精确的核函数参数核函数参数及惩处因子及惩处因子C C，从而提高了支持向量机的融合精度。，从而提高了支持向量机的融合精度。