第一讲数据融合的 基本概念PPT讲稿.ppt

第一讲数据融合的第一讲数据融合的 基本概念基本概念第1页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术2联系方式联系方式办公室：学院楼办公室：学院楼212212教师办公室教师办公室电电 话：话：1865186992218651869922E-mail:E-mail:第2页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术3主要参考书主要参考书1 1、多传感器数据融合及其应用、多传感器数据融合及其应用 西安电子科技大学出版社西安电子科技大学出版社2 2、多源信息融合理论与应用、多源信息融合理论与应用 北京邮电大学出版社北京邮电大学出版社第3页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术4 课程课时安排及考核内容课程课时安排及考核内容研讨（研讨（20%20%）。一份）。一份pptppt（参考文献），五分钟，参考文献），五分钟，多传感器数据融合相关。多传感器数据融合相关。论文（论文（80%80%）。）。授 课 进 度 安 排周 次教学方式(课堂教学、实验教学、研讨班、其它)学时授课地点8课堂教学2III-4079课堂教学2III-40710课堂教学2III-40711课堂教学2III-40712课堂教学2III-40713课堂教学2III-40714课堂教学2III-40715课堂教学、研讨3III-40716课堂教学、研讨3III-40717课堂教学、研讨3III-40718课堂教学、研讨3III-40719课堂教学、研讨3III-40720课堂教学、研讨3III-407第4页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术5 课程主要内容课程主要内容 1 1、数据融合的原理与应用、数据融合的原理与应用 2 2、数据关联技术、数据关联技术 3 3、状态估计技术、状态估计技术 4 4、航迹融合、航迹融合 5 5、身份融合、身份融合 6 6、检测融合、检测融合第5页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术6 第一讲第一讲 数据融合的基本原理数据融合的基本原理第6页，共51页，编辑于2022年，星期一7什么是传感器？什么是传感器？第7页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术88人与机器的机能对应关系图人与机器的机能对应关系图外外界界对对象象感官感官传感器传感器人脑人脑微处理器微处理器肢体肢体执行器执行器第8页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术99人与传感器人的感觉器官与对应的传感器：眼 耳 鼻 舌 皮肤光敏传感器光敏传感器声敏传感器声敏传感器气敏传感器气敏传感器味觉传感器味觉传感器压敏、热敏、湿敏传感器压敏、热敏、湿敏传感器第9页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术10定义定义 传感器就是能感知外界信息并能按传感器就是能感知外界信息并能按一定规律将这些信息转换成可用信号的一定规律将这些信息转换成可用信号的器件或装置。如下图所示器件或装置。如下图所示:非电信息非电信息电信号电信号第10页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术11 传感器的组成传感器的组成 敏感器件的作用是感受被测物理量；敏感器件的作用是感受被测物理量；敏感器件的作用是感受被测物理量；敏感器件的作用是感受被测物理量；转换元件是对信号进行转换输出。转换元件是对信号进行转换输出。辅助器件则是对输出的电信号进行放大、辅助器件则是对输出的电信号进行放大、辅助器件则是对输出的电信号进行放大、辅助器件则是对输出的电信号进行放大、阻抗匹配，以便于后续仪表接入。阻抗匹配，以便于后续仪表接入。阻抗匹配，以便于后续仪表接入。阻抗匹配，以便于后续仪表接入。敏感元件被测信息转换元件信号调节电路辅助电路输出信息传感器组成框图传感器组成框图传感器组成框图传感器组成框图第11页，共51页，编辑于2022年，星期一12应变式压力传感器应变式压力传感器 由半导体材料制成的物性性传感器基本是敏感元由半导体材料制成的物性性传感器基本是敏感元件与转换元件二合一。件与转换元件二合一。直接能将被测量转换为电量输出。直接能将被测量转换为电量输出。压电传感器、光电池、热敏电阻等。弹性膜片弹性膜片电阻应变片电阻应变片压力压力应变应变电阻变化量电阻变化量敏感元件敏感元件转换元件转换元件第12页，共51页，编辑于2022年，星期一13传感器的普遍性第13页，共51页，编辑于2022年，星期一14传感器的主要应用传感器的主要应用信信息息处处理理电电信信电电话话科科技技测测试试设设备备控控制制交交通通控控制制输输电电系系统统机机床床机机器器人人家家用用电电器器照照相相机机汽汽车车飞飞机机船船舶舶气气象象海海洋洋环环境境污污染染医医疗疗防防火火光光能能利利用用热热能能利利用用土土木木建建筑筑农农林林机机械械能能利利用用货货币币金金融融食食品品11111155551101101031034747363659598181616127277878343431 3131 314747111111707076769393616126262121242420201414需要量需要量第14页，共51页，编辑于2022年，星期一电子警察电子警察15胶片式“电子警察”、数码式“电子警察”、视频式“电子警察”；压力或磁电传感器，两个脉冲信号，触发拍照系统进行拍照第15页，共51页，编辑于2022年，星期一16全自动洗衣机中的传感器：衣物重量传感器，衣质传感器，水温传感器，水质传感器，透光率光传感器(洗净度)液位传感器，电阻传感器(衣物烘干检测)。第16页，共51页，编辑于2022年，星期一17鼠标:光电位移传感器摄象头:CCD传感器PCPC机中的测试技术应用机中的测试技术应用第17页，共51页，编辑于2022年，星期一18美国火星车“Sojourner”号上用QCM来检测太阳能电池板上的灰尘堆积情况第18页，共51页，编辑于2022年，星期一雷达雷达C3I系统所用传感器的种类很多，但它们是以雷达、电子情报机（ELINT)、电子支援测量系统（ESM）、声音、红外等传感器为主，再辅以其他类型的传感器，在整个三维空间形成一个传感器网阵。雷达，发收电磁波，主动雷达，被动雷达；波长短，预警雷达，火控雷达声音传感器是以空气、水和大地作为传播媒质的，相应的应用领域包括飞机、坦克及其他车辆的探测与识别，水下各类潜艇的探测和地震信号的记录与分析等。第19页，共51页，编辑于2022年，星期一声呐声呐SONARSONAR（sound navigationsound navigation and ranging and ranging），声音导航），声音导航测距测距声呐是各国海军进行水下监视使用的主要技术，用于对声呐是各国海军进行水下监视使用的主要技术，用于对水下目标进行探测、分类、定位和跟踪；进行水下通信水下目标进行探测、分类、定位和跟踪；进行水下通信和导航，保障舰艇、反潜飞机和反潜直升机的战术机动和导航，保障舰艇、反潜飞机和反潜直升机的战术机动和水中武器的使用。和水中武器的使用。第20页，共51页，编辑于2022年，星期一分类分类按工作方式可分为按工作方式可分为主动声呐：主动地发射水声信号，然后收测回波进行计主动地发射水声信号，然后收测回波进行计算。如蝙蝠算。如蝙蝠被动声呐：声呐被动接收舰船等水中目标产生的辐射声呐被动接收舰船等水中目标产生的辐射噪声和水声设备发射的信号，以测定目标的方位。噪声和水声设备发射的信号，以测定目标的方位。如飞蛾如飞蛾第21页，共51页，编辑于2022年，星期一麦凯恩事件麦凯恩事件中国潜艇同美国中国潜艇同美国“麦凯恩麦凯恩”号驱逐舰拖曳声呐号驱逐舰拖曳声呐20092009年年6 6月月1111日在菲律宾苏比克附近相撞日在菲律宾苏比克附近相撞有意相撞还是意外相撞？有意相撞还是意外相撞？第22页，共51页，编辑于2022年，星期一水听器水听器标准水听器外形图第23页，共51页，编辑于2022年，星期一多传感器数据融合的形成多传感器数据融合的形成单传感器单传感器多传感器多传感器 多传感器信息互补性为获得更多的信息提供技术多传感器信息互补性为获得更多的信息提供技术支撑；支撑；如何对多传感器信息进行联合处理？如何对多传感器信息进行联合处理？多传感器数据融合技术（多传感器信息融合技术多传感器数据融合技术（多传感器信息融合技术或多传感器整合技术）或多传感器整合技术）消除噪声与干扰，实现对观测目标的连续跟踪和消除噪声与干扰，实现对观测目标的连续跟踪和测量，并对其属性进行分类与识别，分析敌我双测量，并对其属性进行分类与识别，分析敌我双方的兵力对比方的兵力对比 ，提供敌方各类平台的瞬时位置及，提供敌方各类平台的瞬时位置及其企图，作出威胁判断等一系列多层次的处理。其企图，作出威胁判断等一系列多层次的处理。第24页，共51页，编辑于2022年，星期一军事领域军事领域 海上监视，如海上网络战、海情网海上监视，如海上网络战、海情网 地面防空、战略防御与监视，如边境要地监测、地面防空、战略防御与监视，如边境要地监测、C C3 3I I系统（军事指挥自动化系统）系统（军事指挥自动化系统）非军事领域非军事领域机器人系统、生物医学工程系统、工业控制自动监机器人系统、生物医学工程系统、工业控制自动监视系统（工业流水生产线检测瓶装商标标签，光电视系统（工业流水生产线检测瓶装商标标签，光电、视频等）、视频等）第25页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术26数据融合的研究内容数据融合的研究内容 对对多源不确定信息多源不确定信息进行进行综合处理及利用综合处理及利用，即对，即对来自多个信息源的来自多个信息源的数据进行多级别、多方面、多层数据进行多级别、多方面、多层次的处理，次的处理，产生产生新新的有意义的信息。的有意义的信息。几个重要的概念几个重要的概念 多源、多级别、多方面、多层次多源、多级别、多方面、多层次第26页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术27数据融合的目的数据融合的目的组合组合多源信息多源信息和和数据数据完成完成目标目标检测检测、关联关联、状态状态评估评估的多层次、多方面过程；的多层次、多方面过程；获得获得准确的目标识别准确的目标识别、完整而及时的态势评估完整而及时的态势评估（SASA，Situation AssessmentSituation Assessment）和和威胁评估（威胁评估（TATA，Threat AssessmentThreat Assessment）。前提：前提：计算机技术、传感器技术的发展；多渠道信息计算机技术、传感器技术的发展；多渠道信息获取、处理成为可能。获取、处理成为可能。第27页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术281.11.1 数据融合的基本概念数据融合的基本概念生物系统对多源信息的融合处理生物系统对多源信息的融合处理 1 1）获取信息的多样性）获取信息的多样性 2 2）信息交融得到感知信息）信息交融得到感知信息 典型系统：典型系统：人人第28页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术29人对多源信息的处理人对多源信息的处理处理过程特点：处理过程特点：复杂性复杂性（信息的来源）、（信息的来源）、自适应性自适应性（对外界）（对外界）歧义性歧义性（信息的解读）、（信息的解读）、不完整性不完整性（盲人摸象）（盲人摸象）与人的已有知识密切相关与人的已有知识密切相关第29页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术30数据融合的基本原理数据融合的基本原理1 1、人模仿自身信息处理能力的过程；、人模仿自身信息处理能力的过程；特点：特点：1)1)自适应性自适应性(信息的多样性信息的多样性)2)2)高智能化处理高智能化处理(各种解决手段各种解决手段)3)3)先验知识先验知识(先验知识越丰富，综合信息处理能先验知识越丰富，综合信息处理能力越强力越强)第30页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术31 2 2、传感器感测外部信息，数据融合系统模仿人、传感器感测外部信息，数据融合系统模仿人的信息处理能力；的信息处理能力；特点：特点：利用多传感器资源，把多传感器在利用多传感器资源，把多传感器在空间空间或或时间时间上上可可冗余冗余或或互补互补信息，依据某种准则来进行组合，信息，依据某种准则来进行组合，获得被测对象的一致性描述。获得被测对象的一致性描述。第31页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术32数据融合系统研究的对象数据融合系统研究的对象研究对象：研究对象：各类信息各类信息表现形式：表现形式：信号、波形、数据、文字或声音等信号、波形、数据、文字或声音等信息获取信息获取：各类传感器（信息的多样性）：各类传感器（信息的多样性）后端系统用后端系统用第32页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术33数据融合技术的出现前提数据融合技术的出现前提 1 1）传感器的性能提高；）传感器的性能提高；2 2）多传感器信息系统出现；）多传感器信息系统出现；3 3）信息具有多样性；）信息具有多样性；4 4）信息容量以及信息处理速度的要求超出了传）信息容量以及信息处理速度的要求超出了传统信息处理方法的能力。统信息处理方法的能力。第33页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术34 多传感器数据融合系统特点多传感器数据融合系统特点单单传传感感器器信信号号处处理理或或低低层层次次的的多多传传感感器器数数据据处处理理不能有效地利用多传感器资源；不能有效地利用多传感器资源；多多传传感感器器系系统统可可以以更更大大程程度度地地获获得得被被探探测测目目标标和和环境的信息量；环境的信息量；数数据据融融合合所所处处理理的的多多传传感感器器信信息息具具有有更更复复杂杂的的形形式式，可可在在不不同同的的信信息息层层次次上上出出现现，这这些些信信息息抽抽象象层次包括层次包括数据层数据层、特征层特征层和和决策层决策层。第34页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术35数据融合系统的目的数据融合系统的目的生命系统的基本功能：生命系统的基本功能：多源信息的综合分析、判断、决策多源信息的综合分析、判断、决策 通过数据组合而不是出现在输入信息中的任何通过数据组合而不是出现在输入信息中的任何个别元素，个别元素，推导出更多的信息，得到最佳协同作用推导出更多的信息，得到最佳协同作用的结果的结果；利用多个传感器共同或联合操作的优势，提高利用多个传感器共同或联合操作的优势，提高传感器系统的有效性，传感器系统的有效性，消除单个或少量传感器的局消除单个或少量传感器的局限性限性。第35页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术36数据融合系统的应用特点数据融合系统的应用特点 综合利用来自多传感器的信息，综合利用来自多传感器的信息，获得对被测对获得对被测对象一致性的可靠了解和解释象一致性的可靠了解和解释，以利于系统作出正确，以利于系统作出正确的响应、决策和控制。的响应、决策和控制。有助于改善系统的性能，使系统具有专家系统有助于改善系统的性能，使系统具有专家系统的特征。的特征。降低对个别传感器的依赖性。降低对个别传感器的依赖性。第36页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术371.2 1.2 数据融合的定义数据融合的定义 应用领域：应用领域：针对一个系统中使用针对一个系统中使用多种多种传感器传感器(多个多个或或多类多类)这一特定问题进行的信息处理方法，又称多传感器这一特定问题进行的信息处理方法，又称多传感器信息融合。信息融合。如：如：机器人和智能仪器系统、战场观测和无人驾驶机器人和智能仪器系统、战场观测和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目飞机、图像分析与理解、目标检测与跟踪、自动目标识别、多源图像复合等。标识别、多源图像复合等。第37页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术38一般定义一般定义1 1）充分利用）充分利用不同时空不同时空的多传感器信息资源；的多传感器信息资源；2 2）采用计算机技术对）采用计算机技术对按时序获得按时序获得的多传感器观测信的多传感器观测信息按一定准则加以息按一定准则加以自动分析、综合、支配和使用自动分析、综合、支配和使用；3 3）获得对被测对象的一致性解释与描述，）获得对被测对象的一致性解释与描述，以完成所以完成所需的决策和估计任务需的决策和估计任务，使系统获得比它的各组成部，使系统获得比它的各组成部分更优越的性能。分更优越的性能。第38页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术39涉及的主要内容涉及的主要内容硬件基础：硬件基础：多传感器系统：多传感器系统：对运动目标，系统需要正确的对运动目标，系统需要正确的进行传感器切换，当传感器或其他数据源的性质不进行传感器切换，当传感器或其他数据源的性质不同时，判断较复杂。同时，判断较复杂。加工对象：加工对象：多源信息多源信息 核心内容：核心内容：协调优化协调优化和和综合处理综合处理第39页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术40军事上的数据融合定义军事上的数据融合定义所谓多传感器数据融合就是人们通过对空间分布所谓多传感器数据融合就是人们通过对空间分布的多源信息的多源信息各种传感器的时空采样，对所关心各种传感器的时空采样，对所关心的目标进行检测、关联（相关）、跟踪、估计和的目标进行检测、关联（相关）、跟踪、估计和综合（信息组合）等多级功能处理，以更高的精综合（信息组合）等多级功能处理，以更高的精度、较高的概率或置信度得到人们所需要的目标度、较高的概率或置信度得到人们所需要的目标状态和身份（属性）估计，以及完整、及时的态状态和身份（属性）估计，以及完整、及时的态势和威胁评估，为指挥员提供有用的决策信息。势和威胁评估，为指挥员提供有用的决策信息。第40页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术41涵盖的内容涵盖的内容 1)1)在几个层次上完成对多源信息处理，各个层次在几个层次上完成对多源信息处理，各个层次都表示不同级别的信息抽象。都表示不同级别的信息抽象。2)2)包括包括检测检测、关联关联、跟踪、估计跟踪、估计及及综合综合。3)3)结果包括较低层次上的状态和属性估计，以及结果包括较低层次上的状态和属性估计，以及较高层次上的整个战场态势估计和威胁评估。较高层次上的整个战场态势估计和威胁评估。第41页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术42定义所表明的特点定义所表明的特点 将来自多传感器或多源的信息和数据模仿专家将来自多传感器或多源的信息和数据模仿专家的综合信息处理能力进行智能化处理，从而得出的综合信息处理能力进行智能化处理，从而得出更更为准确可信的结论为准确可信的结论。第42页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术43其他类似的名称其他类似的名称多传感器相关多传感器相关多源相关多源相关多传感器混合多传感器混合多传感器融合多传感器融合信息融合信息融合数据融合数据融合第43页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术441.3 1.3 数据融合的时空性数据融合的时空性 分布在不同空间位置上的多传感器在对运动目分布在不同空间位置上的多传感器在对运动目标进行观测时，各传感器在不同时间和不同空间的标进行观测时，各传感器在不同时间和不同空间的观测值有所不同，从而形成一个观测值集合。观测值有所不同，从而形成一个观测值集合。如：如：s s个传感器在个传感器在n n个时刻观测同一个目标可有个时刻观测同一个目标可有s*ns*n观测值，其集合观测值，其集合Z Z为：为：Z=ZZ=Zj j (j=1,2,(j=1,2,s),s)Z=Z Z=Zj j(k)(k=1,2,(k)(k=1,2,n),n)Z Zj j：j j号传感器观测值集合；号传感器观测值集合；Z Zj j(k)(k)：j j号传感器在号传感器在k k时刻观测值。时刻观测值。第44页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术45多传感器观测值在时空上的排列多传感器观测值在时空上的排列第45页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术46数据融合的时间性与空间性问题数据融合的时间性与空间性问题 时空性是目标运动状态的观测的主要问题时空性是目标运动状态的观测的主要问题：1 1）数据融合的时间性）数据融合的时间性 2 2）数据融合的空间性）数据融合的空间性第46页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术471)1)数据融合的时间性数据融合的时间性按时间先后对观测目标在按时间先后对观测目标在不同时间的观测值不同时间的观测值进进行融合。行融合。利用单传感器在利用单传感器在不同时间的观测结果不同时间的观测结果进行数据进行数据融合时，要考虑数据融合的时间性。融合时，要考虑数据融合的时间性。第47页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术48 2)2)数据融合的空间性数据融合的空间性对对同一时刻不同空间位置同一时刻不同空间位置的多传感器观测值进行的多传感器观测值进行数据融合。数据融合。利用多传感器在利用多传感器在同一时刻观测结果同一时刻观测结果进行数据融合进行数据融合时，要考虑数据融合的空间性。时，要考虑数据融合的空间性。第48页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术49时空性的处理方法时空性的处理方法 为获得观测目标的准确状态，同时考虑数据融为获得观测目标的准确状态，同时考虑数据融合的时间性与空间性。合的时间性与空间性。实现方法：实现方法：先对各传感器不同时间的观测值集进行融合，先对各传感器不同时间的观测值集进行融合，得出每个传感器对目标状态的估计，然后将各个传得出每个传感器对目标状态的估计，然后将各个传感器的估计进行空间融合，从而得到目标状态的最感器的估计进行空间融合，从而得到目标状态的最终估计。终估计。第49页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术50 在在同一时间同一时间对对不同空间位置不同空间位置的各传感器的观的各传感器的观测值进行融合，得出各不同时间的观测目标估计，测值进行融合，得出各不同时间的观测目标估计，然后对不同时间的观测目标估计按时间顺序进行融然后对不同时间的观测目标估计按时间顺序进行融合，得出最终状态。合，得出最终状态。同时考虑数据融合的时间性与空间性同时考虑数据融合的时间性与空间性，即上，即上述两个同时进行，可以减少信息损失，提高数据融述两个同时进行，可以减少信息损失，提高数据融合系统的实时性。但同时进行的难度大，只适合于合系统的实时性。但同时进行的难度大，只适合于大型多计算机的数据融合系统。大型多计算机的数据融合系统。第50页，共51页，编辑于2022年，星期一智能信息处理技术智能信息处理技术51小结小结第51页，共51页，编辑于2022年，星期一