第4章 光学图像识别优秀PPT.ppt

第第4章章 光学图像识别光学图像识别现在学习的是第1页，共43页2022/12/51第四章第四章 光学图像识别光学图像识别 4 41 1 图像识别和光学相关器图像识别和光学相关器图像识别和光学相关器图像识别和光学相关器4 42 2 非相干识别器非相干识别器非相干识别器非相干识别器4 43 Vander Lugt3 Vander Lugt相关器相关器相关器相关器4 44 4 实时实时实时实时Vander LugtVander Lugt相关器相关器相关器相关器4 45 Vander Lugt5 Vander Lugt相关器的小型化相关器的小型化相关器的小型化相关器的小型化4 46 6 旋转不变旋转不变旋转不变旋转不变Vander LugtVander Lugt相关器相关器相关器相关器4 47 7 比例不变比例不变比例不变比例不变Vander LugtVander Lugt相关器相关器相关器相关器4 48 8 联合变换相关器联合变换相关器联合变换相关器联合变换相关器4 49 9 实时联合变换相关器实时联合变换相关器实时联合变换相关器实时联合变换相关器4 410 10 联合变换相关器的应用联合变换相关器的应用联合变换相关器的应用联合变换相关器的应用4 411 11 旋转不变联合变换相关器旋转不变联合变换相关器旋转不变联合变换相关器旋转不变联合变换相关器4 412 12 结论结论结论结论现在学习的是第2页，共43页4.1 图像识别和光学相关器图像识别和光学相关器 很很很很久久久久以以以以来来来来，人人人人们们们们一一一一直直直直在在在在研研研研究究究究能能能能够够够够识识识识别别别别物物物物体体体体的的的的机机机机器器器器，这这这这种种种种机机机机器器器器能能能能代代代代替替替替人人人人们们们们从从从从事事事事枯枯枯枯燥燥燥燥乏乏乏乏味味味味的的的的重重重重复复复复性性性性劳劳劳劳动动动动及及及及危危危危险性的工作例如险性的工作例如险性的工作例如险性的工作例如:字符识别机能代替邮递员分拣邮件字符识别机能代替邮递员分拣邮件；自自自自动动动动签签签签名名名名或或或或指指指指纹纹纹纹识识识识别别别别机机机机能能能能代代代代替替替替工工工工作作作作人人人人员员员员检检检检验验验验签签签签字字字字或或或或指指指指纹纹纹纹;在在在在军军军军事事事事上上上上，首首首首先先先先用用用用图图图图像像像像识识识识别别别别系系系系统统统统辨辨辨辨认认认认对对对对方方方方的的的的目目目目标标标标，诸诸诸诸如如如如导导导导弹弹弹弹、车车车车辆辆辆辆、建建建建筑筑筑筑，而而后后用用武武器器自自动动摧摧毁毁经经过过识识别别的目标的目标;在在在在医医医医学学学学上上上上，图图图图像像像像识识识识别别别别技技技技术术术术则则则则用用用用于于于于识识识识别别别别某某某某一一一一类类类类特特特特定定定定的的的的细细细细胞胞胞胞，然后进行计数然后进行计数然后进行计数然后进行计数现在学习的是第3页，共43页1、光学相关器、光学相关器两个实函数两个实函数两个实函数两个实函数f(x,y)和和和和g(x,y)g(x,y)的相关在数学上定义为的相关在数学上定义为 c(c(,)=-f(x,yx,y)g(g(x-,y-)dxdydxdy当当当当 =0，=0时相关函数变成内积时相关函数变成内积:c(0,0)c(0,0)=-f(f(x,yx,y)g(x,y)dxdy (1)(1)(1)式积分实现的方法见图式积分实现的方法见图式积分实现的方法见图式积分实现的方法见图4.14.1显然，仅当显然，仅当显然，仅当显然，仅当f(x,y)f(x,y)和和和和 g(x,y)全同时，光强的积分全同时，光强的积分全同时，光强的积分全同时，光强的积分c(0,0)c(0,0)才达到极大才达到极大才达到极大才达到极大 只要测出光强的积分，只要测出光强的积分，只要测出光强的积分，只要测出光强的积分，就可以判定图形就可以判定图形就可以判定图形就可以判定图形f(x,y)和和g(x,y)g(x,y)的相似性注意，的相似性注意，这一识别过程把复杂的这一识别过程把复杂的二维图形化简为一个点二维图形化简为一个点图图图图4.1 4.1 光学图像识别器图示光学图像识别器图示光学图像识别器图示光学图像识别器图示现在学习的是第4页，共43页2、相关器的局限性、相关器的局限性仅仅仅仅能能能能判判判判别别别别两两两两个个个个完完完完全全全全相相相相同同同同的的的的图图图图形形形形，倘倘倘倘若若若若一一一一个个个个图图图图形形形形相相相相对对对对于于于于另另另另一一一一个个个个图图图图形形形形转转转转过过过过一一一一个个个个角角角角度度度度，或或或或二二二二者者者者的的的的比比比比例例例例有有有有所所所所不不不不同同同同，即即即即便便便便两两两两个个个个图图图图形形形形完完完完全全全全相相相相同同同同，用用用用相相相相关关关关器器器器是是是是无无无无法法法法识识识识别别别别的的的的相相关关器器很很容容易易识识别别印印刷刷体体字字符符，却却无无法法识识别别手手写体字符写体字符相相关关器器容容易易识识别别人人脸脸的的照照片片，对对真真人人的的脸脸部部的的识别却无能为力识别却无能为力总总而而言言之之，相相关关器器可可用用来来识识别别具具有有明明确确定定义义的的物物体体定定义义不不明明确确的的物物体体则则应应借借助助于于神神经经网网络络来识别，可参见第八章来识别，可参见第八章现在学习的是第5页，共43页4.2 非相干识别器非相干识别器 用一个面光源以同时产生许多个准直光束。如果用一个面光源以同时产生许多个准直光束。如果两个图形透明部分相对于这一平行光束是重合的，它两个图形透明部分相对于这一平行光束是重合的，它通过第二个透镜后就在焦平面上产生一个亮斑，它正通过第二个透镜后就在焦平面上产生一个亮斑，它正是两个图形的相关峰，并指示其位置倘若输入平面是两个图形的相关峰，并指示其位置倘若输入平面上存在不止一个图形，则在输出平面上出现多个相关上存在不止一个图形，则在输出平面上出现多个相关斑相关输出为斑相关输出为 c(c(,)=-f(f(x,yx,y)g(x-x-d/f,y-d/f,y-d/fd/f)dxdydxdy缺点：缺点：缺点：缺点：输出平面上输出平面上的相关峰强的相关峰强度很弱度很弱现在学习的是第6页，共43页4.3 Vander ugt 相关器相关器相关运算相关运算相关运算相关运算:c(c(,)=)=-f(f(x,y)g(x-d/f,y-d/f)dxdydxdy1 1、Vander LugtVander Lugt相关器相关器相关器相关器(VLC)(VLC)复数滤波器的记录复数滤波器的记录复数滤波器的记录复数滤波器的记录 设设设设在在在在谱谱谱谱面面面面上上上上放放放放置置置置一一一一个个个个感感感感光光光光胶胶胶胶片片片片，并并并并假假假假定定定定胶胶胶胶片片片片的的的的显显显显影影影影、定定定定影影影影过过过过程程程程是是是是正正正正的的的的线线线线性性性性过过过过程程程程，则则则则最最最最后后后后得得得得到到到到VLCVLC复复复复数数数数滤滤滤滤波波波波器为器为器为器为:T(u,v)T(u,v)=G(u,v)2+1+G(u,v)exp-i 2 exp-i 2 sin/+G*(u,v)exp i 2 sinsin /图图4.3 VLC复数滤波器的记录复数滤波器的记录现在学习的是第7页，共43页2、VLC 识别过程识别过程经过经过经过经过T(u,v)T(u,v)滤波作用，紧贴滤波作用，紧贴滤波作用，紧贴滤波作用，紧贴T(u,v)T(u,v)后面的场为后面的场为后面的场为后面的场为F(u,v)T(u,v)=F(u,v)F(u,v)(G(u,v)2 2+1)+1)+F(u,v)F(u,v)G(u,v)exp-i 2 sin/+F(u,v)G*(u,v)G*(u,v)exp i 2 sinsin /图图4.4VLC的识别过程的识别过程 第一项位于输出平第一项位于输出平面中心，形成面中心，形成0级谱，级谱，而而F(u,v)F(u,v)G(u,v)G(u,v)及及F(u,v)G*(u,v)的逆变的逆变换将分别出现在输出换将分别出现在输出平面上平面上(b,0)及及(-b,0)处，处，F(u,v)F(u,v)G*(u,v)的的的的逆变换为逆变换为逆变换为逆变换为f(,)g(,)。现在学习的是第8页，共43页4.4 实时实时Vander ugt 相关器相关器1 1、透射型实时、透射型实时、透射型实时、透射型实时VLCVLC的基本装置的基本装置的基本装置的基本装置 为了实现实时图像识别，用空间光调制器为了实现实时图像识别，用空间光调制器SLM来来输入图形，最后用探测列阵输入图形，最后用探测列阵AD来探测相关峰来探测相关峰图中图中图中图中L Ll为显微物镜；为显微物镜；为显微物镜；为显微物镜；L L2为准直透镜；为准直透镜；L3 3，L4为傅里叶变换透镜；为傅里叶变换透镜；PH为针孔；为针孔；BS为分为分光镜；光镜；M为反光镜；为反光镜；MSF为匹配滤波器；为匹配滤波器；AD为探测列阵为探测列阵(例如例如CCD)；OB为物光；为物光；RB为参考光为参考光.图图图图4.5 4.5 透射型透射型透射型透射型VLCVLC的装置的装置的装置的装置现在学习的是第9页，共43页2 2、反射型实时、反射型实时、反射型实时、反射型实时VLCVLC的基本装置的基本装置的基本装置的基本装置 系统使用反射型系统使用反射型系统使用反射型系统使用反射型SLM(SLM(例如液晶光阀例如液晶光阀例如液晶光阀例如液晶光阀LCLV).LCLV).在在在在图图图图4.64.6中中中中，由由由由摄摄摄摄像像像像机机机机拍拍拍拍摄摄摄摄的的的的图图图图像像像像由由由由TVTV终终终终端端端端显显显显示示示示，该该该该图图图图像像像像直直直直接接接接照照照照射射射射LCLVLCLV，或或或或用用用用透透透透镜镜镜镜投投投投影影影影到到到到LCLVLCLV的的的的写写写写入入入入端端端端面面面面，激激激激光光光光束束束束则则则则在在在在LCLVLCLV的的的的读读读读出出出出端端端端面面面面上上上上反反反反射射射射，并并并并读读读读出出出出信信信信号，即号，即号，即号，即VLCVLC的输入信号的输入信号的输入信号的输入信号f(x,y)f(x,y)图图图图4.64.6现在学习的是第10页，共43页3、实时图像识别的例子、实时图像识别的例子图图4.7 应用应用LCLV 进行实时相关识别进行实时相关识别现在学习的是第11页，共43页4.5 Vander ugt 相关器的小型化相关器的小型化 小小型型化化VLC底底板板尺尺寸寸为为31cm23cm，光光束束直直径径2.5cm，外外壳壳高高度度15cm，四四只只波波长长为为830nm、峰峰值值功功率率为为10 mW的的半半导导体体激激光光器器辐辐射射四四束束独独立立的的光光束束(发发散散角角为为20o40o o),MSF是是用用会会聚聚参参考考光光制制作作的的，这这样样就就可可以省去一个逆变换透镜以省去一个逆变换透镜图图4.8 小型化实时相干光学相关器光学系统图小型化实时相干光学相关器光学系统图现在学习的是第12页，共43页坦克模型的相关识别实验坦克模型的相关识别实验 (a)坦克模型坦克模型(b)坦克的匹配滤波器坦克的匹配滤波器MSF (c)相关信号相关信号图图4.坦克模型的相关识别实验坦克模型的相关识别实验 现在学习的是第13页，共43页装备在导弹头部小型化装备在导弹头部小型化VLC 用用三三个个普普罗罗(Porro)棱棱镜镜和和一一个个分分光光棱棱镜镜胶胶合合成成固固化化的的棱棱镜镜组组，整整个个光光学学系系统统高高45mm，对对角角线线长长88mm，内内部部性性能能与与上上述系统类似，但只有一个通道述系统类似，但只有一个通道现在学习的是第14页，共43页图图4.10 固态光学相关器部件分解图固态光学相关器部件分解图现在学习的是第15页，共43页图图4.11 部分拆开的相关器部件实物图部分拆开的相关器部件实物图现在学习的是第16页，共43页反射型反射型 MSF 实时指纹识别器实时指纹识别器现在学习的是第17页，共43页4.6 旋转不变旋转不变 Vander Lugt 相关器相关器利用圆谐函数展开实现旋转不变利用圆谐函数展开实现旋转不变利用圆谐函数展开实现旋转不变利用圆谐函数展开实现旋转不变VLCVLC的方案的方案的方案的方案 输输输输入入入入函函函函数数数数f(x,y)f(x,y)用用用用极极极极坐坐坐坐标标标标表表表表为为为为f(r,f(r,)，并并并并用用用用指指指指数数数数函函函函数数数数展展展展开：开：开：开：f(r,f(r,)=M=-f fMM(r)exp(iM(r)exp(iM )fMM(r)=(1/2(r)=(1/2 )0 f(r,)exp(-iM)exp(-iM )d)d 旋转旋转 角的目标函数可表为角的目标函数可表为f(r,+)=M=M=-f fM(r)exp(iM)exp(iM)在原点在原点(0,0)的相关在极坐标中的表达式为的相关在极坐标中的表达式为 c(c()=c(0,0)=0 rdrrdr 2 2 0 f(r,+)f*(r,f*(r,)d =2 =2 M=-exp(iMexp(iM )0 0|f fM(r)|2 2 rdr上式相关函数包含了各级圆谐函数分量的贡献，上式相关函数包含了各级圆谐函数分量的贡献，上式相关函数包含了各级圆谐函数分量的贡献，上式相关函数包含了各级圆谐函数分量的贡献，结论结论结论结论：当参考信号中包含多个当参考信号中包含多个当参考信号中包含多个当参考信号中包含多个(大于一个大于一个大于一个大于一个)圆谐函圆谐函圆谐函圆谐函 数分量时相关输出是旋转可变的。数分量时相关输出是旋转可变的。数分量时相关输出是旋转可变的。数分量时相关输出是旋转可变的。现在学习的是第18页，共43页利用圆谐函数展开实现旋转不变利用圆谐函数展开实现旋转不变利用圆谐函数展开实现旋转不变利用圆谐函数展开实现旋转不变VLCVLC的方案的方案的方案的方案 如如果果参参考考信信号号中中仅仅包包含含一一个个(某某一一级级)圆圆谐谐函函数数分量时就可以实现旋转不变。分量时就可以实现旋转不变。设设 f fM(r,(r,)=)=fM(r)exp(iM)相关输出相关输出相关输出相关输出:cM()=2 2 exp(iM)0 r|f fMM(r)|2 2 dr相关函数的强度相关函数的强度:|c cM()|2 =|2 2 0 r|fM(r)|2 drdr|2 2 它与目标图形的它与目标图形的它与目标图形的它与目标图形的 无关，因而是旋转不变的。无关，因而是旋转不变的。无关，因而是旋转不变的。无关，因而是旋转不变的。这这一一旋旋转转不不变变的的相相关关识识别别过过程程，显显然然强强烈烈地地依依赖赖于于极极坐坐标标系系原原点点的的选选择择及及圆圆谐谐函函数数分分量量的的级级 M 的选择。的选择。一一般般的的原原则则是是把把原原点点选选在在图图形形的的对对称称中中心心或或大大致致的的中中心心附附近近，并并选选择择较较低低级级次次的的圆圆谐谐函函数数分分量量作作为为参参考信号。考信号。现在学习的是第19页，共43页旋转不变旋转不变VLC的实例的实例 在在在在图图图图4.13(a)4.13(a)中中中中，字字字字母母母母E E作作为为目目标标函函数数，并并用用“”指指出出圆圆谐谐函函数数的的展展开开中中心心；图图(b)给给出出第第一一级级的的圆圆谐谐函函数数分分量量的的振振幅幅；图图(c)和和(d)分分别别是是(b)中中圆圆谱谱函函数数的的实实部部和和虚虚部部与与该该复复圆圆谐谐函函数数匹匹配配的的空空间间滤滤波器波器MSF用计算机产生的全息图制作用计算机产生的全息图制作图图4.13 第一级第一级圆谐函数分量圆谐函数分量现在学习的是第20页，共43页旋转不变旋转不变VLC的实例的实例图图4.14 给给出出旋旋转转不不变变的的相相关关峰峰，指指示示了了三三个个不不同同取取向向的的字字母母 E 的的存存在在，在在识识别别过过程程中取了适当的阂值中取了适当的阂值图图4.14 对字母对字母E识别的旋转不变识别的旋转不变相关输出相关输出现在学习的是第21页，共43页4.7 比例不变比例不变 Vander Lugt 相关器相关器 比比比比例例例例不不不不变变变变又又又又称称称称尺尺尺尺度度度度缩缩缩缩放放放放不不不不变变变变，意意意意思思思思是是是是说说说说目目目目标标标标图图图图形形形形与参考图形相似时，仍有相关峰输出与参考图形相似时，仍有相关峰输出与参考图形相似时，仍有相关峰输出与参考图形相似时，仍有相关峰输出引入下面的变量代换：引入下面的变量代换：=lnx,=lny图形函数表为图形函数表为 f(,)=f(lnx,lnylnx,lny)对原函数进行对原函数进行对原函数进行对原函数进行 倍的比例缩放的结果为倍的比例缩放的结果为f(,)=f()=f(ln x,ln y)=f(+1,+1)式中式中 1=1=lnln 。如果图形函数如果图形函数如果图形函数如果图形函数f(,)与与f(+1,+1)进行相进行相进行相进行相关识别，显然有相关峰输出。而关识别，显然有相关峰输出。而关识别，显然有相关峰输出。而关识别，显然有相关峰输出。而f(f(,)与与 f(f(x,y)对应，对应，对应，对应，f(+1 1,+1 1)与与与与 f(x,y)对应，恰恰是原来对应，恰恰是原来对应，恰恰是原来对应，恰恰是原来的图形函数与比例缩放后的图形函数的相关，相关峰的图形函数与比例缩放后的图形函数的相关，相关峰的图形函数与比例缩放后的图形函数的相关，相关峰的图形函数与比例缩放后的图形函数的相关，相关峰的位移的位移的位移的位移(-(-1 1,-,-1 1)指示了指示了缩放的系数缩放的系数 =exp=exp 1 1=exp 1 1。现在学习的是第22页，共43页 在在上上述述处处理理过过程程中中，不不能能以以f(x,y)作作为为输输入入信信号号，而而必必须须用用f(+1,+1)作作为为输输入入信信号号，输输入入图图4.5 或或图图4.6 所所示示的的识识别别系系统统中中，类类似似地地，当当制制作作MSF时时，必必须须采采用用变变换换后后的的参参考考信信号号f(,)，而而不不是是原原来来的的参参考考信信号号f(x,y)。从从f(x,y)到到f(,)的的变变换换，以以及及从从f(x,y)到到f(+1,+1)的的变变换换，既既可可以以用用电电子子学学的的方方法法实实现现，也也可可以以借借助助于于光光学学坐坐标标变变换换器器用用光光学学方方法法实实现现。当当然然最最为为简简单单而而实实用用的的办办法法是是用用变变焦焦镜镜(ZOOM)，然然而而这这将将包包含含一一个个机机械械的的动动作作，而而且且不不能能算算作作是是并行处理器。并行处理器。现在学习的是第23页，共43页4.8 联合变换相关器联合变换相关器 光学联合变换相关器光学联合变换相关器光学联合变换相关器光学联合变换相关器(JTC)(JTC)最早是由最早是由最早是由最早是由Weaver Weaver 和和和和GoodmanGoodman，以及，以及，以及，以及Rau Rau 提出来的提出来的提出来的提出来的.图图4.15 联合变换功率谱的记录联合变换功率谱的记录 S(u,v)=-f(x+a,y)+g(g(x-a,yx-a,y)*exp-i 2/f(xu+yv)dxdydxdyS(u,v)称为称为f(x,y)和和和和g(x,y)g(x,y)的联合傅里叶谱的联合傅里叶谱的联合傅里叶谱的联合傅里叶谱.现在学习的是第24页，共43页 关于位移的变换法，关于位移的变换法，关于位移的变换法，关于位移的变换法，S(u,v)S(u,v)则改写为则改写为则改写为则改写为S(u,v)=exp i2 au/au/F F(u,v)+exp-i2+exp-i2 au/f G(u,v)式中式中F F(u,v)(u,v)f(x,y),f(x,y),G(u,v)(u,v)g(x,y)如如果果用用平平方方律律探探测测器器测测量量透透镜镜后后焦焦面面的的图图形形，得到光强分布得到光强分布|S(u,vu,v)|2 2 =|F(u,v)|2 2 +exp i4exp i4 au/f F(u,v)G*(u,vu,v)+exp-i4exp-i4 au/au/f f F*(F*(u,v)G(u,v)+|G(G(u,vu,v)|2 2 它就是联合傅里叶变换的功率谱它就是联合傅里叶变换的功率谱.现在学习的是第25页，共43页对对对对联联联联合合合合功功功功率率率率谱谱谱谱|S(S(u,v)|2 2再再进进行行一一次次傅傅里里叶叶逆逆变变换换，得得到到 o(,)=o o1 1(,)+o o2(,)+o3(,)+o4(,)o1 1(,)=f(x,y)f(x,y)自相关；自相关；o2 2(,)=f(x,y)=f(x,y)g(x,y)，只是在，只是在 轴上平移轴上平移 2a；o o3(,)=g(x,y)=g(x,y)f(x,y)，在，在 轴上平移轴上平移2a的距离；的距离；o o4 4(,)=g(x,y)g(x,y)自相关自相关 o1(,)与与与与o4(,)重叠在输出平面中心附近，重叠在输出平面中心附近，称之为称之为0 级项，它们不是信号两个互相关项级项，它们不是信号两个互相关项 o2(,)和和和和 o o3(,)为一级项，正是我们寻求的相关输为一级项，正是我们寻求的相关输为一级项，正是我们寻求的相关输为一级项，正是我们寻求的相关输出信号，它们在输出平面上沿出信号，它们在输出平面上沿出信号，它们在输出平面上沿出信号，它们在输出平面上沿 轴分别平移轴分别平移 2a 和和2a，因而与，因而与0 级项分离在级项分离在 f(x,y)和和g(x,y)相同的情况相同的情况下，下，o2(,)和和和和 o o3 3(,)的函数形式相同的函数形式相同现在学习的是第26页，共43页4.9 实时联合变换相关器实时联合变换相关器 联联联联合合合合变变变变换换换换谱谱谱谱的的的的记记记记录录录录和和和和逆逆逆逆变变变变换换换换两两两两个个个个过过过过程程程程之之之之间间间间，有有有有一一一一个个个个用用用用平平平平方方方方律律律律探探探探测测测测器器器器把把把把联联联联合合合合变变变变换换换换的的的的复复复复振振振振幅幅幅幅谱谱谱谱转转转转换换换换为为为为功功功功率率率率谱谱谱谱的的的的中介过程。中介过程。中介过程。中介过程。在在在在早早早早期期期期的的的的实实实实验验验验中中中中，这这这这一一一一过过过过程程程程借借借借助助助助于于于于感感感感光光光光胶胶胶胶片片片片实实实实现现现现：首首首首先先先先用用用用感感感感光光光光胶胶胶胶片片片片记记记记录录录录一一一一对对对对目目目目标标标标图图图图形形形形f(x,y)f(x,y)和和参参考考图图形形器器g(x,y)的的联联合合变变换换谱谱，经经过过显显影影、定定影影处处理理后后，胶胶片片的的透透过过率率近近似似正正比比于于联联合合变变换换的的功功率率谱谱|S(S(u,vu,v)|2 2 ，再再再再把把把把它它它它放放放放在在在在系系系系统统统统的的的的输输输输入入入入平平平平面面面面上上上上，用用用用透透透透镜镜镜镜进进进进行行行行逆逆逆逆变变变变换换换换，获获获获得得得得相相相相关关关关输输输输出出出出。如如如如果果果果要要要要对对对对多多多多个个个个目目目目标标标标图图图图形形形形fn n(x,y)(x,y)(n=l,2,(n=l,2,N),N)进进进进行行行行识识识识别别别别，上上上上述述述述过过过过程程程程必必必必须须须须重重重重复复复复多多多多次次次次，显显显显然然然然是是是是十十十十分分分分费费费费时时时时费费费费事的。事的。事的。事的。现在学习的是第27页，共43页 然而，如果采用高分辨率光寻址的空间光调制器来然而，如果采用高分辨率光寻址的空间光调制器来代替胶片完成上述中介过程，联合变换相关器代替胶片完成上述中介过程，联合变换相关器JTC的优越性就体现出来了的优越性就体现出来了1981年年，PichonPichon和和和和HuignardHuignard第一次用光折变晶体第一次用光折变晶体第一次用光折变晶体第一次用光折变晶体BSOBSO来实时记录联合变换的功率谱来实时记录联合变换的功率谱来实时记录联合变换的功率谱来实时记录联合变换的功率谱1985年年，Loiseaux 等把等把BSO放在傅里叶平面上，放在傅里叶平面上，并在输入平面上放置并在输入平面上放置BSO液晶光阀液晶光阀LCLV尽管尽管BSO晶体的分辨率高达晶体的分辨率高达1000 lp/mm(线对每毫米线对每毫米)，BSOLCLV系统只能实现系统只能实现12 1p/mm的分辨率，的分辨率，可用面积为可用面积为25mm25mm，相当于，相当于300300个像个像素这一方案实现了素这一方案实现了JTC中的实时平方律转换中的实时平方律转换现在学习的是第28页，共43页1984年年，Yu和和Lu提出用提出用LCLV作为平方律探测器，作为平方律探测器，而在输入平面上采用计算机控制的磁光空间光调而在输入平面上采用计算机控制的磁光空间光调制器制器(MOSLM)的实时可编程的实时可编程JTC方案，当时方案，当时MOSLM的空间带宽积或像素数和的空间带宽积或像素数和LCLV的分辨率的分辨率比胶片或比胶片或BSO的分辨率低，所以在上述系统中都的分辨率低，所以在上述系统中都用长焦距变换透镜用长焦距变换透镜19871987年年年年，YuYu等等等等又又又又提提提提出出出出了了了了用用用用液液液液晶晶晶晶电电电电视视视视(LCTV)(LCTV)作作作作为为为为电电电电寻寻寻寻址址址址SLMSLM，并并并并用用用用CCDCCD记记记记录录录录联联联联合合合合变变变变换换换换功功功功率率率率谱谱谱谱探探探探测测测测到到到到的的的的图图图图形形形形再通过再通过再通过再通过LCTVLCTV显示出来，并由显示出来，并由显示出来，并由显示出来，并由CCDCCD探测相关输出探测相关输出探测相关输出探测相关输出特特点点：(1)不不采采用用长长焦焦距距变变换换透透镜镜，因因而而JTC是是相相当当紧紧凑凑的的的的(2)(2)用用用用CCDCCD来来来来探探探探测测测测功功功功率率率率谱谱谱谱，从从从从而而而而在在在在第第第第二二二二次次次次傅傅傅傅里里里里叶叶叶叶变变变变换换换换前前前前可可可可以以以以用用用用各各各各种种种种数数数数字字字字处处处处理理理理技技技技术术术术来来来来提提提提高高高高系系系系统统统统的的的的性性性性能能能能现在学习的是第29页，共43页实时实时JTC 理论分析理论分析 设设设设f(x,y)f(x,y)=g(x,y)g(x,y)，则则则则联联联联合合合合变变变变换换换换谱谱谱谱可可可可认认认认为为为为是是是是f(x,y)f(x,y)和和和和g(x,y)上上对对应应的的无无数数点点对对形形成成的的杨杨氏氏条条纹纹的的相相干干叠叠加加杨杨氏氏条条纹纹的的衍衍射射图图包包含含两两个个亮亮斑斑(+1级级和和-1级级衍射衍射)及及0级级(直流直流)光斑这两个亮斑即相关峰光斑这两个亮斑即相关峰现在让我们来分析现在让我们来分析现在让我们来分析现在让我们来分析|S(S(u,vu,v)|2 2 当当当当f(x,y)=g(x,y)时，时，|S(S(u,v)|2 2=|F(u,v)|2 2+exp i4exp i4 au/au/f f F(u,vu,v)G*(u,vu,v)+exp-i4 au/au/f f F*(F*(u,v)G(G(u,v)+|G(G(u,v)|2 =2 =2|F(F(u,vu,v)|2 1+cos(i4 au/f)1+cos(1+cos(i4 au/au/f)f)代表理想的杨氏条纹，周期为代表理想的杨氏条纹，周期为代表理想的杨氏条纹，周期为代表理想的杨氏条纹，周期为 f/2af/2a，因子因子|F(F(u,v)|2 2则是杨氏条纹的包络则是杨氏条纹的包络则是杨氏条纹的包络则是杨氏条纹的包络F F F F1|S(S(u,vu,v)|2 =F F F F-12 2|F(F(u,v)|2*F F-1-11+cos(1+cos(i4 au/au/f)f)现在学习的是第30页，共43页 o(,)=F F11|S(u,v)|2 =F F F F-1-12|F(u,vu,v)|2*F F-1-11+cos(i4 au/f)其中其中 F F-11+cos(1+cos(i4i4 au/f)=(,)+(+2a,+2a,)+(-2a,)/2)/2 我我们们已已经经知知道道|F(u,v)|2 2的的的的傅傅傅傅里里里里叶叶叶叶逆逆逆逆变变变变换换换换是是是是f(x,y)f(x,y)的的的的自自自自相相相相关关关关，记为记为记为记为c cff ff(,)亦即亦即 F F F F-12|F(u,vu,v)|2 2=2=2 c cff(,)o(o(,)=2 2cff(,)*(,)+)+(+2a,)+)+(-2a,)/2)/2 =2 2c cff(,)+c)+cff ff(+2a,)+cff(-2a,)从而自相关斑分别出现在从而自相关斑分别出现在从而自相关斑分别出现在从而自相关斑分别出现在(-2a,0)(-2a,0)，(0,0)(0,0)和和和和(2a,0)(2a,0)杨杨杨杨氏氏氏氏条条条条纹纹纹纹 1+1+cos(cos(i4i4 au/f)比比比比包包包包络络络络2 2|F(F(u,vu,v)|2重重要要得得多多，即即使使包包络络有有所所改改变变，我我们们仍仍能能观观察察到到相相关关峰峰 (+2a,+2a,)+(-2a,)现在学习的是第31页，共43页 例如例如:功率谱的范围超过功率谱的范围超过CCD的探测面，仅一部的探测面，仅一部分功率谱被检测设分功率谱被检测设CCD的探测面由矩形函数的探测面由矩形函数rect(u,v)rect(u,v)所限定所限定所限定所限定(rect(u,v)是函数是函数rect(u)rect(v)的简写的简写)设它设它比比F(u,v)要小，则要小，则要小，则要小，则CCDCCD测得的谱为测得的谱为测得的谱为测得的谱为rect(u,v)rect(u,v)1+cos(i4i4 au/f)，在透镜后焦面上的输出为，在透镜后焦面上的输出为o(o(,)=F F-1 rect(u,v)rect(u,v)1+cos(i4 au/f)=css(,)+css ss(+2a,+2a,)+c)+css(-2a,-2a,)/2在在在在(-2a,0)(-2a,0)及及及及(2a,0)(2a,0)仍然看到相关峰仍然看到相关峰仍然看到相关峰仍然看到相关峰(设设设设f(x,y)f(x,y)=g(x,y)g(x,y)cssss(,)是是sinc(x,y)的自相关的自相关(sinc(x,y)=sinc(x)sinc(y)注意注意注意注意sinc(x,y)sinc(x,y)和和和和rect(u,v)rect(u,v)是傅里叶变换对是傅里叶变换对是傅里叶变换对是傅里叶变换对,且且且且rect(u,v)=rect(u,v)=|rect(u,v)rect(u,v)|2 .现在学习的是第32页，共43页JTCJTC的优点的优点的优点的优点(1)(1)与与与与Vander Vander LugtLugt相相相相关关关关器器器器的的的的全全全全息息息息匹匹匹匹配配配配滤滤滤滤波波波波器器器器相相相相比比比比，JTCJTC的的的的参参参参考考考考图图图图形形形形显显显显然然然然要要要要简简简简单单单单得得得得多多多多，它它它它可可可可以以以以存存存存储储储储在在在在计计计计算算算算机机机机中中中中，并并并并用用用用LCTVLCTV显示显示显示显示(2)探探测测联联合合变变换换功功率率谱谱可可以以是是一一个个非非线线性性的的处处理理过过程程(3)(3)由由由由于于于于我我我我们们们们对对对对相相相相关关关关峰峰峰峰的的的的形形形形状状状状并并并并不不不不特特特特别别别别感感感感兴兴兴兴趣趣趣趣，因因因因而而而而可可可可以选择功率谱的一部分来产生杨氏条纹以选择功率谱的一部分来产生杨氏条纹以选择功率谱的一部分来产生杨氏条纹以选择功率谱的一部分来产生杨氏条纹(4)(4)如如如如果果果果采采采采用用用用短短短短焦焦焦焦距距距距傅傅傅傅里里里里叶叶叶叶变变变变换换换换透透透透镜镜镜镜加加加加一一一一个个个个放放放放大大大大透透透透镜镜镜镜，系系系系统总长度可大大缩短统总长度可大大缩短统总长度可大大缩短统总长度可大大缩短JTCJTC的缺点的缺点的缺点的缺点 在在在在于于于于功功功功率率率率谱谱谱谱受受受受到到到到输输输输入入入入平平平平面面面面上上上上所所所所有有有有信信信信号号号号和和和和噪噪噪噪声声声声的的的的影影影影响响响响，它它它它强强强强烈烈烈烈地地地地依依依依赖赖赖赖信信信信号号号号和和和和噪噪噪噪声声声声的的的的特特特特性性性性，很很很很难难难难设设设设计计计计一一一一个个个个非非非非线线线线性函数来优化功率谱的探测性函数来优化功率谱的探测性函数来优化功率谱的探测性函数来优化功率谱的探测现在学习的是第33页，共43页4.10 联合变换相关器的应用联合变换相关器的应用图图图图4.17 4.17 使用使用使用使用LCTVLCTV的实时自适应的实时自适应的实时自适应的实时自适应JTCJTC的实验装置的实验装置的实验装置的实验装置现在学习的是第34页，共43页 图图4.18(a)计算机生成的物计算机生成的物 体和参考图像体和参考图像(b)相关输出相关输出(c)LCTV上没有物体上没有物体 存在时的直流输出存在时的直流输出现在学习的是第35页，共43页4.10 联合变换相关器的应用联合变换相关器的应用 Fielding等等报报道道了了在在Yu等等方方案案的的基基础础上上加加以改进获得的指纹识别的实验装置以改进获得的指纹识别的实验装置.现在学习的是第36页，共43页图图4.20 运用运用JTC进行指纹识别的实验结果进行指纹识别的实验结果(a)输入指纹和参考指纹经二值化处理后在输入平输入指纹和参考指纹经二值化处理后在输入平 面显示面显示(b)第二步，二值化的联合变换功率谱第二步，二值化的联合变换功率谱(c)一对相关斑一对相关斑现在学习的是第37页，共43页 宋菲君等利用实时宋菲君等利用实时JTC识别了破损的指纹识别了破损的指纹图图4.22(a)参考指纹参考指纹(b)留在留在电子表表面上的现，场指电子表表面上的现，场指纹纹(经处理经处理)(c)相关输出相关输出图图图图4.21 (a)4.21 (a)参考指纹参考指纹参考指纹参考指纹(b)现场指纹现场指纹 (c)(c)相关输出相关输出相关输出相关输出现在学习的是第38页，共43页4.11 旋转不变联合变换相关器旋转不变联合变换相关器 圆圆谐谐函函数数展展开开是是一一种种最最为为直直截截了了当当的的实实现现旋旋转转不不变变的的方方案案，在在Vander Lugt 相相关关器器、JTC 及及非非相相干干相相关关器器中中都都已已得得到到成成功功然然而而这这一一方方法法的的一一个个根根本本问问题题在在于于，旋旋转转不不变变的的性性能能在在很很大大程程度度上上取取决决于于旋旋转转中中心心的的选选择择，而而选选择择旋旋转转中中心心并并没没有有固固定定的的法法则则可可以以遵遵循循此此外外，还还需需要要一一台台计算机来产生滤波器计算机来产生滤波器现在学习的是第39页，共43页旋转参考图形法旋转参考图形法 设参考图形设参考图形g(x,y)为字母为字母“A”，输入图形则包含数，输入图形则包含数个字母个字母“A”，散布在其他，散布在其他字母中，见图字母中，见图4.24(a)如果将如果将如果将如果将g(x,y)从从0o 旋转到旋转到360o，每，每 lo o 取一个相关，对所有取一个相关，对所有的相关求和，我们就会得到的相关求和，我们就会得到一幅旋转不变的相关输出一幅旋转不变的相关输出.图图4.24(a)输入