基于可编程GPU的红外场景仿真实现kdh.pdf

《基于可编程GPU的红外场景仿真实现kdh.pdf》由会员分享，可在线阅读，更多相关《基于可编程GPU的红外场景仿真实现kdh.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 19 卷第 7 期 系系 统统 仿仿 真真 学学 报报 Vol.19 No.7 2007年4月 Journal of System Simulation Apr.,2007 1492 基于可编程基于可编程 GPU 的红外场景仿真实现的红外场景仿真实现 孙 毅，戴树岭（北京航空航天大学先进仿真技术航空科技重点实验室,北京 100083）摘摘 要：要：针对以前红外仿真方法细节差、实时性不高等技术难点，提出了一种新的红外物理模型实现方法。该方法将物理信息与物体的几何模型顶点绑定，提高了对红外场景的描述细节。该方法对物理模型的计算在该方法将物理信息与物体的几何模型顶点绑定，提高了对红外场景的描述细

2、节。该方法对物理模型的计算在 CPU 与与 GPU 之间进行了分配，充分利用了可编程之间进行了分配，充分利用了可编程 GPU 的强大运算能力，有效提高了红外场景生成的实时性。的强大运算能力，有效提高了红外场景生成的实时性。讨论了几种典型探测器效应的添加方法。使用仿真图像来说明所提出方法的有效性，同时分析了该方法的优缺点。关键词：关键词：红外场景仿真；物理模型；可编程 GPU；计算机成像 中图分类号：中图分类号：TP391.9 文献标识码：文献标识码：A 文章编号：文章编号：1004-731X(2007)07-1492-05 Implementation of Infrared Scene Si

3、mulation Based on Programmable GPU SUN Yi,DAI Shu-ling（AST Laboratory,Beijing University of Aeronautics and Astronautics,Beijing 100083,China）Abstract:Considering the unsatisfied simulation details,low real-time quality and other technical difficulties of previous infrared scene simulation methods,a

4、 new implementation method of infrared physical model was proposed.In the method proposed,objects physical information is bound to the vertices of their geometry model,which improves the description details of infrared scene.By distributing physical models computation load between CPU and GPU,the ne

5、w method makes full use of GPUs powerful computation ability,which effectively improves the real-time quality of infrared scene generation.Besides that,the add methods of several typical detector effects were also discussed.Finally,simulation images were used to illustrate the effectiveness of the p

6、roposed method,and the advantages and disadvantages of the proposed method were also analyzed.Key words:infrared scene simulation;physical model;programmable GPU;computer imaging 引引 言言 近年来，随着红外探测设备在地质勘探、交通、国防以及航空航天领域的普遍应用，对红外场景的仿真已经成为热门课题。由于红外仿真系统在人员训练、系统评估、任务制订等方面的应用价值，世界各国都已经开展了这项研究工作。国外，特别是美国，在红外

7、场景仿真方面的起步较早，技术也比较成熟，而且已经用于系统的设计与评估中1。国内在这方面的起步较晚，技术还比较落后。由于目标和背景红外辐射的复杂性，对红外场景的仿真相当困难，所以得到一张红外场景图像是红外系统仿真的关键。一种方法是可以通过红外设备在现场拍摄获得，但是这种方法受条件限制，不可能满足对气象条件的所有要求。而随着计算机技术的飞速发展，特别是计算机图形技术的进步，通过计算机软件对红外物理模型建模，运用计算机图形图像处理的各种算法模拟场景的红外图像越来越受到人们的关注。国外在这方面也已经有相当成熟的产品，例如MultiGen2、Vega2等，这些软件集成了专门的用于生成红外图像的开发包，使

8、用方便，但价格昂贵，而且移植性差。收稿日期：收稿日期：2006-01-22 修回日期：修回日期：2007-01-10 作者简介：孙毅作者简介：孙毅(1981-),男,山东人,博士生,研究方向为图形图像技术;戴树岭戴树岭(1966-),男,河北人,教授,研究方向为虚拟现实技术及其应用,图形图像技术。国内在这方面也有人做了许多工作，大部分工作都集中在对红外的物理模型进行论述或改进，而具体实现则是利用了像 SensorVision2这样的专用仿真软件。当然也有对实现方法进行研究的，例如娄树理等3对基于 OpenGL 的红外场景仿真的研究，建立了红外物理模型，并利用 OpenGL 中的光照模型、纹理映

9、射技术等实现红外场景的仿真。张健等4基于测量数据的 HLSL 实现方法的研究，将拍摄到的红外图像作为纹理，利用 HLSL 将其映射到三维实体上，并进行各种效应的仿真。1 难点分析难点分析 对于所有的实时仿真系统，效率问题始终是评价其实时性的焦点，红外场景仿真也不例外。在保证仿真质量的同时，研究如何最大限度的提高仿真系统的运行效率有重要意义。对于红外场景仿真系统而言，其模型计算复杂，计算量庞大，如果场景变得复杂一点，就会对系统的实时性产生严重影响。另外，红外场景仿真系统的实现需要目标以及环境的大量数据信息，数据信息的获得对于提高效率同样意义重大。传统的做法需要建立信息数据库，对三维模型中的面元或

10、顶点进行编码，与数据库中的物理信息相对应，通过调用数据库文件获得相应材料的热特性和光学特性参数，为随后进行的温度及辐射特性计算做准备。本文提出了一种基于可编程图形处理器的实现方法，充第 19 卷第 7 期 Vol.19 No.7 2007 年 4 月 孙 毅，等：基于可编程 GPU 的红外场景仿真实现 Apr.,2007 1493 分利用现代图形处理器强大的并行运算能力，通过将温度、辐射特性等信息绑定到三维模型当中，尽可能减轻 CPU 繁重的计算载荷，从而有效的提高运行效率。同时，利用可编程图形处理器的顶点和片断编程能力，可以将红外物理模型应用到像素级控制，从而更好的显示模型的许多细节特征。相

11、比于以前的研究成果而言，本论文的主要贡献包括：(1)使用 GPU 实现红外物理模型仿真，为红外仿真领域物理模型的实现提供了一种新思路；(2)物理信息与几何模型绑定，明确提出了物理信息如何与几何模型进行映射的方法。2 实现原理实现原理 目前大部分的计算机三维场景生成软件模拟的都是可见光波段的图像，本文方法就是在此基础上，通过对计算机三维场景的生成进行人为干预，生成红外波段图像。本文方法的仿真过程如下：离线状态下，对模型进行修改，将每个顶点的温度和辐射特性加到模型中；在配置文件中设置环境参数，包括大气温度、相对湿度、能见度；仿真运行时，主程序设置场景信息，计算公共参数并传送到 GPU(图形处理器)

12、中；GPU 负责计算每个像素的灰度值并显示。下面分别介绍一下实现的理论基础、技术背景和具体环节。2.1 理论基础理论基础 在自然环境中，物体所发射的红外辐射包括自身的热辐射、对环境辐射的反射、对太阳辐射的反射，红外探测器主要靠接收到的目标的辐射强度与环境的辐射强度不同来区分目标，所以探测器接收到的还有目标与探测器之间的大气路径辐射5。大气效应除了路径辐射以外，最主要的还是对红外线的吸收和散射，造成了红外辐射在大气传输过程中有明显的衰减6。2.1.1 自然辐射源自然辐射源 在自然界中，绝对温度大于零 K 的所有物体都具有红外辐射。就我们所研究的场景而言可以将辐射源归结为三类：太阳辐射，环境背景辐

13、射，目标辐射。普朗克公式描述了黑体在某特定温度下的光谱辐射出射度：2511()(exp1)bcMcT=(1)其中，c1和 c2分别是第一和第二辐射常数，是波长，T 是黑体的绝对温度。绝对的黑体在自然界中是不存在的，物体通常是选择性灰体，所以一般物体的辐射亮度可以用下面的公式描述：1(1)/thermalbRLM=(2)其中，21()()bbMMd=为探测器的光谱响应，为平均发射率，为平均反射率，为目标到探测器间的大气衰减。实验证明，不仅目标可以用以上两个公式计算，太阳辐射和背景辐射也可以近似表示7。2.1.2 反射模型反射模型 物体的红外辐射是以红外线的形式向外传播，红外线是一种电磁波，具有反

14、射现象。红外线的反射具有可逆性和能量守恒性，是一种双向反射模型。但是由于其计算量大，大部分的计算机三维软件所使用的光照模型都是简化模型，这种模型在使计算量大大降低的情况下，在效果上实现了极小的失真，使人眼很难察觉到。OpenGL 中采用了一种 Phong 模型8，其公式描述是：L=La*Ra+Ld*Rd+Ls*Rs+Le*Re (3)其中，最后一项是对于发光体而言，当研究反射模型时可将其忽略。2.1.3 大气衰减大气衰减 大气对红外辐射的吸收和散射是造成衰减的两个主要原因，其中大气中的二氧化碳、水蒸气和臭氧是吸收最强烈的三种物质。由于红外辐射的传播主要是在近地面且靠近海洋的地域内，所以我们可以

15、只考虑水蒸气的吸收。水蒸气的吸收模型和大气的散射模型都很复杂，参考文献6中为我们提供了两个可供实现的经验模型：计算水蒸气吸收的 Langer 经验公式：bW=，WLW=，1()iqiiWRW=(水蒸气吸收)(4)其中 b 为绝对湿度，W为每公里路径上的可凝水量，L 为路径长度，W 为总的可凝水量，Ri、Wi 和 qi 为经验公式的常数，由所选择的大气窗口决定。计算大气散射衰减的经验公式：130 585q.V=，23 91exp()0 55q.LV.=，(大气散射)(5)其中 V 为视距，为波长，L 为路径长度。总的大气衰减系数为：12=(6)2.1.4 探测器响应探测器响应 在对普朗克公式积分

16、的过程中用到了探测器的光谱响应率，它描述了从光信号到电信号的转换关系，是由探测器本身决定的。按照探测机理的不同，红外探测器可分为光子探测器和热探测器两大类，其光谱响应曲线如图 1 所示：热探测器光子探测器 波长 图 1 红外探测器的光谱响应 第19卷第7期 Vol.19 No.7 2007年4月 系 统 仿 真 学 报 Apr.,2007 1494 在仿真过程中，我们假设探测器是光子型探测器。根据仿真初始条件，探测器的光谱响应函数应为：0.4,350,mm=其他 2.2 技术背景技术背景 本文进行的研究是利用 CG2 公司的 Vtree4.0 三维视景软件开发包实现的。Vtree 是基于 Op

17、enGL 的三维视景开发工具10，底层调用 OpenGL 的 API 操作，因此与 OpenGL有很好的兼容性。Vtree 支持模型文件的直接添加，所以它比 OpenGL 更适合进行大场景的开发和显示。可编程图形处理器是目前计算机图形领域的主要发展方向，它允许用户对三维图形的渲染过程进行顶点级和片断级的控制，在保证实时性的同时，增强了渲染的效果。Cg(C for graphics)是 NVIDIA 公司和 MicroSoft 公司联合开发的一种针对可编程图形处理器的语言8，在 OpenGL 或 DirectX应用接口下，用 Cg 编写的程序直接在 GPU 上运行，对所有的顶点和片断做处理。2.

18、3 模型处理模型处理 Vtree 支持 vt 模型文件的直接加载，所以我们首先对 vt模型文件进行修改，为每个顶点加入红外物理模型计算所需要的信息，这里我们添加的是温度和材料的平均发射率。这是一个离线的过程。在 vt 模型文件中，数据是按照一种树形结构存储的。如图所示：A B C D H F E G N sibling Child 图 2 vt 模型文件结构 在图 2 中，横向的两个节点之间是父子关系，纵向的两个节点之间是兄弟关系。父节点的属性影响子节点，一般来说父节点存储渲染状态、变换矩阵等数据，存储顶点数据的几何节点在底层。Vtree 在加载模型的过程中遍历所有的节点。由于在红外的场景仿真

19、中，原有模型的纹理不会被显示，因此纹理坐标就失去本身的意义。我们通过将顶点的纹理坐标修改为顶点的温度和平均发射率，实现顶点物理属性与顶点的绑定。我们在一个单独的程序中对模型进行修改，结构如图所示：vt 文件的数据结构树形控件 实体效果显示 属性修改对话框 图 3 模型修改框图 修改过程如下：程序有两个窗口，选择窗口和显示窗口，选择窗口中用树形控件表示所修改模型的数据结构，显示窗口中显示模型。当打开一个 vt 文件时，两个窗口同时做更新，显示窗口加载模型，选择窗口对 vt 文件进行遍历，建立 vt 模型数据结构相类似的树状结构，节点一一对应，并且对 GNode(Geometry Node，几何节

20、点，参见10)做初步修改。当用户需要对某一节点(包括非 Gnode)下的所有顶点进行修改时，首先属性修改对话框从树形控件中获得当前的节点，对当前节点下的所有子节点进行遍历，找到所有的GNode 节点，并获得所有顶点的纹理坐标地址，在属性修改对话框中循环显示，在修改的过程中显示窗口将实时显示修改后的效果。当完成修改之后，可以将结果保存在 vt 文件里。程序界面如图所示：图 4 模型修改程序界面 对于红外仿真中的模型处理，本文的做法是对每个顶点设置其温度值和发射率，在调整其值时实时显示效果，当达到满意效果后，这两个值作为模型数据的一部分存储在模型文件中。而在 Vega 中作红外探测仿真不需要对 M

21、ultiGen 模型进行修改，但是需要一些数据库和匹配文件，主要有材质物理属性数据库，大气数据库和反射或辐射系数纹理。渲染过程中每个顶点或每个像素都需要进行数据的查询和温度的计算等9。两种方法的主要区别在于 VEGA 将绑定过程在线完成，而本文方法则是离线完成，这样在保证一定逼真度的同时，避免了数据库的查询、温度的计算、各种纹理的加载等计算。2.4 场景渲染场景渲染 由于模型已经修改，所以正常的 Vtree 程序渲染出来的场景是错误的。我们利用 Cg 程序对渲染过程中的VertexShader(顶点着色器)/PixalShader(像素着色器)10进行第 19 卷第 7 期 Vol.19 No

22、.7 2007 年 4 月 孙 毅，等：基于可编程 GPU 的红外场景仿真实现 Apr.,2007 1495 控制，从而得到我们期望的图像。这是实现红外场景实时仿真的最主要的环节。在这个环节中有三个主要问题需要得到解决。2.4.1 如何在如何在 Vtree 中嵌入中嵌入 Cg Vtree 中没有提供与 Cg 兼容的接口，我们借鉴了OpenGL 在 Vtree 中的嵌入方式。Vtree 提供了调用 OpenGL API 接口函数的方式回调函数，它与在场景中的某个实体关联，允许我们在渲染该实体前后对 OpenGL 的许多状态进行修改。我们利用回调函数将 Cg 嵌入 Vtree 程序。在渲染某个实体

23、之前，利用 Cg-Runtime 提供的库函数对顶点着色器和像素着色器进行设置，并将两个着色器需要的数据传送出去。这样当 Vtree 调用 OpenGL 函数对该实体进行渲染时，所有的顶点和片断都经过 Cg 程序的处理，输出到帧缓存。渲染完成后，恢复原来的设置。2.4.2 GPU 的计算效率测试的计算效率测试 GPU 的并行运算能力和高速度为程序的运行效率带来了极大的提高。为了验证这个观点，我们进行了一个实验。硬件条件：Intel P 3.2CPU，1.0G 内存，NVIDIA GeForce 6800GT 显卡(PCI-E 总线)；软件条件：VTree4.0 SDK，NVIDIA Cg1.3

24、 SDK，地形模型为 500 公里500 公里。实验过程：实验是在一个地形显示程序上进行的，我们对产生的每个片段的颜色用二次曲线加权，加权过程分别在GPU 和 CPU 上完成。实验结果：如果修改过程放到 GPU 的片段程序中实现，得到的帧速率为 32(如图 5 所示)，如果将相同修改操作放到主程序中进行，即在 CPU 中计算，假设一共产生了 30000个片段，得到的帧速率为 10，而对于 12801024 的分辨率来说，所产生的片段远不止 30000 个。所得结论：充分利用 GPU 的运算能力确实可以提高程序的整体效率。图 5 测试程序显示的地形(加入 GPU 运算)2.4.3 CPU 与与

25、GPU 的计算分配的计算分配 虽然当前 GPU 的运算速度已经超过了 CPU，但是我们不能简单的将所有的计算都放到 GPU 中进行，因为 GPU 对所有的顶点和像素逐一操作，其中难免包含了许多重复计算，合理的分配 CPU 与 GPU 的运算量有利于提高整个仿真过程的效率。我们要分析物理模型中的重复计算，将其放入CPU 中进行，然后作为参数传送到 GPU 中。首先，太阳辐射和背景辐射对于场景中的所有物体都相同，只是不同的物体对其反射不同，所以太阳辐射和背景辐射计算在CPU中，而反射模型计算在GPU的像素着色器中。另外，对于所有的物体来说，天气条件是相同的，这也意味着大气衰减模型中的许多计算是重复

26、的，例如对 b 和 W的计算，对 q 的计算。所以我们也把这些计算分别放到 GPU和 CPU 中。物体的自身辐射需要前述修改的模型顶点数据，所以要放入 GPU 中。由于普朗克公式是一个超越函数，它的积分没有解析表达式，在实际的计算过程中我们用插值的方法对其近似。例如我们在 35 微米波段上选取 3 微米、4 微米、5 微米三个插值点，利用 Lagrange(拉格朗日)一元函数代数插值多项式得到普朗克公式的近似多项式，然后对多项式积分。大部分数值分析的教材中都有对一元函数代数插值的详细描述，这里就不再累述。需要指出的是由于计算太阳辐射和背景辐射都需要计算普朗克公式，所以在 GPU 和 CPU 中

27、都要有对插值多项式的积分。整个仿真的计算流程如下：GPUGPU 片断程序：计算模型本身的红外热辐射，计算模型对太阳辐射和环境辐射的反射，计算大气的衰减系数，综合以上结果计算片断的颜色值 顶点程序：从模型中读取物理属性，对顶点进行坐标变换，计算世界坐标系下的各种向量，法线向量、视线向量 向 GPU 传送数据 计算大气衰减的 公有参数 读取数据 计算背景辐射 计算太阳辐射 外部文件：气温、相对 温度、能见度、相关参数 图 6 计算流程图 2.4.4 探测器效应的添加探测器效应的添加 在实际系统中，由于物理设备的误差以及各种干扰，使图像中有明显的探测器效应，在仿真中加入对这些物理效应的仿真能提高仿真

28、的可信度。为了对这种探测器效应进行仿真，我们必须对生成的图像做后处理。探测器效应很多，包第19卷第7期 Vol.19 No.7 2007年4月 系 统 仿 真 学 报 Apr.,2007 1496 括模糊、噪声、光晕、饱和等，我们在仿真过程中模拟了模糊和噪声效应，其他效应有待于在将来的研究中实现。图像模糊是由光学系统的设计误差和制造缺陷引起的，探测器瞬时视场表示的系统空间分辨率大小也是原因之一。另外，红外系统工作时，存在着内部的噪声干扰和外部背景辐射的光子噪声干扰。一般情况下，这些噪声大都可以当作平稳随机过程来处理，其统计特性与观察时间无关。红外系统中噪声源较多，且相互为统计独立的，通常满足概

29、率论中的中心极限定理的条件，所以可以认为红外系统的噪声为高斯分布。通过对生成的红外图像进行二次渲染可以模拟模糊效应和噪声效应。经过第一次渲染得到一张红外图像，先将其存为一幅纹理，通过空域滤波的方法来实现图像模糊化。程序中采用了 3*3 的方形模板作为卷积核，具体如下：=11111111191g 噪声是通过噪声纹理获得的。首先通过一个噪声发生器产生两个随机的纹理坐标偏移值，将纹理坐标偏移值叠加到片断纹理坐标上，然后对噪声纹理进行采样，得到两个平均分布的随机值，然后通过如下方法可以得到均值为，方差为的高斯噪声：212cos)21ln2(RRx+=其中 R1、R2为两个平均分布的随机数，x 在(ln

30、4,ln4)+上取值。得到 x 以后，将其叠加到片断的颜色值上就产生了高斯噪声。如图所示是添加完各种效应后的仿真图像：图 7 坦克仿真图像(顶视图)图 8 城市红外仿真图像与可见光图像的对比 3 结论结论 综上所述，本文利用可编程图形处理器的顶点编程能力和像素编程能力实现了一个红外物理模型的仿真。这种实现方式决定了其优缺点。优点：可编程图形处理器强大的运算能力保证了其实时性，并且物理属性与顶点绑定的方法加强了对物体的细节特征描述。缺点：物理模型的误差使仿真图像与真实图像之间有一定的差距，并且由于本文采用了对顶点直接指定温度的做法，对于热传导过程缺乏描述，所以更适合温度变化相对较小的场景。本文的

31、研究处于刚刚起步的阶段，对物理模型的不断完善、对物体红外属性的描述不断丰富以及算法的优化都需要进一步的探索和实现。参考文献参考文献：1 高思莉,汤心溢.红外动态场景仿真 J.红外月刊,2004,12:11-16.2 MultiGen-Paradigm Corp.Vega Programmers Guide EB/OL.(2001-03).http:/www.multigen-.3 娄树理,杨咏东,周晓东.基于 OpenGL 红外视景仿真研究 J.烟台大学学报(自然科学与工程版),2004,17(2):129-134.4 张健,张建奇,邵晓鹏.基于测量数据的红外场景生成方法及实现 J.系统仿真学

32、报,2005,17(10):2399-2402.（Zhang Jian,Zhang Jian-Qi,Shao Xiao-Peng.Method of Synthetic Infrared Scene Generation Based on Measure Data and Its Implementation J.Journal of System Simulation,2005,17(10):2399-2402.）5 杨振鹏,冯勤,王行仁,等.虚拟环境红外物理模型研究 J.系统仿真学报,2002,14(3):326-329.（Yang Zhen-Peng,Feng Qin,Wang Xing

33、-Ren,Ding Ying.Research on Infrared Physics Model of Virtual Environment J.Journal of System Simulation.2002,14(3):326-329.）6 张幼文.红外光学工程 M.上海:上海科学技术出版社,1982.7 克利克苏诺夫.红外技术原理手册 M.北京:国防工业出版社,1986.8 Fernando Randima,Kilgard Mark J.The Cg Tutorial-The Definitive Guide to Progrmamable Real-Time Graphics M.USA:Addison-Wesley,2003.9 MultiGen-Paradigm Corp.Sensor Products Help EB/OL.(2001-03).http:/www.multigen-.10 CG2,Inc.VTree Users Manual EB/OL.(2001-12).http:/.