基于FPGA_DSP的高清视频图像系统设计与实现.pdf
测试系统与模块化组件第 34 卷 第 1 期电子 测 量 技术ELECT RON ICMEASU REMENTTECHNOLOGY2011 年 1 月 基于的高清视频图像系统设计与实现高杨刘荣科胡伟( 北京航空航天大学电子信息工程学院北京 100191)摘要无人机在侦察、 测绘等领域对图像分辨率的要求不断提高 , 随之带来了数据量的显著 增大, 其次, 视频图像系统与传 统遥控遥测系统的融合也是设计中需要考虑的。针对以上问题, 设计并 实现了 一种基于 FPGA+ DSP 的机载高清视 频图像系统, 包括机载设备端和地面站端两部分 , 最高支持分辨率为 1 280 720, 每秒25 帧的 MPEG4 实时视频编解 码, 平均码速率在 5 Mbps 以下。图像分辨率和视频码率可通过上行遥控指令动态切换。视频数据与遥测数据实现了 组帧传输。设备体积小、 功耗低、 可靠性高, 成功完成了挂飞实验。关键词M PEG4; 高清视频; 遥控; 遥测; FPGA; DSP中图分 类号V243. 5文献标识码AGao Yang Liu Rong keHu Wei( Beijing University of Aeronautics and As tron autics Electron ic and InformationEngineerin g Ins tiiute, Beijing 100191)The requirements of video image reso lution is ever increasing in the UAV reconnaissance, mapping and otherfields, which bring a significantamount of data increase. In addition, the integ ration of video imaging sy stem andtraditio nal telecontr ol and telemetering sy stem is required in sy stem design consider ation. To solve the pr oblems above,we design and implement an airborne high definition video image system based on FPGA+ DSP , including tw o parts:airborne equipment end and ground statio n end, it suppor ted the maximum resolution of 1 280 720, 25 frames persecond in M PEG4 realtime video encoding and decoding with the average code rat e below 5 Mbps. Imag e resolutionand video code rate can be switched up by telecommand dynamically. T he video data and telemet ry data are transmittedin the same frame. T he equipment with small size, low power consumptio n, high reliability, successfully completed flightexperiments.M PEG4; high definition video; telecontro l; telemeter ing; FPGA; DSP引言无人机广泛应用于军事侦察以及民用测绘等领域 , 其中的机载视频图像系统是机载电子系统中的重要环节之一。无人机在高空飞行中对地面景物摄像, 所得图像帧内1目标像素小且目标数量大,这要求增大图像分辨率以提高目标物体的辨识度。此时数据量随之显著增加 , 与有限的无线带宽资源成为矛盾, 故要求应用高效的视频编解码技术。在侦察等特殊应用领域要求视频传输的实时性 , 此时需要保证实时的视频编解码以及较小的图像延迟。在需多路视频传输且总数据率固定的情况下, 可通过降低单路视频分辨率或提高单路压缩比来实现, 故系统应可动态切换分辨率和压缩比, 具备较大的灵活性。无人机与地面的通信中, 除了要回传视频数据以外 , 还要向地面传输飞行器本身的下行遥测数据 2 3, 若采用两个独立信道会导致传输效率较低, 此时设计一个包括传统遥测数据和视频数据的广义遥测系统成为必需。文献 4 设计并实现了一种机载视频图像压缩系统 ,但最高支持的图像分辨率为704576, 不能满足当今对高分辨率图像的需求。文献 5 给出了一种机载高清实时视频编码器的解决方案, 适用于机载设备端的设计 , 但未给出包括地面站端软硬件设 计在内的系统完整解 决方案。针对以上特点, 本文设计并实现了一种基于 FPGA + DSP的机载高清视频图像系统, 包括机载设备端和地面站端两部分, 最高支持分辨 率为 1 280 720, 每秒 25 帧的MPEG4实时视频编解码,码速率在 5 Mbps 以下。并可通过上行遥控指令动态切换图像分辨率和视频码率, 同时实现了视频数据与遥测数据的组帧传输。本文首先对机载视频图像遥测系统进行概述 , 提出了系统的总体实现结构。然后具体给出系统的设计, 分为硬69第 34 卷电子测量技术步方式输出。本系统中高清视频信号采用 720 p( 1 280 720) 格式, 25 帧/ 秒, 选用 TI 公司的视频 ADC 芯 片TV P70025I 完成该高清模拟视频的模数转换, 采样精度及方式选取为8 位, 4 !2 !2( Y !Cb !Cr) 采样。TVP70025I与外部器件连接关系如图 2 所示。TVP70025I 输出数字化视频分量(Y、 Cb 和 Cr) 、 数据时钟(DAT ACLK) 、 场同步(VSOUT ) 和行 同步( HSOU T) 信号给 FPGA, DSP 通过I C 总线对 TVP70025I 内部寄存器进行初始化设置, 并启动模数转换过程。2件平台和程序算法两部分。硬件平台设计包括机载端视频采集、 FPGA+DSP 处理器和地面端 CPCI 总线接口的设计, 程序算法设计包括视频编解码算法、 机载端 DSP 程序和地面端上位机软件的设计。文章最后给出了系统挂飞实验的结果并作以总结。系统概述机载视频图像系统主要由机载设备端和地面站端两部分组成, 系统总体结构图如图1 所示。图 2T VP70025I 硬件连接图 1系统总体1) 机载设备端视频 AD 将影像传感器输出的高清视频模拟信号进行模数转换传递给 FPGA, FPGA 将预处理后的原始数字视频数据传递给 DSP 进行实时视频编码, DSP 完成视频编码后将压缩码流回传给 FPGA, 在 FPGA 中, 压缩视频码流与下行遥测数据组帧后进入调制部分; 同时上行遥控指令进入 FPGA, 对图像分辨率、 视频码率进行控制。2) 地面站端解调后的数据进入 FPGA, FPGA 将视频数据与遥测数据分离, 其中遥测数据进入后续的分析处理 , 视频数据经 PCI9054, 通过 CPCI接口上传给上位机, 上位机完成对视频压缩码流的实时解码播放以及存储回放。2. 1. 2 机载端 DSP+ FPGA 处理器机载端处理部分主要完成数字视频信号获取、 视频压缩编码和遥控遥测接口功能,考虑到 DSP 强大的数字信号处理能力和 FPGA 的大 规模 逻辑 设计 能力, 系统 采用FPGA+ DSP 的硬件架构。FPGA选 用 Altera公 司 StratixII系 列 芯 片EP2S30F672C5, 该芯片有丰富的逻辑资源和嵌入式存储器, 支持 LVT TL、 LVDS 等接口电平标准。主要功能设计如图 3 所示。系统设计硬件平台2. 1. 1 机载端视频采集高清模拟视频信号为保证信号质量, 常采用分量输出格式, 如亮度信号( Y) 和色差信号( Cr、 Cb) 三分量输出, 同时场同步和行同步信号可采取叠加在分量信号上的内同图 3FPGA 功能设计70高 杨 等: 基于 FPGA+ DSP 的高清视频图像系统设计与实现包括以下 3 个方面:1) 数字视频获取FPGA 通过 TVP70025I 输出的场同步和行同步信号判断一场和一行视频的起始 , 接收原始视频数据 ( Y/ Cb/Cr) 并存入 FPGA 内部开辟的 FIFO 之中, 考虑到数据传输的高效性,需缓存若干行图像并一次性传递至DSP, 由于 FPGA 内部存储器有限, 故外挂SRAM 作为数据缓冲。2) DSP 与 FPGA 间数据传输DSP 与 FPGA 之间通过 DSP 的 EMIFA 接口 连接,FPGA 内开辟 FIFO 或者寄存器, DSP 通过 EMIFA 读写FIFO 或寄存器内的数据实现数据传输。本系统中分别开辟原始视频 FIFO( Y/ Cb/ Cr 3 个)、 压缩视频 FIFO 和遥控指令寄存器,对应于 DSP 中的 5 个地址空间, 以地址线的最高 3 位进行区分。考虑到最大数据吞吐率为原始视频的传递, EMIFA 数据宽度 设为 32 位, 数据时钟 选取40 MHz。3) 遥控及遥测本系统中可接受地面测控站传递的上行遥控指令 , 通过改变采样 方式, 对视频 分辨率 进行切 换, 包括 QCIF( 176 144)、 CIF( 352 288) 、 标清 ( 720 576) 和高清( 1 280720) 4 种模式。同时可根据遥控指令改变编码算法中的参数, 进而实现视频数据的码率控制 , 分为最高至最低 5 个码率等级。编码后的视频数据与下行遥测数据进行组帧 , 作为整体码流进入调制阶段。系统 中设计帧格 式如表 1 所示。每大帧包括 64 个子帧,以 1 字节子帧计数标识, 大帧计数以两字节时统信息标识。前 63 个子帧用于 传输视频数据, 考虑到采用变长视频编码算法后每帧压缩图像字节数不固定,组帧过程中需填充无效字节以保证每子帧中1 022字节的视频数据, 故我们以两字节有效字节数来标识有效的视频字节数。第 64 子帧用于传输遥测数据。每个子帧以 3 字节同步码作为结束。表视频与遥测数据组帧格式00112子帧计数子帧计数子帧计数子帧计数子帧计数子帧计数3 4 5 1 026 1 027 1 029有效视频FAF320字节数据有效视频FAF320字节数据有效视频FAF320字节数据有效字节有效字节遥测数据视频数据视频数据FAF320FAF320FAF320第 1 期DSP 选 用 TI 公 司 的 新 一 代 高 性 能 定 点 DSPTMS320C6455, 它基于 C64x+ 内核结构, 片内采用 L1/ L2两级缓存结构,主频达1. 2 GHz, 最大峰值速度9 600 MIPS。此外, TMS320C6455拥有丰富的外部接口, 如总线接口( I2C等)和外部存储器接口( EMIFA 、 DDR2)等。主要功能设计如图4 所示。图 4DSP 功能设计DSP 部分的设计主要为存储空间的分配, 本系统中分配方式如表2 所示。其中 CE2 空间主要用于与 FPGA 之间的数据交互, CE3 空间主要用于代码的非易失性存储 ,CE0 空间主要作为程序和数据运行的外部空间。表存储空间分配空间地址0 x A000, 00000 x A003, FFFF0 x A004, 00000 x A007, FFFF0 x A008, 00000 x A00B, FFFF0 x A00C, 00000 x A00F, FFFF0 x A010, 00000 x A013, FFFF0 x B000, 00000 x B03F, FFFF0 x E000 00000 x E7FF, FFFF说明对应 FPGA 中FIFO_Y对应 FPGA 中FIFO_Cb对应 FPGA 中FIFO_Cr对应 FPGA 中压缩码流 FIFO对应 FPGA 中指令寄存器外挂 4M BFLASHCE0外挂 128M BDDR2 SDRA MCE2预留 时统 H预留 时统 L预留预留预留预留2 60预留616263050CDFCE3CE02. 1. 3 地面端 CPCI 总线接口CompactPCI 是 PICM G 提出的一种工业接口标准, 采用PCI 总线技术6, 在此基础上改善了机械结构 , 支持热插拔, 可靠性高。71第 34 卷电子测量技术地面端采用 FPGA + PCI 接口芯片的架构实现 7, 其中, FPGA 主要完成视频与遥测数据分离以及接口时序等功能, 而 PCI协议部分由接口芯片来实现 , 该种方式减小了 FPGA 的逻辑设计量。系统中 FPGA 选用 Altera 公司Cyclone 系列芯片 EP1C12Q240C8, PCI 接口芯片 选用PLX 公司的 PCI9054。PCI9054 的 PCI 总线接口与 CPCI插槽相连, 本地总线接口与 FPGA 相连, EEPROM 用于加载配置数据。程序算法2. 2. 1 视频编解码算法目前使用较多的视频编解码标准有国际标准化组织( ISO) 与国际电工委员会( IEC)制定的MPEG4 标准, 以及ISO 和国际电 信联盟 ( ITU) 制定 的 H. 264 标准。相比MPEG4 标准8, H. 264的复杂度高 9, 尤其对于高分辨率的应用,硬件实现难度很大 , 而 MPEG4 以其实现复杂度低, 同时适用于高低码率视频的特点 , 在嵌入式视频编解码系统中得到了广泛的应用。考虑到以上几点, 本系统中选用 MPEG4 标准作为视频编解码算法。系统中 选用 开源的 MPEG4 视频编解码 器 XVIDSimple Prof ile作为源代 码。机载端完 成视频编码 功能。将源 代码去除用户交互 等部分冗余代 码后, 完成 向TMSC320C6455 平台的移植。针对 PC 的 XVID 程序并不能满足实时编码的要求 , 需对程序进行优化 : 提高运行速度。首先对部分算法进行了优化, 采用基于预测的运动估10计。其次进行代码优化 : 第一步利用 CCS 软件分析各部分代码的耗时,观察出效率较低的部分; 第二步采取 C 语言级别的优化, 如使用关键字、 伪指令向编译器提供优化信息,使用内联函数, 编写软件流水等; 第三步选出第二步优化效果不明显的代码段, 如量化/逆量化、 1/2 像素内插、 运动补偿部分, 用线性汇编改写。地面站端的上位机完成视频解码功能,经测试源代码即可满足视频解码的实时性。2. 2. 2 机载端 DSP程序DSP 程序分为主程序和中断程序两部分 , 其流程图如图 5 所示。系统上电或复位后 , DSP 开始运行主程序, 首先完成 DSP内部锁相环、 EMIFA 接口、 DDR2接口、 I2C 总线以及中断的初始化,此时 DSP 进入正常工作状态。然后通过EMIFA 接口读取FPGA 中的遥控指令寄存器, 获取分辨率和视频码率信息。接下来根据获取的信息初始化 MPEG4编码算法的相应参数 , 对视频 ADC 进行配置并启动视频采集。FPGA 在视 频 ADC 启动后, 每采集 4 行原始视频 向DSP提出一次中断。DSP 响应中断后, 通过 EMIFA 读取 4行原始视频, 并输 出 1 264 字节 视频 压缩码 流。以高清( 1 280720)为例,需 180次中断完成一帧图像的传递 , 且支持每帧图像压缩后最大为220 K 字节。主程序判断新的一帧到来后, 开始对这一帧进行编码。原始视频及压缩码流存储 区均 采用乒 乓操作, 与 FPGA 的数据传 递采用EDMA 方式, 故编码与数据传输互不影响 , 保证了实时性。图 5DSP 程序流程2. 2. 3 地面端上位机软件地面端上位机软件界面采用 VC MFC 编写, CPCI 设备驱动程序采用 Driver Studio 编写, 软件 主要完成通 过CPCI接口对视频压缩码流的读取、 实时视频解码播放、 视频文件保存回放等功能。软件操作简便、人机交互良好 ,界面如图 6 所示。图 6上位机软件界面实验结果本文设计的机载高清视频图像系统设备体积小 , 功耗低, 可靠性高, 图 7(a) 、 ( b) 分别为机载设备端板卡与地面站端板卡实物图。72高 杨 等: 基于 FPGA+ DSP 的高清视频图像系统设计与实现第 1 期技术的设计与实现 J. 电脑知 识与技术, 2009, 53 4 (10) : 27152716, 2719.王伟, 刘文怡, 秦丽. 遥测数据实时压缩技术的设计与实现 J . 仪器仪表学报, 2006, 27( 6) : 24672469.WU T, YUAN S J, CHEN B K. Design andimplementatio n of an airbor ne real time video imagecompressionsystem C .IEEETheEighthInternatio nal Conferenceon Electro nic Measurementand Instruments,2007( 2) : 909 9125 6 姚远, 张晓林. 基于 DSP 和 FPGA 的机载高清实时视频编码器设计 J . 遥控遥测, 2009, 30( 5) : 2935.朱爱红, 王国卫, 韩建立. 基于 FPGA 的 PCI 接口方法研究 J . 电子测量与仪器学报, 2008, 22( 增刊) :7 128 131.焦文喆, 翟正军, 任览昆. 基于 FPGA 的图像数据采集卡及其驱 动设计 J . 国外电 子测量技术 , 2010, 29 8 图 7实物 9 (3) : 5659.宋胜利, 曾峦. 基于 DM642 EV M 的 MPEG4 编码器实现 J . 国外电子测量技术 , 2005, 24( 6) : 3136.李小红, 蒋建国, 齐美彬. 基于 DSP 的 H. 264 关键模块技术 的研究及实现 J. 仪器仪表学报, 2006, 27(10) : 13301333. 10 李群迎, 张晓林, 刘荣科, 等. 基于 TM S320C64x DSPs的 M PEG4 实时编码器设 计与实 现 J . 电子技 术应用, 2005, 31( 7) : 4345. 11 王雷, 沙漠, 李苏, 等. 基于 MCGS 的交通灯控 制系统设计 J . 国外电子测量技术 , 2009, 28( 3) : 4243, 52.12 李星, 谢利理, 曹波. 多媒体教学集中监控系统的远程通信接口设计 J . 电子测量技术, 2009, 32( 3) : 8 11. 13 宋辉, 袁冬莉. 基于 DSP 的无人机手遥控制器 PCM解码装 置设计与实现 J. 电子测量技术, 2009, 32(3) : 106 109.14 张毅刚, 曹阳, 项学智. 静态背景差分运动目标检测研究 J . 电子测量与仪器学报 , 2010, 24( 5) : 494 499. 15 单庆晓, 陈建云, 钟小鹏, 等. 基于数据文件读取的GPS 信号模拟技术 J . 电子测 量与仪器学 报, 2009,23( 5) : 7984. 16 李海森, 陈宝伟, 么彬, 等. 多子阵 高分辨 海底地 形探测算法及其 FPGA 和 DSP 阵列实 现 J . 仪器仪表学报, 2010, 31( 2) : 281286. 17 肖继学, 谢永乐, 陈光. DSP 数据通路基于 累加器测试的结 构可测性设计 J. 仪器仪表学报, 2009, 30(11) : 23722378.作 者 简 介本系统成功进行了有人机挂飞实验, 共进行了两次实际飞行。每次的飞行测试时间为2 h, 飞行高度为 3 km, 飞行半径为 5 km, 飞行速度在200km/ h 左右。实验结果表明系统实现了分辨率为176144、 352288、 720576和1 280 720,每秒25 帧的MPEG4 实时视频编解码, 同时支持视频码率控制,提供五个等级的视频质量的码流, 平均码速率在 5 Mbps 以下。上位机解码后视频图像层次清晰 , 色彩饱满,系统带来的图像延迟小于500 ms, 满足无人机侦察等领域的需求。不同分辨率及码率可通过遥控 11 17指令动态切换,同时遥测数据正确与视频数据组帧并分离, 表明机载高清视频图像系统与遥控遥测系统得到了很好的融合。结论本文设计并实现了一种基于 FPGA + DSP 的机载高清视频图像系统, 包括机载设备端和地面站端两部分 , 具备以下特点:1) 最高支持 720 p, 每秒 25 帧的MPEG4 实时视频编解码, 满足当今无人机对高分辨图像的需求;2) 视频分辨 率及码率可通过遥控指令动态切换 ,视频与遥测数据组帧传输 ,实现与传统遥控遥测 系统的融合 ;3) 设备体积小、 功耗低、 可靠性高, 满足机载苛刻的环境要求。参 考 文 献1 2 崔麦会, 周建军, 陈超. 无人机视 频情报的压缩传输技术J. 电讯技术, 2007, 47( 1) : 131 133.张焱, 周建. MPEG4 信号与遥测信号 混合图像编 码高杨 男, 1985 年 10 月出生, 工学硕士, 主要研究方向为DSP 与 FPGA 嵌入式处理器、 视频编解码技术等。Email: gaoyang19851027 sina. com73
