视频采集与编码技术在视频监控终端中的应用.pdf

《视频采集与编码技术在视频监控终端中的应用.pdf》由会员分享，可在线阅读，更多相关《视频采集与编码技术在视频监控终端中的应用.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、C N 4 3 1 2 5 8 T PI S S N1 0 0 7 1 3 0 X计算机工程与科学C O M P U T E RE N G I N E E R I N G&S(I E N C E2 0 11 年第3 3 卷第1 期V o J 3 3 N o 1，2 0 1 1文章编号：1 0 0 7 1 3 0 X(2 0 11)0 1 一0 1 2 2 0 5视频采集与编码技术在视频监控终端中的应用A p p l i c a t i o no ft h eV i d e oC a p t u r ea n dC o d i n gT e c h n o l o g yi nV i d e o

2、M o n i t o r i n gT e r m i n a l s赵满意1。赵利。，莫金旺2，李和1。刘涛1Z H A OM a n-y i l。Z H A OL i l。M 0J i n-w a n 9 2，L IH e l，L l UT a n l(1 桂林电子科技大学信息与通信学院，广西桂林5 4 1 0 0 4；2 桂林电子科技大学信息科技学院。广西桂林5 4 1 0 0 4)(1 S c h o o lo fI n f o r m a t i o na n dC o m m u n i c a t i o n。G u i l i nU n i v e r s i t yo fE

3、 l e c t r o n i cT e c h n o l o g y，G u i l i n5 4 1 0 0 4；2 S c h o o lo fI n f o r m a t i o nS c i e n c ea n dT e c h n o l o g y，G u i l i nU n i v e r s i t yo fE l e c t r o n i cT e c h n o l o g y，G u i l i n5 4 1 0 0 4。C h i n a J摘要：考虑到开发的难易程度、生产成本和软件升级等因素，本文介绍了一种基于A R M 处理器和嵌入式L i n u x

4、 操作系统的无线视频监控终端的设计和实现方法；分析了在嵌入式L i n u x 操作系统下基于V 4 L 的视频采集的新思路与基于M P E G-4 的视频编码的优点，阐述了整个终端系统开发的难点及相应的解决方案；给出了无线监控终端的实现方案、视频采集模块的设计方法、X V I D 编码器的编码过程和M P E G 一4 视频编码标准在A R M 平台上的优化方案。系统在A R M L i n u x 平台上进行了实际的视频采集及编码性能测试。测试结果表明，基于V 4 I。的视频采集和基于X V I D 的M P E G 一4 编码的无线监控终端视频采集实时性好，压缩效率高，码流平稳，完全能满

5、足用户的监控需求。A b s t r a c t：C o n s i d e r i n gt h ed e g r e eo fr e a l i z a t i o n，C O S to fm a n u f a c t u r i n ga n du p g r a d i n g，t h i sp a p e ri n t r o d u c e st h ed e s i g na n di m p l e m e n t a t i o no fw i r e l e s sv i d e om o n i t o r i n gt e r m i n a l sb a s e d

6、o nA R Ma n de m b e d d e dL i n u xs y s t e m s T h en e wi d e ao fv i d e oc a p t u r eb a s e do nV 4I。a n dt h em e r i t so fv i d e oc o d i n gb a s e do nM P E G 一4i nt h eL i n U Xs y s t e m sa r ea n a l y s e d W ed e s c r i b e dt h ed i f f i c u l t yo ft h ew h o l es y s t e md

7、 e v e l o p m e n ta n dt h ec o r r e s p o n d i n gs o l u t i o n s A l s o，t h ei m p l e m e n t a t i o no fw i r e l e s sv i d e om o n i t o r i n gt e r m i n a l s，t h ed e s i g no fv i d e oc a p t u r e，t h ee n c o d i n gp r o c e s so ft h eX V I De n e o d e ra n dt h eo p t i m

8、i z a t i o ns c h e m e so ft h eM P E G 一4v i d e oc o d i n gs t a n d a r do nt h eA R Mp l a t f o r ma r ea l lg i v e ni nt h i sp a p e r A f t e rt h ea c tu a】v i d e oc a p t u r ea n de n c o d i n gp e r f o r m a n c et e s tb a s e do nt h eA M R L i n u x，t h er e s u l t ss h o wt h

9、 a tt h ew i r e l e s sm o n i t o r i n gt e r m i n a l sb a s e do nV 4I。a n dM P E G 一4d ow e l li nr e a l t i m ev i d e oc a p t u r i n g，h i g hc o m p r e s s i o ne f f i c i e n c ya n ds t e a d ys t r e a m s，a n da r ef u l l ya b l et om e e tt h eu s e r sn e e d so nv i d e om o n

10、 i t o r i n g 关键词：嵌入式系统；视频监控；视频采集；视频编码K e yw o r d s：e m b e d d e ds y s t e m；v i d e om o n i t o r i n g；v i d e oc a p t u r e；v i d e oc o d i n gd o i：1 0 3 9 6 9 j i s s n 1 0 0 7 一】3 0 X 2 0 11 0 1 0 2 4中图分类号：T P 3 9 1文献标识码：A1 2 2收稿日期：2 0 0 91 12 8：修订日期：2 0 1o n 2 2 9基金项目：2 0 0 9 年广两【i 料 i

11、 C ：研创新项目(2 0 0 9 1 0 5 9 5 0 8 10 M 1 1)：广西教育厅科研基金(2 0 0 8 0 8 X L l 2 8 2 0 0 9 1 l X I，1 0 5)通讯地址：j 1 8 0 2,?，“尔肯嚣圳r f J 高新技术产业同北北环路女，易通人苴A d d r e s s：H y t e r aT e c h n o l o g yB u d d i n g B e t h u a n R d N o r t hR e g m n H lT e c h I n d u s t r i a lP a r k S h e n z h e n G u a n g

12、d o n g5 1 8 0 5 7 P R C h i n a万方数据l引言视频信号采集技术是随着计算机技术、数字通信技术、网络技术、自动控制技术以及L S I、V I。S I集成电路等技术发展而来的。在嵌入式领域，视频信号采集技术所具有的快速、实时、准确高效采集视频图像的特点使其成为视频监控系统的核心，也使其成为当前国内外视频安防行业的核心技术。同时，与视频采集技术息息相关的M P E G 一4 视频编码标准以其高质鼍、低传输速率等优点已经被广泛应用到网络多媒体、视频会议和多媒体监控等图像传输系统中。目前，国内外大部分成熟的M P E G-4 应用均为基于X 8 6 构架P C 机的客户端

13、和服务器模式。且多数实时编码使用商业的嵌入式操作系统。系统性能远远高于实际需求，而且成本较高。以嵌入式L i n u x 作为操作系统不仅开发方便，且可以节约成本，并可以根据实际情况进行裁减，占用资源少，灵活性强，适用范围更广泛。2 监控终端设计方案2 1 监控终端硬件结构系统开发平台采用S a m s u n g 公司生产的基于A R M 9 2 0 T 主频为4 0 0 M H z 的$3 C 2 4 4 0 A 处理器和基于L i n u x 2 6 1 2 内核版本的操作系统。开发板平台除了集成了通用的串口控制器、U S B 控制器等功能之外，还集成了一个C A M I F 接口，此接

14、口是实现数据采集的核心接口 1 。在此开发平台基础之上实现内核的裁剪、定制和移植及应用程序的开发是设计的重要工作。系统硬件结构主要包括处理器$3 C 2 4 4 0 核心模块、S A A 7 1 1 3 H 驱动模块、V i d e 0 4 1。i n u x 视频采集模块、M P E G-4 视频编码模块和R T 7 3 无线网络传输模块，本文着重从基于V 4 I。的视频采集和基于X V I D 的M P E G-4 视频压缩编码两个方面做详细的介绍。视频监控前端硬件结构框图如图l 所示。2 2 监控终端软件结构视频监控终端软件平台采用嵌入式L i n u x 操作系统。L i n u x

15、有良好的开放性、稳定性、模块化、可扩充性、可移植性等诸多优点。本系统L i n u x 操作系统采用成熟稳定的2 6 1 2 内核。配置内核时图1视频监控终端的硬件结构根据硬件资源选择F l a s h 和S R A M 的大小，同时去除不支持的选项以缩减内核体积，执行交叉编译后得到L i n u x 的内核映像文件。将编译好的L i n u x 内核移植到嵌入式处理器后，主要工作包括底层设备驱动程序和上层应用程序的开发，监控终端软件结构如图2 所示。_ 葡 万：tE 二络蚵控制二一 C：】o：r陌i 酡-=I 编碉i 孔视赫瘢 厂扁蝻硐 C)C=至L i n u x 2 耍6 1 2 1 X

16、 互I 二3 3C3 r 丽矿“厂矗帝1，SAA71 1 3 H l 竺望竺竺竺生图2 视频监控终端的软件结构3 基于V 4 L 的视频采集模块设计在整个监控终端系统中，基于V 4 L 驱动规范实现对视频解码芯片S A A 7 1 1 3 的驱动是整个系统开发的难点。L i n u x 下的视频采集系统中，一般都需要用到V i d e of o rL i n u x(V 4 L)驱动规范 3 J，该模块是底层驱动程序与应用程序之间的接口。它为I i n u x 下的视频设备提供了一套A P l 和相关的标准，按照V 4 L 规定的接口访问方式控制和读写设备即可完成视频采集及相关参数的设置。具体

17、来说，编程时实现的功能如下：(1)配置C A M I F 接口的采样参数。主要是输入源图像数据的格式、输出的图像格式、采样的窗口大小、D M A 的访问地址等参数。这里定义了一个结构体，用于存储与C A M I F 接f j 相关的配置信息，这些配臀信息最终是与一系列的寄存器丰 I 关联的。这个结构体为读写寄存器提供了一个清晰12 3万方数据的、集中的存储缓冲：s t r u c ts 3 c 2 4 4 0 一c a m i f c f g t m ts r c x；*输入的视频图像宽度*m ts r e y；*输入的视频图像高度*m td s t x；*输出的1 4 标图像宽度*m td

18、s t y；*输出的目标图像高度*m td s t f m t；*输出的目标图像数据格式*m tp r e x；*预览通道输出的图像宽度*m tp r e y；*预览通道输出的图像高度*m tp r e f m t；*为1 表示使用通道*u 1 6b y p a s s；*为1 时表示不启用按比例的图像放大或缩小*一u 1 6y c b c r；*输入图像的Y C b C r 顺序*s t r u c ts 3 c 2 4 4 0 一c a m i f*d e v；*设备的系统信息*)；(2)打开视频设备(摄像机)函数：s t a t i ci n tv 4 1c a mo p e n(s t

19、 r u c tv i d e od e v i c e*v，i n tf l a g，v o i d*i d p t r)。(3)读取摄像机信息函数，该函数通过d e v r d y 的值判断1 帧图像是否采集转换结束。如果该值置1，则表示采样结束，这时就可以从图像数据的缓冲中拷贝数据到用户的存储空间，如果为0，则函数进入阻塞或返回E A G A I N 标志：s t a t i cl o n gv 4 1c a mr e a d(v o i d*i d。c h a r*b u f，u n s i g n e dl o n gc o u n t，i n i tn o l o c k)。(4)

20、输入输出控制函数，可以通过它向设备传递控制信息或者从设备取得状态信息：s t a t i ci n tv 4 1 一c a m i o c t l(v o i d*i d，u n s i g n e di n tc m d，v o i d*a r g)。(5)中断处理接口函数，该中断处理函数在完成1 帧图像采集后被调用。函数原型定义如下：s t a t i cv o i ds 3 c 2 4 4 0 一c a m i f i s r C(i n ti r q，v o i d*d e v i d，s t r u c tp t r e g s*r e g s)。(6)关闭摄像机接口函数：s t a

21、 t i cv o i dv 4 1 一c a mc l o s e(v o i d*i d)。另外，编写视频解码芯片S A A 7 1 1 3 的驱动程序时，主要就是设置相关输入、输出和控制端口参数，通过I I C 总线实现$3 C 2 4 4 0 处理器对S A A 7 1 1 3 的初始化控制。由于目标板上的C A M-l F 接口提供I I C 总线接口，所以S C L、S D A 信号线可以直接与S A A 7 1 1 3 的相应引脚相连，通过编写程序对S A A 7 1 1 3 内部寄存器依据要求进行配置就可以实现对S A A 7 1 1 3 芯片的初始化控制了。通过配置，模拟视频

22、输入可设置为P A L 制式，图像帧率为2 5 帧秒，输出格式为Y U V(4：2：2)的8 b i t数据i“。】2 44 基于X V I D 的视频编码部分模块设计4 1X V I D 移植到A R M 平台及相关函数分析设计中采用开源的x v i d c o r e 5 1 软件来作为M P E G-4 视频压缩的核心算法。x v i d c o r e 是一个高效、移植性很强的多媒体编解码软件。要在A R M 平台上应用该软件，首先L i n u x 下做修改安装路径、安装动态链接库等进行交叉编译一系列的工作，最后移植到A R M 平台上实现应用。在使用X V I D 编解码器时，必须

23、要根据需要进行必要的参数设置。其编码流程如图3 所示。刊：鲎刊茎篷鍪H：鲨鲎H：迨型H 鏊l图3X V I D 编码的主流程图X V I D 编码器提供的相关函数如下：(1)x v i d g l o b a l(N U I。I。，X V I D G B I。一I N I T，&x v i d g b l i n i t，N U L L)：根据c p u 的特性使用相应汇编优化的函数。(2)x v i d e n c o r e(N U I。I。，X V I D E N C C R E A T E，&x v i d e n c c r e a t e，N U I。L)：对编码器初始化。(3)x

24、 v i d e n c o r e(e n c h a n d l e，X V I D E N C E N C O D E，&x v i d e n c f r a m e，x v i d e n c s t a t s)：将一帧的视频数据进行编码。初始化写码流，若有必要，转换色彩空间，并且把原始图像复制到有边框的图像空间，但没有扩展边框。将重建帧交换成参考帧，从帧队列中获取当前帧。4 2M P E G-4 编码在A R M 平台上的优化视频压缩编码器中运动估计模块是M P E G-4标准的核心部分也是最耗时的一部分。通过对M P E G-4 算法各个部分耗时情况使用C C S 特有的p r

25、 o f i l ec l o c k 工具进行测试，结果如表1 所示。可以看出运动估计与补偿模块耗时最多，因此本设计主要考虑在运动估计上的优化。裹lM P E G-4 算法各部分计算耗时分布表优化过程中，对运动估计模块采用了局部失真搜索算法来优化。另外，对基于M P E G-4 的X V I D编码器在C 程序结构上进行优化也是提高视频压缩效率的一种有效的方法。万方数据4 2 1用局部失真搜索算法来实现优化M P E G 一4 运动估计模块中有很多的判断准则，其中S A D(绝对误差和)准则具有无需乘除运箅、实现简单方便等优点，可选用它作为运动估计匹配准则。相对其他准则来说，S A D 准则

26、计算量较低，判断效果好，但是在运动估计中每搜索一个参考点就要进行一次S A D 的计算，显然计算量很大。为减小计算量，本设计采用的局部失真搜索算法可大大减少运动估计模块的计算量。算法的流程图如图4 所示。图4局部失真搜索算法流程图一个1 6 1 6 块的S A D 计算如下：S A D 一lb k(m，行)一b 卜。(m+i，m+)II=1J=1(1)采用式(1)计算S A D 需要2 5 6 个减法和求绝对值运算。在局部失真搜索算法中，把S A D 分成了1 6 个4 4 的S A D。来计算，当：S A D，=壹S A D。也警(2)时就直接跳出该次搜索，进入下一次搜索。其中，S A D。

27、是到目前为止的搜索块中最小的S A D 值。在式(2)的右边有一个乘法和一个除法。为了进一步降低计算量，可以将式(2)改为：1 6 S A D P P S A D。(3)其左边可以用一个移位来实现，右边可以用加法来实现。4 2 2X V l D 算法在软件层面上C 程序优化编码在程序实现上绝大部分是C 语言代码，这些代码是基于通用计算机系统的开发测试程序，其程序语言和程序结构都不是很适用于嵌入式系统。可从程序结构和数据存储来优化，方法如下：(1)调整数据类型。主要目的是减少变量占用的空间范围，提高代码执行速度。例如。在进行乘法运算时，尽量使用s h o r t 类型。在使用循环变量时，尽最使其

28、为i n t 型或u n s i g n e di n t 型数据，采用小的数据类型能够明显地提高整个程序处理速度。(2)将复杂计算改为查表，在编码程序的量化模块中要反复地用到的变换表事先计算好了存放起来，开始量化的时候，直接查表就行了。(3)减少函数调用次数，尽量少使用大的循环嵌套，对于一些不需要循环变鼍参加运算的任务可以把它们放到循环外面。(4)一些函数中的中间结果或中间变量，例如在D C T I D C T 变换中保存块数据的数组，这些数据的有效时间并不长，仅仅在函数体中有效。但是，这些数据的运算次数多占的空间也大，因此一般放在片内S R A M 中。一些全局变量。如图像的大小尺寸、一些

29、标志位等，这些数据同堆栈类似，也分配在片内S R A M 中。4 3 视频信号在服务器端的实现在测试时，选取C I F 级标准测试序列f o r e m a n对系统进行验证，编码的参数帧率为2 5 帧s，整个视频序列共7 5 帧，码率为3 0 0 K b i t s。测试文件由P C 机下载到A R M 板上后，再由A R M 处理器对测试文件进行编解码。解码后重建图像，经过时钟精确计时测得，整个视频序列共7 5 帧，编码耗时2 3 5 s，平均编码率达到了3 4 帧s，满足了实时编码的要求优化后的测试结果如表2 所示。裹2 优化后M P E G-4 编解码器性能测试在目标板接模拟摄像机进行

30、系统测试时，客户端选用P C 主机，编译下载的视频播放程序s p c a v-i e w，用网络接口线连接目标板和P C 机，服务器端和客户端的I P 要在同一个网段上。例如，客户端的I P 地址设为1 9 2 1 6 8 1 1，服务器端的I P 地址设为1 9 2 1 6 8 1 1 8 6。在主机上运行生成的可执行文件后通过在I A n u x 终端下执行相应的s p c a v-i e w 命令，在客户端就可以看到摄像机采集来的视频了，如图5 所示。A D 芯片S A A 7 1 1 3 通过模拟摄像机获得的图像大小为7 2 0 5 7 6 像素点。格式为Y U V 4：2：2。由图5

31、 a 和图5 b 两个固定点瞬间抓拍I 冬I 像可以看出通过对编码的优化编码速度不但提高r，而且在相司的码率下图形质量也有了一定的提高，方块效应减少，图形更清晰。】2 5万方数据图5优化前后客户端解码图像质量对比5结束语本文介绍了一种基于A R M 9 来完成视频监控终端的设计方法，详细介绍。fV 4 L 视频采集模块，M P E G-4 编码技术、X V I D 编码器在嵌入式L i n u x下的实现过程和优化方法。视频信号的采集和基于M P E G 一4 的压缩编码是视频监控终端设计的重要环节，本设计在以深圳优龙科技公司Y I。P 2 4 4 0开发板为基础扩展的硬件平台上完成了各项实验

32、测试，视频采集信号流畅，实时性强。实验证明，在嵌入式操作平台上以软件的方式实现M P E G-4 编码具有实时性好、可移植性强的特点，同时，基于软件的M P E G 4 视频编码设计有利于系统的二次开发和升级，系统应用范围广，前景广阔。参考文献：】$3 C 2 4 4 0 XR I S CM i c r o p r o c e s s o rD a t aS h e e t M lS a r n s u n gE l e c t r o n i c s，2 0 0 3 F 2 孙宏伟基于A R M 9 的远程图像无线视频监控 J 单片机与嵌入式系统应用，2 0 0 6(7)：5 卜5 4 3

33、3C o x 九V i d e 0 4 L i n u xP r o g r a m m i n g M a l a n r e d h a t c o m 2 0 0 0 4 3S A A 7 1 1 3 H9-b i tV i d e oI n p u tP r o c e s s o r D a t aS h e e t M P h i l i p s，1 9 9 9 5 X V I DC o r eA P IO v e r v i e w -E B o I 2 0 0 9 0 9 0 3 3 h t t p：W W W x v i d o r g 6 3 刘峰视频图像编码技术及国际标准

34、 M 北京北京邮电大学出版社，2 0 0 5 1 2 6b e d d e ds o f t w a r e 赵满意(1 9 8 1 一)，男，河南商丘人，硕t=生，研究方向为嵌人式软件。E-m a i l：Z h a 0 4 3 9 5 6 6 7 0 l6 3 c o r nZ H A OM a n-y i。b o r ni n1 9 8 1，M Sc a n d i d a t e，h i sr e s e a r c hi n t e r e s t si n c l u d ee m-赵利(1 9 6 5 一)，男，山西长治人，博士，教授，研究方向为移动通信与个人通信。E-m a i

35、 l：z h a o l i g u e t e d u c nZ H A OL i b o r ni n1 9 6 5 P h D。p r o f e s-s o r，h i sr e s e a r c hi n t e r e s t si n c l u d em o b i l ec o r n r I l u n I c a t l u n sa n dp e r s o n a lc o m m u n i c a t i o n s 莫金旺(1 9 6 1 一)，男，广西桂林人，副教授研究方向为无线通信。E-m a i l：m o m g u e t e d u c aM oJ

36、 i n-w a n g。b o r ni n1 9 6 1 a s s o c i a t ep r o f e s s o r，h i sr e s e a r c hi n t e r e s t si n c l u d ew i r e J c s sc o m m u n i c a t i o n s 李和(1 9 7 3 一)。男，湖南浏阳人。硕士，讲师，研究方向为移动通信与个人通信。E-m a i l：l i _ h e 2 0 0 8 g u e t e d u c aL IH e，b o r ni n1 9 7 3，M S，l e c t u r e r，h i sr e

37、 s e a r c hi n t e r e s t si n c l u d em o b i l ec o m m u n i c a t l o n：sa n dp e r s o n a lc o m m u n i c a t i o n s 刘涛(1 9 8 3 一)，男，湖南祁阳人。硕士，研究方向为通信工程。E-m a i l：l i u t a 0 5 4 7 g u e t e d u c aL I UT a o，b o r ni n1 9 8 3，M S，h i sr e s e a r c hi n t e r e s t si n c l u d ec o m m u

38、 n i c a t i o ne n-万方数据视频采集与编码技术在视频监控终端中的应用视频采集与编码技术在视频监控终端中的应用作者：赵满意，赵利，莫金旺，李和，刘涛，ZHAO Man-yi，ZHAO Li，MO Jin-wang，LIHe，LIU Tao作者单位：赵满意,赵利,李和,刘涛,ZHAO Man-yi,ZHAO Li,LI He,LIU Tao(桂林电子科技大学信息与通信学院,广西,桂林,541004)，莫金旺,MO Jin-wang(桂林电子科技大学信息科技学院,广西,桂林,541004)刊名：计算机工程与科学英文刊名：COMPUTER ENGINEERING AND SCIENCE年，卷(期)：2011,33(1)参考文献(6条)参考文献(6条)1.刘峰 视频图像编码技术及国际标准 20052.XVID Core API Overview 20093.SAA7113H 9-bit Video Input Processor Data Sheet 19994.Cox A Video4Linux Programming 20005.孙宏伟 基于ARM9的远程图像无线视频监控期刊论文-单片机与嵌入式系统应用 2006(07)6.S3C2440X RISC Microprocessor Data Sheet 2003 本文链接：http:/