无线移动视频监控原型研究.pdf

第3 7 卷第6 期计算机工程C o m p u t c r E n g i n e e r i n g2 0 1 1 年3 月开发研究与设计拄术女章 8 1 2 0 1 1)3i#口日；A十e 女 zN 9 4 5无线移动视频监控原型研究越单军“，方柱”g l*女”W n o 口$，*2 0 1 8 0 4，2 月日#*”镕n I R$-l 吣*#-l-o 1 沸2 0 1 8 0 4)l：i I l 一#十“w c I s h u w*#自#自$，鼢W A d m m m 女W m*m B m w H，G P R S 月镕*#自t l，o H*十o n 女日n*#自*A j*目m h 自m 倍口女 目十f 自m#A 女#n*A$目目*g m R i 女日于*”。*黼：M 女R；巍#*m；m*；D i r。c l S h o w*，H2 6 3#*S t u d yO UW i r e l e s sM o b i l eV i d e oS u r v e i l l a n c eP r o t o t y p eZ H A O H u a-j u n“F A N G Y u ol I 执p a n m e n lo f C 啦l p u t c rS c】|e o c ca n dl n h n o I u”目U n i v e|s i t y,S h a n g h a i2 0 1 8 0 4C h i n a；2 n“口。B r a n c hN a l i o n a l b 蚪“T o c h n o o g y c c n 呲o f I l i g hP 响C o m p u t c r S h a n g h a i2 0 1 娜4C h l o e)I A b s l r a f l lAp m p o l t h e】s m o b i l ev i d e os h 刚。1 1D 唰l S h o w i sp I I c m o b i l en c sc a p l u mv i d e o i t f f o r n m t t o na s i n g h e 咖s m i l i t l h m g h W IH G P R Sl w o r k t h e I l l-c c n k r st h u s t h e j】w【I t 1 1 t o m t o r h e i n o b i l e l t c i n 啪I i 1 1 a 1”a l ln 础d o”1 d u“l c l m c n、T n cp r o p o s a li sd 1 I hr l 1t h ec j 1 T【di ti sv a l i da st h ev i d e om M l i s f l u c n l】n k lo a l I s e【l b y t h e I r i m e n l a l a l y s is i sg i v e n“t h ed l i o n s f o r u r t h c rm 口m b m“I K q 删s l 喇I a tv i d e oc“i n g；v l d 1，D i 眦t S h o w 胁w o H2 6 3a l g o m h mD O I：1 03 9 6 9“1 n i 0 0 03 4 2 82 10 6 2l 曩透视频啦控系纯是鸯卡防范最统的m 成部分，它是一种陆范能自较的综台系统。税频监控m 其直、疗便广泛自于许多场台。当瓣要有数宁控制的艇拟视频监控和数字观频监控两类系统手机税频监控足传缱税额监控在移动征信顿域韵延伸它将监控终端自计算机转移到手机上，虫现r 监控终端的#琦化、小碱化和将化。随糟 线通信技术的发屉，传精带宽1：断提高，通信终端的实时信息处理他hH 逋崤鼬光线多媒体A 用成为关注焦点。m 线规频监控技术无衙铺阿绪电缆，可快述方便地郫暑摄像设备，其有根强的扩展性a 基于多种t 线转轱手轻的视频监控H 其特有帕灵括性成为视频监控新的发屉方向。目前投 使用的无线觇辑监控系统主有肇r 移动通信时绪和基于无线局域刚的2 种类剁n 托时啻视频m R 璎求f 岛帕席圳中，也n f 采I 低端的尤线数据传糟懈络。移动通信嘲络构无线挑频监控系缱，中国联通基于C D M A 制式，中崮移动采用G P R S 技术；t 缦局域刚f W L A N)的多嫩体信息传辖，是解扶建筑物内灵活规频监拄的十蛙手段。随着W i M a x 和3 G 技术的日趋成熟，基于这技术的规额监控也成为研究热点，W i M a x 技术町提供蜓搿的数据理事和坦强的数揩m*能巾多媒体业务世3 n数据业务的m 点，3 G 的带嵬*常斌台无线税额监控应用”；自曲传统的m 线视橱监控系统术质t 乐粜端使用M 络像机或*1：坩m 镕采肇#的g r 这#设箭鸯装在窟的位置，或卉4 耗牲制苴存一定小m 度范罔捕动m 瞌掩端一般是移动世蔷(如f 机或P D A 或昔是mP c 机均成的控-|1 心，其弊瑞足监抟端只能对圊定位置或柱定范围内进f 壮控，赦难鹕址场台的特殊i*求。n“特昧衙求巾，l 牲中0：目皑i 解移动1，点所址的埘I 目环境状M 印移自节点采粜龇额敬m j r 通过无线H 络传输衙监控一I J 心接收税额数错J l q l 艘，实现无线移动隧鞭实时雌控的功能，井最终达到番十H 点税额通信的目的。奉盘提儿j 的线移自税蹲拄方案能昭较好地满足这种需求。2 视撬监控系统厣型在无线移曲觇颧监控原$中，性定韩对节点摊带的泄舒t p M 口打柳催 机废带订摄像头P D A 负贵帕溉翱乐艇】蚱，腔巾。刚m 置打商f k 能的胜并勰，艟m m 舞个挖终端P c 实时监控的视频西面。移动通信时或专用无线局域月覆盖所有的移动节点，n 移自#点最终接 联同，丽监控终端可通过有钱或无线同结接 i 睚同。基于此硅的系统丽型如圈1 所示。l t 凯。I t 舢基盘目#自$R g m H“#H柞：t 葡升：g*V f l 9 8 f i】，L 日R m E ”：m 式j l H 镕W，n *+“#、m I：幢H 期：2 0 1 00 82 3Em a i l：h j n m ，3 口【w 万方数据第3 7 卷第6 期赵华军，方钰：无线移动视频监控原型研究2 6 73 核心技术3 1D i r e c t S h o w 漉媒体框架D i r e c t S h o w(简称D S)是一个W i n d o w s 平台上的流媒体框架，提供了高质量的多媒体流采集和回放功能。D S 框架中的每个功能模块都采取C O M 组件方式，称为过滤器(F i l t e r)。在D S 中只要拥有相应的分析和解码过滤器就可以支持任何多媒体的格式。它提供了一系列的标准模块可用于应用开发，开发者也可以开发自己的功能过滤器来扩展其应用。D S 的过滤器从功能上可分为源、转换和演染过滤器。源过滤器从数据源获取数据，转换过滤器对获取的数据进行处理，渲染过滤器实现网络视频通信、视频回放等功能。D S 系统结构如图2 所示J。圈2D i r e c t S h o w 熏统结构3 2 视菝编码视频编码是指通过特定的压缩技术将某个视频格式的文件转换成另一种视频格式的文件的方式。为了能在时变、带宽有限的无线信道上传输视频数据，视频编码算法必须满足以下要求：(1)高效的视频压缩比；(2)较高的传输实时性，更短的传输时延，更快的编码速度；(3)较强的传输鲁棒性，更好地适应传输信道的干扰l。H 2 6 3 是针对低比特率传输高质量视频流而制定的混合编码技术标准，它在H 2 6 1 建议的基础上，将运动矢量的搜索增加为半像素搜索，同时又增加了无限制运动矢量，基于语法的算法编码，高级预测技术和P B 一帧编码4 个高级选项，从而达到了进一步降低速率和提高编码质量的目的瞄J。4 移动视频监控方案现大多基于D S 的视频监控系统的视频采集设备通常是U S BC a m e r a，或专用视频采集卡，D S 提供了相对完整的视频采集、编码、解码和回放的过滤器，当需要网络传输时，编写发送过滤器和接收过滤器，然后将这些过滤器按合理的顺序连接起来，运行构建好的过滤器表即可。但编写F i l t e r需要精通C O M 技术，难度大，周期长。本文提出的无线视频监控方案考虑到实际视频采集设备的硬件平台和操作系统的特殊性、使用的场合和实际需求，只使用D S 相关模块完成视频的预览和采集，通过设计视频流抓图接口I S a m p l e G r a b b e r 获取每次采集的视频图像数据帧，经过H 2 6 3 压缩编码后，通过在智能手机和P C(或其他移动设备)间建立基于W i n S o c k 的通信通道，完成视频数据帧传输；到达监控端后，由H 2 6 3 解码器对视频压缩数据帧解压缩，还原视频图像数据帧，再通过G D I+库将其绘制在图形控件上，最终显示一帧图像。这样采集端采集一帧一帧视频图像数据并压缩编码，发送到监控端后，监控端还原一帧一帧视频图像数据，并显示出来，达到实时视频监控的效果。该方案如图3 所示。圈3 移动视频监控方案5 原型系统实现依据图3 所示方案，可将系统分为视频采集、编码、传输、解码以及回放模块。其中传输又可分为发送和接收两部分，采集、编码和发送在基于W i n d o w sM o b i l e(简称W M)的智能手机上实现，而接收、解码和回放在基于W i n d o w sX P的P C 或者其他移动设备上实现。5 1 视频采集D S 流媒体框架在P C 上得到了很好的支持，但在像w M等操作系统，D S 的应用不是太广泛。如何获取每次采集的视频帧数据是关键。D S 提供了I S a m p l e G r a b b e r 接E l 对正在采集的视频流进行抓图的功能，可获得一帧位图数据，为图形图像处理带来了方便1 4 J。但在W M 系统上却不能使用该接口1 5 1，需根据F i l t e r遵循的C O M 规范自定义接I：iI S a m p l e G r a b b e r，继承接口I U n k n o w n，并声明回调函数，然后定义类C S a m p l e G r a b b e r实现该接口，并实现回调函数R e g i s t e r C a l l b a c k，完成用户回调函数的注册。这样能实现最基本的G r a b b e rF i l t e r，通过注册一个全局回调函数，每采集一次视频数据，就能够在该回调函数中获取一帧视频数据。5 2 视频编码视频编码旧1 库使用基于T e l e n o rT M N1 6e n c o d e r 的快速H 2 6 3 编码库。设置其回调函数W r i t e B y t e F u n c t i o n 为一个自定义全局函数，可以得到编码后的数据；在压缩编码时，位图颜色空间必须是Y U V 4 2 0 格式的，R G B 格式的需使用c o n v e r 哌G B 2 Y u V 进行转换，调用C o m p r e s s F r a m e 可完成数据压缩，文献【6】介绍了具体的编码过程。经过H 2 6 3 编码后，数据量大大减少，这为在低带宽的无线通信信道上实时传输提供了保障。例如对于一帧分辨率为Q C I F=1 7 6 x 1 4 4，颜色深度为2 4 位的位图，数据量大小为1 7 6 x 1 4 4 x(2 4 8)=7 60 3 2B y t e，压缩后数据量为10 0 0B y t e左右。5 3 基于缓冲队列和。停等”策略的视频传输考虑到w M 设备的C P U 性能和内存大小有限，以及视频传输的实时性和同步性，本文提出了一种基于缓冲队列和“停等”策略的视频数据传输方案。该方案基于下面2 个数据结构，用于管理视频帧的类C D a t a A d m i n 和对应于每帧的帧头结构体M S G H E A D E R。C D a t a A d m i n 类用来管理一个由视频帧构成的缓冲队列万方数据“罐机I：牲D a l a i nI 1 埘函数中将帕枧频数据q H 列中耐嘤进行缩码耐就从培队列中取出慵数据目进行编m。为了砧止盅送踏数据拥摩，硪定队列最大k 度M A XC O U N T，女k度 于M A XC O U N T 时浦i 谤n 列加 最新采鞋d 数据帧，保持队列巾的视频柚址比较新的。站样能够避免发进端和档崆端办柱键t 的墅避，地一l r 德遗成一#视瓤帧的女1 日时聚m 一种。停等”策略，通过刨建事：内枝对md E v e n t，开始其为米通知状态，在每扶采集到一帧视频数据月，调用S e t E V e n l 将事件状盎改为B 通知状盎，此时在缩码线程中的W a i t F o r S i n g l e O b j e c t 就喜披挂发，日蛤。帧女M S GH E A D E rH 青a M s g T y p e、n D a t a N m u，n D a l a S i z c，丹S 4 代表帻柿记、幢编t m 艇帧数据 小每次牲发送一帧教女前，先发送#对应的帧头，为T“发送端健档完整的发送一帧接收端完整地接收一械，需甓帕环s e n d 和呲v A 刊 小为n D a t a S i z e 的一帧教据发送完毕，接收端帧接收完毕r 帧缩号0 可H 控制帧的发送和目艟嘲序定程度上起到7 同步的阼坩。为T 佩证用产操怍体验，程序钱攫H 阱米采她井撬览观频歼稿个后白线程来完成缩日和f 辅；视频传袖施样如嘲J 所i t5 4 视舞码“解码库坫1+I n l n+J c c o d c i 醇库非常快性能不带，解码过n 州对简单，使O c c l l l p l 州F 川耨H 镕盎撕C d a l a 刖压缩迁原为原始税频数据邮lc l 小d 即可5 5 视日放利J 1 1G D I+技术特一帧桃频数据的b i t m a p 经制在程序宙n 的P 叭r c c o n l m I 拉件t 接收端在实现过程中，徭开当十n 竹线程证成税额微撮摧崆的L 作样m 槔#列一个令教据敞m 巾通过设定宅时器对象mt l I i t l I c r _ 响席晒教一l l每酬mi lr I l l c r 时间兜成b i l m a p 的绘制，6 实验与分靳6 l 实验环璃实辘过R 巾，槐糖采集端蛏H T C 手机，监牲端讣别为P c 和P D A，无线日域同环境坫于娜!I I P 的T P I i N K 无线路*n 泄自洋细套教如 I 所i，mj：蒋幅，仳选郴丹教据争列。“Oia m o。2“。M”=1=7：篙=巍：。一w。盅：器；品：掣：6 2 实验培果6 2 I 实验IH T C 手机在t 线局域网巾的m 地址为I L O I8 手机上t 行采巢程序如目5 晰女P c 行监控程序，如日6所m 输入采鹅端I P 地址点-h“连接”摧M B 将曲指定】P 的手机发送连接j 口球，下机收到请求n，P c 端W 序商【IJ：f 1 m 视糍目城H 自。实骑过H 中辑诫帕央时十k 技染较好，臣臣回臣困 习厂i 订r 五5 幕采葺i圈!U目6P【枉麓t i i622 实验2实验过程与宴驰I 相似但由P D A 作为监控端枉其上运行监控程序，知罔7 t 脚s 所示。盘P D A 目放视频醇面目样流惭瞬m R 堆本满意，町H 尝m 社自*请问的税频通信量酾 口 亘臣困回田厂i i 厂i i 目$P D A 一t#i63 同曩分析l。连崔转中戳糍监掩信F n 部件块蝤，m N 化十H f f V 机摄像*驱动 艘的视频接E l 格式的阻树，H 能轶mR G B 5 6 5 的颇色4 问，舒辨率为Q V G A T=2 l O x 3 2 t l，肄H 平拖i k 置为其他格式而标准的1 1 2 6 3 掉沽眦立特Q C I F、C I F、S Q C t F、4 C I F、1 6 c*5 种格式。m 1。手机设备有限述寓骑硅对采柴的Q V G A T 格式观糍州H2 6 3 标准格式Q C I F 进行编解码的坩此R 能显示砸翻像大致t1 1 3(3 2 0 x 2 4 0 I I7 I“)部分，F 转骷2 7 I 万方数据铘3 7#铘。驯沈聪，陆f#成规皓一：甚十解开撵怍的A 角多边随机生成杯浊2 7I 目6“目他奉掉浩产，E 的朋点数自IO(K I 女均匀分布的陆机“自多迎形算法呻镕行时旧不刊0 Is-同时B 外l I I嫩。m 盛转庄目定范咽内随梳生畦盎丹布的璇点然目摧$文的悼挂产生1 0 0 十一20 0 I 十顶点的A 街多边形，腼【2 1点戢2 f H m 女m 志丹布的随机直廊多迎形如图7 晰示目7$6 特束语$Z 攫m#坫十解 撵作的 m；边随机生成算。沾，时J 斛歼膏盐的多种情睫，对讳浊旧耵鸯性作征W，井增址实瞬Wr 粹洼的可行性和耵教傩。怛馥霄沾目侑聃时间缸抽地的“简怍进一步的研究侔讨L 接帮2 州埘)骑证，w M6P m k 蚓o n a lE m I l h。rt 的模拟摄像头接l J 持0 c I1、C I f _ 婶格式使甩D s 采懈的观颧默认丹辩率Q Q V G A=1 6 0 x I!(但可H 通过啦越来获取H2 6 3 支持的丹辨奉柿 C I F 站样解日目航能罅得到宽接的闰攮。6 4 后咎工作住*肚rD SF i l t er 的觇摄采制和插坡系统一 _，套摧据槐采啦的帕率和 乜事情十措标，渊试在不M 瞎带宽环境F n 傩两日质啦菩立献 l 对观撅实时性进行T 棚*日f 究。奉Z 的移动觇糖监控砾壁，f 柳摧嫩头H 冉目定艄果壤帧半1 5f s m 浩进 T#他械率的世趾，I L 柔缱总体性能与n 体虫*缓冲H 列长度，墒解码逮瞳尊，纯粹的蜮半驯试泄冉$大意义故没冉泄计相*实转。如何连口一十什蛐r F 栅挑频监控系统的性能指标庠系，迁订待进一步研究】I2 6 3 罐浩1：能很好地直持q v G A、G 等分晰毕擗式F 班1：作址他音站的蝈*蚪算持H2 6 4 等偿带*缱m Wr 涯m，手n#自碰*中7 箍豪语$女性m 的尼线栉曲抛龋盛控砾删滞及的技术忙兢帆摊$t H 比打较k 的箍，u f H 满越一*特殊*台特定前求醵M 颠监控蟓璺话音运用在军事据惭指挥系统I|，者文t*g*日*#m*4 自女m*$*J C R I T I“#n t 目2 0 0 93 5(1 0 1：4 0 4 3N a h 口SS a h n isF 吲A l s o m h m“rP o l y g O nD e c o m p“i l i o n l J II E E E。n C o m pu l e r-A i d e dD es i g no f I n l c g n l e d C i r c a i l sa n ds、s t 1 9 8 s7(4 l _ 4 7 34 s，S a h n iSC o v c 6 a g c“c“P o l y g o n sb yR*l”P】5 IJJI E E ET m n s mC o m p u i c r A i*dD e s i g no f【n i e P m I“C i l c u i b ds vs t xI(Jq 卜I k3 7 7 3 8 81 h n“A B u c hALG c l l C d t i n gR a n d o mO r【h o g u n aP o*p。b l c I 胛呲o f C A E P t A T T I A 0 3 I S I|=s”e r l 珈，OR o u r k e】k h c“oIT e w a iGP a r t i t i o n i n gO m o g o n u lP o b g o n si m on lR I n t I 州c J 胛呲o fl h c1 3 t hc l a d I Mf o n k o n 办n l p t m l o 圳G 州m 啪oo 目o“n I2 m Ia uC l l o n gS u M GS n!i n kJc mG“MR a n me 0 1)g o a sH l m G i v e nv c I J lC o mp l l l a t i o n a G e 响e L r y1 9 9 66 1 5 k 2 7 72 舳 TH d dMH c u f i s t i c f o r I G c n c mE i o n R a n d o mR 1 1 v n s I c m n f m eR m o n a d l a n c e nC o m p u t a l l o n a l0 t t C a d a：I In】1 9 9 6nJS c h AAU nE m g l i n g8T r a v e l i n gs m c m”【讪u P l a n c I C V 1 1 1 wo lm c 7 mc o n k G r a p hn cC o f l c p l s lC O l l l p U L ws 啪c cL i n zA u s m m】、n1 9 8 lC G A I 1 he l O l”rC o m n m n i t yC G A IU ra n dR c m M an u；l l D S O I2 C K I q 1 帅帅uc g a lo r g t M a n u a l l 3 锄tm m 崛a L a u G c 一 m n 州m m J”l o 口“一2h l m l蝈辅唾蛏健在军事撮桔中g 个移动尊点，指挥t I l 心需要厦时T 解它们所址的环境信息，以便辅确和冉技地指挥廿点完戚作战任务，实现指挥中心和移动节点之间的信息交H 和协同配音。1，特晰处环境帕挑信息菇时f 翱持指挥巾o，指挥十0 再F选古理的作艘任*可“摊高怍拽的有教$成功串，进步攫商M 作战帕信息化摊靡，考盘f i l M“口*n*n H$q 镕t E B，O If 2“)sl(L 0 7 lh【t D d d v i l lc 0 1 1 1 2】j 硎D i c L S h o w*m m l M】n*m 2 0 0 3f 3 1 埘”规目镕日$&l q 标 M lj 匕京。耻“电 m m#2 0 0 5j _ IM“C o 州r a l i o nM l o nD i m c I X9uS D KD“nI OFc+I M I 阻M i c r o s o f t Q m。I 洲l】_ l2(D 3 S lM l o nn I o nW i n d o w sM o b i l e6S D K I X l lI Sl=M i c 州o f lr m na x f 6 lN 、l h w a rAV i 帅N c t hN。s。H h 帅r I l：M H jl!f 肿1 0：h l【P=肌w w c H。I 咖帐叫I h I d l*p xf，lH#n*M*#H 女日t*R Ii l#n】m2 j，c J”2 3 5：，7编辑陈文蕊蓟万方数据无线移动视频监控原型研究无线移动视频监控原型研究作者：赵华军，方钰，ZHAO Hua-jun，FANG Yu作者单位：同济大学计算机科学与技术系,上海,201804;国家高性能计算机工程技术中心同济分中心,上海,201804刊名：计算机工程英文刊名：COMPUTER ENGINEERING年，卷(期)：2011,37(6)本文链接：http:/