音视频的合成与同步在网络监控系统中的实现.pdf

《音视频的合成与同步在网络监控系统中的实现.pdf》由会员分享，可在线阅读，更多相关《音视频的合成与同步在网络监控系统中的实现.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第2 卷第1 期江南大学学报(自然科学版)2 0 0 3 年3 月J o u r n a lo fS o u t h e r nY a n g t z eU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n)V 0 1 2N O 1M m r 2 0 0 3文章编号：1 6 7 1 7 1 4 7(2 0 0 3)0 1 0 0 3 2 0 4音视频的合成与同步在网络监控系统中的实现任绮年，易剑光，蔡明(江南大学信息工程学院，江苏无锡2 1 4 0 3 6)摘要：为了满足社会各行业对网络视频监控系统的需求，提高服务质量，在描述服

2、务器端M P E G-1 视频压缩卡的过程中。提出了在U N U x 平台硬件设备中保证音视频合成与同步的系统设计及实现原理使应用程序不仅能从驱动程序中得到音视频数据，还能得到音视频数据的同步信息，以合成系统流关键词：视频压缩；同步；合成；显示时间戳；图像压缩标准M P E G-1；脉冲编码调制中图分类号：T P3 9 3 0 9文献标识码：AT h eI m p l e m e n t a t i o no fS y n t h e s i z a t i o na n dS y n c h r O n i z a t i o no ft h eA u d i oa n dV i d e o

3、 i nN e t w o r kV i d e oS u r v e i l l a n c eS y s t e mR E NQ i n i a n，Y IJ i a n g u a n g，C A IM i n g(S c h o o lo fI n f o r m a t i o nE n g i n e e r i n g，S o u n t h e r nY a n g t z eU n i v e r s i t y，W u x i2 1 4 0 3 6，C h i n a)A b s t r a c t：I no r d e rt om e e tt h en e e d so

4、 ft h eN e t w o r kv i d e os u r v e i l l a n c es y s t e mi ns o c i a la p p l i c a t i o na n di m p r o v et h eq u a l i t yo ft h es e r v i c e，d u r i n gt h ec o u r s eo ft h ei m p l e m e n t a t i o no ft h eM P E G-1c o m p r e s-s i o n，t h ea u t h o rb r i n g sf o r w a r dak

5、i n do fm e t h o do ft h ed e s i g na n di m p l e m e n t a t i o nt og u a r a n t e et h es y n t h e s i z a t i o na n ds y n c h r o n i z a t i o no ft h ea u d i oa n dv i d e od a t a 1 1 1 ea p p l i c a t i o n sc a ng e tn o to n l yt h ea u d i oa n dv i d e od a t af r o mt h ed r i

6、v e r。b u ta l s ot h es y n c h r o n i z a t i o ni n f o r m a t i o no ft h ea u d i oa n dv i d e od a t a K e yw o r d s：v i d e oe o m p r e e 撂i o n；s y n c h r o n i z a t i o n；s y n t h e s i z a t i o n；P r e s e n t a t i o nT i m eS t a m p；M P E G-1：P u l s eC o d eM o d u l a t i o n

7、多媒体、计算机和网络技术的发展，使数字化音视频数据的网络实时传输和控制成为可能网络视频监控系统是一种以计算机技术、图像视频压缩技术和视频数据实时传输技术为核心的新型数字视频监控系统，具有附属设备少，造价低、操作简单、维护方便等特点其中视频压缩卡的驱动是整个系统的基础，该驱动程序的稳定与高效直接影响到整个系统的性能作者在分析了各种典型的视频压缩方法后，选择了图像压缩标准M P E G-1 t l J 因为M P E G-1 的图像质量比H 2 6 1、H 2 6 3 高，且每一路标准M P E G-1 占用1 5M b p s 的带宽，1 0 0M 的以太网已有足够的带宽来支持M P E G 的

8、服务质量(Q o s)同时因M P E G l 技术已较成熟，可以通过硬件完成。减轻了视频服务器的C P U 的负担，提高了实时性1音视频的合成与同步系统流程作者设计的网络监控系统中，采用W i n b o n d 公司的M P E G-1 压缩芯片，设计了1 块M P E G-1 实时压缩卡(P C I 卡)该卡可以接3 个视频输入，选择其收稿日期：2 0 0 2 0 4 2 8；修订日期：2 0 0 2 1 0 一0 8 作者简介：任绮年(1 9 7 7 一)，女，江苏无锡人，计算机应用硕士研究生 万方数据第1 期任绮年等：音视频的合成与同步在网络监控系统中的实现3 3中一路进行压缩编码，

9、还可接1 个音频输入，但因没有音频压缩，只能得到采样量化后的P C M 码，所以音频数据的压缩及音视频数据的合成都需要另外设计软件来完成由于硬件没有保证音视频的同步，在驱动程序中采用1 个同步机制有效地解决了同步问题这样应用程序不仅能从驱动程序中得到音视频数据。还能得到音视频数据的同步信息，以合成系统流整个音视频的同步与合成，见图1i _ t q l 转A 换D 器1 厂一一4 器翥|_-L 测1 lJ 器J上同；步l 音频流lI 存储环IA 翮M P E G-；1，1 L系叫嚣赣L髑。1 卜统流衙Il 器存储环图1 系统流程图F i g 1T h es y s t e mf l o wc h

10、 a r t2 音视频的合成由于从M P E G 1 实时压缩卡只能得到标准的M P E G-1 视频流和P C M 音频数据流，因此应用程序首先要把音频数据压缩成符合M P E G-1 标准的音频流(一般是L a y e rI I)，然后把音视频流复合成符合M P E C，1 标准的系统流，工作流程见图2 等待P C M 音频数据编码音频数据等待P T S 和音频帧数据进入音频存储环否音频处理线程等待M P E G 1 音频数据计算系统流的相关参数将视频数据包入系统存储环音频数据是否有效、，上是将音频数据写入系统存储环音视频合成线程图2 音视频的合成F i g 2T h eM u xo fa

11、 u d i oa n dv i d e o音视频数据的合成主要由两个线程和两个存储环完成，分别是音频线程(A u d i oT h r e a d)、合成线程(M U XT h r e a d)、音频环(A u d i o R i n g)和系统环(S y s R i n g)音频环和系统环都是首尾相连的存储环，分别存储压缩好的M P E GL a y e rI I 音频流数据和由音视频流合成的M P E G 一1 系统流数据当环内数据写满时，新的数据会不停地覆盖旧的数据环的大小可根据线程的处理速度设置，以保证要读取环中数据的线程在数据被覆盖前能及时处理数据当采用4 4 1k H z 的采样

12、率、双声道、并压缩成L a y e rI I 的音频流时，音频线程不停地从视频压缩卡上读取11 5 2*4 字节的P C M 音频数据，然后压缩成6 2 7+P a d d i n g 长的音频帧，最后把这一帧音频数据以及它的P T S(显示时间戳)写入音频环合成线程主要负责把音视频流合成系统流采用的小包大小为20 4 8 字节，每个包由1 个头部和3个小包组成，每个小包由2 0 字节的头部和20 2 8 字节的音频或视频数据组成合成线程不停地从视频压缩卡上读取20 2 8 字节的视频数据。生成小包头部的2 0 字节，组成1 个小包，并且每3 个小包还要组成1 个包，并把小包及包的头部和数据写

13、入系统环每写完1 个视频小包后，还要判断音频环中是否有足够的音频数据组成音频小包，如果有则从音频环中取出音频数据生成音频小包，并写入系统环中在1 5M b p s 的M P E G 1 系统流中，视频数据的速率一般为1 2M b p s。音频数据为0 3M b p s，所以视频数据量远大于音频数据量，这样就保证了合成线程能及时处理音频环中的音频数据最后合成的系统流数据就存放在系统环中，需要系统流数据的线程就可直接访问系统环得到系统流数据系统环用共享内存实现，这样其它的进程也能通过共享内存访问系统环，得到系统流数据3驱动程序中的音视频同步机制3 1 实时压缩卡存在的问题通过P E G-1 实时压

14、缩卡。以及驱动程序，可得到标准的M P E G-1 视频流，并可被M P E G 1 播放器回放也可以得到P C M 音频数据，由应用程序压缩成M P E G-1l a y e rI I 格式，也能被播放器正常回放当需要把视频流和音频流合成系统流时，不可简单地把两个流直接封装到小包中，必须提供足够的同步信息以保证音视频的同步W i n b o n dM P E G 1 压缩芯片在压缩的M P E G 一1视频流中加入了用户定义数据，供用户使用，其中就有同步所不可缺少的P T S 等时间信息，应用程序 万方数据3 4江南大学学报(自然科学版)第2 卷可从视频流中提取出P T S，用于音视频的同步

15、然而实时压缩卡只能得到P C M 音频数据，得不到任何关于音频的同步信息，如果驱动程序内部不能提供音频数据帧的P T S，那么应用程序将无法同步音视频流由于硬件没有提供音频流的P T S，不可能得到精确的P T S 作者利用了芯片中的4 个时间寄存器以及一套同步机制来估算P T S，使得音视频流之间的时间漂移不超过5 0m s，保证了音视频流的同步把估算出的每帧音频数据的P T S 用8 个字节的空间放在这一帧数据的前面，这样用户得到的数据流就是8 个字节的P T S。然后是11 5 2*4 字节的P C M 音频数据帧，如此不停地重复4 个时间寄存器分别是：V e t h o u r、V e

16、 t m i n u t e、V c t s e c o n d、V e t f r a m e 它们都只在视频压缩过程中有效，而且是每个G O P 刷新一次V e t h o u r：h(小时)，取值范围是0 2 3；V e t m i n u t e：r a i n(分钟)，取值范围是0 5 9；V c t s e c o n d：s(秒)，取值范围是0 5 9；V e t f r a m e：视频帧序号，对于2 5 帧s 的P A L 制取值范围是0 2 4 把这4 个寄存器统称为V e t 寄存器3 2 同步机制音频数据的采样率是S A M P L E F E Q=4 4 1k H z

17、，每个P C M 采样是4 个字节(双声道)，那么每秒的数据量是4 41 0 0 4=1 7 64 0 0 字节当音频数据的门限设为T h r e s h o l d=5 0 8 字节时。即每积累到5 0 8 个字节的P C M 音频数据就来1 个硬件中断，那么每秒就有1 7 64 0 0 5 0 8=3 4 7 个硬件中断，每个中断的间隔时间是5 0 8 1 7 64 0 0 3m s 在音频的中断处理程序中加入对音频数据P T S 的估计算法，主要原理是通过读取4 个时间寄存器的数据，判断是否发生变化，如果值发生变化则可把当前4个寄存器的时间当作当前音频数据的P T S，误差不会超过3m

18、s 图3 是该同步机制的状态转移图同步机制的状态一共有5 个：W a i t P T S、W a i t D a t a、S h i f t F o r w a r d、S h i f t B a c k w a r d、E r r o r 其中S h i f t F o r w a r d 和E r r o r 状态是两个短暂的状态，它在一个中断处理程序中产生并结束，而其它3 个状态的生存期都会跨跃几个中断处理过程圈3 同步机制状态转移圉F j g 3T kI l o wo fs 乜t u s 曲船嚼n 毫3 3 同步机制备状态的含义及关系3 3 1W a i t P T S 状态这是一个起

19、始状态，每一次开始采集音频数据都要先进入这个状态因为一开始采集音频数据时需要有一个音频数据的P T S起始点。这个状态就是为了等待得到第一个P T S 第一个P T S 通过监视V c t 寄存器的数值得到，一旦V e t 寄存器的数值改变了，通过计算(V e t h o u r*36 0 0+V C t m i n u t e*6 0+V C t s e c o n d)*F r a m e R a t e+V e t f r a m e)*F r a m e T i m e+o f f s e t 得到第一个音频数据帧的P T S，其中V c t h o u r、V e t m i n u

20、 t e、V e t s e c o n d、V c t f r a m e 分别是从对应的V c t 寄存器中读出的时间数据，其它几个是常量：F r a m e R a t e 是帧速率，对于P A L 制F r a m e R a t e=2 5 帧s；F r a m e T j m e是用P T S 单位1(9 0k H z)表示的一帧的间隔 万方数据第1 期任绮年等：音视频的合成与同步在网络监控系统中的实现3 5时间，对于P A L 制F r a m e T i m e=(1 2 5)*9 00 0 0=36 0 0；o f f s e t 是个固定的偏移值，具体数值可以根据音视频同步

21、的效果来设置和调整在计算出第一个P T S 后。就从W a i t P T S 状态转换到W a i t D a t a 状态如果V c t 寄存器数值不变，则保持W a i t P T S 状态，并丢弃得到的音频数据如果发现硬件出错(收到出错中断)，则转移到E r r o r 状态，处理完错误后重新开始采集音频数据，进入W a i t P T S 状态3 3 2W a i t D a t a 状态这是正常的音频数据处理状态，即把从卡上得到的音频数据传送给用户，大多数时间都处于这个状态此时要记录几个数值：l a s t P T S 是当前正在处理的音频数据帧(即最后一个音频数据帧)的P T S

22、，d a t a O K 是当前正在处理的音频数据帧中已经传送给用户的数据量在音视频同步的情况下，每处理完一个音频数据帧时，l a s t P T S=l a s t P T S+F r a m e T i m e。并把该P T S 传送给用户，然后开始新的一帧音频数据的传送，这时一直处于W a i t D a t a 状态在W a i t D a t a 状态下需要不停地监视V e t 寄存器的数值，用于判断音视频数据是否保持同步如果数值改变了，则计算：c P T S=(V c t h o u r*36 0 0+V c t m i n u t e*6 0+V e t s e c o n d)

23、*F r a m e R a t e+V c t f r a m e)-kF r a m e T i m e+o f f s e t；p P T S=l a s t P T S+(d a t a O K+T h r e s h o l d)*S C R F E Q S A M P L E F E Q；s h i f t=p P T S。c P T S；其中F r a m e R a t e=2 5 帧s。F r a m e T i m e=36 0 0，T h r e s h o l d=5 0 8B y t e，S C R F E Q=9 0k H z，S A M P L E F E Q=4

24、 4 1k H z c P T S 是当前视频数据的S C R 值，而p P T S 是根据音频数据预测出来的当前S C R 数值，s h i f t 就是预测值和真实值的差值，即音频和视频之间的时间漂移作者定义了两个时间漂移门限值：m a x s h i f t=1 5 0m s*S C R F E Q 10 0 0=1 35 0 0，m i n s h i f t=5 0m s*S C R F E Q 10 0 0 当s h i f t绝对值大于m a x s h i f t 时。说明是视频流的s C R 重置了(一般是视频编码出错引起的)，因此也要重新设置音频流的P T S，即调整l a

25、 s t P T S=l 弱t P T S s h i f t 当s h i f t 绝对值小于m i n s h i f t 时，说明音视频数据之间的漂移不超过5 0m s。认为音视频还是处于同步参考文献：当m a x s h i f t Is h i f t I m i n s h i f t 时，说明音视频已经不同步，需要额外的同步处理当m a x s h i f t 一s h i f t m i n s h i f t 时，音频数据产生的速率慢予视频数据产生的速率，将从W a i t D a t a 状态切换到S h i f t F o r w a r d 状态当m a x s h i

26、 f t s h i f t m i n s h i f t 时，音频数据产生的速率快于视频数据产生的速率，将从W a i t D a t a 状态切换到S h i f t B a c k w a r d 状态如果发现硬件出错(收到出错中断)，则转移到E r r o r 状态，处理完错误后重新开始采集音频数据，进入W a i t P T S 状态3 3 3S h i f t F o r w a r d 状态当音频数据产生的速率慢于视频数据产生的速率，需要插入额外音频数据来保持音视频数据同步时(m a x s h i f t 一s h i f t m i n s h i f t)进入该状态一般采

27、用填充全0 数据(z e r of i l l i n g)来增加音频数据首先计算需要填充的数据字节数以=(一s h i f t)*S A M P L E F E Q S C R F E Q，然后在音频数据流中插入n 字节个0 数据来使音视频保持同步在插入0 数据时，如果当前处理的数据量d a t a O K 达到一帧的数据量(11 5 2*4 字节)，还需要让l a s t P T S=l a s t P T S+F r a m e T i m e，d a t a O K=0，并把该l a s t P T S 传送给用户，然后开始新的一帧音频数据的传送在全0 数据插入操作完成后，从S h i

28、 f t F o r w a r d 状态回到W a i t D a t a 状态3 3 4S h i f t B a c k w a r d 状态当音频数据产生的速率快于视频数据产生的速率，需要丢弃一定量的音频数据来保持音视频数据同步时(m a x s h i f t s h i f t m i n s h i f t)进入该状态首先计算需要丢弃的音频数据的字节数挖=s h i f t*S A M P I。E F E Q S C R F E Q，如果当前得到的音频数据小于扎字节(即T h r e s h o l d 竹)，则丢弃当前得到的音频数据(一个中断到来时能得到T h r e s h

29、o l d 字节的音频数据)，恕=挖一T h r e s h o l d 并等待新的音频数据不停丢弃音频数据直到咒T h r e s h o l d，然后丢弃咒字节的音频数据，传送给用户T h r e s h o l d 一7 个字节的音频数据，并从S h i f t B a c k w a r d 状态回到W a i t D a t a 状态如果发现硬件出错(收到出错中断)，则转移到E r r o r 状态，处理完错误后重新开始采集音频数据，进入W a i t P T S 状态3 3 5E r r o r 状态当收到硬件的出错中断时，都进入E r r o r 状态，进行完必要的出错处理后，一

30、般重新开始音频数据的采集，并进入W a i t P T S 状态 1 马小虎，张明敏，严华明多媒体数据压缩标准及实现 M 北京：清华大学出版社，1 9 9 6(责任编辑：彭守敏)万方数据音视频的合成与同步在网络监控系统中的实现音视频的合成与同步在网络监控系统中的实现作者：任绮年，易剑光，蔡明作者单位：江南大学,信息工程学院,江苏,无锡,214036刊名：江南大学学报(自然科学版)英文刊名：JOURNAL OF SOUTHERN YANGTZE UNIVERSITY(NATURAL SCIENCE EDITION)年，卷(期)：2003,2(1)参考文献(1条)参考文献(1条)1.马小虎;张明敏;严华明 多媒体数据压缩标准及实现 1996 本文链接：http:/