视频技术原理精品文稿.ppt

《视频技术原理精品文稿.ppt》由会员分享，可在线阅读，更多相关《视频技术原理精品文稿.ppt（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、视频技术原理第1页，本讲稿共40页2主要内容l数字音频基础知识l数字视频基础知识l音频编码技术l视频编码技术第2页，本讲稿共40页3一、数字音频基础知识第3页，本讲稿共40页4音频基本特性l音频特性音频信号由许多频率不同的声波组成。音频信号的两个基本参数是频率和幅度。l人发音器官声音频频率范围：803400Hz。l人耳感知音频频率范围：2020000Hz。第4页，本讲稿共40页5音频信号数字化l模拟信号与数字信号处理对比时间上离散-采样幅度上离散-量化l语音质量与采样频率Nyquist原理l语音质量与采样精度量化噪声与量化比特数l语音质量与数据率第5页，本讲稿共40页6音频信号数字化l采样频率

2、(Khz)采样精度(bps)数据率(未压缩KBps)频率范围(hz)普通电话8882003400AM11.0258112015000FM22.0501688.2507000CD44.116176.42020000DAT4816192.02020000第6页，本讲稿共40页7二、数字视频基础知识第7页，本讲稿共40页8彩色电视制式lNTSC制式lPAL制式lSECAM制式lHDTV制式第8页，本讲稿共40页9彩色视频信号类型l复合视频l分量视频lRGBlYIQlYUVlS-Video第9页，本讲稿共40页10电视扫描与同步l逐行扫描与隔行扫描l场与帧lPAL制式的扫描特性625行/帧，25帧/秒

3、宽高比43隔行扫描第10页，本讲稿共40页11视频数字化两种方式l1、模拟全彩色信号-分量信号l-三个A/Dl2、模拟全彩色信号-A/D转换l-数字域进行分量分离第11页，本讲稿共40页12l行同步与场同步色度载波黑电平图像行第12页，本讲稿共40页13HDTV简介l高清晰度电视（HDTV）显示器：169帧频：=100Hz图像格式：1280 x720p，1920 x1080i码率：=20Mbps主要制式：8VSB（北美），COFDM（欧洲）第13页，本讲稿共40页14多媒体数据压缩技术l空间冗余l时间冗余l信息熵冗余l结构冗余l知识冗余l视觉冗余l其他冗余第14页，本讲稿共40页15三、音频编

4、码技术第15页，本讲稿共40页16编码器类型l波形编码器脉冲编码调制（PCM）差分脉冲编码调制（DPCM）子带编码（Sub-BandCoding）l音源编码器l混合编码器码激励线性预测（CodeExcitedLinearPredictive）第16页，本讲稿共40页17音频编码标准lG.711lG.721lG.722lG.728lG.729lG.723.1lMPEG-1layer1/2/3lMPEG-2AAC第17页，本讲稿共40页18声音的遮蔽现象806040200-20Sound Level(dB)20 50 100 200 500 kHz 1 2 51020 kHzFrequencyDo

5、minant Signal ComponentsMaskingThresholds第18页，本讲稿共40页19音频MUSICAM编码分析滤波器组量化和编码比特流的编码数字音频信号量化样值已编码的比特流知觉模型第19页，本讲稿共40页20四、视频编码技术第20页，本讲稿共40页21一、视频编码基础一、视频编码基础l1 1、数字电视系统、数字电视系统l 在电视信号的获取、产生、处理、传输、接收和存储的全过程中使用数字电视信号，称为数字电视系统。l 数字电视系统可分为三大类：(l)卫星数字电视广播系统；(2)有线数字电视广播系统；(3)地面数字电视广播系统。第21页，本讲稿共40页222 2 2 2

6、、视频信号的数字化及表示、视频信号的数字化及表示、视频信号的数字化及表示、视频信号的数字化及表示l取样空间的离散化把时间、幅度连续的模拟信号转l 变为时间离散、幅度连续的信号，即时间离散l 化；量化幅度的离散化把幅度连续信号转换为幅度离散l 信号，即幅度离散化；三基色原理：任何颜色均由红（R）、绿（G）、兰（B）三种颜色分量组成；l在电视原理里，用亮度（Y）、蓝色差（U）、红色差（V）三个分量表示。两种方法相互之间的转换：lY=0.3R+0.59G+0.11BlU=B YlV=R YlR=Y+VlG=Y 0.19U 0.51VlB=Y+U第22页，本讲稿共40页233 3 3 3、视频压缩的必

7、要性、视频压缩的必要性、视频压缩的必要性、视频压缩的必要性 数据量太大，占用带宽太宽数据量太大，占用带宽太宽 例：例：1 1秒钟秒钟PALPAL图像数据图像数据 720 x576x25x8x3=248720 x576x25x8x3=248，832832，000bps000bps 4、视频压缩的可能性视频压缩的可能性l空间冗余性l 相邻像素之间具有很强的相关性l时间冗余性l 相邻帧之间具有很强的相关性l视觉冗余性l 对亮度敏感，对色度不敏感l 对低频敏感，对高频不敏感第23页，本讲稿共40页24图像信号中存在的冗余 空间冗余空间冗余Time时间冗余时间冗余1sec 2 sec 3 sec 4 s

8、ec 5 sec 6 sec 7 sec第24页，本讲稿共40页255 5 5 5、视频压缩的基本方法及关键技术、视频压缩的基本方法及关键技术、视频压缩的基本方法及关键技术、视频压缩的基本方法及关键技术l正交变换l 去掉空间冗余性，主要采用DCTl运动估计/补偿l 去掉时间冗余性l色度下采样l 去掉视觉冗余性第25页，本讲稿共40页26关键技术环节：关键技术环节：关键技术环节：关键技术环节：l1 1、离散余弦变换、离散余弦变换DCTDCTl DCT是一种空间变换，在MPEG-2中DCT以8x8的像块为单位进行，生成的是8x8的DCT系数数据块。DCT变换的最大特点是对于一般的图像都能够将像块的

9、能量集中于少数低频DCT系数上，即生成8x8DCT系数块中，仅左上角的少量低频系数数值较大，其余系数的数值很小，这样就可能只编码和传输少数系数而不严重影响图像质量。变换倾向于把能量集中到低频系数上，而很多其它系数则接近于零。比特率的降低是依靠不传送接近零值的系数，而像后面所说的那样对剩下的系数进行量化和编码。不均匀的系数分布是由于原图像块中存在的空间冗余度。l DCT不能直接对图像产生压缩作用，但对图像的能量具有很好的集中效果，为压缩打下了基础。第26页，本讲稿共40页27离散余弦变换离散余弦变换DCT1 TV line(64us)720 pixels“Luminance”700mV0 mVf

10、requency1 TV line(64us)720 pixels“Luminance”700 mV0 mVfrequency第27页，本讲稿共40页28 2 2 2 2、量化器、量化器、量化器、量化器 量化是针对DCT变换系数进行的，量化过程就是以某个量化步长去除DCT系数。量化步长的大小称为量化精度，量化步长越小，量化精度就越细，包含的信息越多，但所需的传输频带越高。不同的DCT变换系数对人类视觉感应的重要性是不同的，因此编码器根据视觉感应准则，对一个8x8的DCT变换块中的64个DCT变换系数采用不同的量化精度，以保证尽可能多地包含特定的DCT空间频率信息，又使量化精度不超过需要。DCT

11、变换系数中，低频系数对视觉感应的重要性较高，因此分配的量化精度较细；高频系数对视觉感应的重要性较低，分配的量化精度较粗，通常情况下，一个DCT变换块中的大多数高频系数量化后都会变为零。要注意编码器所产生的量化噪波是不能在解码器中逆转的，这就使编码和解码过程“有损”。第28页，本讲稿共40页29l3.游程编码与Z扫描lZ扫描主要目的是将2维信号转换成1维信号，便于游程编码l游程编码一对码字（N，L），第一个字节为非零值的电平前面的零的个数非零值的电平，第二个为非零值的电平，为熵编码做好进一步的准备。第29页，本讲稿共40页30Z字型扫描与游程编码第30页，本讲稿共40页314 4 4 4、熵编码

12、、熵编码、熵编码、熵编码l 量化仅生成了DCT系数的一种有效的离散表示，实际传输前，还须对其进行比特流编码，产生用于传输的数字比特流。简单的编码方法是采用定长码，即每个量化值以同样数目的比特表示，但这种方法的效率较低。而采用熵编码可以提高编码效率。熵编码是基于编码信号的统计特性，使得平均比特率下降。游程和非零系数既可独立的，也可联合的作熵编码。熵编码中使用较多的一种是霍夫曼编码，MPEG-2视频压缩系统中采用的就是霍夫曼编码。霍夫曼编码中，在确定了所有编码信号的概率后生产一个码表，对经常发生的大概率信号分配较少的比特表示，对不常发生的小概率信号分配较多的比特表示，使得整个码流的平均长度趋于最短

13、。为使解码器能分辨在什么地方一个码终止和下一个码开始，VLC有这样一个特性：没有一个完整的码是任何其它的码的前头部分。第31页，本讲稿共40页325 5 5 5、信道缓存、信道缓存、信道缓存、信道缓存 l由于采用了熵编码，产生的比特流的速率是变化的，随着视频图像的统计特性变化。但大多数情况下传输系统分配的频带都是恒定的，因此在编码比特流进入信道前需设置信道缓存。信道缓存是一缓存器，以变比特率从熵编码器向里写入数据，以传输系统标称的恒定比特率向外读出，送入信道。缓存器的大小，或称容量是设定好的，但编码器的瞬时输出比特率常明显高于或低于传输系统的频带，这就有可能造成缓存器的上溢出或下溢出。因此缓存

14、器须带有控制机制，通过反馈控制压缩算法，调整编码器的比特率，使得缓存器的写入数据速率与读出数据速率趋于平衡。缓存器对压缩算法的控制l 第32页，本讲稿共40页33是通过控制量化器的量化步长实现的，当编码器的瞬时输出速率过高，缓存器将要上溢时，就使量化步长增大以降低编码数据速率，当然也相应增大了图像的损失；当编码器的瞬时输出速率过低，缓存器将要下溢出时，就使量化步长减小以提高编码数据速率。第33页，本讲稿共40页346 6、运动估计、运动估计、运动估计、运动估计l 运动估计使用于帧间编码方式时，通过参考帧图像产生对被压缩图像的估计。运动估计的准确程度对帧间编码的压缩效果非常重要。如果估计作的好，

15、那么被压缩图像与估计图像相减后只留下很小的值用于传输。运动估计以宏块为单位进行，计算被压缩图像与参考图像的对应位置上的宏块间的位置偏移。这种位置偏移是以运动矢量来描述的，一个运动矢量代表水平和垂直两个方向上的位移。运动估计时，P帧和B帧图像所使用的参考帧图像是不同的。P帧图像使用前面最近解码的I帧或P帧作参考图像，称为前向预测；而B帧图像使用两帧图像作为预测参考，称为双向预测，其中一个参考帧在显示顺序上先于编码帧(前向预测)，另一帧在显示顺序上晚于编码帧(后向预测)，B帧的参考帧在任何情况下都是I帧或P帧。第34页，本讲稿共40页35l 此技术利用了时间冗余度，它试图从前面的“参考”帧来预测要

16、编码的帧。预测不能以源图像为基础，因为这个预测要在解码器中重复，而在解码器中是没有源图像可用的（解码图像与源图像不尽相同，因为码率压缩过程在解码图像中引入了少量失真）。因此，编码器含有一个本地解码器，它能重建与解码器中将重建的图像完全相同的图像，由此可进行预测。l 一种确定待编码块与参考帧之间所发生的运动的方法是“块匹配”搜索，这种方法在编码器中试验大量的试探偏置。根据待编码块与预测块之间的最小误差来选择“最佳”偏置。第35页，本讲稿共40页367 7、运动补偿、运动补偿、运动补偿、运动补偿l 利用运动估计算出的运动矢量，将参考帧图像中的宏块移至水平和垂直方向上的相对应位置，即可生成对被压缩图

17、像的预测。在绝大多数的自然场景中运动都是有序的。因此这种运动补偿生成的预测图像与被压缩图像的差分值是很小的。运动补偿预测的码率损失是需要传送运动偏置矢量，这是解码器中预测各图像块所必需的。第36页，本讲稿共40页37帧间预测Frame 0Field0aField0bI-pictureFrame 1Field1aField1bB-pictureFrame 2Field2aField2bB-pictureFrame 3Field3aField3bP-pictureFW pred.FW pred.BW pred.BW pred.FWpred.第37页，本讲稿共40页38运动补偿参考帧中对应宏块参考帧中对应宏块当前宏块当前宏块当前帧当前帧参考帧参考帧第38页，本讲稿共40页39视频主要编码标准lH.261lH.263lMPEG-1lMPEG-2lMPEG-4lH.264第39页，本讲稿共40页40THEEND第40页，本讲稿共40页