多媒体编码通信导论讲稿.pptx

《多媒体编码通信导论讲稿.pptx》由会员分享，可在线阅读，更多相关《多媒体编码通信导论讲稿.pptx（50页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多媒体编码通信导论第一页，讲稿共五十页哦提纲提纲l数字图像颜色空间量化和伽马校正采样原始数据格式l数字视频帧速率 逐行和隔行BT.601 电影原始数据格式 l压缩的必要性原始数据量存储器容量传输速率l压缩的可行性冗余的概念统计冗余空间冗余时间冗余知识冗余 第二页，讲稿共五十页哦数字图像：成像原理数字图像：成像原理第三页，讲稿共五十页哦n焦点、焦距、凸透镜成像公式n影像放大率：像高与物高的比，等于v/un视角：胶片对角线两端点与镜头中心点所连线的夹角称为视角。焦距愈长视角愈小；焦距愈短视角愈大 数字图像：成像原理数字图像：成像原理第四页，讲稿共五十页哦数字图像：成像原理数字图像：成像原理n对焦点

2、前后能够清晰成像的范围叫做景深范围第五页，讲稿共五十页哦n光圈是镜头后面的一个遮挡光线的器件，光线只能从光圈的开口处通过。n光圈愈大，进光量愈多，反之进光量愈少n光圈越大，弥散斑越大，景深越小数字图像：成像原理数字图像：成像原理第六页，讲稿共五十页哦数字图像：成像原理数字图像：成像原理第七页，讲稿共五十页哦n快门是照相机中控制曝光时间长短的装置n小型相机一般使用镜间快门，而单反相机常用焦平面快门。数字图像：成像原理数字图像：成像原理第八页，讲稿共五十页哦数字图像：成像原理数字图像：成像原理n开大光圈,选用小景深,就能从距离不同的诸多物体中突出某一物体,使它能够得到强调第九页，讲稿共五十页哦数字

3、图像：成像原理数字图像：成像原理n收小光圈,选用大景深,这时照片中的前后景物都将控制在清晰的焦点之下,相片包含了丰富的信息和细节第十页，讲稿共五十页哦数字图像：成像原理数字图像：成像原理n快门速度越快,曝光时间越短,能够把瞬间的动作记录下来。第十一页，讲稿共五十页哦数字图像：成像原理数字图像：成像原理快门速度越慢,曝光时间越长,运动的物体就会留下流动的影像,这也是摄影中表现动感的一种独特方法之一 第十二页，讲稿共五十页哦数字图像：成像原理数字图像：成像原理快门速度越慢,曝光时间越长,运动的物体就会留下流动的影像,这也是摄影中表现动感的一种独特方法之一 第十三页，讲稿共五十页哦数字图像：颜色空间

4、数字图像：颜色空间标准单色图标准灰度图按照颜色数，图像分为单色图、灰度图、彩色（16/24位）第十四页，讲稿共五十页哦图5-2 光谱色 数字图像：颜色空间数字图像：颜色空间第十五页，讲稿共五十页哦数字图像：颜色空间数字图像：颜色空间人的视网膜上有很多神经元，神经元有锥状和杆状两种 锥状：分三种，分别对红、绿、蓝光敏感杆状：只在光功率极低的条件下才起作用第十六页，讲稿共五十页哦n颜色特性通常进入我们眼睛的光是由许多不同波长的光组合成的，人类视觉系统对可见光的不同组合有一定的一定的区分能力能够区分：使我们能够看到光谱色以外的许多颜色不能区分：不同的组合光可以呈现出相同的颜色，可以利用这点生成颜色数

5、字图像：颜色空间数字图像：颜色空间第十七页，讲稿共五十页哦国际照明委员会把三种单色光的波长分别定为红光(R)：700 nm绿光(G)：546.1 nm蓝光(B)：435.8 nm 为匹配在438.1 nm和546.1 nm之间的光谱色，出现负值，表示需要使用补色颜色匹配曲线是采集和再现颜色的基础1931 CIE RGB颜色匹配曲线数字图像：颜色空间数字图像：颜色空间第十八页，讲稿共五十页哦n像素(pixel)成像平面上的感光材料或感光器件由很多单元组成，模拟时代常用卤化银颗粒，数字时代根据光电效应制造感光器件，把光转化成电压或电流，然后再量化为数值每个感光单元采集一组数据，构成一个像素像素的形

6、状通常认为是正方形，这是为了理解起来比较方便，事实上可能稍有变化像素的排列通常是光栅型，这是为了制造图像采集设备的方便数字图像：图像采集数字图像：图像采集第十九页，讲稿共五十页哦一幅图像由许多像素组成 数字图像：图像采集数字图像：图像采集第二十页，讲稿共五十页哦n像素分量和像素值如果每个采集单元可以采集RGB三个分量的值，就得到彩色图像；如果每个采集单元只采集亮度的值，就得到灰度图像；每个像素的所有分量的值构成的组合称为像素值数字图像：图像采集数字图像：图像采集第二十一页，讲稿共五十页哦n各种设备的非线性人的主观感觉和光子的数量或能量之间不是线性的关系摄影机、照相机等图像采集设备的光电转换是非

7、线性的CRT、液晶等显示设备的电光转换是非线性的在用计算机处理图像的时候，我们希望像素值对应的人的感觉是线性的，这对控制失真非常重要例如灰度值30和31之间的亮度差和灰度值32与31之间的亮度差应该相等数字图像：图像采集数字图像：图像采集第二十二页，讲稿共五十页哦n校正各种非线性基本上都可以用幂函数来近似，即输出=(输入)了解了非线性的特性，就可以在图像采集的最后进行校正，使输出的像素值对人的主观感觉是线性的，即最终输出=(输出)-在显示图像的时候，也可以进行校正，使像素值的显示对于人的主观感觉是线性的，有时又叫预失真数字图像：图像采集数字图像：图像采集第二十三页，讲稿共五十页哦数字图像：图像

8、采集数字图像：图像采集第二十四页，讲稿共五十页哦n像素深度表示每个像素值所用的位数例如，用R，G，B三个分量表示的彩色图像，若每个分量用8位表示，那么一个像素共用24位表示，就说像素深度为24位像素深度决定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数例如，像素深度为24位时，可以表示224=16777 216种颜色数字图像：图像采集数字图像：图像采集第二十五页，讲稿共五十页哦n像素深度（续）像素深度大，表达的颜色数目就越多，图像看上去越逼真，效果越好像素深度大，所占用的存储空间越大由于受到设备能力的限制，像素深度不会太大，一般是24位，少数设备可以做到30位或3

9、6位（每个分量10位或12位）根据人眼的分辨能力，不一定要追求特别深的像素深度数字图像：图像采集数字图像：图像采集第二十六页，讲稿共五十页哦n图像分辨率(resolution)图像中像素的数量和分布情况数量和分布情况叫做图像分辨率，也称空间分辨率(spatial resolution)或像素分辨率(pixel resolution)，640 x480图像分辨率表示图像的精细程度对同样内容的图像，如果像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙分辨率越高，像素就越多，要求存储容量就越大计算数字图像：图像采集数字图像：图像采集第二十七页，讲稿共五十页哦在图像显示应用中

10、的图像分辨率表示法像素像素/行行行：行：640640像素像素/行行480480行行 或或 640 x480640 x480图像分辨率与设备分辨率是不同的概念打印机：用多少点每英寸(dots per inch，DPI)表示，如300 DPI数码相机：用像素总数表示，如500万像素扫描仪：用像素每英寸(pixels per inch，PPI)表示，如300PPI模拟电视机：用扫描线数表示，例如525线、625线、1080线电脑显示器、数字电视机：用像素像素/行行行表示，如行表示，如640640像素像素/行行480480行行数字图像：图像采集数字图像：图像采集第二十八页，讲稿共五十页哦nrawdat

11、argbrgb.rgbrgb.rrrrr.g.b.rrrrr.g.b.nbmp文件文件头位图头调色板：可选像素值：从下到上从下到上，从左到右，每行数据四字节对齐，数字图像：数据格式数字图像：数据格式第二十九页，讲稿共五十页哦n视频是（连续的活动的）图像序列分辨率、颜色空间、像素深度等参数完全相同时间上间隔相等，每秒钟内图像的个数叫做帧速率或帧率，相邻两幅图像的时间间隔叫做帧间隔或帧周期数字视频：帧速率数字视频：帧速率第三十页，讲稿共五十页哦n人眼的视觉暂留特性要求帧速率=12动画片的帧率为12电视的帧率为25或30电影的帧率为24n刷新率（显示时）电视为50或60电影为72数字视频：帧速率数字

12、视频：帧速率第三十一页，讲稿共五十页哦n从采集到重现使用了两类颜色空间采集和重现使用了RGB颜色空间中间处理使用YUV型颜色空间数字视频：颜色空间数字视频：颜色空间第三十二页，讲稿共五十页哦n应用颜色空间nNTSCYIQnPAL和SECAMYUVnSDTVBT.601 YCbCr，nHDTVBT.709 YCbCr，nHDTVYPbPr数字视频：颜色空间数字视频：颜色空间第三十三页，讲稿共五十页哦nBT.601 YCbCrCCIR于20世纪80年代初制定，用于SDTVY16,235，Cb，Cr16,240,都用8位表示0.299 0.587 0.114是在1953年确定的数字视频：颜色空间数字

13、视频：颜色空间第三十四页，讲稿共五十页哦n逐行扫描(progressive scanning)逐行扫描数字视频：电视扫描方式数字视频：电视扫描方式第三十五页，讲稿共五十页哦n隔行扫描：一帧由两场构成，奇场、偶场数字视频：电视扫描方式数字视频：电视扫描方式第三十六页，讲稿共五十页哦数字视频：电视扫描方式数字视频：电视扫描方式例1：horseriding(720 x576i)例2：fireworks(720 x576p)第三十七页，讲稿共五十页哦数字视频：曝光时间数字视频：曝光时间n电视的曝光时间有两个特点同一帧的各像素按扫描顺序依次曝光曝光时间等于帧间隔n电影的曝光时间与电视完全不同，更像照相机

14、同一帧的各像素同时曝光曝光时间不一定等于帧间隔第三十八页，讲稿共五十页哦数字视频：曝光时间数字视频：曝光时间例3：tabletennis(720 x576i)例4：opening(1920 x1080p),f355第三十九页，讲稿共五十页哦n对色差信号使用较低的采样频率的方法n是一种简单的图像压缩技术n依据人眼对色度信号的敏感程度比对亮度信号的敏感程度低人眼对图像细节的分辨能力有一定的限度 数字视频：色差下采样数字视频：色差下采样第四十页，讲稿共五十页哦YCbCr样本空间位置数字视频：色差下采样数字视频：色差下采样第四十一页，讲稿共五十页哦数字视频：原始数据格式数字视频：原始数据格式设空间分辨

15、率为WH.yuv无头文件=frame0,frame1,.frame=data_y,data_cb,data_crdata_y=line_y0,line_y1,.共H行，从上到下line_y=y0,y1,.，共W个亮度值data_c=line_c0,line_c1,.行数和色差下采样有关line_c=c0,c1,.，每行色差值数和色差下采样有关第四十二页，讲稿共五十页哦压缩的必要性压缩的必要性n图像的原始数据量size=widthheightbpp(bit)bpp(bits per pixel)表示每个像素的比特数单位是比特n视频的原始数据量和数据速率size=widthheightbppfra

16、menum(bit)framenum表示帧数bitrate=widthheightbppfps(bps)fps(frames per second)表示帧速率第四十三页，讲稿共五十页哦压缩的可行性压缩的可行性n冗余的概念n统计冗余n空间冗余n时间冗余n结构冗余n视觉冗余n知识冗余第四十四页，讲稿共五十页哦压缩的可行性压缩的可行性n广义的冗余就是不必要的、重复的部分n在数据处理领域，冗余就是相对于最精简的表示而多出来的比特比如15902131564，其中1就是冗余再比如奇偶校验10011010 0，最后一个比特是冗余第四十五页，讲稿共五十页哦压缩的可行性压缩的可行性n由于数据中每个值出现的概率不

17、相等，如果为出现概率大的值设计较短的码字，为出现概率小的值设计较长的码字，那么相对于固定长度的码字就可以节省总比特数。n图像和视频的原始数据都采用固定长度码字，没有考虑数据的统计特性，存在冗余，这种冗余称为信息熵冗余或统计冗余第四十六页，讲稿共五十页哦压缩的可行性压缩的可行性n空间冗余：图像中相邻像素的颜色之间往往存在着空间连贯性。但是原始数据没有利用这种连贯性，而是忠实的记录了每一个像素的值，这就产生了空间冗余。第四十七页，讲稿共五十页哦压缩的可行性压缩的可行性n时间冗余：视频中相邻的两帧图像之间存在着很强的相关性，但是视频的原始数据没有利用这种相关性，这样就产生了时间冗余。第四十八页，讲稿共五十页哦压缩的可行性压缩的可行性n结构冗余：在某些场景中，存在着明显的图像分布模式，这种分布模式称作结构。例如：方格状的地板，蜂窝，砖墙，草席等图案。原始数据没有利用这种结构就产生了结构冗余第四十九页，讲稿共五十页哦压缩的可行性压缩的可行性n视觉冗余：有些信息是人的眼睛无法察觉到的，这些信息被记录在原始数据里，就产生视觉冗余。比如人的眼睛对色差信号的分辨力低于对亮度信号的分辨力，如果采用同样的分辨率记录亮度和色差信号，就产生视觉冗余第五十页，讲稿共五十页哦