数字媒体技术概述.ppt
《数字媒体技术概述.ppt》由会员分享,可在线阅读,更多相关《数字媒体技术概述.ppt(63页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、数字媒体处理技术课程定位2023/1/1提纲o1.1 数字媒体的基本概念o1.2 数字媒体处理关键技术o1.3 数字媒体标准简介o1.4 数字媒体技术的应用41.1 数字媒体的基本概念 n计算机的社会角色计算机的社会角色 计算计算 信息交流信息交流 智能服务智能服务信息交流信息交流(人类发展和人的成长人类发展和人的成长/计算机发展计算机发展)情感情感语言语言文字文字bits (简单化、精确化简单化、精确化)情感情感语言语言文字文字bits (原始信号频率的2倍时,采样信号才可以保真地恢复为原始信号。Step 2:量化与失真o将采样样本的幅度按照量化级别决定其取值的过程。目的是将采样样本的幅度值
2、离散化。o量化之前需要规定量化级,比如8级,16级,256级等。o量化是一个对一的映射。例如:画图软件的颜色级别例如:画图软件的颜色级别为什么感知很重要?o失真评价的基础ohttp:/www.libertarian.on.ca/images/Florida%20Recount.jpgStep 3:编码与压缩o编码n用相应位数的二进制代码表示量化后的采样样本的量级。n如果有N个量化级为,那么对应的二进制位数就为log2N。当N16,二进制需要4位。n经过编码之后,每个样本都表示为相应的二进制代码。o脉冲编码调制(PCM,Pulse Code Modulation),完成模拟信号的数字化为什么需要
3、数据压缩?o压缩编码的理论基本原理n从信息论的角度来看,压缩就是去掉信息中的冗余,即保留不确定的信息,去除确定的信息(可推知的),也就是用一种更接近信息本质的描述来代替原有冗余的描述。o信息冗余的例子n你的朋友,Helen,将于明天晚上6点零5分在上海的虹桥机场接你。(23*2+10=56个半角字符)n你的朋友将于明天晚上 6点零5分在虹桥机场接你。(20*2+3=43个半角字符)nHelen将于明晚6点在虹桥接你。(10*2+7=27个半角字符)n结论:只要接收端不会产生误解,就可以减少承载信息的数据量。多媒体领域中的冗余分类o统计冗余n空间冗余规则物体的物理相关性n时间冗余视频与动画画面间
4、以及音频帧间的相关性o信息熵冗余n编码冗余数据与携带的信息o结构冗余n纹理冗余规则纹理、相互重叠的结构表面o视/听觉冗余n视觉、听觉敏感度和非线性感觉o知识冗余n凭借经验识别1011 0001 11001011 0001 11001011 0001 11001011 0001 11000101 1010 10100101 1010 10101011 11001011 11000101 1111 10100101 1111 10102 22424色色色色2 28 8色色色色数据压缩o数据压缩可分成两种类型n无损压缩n有损压缩 o无损压缩n指使用压缩后的数据进行重构(或者叫做还原,解压缩),重构后
5、的数据与原来的数据完全相同n用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。o有损压缩n指使用压缩后的数据进行重构,重构后的数据与原来的数据有所不同,但不影响人对原始资料表达的信息造成误解。n适用于重构信号不一定非要和原始信号完全相同的场合。压缩策略o无损压缩(Lossless Compression)n哈夫曼编码(Huffman Coding)n自适应哈夫曼编码nLempel-Ziv-Welch(LZW)p用于GIFnJPEG-LSo有损压缩(Lossy Compression)nJPEGnH.261,MPEG-1,MPEG-2o无损+有损(Lossless a
6、nd Lossy Together)nJPEG 2000数据压缩的性能指标o衡量压缩算法的三个主要性能指标(1)压缩比;(2)压缩质量(失真);(3)压缩与解压缩的速度。o不能兼得时要综合考虑o压缩质量评价n主观评价:平均意见得分(MOS)、五分制(优良中差劣)n客观评价:均方误差、加权均方误差、信噪比、峰值信噪比(图像)、分段信噪比(音频)、似然比、谱失真测度编码方式举例:哈夫曼编码(Huffman Coding)oHuffman编码属于信息熵编码的方法之一,是根据信源符号出现概率的分布特性而进行的压缩编码。o也称为最佳编码,平均码长最短。o编码过程:n1.初始化:将信源符号按频率递减顺序排
7、列,输入L;n2.重复如下操作直至L中只有1个结点:(a)从L中取得两个具有最低频率的结点,为它们创建一个父结点;(b)将它们的频率和赋给父结点,并将其插入L;(c)将树的左右孩子赋符号“0”和“1”,并从L中删除。哈夫曼编码(Huffman Coding)示例o输入:“ALOHA HAWAII”o频率:4A,2H,2I,1L,1O,1 space,1Wo96 bits(8 bits*12 characters)to 32 bits:AIHLspaceWO010000011111A=0,I=100,H=101,L=1100,space=1101,etc.例子:Java applet examp
8、le at http:/www.cs.sfu.ca/CC/365/li/squeeze/index.html331.3 数字媒体标准简介 为什么需要媒体标准?o数字媒体标准是相关技术与产业之基础!数字媒体标准是相关技术与产业之基础!n技术基础技术基础:采用不同标准的数字媒体,其压缩、编码、传输、内:采用不同标准的数字媒体,其压缩、编码、传输、内容分析与检索等技术有所不同容分析与检索等技术有所不同n产业基础产业基础:五环相扣:五环相扣技术、专利、标准、产业、应用技术、专利、标准、产业、应用o例子:全球电视竞争的转折点在例子:全球电视竞争的转折点在MPEG-2(1996)数字媒体领域的主要技术标准
9、oJPEGoMPEG系列:系列:MPEG-2/4/7/21oH.26x系列:系列:H.261/3/4oAVSJPEGoJPEGnJPEG(Joint Photographic Experts Group)标准标准(ISO 10918)是是ISO和和ITU联合提出的通用静态图像压缩国际标准。联合提出的通用静态图像压缩国际标准。oJPEG的重要特性的重要特性n设定压缩参数设定压缩参数n在解码速度和图像在解码速度和图像 质量间均衡质量间均衡n无损压缩无损压缩原始图像重构图像逆向离散余弦变换正向离散余弦变换量化逆量化编码解码压缩图像量化表编码表Quality level:90 File size:10
10、,582 bytes Quality level:50 File size:5,154 bytes Quality level:1 File size:923 bytes JPEG 2000压缩标准oJPEG 2000(ISO 15444)是是JPEG的更新换代标准,针对的更新换代标准,针对Internet应用和无线通应用和无线通信等领域。信等领域。n关键技术关键技术:以离散小波变换:以离散小波变换DWT为主的多解析压缩方式为主的多解析压缩方式n核心算法核心算法:EBCOTn高压缩比高压缩比:比:比JPEG压缩性能提高压缩性能提高30%oJPEG与与JPEG 2000的性能比较的性能比较标准标
11、准JPEGJPEG 2000标题标题连续色调静态图像的数字压缩编码连续色调静态图像的数字压缩编码新一代静态图像编码标准新一代静态图像编码标准日期日期1986.3-1992.101996.2-2000.12压缩比压缩比2-30:12-50:1主要技术主要技术离散余弦变换离散余弦变换DCTZigzag扫描扫描哈夫曼编码哈夫曼编码算术编码算术编码离散小波变换离散小波变换DWTEBCOT核心算法核心算法ROI编码编码空间可扩展编码空间可扩展编码应用场合应用场合Internet数字照相数字照相图像视频编辑图像视频编辑Internet数字照相数字照相打印、扫描、移动通信打印、扫描、移动通信MPEG系列标准
12、oMPEG系列标准由国际标准化组系列标准由国际标准化组织和国际电工委员会第一联合技织和国际电工委员会第一联合技术组术组(ISO/IEC JTC1)制定的。制定的。oMPEG视频标准视频标准nMPEG-1:数字电视标准,:数字电视标准,1992年正式年正式发布。发布。nMPEG-2:数字电视标准,:数字电视标准,1994年成为年成为国际标准草案。国际标准草案。nMPEG-3:已于:已于1992年年7月合并到高清月合并到高清晰度电视晰度电视(High-Definition TV,HDTV)工作组。工作组。nMPEG-4:多媒体应用标准:多媒体应用标准(1999年发年发布布)。nMPEG-7:多媒体
13、内容描述接口标准:多媒体内容描述接口标准(2001年发布年发布)。nMPEG-21:有关多媒体框架的标准:有关多媒体框架的标准(正正在研究在研究)。nMPEG-A:多媒体应用格式标准:多媒体应用格式标准(正在正在研究研究)。MPEG-1oMPEG-1标准编号标准编号ISO/IEC11172,标准名称为,标准名称为“用于码率约为用于码率约为1.5Mbps时用于数字存储媒体的动像及伴音的编码时用于数字存储媒体的动像及伴音的编码”。oMPEG-1的基本目标的基本目标 n在音像质量上,达到在音像质量上,达到VHS/VCD的放像质量的放像质量n在存储上,可存储在光盘、数字录音带、硬盘等在存储上,可存储在
14、光盘、数字录音带、硬盘等n在传输码流上,为在传输码流上,为1-1.5Mbps,以,以1.2Mbps为宜为宜n在网络方面,应适应在网络方面,应适应LAN、ISDN等多种网络等多种网络n满足对称和不对称应用满足对称和不对称应用oMPEG-1的基本内容的基本内容 n几种伴音压缩数据和图像数据的复用;几种伴音压缩数据和图像数据的复用;n图像的压缩;图像的压缩;n伴音的压缩。伴音的压缩。oMPEG-1的特点的特点n使用使用MPEG-1的压缩算法的压缩算法,可将一部可将一部120分钟长的电影压缩到分钟长的电影压缩到1.2GB左右。因左右。因此此,它被广泛地应用于它被广泛地应用于VCD制作。制作。MPEG-
15、2o MPEG-2是是MPEG-1 的扩展。标准编号的扩展。标准编号ISO/IEC 13818,标准名称为,标准名称为“运运动图像及其伴音信息的通用编码动图像及其伴音信息的通用编码”。主要内容为:。主要内容为:n码率为码率为4-9Mbps,最大,最大15Mbps;n涵盖涵盖MPEG-1全部内容全部内容;n规定数字存储媒体命令和控制扩展协议,用于管理数据流规定数字存储媒体命令和控制扩展协议,用于管理数据流(DSM-CC);n先进的声音编码方案先进的声音编码方案;n规定系统解码器实时接口扩展标准,用来适应网络传输规定系统解码器实时接口扩展标准,用来适应网络传输;nDSM-CC一致性扩展测试一致性扩
16、展测试;n先进声音编码标准修正。先进声音编码标准修正。oMPEG-2的特点的特点n利用网络提供的利用网络提供的3100Mbps的数据传输率,支持具有更高分辨率图象的压缩和更高的的数据传输率,支持具有更高分辨率图象的压缩和更高的图象质量;图象质量;n可支持交迭图象序列(每帧图像由两个场组成),支持可伸缩性编码,多种运动估计可支持交迭图象序列(每帧图像由两个场组成),支持可伸缩性编码,多种运动估计方式,提供一个较广的范围改变压缩比;方式,提供一个较广的范围改变压缩比;n可以适应不同画面质量、存储容量和带宽的要求,为此定义了不同的功能档次(可以适应不同画面质量、存储容量和带宽的要求,为此定义了不同的
17、功能档次(profile,框架),每个档次又分为不同的等级(,框架),每个档次又分为不同的等级(level)。)。o和和MPEG-1主要区别主要区别n隔行扫描制式;隔行扫描制式;DCT变换可在帧内,也可在场内。用户可自行选择,亦可自适应选择。变换可在帧内,也可在场内。用户可自行选择,亦可自适应选择。MPEG-4oMPEG-4标准编号标准编号ISO/IEC14496,标准名称为标准名称为“甚低速率视听编甚低速率视听编码码”n1998年年11月公布第一版,月公布第一版,1999年年12月公布了第二版,共分为月公布了第二版,共分为6个部分。个部分。o目标是低速率下(目标是低速率下(64kbps)的视
18、频、音频编码,)的视频、音频编码,更加注重多媒体更加注重多媒体系统的交互性和灵活性。系统的交互性和灵活性。o引入了视听对象引入了视听对象(Audio-Visual Objects,AVO)nAVO可以是孤立的人,也可是这个人的语音或一段背景音乐等。可以是孤立的人,也可是这个人的语音或一段背景音乐等。nAVO具有高效编码、高效存储、高效传播以及可互操作的特性。具有高效编码、高效存储、高效传播以及可互操作的特性。nMPEG-4对对AVO的操作主要有:采用的操作主要有:采用AVO来表示听觉、视觉或者视听组合内来表示听觉、视觉或者视听组合内容;生成复合的容;生成复合的AVO;对;对AVO的数据灵活地多
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数字 媒体 技术 概述
限制150内