数字声音及应用(精品).ppt

《数字声音及应用(精品).ppt》由会员分享，可在线阅读，更多相关《数字声音及应用(精品).ppt（26页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 5.3 数字声音及应用数字声音及应用5.3.1 波形声音的获取与播放波形声音的获取与播放5.3.2 波形声音的表示与应用波形声音的表示与应用5.3.3 波形声音的编辑波形声音的编辑5.3.4 计算机合成声音计算机合成声音25.3 数字声音及应用5.3.1 波形声音的获取与播放波形声音的获取与播放35.3 数字声音及应用声音的特性声音的特性和类型和类型n声音由振动产生，通过空气进行传播声音由振动产生，通过空气进行传播n声音是一种波，它由许多不同频率的声音是一种波，它由许多不同频率的谐波组成谐波组成n谐波的频率范围称为声音的谐波的频率范围称为声音的“带宽带宽”n计算机处理的声音类型：计算机处理的

2、声音类型：n话音或语音话音或语音(speech)，专指人的说话声音，带宽仅为，专指人的说话声音，带宽仅为3003400Hzn全频带声音全频带声音(如音乐声、风雨声、汽车声等如音乐声、风雨声、汽车声等)，其带宽可达到，其带宽可达到20Hz20kHz n人耳可听到的声音统称人耳可听到的声音统称“可听声可听声”(audio)，20Hz20kHz45.3 数字声音及应用数字波形声音的获取数字波形声音的获取步骤：步骤：2.量化量化（quantization，模数转换，模数转换)3.编码编码（encoding）1.取样（取样（sampling）取取 样样模模拟拟声声音音信信号号取样的目的是把时间上连取样的

3、目的是把时间上连续的信号转换成时间上离续的信号转换成时间上离散的信号散的信号量量 化化量化是把每个样本从模拟量量化是把每个样本从模拟量转换成为数字量转换成为数字量(8位或位或16位整数表示位整数表示)数字数字声音声音01100011001编编 码码将所有样本的二进制将所有样本的二进制代码组织在一起，并代码组织在一起，并进行数据压缩进行数据压缩55.3 数字声音及应用数字波形声音的获取设备数字波形声音的获取设备n声音的联机获取设备声音的联机获取设备(声卡声卡)声波转换声波转换为电信号为电信号n声音的脱机获取设备：数码录音笔声音的脱机获取设备：数码录音笔麦克风麦克风（microphone）声音卡声

4、音卡（sound card）模模拟拟声声音音数数字字声声音音取样、量取样、量化和编码化和编码65.3 数字声音及应用声音的重建与播放声音的重建与播放n计算机输出声音分为两步：计算机输出声音分为两步：1 声音的重建：把声音从数字形式转换成模拟信号形式，由声声音的重建：把声音从数字形式转换成模拟信号形式，由声卡完成卡完成2 声音播放：将模拟声音信号经处理和放大后送到音箱声音播放：将模拟声音信号经处理和放大后送到音箱(扬声器扬声器)n关于音箱：关于音箱：n普通音箱普通音箱接收的是重建的模拟声音信号接收的是重建的模拟声音信号n数字音箱数字音箱直接接收数字声音信号，失真更小直接接收数字声音信号，失真更小

5、 数字数字声音声音011010011101插插 值值数模转换数模转换解解 码码把压缩编码的数字把压缩编码的数字声音恢复为压缩编声音恢复为压缩编码前的状态码前的状态把声音样本从把声音样本从数字量转换为数字量转换为模拟量模拟量把时间上离散的一组把时间上离散的一组样本转换成在时间上样本转换成在时间上连续的模拟声音信号连续的模拟声音信号重建的模拟重建的模拟 声音信号声音信号75.3 数字声音及应用声卡的功能与逻辑组成声卡的功能与逻辑组成波形声音的获取与编码波形声音的获取与编码波形声音的重建与播放波形声音的重建与播放MIDI消息的输入消息的输入MIDI音乐的合成音乐的合成DSPDMA接口接口PC总线总线

6、取样，量化取样，量化D/A重建，滤波重建，滤波声音输出声音输出声音输入声音输入音乐合成器音乐合成器mixerMIDI接口接口声卡的主要功能声卡的主要功能85.3 数字声音及应用选讲：选讲：声卡的物理实现声卡的物理实现 声卡主要由声卡主要由2块芯片组成：块芯片组成：主处理芯片：包括数字信号处理器、主处理芯片：包括数字信号处理器、MIDI控制、控制、I/O控制等控制等 CODEC芯片：负责多声道取样、芯片：负责多声道取样、A/D与与D/A转换、混音处理等转换、混音处理等音频音频主芯片主芯片音频混合音频混合芯片芯片运运 算算放大器放大器功功 率率放大器放大器MIDI/joystickMIC输入输入/

7、线路输入线路输入P C I 总总 线线 线路输出线路输出 扬声器扬声器Audio CODEC芯片芯片 当前当前PCPC机的声卡大多已不再做成独立的插卡形式，而是机的声卡大多已不再做成独立的插卡形式，而是与主板集成在一起，称为集成声卡与主板集成在一起，称为集成声卡2种音频技术规范：种音频技术规范：-AC97音频技术规范音频技术规范-HD Audio95.3 数字声音及应用选讲：选讲：声卡的几种类型声卡的几种类型硬声卡：硬声卡：除除CODEC芯片外，主板上还芯片外，主板上还有有1块音频主处理芯片，很多音效处理块音频主处理芯片，很多音效处理任务无需任务无需CPU参与就可独立完成参与就可独立完成 声卡

8、的类型声卡的类型独立声卡：以扩展卡形式插在机箱中使用独立声卡：以扩展卡形式插在机箱中使用集成声卡集成声卡软声卡软声卡：主板上仅：主板上仅1块块CODEC芯片，负芯片，负责取样与量化处理，责取样与量化处理，I/O控制器部分集控制器部分集成在主板上的南桥芯片中，成在主板上的南桥芯片中，DSP的功能的功能需由需由CPU协助完成协助完成 声卡的组成部声卡的组成部分均集成在主分均集成在主板上板上105.3 数字声音及应用5.3.2 波形声音的波形声音的 表示与表示与应用应用115.3 数字声音及应用数字波形声音的表示及其参数数字波形声音的表示及其参数n数字波形声音是使用二进位表示的一种串行比特流，其数数

9、字波形声音是使用二进位表示的一种串行比特流，其数据按时间顺序进行组织，文件扩展名为据按时间顺序进行组织，文件扩展名为“.wav”n数字波形声音的主要参数有：数字波形声音的主要参数有：n取样频率：取样频率：n语音的取样频率低，一般为语音的取样频率低，一般为8k 16k Hzn全频带声音全频带声音(如音乐如音乐)取样频率高，一般为取样频率高，一般为44.1k 48k Hzn量化位数：通常为量化位数：通常为8位、位、12位或位或16位位n声道数目：单声道为声道数目：单声道为1，双声道为，双声道为2n码率码率(比特率比特率)，每秒钟的数据量，每秒钟的数据量125.3 数字声音及应用数字波形声音码率的计

10、算数字波形声音码率的计算n未压缩时数字波形声音的码率计算公式未压缩时数字波形声音的码率计算公式 码率码率=取样频率取样频率 量化位数量化位数 声道数声道数 n例：例：声音声音类类型型声音信号声音信号带宽带宽(Hz)取取样频样频率率(kHz)量化位数量化位数(bits)声道声道数数未未压缩时压缩时的的码码率率数字数字语语音音3003 40088164 kb/sCD立体声立体声2020 00044.11621411.2 kb/sn压缩编码之后数字波形声音的码率为：压缩编码之后数字波形声音的码率为：压缩后的码率压缩后的码率=未压缩时的码率未压缩时的码率/压缩比压缩比n例：上面例：上面CDCD唱片的立

11、体声音乐压缩为唱片的立体声音乐压缩为MP3MP3后，若压缩比是后，若压缩比是1212，则该，则该MP3MP3音乐的码率是：音乐的码率是：1411.2 1411.2/12/12118 kb/s118 kb/s左右左右135.3 数字声音及应用数字波形声音的数据压缩数字波形声音的数据压缩n数据压缩的必要性：数据压缩的必要性：n为了降低存储成本和提高在网络上的传输效率为了降低存储成本和提高在网络上的传输效率n数据压缩的可能性：数据压缩的可能性：n声音中包含有大量冗余信息；声音中包含有大量冗余信息；n人耳灵敏度有限，允许有一定失真而不易察觉人耳灵敏度有限，允许有一定失真而不易察觉n数字波形声音压缩编码

12、的方法：数字波形声音压缩编码的方法：n全频带声音：国际标准全频带声音：国际标准MPEG；工业标准；工业标准Dolby AC-3 n数字语音：固定电话使用数字语音：固定电话使用ADPCM编码编码 手机使用高效率的混合编码技术手机使用高效率的混合编码技术所谓所谓“MP3音乐音乐”，它是一种采用，它是一种采用MPEG-1层层3编码的高质编码的高质量数字声音量数字声音,压缩比大约压缩比大约1012倍，使一张普通倍，使一张普通CD光盘光盘上可以存储大约上可以存储大约100首首MP3歌曲，可连续播放歌曲，可连续播放10小时。小时。145.3 数字声音及应用选讲：选讲：MP3播放器的结构与原理播放器的结构与

13、原理程序程序存储器存储器闪烁闪烁存储器存储器液晶显示液晶显示D/A转换转换嵌入式处理器嵌入式处理器及及DSP声音输出声音输出控制按键控制按键USB接口接口嵌入式处理器用于运行控制程序，控制各个部件嵌入式处理器用于运行控制程序，控制各个部件协调工作：它接收控制按键的操作命令，从闪烁协调工作：它接收控制按键的操作命令，从闪烁存储器读取存储器读取MP3音乐数据送到音乐数据送到DSP去解码；显示去解码；显示播放器的工作状态；负责与主机连接并交换数据播放器的工作状态；负责与主机连接并交换数据等等等等数字信号处理器数字信号处理器DSP完成完成MP3数据流的解码操作，并数据流的解码操作，并输出波形格式的数字

14、音频信输出波形格式的数字音频信号，经数模转换和功率放大号，经数模转换和功率放大之后，用户即可听到声音之后，用户即可听到声音 存放存放MP3音乐数音乐数据，容量越大，据，容量越大，可存放的歌曲数可存放的歌曲数目就越多目就越多 固定存放固定存放MP3播放器的控制播放器的控制程序程序显示显示MP3播放器的播放器的工作状态工作状态和歌曲的和歌曲的歌词歌词155.3 数字声音及应用波形声音的文件类型及其应用波形声音的文件类型及其应用 音音频频格式格式文件文件扩扩展名展名编码编码类类型型效果效果主要主要应应用用开开发发者者WAV.wav未未压缩压缩声音达到声音达到CD品品质质支持多种采支持多种采样频样频率

15、和量率和量化位数，化位数，获获得广泛支持得广泛支持微微软软公司公司FLAC.flac无无损压缩损压缩压缩压缩比比为为2:1左右左右高品高品质质数字音数字音乐乐Xiph.Org基金会基金会APE.ape无无损压缩损压缩压缩压缩比比为为2:1左右左右高品高品质质数字音数字音乐乐Matthew T.AshlandM4A.m4a无无损压缩损压缩压缩压缩比比为为2:1左右左右QuickTime,iTunes,iPod，Real Player苹果公司苹果公司MP3.mp3有有损压缩损压缩MPEG-1 audio层层3压缩压缩比比为为8:112:1因特网，因特网，MP3音音乐乐ISOWMA.wma有有损压缩

16、损压缩压缩压缩比高于比高于MP3使用数字版使用数字版权权保保护护因特网，音因特网，音乐乐微微软软公司公司AC3.ac3有有损压缩损压缩压缩压缩比可比可调调，支持支持5.1、7.1声道声道DVD,数字数字电视电视，家庭影院等家庭影院等美国美国Dolby公司公司AAC.aac有有损压缩损压缩压缩压缩比可比可调调，支持支持5.1、7.1声道声道DVD,数字数字电视电视，家庭影院等家庭影院等ISO MPEG-2/MPEG-4 165.3 数字声音及应用什么是流媒体？什么是流媒体？n在因特网上收听在因特网上收听(看看)音音(视视)频节目的频节目的2种方式：种方式：i下载存储方式：先下载存储在计算机中，下

17、载完毕后再播放（缺点：下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点：需要等待较长时间，并需要较大的存储容量）需要等待较长时间，并需要较大的存储容量）i流式传输方式：边下载、边播放（优点：只需要下载一部分数据之流式传输方式：边下载、边播放（优点：只需要下载一部分数据之后后,就可以开始一边播放一边下载，等待时间短、存储需求小）就可以开始一边播放一边下载，等待时间短、存储需求小）n流媒体流媒体就是一种允许在网络上让用户一边下载一边收看就是一种允许在网络上让用户一边下载一边收看(听听)音视频媒体的音视频媒体的媒体分发媒体分发(delivery)技术技术n目前流行的主要有目前流行的主要有3

18、个公司的流媒体技术：个公司的流媒体技术：1.Real Networks公司的公司的 Real Media（RealAudio和和RealVideo）2.微软公司的微软公司的 Windows Media Services(WMA、WMV和和ASF)3.苹果公司的苹果公司的 Quick Time175.3 数字声音及应用选讲：选讲：流媒体是如何工作的？流媒体是如何工作的？流媒体流媒体播放播放软软件件 Web服务器服务器Web 浏览浏览器器流媒体流媒体专用服务器专用服务器 音音频频(视频视频)流媒体文件流媒体文件 网网 页页（客户计算机）（客户计算机）http协议3 点击点击流媒体流媒体节目，节目，

19、启动流启动流媒体播媒体播放程序放程序RTSP/TCPRTP/UDP6 播放器播放器可以边播可以边播放边接收放边接收数据，并数据，并可以控制可以控制播放、暂播放、暂停、快进、停、快进、快倒等快倒等5 将音将音(视视)频频节目传输给客节目传输给客户计算机户计算机RTCP/UDPHTML网页1 请求网页请求网页2 服务器送回网页服务器送回网页4 向流媒体服向流媒体服务器发出请求务器发出请求185.3 数字声音及应用5.3.3 波形声音的波形声音的编辑编辑195.3 数字声音及应用波形声音编辑软件的功能波形声音编辑软件的功能主要功能：主要功能：1 编辑声音：如声音剪编辑声音：如声音剪辑、复制、调节音量

20、辑、复制、调节音量2 声音的效果处理：如声音的效果处理：如混响、回声、淡入、混响、回声、淡入、淡出等淡出等3 录音录音4 声音的格式转换声音的格式转换5 播放声音播放声音数字声音数字声音的参数的参数左声道左声道信号波形信号波形右声道右声道信号波形信号波形淡入淡入淡出淡出时间刻度时间刻度播放标尺播放标尺声音编辑软件的声音编辑软件的典型用户界面典型用户界面205.3 数字声音及应用5.3.4 计算机合成声音计算机合成声音215.3 数字声音及应用什么是计算机合成声音？什么是计算机合成声音？n计算机合成声音就是计算机模仿人说话或演奏音乐计算机合成声音就是计算机模仿人说话或演奏音乐n计算机合成声音有两

21、类：计算机合成声音有两类：n计算机合成话音（语音）：计算机合成话音（语音）：n计算机模仿人把一段文字朗读出来，即把文字转换为说话声计算机模仿人把一段文字朗读出来，即把文字转换为说话声音（简称为音（简称为 TTS）n应用：有声查询、文稿校对、语言学习、语音秘书、自动报应用：有声查询、文稿校对、语言学习、语音秘书、自动报警、残疾人服务等警、残疾人服务等n计算机合成音乐（计算机合成音乐（MIDI）：）：n计算机模拟各种乐器发声并按照乐谱演奏音乐计算机模拟各种乐器发声并按照乐谱演奏音乐n应用：计算机作曲、配器等应用：计算机作曲、配器等225.3 数字声音及应用例：计算机合成的语音例：计算机合成的语音n

22、Hello，everybody（1）n你好，我是贝尔实验室的中文语音合成系统你好，我是贝尔实验室的中文语音合成系统（BellTTS1）n南京大学计算机系南京大学计算机系2002年招收了年招收了202名本科生，名本科生，22名博士名博士生，生，130多名硕士生。多名硕士生。（中科大讯飞公司）（中科大讯飞公司）（Bell）n安徽中科大讯飞信息科技有限公司是专门从事中文语音及安徽中科大讯飞信息科技有限公司是专门从事中文语音及语言技术软件语言技术软件 （讯飞）（讯飞）n我们都是同行，我们一路同行，去参加人参培植研讨会我们都是同行，我们一路同行，去参加人参培植研讨会 （讯飞）（讯飞）（Bell）需要进一

23、步提高之处：发音和断句要正确，提高自然度，丰富表现力需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力235.3 数字声音及应用计算机合成音乐（计算机合成音乐（MIDI）音乐音乐合成器合成器音乐音乐MIDI文件文件媒体媒体播放器播放器MIDI消息消息n计算机合成音乐需要三个要素：乐器、乐谱和计算机合成音乐需要三个要素：乐器、乐谱和“演奏员演奏员”声卡上的音乐合成声卡上的音乐合成器能像电子琴一样器能像电子琴一样模仿几十种不同的模仿几十种不同的乐器发出声音，它乐器发出声音，它按照按照MIDI消息合成消息合成出不同音色和音调出不同音色和音调的音符，通过扬声的音符，通过扬声器播放出音乐来器播

24、放出音乐来 乐谱在计算机中使用乐谱在计算机中使用一种叫做一种叫做MIDI的音乐的音乐描述语言来表示。使描述语言来表示。使用用MIDI描述的音乐称描述的音乐称为为MIDI音乐。一首乐音乐。一首乐曲对应一个曲对应一个MIDI文件，文件，其文件扩展名为其文件扩展名为.MID或或.MIDI媒体播放器软件相当媒体播放器软件相当于于“演奏员演奏员”。播放。播放MIDI音乐时，它先从音乐时，它先从磁盘上读入磁盘上读入.MID文件，文件，解释其内容，然后以解释其内容，然后以MIDI消息的形式向声消息的形式向声卡上的音乐合成器发卡上的音乐合成器发出各种指令出各种指令245.3 数字声音及应用选讲：选讲：音乐合成

25、器音乐合成器nPC机声卡一般都带有机声卡一般都带有MIDI音源（音乐合成器）音源（音乐合成器）nMIDI音源有两种：音源有两种：n调频合成器调频合成器（一种受控的电子振荡器）。音色单调，效果较（一种受控的电子振荡器）。音色单调，效果较差，已很少使用差，已很少使用n波表合成器波表合成器。音色丰富，效果很好，可扩展，现广泛使用。音色丰富，效果很好，可扩展，现广泛使用 n波表合成器的原理波表合成器的原理n预先将真实乐器演奏的各个音符的波形数字化，把它们组织预先将真实乐器演奏的各个音符的波形数字化，把它们组织成一个个波表文件存放在存储器中成一个个波表文件存放在存储器中n播放时合成器软件根据乐器类型和音

26、符参数等将相应的波形播放时合成器软件根据乐器类型和音符参数等将相应的波形数据修饰成所要求的音强和时长，然后合成、加工后播放数据修饰成所要求的音强和时长，然后合成、加工后播放低通滤波低通滤波采样、量化采样、量化加工处理加工处理乐器乐器演奏演奏波表波表文件文件录音录音255.3 数字声音及应用例：计算机合成的例：计算机合成的MIDI音乐音乐n例例1 音乐之声音乐之声（6KB）n例例2 军港之夜军港之夜（7KB）nMIDI的优点：的优点：n数据量极小（比数据量极小（比CD立体声少立体声少3个数量级，比个数量级，比MP3少少3个数量级）个数量级）n易于制作和编辑修改易于制作和编辑修改n可以与波形声音同

27、时播放可以与波形声音同时播放nMIDI的不足：的不足：n只能合成音乐，不能合成歌曲和语言只能合成音乐，不能合成歌曲和语言n音质与硬件设备相关音质与硬件设备相关265.3 数字声音及应用小结：计算机中的数字声音小结：计算机中的数字声音n数字声音的特点：数字声音的特点：n是一种连续媒体，传输与播放有实时性要求是一种连续媒体，传输与播放有实时性要求n数据量大，对存储和传输的要求比较高，必须进行压缩数据量大，对存储和传输的要求比较高，必须进行压缩 n数字声音的类型：数字声音的类型：n取样（波形）声音取样（波形）声音n数字语音：应用于电话、手机、多媒体配音等数字语音：应用于电话、手机、多媒体配音等n全频带声音：全频带声音：CD和和DVD音乐，数字电视伴音等音乐，数字电视伴音等n计算机合成声音计算机合成声音n合成语音合成语音n合成音乐（合成音乐（MIDI）