第5章5.3 数字声音及应用34681.ppt
5.3 数字声音及应用5.3.1 波形声音的获取与播放5.3.2 波形声音的表示与压缩编码5.3.3 波形声音的编辑5.3.4 计算机合成声音25.3 数字声音及应用5.3.1 波形声音的获取与播放35.3 数字声音及应用声音的特性和类型n 声音由振动产生，通过空气进行传播n 声音是一种波，它由许多不同频率的谐波组成n 谐波的频率范围称为声音的“带宽”n 计算机处理的声音类型：n 话音或语音(speech)，专指人的说话声音，带宽仅为300 3400Hzn 全频带声音(如音乐声、风雨声、汽车声等)，其带宽可达到20Hz 20kHz n 人耳可听到的声音统称“可听声”(audio)，20Hz 20kHz45.3 数字声音及应用数字波形声音的获取步骤：2.量化（quantization，模数转换)3.编码（encoding）1.取样（sampling）取 样模拟声音信号取样的目的是把时间上连续的信号转换成时间上离散的信号量 化量化是把每个样本从模拟量转换成为数字量(8 位或16位整数表示)数字声音01100011001编 码将所有样本的二进制代码组织在一起，并进行数据压缩55.3 数字声音及应用数字波形声音的获取设备n 声音的联机获取设备(声卡)声波转换为电信号n 声音的脱机获取设备：数码录音笔麦克风（microphone）声音卡（sound card）模拟声音数字声音取样、量化和编码65.3 数字声音及应用声音的重建与播放n 计算机输出声音分为两步：1 声音的重建：把声音从数字形式转换成模拟信号形式，由声卡完成2 声音播放：将模拟声音信号经处理和放大后送到音箱(扬声器)n 关于音箱：n 普通音箱接收的是重建的模拟声音信号n 数字音箱直接接收数字声音信号，失真更小 重建的模拟声音信号数字声音011010011101插 值数模转换解 码把压缩编码的数字声音恢复为压缩编码前的状态把声音样本从数字量转换为模拟量把时间上离散的一组样本转换成在时间上连续的模拟声音信号75.3 数字声音及应用声卡的功能与逻辑组成波形声音的获取与编码波形声音的重建与播放MIDI 消息的输入MIDI 音乐的合成DSPDMA 接口PC 总线取样，量化D/A重建，滤波声音输出声音输入音乐合成器mixerMIDI 接口声卡的主要功能85.3 数字声音及应用背景材料：声卡的具体实现 声卡主要由2块芯片组成：主处理芯片：包括数字信号处理器、MIDI 控制、I/O 控制等 CODEC 芯片：负责多声道取样、A/D 与D/A 转换、混音处理等音频主芯片音频混合芯片运 算放大器功 率放大器MIDI/joystickMIC 输入/线路输入P C I 总 线 线路输出 扬声器Audio CODEC 芯片 当前PC 机的声卡大多已不再做成独立的插卡形式，而是与主板集成在一起，称为集成声卡2 种音频技术规范：-AC97 音频技术规范-HD Audio95.3 数字声音及应用背景材料：声卡的几种类型硬声卡：除CODEC 芯片外，主板上还有1块音频主处理芯片，很多音效处理任务无需CPU 参与就可独立完成 声卡的类型独立声卡：以扩展卡形式插在机箱中使用集成声卡软声卡：仅1块CODEC 芯片，负责多声道取样与量化处理，I/O 控制器部分集成在主板上的南桥芯片中，DSP 的功能需由CPU 协助完成 声卡的组成部分均集成在主板上105.3 数字声音及应用5.3.2 波形声音的表示 与压缩编码115.3 数字声音及应用数字波形声音的表示及其参数n 数字波形声音是使用二进位表示的一种串行比特流，其数据按时间顺序进行组织，文件扩展名为“.wav”n 数字波形声音的主要参数有：n 取样频率：n 语音的取样频率低，一般为8kHzn 全频带声音（如音乐）的取样频率高，一般为44.1kHzn 量化位数：通常为8 位、12 位或16 位n 声道数目：单声道为1，双声道为2n 码率(比特率)，每秒钟的数据量125.3 数字声音及应用数字波形声音码率的计算n 未压缩时数字波形声音的码率计算公式 码率=取样频率 量化位数 声道数 n 例：声音类型声音信号带宽(Hz)取样频率(kHz)量化位数(bits)声道数未压缩时的码率数字语音 3003 400 8 8 1 64 kb/sCD 立体声 2020 000 44.1 16 2 1411.2(kb/s)n 压缩编码之后数字波形声音的码率为：压缩后的码率=未压缩时的码率/压缩倍数 n 例：上面CD 唱片的立体声音乐压缩为MP3 后，若压缩倍数是12 倍，则该MP3 音乐的码率是：118 kb/s 左右135.3 数字声音及应用数字波形声音的数据压缩n 数字波形声音的数据量很大，例如：n 数字语音1 小时的数据量大约是30MBn CD 立体声高保真的数字音乐1 小时的数据量大约是635MBn 数据压缩的必要性：n 为了降低存储成本和提高在网络上的传输效率n 数据压缩的可能性：n 声音中包含了大量冗余信息；人耳的灵敏度有限，允许有一定失真n 数字波形声音压缩编码的方法：n 全频带声音：国际标准MPEG；工业标准Dolby AC-3 n 数字语音：固定电话使用ADPCM 编码 移动电话使用高效率的混合编码技术145.3 数字声音及应用全频带数字音频编码的标准n 所谓“MP3 音乐”就是一种采用MPEG-1 层3 编码的高质量数字声音,它能以10倍左右的压缩比降低高保真数字声音的存储量，使一张普通CD 光盘上可以存储大约100 首MP3 歌曲 标准名称 压缩后的码率(每个声道)声道数目 主要应用MPEG-1 audio 层1 192 kbps（压缩4倍）2 数字盒式录音带MPEG-1 audio 层2 128 kbps（压缩6倍）2 DAB,VCD,MPEG-1 audio 层3 64kbps（压缩11 12倍）2 Internet，MP3 音乐MPEG-2 audio 与MPEG-1 层1,层2,层3相同 5.1,7.1 同MPEG-1Dolby AC-3 64 kbp 5.1,7.1 DVD,DTV，家庭影院155.3 数字声音及应用附：MP3 播放器的结构与原理程序存储器闪烁存储器液晶显示D/A 转换嵌入式处理器及DSP声音输出控制按键USB 接口嵌入式处理器用于运行控制程序，控制各个部件协调工作：它接收控制按键的操作命令，从闪烁存储器读取MP3 音乐数据送到DSP 去解码；显示播放器的工作状态；负责与主机连接并交换数据等等数字信号处理器DSP 完成MP3 数据流的解码操作，并输出波形格式的数字音频信号，经数模转换和功率放大之后，用户即可听到声音 存放MP3 音乐数据，容量越大，可存放的歌曲数目就越多 存放MP3播放器的控制程序显示MP3播放器的工作状态和歌曲的歌词165.3 数字声音及应用什么是流媒体？n 在因特网上收听(看)音(视)频节目的2 种方式：i 下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点：需要等待很长时间，并需要较大的存储容量）i 流式传输方式：边下载、边播放（优点：只需要下载一部分数据之后,就可以开始一边播放一边下载，等待时间短、存储需求小）n 流媒体技术就是允许在网络上让用户一边下载一边收看(听)音视频媒体的一种技术n 目前主要有3 个公司的流媒体产品：1.Real Networks 公司的 Real Media2.微软公司的 Windows Media 3.苹果公司的 Quick Time175.3 数字声音及应用附：流媒体是如何工作的？流媒体播放软件 Web 服务器Web 浏览器流媒体专用服务器 音频(视频)流媒体文件 网 页（客户计算机）http 协议3 点击流媒体节目，启动流媒体播放程序RTSP/TCPRTP/UDP6 播放器可以边播放边接收数据，并可以控制播放、暂停、快进、快倒等5 将音(视)频节目传输给客户计算机RTCP/UDPHTML 网页1 请求网页2 服务器送回网页4 向流媒体服务器发出请求185.3 数字声音及应用数字波形声音的主要文件格式n.wav 波形声音文件 n.pcm使用PCM 编码的声音文件n.mp2MPEG 层 1 或层2 编码的声音文件n.mp3MPEG 层3 编码的声音文件n.rm，.ra(RealAudio)RealNetworks 的流式声音文件n.wma 微软公司的流式声音文件n.aif(Audio Interchangeable File Format)苹果公司的声音文件195.3 数字声音及应用5.3.3 波形声音的编辑205.3 数字声音及应用波形声音编辑软件的功能主要功能：1 编辑声音：如声音剪辑、复制、调节音量2 声音的效果处理：如混响、回声等3 录音4 声音的格式转换5 播放声音数字声音的参数左声道信号波形右声道信号波形淡入淡出时间刻度播放标尺声音编辑软件的典型用户界面215.3 数字声音及应用5.3.4 计算机合成声音225.3 数字声音及应用什么是计算机合成声音？n 计算机合成声音就是计算机模仿人说话或演奏音乐n 计算机合成声音有两类：n 计算机合成语音：n 计算机模仿人把一段文字朗读出来，即把文字转换为语音（简称为 TTS）n 应用：有声查询、文稿校对、语言学习、语音秘书、自动报警、残疾人服务等n 计算机合成音乐：n 计算机模拟各种乐器发声并按照乐谱演奏音乐n 应用：计算机作曲、配器等235.3 数字声音及应用例：计算机合成的语音n Hello，everybody（1）n 你好，我是贝尔实验室的中文语音合成系统（BellTTS1）n 南京大学计算机系2002 年招收了202 名本科生，22 名博士生，130 多名硕士生。（中科大讯飞公司）（Bell）n 安徽中科大讯飞信息科技有限公司是专门从事中文语音及语言技术软件（讯飞）n 我们都是同行，我们一路同行，去参加人参培植研讨会（讯飞）（Bell）需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力245.3 数字声音及应用计算机合成音乐（MIDI）音乐合成器音乐MIDI文件媒体播放器MIDI消息n 计算机合成音乐需要三个要素：乐器、乐谱和“演奏员”声卡上的音乐合成器能像电子琴一样模仿几十种不同的乐器发出声音，它按照MIDI 消息合成出不同音色和音调的音符，通过扬声器播放出音乐来 乐谱在计算机中使用一种叫做MIDI 的音乐描述语言来表示。使用MIDI 描述的音乐称为MIDI 音乐。一首乐曲对应一个MIDI 文件，其文件扩展名为.MID 或.MIDI媒体播放器软件相当于“演奏员”。播放MIDI 音乐时，它先从磁盘上读入.MID 文件，解释其内容，然后以MIDI 消息的形式向声卡上的音乐合成器发出各种指令255.3 数字声音及应用背景材料：音乐合成器n PC 机声卡一般都带有MIDI 音源（音乐合成器）n MIDI 音源有两种：n 调频合成器（一种受控的电子振荡器）。音色单调，效果较差，已很少使用n 波表合成器。音色丰富，效果很好，可扩展，现广泛使用 n 波表合成器的原理n 预先将真实乐器演奏的各个音符的波形数字化，把它们组织成一个个波表文件存放在存储器中n 播放时合成器软件根据乐器类型和音符参数等将相应的波形数据修饰成所要求的音强和时长，然后合成、加工后播放低通滤波 采样、量化 加工处理乐器演奏波表文件录音265.3 数字声音及应用例：计算机合成的MIDI 音乐n 例1 音乐之声（6KB）n 例2 军港之夜（7KB）n MIDI 的优点：n 数据量极小（比CD 立体声少3 个数量级，比MP3 少3 个数量级）n 易于制作和编辑修改n 可以与波形声音同时播放n MIDI 的不足：n 只能合成音乐，不能合成歌曲和语言n 音质与硬件设备相关275.3 数字声音及应用小结：计算机中的数字声音n 数字声音的特点：n 是一种连续媒体，传输与播放有实时性要求n 数据量大，对存储和传输的要求比较高，必须进行压缩 n 数字声音的类型：n 取样（波形）声音n 数字语音：应用于电话、手机、多媒体配音等n 全频带声音：CD 和DVD 音乐，数字电视伴音等n 计算机合成声音n 合成语音n 合成音乐（MIDI）
