第二章_音频信息处理基础知识.ppt

《第二章_音频信息处理基础知识.ppt》由会员分享，可在线阅读，更多相关《第二章_音频信息处理基础知识.ppt（87页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第2章 音频信息处理1 1YOUR SITE HERE第2章 音频信息处理2.1 数字音频基础2.2 音频卡的工作原理2.3 音频编码基础和标准2.4 音乐合成和MIDI2.5 语音识别2 2YOUR SITE HEREn n多媒体中音频信息的应用多媒体中音频信息的应用 n n模拟音频和数字音频模拟音频和数字音频n n音频的音频的数字化数字化n n音频信号处理的特点音频信号处理的特点2.1 数字音频基础3 3YOUR SITE HERE多媒体中音频信息的应用 在多媒体系统中，语音和在多媒体系统中，语音和音乐是不可少的。没有音频的音乐是不可少的。没有音频的视频是不可接受的。视频是不可接受的。4

2、4YOUR SITE HERE多媒体中音频信息的应用 音频和视频同步，使视频图音频和视频同步，使视频图像更具真实性像更具真实性 娓娓动听的音乐和解说，使娓娓动听的音乐和解说，使静态图像变得更加丰富多彩静态图像变得更加丰富多彩 可视电话、电视会议中的声可视电话、电视会议中的声音更为重要音更为重要5 5YOUR SITE HERE音频是多媒体的重要媒体之一Audio 音频音频Speech 语音语音 言语言语Sound 非语音非语音 声音声音浊音浊音清音清音爆破音爆破音乐音乐音杂音杂音6 6YOUR SITE HERE 语音是语言的物质外壳语音是语言的物质外壳(载体载体)。语言。语言是人类社会特有的

3、一种信息系统，社会交是人类社会特有的一种信息系统，社会交际工具的符号。际工具的符号。非语音信号的特点是不具有复杂的语非语音信号的特点是不具有复杂的语意和语法信息，信息量低、识别简单。意和语法信息，信息量低、识别简单。7 7YOUR SITE HERE 语言是人类通信最直接最自然的方式。从第一台计算机诞生以来，专家们就为之付出了巨大的努力。人们期望以最自然人们期望以最自然 的方式与计算机交互的方式与计算机交互8 8YOUR SITE HERE 设计师为计算机安上了设计师为计算机安上了“嘴巴嘴巴”（扬声器），（扬声器），让计算机奏乐、讲话；让计算机奏乐、讲话；为计算机装上了为计算机装上了“耳朵耳朵

4、”（麦克风），让计（麦克风），让计算机听懂、理解人的讲话。算机听懂、理解人的讲话。网络专家还期望分布在不同地点的计算机成网络专家还期望分布在不同地点的计算机成为为“顺风耳顺风耳”，实现音频实时传播。，实现音频实时传播。人们期望以最自然人们期望以最自然 的方式与计算机交互的方式与计算机交互9 9YOUR SITE HERE 音频被用来传递消息、意向、音频被用来传递消息、意向、情感，是人类最熟悉的传递消息情感，是人类最熟悉的传递消息的方式。音频携带的信息量大、的方式。音频携带的信息量大、精细、准确。精细、准确。1010YOUR SITE HERE 随着多媒体信息处理技术的随着多媒体信息处理技术的发

5、展，计算机数据处理能力的增发展，计算机数据处理能力的增强，音频处理技术受到重视，并强，音频处理技术受到重视，并得到了广泛的应用。如：得到了广泛的应用。如：1111YOUR SITE HERE视频图像的配音、配乐可视电话、电视会议中的话音；游戏中的音响效果Internet 电话、声音欺骗系统、现代“芝麻开门”系统虚拟现实中的声音模拟电子读物的有声输出等1212YOUR SITE HEREn n多媒体中音频信息的应用多媒体中音频信息的应用 n n模拟音频和数字音频模拟音频和数字音频n n音频的音频的数字化数字化n n音频信号处理的特点音频信号处理的特点2.1 数字音频基础1313YOUR SITE

6、 HERE模拟音频和数字音频什么是模拟音频？什么是模拟音频？声音是机械振动。振动越强，声声音是机械振动。振动越强，声音越大，话筒把机械振动转换成电信音越大，话筒把机械振动转换成电信号，模拟音频技术中以模拟电压的幅号，模拟音频技术中以模拟电压的幅度表示声音强弱。度表示声音强弱。模拟声音在时间上是连续的。模拟声音在时间上是连续的。1414YOUR SITE HERE什么是数字音频？什么是数字音频？在计算机内，所有的信息均以数字表示。在计算机内，所有的信息均以数字表示。各种命令是不同的数字，各种幅度的物理量各种命令是不同的数字，各种幅度的物理量也是不同的数字。当然，语音信号也是由一也是不同的数字。当

7、然，语音信号也是由一系列数字来表示，称之为数字音频。系列数字来表示，称之为数字音频。数字音频的特点是保真度好，动态范围数字音频的特点是保真度好，动态范围大。大。数字声音在时间上是断续的。数字声音在时间上是断续的。1515YOUR SITE HERE 在数字音频技术中，把表示声音在数字音频技术中，把表示声音强弱的模拟电压用数字表示，如强弱的模拟电压用数字表示，如0.5V电压用数字电压用数字20表示，表示，2V电压用电压用80表示。表示。模拟电压的幅度，即使在某电平范围模拟电压的幅度，即使在某电平范围内，仍然可以有无穷多个如内，仍然可以有无穷多个如1.21V，1.215V。1616YOUR SIT

8、E HERE 而用数字来表示音频幅度时，而用数字来表示音频幅度时，只能把无穷多个电压幅度用有限只能把无穷多个电压幅度用有限个数字表示。即把某一幅度范围个数字表示。即把某一幅度范围内的电压用一个数字表示，这称内的电压用一个数字表示，这称之为量化。之为量化。1717YOUR SITE HERE 计算机内的基本数制是二进计算机内的基本数制是二进制，为此我们也要把声音数据写制，为此我们也要把声音数据写成计算机的数据格式，这称之为成计算机的数据格式，这称之为编码，模拟电压幅度、量化、编编码，模拟电压幅度、量化、编码的关系举例如下表。码的关系举例如下表。1818YOUR SITE HERE1919YOUR

9、 SITE HEREn n多媒体中音频信息的应用多媒体中音频信息的应用 n n模拟音频和数字音频模拟音频和数字音频n n音频的音频的数字化数字化n n音频信号处理的特点音频信号处理的特点2.1 数字音频基础2020YOUR SITE HERE音频的数字化 计算机内的音频必须是数字形式的，因此必须把模拟音频信号转换成有限个数字表示的离散序列，即实现音频数字化。在这一处理技术中，涉及到音频的采样、量化和编码。2121YOUR SITE HERE采样：音频实际上是连续信号，采样：音频实际上是连续信号，或称连续时间函数或称连续时间函数x(t)。用计算机用计算机处理这些信号时，必须先对连续信处理这些信号

10、时，必须先对连续信号采样，即按一定的时间间隔号采样，即按一定的时间间隔(T)取值取值,得到得到x(nT)(n为整数为整数)。T称称采样周期，采样周期，1/T称为采样频率。称称为采样频率。称x(nT)为离散信号。为离散信号。2222YOUR SITE HERE 离散信号离散信号x(nT)是从连续信号是从连续信号x(t)上取出的一部分值，那么能用上取出的一部分值，那么能用x(nT)唯一地确一地恢复出唯一地确一地恢复出x(t)吗？吗？一般是不行的。但在一定条件下可一般是不行的。但在一定条件下可以的，即采样要满足采样定理。以的，即采样要满足采样定理。2323YOUR SITE HERE 采采样样定定理

11、理:设设连连续续信信号号x(t)的的频频谱谱为为x(f)，以以采采样样间间隔隔T采采样样得得到到离离散散信信号号x(nT),如如果果满足：满足：2424YOUR SITE HERE 可以由可以由x(nT)完全确定连续信号完全确定连续信号x(f)当当采采样样频频率率等等于于1/2T时时,即即fN N=1/2T,称称fN N为奈魁斯特频率。为奈魁斯特频率。2525YOUR SITE HERE常用的音频采样率有：常用的音频采样率有：8kHz8kHz、11.025kHz11.025kHz、22.05kHz22.05kHz、16kHz16kHz、37.8kHz37.8kHz、44.1kHz44.1kHz

12、、48kHz48kHz。2626YOUR SITE HERE量化：为了把采样序列量化：为了把采样序列x(nT)存存入计算机，必须将样值量化成一个入计算机，必须将样值量化成一个有限个幅度值的集合有限个幅度值的集合x(nT)。通常，通常，用二进制数字表示量化后的样值是用二进制数字表示量化后的样值是方便的。方便的。2727YOUR SITE HERE 量化采样的过程如下：先将整量化采样的过程如下：先将整个幅度划分成为有限个小幅度个幅度划分成为有限个小幅度(量化量化阶距阶距)的集合，把落入某个阶距内的的集合，把落入某个阶距内的样值归为一类，并赋予相同的量化样值归为一类，并赋予相同的量化值。如果量化值是

13、均匀分布的，我值。如果量化值是均匀分布的，我们称之为均匀量化。们称之为均匀量化。2828YOUR SITE HEREn n多媒体中音频信息的应用多媒体中音频信息的应用 n n模拟音频和数字音频模拟音频和数字音频n n音频的音频的数字化数字化n n音频信号处理的特点音频信号处理的特点2.1 数字音频基础2929YOUR SITE HERE音频信号处理的特点 音频信息处理 信号处理的角度：将声音看成是一种信号，通过对信号的认识，来获取信息。信息论的角度：用它的消息内容和信息来表示。3030YOUR SITE HERE音频信号处理的特点(1)音频信号是时间依赖的连续媒体 音频信号是时间依赖的连续媒体

14、。因此音频处理的时序性要求很高。如果在时间上有25ms 的延迟，人就会感到断续。3131YOUR SITE HERE音频信号处理的特点 (2)(2)理想的合成声音应是立体声理想的合成声音应是立体声 由于人接收声音有两个通道（左耳、右耳），因此由于人接收声音有两个通道（左耳、右耳），因此为使计算机模拟自然声音，也应有两个声道，即理想的为使计算机模拟自然声音，也应有两个声道，即理想的合成声音应是立体声。同时，也应该包括位置信息（不合成声音应是立体声。同时，也应该包括位置信息（不同会场和不同角落的发的声音同会场和不同角落的发的声音 ）。真实感声音的模拟：。真实感声音的模拟：多通道、幅度、位置多通道、

15、幅度、位置3232YOUR SITE HERE音频信号处理的特点 (3)(3)对语音信号的处理，要抽取语意等其它信息对语音信号的处理，要抽取语意等其它信息 由于语音信号不仅仅是声音的载体，同时还由于语音信号不仅仅是声音的载体，同时还携带了情感的意向，故对语音信号的处理，不仅携带了情感的意向，故对语音信号的处理，不仅是信号处理问题，还要抽取语意等其它信息。因是信号处理问题，还要抽取语意等其它信息。因此可能会涉及到语言学、社会学、声学此可能会涉及到语言学、社会学、声学等。等。3333YOUR SITE HERE 从人与计算机交互的角度来看从人与计算机交互的角度来看音频信号相应的处理如下：音频信号相

16、应的处理如下：（1 1）人与计算机通信（计算机）人与计算机通信（计算机接收音频信号）：接收音频信号）：音频获取；语音识别与理解；音频获取；语音识别与理解；人与计算机交互人与计算机交互3434YOUR SITE HERE （2 2）计算机与人通信（计算机输出）计算机与人通信（计算机输出音频）音频）音音频频合合成成：包包括括音音乐乐合合成成和和语语音音合成；合成；声音定位：包括立体声模拟；声音定位：包括立体声模拟；音频音频/视频同步；目的是让计算机视频同步；目的是让计算机产生真实感声音。产生真实感声音。3535YOUR SITE HERE（3 3）人）人计算机计算机人通信：人通信：人人通通过过网网

17、络络，与与处处于于异异地地的的人人进进行语音通信，需要的音频处理包括：行语音通信，需要的音频处理包括：语音采集、音频编码语音采集、音频编码/解码、音频解码、音频传输等。这里音频编传输等。这里音频编/解码技术是信道解码技术是信道利用率的关键。利用率的关键。3636YOUR SITE HERE第二章 音频信息处理2.1 数字音频基础2.2 音频卡的工作原理2.3 音频编码基础和标准2.4 音乐合成和MIDI2.5 语音识别3737YOUR SITE HERE音频卡的功能和分类 根据多媒体计算机根据多媒体计算机(MPC)MPC)的技术标准，声卡是多媒体的技术标准，声卡是多媒体技术中最基本的组成部分，

18、技术中最基本的组成部分，是实现声波是实现声波/数字信号相互转数字信号相互转换的硬件电路。换的硬件电路。3838YOUR SITE HERE音频卡的功能和分类 声卡把来自话筒、磁带、声卡把来自话筒、磁带、光盘的原始声音信号加以转换，光盘的原始声音信号加以转换，输出到耳机、扬声器、扩音机、输出到耳机、扬声器、扩音机、录音机等声响设备，或通过音录音机等声响设备，或通过音乐设备数字接口乐设备数字接口(MIDI)MIDI)使乐器使乐器发出美妙的声音。发出美妙的声音。3939YOUR SITE HERE一、音频卡的功能1 1、录制、录制(采集采集)数字声音文件数字声音文件 通过声卡及相应驱动程通过声卡及相

19、应驱动程序的控制，采集来自话筒序的控制，采集来自话筒(麦麦克风克风)、收录机等音源的信号，、收录机等音源的信号，压缩后存放于微机系统的内压缩后存放于微机系统的内存或硬盘中。存或硬盘中。4040YOUR SITE HERE2 2、播放数字声音文件、播放数字声音文件 将硬盘或激光盘片压将硬盘或激光盘片压缩的数字化声音文件还原，缩的数字化声音文件还原，重建高质量的声音信号，重建高质量的声音信号，放大后通过扬声器输出。放大后通过扬声器输出。4141YOUR SITE HERE3 3、编辑与合成声音文件、编辑与合成声音文件 对数字化的声音文件对数字化的声音文件进行编辑加工，以达到某进行编辑加工，以达到某

20、一特殊的效果。一特殊的效果。4242YOUR SITE HERE4 4、控制音源的音量、控制音源的音量 控制音源的音量，对控制音源的音量，对各种音源进行混合，即声各种音源进行混合，即声卡具有混响器的功能。卡具有混响器的功能。4343YOUR SITE HERE5 5、压缩和解压缩、压缩和解压缩 编码和解码。采集数据时，编码和解码。采集数据时，对数字化声音信号进行压缩，对数字化声音信号进行压缩，以便存储。播放时，对压缩的以便存储。播放时，对压缩的数字化声音文件进行解压。数字化声音文件进行解压。4444YOUR SITE HERE6 6、文语转换（语音合成）、文语转换（语音合成）通过文语转换软件，

21、利通过文语转换软件，利用语音合成技术，通过声卡用语音合成技术，通过声卡朗读文本信息，如读英语单朗读文本信息，如读英语单词和句子、说英语、奏音乐。词和句子、说英语、奏音乐。4545YOUR SITE HERE7 7、语音识别、语音识别 通过语音识别软件，通过语音识别软件，具有初步的语音识别功能，具有初步的语音识别功能，让用户用口令指挥计算机让用户用口令指挥计算机工作。工作。4646YOUR SITE HERE8 8、提供、提供MIDIMIDI功能功能 提供提供MIDI(MIDI(乐器数字接口乐器数字接口)功功能，使计算机可以控制多台具有能，使计算机可以控制多台具有MIDIMIDI接口的电子乐器。

22、同时，在驱接口的电子乐器。同时，在驱动程序的控制下，声卡将以动程序的控制下，声卡将以MIDIMIDI格格式存放的文件输出到相应的电子乐式存放的文件输出到相应的电子乐器中，发出相应的声音。器中，发出相应的声音。4747YOUR SITE HERE二、音频卡的分类声卡的分类声卡的分类 1 1按应用环境分类按应用环境分类 2.2.从技术角度分类从技术角度分类 3.3.根据采样和量化根据采样和量化 的位数分类的位数分类4848YOUR SITE HERE 3.3.根据采样和量化的位数分类根据采样和量化的位数分类 根据采样量化的位数，常用根据采样量化的位数，常用有有8 8位、位、1616位和位和3232

23、位声卡。位声卡。位数越高，量化精度越高，质位数越高，量化精度越高，质量越好。量越好。4949YOUR SITE HERE音频卡的工作原理 采集声音信号：声卡从话采集声音信号：声卡从话筒中获取模拟声音信号，通过筒中获取模拟声音信号，通过模数转换器模数转换器(ADC)ADC)，将声波振将声波振幅信号采样转换成一串数字后幅信号采样转换成一串数字后存储到计算机中。存储到计算机中。5050YOUR SITE HERE音频卡的工作原理 重放声音信号：将存储到计重放声音信号：将存储到计算机中的数字信号送到数模转换算机中的数字信号送到数模转换器器(DAC)DAC)，以同样的采样速率还原以同样的采样速率还原为模

24、拟波形，待放大后送到扬声为模拟波形，待放大后送到扬声器发声，这一技术也称为脉冲编器发声，这一技术也称为脉冲编码调制技术码调制技术(PCM)PCM)。5151YOUR SITE HERE5252YOUR SITE HERE3 3电源稳压电源稳压 4 4运放运放 5 5晶振晶振一块SB LIVE声卡DACDACDSPDSP（Digital Digital Signal Signal Processing Processing）数字信号处理数字信号处理数字信号处理数字信号处理声音混合声音混合5353YOUR SITE HERE第二章 音频信息处理2.1 数字音频基础2.2 音频卡的工作原理2.3 音

25、频编码基础和标准2.4 音乐合成和MIDI2.5 语音识别5454YOUR SITE HERE音频编码音频编码基础基础 音频编码的目的在于压缩数据。音频编码的目的在于压缩数据。在多媒体音频数据的存储和传输中，在多媒体音频数据的存储和传输中，数据压缩是必须的。通常数据压缩造成数据压缩是必须的。通常数据压缩造成音频质量的下降、计算量的增加。因此，音频质量的下降、计算量的增加。因此，人们在实施数据压缩时，要在音频质量、人们在实施数据压缩时，要在音频质量、数据量、计算复杂度三方面进行综合考数据量、计算复杂度三方面进行综合考虑。虑。5555YOUR SITE HERE 根据统计分析结果，语音信号中存在多

26、种冗余，其最主要部分可以分别从时域和频域来考虑。另外，由于语音主要是给人听的，所以也要考虑人的听觉机理 从信息保持的角度讲，只有当信源本身有从信息保持的角度讲，只有当信源本身有从信息保持的角度讲，只有当信源本身有从信息保持的角度讲，只有当信源本身有冗余时，才能对其进行压缩冗余时，才能对其进行压缩冗余时，才能对其进行压缩冗余时，才能对其进行压缩。5656YOUR SITE HERE 时域信息的冗余度时域信息的冗余度 频域信息的冗余度频域信息的冗余度 人的听觉感知机理人的听觉感知机理5757YOUR SITE HERE音频编码音频编码基础基础音频编码的分类音频编码的分类 基于音频数据的统计特性进行

27、编码基于音频数据的统计特性进行编码 基于音频的声学参数进行参数编码基于音频的声学参数进行参数编码 混合编码混合编码 基于人的听觉特性进行编码基于人的听觉特性进行编码 5858YOUR SITE HERE 基于音频数据的统计特性进行编基于音频数据的统计特性进行编码，其典型技术是波形编码。其目标码，其典型技术是波形编码。其目标是使重建语音波形保持原波形的形状。是使重建语音波形保持原波形的形状。PCMPCM（脉冲编码调制）是最简单最基脉冲编码调制）是最简单最基本的编码方法。本的编码方法。5959YOUR SITE HERE 基于音频的声学参数进行参数编基于音频的声学参数进行参数编码，可进一步降低数据

28、率。其目标是码，可进一步降低数据率。其目标是使重建音频保持原音频的特性。常用使重建音频保持原音频的特性。常用的音频参数有共振峰、线性预测系数、的音频参数有共振峰、线性预测系数、滤波器组等。这种编码技术的优点是滤波器组等。这种编码技术的优点是数据率低，但还原信号的质量较差，数据率低，但还原信号的质量较差，自然度低自然度低。6060YOUR SITE HERE 将上述两种编码算法很好地将上述两种编码算法很好地结合起来，采用混合编码的方法。结合起来，采用混合编码的方法。这样就能在较低的码率上得到较高这样就能在较低的码率上得到较高的音质。如码本激励线性预测编码的音质。如码本激励线性预测编码（CELPC

29、ELP）、）、多脉冲激励线性预测编多脉冲激励线性预测编码（码（MPLPCMPLPC）等。等。6161YOUR SITE HERE 基于人的听觉特性进行编码：基于人的听觉特性进行编码：从人的听觉系统出发，利用掩蔽从人的听觉系统出发，利用掩蔽效应，设计心理声学模型，从而效应，设计心理声学模型，从而实现更高效率的数字音频的压缩。实现更高效率的数字音频的压缩。其中以其中以MPEGMPEG标准中的高频编码和标准中的高频编码和Dolby AC-3Dolby AC-3最有影响。最有影响。6262YOUR SITE HERE音频编码标准 国际电报电话咨询委员国际电报电话咨询委员会（会（CCITTCCITT）和

30、国际标准化组和国际标准化组织（织（ISOISO）先后提出一系列有先后提出一系列有关音频编码的建议，列出了关音频编码的建议，列出了一些音频编码算法和国际标一些音频编码算法和国际标准。准。6363YOUR SITE HERE6464YOUR SITE HERE自适应脉冲编码调制(ADPCM)这个建议用于64kbps的A律和律PCM与32kbps 的ADPCM之间的转换。6565YOUR SITE HEREADPCMADPCM编编码器和解码器和解码器的框码器的框图图 6666YOUR SITE HERE第二章 音频信息处理2.1 数字音频基础2.2 音频卡的工作原理2.3 音频编码基础和标准2.4

31、音乐合成和MIDI2.5 语音识别6767YOUR SITE HERE音乐合成概述 随着计算机的诞生，就实现了计算机奏乐，不过那仅仅是一个个单音，听起来单调。如何让计算机输出优美的音乐呢？最简单的方法是采取录音/重放方式。6868YOUR SITE HERE 音乐的频带宽，需要提高其采样率和量化位数，因而数据率急剧增大。如用44.1K频率抽样，16位表示某立体声音乐，那么每秒钟的数据为176.4K字节。由此可见，若以此种方式存储音乐，即使计算机数据传输率允许，也只能存很短时间的乐曲。6969YOUR SITE HERE 是否可以采取合成方式产生音乐呢？答案是肯定的，电子乐器的蓬勃发展也已经证实

32、.自1976年应用调频(FM)音乐合成技术以来，其乐音已经很逼真。1984年又开发出另一种更真实的音乐合成技术波形表(Wavetable)合成。目前这两种音乐合成技术都应用于多媒体计算机的音频卡中。7070YOUR SITE HERE调频音乐合成 FMFM是使高频振荡波的频率按调制信号规律变是使高频振荡波的频率按调制信号规律变化的一种调制方式。采用不同调制波频率和调制化的一种调制方式。采用不同调制波频率和调制指数，就可以方便的合成具有不同频谱分布的波指数，就可以方便的合成具有不同频谱分布的波形，再现某些乐器的音色。我们可以采用这种方形，再现某些乐器的音色。我们可以采用这种方法得到具有独特效果的

33、法得到具有独特效果的“电子模拟声电子模拟声”，创造出，创造出丰富多彩的声音，是真实乐器所不具备的音色，丰富多彩的声音，是真实乐器所不具备的音色，这也是这也是FMFM音乐合成方法特有的魅力之一。音乐合成方法特有的魅力之一。7171YOUR SITE HERE调频音乐合成 我们以音频卡中常用的我们以音频卡中常用的FMFM合成芯片合成芯片YM3812YM3812为例，简述怎样实现为例，简述怎样实现FMFM音乐合成？如音乐合成？如何模拟各种乐器的音色？何模拟各种乐器的音色？YM3812YM3812是一种广泛使用的新型音乐合成芯是一种广泛使用的新型音乐合成芯片。它采用片。它采用FMFM合成方式，能够在软

34、件的控制合成方式，能够在软件的控制下产生变化极为丰富的各种音色下产生变化极为丰富的各种音色7272YOUR SITE HEREv FMFM方式产生真实音响方式产生真实音响v 两种工作模式：两种工作模式：9 9声道同时发音声道同时发音 6 6种旋律加种旋律加5 5种节奏乐种节奏乐 v 内置颤音振荡器内置颤音振荡器/调幅调幅(AM)(AM)振荡器振荡器 v 可采用正弦波组合方式合成语音可采用正弦波组合方式合成语音v 输入输入/输出为输出为TTLTTL电平电平 它的主要特点是：它的主要特点是：YM3812YM3812简介简介7373YOUR SITE HERE 使用YM3812构成的音乐系统如下图所

35、示。7474YOUR SITE HERE音乐系统框图音乐系统框图 由于由于由于由于YM3812YM3812输出的是数字信号输出的是数字信号输出的是数字信号输出的是数字信号,因此系统因此系统因此系统因此系统需要一数需要一数需要一数需要一数/模转换，如模转换，如模转换，如模转换，如YM3014YM3014。微机通过总线微机通过总线微机通过总线微机通过总线传输必要的数据，由传输必要的数据，由传输必要的数据，由传输必要的数据，由YM3812YM3812将它们变成相应的将它们变成相应的将它们变成相应的将它们变成相应的音高、音色、响度的数字频信号，经数音高、音色、响度的数字频信号，经数音高、音色、响度的数

36、字频信号，经数音高、音色、响度的数字频信号，经数/模转换模转换模转换模转换变成模拟量，再经功率放大得到音响输出。变成模拟量，再经功率放大得到音响输出。变成模拟量，再经功率放大得到音响输出。变成模拟量，再经功率放大得到音响输出。7575YOUR SITE HEREMIDI MIDI是音乐与计算机结合的产物。MIDI(Musical Instrument Digital Interface)是乐器数字接口的缩写，泛指数字音乐的国际标准，初始建于1982年。利用MIDI文件演奏音乐，所需的存储量最少。如演奏2分钟乐曲的MIDI文件只需不到8K的存储空空间。间。7676YOUR SITE HERE M

37、IDIMIDI标准规定了不同厂家的电子乐器与计算机标准规定了不同厂家的电子乐器与计算机连接的电缆和硬件。它还指定从一个装置传送数连接的电缆和硬件。它还指定从一个装置传送数据到另一个装置的通信协议。这样，任何电子乐据到另一个装置的通信协议。这样，任何电子乐器，只要有处理器，只要有处理MIDIMIDI信息的处理器和适当的硬件信息的处理器和适当的硬件接口都能变成接口都能变成MIDIMIDI装置。装置。MIDIMIDI间靠这个接口传递间靠这个接口传递消息消息(massage)(massage)而进行彼此通信。实际上消息是乐而进行彼此通信。实际上消息是乐谱谱(score)(score)的数字描述。的数字

38、描述。7777YOUR SITE HERE 乐谱由音符序列、定时和称作合成音色(patches)的乐器定义所组成。当一组MIDI消息通过音乐合成芯片演奏时，合成器解释这些符号，并产生音乐。7878YOUR SITE HERE第二章 音频信息处理2.1 数字音频基础2.2 音频卡的工作原理2.3 音频编码基础和标准2.4 音乐合成和MIDI2.5 语音识别7979YOUR SITE HERE 语音识别的研究领域比较广，归纳起来，一般有以下四个方面：v 按可识别的词汇量多少v 按照语音的输入方式v按发音人的种类（可分为特定人、限定人和非特定人语音识别三种）v对说话人的声文进行识别语音识别系统的分类

39、语音识别系统的分类8080YOUR SITE HEREv按可识别的词汇量多少 语音识别系统可分为小、中、大词汇量三种。一般来说，能识别词汇小于100的，称为小词表语言识别；大于100的称为中词表语音识别；大于1000的称为大词表语音识别。词表越大，困难越多。语音识别系统的分类语音识别系统的分类8181YOUR SITE HEREv 按照语音的输入方式 语音识别的研究集中于对 孤立词 连接词 连续语音的识别。8282YOUR SITE HEREvv按发音人可分为特定人、限定人和非特定人语音识别三种按发音人可分为特定人、限定人和非特定人语音识别三种 对于特定人进行语音识别的系统，使用前需由特对于特

40、定人进行语音识别的系统，使用前需由特定人对系统进行训练。定人对系统进行训练。如果需要限定的几个人使用同一系统，则可以研如果需要限定的几个人使用同一系统，则可以研制成限定人识别系统。制成限定人识别系统。如果一个系统不必经使用者训练就可以识别各种如果一个系统不必经使用者训练就可以识别各种发音者的语音，则称为非特定人语言识别。发音者的语音，则称为非特定人语言识别。8383YOUR SITE HEREv 对说话人的声文进行识别 这是研究如何根据语音来辨别说话人的身份、确定说话人的姓名。8484YOUR SITE HERE语音识别研究的难点 语音识别的目的是抽取语音信号携带的信息。而语音信号是时间依赖信号。它的特征具有时变性、瞬变性的特点。其随机性和非平稳性给识别带来很多困难。众多专家从事语音识别相关技术的研究。8585YOUR SITE HERE其研究工作主要有：特征的抽取和表示 声学-语音学模型 语言学模型 识别系统的稳健性8686YOUR SITE HEREThank you!8787