《语音识别基础》PPT课件.ppt

《《语音识别基础》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《语音识别基础》PPT课件.ppt（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、语音识别基础上海交通大学计算机系上海交通大学计算机系吴亚栋吴亚栋E-mail:E-mail:Tel:62932057Tel:62932057第三章 语音信号处理基础第三章 语音信号处理基础3.1 3.1 短时分析与窗函数短时分析与窗函数3.2 3.2 时域分析时域分析3.3 3.3 频域分析频域分析3.4 3.4 倒谱域分析倒谱域分析3.5 3.5 线性预测分析线性预测分析3.6 3.6 矢量量化法矢量量化法3.1 短时分析与窗函数3.1.1 3.1.1 语音信号的数字化语音信号的数字化*3.1.2 3.1.2 短时分析概要短时分析概要*3.1.3 3.1.3 几种典型窗口几种典型窗口*3.2

2、 时域分析3.2.1 3.2.1 平均能量、幅度及过零数平均能量、幅度及过零数 *3.2.2 3.2.2 自相关函数与平均振幅差函数自相关函数与平均振幅差函数 *3.2.3 3.2.3 时域分析在语音识别中的用途时域分析在语音识别中的用途3.3 频域分析3.3.1 3.3.1 短时傅里叶变换短时傅里叶变换(DFT)(DFT)*3.3.2 DFT3.3.2 DFT与快速傅里叶变换与快速傅里叶变换(FFT)(FFT)*3.3.3 3.3.3 振幅谱和功率谱振幅谱和功率谱*3.4 倒谱域分析3.4.1 3.4.1 倒谱的概念倒谱的概念*3.4.2 3.4.2 倒谱的分析流程倒谱的分析流程*3.4.3

3、 3.4.3 倒谱系数的求法倒谱系数的求法*3.4.4 3.4.4 倒谱分析倒谱分析在语音识别中的用途在语音识别中的用途*3.5 线性预测分析3.5.1 3.5.1 线性预测分析的概念线性预测分析的概念*3.5.2 3.5.2 线性预测系数的求解线性预测系数的求解*3.5.3 3.5.3 线性预测分析在语音识别中的用途线性预测分析在语音识别中的用途*3.6 矢量量化法3.6.1 3.6.1 矢量量化的原理矢量量化的原理*3.6.2 3.6.2 码本设计码本设计*-LBG -LBG算法算法(2(2分割法分割法)概要概要3.6.3 3.6.3 矢量量化在语音识别中的用途矢量量化在语音识别中的用途*

4、l ：l提交时间：提交时间：第三章 回家作业3.1.1 语音信号的数字化频率频率采样周期(T)x xa a(t)(t)：模拟波形：模拟波形x(n)=x(nT)x(n)=x(nT)：取样值时间振幅 l采样：采样：时间方向的离散化时间方向的离散化采样频率采样频率(S)(S)采样定理采样定理l量化：量化：幅度方向的离散化幅度方向的离散化折叠失真折叠失真S S2S2S0 0(b)非准确取样时(S2W)频率频率W W原信号原信号F(F(f f)(a)准确取样(S2W)S S0 02S2Sl语音信号的短时平稳性语音信号的短时平稳性l语音信号的短时分析语音信号的短时分析l短时信号的切取短时信号的切取 分帧分

5、帧 帧长帧长 帧移帧移3.1.2 短时分析的概要w(n)x(n)xj(n)=x(j+n)w(n)jj+N-1 几种典型的窗函数l矩形窗：矩形窗：l汉明窗汉明窗(Hamming)(Hamming)：l哈宁窗哈宁窗(Hanning)(Hanning)：WR=1=(0nN-1)0=(Other)WHM=0.5-0.46cos(2n/(N-1)(0nN-1)0=(Other)WHN=0.5-0.5cos(2n/(N-1)(0nN-1)0=(Other)3.2.1 短时平均能量、幅度及过零数l短时平均能量的定义：短时平均能量的定义：*l短时平均幅度的定义：短时平均幅度的定义：*l短时平均过零数的定义：短

6、时平均过零数的定义：*短时平均能量Ej的定义 N-1 N-1 E=E=x(n)x(n)2 2 n=0n=0 x(n)x(n)：原样本序列原样本序列x(n)x(n)在在j j时刻起，由长度为时刻起，由长度为N N 的窗口的窗口w(n)w(n)所切取出的短时语音段。所切取出的短时语音段。E Eloglog(j)=10log(j)=10log1010(1+E(1+Ej j)E Eloglog(j)(j)：语音信号的对数短时平均能量（分贝）。语音信号的对数短时平均能量（分贝）。j jj jj j短时平均幅度Mj的定义 N-1 N-1 M=M=x(n)x(n)n=0n=0 x(n)x(n)：原样本序列原

7、样本序列x(n)x(n)在在j j时刻起，由长度为时刻起，由长度为N N 的窗口的窗口w(n)w(n)所切取出的短时语音段。所切取出的短时语音段。j jj jj j短时平均过零数Zj的定义 N-1 N-1 Z=Z=neg(x(n)x(n+1)x(n)x(n+1)n=0n=0 x(n)x(n)：原样本序列原样本序列x(n)x(n)在在j j时刻起，由长度为时刻起，由长度为N N 的窗口的窗口w(n)w(n)所切取出的短时语音段。所切取出的短时语音段。neg(x)=neg(x)=j jj jj jj j 0 (x0)1 (x0)静息、无声及有声语音的Ej和Zj的分布关系静息语音静息语音无声语音无声

8、语音有声语音有声语音0 10 20 30 40 50 60 70 800 10 20 30 40 50 60 70 80静息语音静息语音无声语音无声语音有声语音有声语音0 10 20 30 40 50 60 70 800 10 20 30 40 50 60 70 80(a)(a)短时平均能能量短时平均能能量(dB)(b)(dB)(b)短时平均过零数短时平均过零数(次次/10ms)/10ms)3.2.3 短时自相关函数与平均振幅函数l短时自相关函数短时自相关函数*(Short-Time Auto-Correlation Function)(Short-Time Auto-Correlation

9、Function)l短时平均幅度差函数短时平均幅度差函数*(A Average verage M Magnitude agnitude D Differential ifferential F Function)unction)自相关函数与AMDF函数 N-1 N-1 R(m)=R(m)=(x(n)x(n+m)/N(0mN-1)x(n)x(n+m)/N(0mN-1)n=0n=0 N-1 N-1 r(m)=r(m)=|x(n)-x(n+m)|/L(0mN-1)x(n)-x(n+m)|/L(0mN-1)n=0n=0 N-1 N-1 L=L=|x(n)|x(n)|n=0 n=0j jj jj jj

10、jj jj jj j3.3.1 短时傅里叶变换(DFT)X(k)=X(k)=x(n)exp(-j2kn/N),(0kN-1)x(n)exp(-j2kn/N),(0kN-1)j jj jN-1N-1n=0n=0j jj j x(n)=x(n)=X(k)exp(j2kn/N)/N,(0kN-1)X(k)exp(j2kn/N)/N,(0kN-1)N-1N-1n=0n=0(1)(1)DFTDFT(Discrete Fourier Transform)(Discrete Fourier Transform)(2)(2)IDFTIDFT X(k)=X(k)=R R(X(k)+X(k)+I I(X(k)(X

11、(k)j jj jj j3.3.2 DFT与快速傅里叶变换(FFT)l在使用算法时应注意：在使用算法时应注意：(1)(1)时间窗要求采用两端衰减型的窗函数时间窗要求采用两端衰减型的窗函数(2)(2)数据长度要求满足：数据长度要求满足：N=2N=2M短时帧长：200 FFT帧长：256 补零3.3.3 振幅谱和功率谱(1)(1)振幅谱振幅谱|X(k)|X(k)|X(k)|=|X(k)|=R R(X(k)+X(k)+I I(X(k)(X(k)j jj jj jj j2 22 21/21/2(2)(2)功率谱功率谱 S(k)S(k)j j S(k)=|X(k)|/N S(k)=|X(k)|/Nj j

12、j j2 23.4.1 倒谱的概念l定义：倒谱定义为信号短时振幅谱的对数定义：倒谱定义为信号短时振幅谱的对数傅里叶反变换。傅里叶反变换。l特点：具有可近似地分离并能提取出频谱特点：具有可近似地分离并能提取出频谱包络信息和细微结构信息的特点。包络信息和细微结构信息的特点。3.4.2 倒谱的分析流程DFTDFTLog|Log|IDFTIDFTXDFTDFT峰值峰值检测检测A A 倒谱窗倒谱窗(lifter)(lifter)x(n)x(n)XB BC CD DE EF F 时间窗时间窗A A：短时信号；：短时信号；B B：短时频谱；：短时频谱；C C：对数频谱；：对数频谱；D D：倒谱系数；：倒谱系

13、数；E E：对数频谱包络；：对数频谱包络；F F：基本周期：基本周期3.4.3 倒谱系数的求法 c(k)=c(k)=log10|log10|X(k)|exp(j2kn/N)/NX(k)|exp(j2kn/N)/Nj jj jN-1N-1k=N-1k=N-1=log10|log10|X(k)|cos(2kn/N)/NX(k)|cos(2kn/N)/NN-1N-1k=N-1k=N-1(0nN-1)(0nN-1)3.4.4 倒谱分析在语音识别中的用途l提取声道特征信息：提取频谱包络特征，提取声道特征信息：提取频谱包络特征，以此作为描述音韵的特征参数而应用于语以此作为描述音韵的特征参数而应用于语音识别

14、。音识别。l提取音源信息：提取基音特征，以此作为提取音源信息：提取基音特征，以此作为描述音韵特征的辅助参数而应用于语音识描述音韵特征的辅助参数而应用于语音识别。别。3.5.1 线性预测分析的概念l概念：一个语音取样的现在值，可以用若干概念：一个语音取样的现在值，可以用若干个语音取样的过去值的加权线性组合来逼近，个语音取样的过去值的加权线性组合来逼近，在线性组合中的加权系数就称为线性预测系在线性组合中的加权系数就称为线性预测系数数(LPC:Linear Predictive Coding)(LPC:Linear Predictive Coding)。l特点：利用特点：利用LPCLPC技术可以从语

15、音信号中抽取技术可以从语音信号中抽取出声道特性。出声道特性。x(n)=-a1x(n-1)+a2x(n-2)+apx(n-x(n)=-a1x(n-1)+a2x(n-2)+apx(n-p)p)j jj jj jj j3.5.2 线性预测系数的求解概要(1)（1 1）设）设e ej j(n)(n)表示时刻表示时刻n n的预测误差：的预测误差：e ej j(n)=x(n)=xj j(n)-x(n)-xj j(n)(n)=x =xj j(n)+a(n)+a1 1x xj j(n-1)+a(n-1)+a2 2x xj j(n-2)+(n-2)+a ap px xj j(n-p)(n-p)=a=ai ix

16、xj j(n-i)(n-i)（这里，（这里，a a0 0=1.0=1.0。）。）3.5.2 线性预测系数的求解概要（2）（2 2）对对在在分分析析区区内内的的N N个个语语音音取取样样值值的的预预测测误误差差分分别别取取其其平方，然后进行累加。即，平方，然后进行累加。即，计算预测误差的能量计算预测误差的能量E Ej j：N-1 N-1 E Ej j=e=ej j(n)(n)2 2 n=0 n=0（3 3）给出使）给出使E Ej j为最小的条件，即为最小的条件，即 E Ea aj ji i=0,(1ip)=0,(1ip)3.5.3 线性预测分析在语音识别中的用途（1 1）基于）基于LPCLPC的

17、频谱包络的频谱包络 S(k)=S(k)=2 2/|/|a ai iexp(-j2exp(-j2ik/N)|ik/N)|2 2 （2 2）基于倒谱的频谱包络）基于倒谱的频谱包络i=0i=0P P3.6.1 矢量量化原理(1)（1 1）标量量化）标量量化 对对语语音音信信号号的的每每个个取取样样值值，或或语语音音信信号号的的每每个个特特征征参数值分别独立地进行量化，称为标量量化（一维）。参数值分别独立地进行量化，称为标量量化（一维）。-标量量化与传输率标量量化与传输率 -波波形形量量化化：采采样样频频率率为为10kHz10kHz、振振幅幅量量化化为为16bit16bit的语音信号的传输速率是：的语

18、音信号的传输速率是：16x10000=16x10000=160,000bit/s160,000bit/s(bps)(bps)。-波波形形特特征征参参数数量量化化：对对次次数数为为1010、每每秒秒100100个个特特征征矢矢量量（如如频频谱谱包包络络参参数数），如如振振幅幅量量化化也也为为16bit16bit的的话话，其传输速率是：其传输速率是：16x100 x10=16x100 x10=16,000bit16,000bit/s/s。i=0i=03.6.1 矢量量化原理(2)（1 1）矢量量化）矢量量化*将将语语音音信信号号的的取取样样值值或或语语音音的的特特征征参参数数值值分分成成若若干干组

19、组，每每组组构构成成一一个个矢矢量量，然然后后分分别别对对每每个个矢矢量量进进行行量化。这种量化就称为矢量量化（量化。这种量化就称为矢量量化（N N维）。维）。-波波形形特特征征参参数数矢矢量量量量化化：设设L L=10241024（4040种种语语音音单单位位，每每个个对对应应2525种种变变形形），即即为为了了指指定定码码本本中中任任意意码码矢矢需需要要10bit10bit，则则对对每每秒秒100100个个特特征征矢矢量量的的传传输输需需率率就为就为1,000bit/s1,000bit/s。（2 2）矢量量化过程）矢量量化过程*3.6.2 码本设计-LBG算法概要(1)(1)初始化初始化(

20、2)(2)码本分割码本分割(3)(3)码字更新码字更新(4)(4)码矢更新码矢更新(5)(5)码本大小确认码本大小确认xxxxxxxxxxx-+xxxxxxxxxxx-+xxxxxxxxxxxxxxxxxxxxxx3.6.3 VQ在语音识别中的用途预处理预处理声学参声学参数分析数分析训练训练语音信号语音信号 输入输入VQVQ码本码本测度测度估计估计失真失真测度测度语音库语音库判决判决专家知识专家知识库库识别识别结果结果矢量矢量量化量化(VQ)(VQ)矢量量化示意图1234码矢码矢No.VQ(Vector Quantization)tf1 4 2t矢量量化过程设设：有有限限矢矢量量集集合合Y=Y

21、=y yi i,1iL 1iL，Y Y称称为为码码本本，L L是是码码本本的的大大小小，y yi i 称为码矢，码矢是称为码矢，码矢是N N维矢量，即维矢量，即y yi i=(y=(yi1i1,y yi2i2,y,yiNiN)T T。码码本本搜搜索索：对对输输入入矢矢量量x x进进行行VQVQ的的过过程程，就就是是在在码码本本中中以以某某种种方方式式进进行行搜搜索索，寻寻找找一一个个与与x x最最接接近近的的码码矢矢之之过过程程，即即用用该该码码矢矢去去替替代代x x。这里，所谓最接近，应按某种失真测度这里，所谓最接近，应按某种失真测度d(x,yd(x,yi i)为标准来衡量。为标准来衡量。I

22、=argmin d(x,y I=argmin d(x,yi i)i i 码码矢矢地地址址编编码码：为为了了传传输输量量化化后后得得到到的的码码矢矢y yi i，一一般般都都需需要要进进行行编编码码。通通常常，并并不不是是直直接接对对y yi i进进行行编编码码，而而是是对对y yi i在在码码本本中中的的地地址址或或标标号号进进行行编编码码。要要传传送送的的正正是是这这个个标标号号的的码码字字I I。在在接接受受到到标标号号的的码码字字后后，就就可可在在接接受受端端的的码码本本中中找找到到相相应应的的码码矢矢，这这便便是是重重建建码码矢矢。对对于于L L级级码码本本来来说说，为为了了表表示示其

23、其中中任任意意一一个个码码矢矢的的标标号号，最最多多只只要要loglog2 2L L个个bitbit的二进制代码就够了。的二进制代码就够了。矢量量化过程设设：有有限限矢矢量量集集合合Y=Y=y yi i,1iL 1iL，Y Y称称为为码码本本，L L是是码码本本的的大大小小，y yi i 称为码矢，码矢是称为码矢，码矢是N N维矢量，即维矢量，即y yi i=(y=(yi1i1,y yi2i2,y,yiNiN)T T。码码本本搜搜索索：对对输输入入矢矢量量x x进进行行VQVQ的的过过程程，就就是是在在码码本本中中以以某某种种方方式式进进行行搜搜索索，寻寻找找一一个个与与x x最最接接近近的的

24、码码矢矢之之过过程程，即即用用该该码码矢矢去去替替代代x x。这里，所谓最接近，应按某种失真测度这里，所谓最接近，应按某种失真测度d(x,yd(x,yi i)为标准来衡量。为标准来衡量。I=argmin d(x,y I=argmin d(x,yi i)i i 码码矢矢地地址址编编码码：为为了了传传输输量量化化后后得得到到的的码码矢矢y yi i，一一般般都都需需要要进进行行编编码码。通通常常，并并不不是是直直接接对对y yi i进进行行编编码码，而而是是对对y yi i在在码码本本中中的的地地址址或或标标号号进进行行编编码码。要要传传送送的的正正是是这这个个标标号号的的码码字字I I。在在接接受受到到标标号号的的码码字字后后，就就可可在在接接受受端端的的码码本本中中找找到到相相应应的的码码矢矢，这这便便是是重重建建码码矢矢。对对于于L L级级码码本本来来说说，为为了了表表示示其其中中任任意意一一个个码码矢矢的的标标号号，最最多多只只要要loglog2 2L L个个bitbit的二进制代码就够了。的二进制代码就够了。