语音识别关键技术及其改进算法研究_刘方洲 (1).docx

《语音识别关键技术及其改进算法研究_刘方洲 (1).docx》由会员分享，可在线阅读，更多相关《语音识别关键技术及其改进算法研究_刘方洲 (1).docx（94页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 Study on the Key Technology of the Speech Recognition and ifs Improved Algorithm A Dissertation Submitted for the Degree of Master Candidate： Liu Fangzhou Supervisor ： Prof. Ma Ronggui Changan University, Xian, China 论文独创性声明 本人声明：本人所呈交的学位论文是在导师的指导下，独立进行 研究工作所取得的成果。除论文中已经注明引用的内容外，对论文的 研究做出重要贡献的个人和集体

2、，均己在文中以明确方式标明。本论 文中不包含任何未加明确注明的其他个人或集体己经公开发表的成 果。 本声明的法律责任由本人承担。 论 文 作 者 签 名 ： 丨 年 6 月 卜 曰 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归 属学校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请 专利等权利。本人离校后发表或使用学位论文或与该论文直接相关的 学术论文或成果时，署名单位仍然为长安大学。 (保密的论文在解密后应遵守此规定） 论文作者签名 ： A 千年 6 月 k曰 导师签名 : 从令年 i?。 当分子、分母无公因子，且分母无重根时，上式可分解为部分分 式的

3、和，见式 (3.4)。 V(z) = S k=0 A 1-尽 z 1 -Cj 2 (3.4) 在实际应用过程中，对于一般元音来说，取其前 3个共振峰就可以了；而对于某些 特殊元音和大部分的辅音则至少需要取 5个甚至更多个共振峰。 3丄 3辐射模型 人的声音通过声道最终由口唇辐射出去，而口唇的辐射效应可以用辐射阻抗 Z， 即 语音的声压波与气流的速度波之比来表示。我们很难从理论上推导出 Z， 但是如果假定 头部的表面积远远大于口唇张开的面积，则可以得到如下的辐射阻抗公式 ： 勝 (3.5) 式 (3.5)中， i? = 2， = a为口唇张开的半径， c为声速。研宄发现，声音信号 9丌 - in

4、c 在高频段的口唇辐射效应较为明显，而低频段受到的影响则较小，因此口唇辐射模型可 以近似用一个高通滤波器来表示： R(z) = (I - rz 1) (3.6) 其中 r接近于 1。在实际的信号分析过程中，我们常常采用插入一阶高通滤波器的方法 对采集到的信号进行 “ 预加重 ” ，然后再合成时再采用 “ 去加重 ” 对原来的语音进行恢 复。 完整的语音信号产生的数学模型就是上述三种子模型的级联，其传递函数为： H(z) = U(z)V(z)R(z) (3.7) 13 第三章语音信号的采集与预处理 3.2语音信号采集和量化 3.2.1语音信号的采样 对语音信号进行采样就是采集语音模拟信号的样本。

5、通过采样可以将时间、幅度上 都连续的语音模拟信号转换成时间离散、幅度连续的离散语音模拟信号。由奈奎斯特 (Nyquist)抽样定理知，在频带宽度有限的前提下，只要满足 /2/max，就可以无失 真地从抽样信号中恢复原始信号 2 0 -1 n(i, k) = (n- i)s(n - k) 式 (4.6)被改写成： 彡 ,0) = #(/,幻 1=1 式 (4.8)中的方程组包含有 N个方程， N个未知数，对于方程组 (4.8)，可以利用莱文逊一 德宾 （ Durbin-Levinson)自相关递推算法 37或者舒尔 (Schur)递推算法 38来求解，方程组的 解就是我们要求的 LPC预测系数。

6、 (3) 阶数的选择 由于 LPC系数是基于人体发音模型推导而来，根据人体发音器官的特点，其每一段 声管都对应着一个极点 。一 般来讲，极点个数在 12-16之间就足够描述语音信号的特征 了 36。但是我们知道人体发音声道的模型除声管模型外还有共振峰模型，因此为了使建 立的 LPC模型更好地符合人体语音产生模型，应尽量使 LPC模型中极点的个数与共振 峰的个数相互匹配。通常情况下，一个共振峰对应一对极点。用采样频率采集到 的语音信号一般含有 4个共振峰，对应的极点个数就是 8,因此 LPC模型的阶数 7V = 8, 对于采样频率 10好 fe的语音信号，可取斤 =1。通常情况下，还需要在上述极

7、点的基础 上再增加两个极点，以此来弥补由于其它因素引起的偏差。这样一来，上面的两个阶数 相应地变为 7V = 10和 7V = 12。经验表明， LPC模型阶数一般选择在 8 -12之间，当 7V = 12 时，就可以足够近似地逼近声道模型了。阶数 N也不应选得过大，因为当 N值很大时， 虽然在能够稍稍改善其逼近效果，但是另一方面也会大大地增加计算量，还可能给模型 带来一些不必要的细节，反而影响效果。 4丄 2线性预测倒谱系数 LPCC 在语音识别系统中，为了提高参数的稳定性，很少直接采用 LPC线性预测系数，而 是利用同态信号处理的方法，求其在倒谱域中的表示一一线性预测倒谱系数 LPCC。

8、(1) 同态处理 语音和图像等信号中的调制信号都是非线性的乘积信号 或卷积信号，同态信号处理 的思路就是将这些非线性的信号转换成线性信号来处理。同态处理按照其处理的信号分 (4.7) (4.8) 34 长安大学硕上学位论文 类，可以分为乘积同态处理与卷积同态处理两种。同态处理的一个重要理论就是，任何 一个同态系统都可以由三个同态系统的级联表示 39: .(;?) *.T2(;7) A, ()+ A2 () V, ( )+V2() 为 ( )*为 ( ) 图 4.1同态系统的组成 如图 4.1所示，一个同态系统可以被分解为三个系统：第一个系统为特征系统，它 将卷积信号转换成线性相加的信号；第二个

9、系统为线性系统，满足叠加定理；第三个系 统也是特征系统，是第一个系统的逆变换，作用是将线性处理后的信号再逆变为卷积信 号。 要将卷积信号转变为时域内的加信号，需要经历三步。 第一步是通过 Z变换将卷积信号转换成乘积信号： Zx(n) = X(z) = Xl(z)*X2(z) (4.9) 第二步是利用对数运算将乘积信号转化为加信号： lnX(z) = lnX1(z).X2(z) = lnX1(z) + lnX2(z) = X1(z)+i2(z) = X(z) (4.10) 第三步是对上一步得到的加信号进行逆的 z变换，在将其恢复到时域： ZXl(z) + X2(z) = xt(n) + x2(n

10、) = xn) (4.11) 得到的时域信号 x()在经过同态系统中线性系统的线性处理后，可以利用特征系统 乃一 1. 再将其恢复成卷积信号。 (2) 倒谱与倒谱的求解 我们称时域序列 x( 为时域序列 x(n)的 “ 复倒谱 ” ，由于在绝大多数的信号处理中， X(z)和的收敛范围均包括单位圆，因此可以用离散的傅里叶变换 (DFT)代替式 (4.9) 中的 Z变换，用其逆变换代替式 (4.11)中 2_1变换，这样一来，公式 (4.9-4.11)就可以被改 与成： Fx(n) = X(eJ(0) (A 35 第四章语言特征参数提取及其改进 X(eja)=nX(eja) (4 13) x(n)

11、 = F-lX(eJC0)l (4 14) “ 倒谱 ” 的定义与 “ 复倒谱 ” 类似，区别在于将上式中的对数运算用模的对数运算 代替。若 c 表示倒谱，则倒谱的定义为： c(n) = F lln X(ejco) (4.15) 由式 (4.15)知， “ 倒谱 ” 实际上就是序列 x()的对数幅度谱的傅里叶逆变换。倒谱系数是 一种很好的语音特征参数，它能够去除人类发音过程中的激励信息，突出声道响应的特 性，在语音识别中得到广泛应用且取得了很好的效果 4 。 下面我们就推导一下 “ 倒谱 ” 求解过程。当序列 ;c()满足最小相位时， X(z)在单位 圆内就是解析的，这时就可以利用递推关系来简

12、化计算 : x， (z)=logX(z) = X(z) dz X(z) 等式两边同乘以得： 八 zX(z) = zX(z)X(z) 对上式进行逆的 Z变换得： 00 八 nxn) = xk)xn-k) co 当 不等于 0时，则两边同除以 k x(n) =， y x(k)x(n-k), n 关 0 n 当 n0 、 k= n (4.16) (4.17) (4.18) (4.19) (4.20) A 将其中的夂 ( ) = 夂 展 开 有 : k= n 36 长安大学硕士学位论文 n l k xn) = x(n)x(0) + y x(k)x(n -k) k=0 因此得出 “ 倒谱 ” 递推公式为

13、 : xn) 0 xn) A /7. xn-k) 2-xk)- x(0) k=Q x(0) ,n0 (4.21) (4.22) 式 (4.22)就是时域序列 x()与其 “ 复倒谱 ” x()的递推关系。 (3) LPCC的求解 LPCC即线性预测倒谱系数是一种十分重要的语音特征参数，与上面讲到的 “ 复倒 谱 ” 和 “ 倒谱 ” 不同，它是直接求线性预测系数的倒谱， LPCC与 LPC之间的递推关 系如下所示： c =l gG2 (4.23) c = = an+Z,Clcan-k (N) (4.25) k=i n 上式中的 q 般不计算，因为它代表的是直流分量，不影响频谱的性态，只影响频谱

14、的 能量大小。当线性预测倒谱系数的阶数小于线性预测系数的阶数 #时，用式 (4.24)进 行计算，若时，则用式 (4.25)进行计算。 4.2梅尔倒谱系数 MFCC 由于线性预测编码 (LPC)模型是基于人的发音模型建立的，因此线性预测倒谱系数 (LPCC)是一种表征语音合成特性的参数，并不能如实的反映人耳的听觉特性，而梅尔倒 谱系数 (Mel Frequency Cepstrum Coeficien， 简称 MFCC)就是一种将语音合成特性和人耳 感知特性相结合的特征参数，近年来得到广泛地应用。 4.2.1 MFCC参数原理 人耳所能感受到的声音信号的频率范围在 20Hz-20000Hz之间

15、，但是随着近年来神 经学和心理学领域对人类听觉系统的研宄发现，人耳对不同频率信号的感知能力是不同 37 第四章语言特征参数提取及其改进 的 41。对于 1000Hz以下的语音信号，其灵敏度与信号的频率成线性关系；对于 1000Hz 以上的信号，其灵敏度与信号频率的关系就近似于一种对数关系。因此，人耳对低频的 敏感度相较于高频信号更高。为了模拟人耳的这种感知特性，人们提出了 Mel频率尺度 的概念，将对 1kHz的音调的感知程度的 1/1000定义为 1个 Mel， 其和线性频率 /&的 转换关系如公式 (4.26)所示 42: fmel =25951og10(l + ) (4.26) 式 (4

16、.26)中， /为线性频率， /,rf为转换后的梅尔频率，两者之间大致成对数关系。 4.2.2 MFCC参数提取 MFCC参数提取的流程框图如图 4.2所示。从中我们可以看出， MFCC参数也是以 加窗 图 4.2 MFCC参数提取流程原理图 帧为单位进行计算的。 FFT为快速的傅里叶变换 （ Fast Fourier Transformation)， 其作用 是取得帧信号的离散功率谱。 Mel滤波是由 Mel频率滤波器组实现的， Mel频率滤波器 组是根据耳蜗的作用和特性而发明的一组滤波器 43。由于耳蜗对声音信号频率的感知能 力为非线性的，所以 Mel频率滤波器组在线性频域上是非均匀的三角

17、带通滤波器，将其 转换到 Mel频率域后，其在 Mel频率轴上就成了均匀分布的了。 24阶的 Mel滤波器在 线性频域中的输出如图 4.3所示，每个三角形的顶点所对应的频率为其中心频率 /,。可 以看到在较低的频率范围内，即当 m值较小时，相邻的 /，之间间隔很小， /和成线 性关系；随着 m的增加，相邻的 /，之间间隔也逐渐增大， /和 /，之间呈现出对数关系。 每个三角形带通滤波器的下限频率和上限率频率分别对应于两个相邻三角带通滤波器 的中心频率 /，也就是说，相邻的滤波器的过渡段相互重叠，且频率响应的和为 1。我 们还要提前计算好 Mel频率滤波器组的相关参数，以便求解 MFCC参数时使

18、用。 38 长安大学硕上学位论文 24阶 MEL滤波器 图 4.3 24阶 Mel滤波器组在线性频域上 的输出 在实际应用中，通常采用如下的步骤来计算 MFCC参数： (1) 首先对原始的语音信号进行预加重和加窗分帧等预处理，分帧时确定好每帧信 号的抽样点的点数，即每帧语音信号的长度 N。 设分帧后的帧序列为 fm+l fm-l (m; ,.) = |T(m,. )， )。 (3) 由巩 (似， )得路径的总失真。 (4) 按照上述方法从 i=M的点 (M,A 向前递推，即可获得最佳路径 n; = )， 其中 i 从 M 到 0。 50 长安大学硕士学位论文 5.2隐马尔柯夫模型 (HMM)

19、马尔柯夫模型 (Markov Model)是由安德烈 .马尔柯夫 （ AndreiMarkov， 1856 1922) 提出的一种统计模型，用途十分广泛。后来人们又在马尔科夫模型的基础上发展出多种 变型，隐马尔柯夫模型 (HMM)就是其中的一种。 HMM在语音识别中的成功应用，彻底 改变了语音识别的历史，具有及其深远的影响。 5.2.1马尔柯夫链 想要理解 HMM模型，就必须先介绍马尔柯夫链的概念 47。马尔柯夫链描述的是有 限状态机中的 N个状态在时间 T内的变化情况。用 S表示有限状态集 ， S 则状态机在某一时刻 t的状态 X,只能等于有限状态集 S中的其中一个状态 &，其中 f = l

20、,2,.； T， / = 1,2,.,7V。 状态机在时间 T内的状态 X按照时间先后顺序构成了一条 状态链尤 =尤 1,尤 2,.,： ，其概率满足下式 ： P(Z1,Z2,.,Zr)=P(Zf|Z1,Z2,.,Zf_1) (5.4) t=i 称满足式 (5.4)的状态链 X为马尔柯夫链。进一步，若状态链 X满足 “ 马尔柯夫假设 ” ， 即状态链 X中任一时刻 t的状态 X,属于有限状态集 S的概率只与它的前一个状态 有关，而与 t-1时刻之前的任何状态都无关，则状态链 X = XPX2,.,J的产生概率满足 : P(X l ,X2,.,XT) = P(X i )flP(X t Xt_i)

21、 (5.5) t=2 此时，就将状态序列 x组成的马尔柯夫链称作 “ 齐次马尔柯夫链 ” 47。 由于不存在 t=0的时刻，因此 t=l时状态机的状态 X,由矩阵 ;=;1,;2,.,;v决定。 矩阵 ;T为初始状态概率分布矩阵。； T的分量 ;T,.， /=1,2,.,W分别表 7K齐次马尔柯夫链 中初始状态 &等于有限状态集中的第 i个状态 &的概率，即： TrPiXS,), i = l,2,.,N (5.6) 除了初始状态的概率分布矩阵 ;r之外，再定义一个 N阶的方阵 A = 其中方阵 的元素的值表示状态从 & 一步转移到丨的概率，因此称方阵 A为状态转移矩阵， 51 第五章模型的训练

22、和识别算法及其改进 元素计算公式为： a,j =P(Xr+l = Sj I Zr = 5;), l j_;其初始概率分布为： f 1 i = 1 1 ?,1 (5.9) 即必须从第一个状态开始转移。由于这种从左至右的 HMM模型能够反映时序结构，因 此在语音识别中常常采用这种模型。 5.2.5 HMM的三个问题及其求解算法 在了解 HMM的定义及其拓扑结构后，要将其实际应用于语音识别，还需要解决以 下三个问题 5Q。 问题 1:输出概率的计算问题 在给定 HMM模型 A=TT,A, 5 和 观 察 序 列 的 情 况 下 ， 如 何 计 算 观 察序列 0对 HMM模型 ;I的输出概率尸 (O

23、IA)。 问题 1又被称作评价问题，试想，若存 在多个模型，通过计算由每个模型观测到给定观察序列的概率，我们就可以评价出一 54 长安大学硕士学位论文 个最优的模型。 问题 2:最佳状态序列的确定问题 在给定 1111模型 /1=； ,人 5和观察序列 (9 = | 1， (92， .， (的情况下，如何确定一 个最优的状态序列 2 = 1， ,.,%，使得该状态序列广生该观测序列的概率最大。问题 2又被称作解码问题。 问题 3: HMM模型参数的调整与优化问题 在 给 定 观 察 序 列 的 情 况 下 ， 如 何 设 定 与 优 化 HMM模型的三个参数 ； 1=丨冗 ,5丨，使得该 11

24、/模型产生该观测序列 0 = 1， 2， .， 的概率最大。问题 3 又被称作学习问题。在实际应用过程中，这一过程又叫做模型的训练过程，即通过大量 的训练样本来调整和优化模型的参数。 如果能够很好的将上述的三个问题解决，那么将 HMM模型应用于语音识别也就迎 刃而解。 1. 问题 1的解决 前向后向算法 前向后向算法正是用来解决 HMM的第一个问题的方法。对于给定的 HMM模型 /戌奶和观察序列 卜 外卜按照一般思路 “ 十算输出概率尸 丨幻的方 法如下： 设给定的状态序列为 2 = 务 ，贝 1J有： P0Q,X) = YPiptqt) = bqi ( !)bq2 ( ,) bqr (oT)

25、 (5.10) r=l 式 (5.10)为在状态仏下，输出为 ,的概率的乘积。其中 ( ,) = /19,=,= 1,|， 1(/) t= 由上述公式可以看出， HMM模型的训练过程是一个求泛函极值的过程，目前对于这类 问题还没有解析方法 53。因为给定训练序列是有限的，所以找不到一种估计参数 ;I的 最佳方法， 5awm-V/c/7算法就是利用递归的思想，求出使得尸 (91 2)局部最大的参数， 即为重估优化的结果。 5.2.6 HMM的实现 前面我们从理论的角度分析了 HMM模型的识别与训练算法，但是想要将其成功应 用于语音识别，还要解决一些实际问题。 (1) HMM模型中状态数的选取 对

26、于 HMM模型中状态个数选取，根据国外研宄表明 485 ，并非越多越好。大量的 实验结果显示，对于英文来讲，其每个音节对应状态数为 6左右时识别效果最好，而对 于汉语单字识别，则 HMM状态数取 6-9之间是比较合适的。 (5.31) (5.32) (5.33) 60 长安大学硕上学位论文 (2) V/te叻 /算法的简化处理 由于在语音识别的应用中，常常选取 HMM模型的二转移结构，即状态只能向自身 或者下一个状态转移，因此在计算 V/te叻 /算法的搜索最佳状态序列的路径时，每次计算 也只有两个可供选择的路径，这就导致 V/te叻 /算法与全概率算法相比并无优势。考虑到 人们在计算时只关心

27、概率的比较大小，而非概率的具体数值，因此可以对算法中概率结 果取对数，将大量的乘法运算转换成加法运算，这将大大减少整个算法的运算量。此外， 对概率结果对数处理还可以避免由于概率太小，连乘容易得到 0而产生的溢出问题 54。 (3) 数据溢出问题 除了 算法中小概率连乘容易导致数据溢出外，在算法的计算 过程中也会进行大量的连乘计算，且每个乘积项的值都小于 1，多项连乘后随着？的增 大 (/)和爲 (/)的值都会逐渐减小，当减小至一定程度，就可能超出计算机所能计算的 表示范围，称这种现象为数据溢出。实际应用中，常常采用归一化处理的方法来解决这 个问题。 通常的处理方式为：首先定义归一化的基值它表示

28、当前时刻 W的所有前向概率 的总和；然后每次计算出前向概率 (j)和后向概率久 (j)后，都要将这两个概率除以 前面定义的归一化基值 c，做归一化处理。因此在 W时刻归一化后的前后向概率分别为 : (5.34) iLU、 =Pn(jV cn (5.35) 将得到的归一化的 W时刻概率作为基础进行递推，将得到的下一个时刻的前后向概 率，再按照式 (5.34)和 (5.35)进行归一化处理，直到计算结束。实践证明，经过了如此归 一化处理后的结果能够解决数据溢出问题。 (4) 初始模型选取 经 过 前 面 的 介 绍 ， 我 们 知 道 通 过 算 法 训 练 优 化 模 型 参 数 时 ， 首 先

29、 应 该 确定一个初始模型 5丨，然后在此模型的基础上不断地对模型参数进行优化调 整，直到得到的参数满足要求。不同的初始值可能造成不同的训练结果，当初始模型选 取不当或表征不够精确时，都有可能导致迭代次数过多或迭代不能收敛。因此选取合适 的初始模型，即科学合理的对 HMM模型进行初始化就显得尤为重要。 61 第五章模型的训练和识别算法及其改进 在研宄和实验中，一般采用随机选取和均值选取两种方法对 HMM模型的参数进行 初始化 55。其中，初始状态分布 ;T和状态转移矩阵 A对最后结果的影响不大，因此常 常直接采用随机或者均值的方法选取能够满足概率要求的初值即可。而对于输出概率 5 的设置问题应

30、引起足够的重视，一般根据已有的经验对其进行估计，必要时还可以多次 设置，同时采用 V/te叻 /算法进行多次验证，直到满足要求为止。 5.3隐马尔柯夫模型 (HMM)改进 在上一节的最后讲到了 HMM模型的初始化问题。其中谈到了 HMM模型参数初值 选取的重要性及传统的初始值选取方法：随机选取和均值选取。其中用均值法对输出概 率 5进行初始化时，先将待识别基元输出的可观察矢量序列 = 1， 2， .， 平均分成 W份， W即为状态数。由于在语音识别领域采用的 HMM模型的拓扑结构均为自左向 右的结构，因此均分成 W段后的观察矢量与 W个状态在时间上是对应的，每一段观察 矢量都对应于 HMM模型

31、中的一个状 态。然后分别对每一段观察矢量求方差、均值等参 数来确定输出概率 6的初值。 上述通过均分的方法对 HMM参数 5进行的初始化存在一定的缺陷，那就是不能够 很好的反映语音信号不同帧之间的相关性差异。所谓的语音信号不同帧之间的相关性， 就是指虽然语音信号的各帧之间存在一定的差异，但是这种差异是存在一定的规律的， 即每帧语音信号都与发音音素存在直接的联系，当帧语音处于相同的发音音素，则这帧 语音信号的特征参数之间就存在很强的相关性；反之，当帧语音处于不同的发音音素， 则帧语音信号的特征参数之间的相关性就会较弱。因此，本文就基于帧语音参数之间的 相关性对 HMM模型的初始化进行改进，具体步

32、骤如下： (1) 通过计算语音特征参数序列中的相邻帧之间的距离来判断其相关性，距离越小， 其相关性就越强。距离的计算公式为： 尤 =C+1 (0 _(/)2 ， n = 1， 2, ， r _ 1 (5.36) /=1 式 (5.36)中，为 IMFCC参数的阶数，丨 2为 IMFCC参数的帧号。 (2) 从 J中找出 W-1个极大值点，然后以这些极大值点所对应的 62 长安大学硕上学位论文 帧序号将观察序列分成 W段。 (3) W段观察序列就对应着 W个状态，对每一段观察序列分别进行尤均值聚类。每 一个状态对应的观察序列数据都被聚成了 M类 (M为混合高斯元的个数 )，最后再分别 计算出每一

33、类数据的均值、方差、权重等参数。 本文对 HMM模型的初始化的改进，使初始的模型参数更加符合语音信号的特点， 同时表征也更准确。通过实验发现，这种新的 HMM模型初始化方法在一定程度上减少 了语音训练过程中的迭代次数和训练时间，提高了识别率。 5.4 HMM初始化方法对比仿真实验 5.4.1实验准备 (1) 语音样本 本次实验所用的语音库中语音样本是 5名说话人 (3男 2女 )在实验室环境下，采用高 性能麦克风并配合 CoolEditPro录音软件所录制的。样本的内容为汉语数字 “1 -10” 及 英语数字 “1 -10” 的语音。其中每个数字的发音都分别录制了 10遍，每一遍录音之间 相隔

34、一天以上。因此实验的语音库中共有 1000个语音样本。 (2) 实验平台 硬件平台：高性能台式机 (至强 E1230四核八线程 CPU; 8g内存） 软件平台 ： Windows 7操作系统，基于 MATLAB 2012b开发的语音识别仿真实验平 台（关于该仿真实验平台的建立将在第六章中介绍 ） 5.4.2实验内容 (1) 预处理 首先对语音样本库中样本进行预处理，采用 10kHz的采用频率对其采样， 16bit数字 量化，加长度为 300(30ms)的汉明窗，帧移长度为 lOO(lOms)， 对语音信号进行端点检测， 提取其有效段。 (2) 特征参数提取 经过预处理的语音序列，对其进行特征参

35、数的提取。在本次实验中提取带差分 IMFCC参数进行实验，带差分的 IMFCC参数的维度取 42。 (3) 识别模版的训练与识别 63 第五章模型的训练和识别算法及其改进 由于每个说话人每一种发音都录制了 10遍，因此我们取其中的 5遍作为训练样本对 语音识别模版进行训练，那么每一个识别基元的训练样本数为 50个。识别模型选取 HMM模型， HMM中的高斯元个数为 4,状态数取 6,且 HMM模型的拓扑结构选取二 转 移 结 构 ， 采 用 算 法 来对 模 型 进 行 训 练 优 化 。 判 断 收 敛 的 条 件 为 当 本 次 概率输出与前次概率输出之间的差值比上本次输出概率的值小于 5

36、x 1CT6，此时迭代结 束。本次实验中设置最大迭代次数为 65次，当迭代次数超过 65次时，无论满不满足收 敛条件，迭代都要强制结束。 本次实验的目的是比较两种 HMM模型的初始化方法之间的性能优劣，因此我们从 训练和识别两个角度对其进行比较，主要的对比项目有迭代次数、训练时间以及识别率 等。 (4) 识别及其结果分析 表 5.1分别列出了采用传统的 HMM模型初始化和采用本文提出的改进后的 HMM模 型初始化参数进行语音训练时迭代次数和训练时间等数据。 表 5.1两种初始化方法的训练结果比较 识别基元 初始化方法 传统的 HMM初始化方法 改进的 HMM初始化方法 迭代次数 训练时间 (S

37、) 迭代次数 训练时间 (S) 汉 语 发 音 1 11 39.1 15 48.6 2 10 36.4 12 39.2 3 15 49.8 20 70.4 4 15 50.3 12 39.6 5 32 132.7 15 49.3 6 24 90.5 11 40.5 7 31 129.3 15 49.6 8 28 97.6 13 45.5 9 20 76.2 17 59.7 10 30 124.8 20 76.9 语英 1 11 38.2 10 35.7 64 长安大学硕上学位论文 2 12 37.6 10 36.2 3 11 37.2 13 44.5 4 13 45.8 10 36.3 5 3

38、5 142.6 14 47.3 6 28 96.5 17 53.5 7 30 123.8 16 52.6 8 26 90.5 14 48.9 9 15 48.6 16 53.8 10 13 44.7 11 37.5 平均 20.5 76.6 14.5 48.3 结果表明，采用改进的 HMM模型初始化方法后，比传统的 HMM模型初始化方法 在迭代次数和训练时间上都有所减少，其中平均迭代次数从 20.5次减少到 14.5次，而 平均训练时间由原来的 76.6S减少到 48.3S， 性能提升明显。但是我们也看到，并不是 每一个识别基元的迭代次数和训练时间都有减小，如表中 5.1所示，有个别识别基元的

39、 迭代次数和训练时间不降反增，宄其原因可能是由于说话者的语速不稳，找到的极大值 点不一定就是划分状态的最佳位置。 在经过了语音训练之后，我们再利用录入的剩余 5遍语音样本进行语音识别的实验， 对比两种不同的初始化方法训练的系统，其识别率的结果如表 5.2所示。 表 5.2两种初始化方法的识别率比较 算法 识别率 传统的 HMM初始化方法 90.6% 改进的 HMM初始化方法 95.8% 上表结果表明改进后的 HMM初始化方法与传统的 HMM初始化方法相比识别率由 原来的 90.6%提高到 95.8%，说明了改进后的 HMM模型初始化方法能够更好的反映语 音信号的短时稳定性，同时也验证了新的按相

40、关性划分状态的方法比之前的均分更加的 科学合理，能够更好的表征识别基元。 上述两个实验结果验证了新的改进后的 HMM初始化方法比传统的 HMM初始化方 法更加科学合理。在减少迭代次数和节约训练时间的同时还，提高了识别率。因此，改 进后的 HMM初始化方法性能要优于传统方法。 65 第五章模型的训练和识别算法及其改进 5.5本章小结 本章首先介绍了语音识别中常用的模版匹配方法：动态时间规整 (DTW)技术，它解 决了匹配时时间长短不一的问题。然后又重点讨论了当今语音识别领域应用最广泛、效 果最好的关键技术：隐马尔柯夫模型 (HMM)， 从隐马尔柯夫链的定义及其基本理论出发， 又探讨了将其应用于语

41、音识别时所面临的三个问题及其 解决办法。最后针对传统 HMM 模型初始化存在的不足和缺陷进行了改进，并实验验证了改进后的初始化算法与传统的 方法相比，性能得到了提升。 66 长安大学硕士学位论文 第六章语音识别实验平台的建立与仿真实验 本文采用 MATLAB建立了一个小型语音识别实验平台，并在此基础上进行仿真实 验，第四、第五章中的仿真对比实验就是在这个平台上进行的。 MATLAB是一款功能强大的数学软件，集数值计算、控制系统设计与仿真、通信系 统设计与仿真、数字信号处理等多种功能于一身，且将这些强大的功能集成到了一个简 单易用的视窗环境中，被广泛应用于工程计算、控制系统设计、图像处理、金融建

42、模和 信号处理与通讯等领域。MATLAB还带有三十几个工具箱，用来扩充其符号计算功能， 其中就包括了语音处理工具箱 (VoiceBox)。 VoiceBox工具箱中集成了许多常用的与语音 信号处理和特征参数提取相关的工具函数，使用它可以很方便对语音信号进行相关的操 作，在降低语音识别系统设计的复杂度的同时也大大缩短了设计周期。此外，最新版本 的 MATLAB在图形用户界面 (GUI)上已经得到了很大的改善，完全可以满足可视化人机 交互软件开发的需求 56。因此，论文采用 MATLAB建立语音识别系统和仿真实验平台， MATLAB版本选用较新的 2012b。 本仿真实验平台主要包括录音模块、预处

43、理模块、特诊参数提取模块、基于 DTW 的语音识别模块和基于 HMM的语音识别模块。此外，还预留了语音合成等功能拓展模 块。 6.1实验平台的建立 6.1.1创建语音数据库 在建立语音识别系统前，首先应该创建语音数据库，利用语音数据库中的样本对系 统进行训练和检验。本文创建的语音 数据库就是前面仿真实验中用到的语音库，即 5名 说话人 (3男 2女 )在实验室环境下，采用高性能麦克风并配合 Cool Edit Pro录音软件所 录制的语音样本库，样本的内容为数字 “1 -10” 的汉语语音及英语语音。其中每个数字 的发音都分别录制了 10遍，每遍录音之间相隔一天以上，因此原始的语音库中共有 1

44、000 个语音样本。语音信号的采样频率为 22.05紐 s， 精度为 166/Y， 保存为 wav格式。语音 库中的语音样本文件按照录音内容的不同被分别放入不同的子文件夹内，样本文件的命 名方式为：内容 -说话人 -录音遍数序号 。 67 _ 第六章语音识别实验平台的建立与仿真实验 _ 6丄 2语音识别系统方案设计 首先，对语音库中的语音样本进行数据压缩，采样频率为 10好 /z， 精度保持 16foY。 由于在语音信号的采样过程中会有 6必 /倍频的衰减，因此需要对其进行预加重处理。本 系统采用预加重滤波器 1-0.9475Z-1对语音进行预加重处理，在提升高频部分同时消除 低频干扰。利用本

45、文提出的基于图像边缘检测技术的端点检测方法对语音进行端点检 测，对语音信号进行加窗分帧处理。 其次，对于得到的帧语音，提取其加权的梅尔倒谱参数 (WMFCC)及其一、二阶差分 组成的联合参数。其中，每帧提取的 MFCC参数的数量为 14个，采用典型的加权系数 %=0.5 + 0.5*81 */?)， / = 0， 1， 2,.， /?对 /(： (：参数进行加权处理，再计算其 一阶差分和二阶差分用于描述其动态特性，最后将加权后的 MFCC参数和其一阶、二阶 差分一起组成一个 42维的联合语音特征参数。因此每帧语音都能得到一个 42阶的参数。 再次，用得到的参数对 HMM模型进行初始化。在这里，

46、选取状态数为 6,初 始概 率分布 ; = l， 0,0,0,0,0，即概率从状态 l开始转移。利用均值法确定状态转移概率矩阵 A， 然后采用本文提出的 HMM模型的初始化方法确定 6,因此语音信号的观察序列被 按照其相关性分成了 6(状态数 )段。完成 HMM初始化后，利用语音数据库中的语音样 本 对 其 进 行 训 练 ， 训 练 方 法 采 用 算 法 ， 当 概 率 之 差 小 于 等 于 5 xl(T时即判 断为收敛，停止迭代，最大迭代次数设为 65次。将完成训练的 HMM模型保存到模型 库，这样就得到了语音数据库中各个识别单元的模型库。 最后，采用叻 /算法对待识别的语音进行识别，

47、通过计算识别单元模型库中各个 模型与待识别语音单元之间的匹配程度，确定识别结果。 本系统包含了基于两种原理的识别模块，分别是基于 HMM的识别模型模块以及基 于 DTW的识别模块。 其中， HMM训练过程如图 6.1所示。 68 长安大学硕士学位论文 图 6. 1 H丽训练过程 6.1.3语音识别系统编程流程 本语音识别系统的程序流程图如图 6.2所示。系统程序按照功能划分，主要分为训 练部分和识别部分。主要的程序文件有： epd.m， preprocessing .m， imfcc.m， train.m, init.m, get_param.m, bw.m, viterbi.m, recognize.m。 69 第六章语音识别实验平台的建立与仿真实验 hmm_train.m 失真度最小的模版