基于fisher判别字典学习的说话人识别-王伟.pdf

《基于fisher判别字典学习的说话人识别-王伟.pdf》由会员分享，可在线阅读，更多相关《基于fisher判别字典学习的说话人识别-王伟.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 38 卷第 2 期 电 子 与 信 息 学 报 Vol . 38No.2 2016 年 2 月 Journal of Electronics & Information Technology Feb. 2016 基于Fisher判别字典学习的说话人识别 王 伟 韩纪庆*郑铁然 郑贵滨 陶 耀 (哈尔滨工业大学计算机科学与技术学院 哈尔滨 150001) 摘 要：稀疏表示已成功应用于说话人识别领域。在稀疏表示中，构造好的字典起着重要的作用。该文将 Fisher准则的结构化字典学习方法引入说话人识别系统。在判别字典的学习过程中，每一个字典对应一个类标签，因此同类别训练样本的重构误差较小。同时，

2、保证训练样本的稀疏编码系数类内误差最小，类间误差最大。在 NIST SRE 2003 数据库上，实验结果表明该算法得到的等错误率是 7.62%，基于余弦距离打分的 i-vector 的等错误率是 6.7%。当两个系统融合后，得到的等错误率是 5.07%。 关键词：说话人识别；字典学习；稀疏表示；Fisher 判别 中图分类号：TP391.42 文献标识码：A 文章编号：1009-5896(2016)02-0367-06 DOI: 10.11999/JEIT150566 Speaker Recognition Based on Fisher Discrimination Dictionary L

3、earning WANG Wei HAN Jiqing ZHENG Tieran ZHENG Guibin TAO Yao (School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China) Abstract: Motivated by the success of sparse representation in speaker recognition, a good dictionary plays an important role in sparse repr

4、esentation. In this paper, the structured dictionary learning is introduced to speaker recognition based on the Fisher criterion. In the process of learning the discrimination dictionary, each sub-dictionary of the learned dictionary corresponds to a class label, so the reconstruction error of the s

5、ame training samples is small. Meanwhile, the sparse coding coefficients have small with-class scatter and big between-class scatter. On the NIST SRE 2003 database, the experimental results indicate that the proposed method achieves an Equal Error Rate (EER) of 7.62%, and the i-vector system based o

6、n cosine distance scoring gives an EER of 6.7%. Moreover, an EER of 5.07% is obtained by combining two systems. Key words: Speaker recognition; Dictionary learning; Sparse representation; Fisher Discrimination (FD) 1 引言在过去的几年里，稀疏信号表示已广泛应用于数字信号处理领域说话人识别是语音识别领域的一个重要组成部分，其目的是从说话人的语音中提取出说话人的个性特征，对说话人进行辨

7、别的过程。该技术广泛应用于司法取证、声控门锁、银行、电子商务和国防等领域。 1 5，例如：压缩感知和图像恢复。近年来，人们发现基于分类的稀疏表示的实验结果比较好，因此被广泛使用。稀疏编码是通过构建过完备字典6对任意一个信号进行最紧凑的线性表示。构建稀疏编码字典的方法有两种，分别是标收稿日期： 2015-05-13；改回日期： 2015-09-06；网络出版： 2015-11-19 *通信作者：韩纪庆 基金项目： 国家自然科学基金( 61071181, 61471145)， 国家自然科学基金重大研究计划 (91120303) Foundation Items: The National Nat

8、ural Science Foundation of China (61071181, 61471145), The Major Research Plan of the National Natural Science Foundation of China (91120303) 准的数据模型法( 例如：wavelets7, curvelets8和Gabor函数9)和数据驱动方法( 例如： k-SVD10和online dictionary11)。在第 1种方法中，选择的标准字典原子通常不能足够有效地表示信号，而利用数据驱动方法学习的字典却能更准确地代表信号，因此第 2种方法得到了成功的使用

9、12 14。例如，由所有类别的训练样本构成一个案例字典，通过比较未知话者和目标话者稀疏系数的范数值或者残差值进行分类10。但是，直接把训练样本作为字典是数据冗余的，如果训练样本数太多，大量的计算也会成为棘手的问题。因此， 在训练样本中学习得到一个更简洁或鲁棒的字典，不仅优于案例字典，而且具有更好的数据独立性10。目前，已有人提出基于分类的判别字典学习方法15 21，例如，利用判别重构约束的字典学习方法15和利用判别 K-SVD算法(Discriminative K-means Singular Value Decomposition, DKSVD)得到一个所有类别的公共字典的方法16等。但是，

10、一个公共字典的原子和类368 电 子 与 信 息 学 报 第 38 卷 别之间的关系是模糊的。为了克服这个弱点，需要从每类训练样本中学习同类别的子字典，通过使用较少的字典原子获得更个性化的信息，例如：文献17使用结构化不连贯的信息学习字典。然而，这种字典的学习方法没有考虑稀疏编码系数的判别能力。为了克服这个缺点，文献18 使用一个标签连续地正则化实现稀疏编码系数的判别性，文献19 通过使用逻辑损失函数学习一个监督的字典，文献20通过使用铰链损失函数去学习一个监督的字典。不同于上面的方法，文献 21提出了一种Fisher 准则的判别字典学习算法(Fisher Discrimination Dic

11、tionary Learning, FDDL)，将其应用在图像分类上，得到了较好的性能。 针对以往基于字典学习的说话人识别方法中，既没有考虑字典中原子所对应的类别标签，也没有综合考虑稀疏编码系数的类内和类间误差。本文尝试将基于 Fisher 准则的判别字典学习方法引入到说话人识别中，通过利用字典中原子所对应类别标签来减少同类对应的重构误差，同时综合考虑稀疏编码系数类内和类间误差，以使类内误差最小、类间误差最大。此外，通过采用 L2 范数来求解稀疏编码系数以提高识别速度。 2 说话人识别系统 本节详细描述所提出的基于Fisher 准则判别字典学习的说话人识别方法。2.1 节介绍特征提取方法。2.

12、2 节详细解析基于Fisher 准则的判别字典学习框架。 最后一节介绍使用基于 Fisher准则的判别字典学习方法在说话人识别上的应用。 2.1 I-vector特征提取 目前，在说话人识别中最具有挑战的问题是训练数据和测试数据之间的信道不一致22, 23。经典的联合因子分析(Joint Factor Analysis , JFA)是基于说话人和信道因素分开的，但是信道空间还是会包含有说话人信息。文献24 提出了i -vector特征提取方法，其基本思想是假设说话人信息以及信道信息同时处于高 斯混合模型高维均值超矢量空间中的一个低维线性子空间结构中，使用式(1)表示。 M m Tw(1) 其中

13、， M 表示高斯混合模型均值超矢量， m 表示与特定说话人和信道都无关的超矢量。 而GZTR表示总体变化子空间矩阵，是低秩的矩形矩阵，其完成从高维空间到低维空间的映射。因此， 将说话人信息和信道信息的GMM 均值超向量GMR投影 到低秩空间T ，同时得到i -vector低维度的向量ZR ，其中 是一种具有标准正态分布的随机向量。 由于总体变化子空间包含说话人信息和信道的信息，在提取i -vector后，需在总体变化子空间上进行会话的补偿。信道补偿通常基于类内协方差归一化 (Within Class Covariance Normalization, WCCN)25和线性判别分析(Linear

14、 Discriminate Analysis, LDA)24两种方法。其中， WCCN用来规范化余弦函数补偿会话间的变化，LDA 用来寻找新的正交轴，即通过最大化类间方差和最小化类内方差来区分不同类别。 2.2 Fisher判别字典学习 假设有 C 类训练样本，从训练样本中提取 M 维度的i -vectors特征矩阵12, , MNCX XX X R ，用iMNiXR 表示第 i 类训练样本提取的i -vectors 特征，同时，1CiiNN表示在训练集中提取的 i-vectors特征的总个数。用12= , , , MKCD DD D R表示的判别字典中包含 C 类子字典，其中iMKiDR 为

15、第 i 类字典矩阵，并用1CiiKK表示字典中原 子的总数。用12, , KNCA AA A R 表示训练样本 X 在字典 D 上分解得到的稀疏编码系数，即X DA, KNiiAR 表示第 i 类训练样本iX 在字典 D 上分解后得到的稀疏编码系数。为了使学习的字典 D 既具有较好的重构能力，又具有很好的判别能力，我们采用了 Fisher准则的判别字典学习(FDDL)方法。本文的目标函数定义为 (,) 1 21(,)arg min ( , , ) ( ) DADAJ rXDA A Af(2) 其中， (,)rXDA是保真项；1| |A 为稀疏编码系数的稀疏约束项； ()Af 表示判别约束项；两

16、个常量1和2 控制目标函数中3 项信息的比例。 其中定义保真项为 122121,(,) ( , )CiiiCii i i iiFFiCjjiFj ji rXDA rX DAXDAXDADA (3) 其中，jiKNjiAR 表示第 i 类训练样本iX 在子字典jD 上分解后得到的稀疏编码系数。首先，字典 D 能很好地表示样本iX ，因此，2| |i iFX DA 应该小。其次，iD 也可以很好地表示样本iX ，但是不能被jD ( ij )很好地表示。因此，2| |ii ii FX DA 和2| |jji FDA 也应该小。 定义判别约束项 ()fA为 2( ) tr( ( ) tr( ( ) |

17、 |WB F fA S A S A A (4) 第 2 期 王 伟等： 基于 Fisher 判别字典学习的说话人识别 369 其中， ()fA保证训练样本的稀疏编码系数 A的类内误差 ()WSA最小，而类间误差 ()BSA最大， 表示常量。 定义类内误差 ()WSA为 T1() ()()kiCW kikiiaaa ASA m m (5) 定义类间误差 ()BSA为 T1() ()()CB ii ii SA nmmmm (6) 其中，KimR和KmR分别表示稀疏编码系数iA 和 A的均值向量。 in 表示iX 中i -vector采样特征的总数。将2| |FA 加入式(4)中解决非凸且不稳定的问

18、题。将式(3) 和式 (4)代入式 (2)中，可重新定义FDDL的目标函数为 (,) 11(,)122arg min , ,tr( ( ) tr ( )CiiiWBF DADAJ rX DA ASA SA A (7) 关于( ,DA)目标函数 J 是非联合凸函数，为了解决这个问题，我们可以固定 D，优化 A，或者固定 A，优化 D 。将(,)DAJ 采用现有的解决方案26, 27，求解最优化问题的步骤如表1 所示。 表1 基于Fisher准则的判别字典学习算法 (1)初始化字典 D ，字典的每个原子表示训练样本提取的 i-vector特征。 (2)固定字典 D ，化简式(7) 为 2() 1

19、1 2()221arg min , , | | | (8)iiii i iiFCk iFFk AAJ rX DA A A MMM A 其中KMR和KiMR分别代表所有类和第 i 类稀疏编码系数均值。利用迭代投影法26, 更新训练样本集的稀疏编码系数 A。 (3)固定稀疏编码系数 A，化简式(7) 为 2()()1,221,arg miniiCijj jiFCiji ii jiFFj jiD DDJ X DA DAX DA A(9) 使用投影字典对学习字典27，更新字典 D 。 (4)当相邻迭代结果误差达到了最大迭代次数时，输出 A和 D ，否则，返回步骤 2。 2.3 基于FDDL的说话人识别

20、 因为判别字典的学习使用了重构误差和稀疏编码系数的判别信息，所以同时使用重构误差和稀疏编码系数进行分类，从而测评子字典是否能很好地重构测试样本。使用子字典iD 表示测试样本MyR的稀疏编码系数，定义目标函数为 22222arg miniii aama y Daa(10) 其中，iim 是与字典iD 相关联的第i 类稀疏编码系数均值向量； 表示常量；使用最小化L2 范数求解 a 的最小二乘，可以很快得到解。 因为学习的字典iD 不仅可以很好地线性表示y , 而且稀疏编码系数向量 a 与iim 相似，定义分类的评分为 22222iiii ame y Daa(11) 最后分类结果为1,2, ,id(

21、 ) argmin iiCye最小值为正确 结果。 本文中，训练集和测试集都使用i -vector作为特征。通过使用FDDL 方法学习一个判别的字典，而判别字典的线性加权表示一个测试语音的i -vector特征。利用 L2范数最小化计算训练样本的稀疏编码系数。如果测试结果与说话人相关的ie 最小，就对应此说话人。图1 给出本文系统的详细结构图。 3 实验结果评估 为了评估本文方法的性能，我们在 NIST SRE 2003的女生数据集上进行了实验测试28。 NIST SRE 2003 数据集上包括女生数据集、男生数据集和男女混合数据集。每个数据集都有独立的测试计划。许多文章的实验结果都是在一个数

22、据集上进行的14, 29 31。因此，我们仅在 NIST SRE 2003 的女生数据集上进行测试。在 NIST SRE 2003 的女生数据集中，训练集由 207 个目标说话人语音组成，语音大约 2 min时长；测试集由 1759 个正确的说话人语音和 17590个错误的说话人语音组成。所有的语音文件都是wav 格式，采用了 8 kHz 采样和 16 位量化。提取每一帧的短时能量，窗长 20 ms，帧移 10 ms。在采用34 维 MFCC(16+log(energy+) 的特征提取后, 为了削弱语音内部的差异，又采用了归一化的倒谱均值减(CMS) 和特征弯折(FW)32处理。 3.1 基于

23、i-CDS的说话人识别系统 基线系统是基于余弦距离打分 (Cosine Dis- tance Scoring, CDS)的身份验证矢量i -vector系 统33。在 i-vector系统中，训练了1024个高斯的UBM ，UBM的参数估计采用最大似然准则。在OGI 语料和 370 电 子 与 信 息 学 报 第 38 卷 图1 本文系统的结构图 NIST SRE 2003语料上训练由200 个 总体因子构成的总体变化子空间矩阵。每个i -vector的维度是200 ，每个完备的字典包含100个原子。基于i -CDS的说话人识别基线系统，通过余弦距离打分来评测i -vector间 的相似性。根

24、据等错误率 (Equal Error Rate, EER)度量系统的性能，等错误率表示 错误接受率和错误拒绝率相符时的错误率。当系统的等错误率越低，代表系统的性能会更好。图 2(虚线图 )表示基线系i-CDS相关结果，其等错误率(EER )是6.7% 。 3.2 基于FDDL的说话人识别系统 NIST SRE 2003中的每个测试语音都有11类说话人训练样本，训练样本的每类200 维度的i -vectors构成初始化字典。图2 表示基于FDDL 的说话人识别系统，其中10.0001 和20.005 。 FDDL的等错误率(EER )是7.62% 。 本文所提出的基于FDDL 的说话人识别系统，

25、其字典的学习兼顾了两方面的判别性信息，一是字典的原子与类别标签相对应，使同类别训练样本的重构误差最小；另一方面利用了训练样本稀疏编码系数的类内误差最小、类间误差最大的判别性信息。在字典学习中，将训练样本随机分成了 10等份，每一等份生成一个i -vector，即为一个原子，这里生成 图2 在NIST SRE 2003 数据库上的基线 系统、FDDL 系统、融合 系统的 DETs 的 i-vector信息量明显少于一个整体训练样本生成的一个i -vector 的 i-CDS ，所以，本文方法FDDL(EER=7.62%)性能略低于 i-CDS(EER=6.7%)性能。 3.3 基于FDDL和i-

26、CDS融合的说话人识别系统 用FDDLS 和i CDSS 分别代表FDDL 和 i-vector的分数，这两个分数通过线性加权和得到融合系统的分数，定义为 FDDL i CDS(1 ) SS S (12) 图 3 表示融合系统的结构图。调节不同融合系数 值，对说话人系统的性能进行评估，其结果如图 4所示。当 0.7 时，等错误率( EER)是 5.07%，融合系统得到最好的测试结果，如图 2 所示(实线图 )。图 2 中(实线) 结果表明，上述两种系统融合得到的新系统识别效果更好。 分析其中的原因在于， 本文提出的 FDDL 说话人识别系统和 i-CDS 说话人识别系统是基于两种不同的方法，F

27、DDL 说话人识别系统利用了一种新的分类方法稀疏表示分类法，在过完备的字典中用尽可能少的原子来表示信号，从而更容易获取信号中所蕴含的信息，因此，稀疏表示对信号有着更有效和更出色的建模能力。而i-CDS 说话人识别系统是基于高斯混合模型- 通用背景模型(Gaussian Mixture Model- Universal Bsckground Model, GMM-UBM)为基础的说话人建模方法，其有重要的 降维作用。降维的目的是分离所有说话人语音的共性特征，保留不同说话人间独特的语音特征，如果分离得当，区分性特征信息将保留在 i-vector 中。因此，融合系统具有两种方法在说话人识别上的优点，

28、可以得到更好的识别效果。 3.4 不同字典学习方法的比较 为了说明本文方法的优势，我们将 FDDL与其它两种常用的判别字典( DKSVD, LC-KSVD)学习方法进行了实验结果比较，如图5 所示，其中短划线、虚线和实线分别表示FDDL , DKSVD和 LC-KSVD 第 2 期 王 伟等： 基于 Fisher 判别字典学习的说话人识别 371 图3 说话人识别融合系统的结构图 的结果，其中，DKSVD 的等错误率是10.57% 和LC-KSVD的等错误率是7.98% ，而 FDDL等错误率是 7.62%。从图 5中的结果可以看出，FDDL 优于其 它两种方法。这是由于在字典学习的时候， D

29、KSVD 只考虑了稀疏编码系数的判别性； LC-KSVD没有同 时考虑残差的重构性和稀疏编码系数的判别性。 4 结论 本文提出了基于Fisher 准则的判别字典学习的说话人识别方法。判别字典的学习考虑了两方面因素，一是字典原子和类别相对应，使同类的重构误差最小；另一方面使稀疏编码系数的类内误差最小、类间误差最大。在测评时，重构误差和稀疏编码系数判别信息同时用于分类。在NIST SRE 2003 数据库上，实验结果验证了本文方法具有良好的性能。同时发现与基线系统融合得到的新系统，可以得到更好的识别效果。 图4 在不同融合系数 下，等错误率性能的对比 图 5 在NIST SRE 2003 中，不同

30、 判别 字典学习方法得到的DETs 参 考 文 献 1 CANDS E. Compressive samplingC. Proceedings of the 2nd International Congress of Mathematicians, Spain, 2006: 1433-1452. 2 CANDS E J, ROMBERG J, and TAO T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency informationJ. IEEE Trans

31、actions on Information Theory, 2004, 52(2): 489-509. 3 BARANIUK R. Compressive sensingJ. IEEE Signal Processing Magazine, 2008, 56(4): 4-5. 4 丁军, 刘宏伟 , 王英华 . 基于非负稀疏表示的 SAR 图像目标识别方法 J. 电子与信息学报, 2014, 36(9): 2194-2200. doi: 10.3724/SP.J.1146.2013.01451. DING Jun, LIU Hongwei, and WANG Yinghua. SAR ima

32、ge target recognition based on non-negative sparse representationJ. Journal of Electronics & Information Technology, 2004, 36(9): 2194-2200. doi: 10.3724/SP.J.1146. 2013.01451. 5 苏伍各, 王宏强, 邓彬 , 等 . 基于稀疏贝叶斯方法的脉间捷变频 ISAR 成像技术研究J. 电子与信息学报， 2015, 37(1): 1-8. doi: 10.11999/JEIT.140315. SU Wuge, WANG Hong

33、qiang, DENG Bin, et al. The interpulse frequency agility ISAR imaging technology based on sparse bayesian methodJ. Journal of Electronics & Information Technology, 2015, 37(1): 1-8. doi: 10.11999/ JEIT.140315. 6 HUANG K and AVIYENTE S. Sparse Representation for Signal ClassificationM. New York, MIT

34、Press, 2006: 609-616. 7 MALLAT S. A Wavelet Tour of Signal ProcessingM. Second Edition. New York, Academic Press, 1999: 506-513. 8 CANDS E J and GUO F. New multiscale transforms, minimum total variation synthesis: Applications to edge-preserving image reconstructionJ. Signal Processing, 2002, 82(2):

35、 1519-1543. 9 GABOR D. Theory of communication. Part 1: the analysis of informationJ. Journal of the Institution of Electrical Engineers-Part III: Radio and Communication Engineering, 1946, 93(26): 429-441. 10 AHARON M, ELAD M, and BRUCKSTEIN A. The K-SVD: An algorithm for designing overcomplete dic

36、tionaries for sparse representationJ. IEEE Transactions on Signal 372 电 子 与 信 息 学 报 第 38 卷 Processing, 2006, 54(11): 4311-4322. 11 MAIRAL J, BACH F, and PONCE J. Online dictionary learning for sparse codingC. Proceedings of the 26th Annual International Conference on Machine Learning, Canada, 2009:

37、689-696. 12 WANG J, LU C, WANG M, et al. Robust face recognition via adaptive sparse representationJ. IEEE Transactions on Cybernetics, 2014, 44(12): 2368-2378. 13 KUA J M K, AMBIKAIRAJAH E, and EPPS J. Speaker verification using sparse representation classificationC. IEEE International Conference o

38、n Acoustics, Speech and Signal Processing (ICASSP), Czech Republic, 2011: 4548-4551. 14 LI M, ZHANG X, and YAN Y. Speaker verification using sparse representations on total variability i-vectorsC. 12th Annual Conference of the International Speech Communication Association (Interspeech), Italy, 2011

39、: 2729-2732. 15 MAIRAL J, BACH F, and PONCE J. Discriminative learned dictionaries for local image analysisC. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, 2008: 1-8. 16 ZHANG Q and LI B. Discriminative K-SVD for dictionary learning in face recognitionC. IEEE Conferen

40、ce on Computer Vision and Pattern Recognition (CVPR), San Francisco, 2010: 2691-2698. 17 RAMIREZ I, SPRECHMANN P, and SAPIRO G. Classification and clustering via dictionary learning with structured incoherence and shared featuresC. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), S

41、an Francisco, 2010: 3501-3508. 18 JIANG Z, LIN Z, and DAVIS L S. Label consistent K-SVD: learning a discriminative dictionary for recognitionJ. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(11): 2651-2664. 19 MAIRAL J, PONCE J, and SAPIRO G. Supervised Dictionary LearningM

42、. New York, MIT Press, 2009: 1033-1040. 20 WANG Z, YANG J, NASRABADI N, et al. Look into sparse representation based classification: A margin-based perspectiveC. IEEE International Conference on Computer Vision (ICCV), Sydney, 2013: 759-769. 21 YANG M, ZHANG L, FENG X C, et al. Sparse representation

43、 based fisher discrimination dictionary learning for image classificationJ. International Journal of Computer Vision, 2014, 109(3): 209-232. 22 RAO W and MAK M W. Boosting the performance of i-vector based speaker verification via utterance partitioning J. IEEE Transactions on Audio, Speech, and Lan

44、guage Processing, 2013, 21(5): 1012-1022. 23 LIU T T, KANG Kai, and GUAN S X. I-vector based text-independent speaker identificationC. 11th World Congress on Intelligent Control and Automation (WCICA), Shenyang, 2014: 5420-5425. 24 DEHAK N, KENNY P, and DEHAK R. Front-end factor analysis for speaker

45、 verificationJ. IEEE Transactions on Audio, Speech, and Language Processing, 2011, 19 (4): 788-798. 25 DEHAK N, KENNY P, and DEHAK R. Support vector machines and joint factor analysis for speaker verificationC. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Taiwan

46、, 2009: 4237-4240. 26 ROSASCO L, VERRI A, and SANTORO M. Iterative projection methods for structured sparsity regularizationR. MIT Technical Reports, MIT-CSAIL-TR-2009-050, CBCL-282, 2009. 27 GU S, ZHANG L, and ZUO W. Projective Dictionary Pair Learning for Pattern ClassificationM. New York, MIT Press, 2014: 793-801. 28 PRZYBOCKI M and MARTIN A. The NIST