微软提出极低资源下语音合成与识别新方法小语种不怕没数据！.docx

《微软提出极低资源下语音合成与识别新方法小语种不怕没数据！.docx》由会员分享，可在线阅读，更多相关《微软提出极低资源下语音合成与识别新方法小语种不怕没数据！.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、微软提出极低资源下语音合成与识别新方法，小语种不怕没数据！|谭旭转载自微软研究院AI头条ID:MSRAsia编者按目前人类使用的语言种类有近7000种然而由于缺乏足够的语音-文本监视数据绝大多数语言并没有对应的语音合成与识别功能。为此微软亚洲研究院机器学习组结合微软亚洲互联网工程院语音团队在ICML2019上提出了极低资源下的语音合成与识别新方法帮助所有人都可以享受到最新语音技术带来的便捷。基于文本的语音合成Text-to-Speech,TTS以及自动语音识别AutomaticSpeechRecognition,ASR是语音处理中的两个典型任务。得益于深度学习的开展以及大量配对的语音-文本监视

2、数据TTS以及ASR在特定的语言上都到达了非常优秀的性能甚至超越了人类的表现。然而由于世界上大局部语言都缺乏大量配对的语音-文本数据并且采集这样的监视数据需要消耗大量的资源这使得在这些语言上开发TTS以及ASR系统变得非常困难。为解析决这个问题微软亚洲研究院机器学习组结合微软亚洲互联网工程院语音团队提出了一种极低资源下的语音合成以及识别的新模型方法仅利用20分钟语音-文本监视数据和额外的无监视数据就能生成高可懂度的语音。模型框架TTS将文本转成语音而ASR将语音转成文字这两个任务具有对偶性质。受到这个启发我们借鉴无监视机器翻译的相关思路利用少量的配对语音-文本数据和额外的不配对数据提出了一种接

3、近无监视的TTS以及ASR方法。首先我们利用自己监视学习的概念让模型分别建立对语言和语音的理解建模才能。详细来讲我们基于不成对的语音以及文本数据利用去噪自动编码器DenoisingAuto-Encoder,DAE在编码器-解码器框架中重建人为加有噪声的语音以及文本。其次我们使用对偶转换DualTransformation,DT来分别训练模型将文本转为语音以及将语音转为文本的才能aTTS模型将文本X转换为语音Y然后ASR模型利用转换得到语音-文本数据YX进展训练;bASR模型将语音Y转换为文本X然后TTS模型利用文本-语音数据XY进展训练。对偶转换在TTS以及ASR之间不断迭代逐步进步两个任务的

4、准确性。考虑到语音序列通常比其它序列学习任务如机器翻译的序列更长它们将更多地受到错误传播的影响在自回归模型生成序列时序列中上一个错误生成的元素将会对下一个元素的生成产生影响。因此生成序列的右侧局部通常比左侧局部差然后通过训练迭代导致模型生成的序列始终表现为右侧差。在低资源的场景下这种现象更为严重。因此我们进一步利用文本以及语音的双向序列建模BidirectionalSequenceModeling,BSM来缓解错误传播问题。这样一个文本或者语音序列可以从左到右生成可以以从右到左生成能防止模型始终生成某一侧较差的序列。最后我们设计了一个基于Transformer的统一模型架构可以将语音或者文本作

5、为输入或者输出以便将上述DAE、DT、BSM模块整合在一起以实现TTS以及ASR的功能。如上图所示图a描绘了DAE以及DT的转换流程图b展示了我们采用的Transformer模型构造图c显示了语音以及文本的输入输出处理模块。实验结果为了验证这一方法的有效性我们在英语上模拟低资源的场景选用LJSpeech数据集进展实验LJSpeech包含13100个英语音频片段以及相应的文本音频的总长度约为24小时。我们将数据集分成3组300个样本作为验证集300个样本作为测试集剩下的12500个样本用来训练。在这12500个样本中我们随机选择200个配对的语音以及文本数据剩下的数据当作不配对的语音文本数据。我

6、们邀请了30个专业评估员对生成的声音进展可懂度IntelligibilityRate和MOSMeanOpinionScore平均主观意见分评测。MOS指标用来衡量声音接近人声的自然度在极低资源场景下我们一般用可懂度来评估是否能产生可理解的声音。经过实验我们提出的方法可以产生可理解的语音其单词级的可懂度高达99.84而假如仅对200个配对数据进展训练那么几乎无法产生可以被听懂的语音这显示出我们方法在极低资源场景下的实用性。下面展示了我们方法合成的声音Demo:文字“Theformsofprintedlettersshouldbebeautifulandthattheirarrangementon

7、thepageshouldbereasonableandahelptotheshapelinessofthelettersthemselves.更多Demo声音请访问s:/speechresearch.github.io/unsuper/语音合成上的MOS得分和语音识别的PERPhonemeErrorRate音素错误率如下表所示。我们的方法在TTS上到达2.68的MOS在ASR上到达11.7%的PER远优于仅在200个配对数据上训练的基线模型Pair-200并且接近使用所有训练样本的监视模型Supervised。由于我们的语音合成仅使用了效果较差的Griffin-Lim作为声码器合成声音作为比

8、照我们也列出了真实样本GroundTruth,GT和真实样本的梅尔频谱图通过Griffin-Lim转换得到的声音GTGriffin-Lim的MOS得分作参考。为了研究我们方法中每个模块的有效性我们通过逐步将每个模块添加到基线Pair-200系统进展比照研究。实验中先后添加了以下模块去噪自编码器DAE、对偶变换DT以及双向序列建模BSM结果如下表所示。可以看到随着更多模块的参加TTS的MOS得分和ASR的PER都稳定地进步显示出各个模块的重要性。我们还可视化了测试集中由不同系统生成的梅尔频谱图如下列图所示。由于Pair-200以及Pair-200DAE不能产生能被理解的语音因此红色边界框中的梅尔

9、频谱图的细节也与真实频谱大不一样。当添加DT时整个频谱图更接近真实频谱图然而受到误差传播的影响位于频谱图序列末尾的红色边界框细节仍然与真实数据不同。当进一步添加BSM时边界框中的细节比拟接近真实数据这也证明了BSM在我们的方法中的有效性。当然假如使用LJSpeech的全部配对数据进展监视训练模型可以重建更接近真实情况的细节。我们的方法仅利用约20分钟的语音-文本配对数据和额外的不配对数据在英语上获得了很好的效果产生了高可懂度的语音。当前我们正在持续进步这一方法的性能直接支持文本字符的输入而不是先将字符转化为音素作为输入同时支持多个讲话人的无监视语音数据。我们还在尝试利用更少的语音-文本数据甚至

10、完全不用配对数据以实现高质量的语音合成与语音识别。将来我们将利用这项技术支持其它低资源语言让更多的语言拥有语音合成与识别功能。论文地址s:/speechresearch.github.io/papers/almost_unsup_tts_asr_2019.pdf简介谭旭微软亚洲研究院机器学习组研究员主要研究兴趣为机器学习算法及其在自然语言、语音领域中的应用研究成果发表在ICML、NIPS、ICLR、AAAI、ACL、EMNLP、NAACL等会议上。*本文为AI科技大本营转载文章转载请联络原CTA核心技术及应用峰会5月25-27日由中国IT社区CSDN与数字经济人才开展中心结合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开峰会将围绕人工智能领域邀请技术领航者与开发者共同讨论机器学习以及知识图谱的前沿研究及应用。议程设置请请识别海报二维码查看。目前CTA峰会倒计时5天还没有拿到入场券的小伙伴可以扫描识别海报二维码或点击浏览原文即刻抢购。你也添加小助手微信15101014297备注“CTA解析票务和会务详情。推荐浏览掌声送给TensorFlow2.0用Keras搭建一个CNN|入门教程