毕业设计中期答辩PPT.pptx

毕业论文中期工作汇报毕业论文中期工作汇报刘迪源刘迪源混淆网络在语音检索中的应用混淆网络在语音检索中的应用完成主要工作：完成主要工作：1.语音信号处理知识学习 语音信号处理 Spoken Language Processing2.熟悉语音识别基本流程 perl语言入门 结合HTK工具，完成WSJ0_baseline中语音 识别各项操作3.分析语音识别输出结果文件lattice和混淆 网络（CN）4.结合SRILM工程，完成混淆网络生成程序 1.语音信号处理知识学习预处理特征提取模式匹配参考模板判决语音输入识别训练识别结果图10-1 语音识别系统框图语言模型学习语言模型学习语言模型基于规则LM基于统计LM短语结构文法上下文相关文法上下文无关文法（CFG）正则文法PCFGn-gramKATZ SMOOTHINGKATZ SMOOTHINGKNESER-NEY SMOOTHINGKNESER-NEY SMOOTHINGClass n-gramsClass n-grams2.熟悉语音识别基本流程按照科大讯飞提供的语音识别Easytraining步骤，在WSJ_baseline上跑通整个语音识别的流程语音识别具体步骤：语音识别具体步骤：模型训练：模型训练：1 用CompV 估计全局方差 2 用ModelGen 克隆monophone 3 HERest 训练monophone 模型 4 校正训练数据 5 用校正后的数据训练模型识别与测试：识别与测试：1 HParse 生成语法网络2 HVite 识别3 HResults 计算识别率程序：EasyTrainingDTM.pl run_test.pl3.分析语音识别输出结果文件lattice和混淆网络（CN）IIikeItsisIittleIateItisyellowcolorItscar0.50.050.20.30.50.50.80.050.20.050.20.6IittleIikeyellow识别句子：I like its color lattice结构：iscarIlateItscolorIt混淆网络结构：语音关键词识别技术的研究语音关键词识别技术的研究语音关键词识别技术的研究及应用语音关键词识别技术的研究及应用语音识别中的后处理技术研究语音识别中的后处理技术研究汉语大词汇量连续语音识别中混淆网络算法的研究汉语大词汇量连续语音识别中混淆网络算法的研究基于基于LatticeLattice分段的高质量混淆网络快速生成方法分段的高质量混淆网络快速生成方法基于基于KLKL散度的最大后验弧主导的混淆网络生成算法散度的最大后验弧主导的混淆网络生成算法Finding consensus in speech recognitionMangu 2000 Indexing Confusion Networks for Morph-based Spoken Document Retrieval Turunen 2007目前国内外有关混淆网络技术的研究：4.混淆网络生成程序1)1)在在latticelattice上利用前向，后向算法计算节点的后验概率。上利用前向，后向算法计算节点的后验概率。每个节点后验概率每个节点后验概率=前向概率前向概率后向概率；后向概率；2)2)概率剪枝。剪枝后再重新计算每个节点的后验概率。概率剪枝。剪枝后再重新计算每个节点的后验概率。3)3)在在latticelattice上寻找一个概率最大的节点，利用维特比算法生成一条包上寻找一个概率最大的节点，利用维特比算法生成一条包含起始和结束节点的含起始和结束节点的one-bestone-best路径，作为构建混淆网络的参照路径。路径，作为构建混淆网络的参照路径。4)4)在剩余弧中寻找一个概率最大的节点，利用维特比算法生成一条在剩余弧中寻找一个概率最大的节点，利用维特比算法生成一条最佳路径。最佳路径。5)5)对于最佳路径中的所有弧节点，与混淆网络中的每个集合进行比对于最佳路径中的所有弧节点，与混淆网络中的每个集合进行比较，计算删除、插入、替代三种代价。取代价最小的一种方式将弧较，计算删除、插入、替代三种代价。取代价最小的一种方式将弧引入参照路径中。引入参照路径中。6)6)迭代执行迭代执行4 4和和5 5，直至所有弧都加入到混淆网络中。，直至所有弧都加入到混淆网络中。IIikeItsisIittleIateItisyellowcolorItscar0.50.050.20.30.50.50.80.050.20.050.20.6iscarIlikeItscolorOne-bestCNlattice-toollattice-tool工具工具生成混淆网络生成混淆网络SRILM工程中提取混淆网络c+程序主函数：lattice-tool.ccHTK格式的lattice文件读取和存储：HTKLattice.cc计算词后验概率：LatticeAlign.cc混淆网络生成：Wordmesh.cc完成代码中应用到的前后向算法，维特比算法，动态规划算法，MED分配混淆网络等数学证明index.cc建立关键词的倒排索引，提高检索速度应用混淆网络进行关键词检索的实验结果：采用2006年NIST组织的STD评测系统，共284个测试词，74个测试短语测试集上以0.9进行概率剪枝获得最高ATWV：0.6词的识别正确率：73.5%剩余工作安排：剩余工作安排：1.改进混淆网络程序，提高关键词的检出率2.完成毕业论文写作Thank you Thank you！