攻克手语识别与合成5大难关.docx

攻克手语识别与合成5大难关 来源：通信产业报2008年第16期尽管“手语识别与合成”技术的出现，使得聋哑人与健听人的''对话”成为可能，而要完全实 现“听懂手语，看懂声音”的目标需要解决很多技术难点，主要包括“手语运动数据获取不完 整”、“多维手语运动数据识别”、“大词汇量识别”、“非特定人的识别”、“手语多模态表达的复 杂性”及“手语运动数据的重定向针对上述技术难点，“手语识别与合成”课题组采用人工智能领域的模式识别、机器学习、 数据挖掘等新兴研究技术，同时结合图形图像学领域的研究进展，解决了 5大关键问题。数据采集和处理目前，人们主要通过摄像头和数据手套获取手语运动数据。摄像头将三维立体的手语数据 转为平面二维数据会丧失很多数据信息，而数据手套获取三维数据信息的效果很好。“手语识别与合成”课题组应用两只数据手套和3个6自由度位置跟踪器，基于运动跟踪的 原理，记录真实人体演示每个手语词的运动数据，建立初始的手语词运动数据库；然后对每个 手语词的运动数据进行编辑与微调，最后得到高质量的手语词运动数据库。大词汇量手语识别传统基于词汇级的识别模型在计算效率上不能满足大词汇量的识别要求，只有基于大词汇 量的手语识别才具有实用价值。因此“手语识别与合成”课题组建立了最大中国手语词汇库，共 5500个词，并采用手语词根建模的识别方式来解决大词汇量的识别问题。课题组从中国手语中整理出大约2400个词根，每个词会对应一个词根序列，从而建立一 个树状结构的网格。基于这个网格的计算可以大幅缩小搜索空间，在识别率和识别速率方面均 有显著提高，识别速率提高了近一倍。非特定人手语识别建立非特定人的识别模式是手语识别技术走向实用的关键。而非特定人手语识别需要训练 库包含更多人的手语样本，但其数据多且差异大，导致模型训练难收敛；从不同人的数据中提 取有效的共同特征也较为困难。“手语识别与合成'课题组采用了“自组织特征映射/隐马尔可夫模型” (SOFM/HMM而结合 的模型，提取不同人特征作为连续HMM的输入，将数据变换成低维表示形式，以便更好地被 HMM的发射概率所模型化。实验结果说明，该模型比传统的HMM模型识别率提高近5%,较好地解决了非特定人识 别问题。手语多模态表达残疾人之间互相交流时，不仅看手的动作，还通过表情和唇动等方式传递丰富的辅助信 息。手语识别与合成”课题组提出利用大量真实多模式行为数据进行学习训练，获取单模式行 为的韵律模型以及多模式行为之间的协同关联模型，从而实现虚拟人多模式行为之间的协同。这一合成框架通过输入自然语言文本，合成出的行为序列中已经包含有协同控制信息，直 接播放。在聋校的测试实验说明，经过多模式行为协同而合成的连续手语，其可懂度到达94.6%, 比没有多模式协同的手语可懂度提高接近6%。手语运动数据重定向由于人体模型在身高、臂长等生理参数方面各不相同，因此标准手语数据必须经过重定向 计算后，才能合理地在其他新模型上表现出来。为此，“手语识别与合成”课题组提出了一套可用于不同人体模型的重定向手语运动数据标 准。通过运动捕获设备，捕获的手语数据重新定向到具有不同大小和比例的虚拟人模型上，生 成与原动作相同且真实自然的动画。并采用改进的反向运动学方法实现了手语运动的重定向。此外，课题组还对重定向的效果进行了定量评价，并对中国手语中的词汇进行测试。 首先将标准手语不进行重定向，分别在5个人体模型上进行手语表达，请测试人员对播放的手 语词进行识别。然后对标准手语进行重定向，再次进行识别，经过重定向的手语识别率得到大 大提高。（陈益强）