智能化语音交互解决方案.pptx

语音交互的意义前端处理技术和方案复杂的声学环境落地案例结语第1页/共27页语音交互是物联网的特质互联网的端是电脑办公效率为中心移动互联网的端是手机使用便捷为中心物联网的端是万物 沟通自然为中心语音交互是人类交流最自然的方式，也将是物联网时代最基本的特质！从互联网、移动互联网到物联网的演进，均伴随着硬件终端的革 新每一次硬件终端的革新也都伴随着人机交互方式的颠覆第2页/共27页语音交互的意义前端处理技术和方案复杂的声学环境实际案例结语第3页/共27页家远讲、方向性干扰、房间混响较高车扩散场噪声强、混响小机场、展会房间混响高、扩散场噪声强场景碎片化第4页/共27页语音交互的意义前端处理技术和方案复杂的声学环境结语落地案例第5页/共27页什么是前端处理“自然”意味着对语音交互的场合、使用模式等无约束！第6页/共27页痛点问题远讲交互，目标声源距离拾音设备较 远，更易受到声学回声、干扰声源、背景噪声、房间混响等各种不利因素 的影响听不清。第7页/共27页听清世界的声音人类需要听清语音通信更低的处理延时更高的主观听感和可懂度机器需要听清语音识别更高的信噪比更好的声学模型适配前端处理的意义：面对回声、干扰、噪声和混响等各种 不利因素的挑战；综合运用信号处理、机器学习手段以 及融合语义层面的信息，提高目标语 音的信噪比，增强后续处理的声环境 稳健性。一言以蔽之，前端处理是为了让获取的语音更加清晰自然，“听清世界的声音”！第8页/共27页技术路线（1）传统信号处理（最小化均方误差）第9页/共27页传统端侧信号处理前端处理回波抵消解混响宽带空域滤波背景噪声抑制自动增益控制规则子问题分而治之：针对不同的声学影响采用不同的信号处理算法加以解决优化目标：抑制非目标相关成分优化准则：最小化均方误差客观物理模型音频时频空域特性第10页/共27页2麦克风阵列的几个典型疑问1是不是一定需要麦克风阵列？3阵列拓扑结构该如何选取？麦克风数量是不是越多越好？第11页/共27页技术路线（2）信号处理与机器学习相结合（最小化均方误差）传统信号处理（最小化均方误差）第12页/共27页基于深度学习的端侧信号处理回波抵消前端处理解混响宽带空域滤波背景噪声抑制自动增益控制客观物理模型与数据驱动模型相结合既遵从了声源和声传播的物理规律，又利用了先验数据统计建模带来的稳健性和性能提升优化准则未变，依然是最小化均方误差规则+学习客观物理模型音频时频空域特性+海量音频先验信息第13页/共27页深度学习+前端处理系统第14页/共27页技术路线（3）（最小化均方误差）信号处理与机器学习相结合（最小化均方误差）传统信号处理前后端联合优化（识别准确率）第15页/共27页深度学习框架下的前后端联合优化前端和后端都以语音识别准确率为优化目标：识别误差从后端声学模型反向传播回前端，用于指导前端的优化途径1：端到端，前后端融合成一个统一的模型，输入为原始语音，输出为识别结果途径2：将后端声学模型的梯度反向传播到前端，用于指导前端的神经网络训练识别误差反向传播第16页/共27页软核方案在主机中实现软件算法处理和语音交互功能业界领先的语音前端信号处理、唤醒和离线识别等算法SDK封装，用于Linux、Android和Windows等操作系统可定制配套麦克风阵列拾音模组（支持I2S/USB接口）二元线阵四元线阵六元可变阵七元环阵第17页/共27页硬核方案内嵌不用的语音处理SDK，实现前端语音处理或全功能的语音交互功能，尤其适用于非 语音设备的快速升级改造，支持低功耗使用模式。第18页/共27页语音交互的意义前端处理技术和方案复杂的声学环境落地案例结语第19页/共27页物灵：luka阅读养成机器人（京东热卖）极米科技：LightankW100数字家圆：亲见H2360：巴迪龙儿童陪伴机器人360：小忆陪伴机器人TCL：TCL/Alcatel Xess平板电视（北美上市）海信电视：XT910/920/PX1900海信电视：XT810海信电视：MU9600/9800 语音遥控团队过往产品案例第20页/共27页海尔5代电视机第21页/共27页上海地铁语音购票第22页/共27页新闻采访机第23页/共27页你好 斑马你好 斑马主驾驶位驾驶位方向2 收音方向1 收音方向1唤醒方向2 唤醒麦克风阵列业界首创车载语音交互第24页/共27页技术平台以最小识别 错误率为准 则的前后端联合优化算法硬件方案端云一体的解决方案低成本、低功耗终端产品痛点：面向 具体场景和 需求精品：技术-内容-服务 完美融合用户动态数据循环+“喂养”机器学习=更强的技术和商业生命力结语第25页/共27页THANKS第26页/共27页感谢您的观看。第27页/共27页