语音信号处理课件-数字语音信号预处理及分析初步_10.ppt

1.存储方式：已量化好的语音信号序列按已量化好的语音信号序列按先入先出的顺序存入数据区。先入先出的顺序存入数据区。以便一个有限容量的数据区来以便一个有限容量的数据区来应付数量极大的语音数据。应付数量极大的语音数据。二、pretreatment2.预加重：在求语音信号频谱时，频率越高，相应的成在求语音信号频谱时，频率越高，相应的成分越小。预加重的目的是提升高频部分，使信号分越小。预加重的目的是提升高频部分，使信号的频谱变得平坦。以便于频谱分析和声道参数分的频谱变得平坦。以便于频谱分析和声道参数分析。析。一般在语音信号数字化后，通过一个一阶一般在语音信号数字化后，通过一个一阶数字滤波器：数字滤波器：H(z)=1-H(z)=1-z z-1-1,接近接近1 1。x(n)x(n)x x(n)(n)H(z)=1-H(z)=1-z z-1-1加矩形窗加矩形窗加矩形窗加矩形窗分帧技术分帧技术分帧技术分帧技术 加窗加窗加窗加窗加汉宁窗加汉宁窗加汉宁窗加汉宁窗 hanninghanninghanninghanning第第n n帧帧第第n+1n+1帧帧第第n+2n+2帧帧 各帧之间有各帧之间有各帧之间有各帧之间有0 0 0 01/21/21/21/2的重叠，的重叠，的重叠，的重叠，由窗函数的定义决定的。由窗函数的定义决定的。由窗函数的定义决定的。由窗函数的定义决定的。w(nw(nw(nw(n)=0.5*1-cos(2n)=0.5*1-cos(2n)=0.5*1-cos(2n)=0.5*1-cos(2n /(N-1)/(N-1)/(N-1)/(N-1)第第n+3n+3帧帧t第n帧第n+1帧第n+2帧第n+3帧 第n+4帧 为什么取为什么取101030ms30ms，因为根，因为根据人的发声生理结构变化的连续据人的发声生理结构变化的连续性，在此时间段内，声带、声道、性，在此时间段内，声带、声道、口腔的特性几乎不变，口腔的特性几乎不变，语音信号语音信号近似平稳。近似平稳。加窗的作用得到连续的语音特征抑制吉尔伯特效应抑制频谱泄漏汉宁窗汉宁窗 hanning海明窗海明窗 hamming矩形窗矩形窗(rectangular)Window shapesT T为帧移为帧移长度长度N N为帧长为帧长x0(m)0N-1x1(m)TT+N-1第第1 1帧帧第第2 2帧帧0 0N-1N-1N N2N-12N-1 第第1 1帧帧第第2 2帧帧0 0N-1N-1N/2N/2N+(N/2)-1N+(N/2)-1加矩形窗加矩形窗加矩形窗加矩形窗(帧移长度为帧移长度为帧移长度为帧移长度为N N N N)加汉宁窗加汉宁窗加汉宁窗加汉宁窗(帧移长度为帧移长度为帧移长度为帧移长度为N/2N/2N/2N/2)x x0 0(m)(m)x x1 1(m)(m)x x0 0(m)(m)x x1 1(m)(m)帧移帧移T=0帧移帧移T=N/2512512点的点的汉宁窗汉宁窗汉宁窗汉宁窗 当采用汉宁窗当采用汉宁窗当采用汉宁窗当采用汉宁窗 ，原有数据的幅度发生变化，原有数据的幅度发生变化，原有数据的幅度发生变化，原有数据的幅度发生变化，为了保持数据的原始幅度，必须采取为了保持数据的原始幅度，必须采取为了保持数据的原始幅度，必须采取为了保持数据的原始幅度，必须采取各帧数据之各帧数据之各帧数据之各帧数据之间有间有间有间有1/21/21/21/2的重叠。的重叠。的重叠。的重叠。由于在由于在由于在由于在 1010101030ms30ms30ms30ms，语音信号近似平稳。语音信号近似平稳。语音信号近似平稳。语音信号近似平稳。每秒的帧每秒的帧每秒的帧每秒的帧数约为：数约为：数约为：数约为：33333333100100100100帧帧帧帧。窗口的长度窗口的长度窗口的长度窗口的长度N N N N：频率分辨率频率分辨率频率分辨率频率分辨率 f=f=f=f=f f f fs s s s/N/N/N/N。f f f f随随随随N N N N的增加的增加的增加的增加而减少，频率分辨率得到提高，但时间分辨率降低而减少，频率分辨率得到提高，但时间分辨率降低而减少，频率分辨率得到提高，但时间分辨率降低而减少，频率分辨率得到提高，但时间分辨率降低(与与与与窗长成反比窗长成反比窗长成反比窗长成反比)。应根据不同的应用场合来选择窗口的长。应根据不同的应用场合来选择窗口的长。应根据不同的应用场合来选择窗口的长。应根据不同的应用场合来选择窗口的长度度度度N N N N，应包含应包含应包含应包含7 7 7 7个基音周期，因此可选择个基音周期，因此可选择个基音周期，因此可选择个基音周期，因此可选择100100100100300300300300点为点为点为点为宜。宜。宜。宜。Long window:frequency resolution Long window:frequency resolution time resolution time resolutionShort window:frequency resolutionShort window:frequency resolution time resolution time resolution 基音频率为基音频率为200Hz200Hz，采样频率为采样频率为8kHz,8kHz,窗长：窗长：80008000(1/200)(1/200)7=2567=256Windowing(frame)lIn short-term,non-stationary-stationarylNon-linear-linear(10ms-25ms)经过处理，语音信号就已经被分割成一帧一经过处理，语音信号就已经被分割成一帧一帧的加过窗函数的短时信号，然后再把每一个短帧的加过窗函数的短时信号，然后再把每一个短时语音帧看成平稳的随机信号，利用数字信号处时语音帧看成平稳的随机信号，利用数字信号处理技术来提取语音特征参数。在进行处理时，按理技术来提取语音特征参数。在进行处理时，按帧从数据区中取出数据，处理完后再取下一帧。帧从数据区中取出数据，处理完后再取下一帧。最后得到由每一帧参数组成的语音特征参数的时最后得到由每一帧参数组成的语音特征参数的时间序列。间序列。x0(m)0N-1x1(m)TT+N-1y0(m)0N-1y1(m)TT+N-1 语音信号的特性分析一、语音信号的时域波形和频谱特性二、语音信号的语谱图三、语音信号的统计特性一、语音信号的时域波形和频谱特性 时域波形：幅度时间图。大致得出音节的起时域波形：幅度时间图。大致得出音节的起始点、清音和浊音以及浊音的基音频率。始点、清音和浊音以及浊音的基音频率。女声汉语拼音女声汉语拼音a的时域波形的时域波形 频谱特性：幅度谱图。得出基音周期、共振峰频谱特性：幅度谱图。得出基音周期、共振峰频率及其位置。频率及其位置。女声英文女声英文a的频谱的频谱3 语音信号的时域分析一、短时能量及短时平均幅度分析二、短时过零率分析三、短时相关分析四、短时平均幅度差函数1.1.幅度分析的依据幅度分析的依据：是基于语音信号幅度随时间：是基于语音信号幅度随时间变化。清音段幅度小，其能量集中于高频段；浊变化。清音段幅度小，其能量集中于高频段；浊音段幅度较大，其能量集中于低频段。音段幅度较大，其能量集中于低频段。2.2.短时能量函数和短时平均幅度函数短时能量函数和短时平均幅度函数一、短时能量及短时平均幅度分析T T为帧移长度为帧移长度N N为帧长为帧长 男声男声“深圳深圳 广州广州 珠海珠海”的短时幅度统的短时幅度统计。在采样频率为计。在采样频率为22050Hz22050Hz的情况下，取的情况下，取20ms20ms作作为一帧，帧长为为一帧，帧长为441441点，一共统计了点，一共统计了180180帧。帧。短时平均幅度短时平均幅度原始原始语音语音3.短时平均幅度函数和能量函数的作用短时平均幅度函数和能量函数的作用(1)(1)区分清区分清/浊音：浊音：E En n、M Mn n大，对应浊音；大，对应浊音；E En n、M Mn n小，对应清音。小，对应清音。(2)(2)在信噪比高的情况下，能进行有声在信噪比高的情况下，能进行有声/无声判决无声判决 无声时，背景噪声的无声时，背景噪声的E En n、M Mn n小；小；有声时，有声时，E En n、M Mn n显著增大。判决时可设置一个门限。显著增大。判决时可设置一个门限。(3)(3)大致能定出浊音变为清音的时刻，或反之。大致能定出浊音变为清音的时刻，或反之。女声汉语拼音女声汉语拼音a a的一帧信号（在采样频的一帧信号（在采样频率为率为22050Hz22050Hz的情况下，取的情况下，取20ms20ms作为一帧），作为一帧），浊音的浊音的短时能量短时能量78.6178.61 男声汉语拼音男声汉语拼音s s的一帧信号（在采样频率为的一帧信号（在采样频率为22050Hz22050Hz的情况下，取的情况下，取20ms20ms作为一帧），作为一帧），清音的清音的短时能量短时能量3.883.88。