隐形马尔科夫模型精.ppt

《隐形马尔科夫模型精.ppt》由会员分享，可在线阅读，更多相关《隐形马尔科夫模型精.ppt（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、隐形马尔科夫模型隐形马尔科夫模型第1页，本讲稿共21页隐形马尔科夫模型介绍HMM的三种应用评估：前向算法示例小结第2页，本讲稿共21页马尔科夫模型马尔科夫过程就是当前的状态只与前n个状态有关。这被称作n阶马尔科夫模型。最简单的模型就当n=1时的一阶模型。就当前的状态只与前一状态有关。；两种生成模式确定性的生成模式如：红绿灯非确定性的生成模式如：天气情况（晴、多云、和雨）第3页，本讲稿共21页非确定性的生成模式（天气预测）假设该过程是一个一阶过程，即今天的天气情况仅和昨天的天气有关用状态转移矩阵描述第4页，本讲稿共21页非确定性的生成模式（天气预测）定义初始概率，称为向量 ；一个一阶马尔科夫模型

2、，包括如下概念：状态：晴、多云、雨状态转移概率初始概率第5页，本讲稿共21页当一个隐士不能通过直接观察天气状态来预测天气时，但他有一些水藻。民间的传说告诉我们水藻的状态与天气有一定的概率关系。也就是说，水藻的状态与天气时紧密相关的。此时，我们就有两组状态：观察状态（水藻的状态）和隐含状态（天气状态）。因此，我们希望得到一个算法可以为隐士通过水藻和马尔科夫过程，在没有直接观察天气的情况下得到天气的变化情况。一个应用就是语音识别，我们的问题定义就是如何通过给出的语音信号预测出原来的文字信息。在这里，语音信号就是观察状态，识别出的文字就是隐含状态。第6页，本讲稿共21页包含隐状态的天气预测第7页，本

3、讲稿共21页隐状态和观察状态之间的连线表示：在给定的马尔科夫过程中，一个特定的隐状态对应的观察状态的概率第8页，本讲稿共21页我们可以得到HMM的所有要素：两类状态和三组概率两类状态：观察状态和隐状态；三组概率：初始概率、状态转移概率和两态对应概率（confusion matrix）第9页，本讲稿共21页评估：根据已知的根据已知的HMM找出一个观察序列的概率找出一个观察序列的概率考虑这样的问题，我们有一些隐马尔科夫模型（也就是一些(,A,B)三元组的集合）及一个观察序列。我们想知道哪一个HMM最有可能产生了这个给定的观察序列。例如，对于海藻来说，我们也许会有一个“夏季”模型和一个“冬季”模型，

4、因为不同季节之间的情况是不同的我们也许想根据海藻湿度的观察序列来确定当前的季节。利用前向算法来得到观察状态序列对应于一个HMM的概率第10页，本讲稿共21页解码：根据观察序列找到最有可能出现的隐状态序列根据观察序列找到最有可能出现的隐状态序列viterbi算法（隐士只能通过感受水藻的状态来判断天气状况）viterbi算法也被广泛的应用在自然语言处理领域。比如词性标注。字面上的文字信息就是观察状态，而词性就是隐状态。通过HMM我们就可以找到一句话上下文中最有可能出现的句法结构。第11页，本讲稿共21页学习：从观察序列中得出从观察序列中得出HMM 根据观察序列和其代表的隐状态，生成一个三元组HMM

5、(,A,B)。使这个三元组能够最好的描述我们所见的一个现象规律前向后向算法第12页，本讲稿共21页对于水藻和天气的例子Pr(dry,damp,soggy|HMM)=Pr(dry,damp,soggy|sunny,sunny,sunny)+Pr(dry,damp,soggy|sunny,sunny,cloudy)+.Pr(dry,damp,soggy|rainy,rainy,rainy)第13页，本讲稿共21页采用递归的方式计算观察序列的概率用P t(j)表示在时间t时 状态j的部分概率。计算方法如下：Pt(j)=Pr(观察状态|隐藏状态j)x Pr(t时刻所有指向j状态的路径）第14页，本讲稿

6、共21页使用前向算法计算T步长观察序列的概率:t=1时刻所有状态的局部概率：每个时间点，t=2，T时，对于每个状态的局部概率，由下式计算局部概率：给定HMM,观察序列的概率等于T时刻所有局部概率之和：第15页，本讲稿共21页前向算法复杂度（1）到（T），一共T次，每次计算需要N2次乘法，复杂度为T*N2第16页，本讲稿共21页1、隐藏状态(天气)：Sunny，Cloudy，Rainy；2、观察状态（海藻湿度）：Dry，Dryish，Damp，Soggy；3、初始状态概率：Sunny（0.63），Cloudy（0.17），Rainy（0.20）；4、状态转移矩阵：weather todaySun

7、ny Cloudy RainyweatherSunny 0.500 0.375 0.125 yesterday Cloudy 0.250 0.125 0.625 Rainy 0.250 0.375 0.375第17页，本讲稿共21页5、混淆矩阵：observed states Dry Dryish Damp Soggy Sunny 0.60 0.20 0.15 0.05Hidden Cloudy 0.25 0.25 0.25 0.25statesRainy 0.05 0.10 0.35 0.50第18页，本讲稿共21页输入：T=3（1 3 4）结果：prob(O|model)=0.026901第19页，本讲稿共21页隐马尔科夫模型（HMM）在分析实际系统中已被证明有很大的价值；它们通常的缺点是过于简化的假设，这与马尔可夫假设相关即一个状态只依赖于前一个状态，并且这种依赖关系是独立于时间之外的（与时间无关）第20页，本讲稿共21页 谢谢！第21页，本讲稿共21页