信息论基础复习.ppt
《信息论基础复习.ppt》由会员分享,可在线阅读,更多相关《信息论基础复习.ppt(37页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、上一页上一页下一页下一页信息论基础复习 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望上一页上一页下一页下一页2上一页上一页下一页下一页3上一页上一页下一页下一页4上一页上一页下一页下一页5上一页上一页下一页下一页6上一页上一页下一页下一页7上一页上一页下一页下一页8上一页上一页下一页下一页9上一页上一页下一页下一页10上一页上一页下一页下一页序论序论一、信息论的形成及历史 Claude Shannon及其主要贡献二、通信系统的模型 信源、信道、信宿及相互关系三、
2、信息论的基本研究内容11上一页上一页下一页下一页第一章第一章 随机变量的信息度量随机变量的信息度量一、信源的分类及数学模型12上一页上一页下一页下一页二、自信息二、自信息定义性质、单位、随机事件的不确定性13上一页上一页下一页下一页三、信源的信息熵三、信源的信息熵定义:单位bit、nat、hart、N进信息单位信息含义(物理意义)联合熵:14上一页上一页下一页下一页条件熵:熵的简单性质:等号成立的充要条件是X有退化分布2、极值性等号成立的充分必要条件是X服从均匀分布15上一页上一页下一页下一页3、链法则:二进熵函数:16上一页上一页下一页下一页四、相对熵和互信息相对熵:相对熵的非负性:等号成立
3、的充要条件是17上一页上一页下一页下一页互信息、条件互信息互信息的简单性质:1、非负性2、链法则3、数据处理不等式18上一页上一页下一页下一页各种熵及互信息的相互关系:注:此图表示了一些等式和不等式的关系,能够写出并从信息的角度来解释它们。19上一页上一页下一页下一页五、信息量的一些性质1、凸函数的定义2、Jensen不等式,对数和不等式3、D(p|q)是概率分布对(p,q)的凸函数(证明)4、熵 H(p)是概率分布p的凹函数(证明)6、法诺不等式20上一页上一页下一页下一页第二章 随机过程的信息度量一、信源和随机过程的基本概念各种信源的数学模型:无记忆信源马尔科夫信源:平稳分布、转移概率矩阵
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 基础 复习
限制150内