《信息论基础与随机过程》教学大纲（本科）.docx

信息论基础与随机过程一、课程简介信息论基础这门课程涉及信息学、统计学、计算机科学等领域，系统并全面地介绍了香农信 息论，通过对理论知识的讲解，使学生掌握燧、互信息、自信息量、霍夫曼编码、香农编码、费 诺编码等知识及其在生物医学中的应用，把理论知识和实际应用结合起来，为生物信息专业学生 提供理论基础，培养科研思维，掌握医学信息分析方法。随机过程是一连串随机事件动态关系的定量描述。随机过程理论在物理、生物、工程、经济 和管理等方面都得到了广泛应用，已成为近代科技工作者谋求掌握的一个理论工具。通过随机过 程的学习，期望学生能较好地理解随机数学的基本思想，掌握几个基本而常用的过程的处理方法，如正 态过程、泊松过程等；特别是马氏过程要重点理解并掌握。并将随机过程理论与生物信息学专业 相结合，为阅读文献和未来的科研工作奠定基础。二、理论教学内容1 .信息论绪论掌握内容：为什么要学习信息论这门课程？信息论基础与生物信息学之间的关系以及信息论基 础与医学生物学之间的关系。信息焙在现代生物医学中的应用。了解内容：信息论的起源、开展，信息论的研究对象、目的、内容，信息与消息的区别。2 .信息的度量掌握内容：计算自信息、互信息、烯、联合烯、条件端、平均互信息、理解熠的性质、各类 燧之间的关系。例如：自信息、互信息等分析方法应用生物芯片数据选择差异表达基因及技术系 统混乱度；基于端互信息理论的基因调控网络的研究；度量反映对于刺激的条件嫡；重患者与轻 患者在得病期间的血清中蛋白质谱的信息分析。了解内容：自信息、互信息、崎、联合焙、条件燧、平均互信息的计算公式，理解意义并熟 悉医学信息分析方法。3 .信源及信源焙掌握内容：多符号离散信源、马尔可夫信源、信源的相关性和剩余度，应用相关性和剩余度 进行疾病诊断与治疗，例如：分析血清中蛋白质种类的百分含量诊断患者病情开展情况及肌体复 杂程度；基于互信息的差异共表达致病基因挖掘方法。了解内容：单符号离散信源。4 信道及信道容量掌握内容：计算信道容量，单符号离散信道的编程及计算、独立并联信道、串联信道的计算 及意义。例如：脑血栓患者，血液流量；计算遗传信息的储存量。了解内容：多符号离散信道。5 .无失真信源编码掌握内容：即时码判断及构造树图。例如：解释GO数据库的结构。唯一可译码及判别标准， 应用Kraft不等式和McMillan不等式判断唯一可译码和即时码。编制霍夫曼编码、香农编码、 费诺编码，遗传密码，LZW编码并应用于模式识别，计算平均码长及信息传输率。了解内容：定长码及定长编码码长原那么。6 .随机过程预备知识掌握内容：概率空间、随机变量及分布函数、随机变量的数字特征、特征函数与母函数、条 件期望。了解内容：随机过程的应用领域。7 .随机过程的概念及基本类型56掌握内容：随机过程的概念与例子、随机过程的分布律和数字特征、复随机过程、几种重要 的随机过程。了解内容：随机过程和随机变量的关系、运用软件模拟维纳过程。8 . Markov 链掌握内容：马尔可夫链的概念及转移概率、马尔可夫链的状态分类、状态空间的分解、pij (n)的渐近性质、运用软件模拟Markov链。了解内容：平稳分布、Markov链的应用。三、实验教学内容.端和互信息的计算及应用基本内容：计算自信息、互信息、焙、联合焙、条件燧、平均互信息。基本要求：理解牖的性质、各类病之间的关系，应用自信息、互信息技术度量选择差异表达 基因。1 .信道容量的计算及应用、变长码的编码方法基本内容：无损信道、无噪信道、无燥无损信道、准对称信道、均匀信道、二元对称信道的 计算。霍夫曼编码、香农编码、费诺编码。基本要求：掌握无损信道、无噪信道、无燥无损信道、准对称信道、均匀信道、二元对称信 道的计算方法，理解信道容量的意义。掌握霍夫曼编码、香农编码、费诺编码方法，理解变长码 编码意义。2 .Matlab软件统计包简介、模拟维纳过程基本内容：本实验目的是熟悉Matlab软件，会运用Matlab软件画概率密度函数、分布函数 曲线，以及参数估计和假设检验，会生成各种分布的随机数。理解维纳过程满足的相关条件及维 纳过程在实际中的应用。3 .模拟马尔可夫链基本内容：运用Matlab语言描述泊松过程的定义。掌握马尔科夫链的定义及实际意义，运 用Matlab语言描述马尔可夫链的定义。基本要求：能够用Matlab画出泊松过程的模拟图像并结合泊松过程的定义做相关解释。能 够用Matlab画出马氏链的模拟图像并结合马氏链的定义做相关解释。四、参考资料信息论基础教程.李亦农主编.北京邮电大学出版社.2008年出版信息论与编码理论.沈世镒主编.北京科学出版社.2002年出版信息论基础.叶中行主编.高等教育出版社.2004年出版随机过程(第四版).刘次华主编.华中科技大学出版社.2008年出版信息技术导论.商书元编著.中国铁道出版社.2016年五、学时分配57序号教学内容参考学时总学时理论学时实验学时1绪论2202信息的度量8443信源及信源燧4404信道及信道容量8445编码法和遗传密码2206随机过程的概念及基本类型10647Markov 链1284合计46301658