信息论基础与编码 (26).pdf

《信息论基础与编码 (26).pdf》由会员分享，可在线阅读，更多相关《信息论基础与编码 (26).pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信信息息论论基基础础与与编编码码 A A课课程程教教学学大大纲纲课课程程英英文文名名称称Information Theory Basis and Coding（A）课课程程编编码码课课程程名名称称：信息论基础与编码 A英英文文名名称称：Information Theory Basis and Coding（A）适适用用专专业业：电子信息科学与技术课课程程类类型型：必修先先修修课课程程：通信原理开开课课学学院院在在线线课课程程开开课课学学期期：5学学分分：4 学分总总 学学 时时：64实实验验（上上机机）学学时时：8一一、课课程程简简介介1 1.课程的中文简介本课程的授课对象为电子信息科学与技术

2、专业或者其它电子类专业本科生，属于专业限选课。该课程的开设目的主要是加强学生对信息论和编码理论的理解。从信息量的角度认识信号在有噪系统中的传输问题、该课程以互信息为主要概念展开，本课程涉及的主要内容有：信道容量、熵率失真函数以及编码理论。学生通过学习该课程后，可以从不同的角度认识信息传输的问题，将通信原理课程、信号系统课程与该门课程结合起来，在某种程度上，使得学生加深对信息传输的认识；丰富学生对移动通信系统方面的知识，增强学生分析问题、认识问题的能力。此外，学生可借助于课内实验，加深对信道容量、信源编码内容的理解与掌握，提高对难点概念的理解。电子信息科学与技术专业遵循“重视基础、加强实践、突出

3、特色”的原则，本专业培养德、智、体、美、劳全面发展，具有较高文化素养、社会责任感和国际视野，掌握坚实的电子信息科学与技术及相关专业基础理论，具有较强的创新精神和工程实践能力，服务于电子信息行业和区域经济社会发展需要的高高素素质质创创新新型型人才。思政要求：使得学生了解信息论在深度机器学习，强化机器学习大数据等新技术中的应用，理解信息技术与关系我国国计民生产业中发挥的巨大作用，支持我国实现 5G 条件下工业信息化、农业信息化战略举措，凸显信息技术在我国强国战略中发挥的巨大作用，同时展望量子通信加密技术。1 1.课程的英文简介The teaching object of this course i

4、s electronic information science andtechnology or other electronic majors,which belongs to the professional limitedoptional course.The purpose of this course is to strengthen students understanding ofinformation theory and coding theory.From the point of view of information quantity,the problem of s

5、ignal transmission in noisy system is understood.Mutual informationis the main concept of this course.The main contents of this course include:channelcapacity,entropy rate distortion function and coding theory.After learning the course,students can understand the problem of information transmission

6、from differentangles,combine the course of communication principle and signal system with thecourse,deepen the understanding of information transmission,enrich studentsknowledge of mobile communication system,and enhance their ability to analyze andunderstand problems.In addition,students can deepen

7、 the understanding and masteryof channel capacity and source coding content with the help of in class experiments.This course is a professional compulsory course supporting the major ofelectronic information science and technology.It follows the principle of attachingimportance to the foundation,str

8、engthening practice and highlighting characteristics.It cultivates all-round development of morality,intelligence,physique,beauty andlabor.It has high cultural literacy,social responsibility and international vision.It hasa solid basic theory of electronic information science and technology and rela

9、tedmajors,and has strong innovation Spirit and engineering practice ability,to serve theelectronic information industry and regional economic and social development needsof high-quality applied talents.Ideological and political requirements:make students understand the applicationof information theo

10、ry in deep machine learning,strengthen the application of machinelearning,understand the great role of information technology and related industries inChinas national economy and peoples livelihood,support Chinas industrialinformationization and agricultural informationization strategic initiatives,

11、highlightthe great role of information technology in Chinas strategy of strengthening thecountry,and look forward to quantum communication encryption technology.二、二、课程目标与毕业要求对应关系表课程目标与毕业要求对应关系表1.课程目标课程目标课程目标 1（CT1）：理解信息、信息量、熵函数、互信息、信道、信道容量、信源编码、信道编码、信息率失真函数和卷积码的概念，理解信道容量在信息论中的物理意义和其对信道性能评估的重要意义。能从定量

12、与定性的角度理解与估算信道容量并利用信道容量评估信道的性能。特别是掌握对称无记忆信道与连续信道的注水算法。课程目标课程目标 2（CT2）：能借助于信道容量的概念，利用计算机软、硬件技术，对有噪声的信道进行建模分析，利用优化的理论与，信息与熵函数的理论分析信道动态性能，并对其性能进行评估，特别结合 5G 信道，对 MIMO 信道的信道容量进行分析。课程目标课程目标 3（CT3）：熟悉编码技术、信源编码、信道编码以及卷积码的编码解码过程，熟悉其数学的原理，并能对简单的信道进行编码，提高通信系统的可靠性与信息传输效率。并思考信息化技术在社会文明发展进程一些深层次的问题，信息技术对社会、环境、经济等领

13、域带来机会同时如何评估其潜在根因与风险，并树立正确的工程伦理观。课程目标课程目标 4（CT4）：了解 6G 技术背景下的信息论的发展逻辑脉络，关注6G 背景下的产业信息化的发展趋势。关注该领域内卡脖子问题的进展。课程课程目标目标 5 5（CT5）具备正确积极的的学习奋斗、创新学习态度；拥有较强的自主学习和终身学习的能力，具有一定的国际视野，能够积极主动地适应社会环境和电子信息行业的发展变化。2.课程目标与毕业要求的对应关系毕业要求毕业要求毕业要求指标点毕业要求指标点课程目标课程目标毕业要求毕业要求 1 1：研究：研究基本理论基本理论能够运用数理、工程基础和电子信息领域的专业知识，重点在信息系统

14、模型、编码理论、信号检测、通信基带信号处理及数据科学等方面为本专业的复杂工程问题提供解决方案。3-3 能运用工程基础和专业基本原理，分析影响电子信息系统有效性、可靠性的可能因素，并能够验证解决方案的合理性。课程目标 1课程目标 2毕业要求毕业要求 2 2：使用现代工具解使用现代工具解决工程问题的能力决工程问题的能力能够针对通信系统设计和信号信息处理过程中的复杂工程问题，开发、选择与使用恰当的技术、资源、现代工程工具和信息技术工具，包括对复杂工程问题的预测与模拟，并能够理解其局限性。3-3 能运用工程基础和专业基本原理，分析影响电子信息系统有效性、可靠性的可能因素，并能够验证解决方案的合理性。4

15、-1 掌握电子及计算机、通信等相关领域的基本理论与方法，对复杂工程问题进行分析，具备设计和开发能力。课程目标 2课程目标 3毕业要求毕业要求 3 3：评价关注社会：评价关注社会能够使用专业相关的工程背景知识，进行合理分析，评价本专业的工程实践活动和复杂工程问题的解决方案对社会、健康、安全、法律以及文化的影响，理解应承担的责任。6-3 能熟练运用文献检索工具，获取电子信息领域理论与技术的最新进展。课程目标 3课程目标 4毕业要求毕业要求 4 4：沟通沟通与评价能力与评价能力具有良好地表达能力，能够就专业问题进行有效沟通，具备一定的国际视野，包括跨文化沟通能力。6-3 能熟练运用文献检索工具，获取

16、电子信息领域理论与技术的最新进展。课程目标 4课程目标 5培养目标培养目标 5 5：具备正确的劳动观点和态度，拥有勤俭、奋斗、创新、奉献的劳动精神；拥有较强的自主学习和终身学习的能力，具有一定的国际视野，能够积极主动地适应社会环境和电子信息行业的发展变化。3.课程思政的要求序号指标点内容1 1课程思政的目标将科学服务于社会的理念与课程内容结合，引导启发学生学习专业知识的同时，注重个人综合素质的培养。凸显“知识传授、能力培养、价值引领”与课堂有机融合。2课程思政点：1.培养探索该门课未知领域发展前沿与学术制高点的兴趣，追求真理，攀登科学高峰，造就尊重科学为国家效力的责任感与使命感；2.助力学生树

17、立正确的价值观、培养工程思维、思辨能力与求真务实的科学探索精神；3.培养学生结合工程实践，深入分析问题 解决问题以及探究解决问题的能力，明确科学服务于崇高事业的理念；4.培养学生精益求精、理论联系实际大国工匠精神，激发学生科技报国的家国情怀和担当使命；5.培养学生独立解决思考问题能力，学习科学家钻研难点卡脖子技术问题的能力与信念，面对挫折和困惑，坚持到底的坚韧不拔的求学精神。三、课程教学内容和要求（一）（一）绪论绪论主要内容：主要内容：1.信息的一般含义2.通信系统模型、信息论研究的对象3.目的和内容、信息论的发展以及展望基本要求：让学生了解信息的概念，使学生对信息表达的三个层次：信号、消息与

18、信息之间的内涵与外延关系有较深刻的认识，从不同的侧面和不同的层次揭示信息的本质。使得学生理解世界信息论发展历史的脉络，厘清我国信息技术的发展紧迫性，让学生树立信息技术对关系国家安全发展战略的意义。了解信息理论发展的历史和趋势，尤其是我国通信人在西方技术封锁情况下自力更生的发展历史，弘扬我国在信息领域技术的开拓进取精神，鼓舞学生的进取心和学习兴趣。课程思政点要求点 1重点重点：信息的概念、自信息的概念与计算。难点：难点：对信息概念的掌握教学方式：教学方式：课堂讲授、在线答疑学时分配学时分配：2 个学时支撑课程目标支撑课程目标：CT1CT4CT5（二）（二）离散信源离散信源主要内容：主要内容：1.

19、离散信源和连续信源的定义，2.信息熵的性质以及计算，3.熵函数与互信息4.离散序列的熵函数5.连续信源的熵与互信息6.信源剩余度的计算以及物理意义。基本要求：了解离散信源的数学模型与分类；掌握信息熵、熵的基本性质以及离散无记忆扩展信源；了解马尔科夫信源、信源的相关性与剩余度。培养学生学习数学、物理学的兴趣，并借助于该方法思想解决科学问题的良好思维习惯。学习科学家做科研应该具备的理论支撑与而思维素养。思政要点 2-3重点重点：信息的度量方法，离散信源的数学模型及各种信源信息熵的计算方法。难点难点：信息的计算以及信息熵的计算。教学方式：教学方式：课堂讲授、在线答疑学时分配学时分配：10 个学时支撑

20、课程目标支撑课程目标：CT1CT2CT5(三三)离散信道离散信道主要内容：主要内容：1.信道模型的分类2.平均互信息的定义以及物理意义3.离散对称信道4.准对称信道5.离散扩展信道6.串联/并联信道的概念和容量计算7.信源与信道的匹配基本要求基本要求：了解信道模型、分类、信道疑义度；理解和掌握平均互信息及其特性、离散无记忆扩展信道、串联信道互信息、信道容量；熟悉信源与信道的匹配。特别是第一节课，主要引导学生了解我们信息理论研究和产业的发展现状及与国外的主要差距，刺激学生的爱国主义情绪和学习积极性。了解信息以及信息产业作为最重要的国家基础设施，对国民经济发展、国家安全的重要作用，帮助学生深入理解

21、本专业知识与技术的重要性，增强学生的行业信心和学习动力。课程思政要求 3重点重点：信道的数学模型、平均互信息及其性质描述、关于平均互信息的两个定理、信道容量的概念、常用离散和连续信道的信道容量优化估算方法。难点难点：平均互信息以及信道容量的计算，主要凸显平均互信息的物理意义。教学方式：教学方式：课堂讲授、在线答疑 视频课程学时分配学时分配：12 个学时支撑课程目标支撑课程目标：CT1CT2CT5（四）（四）信息率失真函数信息率失真函数主要内容：主要内容：1.离散和连续信源的信息率失真函数 R（D）的计算。2.平均失真和率失真函数的定义以及性质，基本要求基本要求：了解平均失真和率失真函数的定义以

22、及性质，理解离散和连续信源的信息率失真函数 R（D）的计算。重点：重点：平均失真和率失真函数的定义以及计算。难点难点：率失真函数的互信息表示。学时分配学时分配：4 个学时支撑课程目标支撑课程目标：CT1CT2CT5（五）（五）信源编码信源编码主要内容主要内容：1.信源编码定理、2.唯一可译码的判断3.常用的变长编码的方法4.无失真信源编码定理5.霍夫曼编码6.限失真信源编码定理基本要求基本要求：了解等无失真和限失真源编码定理、唯一可译判定；掌握变长信源编码定理以及常见变长编码方法，了解信源编码与加密，对维护国家安全利益的重要性。了解掌握未来信息技术以及与信息相关的领域标准的主导权对维护国家利益

23、的重要性，强化学生的家国意识、创新精神与安全意识。课程思政要求 4重点重点：三个定理，信源编码的目的和基本思路，仙农编码、费诺编码、霍夫曼编码方法、游程编码、算术编码的基本思路。难点难点：信源编码的定理以及 3 种常用编码方法。学时分配学时分配：12 个学时支撑课程目标支撑课程目标：CT1CT3CT5（六）（六）有噪信道编码有噪信道编码主要内容主要内容：（4 学时）1.译码规则和平均错误概率2.最大后验概率、最大似然译码准则3.平均错误概率与编码方法4.汉明距离与编码原则5.有噪信道编码定理基本要求基本要求：了解译码规则和平均错误概率、最大后验概率、最大似然译码准则、汉明距离与编码原则；掌握信

24、道编码定理。重点重点：掌握信道编码的基本思路和编码定理。难点：难点：最大似然估计的理解与译码的结合。学时分配学时分配：4 个学时支撑课程目标支撑课程目标：CT1CT3CT5（七）（七）信道编码信道编码主要内容主要内容：1.信道编码的概念与分类2.线性分组码的概念与原理3.汉明码的编译码原理与方法4.循环码的编译码原理与方法基本要求基本要求：了解信道编码的概念与分类，线性分组码的概念与原理；掌握汉明码和循环码的编译码原理以及方法；熟悉线性分组码的应用。重点重点：线性分组码的基本原理、汉明码和循环码的编译码。难点难点：循环码的编译码学时分配学时分配：10 个学时支撑课程目标支撑课程目标：CT1CT

25、2CT5（八）卷积码（八）卷积码主要内容主要内容：（10 学时）1.卷积码概念与原理2.树图、状态转移图、格图的概念3.卷积码的编译码原理以及维特比译码算法4.卷积码的应用基本要求基本要求：了解卷积码的概念与分类；掌握卷积码码的编译码原理以及维特比译码算法；熟悉卷积码的应用。重点重点：卷积码的编码以及译码，树图、状态转移图、格图的概念以及维特比译码算法。难点难点：树图、状态转移图、格图以及维特比译码算法的掌握。学时分配学时分配：10 个学时支撑课程目标支撑课程目标：CT1CT3CT5四、教学安排及学时分配五、实验部分教学内容和目标：（含课内实验的课程填写本部分）序号实验项目名称实验内容及课程目

26、标学时实验类型演示验证设计综合1离散信道的建模在高斯白噪声条件下，建立 0-1 信道的模型，借助于统计学的虚惊概率与漏惊概率，利用软件进行仿真实验，利用优化问题对该系统建模。采用最大似然估计，建立合理化的判决阈值。（CT2）。22信道容量的估计对以上的信道进行简化与抽象，建立二元离散对称无记忆信道，同时学会验证二元离散无记忆信道，利用输入当该与输出等概的原理，估算信道容量2教学环节及学时主要内容学时分配授课习题课实验网络其它小计（一）绪论2002无2（二）离散信源911010(三)离散信道8221212（四）信息率失真函数40044（五）信源编码11101212（六）有噪信道编码20244（七

27、）信道编码6221010（八）卷积码6221010合计48886464（CT2）。3有噪信道的编码对该信道加加性白色噪声，建立 9个子信道的 MIMO 信道，利用注水算法对信道有限的功率资源进行优化；建立优化设计方案，实现功率资源有限条件下的信道容量的最大值估计，并确定各子信道的调制方式（CT2）24卷积码针对 MIMO 信道的编码，采用卷积码对其进行编码，实现信道的可靠性，采用软件编程的形式，实现 313 卷积码，并对其性能进行评析，同时画图解码的篱笆图。（CT3）2七、课程考核与评价1、考核与评价方式考核与评价方式本课程成绩以百分制表示，总成绩由平时成绩和期末考试成绩综合构成，具体比例如下

28、：总成绩=平时成绩 40%+期中闭卷形式 10%+期终考试闭卷形式平时成绩=平时作业*15%+课内实验*10%+线上作业*15%其中考试为线上考试；期终考试为闭卷笔试。课程考核应综合评价学生学习状态和学习结果，包括过程性评价与总结性评价。包括平时作业、信息论网络课程考核与课内实验。序号考核环节考核方式考核要求分值课程目标1过程考核作业测试必须完成覆盖基本知识点的六次作业，作业内容包括信息、熵函数、互信息信道容量的估计、失真函数、信源编码、信道编码与卷积码。学会应用信息论基础与编码的概念定理。培养学生借助于课堂所学习基本技能与基本要求，进行解题估算与证明的能力15支撑毕业要求：2-33-1思政要

29、求：3-2信息论线上考核https:/ 3-2 3-33-42、成绩评定成绩评定标准标准（1）平时成绩）平时成绩平时作业平时作业：依据教师布置的课程任务确定。课内实验课内实验：课内实验是以分组的方式实施，小组共同完成实验任务。线上课程：按照学堂在线给出的分数而定。平时作业评价标准如下表：课程目标评价标准成绩比例（%）优（90-100分）良（80-89 分）中（70-79 分）合格（60-69 分）不合格（0-59 分）课程目标 1（指标 3-34-1）按时完成作业；基本概念正确，计算过程准确；作业书写工整规范。按时完成作业；基本概念理解正确，原理运用和计算表述良好；书写较工整。能按时完成作业；

30、基本概念运用一般，计算过程基本正确，书写较工整。大部分时间按时交作业；原理概念基本正确，计算过程存在错漏；书写一不能按时交作业；有抄袭现象；或者基本概念不清楚、书写潦草不规范。70般。课程目标 3（指标点 3-34-1）按时交作业；针对具体问题，正确理解和合理运用技术标准、产业政策和法律法规。按时交作业；能够较好地针对问题理解运用技术标准、产业政策和法律法规。按时交作业；针对问题，能够基本正确地理解和运用技术标准、产业政策和法律法规能力。大部分时间按时交作业；针对问题，正确地理解和运用技术标准、产业政策和法律法规能力一般。不能按时交作业；有抄袭现象；不能正确理解和合理运用技术标准、产业政策和法

31、律法规。30课内实验评价标准如下表：课程目标评价标准成绩比例（%）90-100 分80-89 分70-79 分60-69 分0-59 分课程目标 2（指标点3-3，4-1）能够根据项目要求选择合适的工具和设备，完成网络工程中复杂问题的建模、实验方案设计、对实验结果进行分析和解释，按时交实验报告，报告撰写符合规范。能够根据项目要求较好地选择工具和设备，较好地中复杂工程问题的建模、实验方案设计，能够对实验结果进行较好地分析和解释，按时交实验报告，报告撰写符合规范。能够根据项目要求，基本合理地选择工具和设备，能够基本完成网络工程中复杂问题的建模、实验方案设计较为合理、对实验结果进行分析和解释一般，基

32、本能够按时交实验报告，报告撰写规范性一般。根据项目要求选择合适的工具和设备的能力欠佳，能够成基本实验要求，对实验结果能进行分析和解释，能按时交大部分实验报告，报告撰写符合规范性差。不能根据项目要求选择合适的工具和设备的能力欠佳，基本实验要求未完成报告提交不及时，撰写符合规范性差。70课程目标 3（指 标 点3-3，4-1）能够根据项目要求选择合适的协议和技术标准，完成实验方案设计、对实验结果进行分析和解释，按时交实验报告，报告撰写符合规范。能够根据项目要求较好地选择协议和技术标准，完成实验方案设计、对实验结果进行分析和解释，按时交实验报告，报告撰写符合规范。能够根据项目要求较好地选择协议和技术

33、标准，能够基本完成实验方案设计实现，对实验结果进行分析和解释一般，基本能够按时交实验报告，报告撰写规范性一般。能够根据项目要求较好地选择协议和技术标准，能够完成实验基本要求，能按时交大部分实验报告，报告撰写符合规范性差。不 能 根 据项 目 要 求较 好 地 选择 协 议 和技术标准，不 能 够 完成 实 验 基本要求，不能 按 时 交大 部 分 实验报告，报告 撰 写 符合 规 范 性差。30视频考核按照学堂在线信息论课程系统给定的分数进行视频考核按照学堂在线信息论课程系统给定的分数进行2）期）期终终考试成绩考试成绩闭卷形式百分制七七、建议教材及参考资料与线上资料、建议教材及参考资料与线上资料教材：信息论基础与编码 王军选等人民邮电出版社2011 年参考资料：傅祖芸，赵建中编著，信息论与编码，北京：电子工业出版社，2006傅祖芸编著，信息论基础理论与应用，北京：电子工业出版社，2001姜丹，信息论与编码，合肥：中国科学技术大学出版社，2001曹雪虹，张宗橙，信息论与编码，北京：北京邮电大学出版社，2001翟永智学堂在线信息论课程 2019 年