信息论与编码技术期末复习

题型：填空题，选择题，计算题

答疑时间：1月9号上午9-11点下午3-5点  工学院425室

第一章

信息、消息和信号的区别与联系P3；

通信系统的性能指标P4。

第二章

遍历的马尔可夫链必须具有不可约性和非周期性P12；

马尔可夫链稳态分布概率的计算P14，例2-2；

自信息量的计算P16；

离散信源熵、条件熵、联合熵的计算P19，P20；

互信息的计算P22；

条件熵H(X|Y)和H(Y|X)的含义P24；

数据处理定理P26；

熵的性质1，2，3，5，6  P28-29；

离散无记忆信源平均符号熵H_L（X）P30（2-3-1）；

L长序列信源的序列熵P31（2-3-2）；

马尔可夫链的极限熵P34，例2-13；

限峰功率最大熵定理和限平均功率最大熵定理P37；

信息效率和冗余度的计算P38

需掌握的公式：

P12   

P16 

P19 

P20   P22 

P34

  

P38

     

第三章

信道的信息传输率R，信道容量 P50；

无干扰离散信道的信道容量P51；

输入对称和输出对称信道的判别，对称DMC信道的信道容量P52（3-2-3）；

准对称DMC信道的信道容量P57（3-2-6）；

香农公式P65（3-4-10）；

增加信道容量的几种途径，香农限P66；

信源与信道的匹配（符号匹配和信息匹配）P67

需掌握的公式：

P50   R＝I (X;Y)=H(X)-H(X|Y)       bit/符号

      R_t=I(X;Y)/t  bit/s

P52 

P57 

P65 

第四章

失真函数的定义P71（4-1-1）；

汉明失真函数（即误码失真）P72；

平均失真P74（4-1-4）；

信息率失真函数的定义域P75-77；

D_max P76（4-1-13）；

信息率失真函数的性质（下凸性、连续性、单调递减性）。

需掌握的公式：

P71  

P74  

P76  

第五章

三大极限定理（无失真信源编码定理，信道编码定理，限失真信源编码定理），信源编码的任务（减少冗余，提高编码效率或有效性），信道编码的目的（提高可靠性）P85；

码的分类，唯一可译码的判断P87；

克劳夫特不等式的意义（判断唯一可译码是否存在）P88；

定长编码的序列长度L满足的条件P90（5-2-6）；

编码效率P91；

码字平均长度的计算P93；

最佳变长编码（香农编码、费诺编码、哈夫曼编码）的编码方法P94-98；

算术编码方法P105，例5-10

需掌握的公式：

P88   

P90  

其中，，由推导

P91  

第六章

差错图样P119（6-1-1）；

差错图样类型（随机差错、突发差错）P119-120；

失量空间、子空间和对偶空间的含义P123-124，例6-1；

有扰离散信道的编码定理P129（6-1-24）；

减小差错概率的措施（增大信道容量C，减小码率，增大码长）P130；

译码方法（最优译码和最大似然译码）P133；

线性分组码（n, k），n,k的含义（n：编码后的码字长度，k：信息组长度），生成矩阵G（k×n的矩阵），G的系统化，系统码（6-3-6）P136；

系统的校验矩阵H（(n-k)×n的矩阵）与G的相互转化P137，例6-2；伴随式的种数（2^n-k），伴随式S与差错图样E的关系P139（6-3-14）；

检错能力、纠错能力与最小距离的关系，最小距离的计算，最小距离与校验矩阵秩的关系P143-144；

完备码的性质P145（6-3-23）；（n,k）汉明码的构造P146，例6-4；

循环码的构造P148，例6-5；

系统循环码的构造P150，例6-6；

缩短码的生成矩阵和校验矩阵的获得P157-158；

循环冗余校验码的发码、收码的校验P158，例6-10；

由卷积码的转移函数矩阵构造编码器结构、转移函数矩阵、状态流图P160-165，例6-11，6-12，6-13，6-14；

需掌握的公式：

P119   差错图样E＝发码C－ 收码R （模M）

P136   G = [I_kM P ]，H＝[P^TM I_n-k ]（二进制编码）

P139   S= EH^T 

P143  

       d_min =  min {w (C _i )}      C _iÎC 及C _i¹ 0

第七章

密码体制需实现的功能（保密性和真实性）P206；

密码体制的分类（对称体制和非对称体制）P207；

数据加密标准DES的换位和替代概念P210；

RSA密码体制的加密、解密算法P224，例7-1：加密时，y=x^e mod n，解密时：x=y^d mod n

第二篇：《信息论与编码技术》复习提纲

《信息论与编码技术》复习提纲

一、考试题型

1.名词解释（10%）

2.填空题（20%）

3.判断题（10%）

4.简答题（20%）

5.证明题（10%）

6.计算题（30%）

二、考试时间

1月9日10:20－12:20

三、复习题纲

第0章绪论

题纲：

        I.     什么是信息？

      II.     什么是信息论？

    III.     什么是信息的通信模型？

     IV.     什么是信息的测度？

       V.     自信息量的定义、含义、性质

需掌握的问题：

1.   信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）

2.   Shannon信息论中信息的三要素是什么？

3.   通信系统模型图是什么？每一部分的作用的是什么？

4.   什么是信息测度？

5.   什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？

6.   自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？

第1章信息论基础

㈠《离散信源》题纲：

        I.     信源的定义、分类

      II.     离散信源的数学模型

    III.     熵的定义、含义、性质，联合熵、条件熵

     IV.     离散无记忆信源的特性、熵

1. 离散有记忆信源的熵、平均符号熵、极限熵

     VI.     马尔科夫信源的定义、状态转移图

   VII.     信源的相对信息率和冗余度

需掌握的问题：

1.   信源的定义、分类是什么？

2.   离散信源的数学模型是什么？

3.   信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？

4.   单符号离散信源最大熵是多少？信源概率如何分布时能达到？

5.   信源的码率和信息率是什么，如何计算？

6.   什么是离散无记忆信源？什么是离散有记忆信源？

7.   离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？

8.   离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？

9.   什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？

10.        马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？

11.        马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？

12.        信源的相对信息率和冗余度是什么？如何计算？

㈡《离散信道》题纲：

        I.     信道的数学模型及分类

      II.     典型离散信道的数学模型

    III.     先验熵和后验熵

     IV.     互信息的定义、性质

1. 平均互信息的定义、含义、性质、维拉图

     VI.     信道容量的定义

   VII.     特殊离散信道的信道容量

需掌握的问题：

1. 信道的定义是什么？信道如何分类？信道的数学模型是什么？
2. 二元对称信道和二元删除信道的信道传输概率矩阵是什么？
3. 对称信道的信道传输概率矩阵有什么特点？
4. 根据信道的转移特性图，写出信道传输概率矩阵。
5. 先验熵、后验熵的区别？
6. 联合熵、条件熵和信息熵的关系。
7. 互信息的大小如何计算？互信息的性质是什么？
8. 联合互信息、条件互信息、互信息之间的关系是什么？
9. 平均互信息的定义是什么？平均互信息的含义？平均互信息的性质？
10. 联合平均互信息、条件平均互信息和平均互信息的关系？
11. 损失熵和噪声熵的含义是什么？维拉图表示了哪些关系式？
12. 信道的传码率和传信率（信息率）的计算方法是什么？
13. 信道容量的定义是什么？信道容量的含义如何理解？
14. 无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量如何计算？

㈢《连续信源和波形信道》

题纲：

        I.     连续信源的定义、数学模型、绝对熵、相对熵

      II.     给定条件下，连续信源的最大熵

    III.     熵功率

     IV.     连续信道和波形信道的信道容量

需掌握的问题：

1.   连续信源定义、数学模型是什么？

2.   连续信源熵的表达式是什么？相对熵和绝对熵的区别是什么？

3.   如何计算均匀分布、正态分布连续信源的最大熵？

4.   什么是波形信道？了解波形信道互信息、信道容量的求解思路。

5.   香农公式是什么？物理意义是什么？

第2章无失真信源编码

题纲：

        I.     基本概念

                       1.     编码

                       2.     二元码

                       3.     等长码

                       4.     变长码

                       5.     码的N次扩展码

                       6.     唯一可译码

      II.     等长码

    III.     变长码

     IV.     无失真信源编码定理

       V.     编码方法

                       1.     香农编码

                       2.     费诺编码

                       3.     霍夫曼编码

需掌握的问题：

1.   编码的定义及编码相关术语。

2.   信源编码的定义及目的是什么？

3.   解释二元码、等长码、变长码、唯一可译码。

4.   变长码和定长码的区别是什么？用码树描述二者的差异，能够说明变长码和定长码各自的优劣。

5.   描述香农第一定理及意义。

6.   掌握香农编码、费诺编码、霍夫曼编码的步骤及特点，会计算编码效率。

7.   了解游程编码和算术编码的思路。

第3章信道编码

题纲：

        I.     检错、纠错原理及方法、能力

      II.     差错控制理论

1. 译码规则
2. 2种准则下的错误概率

    III.     信道编码定理

     IV.     编码方法

1. 简单的检错、纠错码
2. 线性分组码
3. 循环码

需掌握的问题：

1.   信道编码的定义及目的是什么？

2.   检错原理是什么？

3.   差错控制方法有哪些？

4.   如何确定一种编码的检错、纠错能力？

5.   汉明距离是什么？汉明重量是什么？最小码距是什么？

6.   信道编码的效率如何确定？

7.   奇偶校验码的编码规则是什么？检错、纠错能力如何？

8.   译码规则的定义是什么？

9.   最大后验准则是什么？极大似然准则是什么？这两种准则下如何计算错误概率？

10.        错误概率与损失熵之间的关系是什么？

11.        描述香农第二定理及意义。

12.        线性分组码的编码原理和校验原理是什么？

13.        循环码的编码原理和校验原理是什么？

14.        了解循环冗余校验码和卷积码的编码思路。

第4章信息率失真函数

题纲：

       V.     失真度

     VI.     平均失真度

   VII.     信息率失真函数

 VIII.     信息率失真函数的性质

     IX.     限失真信源编码定理

需掌握的问题：

1. 失真度如何表示？
2. 四种常见失真度的形式分别是什么？分别用于什么场合？
3. 平均失真度如何计算？
4. 什么是保真度准则？
5. 什么是试验信道？
6. 信息率失真函数的定义是什么？
7. 信息率失真函数和信道容量的区别和联系是什么？
8. 信息率失真函数的性质是什么？
9. 定义域D_min, D_max，以及相应的R(D_min), R(D_max)如何计算？
10. 描述香农第三定理及意义。
11. 了解预测编码和变换编码的思路。