信息论与编码

《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面：

首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编码、加密编码。。

接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度—熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为的符号的自信息量为：。自信息量具有下列特性：（1）（2）（3）非负性（4）单调递减性（5）可加性。信源熵是在平均意义上来表征信源的总体特征，它是信源X的 函数，一般写成H（X）。信源熵：，条件熵：联合熵，联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：。互信息: 。熵的性质：非负性，对称性，确定性，极值性。

接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根据输入端和输出端可以分为无反馈和反馈信道；根据信道参数与时间可以分为固定参数和时变参数；根据信道受噪声种类分为随机差错信道和突发差错信道根据输入输出信号的特点分为离散信道，连续信道，半离散半连续，波形信道。学习了信道容量的相关计算，信道容量C=含义，表征信道能传输的最大信息量，或者信道的最大传输能力。

以上是信息论部分的知识，下面就进入到编码的部分，我们首先接触到时是信源编码的相关概念。分组码:将信源消息分成若干组，即符号序列，，序列中的每个符号取自符号集A，。而每个符号序列依照固定的码表映射一个码字，这样的码称为分组码，也叫快码。码可以分为固定长度码和变长码； 分组码又分为奇异码和非奇异码；若信源符号和码字是一一对应的，该码为非奇异码，反之为奇异码。非奇异码又分为非唯一可译码和唯一可译码；任意有限长的码元序列，只能被唯一分割成一个个码字，称唯一可译码；值得注意的是奇异码不是唯一可译码，而非奇异码中有唯一可译码和非唯一可译码。唯一可译码又分为非即时码和即时码；接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接受后才能判断是否可以译码，称为非即时码，即时码又称非延时码，任意一个码字都不是其他码字的前缀部分，叫异前缀码。唯一可译码的充要条件：。定长编码定理：由L个符号组成的、每个符号的熵为的无记忆平稳信源符号序列（）,可用个符号(每个符号有m种可能值)进行定长编码。对任意,则当L足够大时，必可使译码差错小于；当时，译码差错一定是有限值。当L足够大时，译码几乎必定出错。然后学习了如何计算编码效率，编码效率：,其中为平均符号熵。   最佳编码效率：，单个符号变长编码定理：若离散无记忆信源的符号熵为,每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式.平均输出信息率为。  码字平均长度：10码字平均长度：及 信源符号的平均码长：。

然后了解了集中常见的编码方法。费诺编码：平均码长，为码长；信息传输速率：。哈夫曼编码：把信源符号(i=1,2,…,m)出现的概率按由大到小的顺序排列；(2)对两个概率最小的符号分别标“0”和“1”，然后把这两个概率相加作为一个新的辅助符号的概率；(3)将这个新的辅助符号与其他符号一起重新按概率大小顺序排列；(4)跳到第2步，直到出现概率相加为1为止；(5)用线将符号连接起来，得到一个码树，树的m个端点对应m个信源符号；6)从最后一个概率为1的节点开始，沿着码树分别到达每个信源符号，将一路遇到的“0”和“1”顺序排列起来，就是对应端点的信源符号的码字。

最后学习了信道的纠错编码，纠错码分类：从功能角度，分为检错码和纠错码；从对信息序列的处理方法，分为分组码和卷积码；从码元与原始信息的关系，分为线性码和非线性码。噪声均化的三种方法：增加码长N，卷积，交错。基底不是唯一的，生成矩阵也就不是唯一的。非系统码的生产矩阵可以通过运算转变为系统形式，此过程叫系统化。与任何一个（n,k）分组线性码的码空间C相对应，一定存在一个对偶空间D.空间的n-k个基底排列起来可构成一个（n-k）n矩阵，将这个矩阵称为码空间C的校验矩阵H.。线性码的任意码字c一定正交于其对偶码的任意一个码字，也必定正交于校验矩阵H的任意一个行矢量，即,0为零矩阵，若，则c为码字，反之，则不是码字。校验矩阵的定义。

信息论与编码是一门比较有难度的课程，接触的知识点比较广，比较全，先行课程也比较多。通过学习这门课程，我加深了对基本概念的理解，在学习新概念时要经常与已学概念进行对比，分析与已有概念间的区别与联系，深刻探讨其物理意义的差别，避免知识点之间的混淆。提升了数学推导与证明能力。虽然学起来有点吃力，但是经过一定时间的复习，目前对知识的掌握更深了一个层次，对知识的理解也更加深了一步。

第二篇：《信息论与编码》课程小结

《信息论与编码》课程小结

《信息论与编码》课程小结

信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。

关于信息论的基本理论体系，19xx年，香农在贝尔系统技术杂志上发表“通信的数学理论”。在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。

对信息论的研究内容一般有以下三种理解：

(1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。

(2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。

(3) 广义信息论。广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。

信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关系。

关于信息论与编码课程的特点，信息论课程中运用了大量的数学知识。例如：在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要用到矩阵的运算和性质；在讨论连续信源熵时，需要对连续信源概率密度进行积分运算；在讨论离散

信源熵的最大值或信道容量的最大值时，要计算多元函数的条件极值。此外，信息论与编码中很多定理都伴随着复杂的数学证明，其中最明显的就是香农三定理（无失真信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理）的证明。

信息论课程的外延很广，课程内容与很多其他专业课有着紧密的联系。这些内容或者在其他专业课中进行不同角度的探讨，或者在其他专业课程中得到应用。信息论课程的纵向内容很深，通常把信息论的目标和重点锁定在狭义信息论上，也就是三大块内容：信息的统计测度、信道容量和信息率失真函数，以及香农的三个重要定理——无失真离散信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理。最典型的例子就是Huffman编码，信息论课程中作为一种变长信源编码方法，这里主要讨论该编码方法为什么是最优的（也就是更接近于香农第一定理的极限）；这个内容还出现在数据结构课程中，该课程主要从算法的角度讨论最优二叉树的生成和遍历问题；

此外，它还出现在离散数学课程中，该课程主要是用树的数学形式对二元关系这种离散问题进行研究和讨论；在计算机体系结构课程中计算机指令操作码的优化表示也用到了Huffman编码。另一个非常典型的例子是计算机网络课程里的ATM技术，ATM信元首部有8位的首部差错控制字段(HEC)，它是根据首部其余的32位计算出来的，用来编码的多项式为，这个码多项式问题在信息论的循环码（纠错码的一种）中有详细论述。此外，在多媒体技术课程中对图片、声音、视频等信息的压缩处理，也应用了大量的信息论内容。

一般在讨论编码定理的同时会简要地介绍几种编码方法，比如无失真离散信源编码方法有Shannon码、Fano码和Huffman码，纠错编码有线性分组码和循环码。如果需要对编码内容进行深入探讨，可以将其组成独立的课程，如信源编码课程、纠错编码课程、密码学以及数据压缩原理等等。例如，对于专门的信源编码课程，就可以从离散信源、连续信源和相关信源的角度对编码的理论和方法进行全方位和深入的介绍。

根据上面提到的课程特点，结合自身实践，我有以下心得体会：

重视数学理论的掌握。对于信息论基本内容（三大块内容和三个定理，上文有具体说明）的学习，特别要注意数学推导的完整性和严密性。要既掌握数学理

论，又具备算法的开发能力。此外，对信息论与编码的学习，还需要增加一些程序开发实验。

学习过程中，要广泛地从参考书或参考文献中获取素材，这样才能做到深入浅出。在证明定理或推导公式时，一定要把定理或公式所表达的物理含义和道理强调出来。建议至少强调两次，一次在证明前，另一次在证明完成后。在证明前说明的好处是知道进行证明或推导的意义何在，在证明完成后再次说明是强调和加深印象。

信息论课程的外延很广，因此在学习时对本课程与其他课相关联的内容进行特意地深究，是非常有必要的。这样就可以建立起课程之间的联系，课程与课程之间不再是离散的信息孤岛，而是有框架组织和脉络条理的信息树。这样我们逐渐会把不同课程的知识融会贯通，从而使我们学习的兴趣和动力得到进一步提升。

另外，由于信息论方法具有普遍的适用性，因此可以把课上学习的内容和我们的日常生活紧密结合起来，从而提高学习的兴趣。例如，在学习多符号离散信源时，可以和日常生活中大家在电视上见到的摇奖场面联系起来。一台简单的摇奖机，从十个号码球中摇出一个数字号码，可以看作一个单符号离散信源，它有十个符号，从0至9。如果需要摇出七位数的体育彩票号码，这可以看成是一个多符号信源，一次同时发出七个符号，而且是单符号离散信源的7次扩展。又如，在学习汉明距离时，可以和英语学习联系起来。在英语中拼写非常接近的单词很容易混淆或者拼写错误，用信息论的观点来看就是两个码字的汉明距离（不同位的个数）太小，因此抗干扰的能力差。

信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信

息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，信息论对哲学领域也有深远的影响。因此，《信息论与编码》课程是不可或缺的!

第三篇：信息论与编码心得体会

通信工程134班刘钰安 6102213946 信息论与编码学习体会