测试技术与信息论论文
一、 信息论的定义
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
从DVD到个人电脑，从卫星通信到文件，在我们今天的生活中，信息几乎在每个领域都扮演着重要角色。工程师克劳德·香农于1948年奠定了信息论的基础，他指出了通信的极限。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
当然，信息论的重大应用远不止于此。DNA是一种信息存储物质，正是信息论帮助人们解开了生物基因组密码之谜。简单地说，信息论包含了生命、宇宙乃至一切。
二、熵与互信息
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：
H = - ∑ pilogpi
这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为：
H(X,Y) = - ∑ p(x,y)logp(x,y)
x,y
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
信息论被广泛应用在：
编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论、信息论第一定律、编辑词条
三 、信息论对现代社会的影响
信息论对现代社会的影响是多方面的。首先, 在理论研究方面, 信息论所处的地位已远远超出了申农当年所界定的“通信的数学理论”的范畴, 得到了不断的扩充和发展, 出现了语义信息、语法信息与语用信息等研究与信息的意义有关的学科, 以及面向智能研究的全信息理论[6 ] 。如今, 信息已成为与物质、能量并列的宇宙中的三个基本要素, 世间万物的发展变化可归结为物质、能量和信息的传递和转化过程。另一方面, 在科学和技术高度发展的今天, 信息的概念也被渗透到许多不同的学科和领域, 深入到了社会生活的各个方面, 成为可与相对论和量子力学并驾齐驱的新一代边缘交叉学科的重要组成部分。特别是以信息论、控制论和系统论为代表的“老三论”以及以普里高津( I. Prigogine) 的耗散结构理论, 哈肯( H. Haken) 的协同学和托姆( R.Thom) 的突变论或艾根(M. Eigen)的超循环理论为代表的“新三论”的出现, 标志着一代新的边缘交叉学科的兴起。它们的形成和发展对现代科学的研究具有重要的方法论上的指导意义。
第二, 在技术应用方面, 信息论为现代通信理论和技术的发展作出了不可磨灭的贡献, 信息科学与材料科学、能源科学一起已成为现代高新技术领域的三大关键技术, 信息产业已是当今社会中发展最快、效益最高、潜力最大、影响最广的最重要的支柱产业之一。科学技术的进步使得计算机从一种单纯的快速计算机器发展成为能智能化、高速度地处理一切数字、符号、文字、语音、图像以至进行知识发现和逻辑推理等的强大工具, 其应用领域已覆盖了社会生活的方方面面, 成为推动人类社会进步的强大动力。计算机与通信技术的结合更深刻地影响和改善了人们的生产与生活方式, 促进了人类文明的进步。没有信息论的指导, 就不会有现代的无线电技术, 电视接收系统, 不会有现代的移动通信和卫星导航、定位系统, 更不会有“英特网”和“信息高速公路”的出现, 而所有这些领域业已成为现代技术进步的重要标志。第三, 在社会经济领域, 21 世纪人类社会将全面进入信息时代, 智力、技术和信息已成为现代社会经济生活中不可缺少的重要资源。信息科学的迅速发展和信息高速公路的出现, 使先进的技术和信息能够为不同国家和民族所使用, 有利于国际性的合作和交往的发展, 同时也为市场经济中资源的有效配置和利用提供了良好的社会环境, 避免了项目的重复建设和产品的盲目生产。企业充分利用互联网上的有用信息和在互联网上做广告也为其利润的增加和经济的发展开辟了新的天地。信息科学的发展还促进了各种信息产业如光纤制造业、信息传输、交换设备生产企业、计算机软、硬件生产以及电信等行业的繁荣, 同时也带动了各种高科技企业及其它行业的发展, 知识和技术密集型产业将代替劳动密集型产业而成为当今社会的“朝阳产业”。信息时代的信息将成为社会运作的核心, 成为世界经济从工业化阶段进入信息化阶段的标志。电子商务的迅速崛起, 适应了21 世纪全球经济一体化的发展趋势, 构成了这个时代的新特征, 并在促进经济增长, 方便人们生活方面发挥出了巨大的作用。第四, 在个人生活方面, 互联网将打破国界和地域的限制, 使整个世界联
为一体, 人们似乎生活在一个地球村中。不同民族、肤色、文化和语言背景的人们通过信息高速公路互相沟通, 地区间的差异和空间上的距离变得越来越不重要了。互联网的发展还导致了一些新的服务行业的出现, 如电子教育、电子科研、电子医疗、电子购物、电子信箱、电子查阅、电子钱包及交互式电视等全新的行业, 使人们足不出户就能享受着信息科学的进步所事来的巨大方便, 做完想做的事。信息的利用已不再是知识阶层的特权, 互联网的普及将深刻地改变人们生活方式, 给人们的学习和生活带来极大的便利, “居家购物”、“居家上班”、“居家上学”和“居家就医”等已不再是遥远的未来。通过网络快捷方便地获取信息和知识, 使得那些一时还无法进入高校大门的人能方便地通过英特网免费享受重点高校甚至国外高校提供的一流的课程和教育。同时,在未来的信息社会中, 随着信息产业在国民经济中所占比重的日益增多, 就业结构的变化对劳动者素质提出了更高的要求, 新兴产业的工人, 已不再是原来意义上从事大量体力劳动的人, 而是能够掌握现代科学技术及技能的新型工人, 这将使社会成员普遍地意识到知识和信息的重要性, 主动要求接受再教育, 从而有利于迅速提高个人乃至人类整体的文化水平。所有这些, 都将使个人生活方式发生着深刻的变化。第五, 在思维方式方面, 信息高速公路的开通和信息的快速传递将导致思
维方式上的不断更新。互联网的开通大大加快了人们接受新思想、新信息的速
度, 促进了不同生活方式和思维模式的溶合, 使得那些原来遥不可及的事情变
得唾手可得, 原来不可思议的新事物变得司空见惯, 原来不可接受的生活方式、思维模式和文化传统变得争相仿效。人们每天都能从网络上接受到大量的不同种类、具有不同文化特质和民族风格的信息, 通过对不同民族的优良文化传统和独特的思维方式的学习和消化, 分析和综合, 加快了人们思维方式的变革和更新, 促进了新的思维模式的形成, 将人们从静态思维转向动态思维, 从局域性思维转向全局性思维, 从封闭性思维转向开放性思维, 从单向性思维转向多向性思维。有利于全方位、多层次、多渠道地展开思维活动, 促进跳跃性、联想性、创造性的思维网络的形成。所有这些对人类的文明和社会的进步都将起到积极的促进作用。然而, 技术是一把双刃剑。在信息理论和信息网络给人类带来福音的同
时, 也带来了一些问题和困惑。首先,信息网络的建立和信息的快速传递为西方大国霸权主义和强权政治的发展、腐朽观念的传播以及利用本国信息优势进行“信息侵略”和文化渗透提供了有利条件, 这将在某种程度上左右他国民众的政治观念和政治信仰, 损害不同国和民族的文化传统, 损坏丰富多彩的文化个性, 在世界范围内产生“文化同质”现象, 对世界文化的多元性造成了威协。随之而来的将是外国的价值观念和思维方式及其政治、经济、法律制度对中国千百年来所形成的文化传统造成冲击和震荡, 将会在一定程度上改变国人特别是青年一代的价值取向和思维方式, 从而对现行的政治构架产生负面影响。东西方文化在这些方面的磨合和碰撞将是长期的, 在这个过程中将会出现一些新的矛盾, 其直接结果就是涉外案件增多, 意识形态领域上渗透与反渗透、颠覆与反颠覆的交锋将会更加激烈。其次, 由于发达国家有充分的技术和财政力量进行信息资源的开发和利用并从中受益, 而第三世界国家却无力支付它的建设所需要的巨额开支, 从而将越来越远地落在后面, 这在客观上加大了发展中国家与发达国家的贫富差距。贫富差距的拉大, 使一些人的心理失衡, 造成的结果是, 这些人会铤而走险, 进行抢劫、盗窃、诈骗等各种违法犯罪活动。再次, 信息的滥开发将导致严重的信息污染现象, 而信息的滥用将导致对个人隐私权、名誉权和知识产权
侵犯, 这些都直接影响着社会的稳定和发展。最后, 毫无节制地上网和某些过剩的信息垃圾不仅浪费人们的时间和精力, 而且也影响了人们的身体健康, 导致了各种“网络病”的出现, 并已成为不可忽视的社会问题。另外, 各种计算机病毒感染的加剧及网络黑客的猖獗使得信息的安全保密问题成为全社会乃至政府首脑关心的焦点, 并在这方面耗费了大量的时间、人力和物力, 在一定程度上阻碍了经济的快速发展。总之, 信息论的创立, 信息科学的基础和应用研究的开展有力地推动了信息技术的进步和信息全球化的进程, 对人类社会的发展和人们生活水平的提高起到了不可磨灭的积极作用。与此同时, 以信息技术为代表的高科技将更多地被犯罪分子所利用, 实施技术型、智能型犯罪, 特别是利用计算机技术、现代通信技术、现代信息技术、现代仿真技术等方面的现代化犯罪, 将增大社会危害性和侦查破案难度。
四、信息论描述信息科学中的共性问题
信息理论是信息科学的基础，强调用数学语言来描述信息科学中的共性问题及解决方案。这些共性问题分别集中在狭义信息论、一般信息论和广义信息论中
4.1 狭义信息论
狭义信息论主要总结了Shannon的研究成果，因此又称为Shannon信息论。在信息可以度量的基础上，研究如何有效、可靠地传递信息。有效、可靠地传递信息必然贯穿于通信系统从信源到信宿的各个部分，狭义信息论研究的是收、发端联合优化的问题，而重点在各种编码。它是通信中客观存在的问题的理论提升。
4.2 一般信息论
研究从广义的通信引出的基础理论问题：Shannon信息论；Wiener的微弱信号检测理论。微弱信号检测又称最佳接收研究是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道传输的信号的理论。主要研究两个方面的问题：从噪声中去判决有用信号是否出现和从噪声中去测量有用信号的参数。该理论应用近代数理统计的方法来研究最佳接收的问题，系统和定量地综合出存在噪声和干扰时的最佳接收机结构。
除此之外，一般信息论的研究还包括：噪声理论、信号滤波与预测、统计检测与估计理论、调制理论、信号处理与信号设计理论等。可见它总结了Shannon 和Wiener以及其他学者的研究成果，是广义通信中客观存在的问题的理论提升。
4.3 广义信息论
无论是狭义信息论还是一般信息论，讨论的都是客观问题。然而从前面给出的例子可知，当讨论信息的作用、价值等问题时，必然涉及到主观因素。广义信息论研究包括所有与信息有关的领域，如：心理学，遗传学，神经生理学，语言学，社会学等。因此，有人对信息论的研究内容进行了重新界定，提出从应用性、实效性、意义性或者从语法、语义、语用方面来研究信息，分别与事件出现的概率、含义及作用有关，其中意义性、语义、语用主要研究信息的意义和对信息的理解，即信息所涉及的主观因素。
广义信息论从人们对信息特征的理解出发，从客观和主观两个方面全面地研究信息的度量、获取、传输、存储、加工处理、利用以及功用等，理论上说是最全面的信息理论，但由于主观因素过于复杂，很多问题本身及其解释尚无定论，或者受到人类知识水平的限制目前还得不到合理的解释，因此广义信息论目前还处于正在发展的阶段。
五、信息科学的发展
信息科学已成为世界各国最优先发展的科学之一。
在我国，信息科学更是受到前所未有的重视，这对信息科学工作者来说都是极大的鼓舞。
下面介绍信息科学发展的背景、信息科学的定义及含义、信息与通信工程一级学科、信息产业和国家信息基础结构，以明确信息理论与信息科学的关系。
4.1 信息科学的定义及迅速发展的背景
信息科学是研究信息的获取、存储、传输、加工处理和利用等内容的技术科学。
它与数学、物理、材料、生命、心理等基础学科以及众多技术学科交叉形成新领域，是发展和更新最为迅速的技术科学研究领域之一。
信息科学与其它科学技术交叉将派生出大量的新概念、新构思、新技术和边缘学科。
其核心是现代通信加信息技术。
4.2 国家信息基础结构
亦称“信息高速公路”，是一个具有大容量、高速度的电子数据传输系统，最早由美国联邦政府引导工业界提出并逐步建立，简称NII（National Information Infrastructure）。
它以现代信息技术为基础，以光导纤维网络为骨干，连接全美的学校、研究机构、企业、图书馆、实验室乃至每个家庭，使人们共享丰富的信息资源。
一般认为，NII由通信网、计算机、各种终端设备、信息和人等5个基本部分组成，它的主要特点是：
能以极快的速度高度准确地传送数字化的音像；
以新的方式存储、传输和处理大量的数据；
是一个开放的系统，通过现有的电话线、有线电视接口或其它通用接口，进入每个人的生活以共享信息资源。
4.3 信息产业
信息产业在世界范围内正在由先导产业逐步变为主导产业。
从微观上看，表现为单位产品的价格构成中，能源和材料的消耗减少而信息技术和信息服务的比重上升；
从宏观上看，表现为国民生产总值（GDP）中信息产业所占的比重增加。
一个国家信息产业的发展水平将是衡量该国社会经济总体发展和现代化程度的重要标志之一。
4.4 信息与通信工程一级学科
九十年代中期，国家在进行科学研究的学科规划和调整时，将工程学科原来100多个一级学科调整为31个，但却将原来的“电子与信息系统”调整为“信息与通信工程”和“电子科学与技术”两个一级学科。
信息与通信工程下设“通信与信息系统”和“信号与信息处理”两个二级学科。
信息论与其他学科的联系
第二篇：从信息论角度建构学生自评作文的模式
