《论语》习题
一、作者介绍
孔子 :名 ,字 ,鲁国人, 时伟大的 家、 家.
家学派创始人。“仁”的学说。弟子三千,贤者七十二。但孔子看不起劳动人民。政治主张“君君、臣臣、父父、子子”。被称为 (孟子被称为“ ”) 《论语》是 书(语录体散文)。二十篇,四十九章。 东汉“七经”:《 》《 》《 》《 》《 》《 》《 》 朱熹:“四书”《 》《 》《 》《 》
二、出下列句中的通假字,并解释:
1.学而时习之,不亦说乎 同 意思是: 2.诲女知之乎 同 意思是: 3.不知为不知,是知也 同 意思是: 4.默而识之,学而不厌 同 意思是: 三、解释下列句中的加点字,并翻译句子:
1.吾尝终日不食,终夜不寝,以思,无益,不如学也
2
3.三人行,必有我师焉
4
5
6.有朋自远方来,不亦乐乎
7
8
9
10
11.学而时习之,不亦说乎
12、知之者不如好之者,好之者不如乐之者。
13、知之为知之,不知为不知,是知也。
子曰:“学而时习之,不亦说乎?有朋自远方来,不亦乐乎?
人不知而不愠,不亦君子乎?”
曾子曰:“吾日三省吾身:为人谋而不忠乎?与朋友交而不信乎?传不习乎?”
子曰:“温故而知新,可以为师矣。”
子曰:“学而不思则罔,思而不学则殆。”
子曰:“由,诲女知之乎!知之为知之,不知为不知,是知也。”
子曰:“三人行,必有我师焉。择其善者而从之,其不善者而改之。”
曾子曰:“士不可以不弘毅,任 重而道远。仁以为己任,不亦重乎?死而后已,不亦远乎?”
子曰:“岁寒,然后知松柏之后凋也。”
子贡问曰:“有一言而可以终身行之者乎?” 子曰:“其恕乎!己所不欲,勿施于人。”
四、有条件默写
1 论述学习与思考的辩证关系的句子?
2 论述新旧知识关系的句子?
3 大学高年级学生欢迎新生入学,用《论语》中的话写出了欢迎条幅,请你把它写出来?
4 有志同道合的人自远方来,在一起探讨,是一种乐趣的句子?
5 谈个人修养的问题即做人的基本素养的句子?
6 孔子教导我们对待事物应有正确认识,不要不懂装懂,自欺欺人的句子?
7 孔子借题发挥,教育弟子要勤学好问的句子?
8 孔子的自谦,要把学过的东西默默记在心里,不断积累知识的句子?
9 有好学精神,学无止境,从不感到满足?要热情教导学生?孔子自谦之词?
10 论述学习应有谦虚态度,只要虚心求教,到处都有老师的句子(三个臭皮匠,顶个诸葛亮)?
11 “乐趣”是最好的老师,孔子谈到学习的三个层次的句子?
12 唐太宗李世民:“以人为鉴可以知得失。”(取长补短)生活中表示既善于从正面学习,也善于从反面借鉴的意思时,我们常引用《论语》十则中孔子的 2
话: , 。
13 孔子触景生情,感叹时光易逝,以次勉励自己和学生要珍惜时光、求学进取的句子?
14 孔子以自己亲身经历,阐述“学”与“思”,强调躬身实践的重要性的句子?
15、《论语》中孔子的弟子曾参认为修身必须事事谨慎,从工作、与人交往和学习等方面天天自省的句子是?
16、《论语》语录中能体现卫国大夫孔圉谥号被称作“文”的原因的句子是?
17、孔子将人从人生追求的角度分成三个层次,其实也概括了人生的总体内容,那就是人不仅要有衣食住行作为保障,还要有更高的追求即真理与学习。体现这一思想的句子?
18、体现孔子启发式教学方法的句子是?
五、研究性学习
“理读”。作为一种带有理性色彩的课堂学习活动,它所养成的是一种分类整理的能力及习惯。而“归类”是“研究性学习”的重要技能之一。本课文所选各则都是谈学习的,有的谈学习态度,有的谈学习方法,还有谈个人修养的。请你列举出来。
六、“故君子有不战,战必胜矣”中君子指: “人不知而不愠,不亦君子乎?”中君子指:
七、古文中多用单音词,演化到现代汉语则都有相应的双音词。下面这些单音词与哪个双音词意思一样?请把双音词的代号填在相应的单音词后的括号里。
①学( ) ②习( )③温( ) ④思( )⑤择( )
A.学习 B、思考 C.选择 D.温习 E.实习、复习
八、下列句子朗读中,停顿处理不正确的一项( )
A、有朋/自远方来,不亦/乐乎 B、思而/不学则殆
C、择其善者/而从之 D、知之者/不如好之者
九、比较下列各句“而”的不同用法,按A顺接、B转接归类。
(1)学而时习之( ) (2)人不知而不愠( )
(3)思而不学则殆( ) (4)择其善者而从之( )
十、《论语》中许多内容,后来演化固定为成语,如“温故知新”“不耻下问”等,请看《论语》 3
中的下列语句各是什么成语的原型?在本文中找出沿用至今的几个成语。
子曰:“见贤思齐焉,见不贤而内自省也。”
子谓《韶》:“尽美矣,又尽善也。”
子曰:“不愤不启,不悱不发,举一隅不以三隅反,则不复也。”
子曰:“道听而途说,德之弃也。”
子曰:“巧言令色,鲜矣仁。”
子曰:“默而识之,学而不厌,诲人不倦,何有于我哉?”
十一、课外阅读
孔子过泰山侧,有妇人哭于墓者而哀。
夫子式而听之,使子路问之曰:“子之哭也,壹似重有忧者?”而曰:“然,昔者吾舅死于虎,吾夫又死焉,今吾子又死焉!”夫子曰:“何为不去也?”
曰:“无苛政。”夫子曰:“小子识之,苛政猛于虎也!”
注释:1、“式”同“轼”,车前的横木。这里解释为:凭着轼(表示敬意)2、壹似:很像
3、舅:公爹。古时女子称丈夫的父亲 4、小子:长辈对晚辈的称呼
1、解释下列各句中画线词的含义
孔子过泰山侧 夫子式而听之
然,昔者吾舅死于虎 何为不去也?
2、“小子识之”中“识”应读( )意思是( )
3、“式而听之”中的“而”表示( )(A)顺接 (B)转接
4、文中的“夫子”指的是谁?
5、妇人在墓前哭的是谁?
6、妇人的丈夫与儿子因何而死?
7、“而曰”前省略了主语,如果补出来,应该是什么?
8、文中哪句话可作为本文的主题?翻译这句话。
9、本文揭示了怎样的社会现实,我们学过的哪篇文章揭露了类似的现实?
十二、创新能力训练题
《论语》是一部“语录”体的著作,其中孔子的许多言论,由于含义深刻,语言精炼,已经成为人们熟知的“格言”。如课文中的“学而时习之”,“温故而知新”等。这些格言是孔子对自己教与学实践中的体会所作的概括和总结。请你根据自己的生活体验,写几条可以作为自己行为准则的格言。
4
第二篇:信息论语编码第3章习题解答
3.1 设信源
5/6
x1
1/6
3/4 1/4
x2 图3.1 二元信道 y2 y1
?X??x1x2? ?=?通过一干扰信道,接收符号Y=?y1y2?,信道传递概率如图3.33所示。求: ???P(x)??0.60.4?
(1) 信源X中事件x1,和x2分别含有的自信息。
(2) 收到消息yj(j=1,2)后,获得的关于xi(i=1,2)的信息量。
(3) 信源X和信源Y的信息熵。
(4) 信道疑义度H(X|Y)和噪声熵H(Y|X)。
(5) 接收到消息Y后获得的平均互信息。
解:(1)由定义得:I(X1)= -log0.6=0.74bit
I(X2)= -log0.4=1.32bit
(2)P(y1)= 0.6×5/6+0.4×3/4=0.8
P(y2)= 0.6×1/6+0.4×1/4=0.2
I(xi;xj)= I(xi)-I(xi|yj)=log[P(xi|yj)/p(xi)]
= log[P(yj|xi)/p(yj)]
则 I(x1;y1)= log[P(y1|x1)/p(y1)]=log5/6/0.8=0.059bit
I(x1;y2)= log[P(y2|x2)/p(y2)]=log1/6/0.2=-0.263bit
I(x2;y1)= log[P(y1|x2)/p(y1)]=log3/4/0.8=-0.093bit
I(x2;y2)= log[P(y2|x2)/p(y2)]=log1/4/0.2=0.322bit
(3)由定义显然 H(X)=0.97095bit/符号
H(Y)=0.72193bit/符号
(4)H(Y|X)=?
22P(xy)log[1/P(y|x)]
=??i?1j?1p(xi)P(yj|xi)log[1/P(yj|xi)]
=0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4
=0.7145bit/符号
H(X|Y)= H(X)+H(Y|X)-H(Y)=0.9635bit/符号
(5) I(X;Y)= H(X)-H(X|Y)=0.00745 bit/符号
3.2设8个等概率分布的消息通过传递概率为p的BSC进行传送。八个消息相应编成下述码字: M1=0000, M2=0101, M3=0110, M4=0011,
M5=1001, M6=1010, M7=1100, M8=1111,
试问 (1) 接受到第一个数字0与M之间的互信息。
(2) 接受到第二个数字也是0时,得到多少关与M的附加互信息。
(3) 接受到第三个数字仍是0时,又增加多少关与M的互信息。
(4) 接受到第四个数字还是0时,再增加了多少关与M的互信息。
解: (1 ) I(0;M1)= log[ P(0|M1)/P(0)]=1 bit
(2 ) I(00;M1)= log[ 1/P(00)]=2 bit 2-1=1 bit
(3 ) I(000;M1)=3 bit 3-2=1 bit
(4 ) I(0000;M1)=4 bit 4-3=1 bit
?2?33.3 设二元对称信道的传递矩阵为??1??31?3?? 2??3?
(1) 若P(0)?3/4,P(1)?1/4,求H(X),H(X|Y),H(Y|X)和I(X;Y);
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。
解:(1)已知二元对称信道的传递矩阵,又已知输入的概率分布P(0)?3/4,P(1)?1/4,可以求得输出Y的概率分别
和后验概率。
P(y?0)??P(x)P(y?0|x)
X
?P(x?0)P(y?0|x?0)?P(x?1)P(y?0|x?1)
32117?????434312
P(y?1)??P(x)P(y?1|x)
X
?P(x?0)P(y?1|x?0)?P(x?1)P(y?1|x?1) 31125?????434312
所以P(x?0|y?0)?P(x?0)P(y?0|x?0)6? P(x)P(y?0|x)7
X
P(x?1|y?0)?P(x?1)P(y?0|x?1)1? P(x)P(y?0|x)7X
P(x?0|y?1)?P(x?0)P(y?1|x?0)3? P(x)P(y?1|x)5X
P(x?1|y?1)?
于是,H(X)??P(x?1)P(y?1|x?1)2? P(x)P(y?1|x)5X?P(x)logP(x)?0.811比特/符号
X
XYH(X|Y)????P(x)P(y|x)logP(x|y)
326111313122?[??log??log??log??log] 437437435435
?0.111?0.234?0.184?0.220
?0.749比特/符号
H(Y|X)????P(x)P(y|x)logP(y|x)
XY
322111311122?[??log??log??log??log] 433433433433
?0.918比特/符号
I(X;Y)?H(X)?H(X|Y)?0.062比特/符号
(2)此信道为二元对称信道,所以信道容量
2C?1?H(p)?1?H()?0.082比特/符号 3
根据二元对称信道的性质可知,输入符号为等概率分布(即P(0)?P(1)?
道容量值。 1)时信道的信息传输率才能达到这个信2
3.4设有一批电阻,按阻值分70%是2KΩ,30%是5 KΩ;按功耗分64%是1/8W,其余是1/4W。现已知2 K
Ω阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少?
解:根据题意令x1=1/8W,x2=1/4W,y1=2kΩ,y2=5KΩ,则
x2??X??x1?Y??y1y2?, ?P(X)???0.640.36??P(Y)???0.70.3? ????????
且P(x1∣y1)=0.8 P(x2∣y1)=0.2
由P(x1)=P(y1)P(x1∣y1)+P(y2)P(x1∣y2)
P(x2)=P(y1)P(x2∣y1)+P(y2)P(x2∣y2)
得P(x2∣y2)=2.2/3 P(x1∣y2)=0.8/3
所以H(X∣Y)=P(y1)〔-P(x1∣y1)logP(x1∣y1)-P(x2∣y1)logP(x2∣y1)〕
+ P(y2)〔-P(x1∣y2)logP(x1∣y2)-P(x2∣y2)logP(x2∣y2)〕
=0.7〔-0.8log0.8-0.2log0.2〕
+0.3〔-0.8/3log(0.8/3)-2.2/3log(2.2/3)〕
=0.7 [0.258+0.464]+0.3[0.509+0.328]
=0.505+0.251=0.756
H(X) =-0.64log0.64-0.36log0.36=0.412+0.531=0.944
I(X;Y)=H(X)-H(X∣Y)=0.944-0.756=0.188
3.7设X,Y是二个相互统计独立的二元随机变量,其取“0”或“1”的概率为等概分布。定义了另一个二元
随机变量Z,且Z=XY(一般乘积),计算:
解:(1)H(X),H(Y),H(Z)
X 0 1 Y 0 1 Z 0 1
P(X) 1/2 1/2 P(Y) 1/2 1/2 P(Z) 3/4 1/4
H(X)=-1/2log1/2-1/2log1/2=1(比特/符号)
H(Y)=-1/2log1/2-1/2log1/2=1(比特/符号)
H(Z)=-3/4log3/4-1/4log1/4=0.811(比特/符号)
(2) H(XY),H(XZ),H(YZ),H(XYZ)
XY 0 0 0 1
P(XY) 1/4 1/4 1/4 1/4
H(XY)=-1/4log1/4-1/4log1/4-1/4log1/4-1/4log1/4=2(比特/符号)
XZ 0 0 0 1
P(XZ) 3/8 3/8 1/8 1/8
H(XZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8log1/8=1.811(比特/符号)
YZ 0 0 0 1
P(YZ) 3/8 3/8 1/8 1/8
H(YZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8log1/8=1.811(比特/符号)
XYZ 0 0 0 0 0 0 0 1
P(XYZ) 3/16 3/16 1/16 1/16 3/16 3/16 1/16 1/16
H(XYZ)=(-3/16log3/16)*4+(-1/16log1/16)*4=2.811(比特/符号)
(3) H(X|Y),H(X|Z),H(Y|Z),H(Z|X),H(Z|Y)
H(X|Y)=H(XY)-H(Y)=2-1=1(比特/符号)
H(X|Z)=H(XZ)-H(Z)=1.811-0.811=1(比特/符号)
H(Y|Z)=H(YZ)-H(Z)= 1.811-0.811=1(比特/符号)
H(Z|X)=H(XZ)-H(X)=1.811-1=0.811(比特/符号)
H(Z|Y)=H(ZY)-H(Y) =1.811-1=0.811(比特/符号)
(4) H(X|YZ),H(Y|XZ),H(Z|XY)
H(X|YZ)=H(XYZ)-H(YZ)=2.811-1.811=1(比特/符号)
H(Y|XZ)=H(XYZ)-H(XZ)=2.811-1.811=1(比特/符号)
H(Z|XY)=H(XYZ)-H(XY)=2.811-2=0.811(比特/符号)
(5)I(X;Y),I(X;Z),I(Y;Z)
I(X;Y)=H(X)-H(X|Y)=1-1=0
I(X;Z)=H(X)-H(X|Z)=1-1=0
I(Y;Z)=H(Y)-H(Y|Z)=1-1=0
(6) I(X;Y|Z),I(Y;X|Z),I(Z;X|Y),I(Z;Y|X)
I(X;Y|Z)=H(X|Z)-H(X|YZ)=1-1=0
I(Y;X|Z)=H(Y|Z)-H(Y|XZ)=1-1=0
I(Z;X|Y)=H(Z|Y)-H(Z|XY)=0.811-0.811=0
I(Z;Y|X)=H(Z|X)-H(Z|XY)=0.811-0.811=0
(7) I(XY;Z),I(X;YZ),I(Y;XZ)
I(XY;Z)=I(Z;XY)=I(Z;X)+I(Z;Y|X)=0
I(X;YZ)=I(X;Y)+I(X;Z|Y)=0
I(Y;XZ)=I(Y;Z)+I(Y;Z|X)=0
3.8设X,Y是二个相互统计独立的二元随机变量,它们的取值为等概率分布。定义另一个二元随机Z,Z=X?Y(?是模二和运算,即z=0,x=y,x≠y),试计算:
(1) H(X),H(Y),H(Z);
(2) H(XY),H(XZ),H(YZ),H(XYZ);
(3) H(X|Y),H(X|Z),H(Y|Z),H(Z|X),H(Z|Y);
(4) H(X|YZ),H(Y|XZ),H(Z|XY);
(5) I(X;Y), I(X;Z), I(Y;Z);
(6) I(X;Y|Z), I(Y;X|Z), I(Z;X|Y), I(Z;Y|X);
(7) I(XY;Z), I(X;YZ), I(Y;XZ).
X,Y统计独立,等概率分布 X 0 1 Y 0 1
P 0.5 0.5 P 0.5 0.5
∵Z=X?Y ∴Z取值也为等概率分布。
(1) H(X)=H(Y)=H(Z)= H(0.5)=﹣0.5×log0.5-0.5×log0.5=1 bit
(3) H(X|Y)=0,H(X|Z)= H(Z|X)=0.5 H(Z|0.5)+0.5 H(Z|0.5)=1 bit
H(Y|Z)= H(Z|Y)=1 bit
(2) H(XY)= H(X)+H(Y)=2 bit
H(XZ)= H(X)+H(Z|X)= 2 bit
H(YZ)= H(Y)+H(Z|Y)= 2 bit
H(XYZ)= H(XY)+H(Z|XY)=2+1=3 bit
(4) H(X|YZ)= H(XYZ)-H(YZ)= 1 bit
H(Y|XZ)= H(XYZ)-H(XZ)= 1 bit
H(Z|XY)=﹣0.25×log0.25﹣0.25×log0.25﹣0.25×log0.25﹣0.25×log0.25=1bit
(5) I(X;Y)= H(X)-H(X|Y)= 1 bit
I(X;Z)= H(X)-H(X|Z)= 0 bit
I(Y;Z)= H(Y)-H(Y|Z)= 0 bit
(6) I(X;Y|Z)= H(X|Z)-H(X|YZ)=0 bit I(Y;X|Z)= H(Y|Z)-H(Y|XZ)=0 bit
I(Z;X|Y)= H(Z|Y)-H(Z|XY)=0 bit I(Z;Y|X)= H(Z|X)-H(Z|XY)=0 bit
(7) I(XY;Z)= I(X;Z)+ I(Z;Y|X)=0 bit
I(X;YZ)= I(X;Z)+ I(X;Y|Z)=0 bit
I(Y;XZ)= I(Y;Z)+ I(Y;X|Z)=0 bit
3.9有一个二元对称信道,其信道矩阵如图3.2所示。设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号,并设在这消息中p(0)=p(1)= 1/2。问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传送完。
解:∵是二元对称信道
∴C=1-H(P) P为错误传递概率
由题得 P=0.02 0.98
0.98
图3.2信道
∴C=1-H(0.02)=1+0.02×log0.02=0.887 bit/符号
信息传输概率 Rt=1500×0.887=1330.5 bit/秒
共需传输 14000 比特,无失真
所需时间 t=14000/1330.5=10.5s > 10s
∴传不完。
3.10求图3.3中信道的信道容量及其最佳输入概率分布。
1/3 1/2
1/6 1/6 1/3 图3.3 信道
解:图3.3中两信道的信道矩阵为
?111?
?1111??23
P?
1=?36
?11316??
? P116?
1?
12=??2
?6363?6
??113?
1?
??
?362??
其满足对称性,所以这两信道是对称离散信道。由对称离散信道的信道容量公式得
C1=log4-H(1/3,1/6,1/3,1/6)?0.0817 比特/符号
C2=log3-H(1/2,1/3,1/6)?0.126 比特/符号
最佳输入分布(即达到信道容量的输入分布)是输入为等概率分布。
3.11 求下列二个信道的信道容量,并加以比较
(1)??p??p??2???p??p??2?0?
??p??p??2??? (2)?
???p??p??02???
?
其中p+p=1
解:(1)此信道是准对称信道,信道矩阵中Y可划分成三个互不相交的子集 由于集列所组成的矩阵??p??
??p??
而这两个子矩阵满足对称性,因此可直接利用准对称信道的信道容量公式进行计算。
C1=logr-H(p1’ p2’ p3’)-?2
NklogMk
k?1
其中r=2,N1=M1=1-2? N2=2? M2=4? 所以
C1=log2-H(p??,p-ε,2ε)-(1-2?)log(1-2?)-2?log4?
=log2+(p??)log(p??)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε
p???p????,??2?????2????
=log2-2εlog2-(1-2ε)log(1-2ε)+(p??)log(p??)+(p-ε)log(p-ε)
=(1-2ε)log2/(1-2ε)+(p??)log(p??)+(p-?)log(p-?)
输入等概率分布时达到信道容量。
(2)此信道也是准对称信道,也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算,此
?p??信道矩阵中Y可划分成两个互不相交的子集,由子集列所组成的矩阵为??p???
称矩阵 其中r=2,N1=M1=1-2? N2=M2=2?,所以 C=logr-H(p-?,p-ε,2ε,0)-p????2??,??0p?????0??这两矩阵为对2????NklogMk k?12
=log2+(p-?)log(p-?)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε
=log2-(1-2ε)log(1-2ε)+( p-?)log(p-?)+(p-ε)log(p-ε)
=(1-2ε)log2/(1-2ε)+2εlog2+(p-?)log(p-?)+(p-ε)log(p-ε)
=C1+2εlog2
输入等概率分布(P(a1)=P(a2)=1/2)时达到此信道容量。比较此两信道容量,可得C2=C1+2εlog2
3.12 求图中信道的信道容量及其最佳的输入概率分布.并求当e=0和1/2时的信道容量C的大
00??1??,此信道为非奇异矩阵,又r=s,可利用方程组求解 e解: 信道矩阵P=01?e???e1-e??0?
?3
j=1P(bj|ai)bj=?P(bj|ai)logP(bj|ai) (i=1,2,3) j=13
ìb1=0???í(1-e)b2+eb3=(1-e)log(1-e)+eloge ?????eb2+(1-e)b3=eloge+(1-e)log(1-e)
解得b1=0
b2=b3=(1-e)log(1-e)+eloge
所以
C=log?2j=log[20+2×2(1-e)log(1-e)+eloge] b
ej=log[1+21-H(e)]=log[1+2(1-e)(1-e)e]
ì11?1-C-C?P(b)=2b=2==1?(1-e)e1-H(e)?1+2(1-e)e1+2? ?ee?(1-e)e?b2-C?P(b)=2=í2(1-e)e?1+2(1-e)e???P(b3)=2b3-C=P(b2)??????3
而 P(bj)=?P(ai)P(bj|ai) (j=1,2,3)
i=1
ìP(b1)=P(a1)???得íP(b2)=P(a2)(1-e)+P(a3)e ?????P(b3)=P(a2)e+P(a3)(1-e)
所以
P(a1)=P(b1)=
1
(1-e)e
1+2(1-e)e
(1-e)eee
P(a2)=P(a3)=P(b2)=P(b3)=(1-e)e
1+2(1-e)e
当e=0时,此信道为一一对应信道,得
1
C=log3, P(a1)=P(a2)=P(a3)=
311
当e=1/2时,得 C=log2, P(a1)=,P(a2)=P(a3)=
24
?pp?
?pp
3.16 计算下述信道的信道容量(以p为变量)。P??
?00?00?
解:如下图所示, 其中
00pp
0??0?? p?p??
?P
Q1???P
??qq?P?
? Q2
??? ???P??qq?
它们都是二元对称离散信道
因为 C1 = 1- H(P) C2 = 1- H(P) 所以这个和信道容量为:
C?log2?2ci?log2
2
?log22(1?p)1?ppp?2(1?q)1?qqq
其中,Q1的利用率 P1?其中,Q2的利用率 P2?由此得:
?
1
?2
C1
?2
C2
?
?
2
C1?C
(1?p)1?ppp
?1?pp1?qq
(1?p)p?(1?q)q(1?q)1?qqq
?
(1?p)1?ppp?(1?q)1?qqq
2
C2?C
1(1?p)1?ppp
P(a1)?P(a2)?P1?
22(1?p)1?ppp?(1?q)1?qqq
1(1?q)1?qqq
P(a3)?P(a4)?P2?
22(1?p)1?ppp?(1?q)1?qqq
3.17离散无记忆加性噪声信道如图3.4所示。其输入随机变量X与噪声Y统计独立。X的取值:{0,1}而Y
的取值为:{0,a}(a>=1),又P(y=0)= P(y=a)=0.5。信道输出Z=X+Y(一般加法)。试求此信道的信道容量,以及达到信道容量的最佳输入分布,请注意,信道容量依赖a的取值。
解:该信道输入为0和1,信道加性噪声为0和a。(a﹥﹦1)。所以当a等于1,信道输出为0,1,和2。当a大于1
时,输出为0,1,a.,1+a.所以,当a大于1,信道为二元纯对称删除信道。信道容量为c=1-1/2=1/2。当a大于1,信道为有噪无损信道, 从而可求 得c=1.此时p(0)=1/2,p(1)=1/2,所以信道容量为1。
3.20时变信道。观察时变离散无记忆信道,其输入随机矢量为X1,X2,?,Xn;输出随机矢量为Y1,Y2,?, Yn。
某i时刻的输出Yi只与此时刻的输入Xi有关,与其他时刻的输入、输出无关。但信道的传递矩阵随时刻i而变化,所以有
P(y|x)??Pi(yi|xi)。又设X?(X1,X2,?,Xn),Y?(Y1,Y2,?Yn),试求maxI(X;Y)又若信道为二元对称P(x)i?1n
信道,其错误传递概率pi随时间i而变化(如下图所示)。试求此时变信道的maxI(X;Y) P(x)
Xi
Pi
Pi
1
1-Pi 解:对于上述的离散无记忆信道的n次扩展信道,根据定理有
n1-Pi Yi 0 1
I(X;Y)??I(Xi;Yi)
i?1
所以?H(Yi)??P(xi)(pilog
Xi
n
n11?pilog) pipimaxI(X;Y)?max?I(Xi;Yi) P(x)P(x)i?1
??maxI(Xi;Yi)
i?1P(xi)
??Ci
i?1n
上式表明该时变信道的最大交互信息量应当是对所有每传输一个符号时所得到的最
大交互信息量求和的结果,即对当前i时刻的信道容量求和。
当信道为二元对称信道时,给定i时刻的错误转移概率为pi,此时
I(Xi;Yi)?H(Yi)?H(Yi|Xi)
1 Pi(yi|xi)XiYi
11?H(Yi)??P(xi)(pilog?pilog) pipiXi
11?H(Yi)?(pilog?pilog) pipi?H(Yi)??P(xi)?Pi(yi|xi)log
根据二元对称信道的性质,当输入号集(0,1)等概分布时,H(Yi)达到最大值1
即有maxI(Xi;Yi)?1?(pilogP(xi)11?pilog),所以 pipi
n11maxI(X;Y)??maxI(Xi;Yi)??(1?(pilog?pilog)) P(x)pipii?1P(xi)i?1
3.21 设有两个离散信道,其分别输入为X1和X2,输出为Y1和Y2,对应这两个信道的传递概率为P1(y | x)
和P2(y | x),如图所示。其X1和X2的概率分布分别为P1(x)和P2(x)。 n
(1)由这两个新到组成一个新的信道。新信道的输入符号X由X1和X2组成,输出符号Y由Y1和Y2组成。
新信道的输入符号X是这样选择:首先以λ(1≥λ≥0)概率选取X1或以1-λ=的概率选取X2;然后以P1(X)或P2(X)选取相应符号集中的符号。试求:H(X)(用H(X1),H(X2)和λ表示)。
(2)新信道的传递概率P(y |x)满足
P(y|x)?P1(y|x)
P(y|x)?P2(y|x)
P(y|x)?0当x?X1,y?Y1当x?X2,y?Y2当x?X1,y?Y2或x?X2,y?Y1
试求H(X|Y)(用H(X1|Y1),H(X2|Y2)和λ表示)
(3)试求I(X;Y)(用I(X1;Y1)、I(X2;Y2)和λ表示 )
解:(1)H(X)
?P(X)logP(X)
=??P(X)logP(X)-?P(X=?X
112)logP(X2)
22X1X2=???P(X)log?P(X)??(1??)P(X11
X1X2
11
x1)log(1??)P2(X2) 22=???p(x)[log??logp(X)]?(1??)?P(X)[log(1??)?logp(x)] x2
=??log??p(x)???p(x)logp(x)?(1??)log(1??)?p(x)?(1??)?p(x)logp(x) 111222
x1x1x2x2
=??log??(1??)log(1??)??H(x1)?(1??)H(x2)
(2)H(XY)=?P(XY)log
XY1 p(X)
因为p(xy)?p(yx)p(x)
1 p1(xy)X1Y1
1 H(X2Y2)??P2(yx)p2(x)logp2(xy)X2Y2
1所以 H(X)??P(xy)log p(xy)XY
1=?P(yx)p(x)log p(xy)XY2
11=?P (yx)?p(x)log? P(yx)(1??)p(x)log?1122p(xy)p(xy)X2Y2X2Y212H(X1Y1)??P1(yx)p1(x)log
=?H(X11)?(1??)H(X2Y2)
(3)I(X;Y)?H(X)?H(XY)
=??log??(1??)log(1??)??H1(X)?(1??)H2(X)??log?H(X11)?(1??)H(X2Y2) =??log??(1??)log(1??)??[H1(X)?H(X1Y1)]?(1??)[H2(X)?H(X2Y2)]
=??log??(1??)log(1??)??I(X1;Y1)?(1??)I(X2;Y2)
=?I(X1;Y1)?(1??)I(X2;Y2)??log??(1??)log(1??)
3.25 若有两个窜接的离散信道,他们的信道矩阵都是
P=
0 0 0 1 0 0 0 1 1/2 1/2 0 0 0 0 1 0
并设第一个信道的输入符号X∈{a1,a2,a3,a4}是等概率分布,求I(X;Z)和I(X;Y)并加以比较。 解: 已知信道矩阵
0 0 0 1 0 0 0 1 P=[P(y︱
1/2 1/2 0 0 0 0 1 0
由这两个信道串接起来,其总信道矩阵为
0 0 0 1 0 0 0 1
P’=P*P=[P(Z︱X)]= 0 0 0 1 0 0 0 1
1/2 1/2 0 0 1/2 1/2 0 0
0 0 1 0 0 0 1 0
0 1 0 0 1 0 0 0 1 1/2 0 0
设第一个信道的输入符号X是等概率分布,由第一信道的传递矩阵,可计算得
Y∈{b1,b2,b3,b4}
P(b1)=P(b2)=1/8,P(b3)=1/4,P(b4)=1/2
所以I(X;Y)=H(Y)- H(Y︱X)
=
[- 1/8log(1/8) - 1/8log(1/8) - 1/4log(1/4) - 1/2log(1/2)]-[-1/4×1/2log(1/2) -1/4×1/2log(1/2) - 1/4×1log1 - 1/4×1log1 - 1/4log1]
=[3/4+1/2+1/2-1/4]=1.5比特/符号
对于两个串接信道,其信道传输矩阵P’,当没传输符号X为等概率分布时,可计算得Z∈{C1,C2,C3,C4}
P(C1)=P(C2)= 1/8 P(C3)=1/2 P(C4)=1/4
所以 I(X;Z)=H(Z)-H(Z︱X)
=[- 1/8log(1/8) - 1/8log(1/8) - 1/2log(1/2) - 1/4log(1/4)]-[ -1/4×1/2log(1/2) -1/4×1/2log(1/2) -1/4×1log1 -1/4×1log1-1/4×1log1]
=1.5比特/符号
可见 I(X;Z)=I(X;Y)
这两信道串接后,没有使信道中增加信息的损4失。这是因为串接后的总信道P’中,将第三列和第四列互换,然后将第三行和第四行互换后,所得矩阵与P完全一样,则得P(z︱x)=P(y︱x) , x∈X,y∈Y,z∈Z 又得,不论输入X是何种概率分布,而Y与Z的概率分布相等
即 P(z) =P(y) y∈Y,z∈Z
所以可得 P(x︱z)=[P(x) P(z︱x)]/ P(z)
=[ P(x) P(y︱x)]/ P(z)
=[ P(y) P(x︱y)]/ P(z) x∈X,y∈Y,z∈Z
因此条件 P(x︱z) =P(x︱y) 满足,串接信道不增加信息的损失。