信息论与编码考试复习大纲

RT

信息论与编码考试复习大纲

第一章

1. 通信系统的物理模型。

2. 根据信息论的各种编码定理和通信系统指标，编码问题可分解为3类，分别是：信源编码，信道编码，和加密编码。 3. 简述信息的四个主要特征。

4. 简述一个通信系统包括的各主要功能模块及其作用。 第二章

1. 信源的分类：无记忆信源（单个符号的无记忆信源和符号序列的无记忆信源）和有记忆信源（符号序列的有记忆信源和符号序列的马尔科夫信源）。 2. 自信息量的计算公式，注意单位。

3. 离散信源熵计算公式，例2-5；特别是联合熵和条件熵和下面的互信量的计算。 4. 互信息的计算三种表达式，以及与概率分布和条件概率之间的关系。 5. 疑义度和噪声熵的概念。

6. 熵的性质：非负性，对称性，确定性，香农辅助定理，最大熵定理。

7. 离散无记忆信源的序列熵：当信源无记忆且满足平稳性时，平均每个符号熵为？

8. 连续信源的最大熵定理：限峰功率最大熵定理（满足？分布，分布函数是？）和限平均功率最大熵定理（满足？分布，分布函数？），其值是多少？ 9. 冗余度的计算。 第三章

1. 信息传输率和信息传输速率公式和物理意义。

2. 信道容量的计算公式，特别是无干扰离散信道，及物理意义。

3. 对称DMC信道和准对称DMC信道的信道容量计算；二进制均匀信道的数学表达式，及信道容量C与信道转移概率p的曲线图。

4. 限时限频限功率的加性高斯白噪声信道的信道容量计算（香农公式）。 第四章

1. 信息率失真函数的计算。

2. 信息率失真函数的性质，特别是定义域的计算。 第五章

1. 定长编码定理的内容。 2. 变长编码定理，包括单个符号变长编码定理和离散平稳无记忆序列变长编码定理的内容。 3. 最佳变长编码：香农编码方法，费诺编码方法和哈夫曼编码方法。 4. 限失真信源编码定理：游程编码和算术编码。 第六章

1. 差错图样的类型及产生的原因。

2. 差错控制系统分类：前向纠错，反馈重发，混合纠错。 3. 信道编码定理的内涵。

4. 从信道编码定理出发分析减少差错概率的途径。 5. 译码方法-最优译码与最大似然译码的概率。 6. 线性分组码：生成矩阵、校验矩阵等问题。 7. 码距的四个定理。

8. 循环码的计算。 第七章

1. DES的中文名称是？它是在？和？的基础上发展的。 2. 公开密钥加密法的计算。

3. 密码体制必需满足的3个基本要求。

4. 根据网络的构形和通信的特点，在通信网络中可根据不通的要求采用三种加密方式：链路加密、节点加密、端到端加密。

例题

?2?31. 设二元对称信道的传递概率为??1??31?3?，求 ?2?3??31（1） 若P?x0??，P?x1??，求H?X?，H?X|Y?，H?Y|X?，I?X;Y?；

44（2） 求该信道的信道容量以及达到信道容量时的输入概率分布。 2. 一阶马尔科夫信源的状态图如图所示，信源X符号集为?0,1,2?。求： （1）信源平稳后的概率分布； （2）此信源的熵H?；

（3）近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵H?X?； （4）一阶马尔科夫信源p取什么值时H?为最大值，又当p?0或p?1时结果如何？

1?pp20p2p2p2p21p21?p21?p

3. 设电话信号的信息率为5.6?104比特/秒，在一个噪声功率谱为N0?5?10?6mW/Hz、限频F、限输入功率P 的高斯信道中传送，若F=4kHz, 问无差错传输所需要的最小功率P是多少瓦？若F趋于无穷大时，则P是多少瓦？

4. 线性分组码(7，3)，设码字为?a6,a5,a4,a3,a2,a1,a0?，其中a6,a5,a4为信息元，a3,a2,a1,a0为校验元，校验元可按下面方程组计算：

?a3?a6?a4??a2?a6?a5?a4 ?a?a?a65?1??a0?a5?a4（1）计算生成矩阵； （2）计算校验矩阵；

（3）若接收码组为1101101，判断有无误码。

5. 某离散无记忆信源符号集为?a1,a2,?,a9?，所对应的概率分别为：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，码符号集为?0,1,2,3?，

（1） 求信源的熵H?X?及信源冗余度?； （2） 对其进行四元哈夫曼编码； 求平均码长l，并计算其编码效率?。

简答题

1. 简述信息的四个主要特征。

2. 信息的基本概念在于它的不确定性，其基本特征有哪些？ 3. 画出通信系统的模型框图并简述各主要模块的功能。

4. 简述连续信源的限峰功率最大熵定理和限平均功率最大熵定理。 5. 简述信源熵、条件熵、联合熵和互信息量之间的关系。 6. 从信道编码定理出发分析减小差错概率的途径。 7. 从纠错编码的基本思路出发分析减少差错概率的途径。 8. 简述信息率失真函数的物理意义。 9. 用文字叙述信道编码定理的内涵。

10. 写出二元信源熵的数学表达式，其中信源符号分别为0和1，概率为p和1-p，并画出信源熵H与符号概率p的曲线图。

11. 写出二进制均匀信道的信道容量数学表达式，并画出信道容量C与信道转移概率p的曲线图。

12. 设某二元码为C??11110,01011,11001,00111?，请问此码的最小码距是多少？此码能纠正几位码元错误？

13. 在哈夫曼编码过程中，对缩减信源符号按概率由大到小的顺序重新排列时，应使合并后的新符号排在同概率大小信源的前面还是后面？为什么？ 14. 简述DES密码算法的流程。

15. 在RSA方法中，用p?3,q?17和e?5来加密M?2，则加密密码d为多少？对应的密码C为多少？

1. 解答：

（1）已知二元对称信道的传递矩阵和输入信源的概率分布，可求出输出Y的概率分布和后验概率。

P?Y?0??712；P?Y?1??512；P?X?0|Y?0??67；P?X?1|Y?0??17; P?X?0|Y?1??35;P?X?1|Y?1??25

进一步可算得：H?X??0.811bit|symbol

H?Y|X??0.918bit|symbol；H?X|Y??0.749bit|symbol

因此，I?X;Y??H?X??H?X|Y??0.062bit|symbol

?21?（2）此信道为二元对称信道，所以信道容量为C?1?H?P??1?H?,??0.082bit|symbol

?33?当输入符号为等概率分布时信道的信息传输率才能达到该值。

2. 解答：

（1）设状态为s1,s2,s3，根据题意得到状态转移矩阵为

?1?pp2p2??P???p21?pp2?

??p2p21?p??3

根据WP?W和?Wi?1，得

i?1

pp?W2?W022ppW0?W1?1?p??W2?W1 22ppW0?W1?W2?1?p??W222W1?W2?W3?1W0?1?p??W1信源平稳后的概率分布为W0?W1?W2?13 （2）根据题意得此信源的熵为

pppp??H?X|s1??H?X|s2??H?X|s3?????1?p?log?1?p??log?log?2222??

p??????1?p?log?1?p??plog?2??

（3）如果近似认为此信源为无记忆，近似信源的熵：

1??1H?X????3??log??1.59bit/symbol

3??3p2?p?；当p?0时为确定性信23（4）当信源为等概率分布时，H?取最大值，即1?p?源，因此H?0；当p?1时，H?1bit。 3.解答：

根据香农信道公式得

?Pp?Ct?Flog?1?X?,N0?N是加性高斯噪声的单边谱密度。

pN?F???pX???R时，可以实现无差错传输，代入各参数 N0F?当Ct?Flog?1?PX??Ct?4?103log?1??5.6?104 ??6?5?10?4??PX?2?10?5??214?1??0.328W

既当PX?0.328W，所需要的功率最小。 当F??时， Ct?PXlog 2e?RN0?PX?5.6?104?5?10?6?10?3/1.44?0.194mW

即F趋于无穷大时，PX?0.194mW 4. 解答： （1）根据题意得

?1110??a4???0111?

??1101??

?a3a2a1a0???a6a5将其转换为

?1001110??a4???0100111?

??0011101??

?a6a5a4a3a2a1a0???a6a5?1001110??0100111所以生成矩阵G????。

??0011101??（2）对应的校验矩阵为

?1?1H???1??0011000?110100?? 100010??110001?

（3）若r??1101101

5. 解答： （1）信源的熵：

?，则rHT??0 100?，所以有误码，误码的位置为第3位。

H?X???0.4log0.4?0.2log0.2?2?0.1log0.1?0.07log0.07?0.05log0.05?0.02log0.02?0.01log0.01?2.5376bit/symbol

信源冗余度： ??1?H?X?H0?1?2.5376?19.95% log9（2）对其进行四元哈夫曼编码：

r??r?1?m?4?3m，其中r?4，若取m?2，可得大于9但与9最接近的正整数10，因此

在哈夫曼编码是加入一个零概率符号。

a9编码为332；a8编码为331；a7编码为330；a6编码为32；a5编码为31；a4编码为30；a3编码为2；a2编码为1；a1编码为0。

（3）平均码长：

l??0.01?0.02?0.05??3??0.05?0.07?0.1??2??0.1?0.2?0.4??1.38bit/symbol

编码效率：??

H?X?llogr?0.9194

本文来源：https://www.bwwdw.com/article/n7df.html