南邮信息论

南邮信息

Information of Nanjing University of Posts and Telecommunications

南京邮电大学党办、校办

2009年第6期（总213期） 2009年 12月 8日

本期要目

【学校要闻】

? 江苏省副省长曹卫星一行来我校视察和调研

? 闵春发书记、杨震校长拜访无锡市委、市政府领导并考察

无锡基地

? 黄维教授荣获第八届南京市“十大科技之星”荣誉称号 ? 抓紧“物联网”契机 扎实推进政产学研合作

----无锡市北塘区党政企代表团来我校考察

? 我校首个校级企业研究生工作站在常熟建立

? 我校参与承办的2009年全国无线电应用与管理学术会议

在重庆顺利召开

? 江苏省通信学会信息通信网络技术专委会2009年会议暨

“新一代网络”主题报告会在我校隆重举行

? “中天科技杯”江苏省第六届大学生物理及实验科技作品

创新竞赛在我校举行

? “中兴通讯”杯南京邮电大学第十四届大学生科技节开幕

式暨第十一届“创新杯”课外科技学术作品竞赛成功举办

? 我校举行2010届毕业生洽谈会

? 我校仙林校区“鸿雁名居”选房工作圆满结束 【简 讯】

【学校要闻】

江苏省副省长曹卫星一行来我校视察和

光纤通信复习 基本概念 考试题型： 填空 30 判断 30 名词解释 4*5

计算 3道 20分

第一章

1、 自信息和互信息 P6 公式 2、 信道 P9 概念

第二章

1、 离散平稳信源 P18概念 2、 离散无记忆信源 P19概念 3、 时齐马尔可夫信源 P20概念 4、 自信息 P22概念 5、 信息熵 P25概念

6、 信息熵的基本性质 P28

1) 对称性 2) 确定性 3) 非负性 4) 扩展性 5) 可加性 6) 强可加性 7) 递增性 8) 极值性 9) 上凸性

7、 联合熵 条件熵 P42公式 P43例题 8、 马尔克夫信源 P54公式 P55例题 9、 信源剩余度 P58

10、 熵的相对率 信源剩余度 P58 11、 课后作业：2、 4、 13、 21、

22

第三章

1、 有记忆信道 P73概念 2、 二元对称信道 BSC P74 3、 前向概率、 后向概率、 先验概率、 后验概率 P76 4、 条件熵 信道疑义度、 平均互信息 P77

5、 平均互信息、联合熵、信道疑义度、噪声熵计算公式 6、 损失熵 噪声熵 P79

7、 平均互信息的特性 P8

Harbin Institute of Technology

信

与 编 码 理实 验 报 告 设计题目： 循环码编、译码器实验 院 系： 电子与信息工程学院 班 级： 通信一班 姓 名： 周 蕾 学 号： 14S105045 序 号： 41 指导教师： 石硕 报告时间： 2014年12月20日

哈尔滨工业大学

论

息

一、设计题目、内容

（1）利用（7，4）系统循环码的生成多项式为：g(x)=x3+x+1，请设计该循环码的编码器；

（2）随机产生重量为0或1的八种错误图样中的一种，得到实际接收码字。

（3）根据接收到的码字进行译码，

（3.1）校验子多项式与错误图样多项式的对应关系表：

S(x) E(x) 0 0 1 1 x x x2 x2 x+1 x3 x2+x x4 x2+x+1 x5 x2+1 x6 （3.2）梅吉特译码电路：

1

二、设计工具

MATLAB的GUI界面。

实 验 报 告

课程名称 信息论与编码 实验项目

实验仪器

系 别

专 业 电子信息工程

班级/学号 电信1103/2011010550

学生姓名 实验日期

成 绩

指导教师

实验项目：霍夫曼编码、率失真函数的计算

实验项目性质：验证性实验

课程：《信息论与编码》

计划学时：4学时

一、实验目的

掌握使用计算机进行霍夫曼编码、计算率失真函数的方法。

二、实验内容

利用matlab语言编程实现霍夫曼编码、计算率失真函数。

三、实验原理

1．参照教材（焦瑞莉等编著《信息论基础教程》）第111页表4-8理解霍夫曼编码的过程

2．参照教材（焦瑞莉等编著《信息论基础教程》）第148页式（6-7）理解率失真函数的定义

四、实验方法与实验步骤

（一）参照教材第223页信源熵程序建立文件huffman.m

文件huffman.m的代码：

% huffman编码生成器 %

% 函数说明： %

% [W，L．q]=huffman(P)为huffman编码函数 %

% P为信源的概率矢量，W为编码返回的码字 %

% L为编码返回的平均码字长度，q为编码效率

实 验 报 告

课程名称 信息论与编码 实验项目

实验仪器

系 别

专 业 电子信息工程

班级/学号 电信1103/2011010550

学生姓名 实验日期

成 绩

指导教师

实验项目：霍夫曼编码、率失真函数的计算

实验项目性质：验证性实验

课程：《信息论与编码》

计划学时：4学时

一、实验目的

掌握使用计算机进行霍夫曼编码、计算率失真函数的方法。

二、实验内容

利用matlab语言编程实现霍夫曼编码、计算率失真函数。

三、实验原理

1．参照教材（焦瑞莉等编著《信息论基础教程》）第111页表4-8理解霍夫曼编码的过程

2．参照教材（焦瑞莉等编著《信息论基础教程》）第148页式（6-7）理解率失真函数的定义

四、实验方法与实验步骤

（一）参照教材第223页信源熵程序建立文件huffman.m

文件huffman.m的代码：

% huffman编码生成器 %

% 函数说明： %

% [W，L．q]=huffman(P)为huffman编码函数 %

% P为信源的概率矢量，W为编码返回的码字 %

% L为编码返回的平均码字长度，q为编码效率

北京邮电大学

06级《信息论》期中考试试题答案

（2008.11.15）

姓名 班级 学号 分数

注意：要求将试卷和答题纸一起上交

一、(25分)已知基于字符表{“blank”, B, I, M, O, P, S, T}的一段文本如下：

OTTOS MOPS TOBT MIT OTTOS MOP BIS OTTO MOPPOT （其中的blank表示空格）

(1) 统计文本中出现各字符的频度，并近似看作各字符的概率进行二元Huffman

编码，给出每个字符对应的码字（要求：码长方差最小）；(9分) (2) 求平均码长及码长方差；(4+4=8分) (3) 求编码速率和编码效率。(4+4=8分) 解：

（1）首先计算字母表中的字符在文本中出现的频度：（2分） I M O P S T 字符 “blank” B ? 2 2 4 11 4 4 10 45 频度 8 Huffman编码： 码字O11T10“blank”8M4PSBI44220101418181S0111B1110I1111

001160002745“blank”010118M110P0110O00T10（3+4=7分，每错一个码字扣0.5分）

(2)

程设计(论文) 武汉工程大学课

目录

目录 .......................................................................................................... I 摘要 ........................................................................................................ III 前言 ........................................................................................................ IV 1 1.1 1.2 1.3 1.4 2 2.1 2.2 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 4 4.1 4.2

课题背景 ............................................................................................. 1 背景

信息论习题集

第一章、 判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）

2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）

3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）

5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）

6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）

7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×） 第二章 一、判断题

1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）

2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）

5、信源熵具有极值性，是信源概率分布P的下凸函数，

学院__________姓名__________学号__________任课老师 考场教室__________选课号/座位号__________

………密………封………线………以………内………答………题………无………效……

电子科技大学2013-2014学年第 二 学期期 末 考试 A 卷

课程名称： 信息论基础 考试形式： 一页开卷 考试日期：20 14年 6月 26日 考试时长：_120分钟 课程成绩构成：平时 30 %， 期中 0 %， 实验 0 %， 期末 70 % 本试卷试题由_三_部分构成，共_3_页。

题号 得分 得 分 一、填空题（共30分，共15空，每空2分）

一 二 三 合计 1、通信系统中信道传输信号，信号承载消息，消息所含能消除(不确定性)的内容是信息。

2、根据链式法则，两符号离散信源的联合熵H(X1X2)?H(X1)?(H)。

3、如果多符号离散信源对任意两个不同时间起点，其概率及直到N维的各维联合概率都相同，该信源是N维( )信源。

1?4、指数信源的概率密度函数p(x)?e?,0?x??，其绝对熵H(X)=( ) bit，相对熵Hc(X

1、求基本高斯信源的差熵。（10分）

2、一个随机变量x的概率密度函数为p(x) kx，0 x 2V。试求该信源的相对熵。 3、黑白气象传真图的消息只有黑色和白色两种，即信源X 黑，白，设黑色的出现概率为P(黑） 0.3，白色的出现概率为P(白） 0.7。

（1）假设图上黑白消息出现前后没有关联，求熵H(X)。

（2）假设消息前后有关联，其依赖关系为P(白/白） 0.9，P(黑/白） 0.1，

P(白/黑） 0.2，P(黑/黑） 0.8，求此平稳离散信源的熵H2(X)。

（3）分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小。

4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。

5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。

6、若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，则

I(X;Y) I(Xk,Yk)，这里Xk和Yk分别是序列X和Y中第k位随机变量；并且证明当

k 1

N

且仅当信源也是无记忆信源时等号成立。

7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为 i：

2

12=0.1， 22=0.2， 32=0.3， 42=0.4， 52=0.5， 62=0.6， 72=0.7， 8