信息论报告总结

Harbin Institute of Technology

信

与 编 码 理实 验 报 告 设计题目： 循环码编、译码器实验 院 系： 电子与信息工程学院 班 级： 通信一班 姓 名： 周 蕾 学 号： 14S105045 序 号： 41 指导教师： 石硕 报告时间： 2014年12月20日

哈尔滨工业大学

论

息

一、设计题目、内容

（1）利用（7，4）系统循环码的生成多项式为：g(x)=x3+x+1，请设计该循环码的编码器；

（2）随机产生重量为0或1的八种错误图样中的一种，得到实际接收码字。

（3）根据接收到的码字进行译码，

（3.1）校验子多项式与错误图样多项式的对应关系表：

S(x) E(x) 0 0 1 1 x x x2 x2 x+1 x3 x2+x x4 x2+x+1 x5 x2+1 x6 （3.2）梅吉特译码电路：

1

二、设计工具

MATLAB的GUI界面。

实 验 报 告

课程名称 信息论与编码 实验项目

实验仪器

系 别

专 业 电子信息工程

班级/学号 电信1103/2011010550

学生姓名 实验日期

成 绩

指导教师

实验项目：霍夫曼编码、率失真函数的计算

实验项目性质：验证性实验

课程：《信息论与编码》

计划学时：4学时

一、实验目的

掌握使用计算机进行霍夫曼编码、计算率失真函数的方法。

二、实验内容

利用matlab语言编程实现霍夫曼编码、计算率失真函数。

三、实验原理

1．参照教材（焦瑞莉等编著《信息论基础教程》）第111页表4-8理解霍夫曼编码的过程

2．参照教材（焦瑞莉等编著《信息论基础教程》）第148页式（6-7）理解率失真函数的定义

四、实验方法与实验步骤

（一）参照教材第223页信源熵程序建立文件huffman.m

文件huffman.m的代码：

% huffman编码生成器 %

% 函数说明： %

% [W，L．q]=huffman(P)为huffman编码函数 %

% P为信源的概率矢量，W为编码返回的码字 %

% L为编码返回的平均码字长度，q为编码效率

实 验 报 告

课程名称 信息论与编码 实验项目

实验仪器

系 别

专 业 电子信息工程

班级/学号 电信1103/2011010550

学生姓名 实验日期

成 绩

指导教师

实验项目：霍夫曼编码、率失真函数的计算

实验项目性质：验证性实验

课程：《信息论与编码》

计划学时：4学时

一、实验目的

掌握使用计算机进行霍夫曼编码、计算率失真函数的方法。

二、实验内容

利用matlab语言编程实现霍夫曼编码、计算率失真函数。

三、实验原理

1．参照教材（焦瑞莉等编著《信息论基础教程》）第111页表4-8理解霍夫曼编码的过程

2．参照教材（焦瑞莉等编著《信息论基础教程》）第148页式（6-7）理解率失真函数的定义

四、实验方法与实验步骤

（一）参照教材第223页信源熵程序建立文件huffman.m

文件huffman.m的代码：

% huffman编码生成器 %

% 函数说明： %

% [W，L．q]=huffman(P)为huffman编码函数 %

% P为信源的概率矢量，W为编码返回的码字 %

% L为编码返回的平均码字长度，q为编码效率

成绩：

教师姓名：

1. 任务说明

2016-2017学年第1学期

《信息论》课程设计

学院名称： 班级学号： 学生姓名：

2016年12月

一、判定唯一可译码

输入：任意的一个码(即已知码字个数及每个具体的码字) 输出：判决结果（是/不是）

输入文件:in1.txt，含至少2组码，每组的结尾为”$”符 输出文件:out1.txt，对每组码的判断结果

说明：为了简化设计，可以假定码字为0，1串

2. 实现原理

判断方法：将码C中所有码字可能的尾随后缀组成一个集合F，当且仅当集合F中没有 包含任一码字，则可判断此码C为唯一可译变长码。

构成集合F：首先观察码C中最短的码字是否是其他码字的前缀。若是，将其所有可能 的尾随后缀排列出。就是将其他码字序列中截去与其最短码字相同的前缀 部分，将余下的序列为尾随后缀。而这些尾随后缀又可能是某些码字的前 缀，或者最短码字又仍是这些尾随后缀的前缀，再将由这些尾随后缀产生 的新的尾随后

信息论与编码实验报告

学院： 计算机与通信工程学院 专业： 计算机科学与技术 班级： 计1203班 学号： 姓名：

2014年12月29日

实验一 唯一可译码判别准则

实验目的：

1.进一步熟悉唯一可译码判别准则；

2.掌握C语言字符串处理程序的设计和调试技术。

实验内容：

1.已知：信源符号数和码字集合C；

2.输入：任意的一个码，码字的个数和每个具体的码字在运行时从键盘输入；

3.输出：判决（是唯一可译码/不是唯一可译码）；循环（若继续判决则输入1循环判决，否则输入0结束运行）。

实验原理：

根据唯一可译码的判别方法，利用数据结构所学的知识，定义字符串数据类型并利用指针进行编程来实现算法。

算法：1、考察C 中所有的码字，若Wi是 Wj的前缀，则将对应的后缀作为一个尾随后缀码放入集合Fi+1中；

2、考察C和Fi俩个集合，若Wi ∈C是 Wj∈F的前缀或Wi ∈F是 Wj∈C的前缀，则将相应的后缀作为尾随后缀码放入集合Fi+1中；

3、F=∪Fi即为码C的尾随后缀集合；

4、若F中出现了C中的元素，算法终止，返回假（C不是唯一可译码）；否则若F中没有出现新的元素，则返回真。

实验环境及实验文件存档名：

1.实验环境：vi

一、 简要总结信源的熵、信道容量的物理意义，概念:

信源熵的物理意义：指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。

信道容量概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。

意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。从而指导人们改造信源，使之最大可能地利用信道的传输能力。

二、 写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图。

离散信源熵的计算步骤：

q?1?Hr?X??E?logr????p?ai?logr?ai?

p(ai)?i?1?信道容量的计算步骤：C??I?X;Y???bit/符号? max??PX实现离散信源熵的计算流程图：

输入P(ai) H(X)=0,i=1 H（X）=H（X）+ P(a1)logr(1/a1) i

实现离散信道容量计算的程序流程图：

输入p(xi)?p(0)(xi)

?? p(yj/xi)??ai?exp??p(yj/xi)ln p(xi)p(yj/xi)?j???i??

C1?n?1,n??ln?p(xi)aii

?? C2?n?

《信息论与编码》课程自学报告

题目：《信息论与编码》自学报告

学号：

姓名：

任课教师：黄素娟

联系方式：187********

二零17年1月10日

第一部分阐述“第四章信息率失真函数”主要内容1、基本概念

1.1失真函数与平均失真度

平均失真度

在离散情况下，信源X ＝{a1,a2,…ar} ，其概率分布p(x)＝[p(a1),p(a2),…,p(ar)] ，信宿Y ＝ {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时，则平均失真度为：

11()(,)()(/)(,)

r s

i j i i j XY i j D p ab d a b p a p b a d a b ===

=∑∑∑

凡满足保真度准则---平均失真度D ≤ D0的试验信通称D 失真许可的试验信道。

失真函数

假如某一信源X ，输出样值为xi ，xi ∈{a1,…an}，经过有失真的信源编码器，输出Y ，样值为yj ，yj ∈{b1,…bm}。如果xi ＝yj ，则认为没有失真；如果xi ≠ yj ，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi ，yj)，以衡量用yj 代替xi 所引起的失真程度。一般失真函数定义为

最常用的失真函数

前三种失真函数适用于连续信源，后一种

光纤通信复习 基本概念 考试题型： 填空 30 判断 30 名词解释 4*5

计算 3道 20分

第一章

1、 自信息和互信息 P6 公式 2、 信道 P9 概念

第二章

1、 离散平稳信源 P18概念 2、 离散无记忆信源 P19概念 3、 时齐马尔可夫信源 P20概念 4、 自信息 P22概念 5、 信息熵 P25概念

6、 信息熵的基本性质 P28

1) 对称性 2) 确定性 3) 非负性 4) 扩展性 5) 可加性 6) 强可加性 7) 递增性 8) 极值性 9) 上凸性

7、 联合熵 条件熵 P42公式 P43例题 8、 马尔克夫信源 P54公式 P55例题 9、 信源剩余度 P58

10、 熵的相对率 信源剩余度 P58 11、 课后作业：2、 4、 13、 21、

22

第三章

1、 有记忆信道 P73概念 2、 二元对称信道 BSC P74 3、 前向概率、 后向概率、 先验概率、 后验概率 P76 4、 条件熵 信道疑义度、 平均互信息 P77

5、 平均互信息、联合熵、信道疑义度、噪声熵计算公式 6、 损失熵 噪声熵 P79

7、 平均互信息的特性 P8

程设计(论文) 武汉工程大学课

目录

目录 .......................................................................................................... I 摘要 ........................................................................................................ III 前言 ........................................................................................................ IV 1 1.1 1.2 1.3 1.4 2 2.1 2.2 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 4 4.1 4.2

课题背景 ............................................................................................. 1 背景

信息论习题集

第一章、 判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）

2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）

3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）

5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）

6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）

7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×） 第二章 一、判断题

1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）

2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）

5、信源熵具有极值性，是信源概率分布P的下凸函数，