北工大信息论第六章 有噪信道编码14

第六章 有噪信道编码需要掌握的内容： 译码规则与错误概率的关系 平均差错率与信道编码的关系 汉明距离 有噪信道编码定理 线性分组码

第一节一.译码规则信源 (信源编码，信道编码)

译码规则与错误译码概率

信道

译码 (信源译码，信道译码)

信宿

0

p 1/ 4p 3/ 4 p 3/ 4

0

1

p 1/ 4

1

定义信道译码函数F是从输出符号集合B到输入符号集合A的映射

F (b j ) a j * A, j 1,2,..., s译码函数又称译码规则

注意:译码规则是人为定的,对于同一个信道可有多个 不同的译码规则

例如：对于二元信道就可制定若干不同译码规则，如图所示。

a1 a2

0.8

0.2 0.10.9

b1

b2

( F 1 b1 ) a1 F1: ( 1 b2 ) a1 F ( F 3 b1 ) a1 F3: ( 3 b2 ) a 2 F

( F 2 b1 ) a 2 F2: ( 2 b2 ) a 2 F ( F 4 b1 ) a 2 F4: ( 4 b2 ) a1 F

二.错误译码概率“好”的译码规则的标准是：错误译码概率小

译码正确---如果接收到bj,按 F (b j ) a j * A而输入的刚好是aj*P( X bj的译码正确概率为：

译成aj* ,

a* j | Y b j ) P[ F (b j ) | b j ]

P(e | b j ) P[ X F (b j ) | Y b j ] 1 P[ F (b j ) | b j ] bj的译码错误概率为：

译码错误概率的统计平均称为平均译码错误概率或平

均差错率，记为Pes j 1

Pe P(b j ) P(e | b j ) P(b j ){1 P[ F (b j ) | b j ]j 1

s

Pe与译码规则F有关使Pe小的译码规则F是好的译码规则

简化Pe式为下面的形式：Pe P(b j ){1 P[ F (b j ) | b j ]j 1 s

1 P(b j ) P[ F (b j ) | b j ]j 1

s

1 P(b j F (b j )) 1 P(b j a* j)j 1 j 1

s

s

Pe P (aib j ) P (ai )P(b j | ai )Y X a* Y X a*

当输入等概:上式可化为：

P[ F (b j )] P a* j 1/ r1 Pe P(b j | ai ) r Y X a*

例6-1: 参见下图，假设P(a1)=0.4,分别求出4种译码规 则所对应的平均差错率。a1 a20.8

0.2 0.1 0.9

b1 b2

( F 1 b1 ) a1 F1: ( 1 b2 ) a1 F ( F 3 b1 ) a1 F3: ( 3 b2 ) a 2 F

( F 2 b1 ) a 2 F2: ( 2 b2 ) a 2 F ( F 4 b1 ) a 2 F4: ( 4 b2 ) a1 F

解：信道输入概率矩阵和转移矩阵分别为：[ PX ] [0.4 0.6] 0.8 0.2 [ PY | X ] 0.1 0.9

转移矩阵各行元素乘以对应的输入概率，得联合概率矩阵 0.32 [ PXY ] 0.06 0.08 0.54

译码规则F1对应的平均差错率为

Pe ( F1 ) 1 P[ F1 (b j ), b j ]j 1

s

1 [ P (a1b1 ) P ( a1b2 )] 1 (0.32 0.08) 0.6 其它译码规则对应的平均差错率分别为Pe(F2)=0.4 Pe(F3)=0.14 Pe(F4)=0.86

四种规则相比，

F3最好，F4最差

第二节

两种典型的译码规则

一.最佳译码规则平均差错率Pe与译码规则有关，使Pe达到最小 的译码规则——最佳译码规则。

Pe P(b j ) P(e | b j ) P(b j ){1 P[ F (b j ) | b j ]}j 1 j 1

s

s

可以看出：要减小Pe ,必须减小各个接收符号的译码

错误概率 P(e | bj ) ,或者增大各个接收符号的译码正确概 率 P[ F (bj ) | bj ] 。

确定最佳译码规则的方法：* F ( b ) a j j A,b j B F: , ai A * P(a j | b j ) P(ai | b j )

该最佳译码规则称为最大后验概率译码规则最大后验概率条件可等价为最大联合概率条件,为什么呢?P(a * j | b j ) P ( ai | b j )* P(b j ) P(a* | b ) P ( b ) P ( a | b ) P ( a j j j i j j b j ) P ( ai b j )

则最佳译码规则又可表示为：* F (b j ) a j A,b j B F: , ai A * P(a j b j ) P(ai b j )

最佳译码规则又称为最大联合概率译码规则

例6-2 参见下图，假设P(a1)=0.4,求最佳译码规则。a10.8

a2

0.2 0.1 0.9 b1 a1 ] 0.32 a2 0.06 b2 0.08 0.54

b1

b2

解：例6-1已经求出联合概率矩阵，重写为[ PXY

则最大联合概率译码规则为：

F (b1 ) a1 F : F (b2 ) a 2

对应的平均差错概率：

Pe 1 P[ F (b j )b j 1 (0.32 0.54) 0.14j 1

s

二、极大似然译码规则——按最大转移概率条件确定的译码规则* F ( b ) a j j A,b j B F: , ai A * P(b j | a j ) P(b j | ai )

例6-3:已知信道转移矩阵，试确定译码规则。 0.5 PY | X 0.2 0.3 0.3 0.2 0.3 0.5 0.3 0.4

解：按转移概率最大原则确定极大似然译码规则如下：

F (b1 ) a1 F : F (b2 ) a1 , (a2 , F (b ) a 3 2

a3 )

当信道输入等概率时，极大似然译码规则是最佳的。

提问:为什么?原因是：极大似然译码规则是按最大转移概率条件确定 的，即

P(b j | a ) P(b j | ai )* j

如果输入等概，则

P( a ) P( a i )* j

所以

P(a ) P(b j | a ) P(ai ) P(b j | ai )* j * j * j

P(a b j ) P(ai b j )

第三节

信道编码的编码原则

二元信源和二元对称信道的模型如下图所示DMS U {u1,u2} X {a1,a2} a1=0 a2=1

DMC1-pp=0.01

Y {b1,b2} b1=0 b2=1

U u1 0 u 2 1 P 0.5 0 . 5 U

p=0.01

1-p

由图可知：信源的熵为：H(U)=logM=1比特/符号 信道容量为：C=log2-H(0.99,0.01)=0.92比特/符号信源与信道之间不加信道编码，则由于信道输入等概分布，则 极大似然译码规则就是最佳译码规则，根据信道转移矩阵b2 b1 a1 PY | X a 0 . 99 0 . 01 2 0.01 0.99

F (b1 ) a1 确定极大似然译码规则为：F : F (b2 ) a 2

平均差错率为：

1 s 1 Pe 1 P[b j | F (b j )] P(b j | ai ) r j 1 r Y , X a* (0.01 0.01) / 2 0.01

提问：传输系统的Pe要求控制在10-6以下，而利用译 码规则的Pe太高，如何降低平均差错率呢？

---信道编码一.简单重复编码对信源符号进行“重复2次”编码:U X3 PY 信道编码f {u1 , u 2 } { 1 , 2 ,..., 8 }3

|X 3

Y3 信道译码F { 1 , 2 ,..., 8 }

X3 { 1 , 8 }

f u1 0 1 000 000 1 001 2 001 2 010 3 3 010 011 4 011 1 000 4 F 5 100 8 111 100 5 101 6 6 101 7 110 110 7 f 111 u2 1 8 111 8

“重复2次”编码规则为

0 000 f: 1 111

求出3次扩展信道的转移矩阵

P Y 3|X 3

1 1 3 p 8 3 p

8 2 2 2 2 p p p p p p p p p p 2 p p 2 p 3 , p 1 p 2 2 2 2 2 2 p p p p p p p p p p p p p3 F ( 3) 1 F ( 7) 8 F ( 5) 1 F ( 8) 8

2

3

4

5

6

7

按极大似然译码规则得译码函数F ( 1) 1 F ( 4) 8 F ( 2) 1 F ( 6) 8

即： 1 000

2 001 F 1 000 3 010 5 100

4 6 7 8

011 101 F 8 111 110 111

译码差错率为：

结论：信道编码降低平均错误率

3 2 1 8 1 Pe 1 P[ i | F ( i )] 1 (2 p 6 p p) 3 10 4 r i 1 2

提问：信道编码对信息传输速率有什么影响呢？信道编码之后的信息率或信道待传的信息率为

R H (U ) / N 1/ 3比特/ 码元无信道编码的信息率或信道待传的信息率为

R H (U ) / N 1 比特/ 码元

结论：信道编码降低了信道的信息传输率信道编码，或称为纠错编码，就是靠增加“冗余” 码元来克服或减轻噪声影响的。

本文来源：https://www.bwwdw.com/article/h24m.html