最优化理论在信息论中的应用_

最优化课程的具体应用,结合具体的专业。

最优化理论在信息论中的应用

摘 要

最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎么找出最优方案。这类问题普遍的存在于各类的工程计算和方案设计领域，最优化这一数学分支为这些问题的解决提供了有力的理论基础和可靠的求解方法，在实际中应用中发挥了巨大的作用。信息论以香农的三大定理为学科的支撑和架构，其中涉及到了诸多有关信息量和信道容量等的最优值求解问题。

本文结合所学的信息与通信领域的专业知识，讨论最优化理论与算法在信息论中的应用：使用最优化课程中解决非线性目标函数、线性约束函数极值问题的可行方向法中的Zoutendijk方法，结合Matlab软件中的数值计算工具箱对信息论中的问题进行编程分析和求解。最优化方法的引入，能够从数值计算的角度给出相关定理的解释，有助于加深对信息论中香农定理的理解；同时两门学科的交叉融合也能够将学到的最优化理论加以实践，从而更好的掌握并解决实际问题。

关键词：最优化 信息论 香农定理 可行方向法 Zoutendijk

最优化课程的具体应用,结合具体的专业。

ABSTRACT

Optimization theory and algorithm is an important branch of mathmatics, which focus on how to measure various kinds of plans to pick out the best one as well as how to coming up with the most excellent plan. Such problems generally exist in most types of engineering calculation and design field, and the optimization provides a strong theoretical foundation and reliable algorithm for these solutions, which has played a huge role in the actual application. The information theory is based on the Shannon's theorems and refers to a proportion of optimization problems on the information content and information capacity.

In this paper, the application of optimization in the information theory field will be studied and analysed in the combination of part of the professional knowledge on the information and communication. With the help of Matlab numerical computation toolbox, the Zoutendijk feasible direction method in the optimization text concering on the problem with non-linear objective function and linear constrainted functions will be programmed to solve the corresponding problem of imformation theory. Through this process, the Shannon's theorems can be explained in the aspect of numerical computation, which may gain the understanding of the theorems; and the optimization theory can be better grasped during the practical application.

Keywords: optimization information theory Shannon's theorems

Feasible Direction Method Zoutendijk

最优化课程的具体应用,结合具体的专业。

1 引言

最优化方法是在给定约束之下，从问题的许多可能解答中，寻求使某一或某些指标达到最优解答，或者对于给定的问题通过何种途径去寻找最优解答的方法，它是一个重要的数学分支。

最优化是个古老的方法，早在17世纪从英国科学家牛顿提出极值问题开始，就已经出现了最优化研究的雏形。至20世纪40年代，由于生产和科学研究迅猛发展，尤其是电子计算机的广泛应用，一方面对最优化的研究有力空前的迫切需求，另一方面也为最优化研究提供了新型的有力的工具。最优化问题与现代电子技术结合，步入了全新发展的快车道，形成了一个新的学科，出现了线性规划、非线性规划、整数规划等众多的分支。

最优化问题普遍存在于各类工程设计和方案规划问题中，例如在工程设计中怎样选择设计参数，使设计方案既满足设计要求又能降低成本；在资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益。随着最优化学科的发展，及其与社会各领域的紧密结合，最优化理论和算法在实际中正发挥着越来越大的作用。

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。狭义的信息论以香农信息论为基础，核心内容是香农三大定理，涉及最大熵、信道容量、最佳信源编码以及最佳信道编码等最优化问题。这些问题在教科书中一般以定理形式给出，并未给出具体的求解形式，不利于对定理的理解。

本文结合信息论的部分专业知识以及最优化理论中所学习的求解方法，对信息论中的最大熵和信道容量的最优化问题进行编程分析和求解，主要使用的算法为求解非线性目标函数、线性约束函数极值问题的Zoutendijk可行方向法，用到的编程软件为Matlab 2012b。通过数值分析，对香农定理深入理解并更好的掌握所学习的最优化理论算法。

2 最大熵原理和信道容量

2. 1最大熵原理

在信息论中，信息是对于事件随机性的一种描述，一个事件所包含的信息量与该事件出现的概率有关，两者之间的关系有如下定义：

I(x) log p(x) （1）

最优化课程的具体应用,结合具体的专业。

公式（1）中p(x)表示时间x发生的概率，是介于0和1之间的数。由公式可以看出，事件发生的概率越大，所包含的信息量就越小，当事件发生的概率为1——即确知该事件会发生时，它所包含的信息量为0，对于确知事件，不再有研究意义。

对于通信系统的信号在信道的传输问题，信源可能产生n个不同的消息x0,x1,x2, xn 1，各自对应于不同的事件，并且产生每个消息的概率不同，假设每个消息xi产生的概率为p(xi)，因此根据公式（1）可以得到每个消息包含的信息量。而由于信源是按照不同的概率来产生这些消息的，因此从信源的角度综合考虑发送信号所包含的总的信息量，则有信源的平均信息量H(x)，定义如下：

H(x) p(xi) log p(xi) （2）

i 0n 1

该信源的平均信息量通常也称为信源的熵，可以理解为信源的平均不确定度。

在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。按最大信息熵原理，如果我们从全部相容的分布中挑选这样的分布，它是在某些约束条件下（通常是给定的某些随机变量的平均值）使信息熵达到极大值的分布，这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。可以看出，在给定的等式和不等式约束条件下，由最大信息熵原理求消息发生的“最佳”概率分布，就是一个求解条件极值的最优化问题，可表示如下：

maxH(x) p(xi) log p(xi)

i 0n 1

p(x) 1i

i 0n 1 （3）

p(xi) 0(i 0,1 n 1)

2. 2信道容量

信息论中的另外一个重要的问题是求解信道的容量。信道容量是指信道上没传送一个符号所能携带的信息量，可以用信道接收端和发送端互信息量的最大值来表征。假设一个信道输入的字符集为X x0,x1,x2, xn 1 ，信道接收端接收到的字符集为Y y0,y1,y2, ym 1 ，信道的转移概率Pij p(yj/xi)(i 0, n 1;j 0, m 1)，则信道发送端和接收端之间的平均互信息量I(X,Y)可以表示为：

最优化课程的具体应用,结合具体的专业。

I(x,y) p(xi)p(yj/xi)log

i 0j 0n 1m 1p(yj/xi) p(x)p(y/x)iji

i 0n 1 （4）

根据定义，信道容量的表达式为：

C maxI(X,Y) （5）

对于一个给定的信道，它的特性是固定的，不随信源的不同而改变，因此信道的转移概率p(yj/xi)是确定的，则可以从公式（3）和（4）中看出，信道容量是关于变量p(xi)的一个极值问题，也就是关于信源产生消息的概率分布的一个最优化问题。

这里我们主要讨论离散无记忆的对称二进制信道的最大熵和信道容量，这种信道在某个时刻的输出符号只与当前时刻的输入符号有关，而与之前的输入符号无关，所以称为无记忆

0,1 的。同时离散无记忆的对称二进制信道的输入和输出都是序列 ，而且信道噪声和其它干

扰导致的信道传输发生的差错统计独立，信道的转移概率相互对称，即

p(Y 1/X 0) P(Y 0/X 1)

p(Y 0/X 0) P(Y 1/X 1) 1 （6）

信道模型可以用简化图表示如下：

x1 x0 y0 0 y1 1

根据离散无记忆对称二进制信道的定义，对应的信源的熵可以表示为：

H(x) p(x0)logp(x1) p(x1)logp(x1) （7）

最大熵的极值表达式为：

maxH(x) p(x0)logp(x1) p(x1)logp(x1)

p(x0) p(x1) 1

p(xi) 0(i 0,1)（8）

同样的，信道容量在离散无记忆对称二进制信道中可以表示为如下的最优化问题：

最优化课程的具体应用,结合具体的专业。

113 Zoutendijk可行方向法 6

C max p(xi)p(yj/xi)log

i 0j 0p(yj/xi) p(x)p(y/x)iji

i 01

p(x0) p(x1) 1

p(xi) 0(i 0,1) （9）

3 Zoutendijk可行方向法

可行方向法是约束最优化方法中的一类算法，这种方法可以看作是无约束下降算法的自然推广，它的典型策略是从可行点出发，沿着下降的可行方向进行搜索，求出使目标函数值下降的新的可行点。算法的主要步骤是在确定初始搜索点x(k)的基础上，选择可行的搜索方向d(k)并确定沿着此方向移动的步长 (k)，依次进行迭代，满足一定规则后停止迭代并得到最终的结果。可行下降的搜索方向的选择有多种方式，不同的方法就形成了不同的可行方向算法，这里主要对Zoutendijk可行方向法和Frank-Wolfe可行方向法进行详细介绍。

Zoutendijk可行方向法于1960提出的求解约束问题的一种算法。考虑非线性规划问题：

minf(x)

s..tAx b （10）

Ex e

其中是f(x)可微函数，A为m n阶矩阵，E为l n阶矩阵，x Rn，b和e分别为m维和l维列向量。

针对上述问题，Zoutendijk可行方向法的计算步骤如下：

（1）给定初始可行点x(1)，令k=1。

如果原问题容易观察得到一个可行点，则可以将其作为初始可行点进行迭代计算，若原问题较为复杂，难以直接观察到可行点，可通过引入人工变量的方法求得。例如针对最优化问题（10），引入人工变量 和 ，求解辅助线性规划：

l m min i i i 1 i 1

（11） s..tAx b

Ex e

0, 0

如果优化问题（11）的最优解(x,,) (x,0,0)，那么x就是优化问题（10）的一个可行解。

（2）在点x(k)处把A和b分解成

最优化课程的具体应用,结合具体的专业。

A1 b1 A2 和 b2 ，

使得A1x(k) b1,A2x(k) b2，计算 f(x(k))。

（3）求解线性规划问题

min f(x(k))Td

s..tA1d 0

Ed 0

1 dj 1,j 1, n（12）

从而得到最优解d(k)。

（4）如果 f(x(k))Td(k) 0，则停止计算，x(k)为K-T点，否则，进行步骤（5）。

（5）求解一维搜索问题

minf(x(k) d(k))

s..t0 max （13）

其中 max满足下式：

b2 A2x(k),b

A2d(k)d

, max i/d i|d i 0,minb d 0 （14） 0d

得到最优解 k，令x(k 1) x(k) kd(k)。

（6）令k=k+1,返回步骤（2）继续迭代执行。

4 Zoutendijk可行方向法在信息论中的应用

利用Matlab软件中的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。Zoutendijk可行方向法和Frank-Wolfe可行方向法都是求解非线性规划的方法，因此本文我们借助matlab优化工具箱中的部分函数，基于Matlab的平台分别利用这两种方法对前面所述的最大熵问题和信道容量问题进行编程求解。

最优化课程的具体应用,结合具体的专业。

4.1 利用Zoutendijk可行方向法求解最大熵

最大熵问题所对应的优化问题为：

minf(x) H(x) p(x1)logp(x1) p(x2)logp(x2)

s..tp(x1) p(x2) 1

p(x1) 0

p(x2) 0（18）

为了使表达更加简洁，方便分析和编程，我们这里就用x1来代替p(x1)，x2来代替p(x2)，同时将不等式约束化为小于等于的标准形式，则目标函数和约束条件变为：

minf(x) x1logx1 x2logx2

s..tx1 x2 1

x1 0

x2 0

10 0 在本问题中，Zoutendijk可行方向法中的矩阵A= ，矩阵E=，列向量b= (11) , e=1。0 10

4.1.1 算法流程

下面给出算法的具体流程：

（1） 首先将矩阵A根据起作用约束和不起作用约束分成A1和A2，同时也将b分为对应的

b1和b2。

（2） 接下来需要计算 f(x(k))，可以利用matlab自带的jacobian函数进行求解。

（3） 利用步骤（2）求得的目标函数在初始点的梯度求解线性规划问题：

min f(x(k))Td

s..tA1d 0

Ed 0

1 dj 1,j 1, n

这个问题的求解可以使用matlab中的linprog函数。linprog是一个专门用来求解线性规划的函数，它的调用格式为：x=linprog(f,A,b,Aeq,beq,lb,ub), 所求解的优化问题的标准格式为：

minf x

s..tAx b

Aeq x beq

lb x ub

（4） 利用前面步骤计算出的结果判断 f(x(k))Tdk，如果为0,则计算结束，

最优化课程的具体应用,结合具体的专业。

，得到最优解 k，更新x(k)为K-T点，目标函数的最优值为0.否则求解一维搜索问题（13）

k, x(k)的值，并返回步骤（2）继续迭代。

4.1.2 实验结果及分析：

在matlab中编写程序并运行，可得到如下的实验结果：

x0 =

0.500000027157568

0.499999972842432

f_val =

k =

2

x0即为最优解，目标函数的最优值为f_val，k表示迭代的次数。因此这个结果表示经过-0.999999999999998 两次迭代目标函数取得最优值f_val =-0.999999999999998，此时x的最优解为

x1=0.500000027157568，x2=0.499999972842432。理论上最大熵问题的最优解应该是

x1=x2=0.5，目标函数值为f_val=-1，理论与编程结果对比后可以发现Zoutendijk可行方向法求得的结果非常接近实际结果。

这个结果是符合实际情况的，熵表示信源的平均信息量，是对事件不确定性的度量，事件的不确定度越大，熵越大，而当一个事件所有可能的消息发生概率相同时，事件的不确定性是最大的。对应于离散二进制信源就是当消息0和1发生的概率相同时熵具有最大值，此时0和1发生的概率应该为0.5，熵的最大值为目标函数值的相反数，即为1。这表明了对于1位的二进制数，它所能携带的最大的信息量是1bit。所以使用Zoutendijk可行方向法求得的最优化问题结果完全符合信息论里的结论。

4.2 利用Zoutendijk可行方向法求解信道容量

4.1.1 算法设计

信道容量问题是前面公式（9）所述的优化问题，类似于求最大熵时的处理，同样用x1来代替p(x1)，x2来代替p(x2)，同时将不等式约束化为小于等于的标准形式，则目标函数和约束条件变为：

最优化课程的具体应用,结合具体的专业。

115 总结 10

C max xip(yj/xi)log

i 0j 0p(yj/xi) xp(y/x)iji

i 01

x0 x1 1

x0 0

x1 0

对于给定的信道，转移概率p(yj/xi)是固定的值，在这里我们对转移概率做如下式（19）中取值，从而该最优化问题也是关于x0和x1的函数。

p(Y 0/X 0) p(Y 1/X 1) 127/128

p(Y 1/X 0) p(Y 0/X 1) 1/128（19）

用Zoutendijk可行方向法求解信道容量时，除了目标函数的形式同求解最大熵问题有所区别外，约束条件、子函数和具体的求解步骤都是相同的，因此在程序中只需对目标函数进行相应的改动即可。

4.1.2 实验结果及分析

在matlab中编写程序并运行，可得到如下的实验结果：

x0 =

0.500000027157568

0.499999972842432

f_val =

k =

2

由信道容量的公式可以进一步将其化为：C max[H(x) H(x/y)]。因为当信道固定时，转移概率确定，对于离散无记忆二进制信道，由理论分析可知，信道容量在各消息发送等概，也就是信源的熵取到最大的情况下取得最大值。从程序执行的结果可以看出，各消息发送的概率与前面求最大熵时求得的概率相同，因此说明信道容量在信源熵最大时取得，这与理论分析时相一致的。对于给定的转移概率为式（19）的信道，信道容量为0.9565，与理论上的计算结果的0.955接近。因此，可以认为Zoutendijk可行方向法求解信道容量的最优化问题结果较为可靠。 -0.9565

5 总结

最优化课程的具体应用,结合具体的专业。

参考文献 11

最优化理论中的方法大部分都是由循环迭代构成的，对于循环问题，使用计算机编程实现较为便捷。在本文中，通过实验可以看出，使用最优化方法求得的结果与最后理论上的真实结果之间的误差较小，结果较为可靠。因此，最优化方法为信息论中相应问题的求解提供了一种思路，同时也能够从数值计算的角度加深对信息论中专业知识的理解；同时在编写程序实现最优化方法的过程中，也能够更好的掌握Zoutendijk可行方向法的原理。

参考文献

[ 1 ] 陈宝林. 最优化理论与算法[M]. 北京：清华大学出版社，2005.

[ 2 ] 谢政，李建华，汤泽潆. 非线性最优化[M]. 第2版. 湖南：国防科技大学出版社，2006. 275~281.

[ 3 ] 傅祖芸. 信息论—基础理论与应用[M]. 北京：电子工业出版社，2001.93~98.

本文来源：https://www.bwwdw.com/article/ck7j.html