lms算法毕业论文

lms算法毕业论文

LMS算法研究

专 业：通信工程

摘 要

因LMS算法具有低计算复杂度、在平稳环境中的收敛性好、其均值无偏地收敛到wiener解和利用有限精度实现算法时的稳定性等特性，使LMS算法成为自适应算法中应用最广泛的算法。对LMS算法及其改进算法进行了研究，探讨了步长因子??n?对各种算法收敛性、稳定性的影响。并用MATLAB对其学习曲线、收敛速度等进行了仿真分析。结果表明，变步长??n?的取值尤为重要，如果μ（n）取较大值则具有较快的收敛速度，如果μ（n）取值很小，则MLMS算法近似等效于LMS算法。它们的自适应过程较快，性能有了很大改进。

2

Abstract

Because of low computational complexity, stable environment in the convergence of good, unbiased and its mean converges to the wiener solution and implementation algorithms using finite precision stability and other characteristics, LMS algorithm as adaptive algorithm in the application of the most a wide range of algorithms.We have a detailed study on LMS algotithm and its complementary algotithm,disscused the step-size’s influent for the algorithm’s convergence speed and stability. And using MATLAB simulated the learning curve, convergence speed of LMS algotithm.The result observed that the value of variable step-size μ（n）is very important,if it is a bigger may have a fast convergence speed,but if not ,the NLMS algotithm can instead the LMS algotithm in the characteristics. In addition , they have a fast adaptive course and greatly progress in performance.

Keywords：LMS algorithm，Adaptive，NLMS algorithm，Variable step，MATLAB simulation.

3

目 录

第一章 绪论 .............................................................................. 6 1.1 自适应滤波理论的发展 ............................................................... 6 1.2 自适应LMS算法的发展 ............................................................... 7 1.2.1 LMS算法历史 .................................................................... 7 1.2.2 LMS算法的现状 .................................................................. 7 1.2.3 LMS算法的发展前景 .............................................................. 7 第二章 自适应LMS算法的研究 .............................................................. 9 2.1 概述 ............................................................................... 9 2.2 LMS算法 ........................................................................... 9 2.2.1自适应收敛性 ................................................................... 11 2.2.2平均MSE——学习曲线 ........................................................... 12 2.2.3 失调 .......................................................................... 14 2.2.4 缩短收敛过程的方法 ............................................................ 15 第三章LMS自适应滤波器的改进形式 ........................................................ 17 3.1归一化LMS算法 ..................................................................... 17 3.1.1 TDO-LMS算法 ................................................................... 19 3.1.2 MLMS算法 ...................................................................... 20 3.2 泄露LMS算法 ...................................................................... 21 3.3 极性LMS算法 ...................................................................... 22 3.4 LMS算法梯度估计的平滑 ............................................................. 22 3.5 解相关LMS算法 .................................................................... 23 3.6 性能比较 .......................................................................... 24 第五章 LMS算法的应用 .................................................................... 25 5.1 LMS类均衡器 ....................................................................... 25 5.1.1 解相关LMS（Decorrelation LMS,DLMS）均衡算法 ................................... 25 5.1.2 变化域解相关LMS均衡算法 ...................................................... 25 5.2 自适应信号分离器 .................................................................. 26 5.3 自适应陷波器 ...................................................................... 27 5.4系统辨识或系统建模 ................................................................. 27 第六章 仿真及其结果分析 ................................................................. 29 6.1仿真思路 ........................................................................... 29 6.2结果及分析 ......................................................................... 29 6.2.1 LMS及其改进算法 ............................................................... 29 6.2.2 LMS自适应均衡器 ............................................................... 32 6.2.3 自适应信号分离器 .............................................................. 34 6.2.4 自适应陷波器 .................................................................. 34 6.2.5系统辨识或系统建模 ............................................................. 34 结 论 ................................................................................ 36

4

参考文献 ................................................................................ 37 附录Ⅰ 英文原文及译文 ................................................................... 38 附录Ⅱ 仿真程序 ......................................................................... 51 致 谢 ................................................................................ 65

5

第一章 绪论

1.1 自适应滤波理论的发展

早在20世纪40年代，就对平稳随即信号建立了维纳滤波理论。根据有用信号和干扰噪声的统计特性（自相关函数或功率谱），以线性最小均方误差估计准则所设计的最佳滤波器，称为维纳滤波器。这种滤波器能最大程度地滤除干扰噪声，提取有用信号。但是，当输入信号的统计特性偏离设计条件，则它就不再是最佳的了，这在实际应用中受到了限制。到60年代初，由于空间技术的发展，出现了卡尔曼滤波理论，即利用状态变量模型对非平稳、多输入多输出随机序列作最优估计。现在，卡尔曼滤波器已成功地应用到许多领域，它既可对平稳的和非平稳的随机信号作线性最佳滤波，也可作非线性滤波。实质上，维纳滤波器是卡尔曼滤波器的一个特例。

若设计卡尔曼滤波器时，必须知道产生输入过程的系统的状态方程和测量方程，即要求对信号和噪声的统计特性有先验知识。但在实际中，往往难以预知这些统计特性，因此实现不了真正的最佳滤波。

Widrow B.等于1967年提出的自适应滤波理论，可使自适应滤波系统的参数自动地调整而达到最佳状况，而且在设计时，只需要很少的或是根本不需要任何关于信号与噪声的先验统计知识。这种滤波器的实现差不多像维纳滤波器那样简单，而滤波性能几乎如卡尔曼滤波器一样好。因此，近十年来，自适应滤波理论的方法得到了迅速发展。

图1-1 自适应滤波器原理图

自适应算法x(n)离散时间线性系统y(n)-Se(n)d(n)+d(n)图1-1描述的是一个通用的自适应滤波估计问题，图中离散时间线性系统表示一个可编程滤波器，它的冲击响应为h(n)，或称其为滤波参数[6]。自适应滤波器输出信号为y(n)，所期望的响应信号为d(n)，误差信号e(n)为d(n) 与y(n)之差。这里，期望响应信号d(n) 是根据不同用途来选择的，自适应滤波器的输出信号y(n)是对期望响应信号d(n)进行估计的，滤波参

?(n)等于所期望的响应d(n).因此，数受误差信号e(n)的控制并自动调整，使y(n)得估计值y自适应滤波器与普通滤波器不同，它的冲击响应或滤波参数是随外部环境的变化而变化的，

6

经过一段自动调整的收敛时间达到最佳滤波的要求。但是，自适应滤波器本身有一个重要的自适应算法，这个算法可以根据输入、输出及原参数量值，按照一定准则改变滤波参量，以使它本身能有效地跟踪外部环境的变化。通常，自适应滤波器是线性的，因而也是一种线性移变滤波器。当然，它可推广到自适应非线性滤波器。

在图1-1中，离散时间线性系统可以分为两类基本结构，其中一类为非递归型横向结构的数字滤波器，它具有有限的记忆，因而称之为有限冲激响应（FIR）系统，即自适应FIR滤波器。另一类为递归型数字滤波器结构，理论上，它具有无限的记忆，因而称之为无限冲激响应（IIR）系统，即自适应IIR滤波器。对于上述两类自适应滤波器，还可以根据不同的滤波理论和算法，分为结构不同的自适应滤波器，它们的滤波器性能也不完全相同。

1.2 自适应LMS算法的发展

1.2.1 LMS算法历史

1955-1966年期间美国通用公司在研制天线的过程中，为抑制旁瓣，由windows和hoff在60年代初提出了基本LMS算法[6]。随后又发展出了归一化算法和加遗忘因子LMS算法。1977年，makjoul提出了格型滤波器，并由此发展出LMS自适应格型滤波器算法。Herzberg、cohen和be’ery提出了延时LMS（DLMS）算法。2002年，尚勇，吴顺君，项海格提出了并行延时LMS算法。此外，还有复数LMS算法、数据块LMS算法等，在此就不一一列举了。 1.2.2 LMS算法的现状

因LMS算法具有低计算复杂度、在平稳环境中的收敛性好、其均值无偏地收敛到wiener解和利用有限精度实现算法时的稳定性等特性，使LMS算法成为自适应算法中应用最广泛的算法。由于LMS算法的广泛应用，以及在实际条件下，为解决实际问题，基于LMS算法的新LMS类算法不断出现。 1.2.3 LMS算法的发展前景

因LMS算法是自适应滤波器中应用最广泛的算法，所以可以说，自适应滤波的发展前景也就是LMS算法的发展前景。它主要包括以下几个方面的应用：

1、系统辨识和建模(System Identification and Modeling)。自适应滤波器作为估计未知系统特性的模型。

2、自适应信道均衡(Adaptive Channel Equlization)。在数字通信中采用自适应信道均衡器，可以减小传输失真，以及尽可能地利用信道带宽。

3、回波消除(Echo Cancellation)。在2线和4线环路电话系统中，线路间存在杂散电路耦合，这些杂散导致阻抗不匹配，从而形成了信号的反射，也就是我们在线路两端听到的回声。这种回波能对高速数据传输造成灾难性的后果。回波消除就是预先估计一个回波，然后用返回信号来减此回波，从而达到回波消除的目的。消除心电图中的电源干扰就是它的一个

7

具体应用。

4、线性预测编码（Linear Predictive Coding）。近年来，对语音波形进行编码，它可以大大降低数据传输率。在接收端使用LPC分析得到的参数，通过话音合成器重构话音。合成器实际上是一个离散的随时间变化的时变线性滤波器。时变线性滤波器既当作预测器使用，又当作合成器使用。分析语音波形时作预测器使用，合成语音时作话音生成模型使用。

5、自适应波束形成（Adaptive Beaamforming）。频谱资源越来越紧张，利用现有频谱资源进一步扩展容量成为通信发展的一个重要问题。智能天线技术利用阵列天线替代常规天线，它能够降低系统干扰，提高系统容量和频谱效率，因此智能天线技术受到广泛关注。自适应束波形成通过调节天线各阵元的加权幅度和相位，来改变阵列的方向图，使阵列天线的主瓣对准期望用户，从而提高接收信噪比，满足某一准则下的最佳接收。在雷达与声纳的波束形成中，自适应滤波器用于波束方向控制，并可在方向图中提供一个零点以便消除不希望的干扰。

其应用还有噪声中信号的滤波、跟踪、谱线增强以及预测等。

8

第二章 自适应LMS算法的研究

2.1 概述

自适应算法中使用最广的是下降算法，下降算法的实现方式有两种：自适应梯度算法和自适应高斯-牛顿算法。自适应高斯-牛顿算法包括RLS算法及其变型和改进型，自适应梯度算法包括LMS算法及其变型和改进型[2,6]。

滤波器设计准则是使滤波器实际输出y(n)与期望响应d(n)之间的均方误差J（n）为最小，这称为最小均方误差（MMSE）准则。

图2-1FIR滤波器的自适应实现

u(n)Z-1x(n-1)Z-1x(n-2)x(n-M+2)Z-1x(n-M+1)Wh(0)×××××Wh(1)Wh(2)Wh(m-2)Wh(m-1)y(n)d(n)SSSSSe(n) 图2.1为FIR滤波器的自适应实现的原理图。所谓自适应实现是指；M阶FIR滤波器的抽头权系数w0,w1,…,wm-1可以根据估计误差e(n)的大小自动调节，使得某个代价函数最小[6,7]。 定义均方误差J(n)为代价函数，因为滤波器在n时刻的估计误差

e(n)=d(n)-wHx(n) (2-1)

所以代价函数

J(n)=E{|e(n)|2}=E{|d(n)-wH(n)|2} (2-2)

由此可得J(n)的梯度

▽J(n)=2 E{x(n) H(n)}w(n)-2E{x(n)d﹡(n)} (2-3)

2.2 LMS算法

最陡下降算法不需要知道误差特性曲面的先验知识，其算法就能收敛到最佳维纳解，且与起始条件无关[6]。但是最陡下降算法的主要限制是它需要准确测得每次迭代的梯度矢量，这妨碍了它的应用。为了减少计算复杂度和缩短自适应收敛时间许多学者对这方面的新算法进行了研究。1960年，美国斯坦福大学的Windrow等提出了最小均方（LMS）算法，这是一种用瞬时值估计梯度矢量的方法，即

2??[en )] ? (n ( ? ? 2 e ( n ) x (n ) )??w(n)(2-4)

9

可见，这种瞬时估计法是无偏的，因为它的期望值E[?(n)]确实等于矢量?(n)。所以，按照自适应滤波器滤波系数矢量的变化与梯度矢量估计的方向之间的关系，可以先写出LMS算法的公式如下：

??? w (n ? 1 ) ? w ( n ) ? 1 ? ( n )] [??2 ??w(n)??e(n)x(n)

?（2-5a）

（2-5b）

将式e(n)=d(n)-y(n)和式（2-1）代入到上式中，可得到

?

w(n?1)?w(n)??x(n)[d(n)?w(n)x(n)]=[I??x(n)x(n)]w(n)??x(n)d(n) （2-6）

H???H

w(n+1)z-1Ix(n)e(n)d(n)+Σμ-xH(n)Iw(n)图2-2 自适应LMS算法信号流图

由上式可以得到自适应LMS算法的信号流图，这是一个具有反馈形式的模型，如图2-2所示。如同最陡下降法，我们利用时间n=0的滤波系数矢量为任意的起始值w(0),然后开始LMS算法的计算，其步骤如下。

（1） 由现在时刻n的滤波器滤波系数矢量估值w(n)，输入信号矢量x(n)以及期望信号

d(n)，计算误差信号：

e(n)=d(n)-x(n)w(n) （2-7）

（2） 利用递归法计算滤波器系数矢量的更新估值：

w(n?1)?w(n)??e(n)x(n) （2-8）

??H?? 将时间指数n增加1，回到步骤（1），重复上述计算步骤，一直到达稳态为止。 由此可见，自适应LMS算法简单，它既不要计算输入信号的相关函数，又不要求矩阵之逆，因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量的瞬时估计，它有大的方差，以

10

致不能获得最优滤波性能[3]。下面我们来分析LMS算法的性能。 2.2.1自适应收敛性

自适应滤波器系数矢量的起始值w(0)是任意的常数，应用LMS算法调节滤波器系数具有随机性而使系数矢量w(n)带来非平稳过程。通常为了简化LMS算法的统计分析，往往假设算法连续迭代之间存在以下的充分条件：

(1) 每个输入信号样本矢量x(n)与过去全部样本矢量x(k),k=0,1,…,n-1是统计独立的，不相关的，即有

E[x(n)xH(k)]=0; k=0,1,…,n-1 (2-9)

(2) 每个输入信号样本矢量x(n)与全部过去的期望信号d(k), k=0,1,…,n-1也是统计独立的，即有

E[x(n)d(k)]=0; k=0,1,…,n-1 (2-10)

(3) 期望信号样本d(n)依赖于输入过程样本矢量x(n)，但全部过去的期望信号样本是独立的。

(4)滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随即变量。

通常，将基于上述基本假设的LMS算法的统计分析称为独立理论（Gendependence Theory）[6].

由式（2-6）可知，自适应滤波器在n+1时刻的滤波系数矢量w(n?1) 依赖与三个输入： （1） 输入过程的过去样本矢量x(k), k=n,n-1,…,0; （2） 期望信号的以前样本值d(k), k=n,n-1,…,0; （3） 滤波器系数矢量的起始值w(0)。

从上述基本假设（1）和（2）的观点来看，我们可发现滤波器系数矢量w(n?1)是与x(n+1)和d(n+1)独立无关。这点是很有用的，而且在后续分析中将被重复使用。

当然，有许多实际问题对于输入过程与期望信号并不满足上述基本假设。尽管如此，LMS算法的实践经验证明，在有足够的关于自适应过程结构信息的条件下，基于这些假设所分析的结果仍可用作可靠的设计指导准则，技术某些问题带有依赖的数据样本。

为了分析问题，现在我们将系数误差矢量Δw(n)代入式（2-6）的右边，得到

w(n?1)?[I??x(n)xH(n)][?w(n)?w0]??x(n)d(n)

???? =[I??x(n)xH(n)]?w(n)?w0??[x(n)d(n)?x(n)xH(n)w0]

式中，Δw(n)是误差矢量。如将w0移至等式左边，则w(n?1)-w0w0是最佳滤波系数矢量，等于系数误差的跟新值，于是上式可写成

Δw(n+1)=[I??x(n)x(n)]?w(n)??[x(n)d(n)?x(n)xH(n)w0] （2-11）

11

H??

对于上式两边取数学期望，得到

E[?w(n?1)]?E{[I??x(n)x(n)?w(n)]}??E[x(n)d(n)?x(n)xH(n)w0]

?H?? =(I??E[x(n)x(n)])E[?w(n)]??E[x(n)d(n)}??E[x(n)xH(n)]w0

=(I??R)E[?w(n)]??(P?Rw0) （2-12）

显然，上式中R为输入信号矢量x(n)的相关矩阵，而P为输入信号矢量x(n)与期望信号d(n)的互相关矩阵。根据自适应滤波的正则方程的矩阵式，上式右边第二项应等于零。由此可简写成

E[?w(n?1)](I??R)E[?w(n)]

??H?（2-13）

我们可以看出，LMS算法与前述最陡下降算法有相同的精确数学表达式。因此，要使LMS算法收敛于均值，必须使步长参数μ满足下列条件：

0 ? ? ?

2?max（2-14）

这里?max是相关矩阵R的最大特征值。在此条件下，当迭代计算次数n接近于?时，自适应滤波系数w(n)近似等于最佳维纳解w0. 2.2.2平均MSE——学习曲线

如前节所述，最陡下降算法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0 ，这时滤波器均方误差（MSE）为最小，即式

2中，?d是期望信号d(n)的方差。

2T? min ? ? d ? w P （2-15）

学习曲线定义为均方误差随迭代计算次数n的变化关系，如式（2-16）所描述的包含指数项之和：

2n2?(n)????(1???)vi(0)iii?

i?1M（2-16）

图2-3单条学习曲线

式中每个指数项对应于算法的固有模式，模式的数目等于滤波器加权数。显而易见，由于上式中1???i?1，故当n→∞,最陡下降算法均方误差ξ（∞）=λ

12

min

.但LMS算法用瞬时值

估计梯度存在误差的噪声估计，结果使滤波器权矢量估值w(n)只能近似于最佳维纳解，这意味着滤波均方误差?(n)随着迭代次数n的增加而出现小波动地减少，最后，ξ（∞）不是等于λ

min

?而是稍大于其值，如图2-3所示。如果步长参数μ选用得越少，则这种噪化指数衰减

曲线上的波动幅度将减小，即学习曲线的平滑度越好[6]。

但是，对于自适应横向滤波器总体来说，假设每个滤波器LMS算法用相同的步长μ和同等的起始系数矢量w(0)，并从同一统计群体随机地选取各个平稳的各态历经的输入信号，由此计算自适应滤波器总体平均学习曲线。

滤波器的均方误差

H ? ( n ) ? ? ? ? w ( n )R? w(n)min（2-17）

式中?w(n)?w(n)?w0，称为滤波系数的误差矢量。为了求总体平均RMS，对式（2-17）两边取数学期望值，有

E[?(n)]??min?E[?wH(n)R?w(n)]

由矩阵理论中等式E[aTbbTa]?tr{E[(bbT)?(aaT)]}，上式右边第二项可以可写成

E[?wH(n)R?w(n)]?tr[RK(n)] （2-18）

式中K(n)=E[?w(n)?wH(n)]，称之为滤波权系数误差的相关矩阵，因此，平均RMS可以写出

E[?(n)]??min?tr[RK(n)] （2-19）

式中，K（n）可以递归地进行计算。

下面我们推导这个递归公式。首先把式（2-11）递归计算式写成

?w(n?1)?[I??x(n)xH(n)]?w(n)??[x(n)emin(n)]

这里，emin(n)?d(n)?xH(n)w0。将上式与其共轭转置矩阵右乘，得到

?w(n?1)?wH(n?1)?[I??x(n)xH(n)]?w(n)?wH(n)[I??x(n)xH(n)]

2??2emin(n)x(n)xH(n)??emin(n)[I?x(n)xH(n)]?w(n)xH(n)

??emin(n)x(n)?w(n)[I??x(n)xH(n)]

对上式两边取数学期望，由于emin(n)与x(n)不相关，且认为?w(n)与x(n)也不相关，又

E[emin(n)]?0，于是得到K(n)?E[?w(n)?wH(n)]的递归计算公式：

K(n?1)?K(n)??[RK(n)?K(n)R]??2Rtr[RK(n)]??2?minR (2-20)

利用酉矩阵相似性变换法，有

QHRQ?? (2-21a)

这里，?是对角线矩阵所含的相关矩阵R的特征值，矩阵Q是由这些特征值相关联的特征矢量所确定的酉矩阵。注意到矩阵?是实值，并且令

QHK(n)Q?X(n) （2-21b）

13

注意，这里X(n)是一个对角线矩阵。加上酉矩阵性质QHQ?I,由式（2-21）得到

[Q tr [RK ( n )] ? tr ? Q H X (n ) Q H ]

（2-22）

?tr[Q?X(n)QH]?tr[?X(n)]因为?是对角线矩阵，矩阵X(n)的对角元素是xi(n)，i=1,2,…,M,上式又可写成

tr[RK(n)]???xii?1Mi(n) （2-23）

其次，我们利用式（2-21）所描述的变换关系，将式（2-20）递归计算公式重新写成

X(n?1)?X(n)??[?X(n)?X(n)?]??2?tr[?X(n)]??2?min? （2-24）

上式表明，只需要计算其对角线项元素，就可得到

xi(n?1)?xi(n)?2??ixi(n)???i??jxj(n)??2?min?i，

2Mj?1 i=1,2,…,M

M当n趋于∞时，则xi(n?1)与xi(n)的极限相等，于是由上式与式（2-23）得到

i?1tr[RK(?)]? M （2-25）

2????i我们定义超量均方误差?ex(?)等于总体平均的均方误差E[ξ(∞)]与最小均方误差?min之差i?1??min??i值，即

??min??i?1 （2-26） ?ex(?)?E[?(?)]??min = tr[RK(∞)] = iM2????ii?1M显然，如果能使总体平均E[ξ(n)]收敛于最终稳定值?min??ex(?)，当且仅当步长参数μ必须满足下列条件：

或

0 ? ? ? 2 （2-27b）

2tr[R]

0???2M?i ? i?1

（2-27a）

这里?i，i=1,2,…,M是相关矩阵R的特征值，M是自适应滤波器横向抽头数或阶数。当此条件被满足时，LMS算法是绝对收敛的，这是从均方值域保证稳定

的条件。如果将其与均方值域所讨论的稳定条件式（2-14）相比较看，由于?max仅是 ? ? i

i?1M中的一个最大值，所以，由式（2-27）所表示的稳定条件既是必要的又是充分的。 2.2.3 失调

在自适应滤波器中，失调（Misnadjustment）M是衡量其滤波性能的一个技术指标，它被定义为总体平均超量均方误差值?ex(?)与最小均方误差值?min之比，即

14

E [?M= ex (? )] （2-28）

把式（2-26）代入上式中，得到

???iM?min M= M （2-29）

2????ii?1 i? 1 通常所用μ值很小，因此，失调又可近似表示为

M1 M= ? ? ?

i2i?1 （2-30）

显而易见，自适应滤波器LMS算法的稳态失调与步长μ成正比。把算法的总体平均学习

1M?k，则滤波器稳定曲线的时间常数(?mse)av写成2??av的逆数，而平均特征值?av应等于 ?Mk?1失调M又可由式（2-29）写成

M= M ? 1 ? M ? AV （2-31）

4(?mse)av2上面诸式表明： （1）失调为自适应LMS算法提供了一个很有用的测度，比如10﹪失调意味着自适应算法所产生的总体平均MSE高于最小均方误差的增量值为10﹪； （2）失调是随滤波系数数目线性增加的；

（3）失调可以做的任意小，只要选用大的时间常数(?mse)av，也就是小的步长值即可。但是，滤波器自适应收敛过程需要长的时间，影响了滤波器自学习、自训练的速度，所以，自适应滤波器LMS算法的失调与自适应收敛过程之间存在着矛盾，如何缩短收敛过程，而且有很小的失调，这是值得研究的问题。 2.2.4 缩短收敛过程的方法

根据自适应滤波器权系数调节的递归计算公式可以看出，LMS算法的迭代公式为

?1w(n?1)?w(n)??[??(n)]2?w(n)??e(n)x(n)为了缩短收敛过程，概括起来可以从如下三个方面进行设计：

第一，采用不同的梯度估值?(n)，如LMS牛顿算法，它估计?时采用了输入矢量相关函数的估值，使得收敛速度大大快于上述经典的LMS算法，因为它在迭代过程中采用了更多的有关输入信号矢量的信息。

第二，对收敛因子步长μ选用不同方法。步长μ的大小决定着算法的收敛速度和达到稳态的失调量的大小。对于常数的μ值来说，收敛速度和失调量是一对矛盾，要想得到较快的

15

??

收敛速度可选用大的μ值，这将导致较大的失调量；如果要满足失调量的要求，则收敛速度受到制约。因此，人们研究了采用变步长的方法来克服这一矛盾。自适应过程开始时，取用较大的μ值以保证较快的收敛速度，然后让μ值逐渐减小，以保证收敛后得到较小的失调量。现在已有不同准则来调整步长μ，如归一化LMS算法、时域正交化LMS算法等。

第三，采用变换域分块处理技术。对由滤波器权系数矢量调整的修正项中的乘积用变换域快速算法与分块处理技术可以大大减少计算量，且能改善收敛特性，如频域LMS算法、分块LMS算法等。

16

第三章LMS自适应滤波器的改进形式

文献中已经提出了许多基于LMS算法的改进的自适应算法。这些算法的共同特点是从LMS算法出发，试图改进LMS算法的某些性能，包括LMS算法的收敛特性，减小稳态均方误差，减小计算复杂度。

3.1归一化LMS算法

如果不希望用与估计输入信号矢量有关的相关矩阵来加快LMS算法的收敛速度，那么可用变步长方法来缩短其自适应收敛过程，其中一个主要的方法是归一化LMS（Normalized LMS,缩写为NLMS）算法[6-8]，变步长μ（n）的更新公式由式（2-8）写成

w(n?1)?w(n)??(n)e(n)x(n)?w(n)??w(n) （3-1）

式中，?w(n)??(n)e(n)x(n)表示滤波权系数矢量迭代更新的调整量。为了达到快速收敛的目的，必须合适地选择变步长μ（n）的值，一个可能的策略是尽可能多的减小瞬时平方误差，即用瞬时平方误差作为均方误差MSE的简单估计，这也是LMS算法的基本思想[6]。瞬时平方误差可以写成

e2(n)?[d(n)?xT(n)w(n)]2

?d2(n)?wT(n)x(n)xT(n)w(n)?2d(n)wT(n)x(n) （3-2）

如果滤波权系数矢量的变化量w(n)?w(n)??w(n)，则对应的平方误差e2(n)可以由上式得到

e2(n)?e2(n)?2?wT(n)x(n)xT(n)w(n)??wT(n)x(n)xT(n)?w(n)?2d(n)?w(n)x(n)? （3-3）

在此情况下，瞬时平方误差的变化量?e2(n)定义为

?e(n)?e2(n)?e2(n)

3 ??2?wT(n)x(n)e(n)??wT(n)x(n)xT(n)?w(n) （3-4）

把?w(n)??(n)e(n)x(n) 的关系代入式（3-4）中，得到

?e2(n)??2?(n)e2(n)xT(n)x(n)??2(n)e2(n)[xT(n)x(n)]2 （3-5）

为了增加收敛速度，合适地选取μ（n）使平方误差最小化，故将式（3-5）对变系数μ（n）求偏导数，并令其等于零，求得

?(n)?

1xT(n)x(n)

（3-6）

这个步长值μ（n）导致?e2(n)出现负的值，这对应于?e2(n)的最小点，相当于平方误差e2(n)等于零。为了控制失调量，考虑到基于瞬时平方误差的导数不等于均方误差MSE

17

求导数值，所以对LMS算法的更新迭代公式作如下修正：

w(n?1)?w(n)?e(n)x(n)T ? ?x (n )x (n)

? （3-7）

式中，μ为控制失调的固定收敛因子，γ参数是为避免xT(n)x(n)过小导致步长值太大而设置的。通常称式（3-7）为归一化LMS算法的迭代公式。

为了保证自适应滤波器的工作稳定，固定收敛因子μ的选取应满足一定的数值范围。现在我们来讨论这个问题。首先考虑到下列关系：

E[xT(n)x(n)]?tr[R] （3-8a）

?e(n)x(n)?E[e(x)x(n)]E? ???TT（3-8b） x(n)x(n)E[x(n)x(n)]???然后对收敛因子的平均值应用更新LMS的方向e(n)x(n)是 ,2tr[R]最后，将归一化LMS算法的更新公式与经典LMS算法更新公式相比较，可以得到收敛因子μ的上界不等式条件，如下：

?1 （3-9） 0??(n)??2tr[R]tr[R]或

0???2

显然， 由式（3-7）与（3-9）可构成归一化LMS算法，其中0???1 ，选择不同的γ值可以得到不同的算法，当??0时，由式（3-7）可以写成

w(n?1)?w(n)?(d(n)?wT(n)x(n))x(n)2x(n) （ 3-10 ）

?这种算法是NLMS算法的泛化形式，其中随机梯度估计是除以输入信号矢量元素平方之和。所以步长变化的范围比较大，可由较好的收敛性能。在此情况下，算法的归一化均方误差（NMSE）可由式（3-10）得到

2 ? T ???d(n)?w(n)x(n)????(n)?E?? ???x(n)?????（3-11）

得到最佳滤波权系数：

??R??1P? （3-12） w0式中，

?x(n)xT(n)?R??E??2 （ ? x 3-13a ） (n)???

18

?d(n)x(n)?? E P ? 3-13b ） ? 2 ? （

??x(n)??

所以，自相关矩阵和互相关量都含有归一化因子，在稳定状态x(n)和d(n)时，假定自相关矩

?时，归一化阵R?存在可逆性。同时，我们由式（3-11）可以看出，当且仅当d(n)?xT(n)w0LMS算法的均方误差可等于零。这需要对d(n)用输入信号矢量线性组合进行精确地建模。

?变成合宜的线性权系数矢量。 此时，最佳滤波权矢量w0当γ=1时，NLMS算法更新公式可以写成

w ( n ? 1 ) ? w ( n ) ? ? e ( n ) x ( n ) 1?xT(n)x(n)由此可见NLMS算法的特殊形式：

3-15 ） ? T （w(n?1)?w(n)?[d(n)?w(n)x(n)]x(n)21??x(n) （3-14）

或

x(n)w(n?1)?w(n)?[d(n)?wT(n)x(n)]?12??x(n) （ 3-16 ）

这也表明等效步长是输入信号的非线性变量，它使变步长由大逐步变小了，加速了收敛过程。当然，NLMS算法的计算量较之LMS算法稍有些增加。

下面我们介绍两个有趣的改进型LMS算法一为时域正交（Time-Domain Orthogonal）LMS算法，简称为TDO-LMS算法(MLMS)，另一位修正LMS算法[6]。它们都属于可变步长的LMS算法，可以缩短自适应收敛过程的时间。 3.1.1 TDO-LMS算法

时域正交算法是基于对平方误差取时间上的平均，即对

2 1 m 2 1 m 2 TE[e(n)]?[d(n)?w(n)x(n)]??e(n)?m?1?m?1n?0n?0（3-17）

取最小值。按上式对权系数矢量取偏导数，并令其等于零，得到时域正交准则下序列x(n)对d(n)进行线性估计的最佳权系数矢量w0，即

1mT(nx (nx( ? [d ) ? w 0 ( n ) )] n ) ? 0

m?1n?0 （ 3-18a ）

或 1mTn ) ? ? [ w 0 x ( n ) ? d (n )] x ( 0 （3-18b）

m?1n?0这意味着用时域正交LMS算法的权矢量更新运算公式，可对线性估计的权矢量作自适

19

应调整，使其逐步趋于最佳值。Huffman的TDO-LMS算法的更新公式是

xT(m)x(m)? w(m?1)?Tw(m)?Tx(m?1)x(m?1)x(m?1)x(m?1)

??m?2??Td(m)?w(m)x(m)???m?1?x(m);????m?0,1,2,?,n,?当m取足够大的值时，上式又可近似成

（3-19）

w(m?1)?w(m)?T[d(n)?wT(n)x(n)]x(n)x(m)x(n) （ 3-20 ）

?这与上面讨论的归一化LMS算法的权矢量更新公式相类似。 3.1.2 MLMS算法

修正LMS算法是在LMS算法中权矢量的校正量与梯度估计之间人为地引入一个时延，利用现时刻的梯度估计代替前一时刻的梯度估计，有

1?w(n?1)?w(n)???(n?1)2 （ 3-21 ）

?称之为修正LMS算法。这种算法乍看起来似乎存在矛盾，因为?(n?1)本身就是w(n?1)的函数，其实，它还是可解得。式（3-21）用瞬时梯度信息可表示为

w(n?1)?w(n)??e(n?1)x(n?1) （3-22）

将e(n?1)?d(n?1)?xT(n?1)w(n?1)代入上式，有

w(n?1)?w(n)??[d(n?1)?xT(n?1)w(n?1)]x(n?1)

整理后，得到

w(n?1)?w(n)?[d(n?1)?wT(n)x(n?1)]x(n?1)Tn ? 1 ? ? x ( 1)x(n?1)?w(n)??M(n?1)eM(n?1)x(n?1)?（3-23）

式中

eM(n?1)?d(n?1)?wT(n)x(n?1)

（3-24a）

T(nn ? 1 ? ? x ? 1 ) x ( 1 ) （ 3-24b ）

?M(n?1)??显然，自适应步长 ?M(n?1)是可变收敛因子，它随着输入信号功率xT(n?1)x(n?1)的变化可加快收敛速度，从而使MLMS算法的性能有了很大的改进，特别是在μ选用的值较大时。当然，如果μ只取很小，则MLMS算法近似等于LMS算法。比较式（3-15）与（3-23）可看出，MLMS算法与NLMS算法特殊形式的更新公式很相似，变步长都取决于输入信号功

20

率，但不同的是信号和误差序列都差一个时延的相应值，随着迭代运算次数的增加而趋于一致。因此，归一化LMS算法、时域正交LMS算法及修正LMS算法都是以输入信号功率控制变步长LMS算法，利用梯度信息调整滤波器权系数使其达到最佳值这一点完全相同。但它们的自适应过程较快，性能有了很大改进。

输入信号功率与其相关矩阵R的特征值?i 有关，设R的特征矢量矩阵为Q，

Qm?[Q0Q1?QL] 是R的m个特征矢量，则有 RQm??mQ ,可写成

RQ?Q? 或 R?Q?Q?1?Q?QT (3-25)

式中，??diag{?i}，i?0,1,?,L, 这表明变步长受?i 控制，与前述概念相一致。

3.2 泄露LMS算法

泄露LMS算法的迭代公式如式（3-26）所示：

w(n?1)??w(n)?2?e(n)x(n) （3-26）

式中，γ为正值常数，需满足

0???1 （3-27）

通常取 γ近似为1。若γ=1，则泄露LMS算法变为LMS算法[8]。对于常规的LMS算法，当μ突然变为零时，权矢量系数将不再发生变化而保持μ变为零时的值。而对于泄露LMS算法，当μ值变为1之后，滤波器的权矢量将逐渐变化，并最终变为0矢量。这个过程称为泄露[8]。泄露LMS算法在通信系统的自适应差分脉冲编码调制（ADPCM）中得到应用，被用来减小或消除通道误差。另一方面，泄露LMS算法也常用来在自适应阵列中消除旁瓣效应。

实际上，在无噪声的条件下，泄露LMS算法的性能并没有常规LMS算法好，一下分析都可以说明这一点。由式（3-27），有

w(n?1)??w(n)?2?x(n)[d(n)?xT(n)]

=[?I?2?x(n)xT(n)]w(n)?2?d(n)x(n) （3-28） 假定输入信号与权矢量是相互独立的，则

E[w(n?1)]?(?I?2?R)E[w(n)]?2?p （3-29）

或者

?1???E[w(n?1)]??I?2?(R?)I?E[w(n)]?2?p2? ? ? （ 3-30 ）

1????lim{E[w(n)]}??R?I?P n ? ? ? 2 ??1若要保证上述算法的稳定，需要有

(3-31)

显然，上式明显与最佳权矢量wopt?R?1p由偏差。因此，泄露LMS算法是一种有偏的

21

LMS算法。Γ越接近于1，偏差越小。可以证明，泄露LMS算法的稳定性条件为

1????R?I?由于矩阵 ? ? 是严格正定的，故没有零值的特征值。此外，泄露LMS算法的2?第i个权系数的时间常数为 1?i(L)???i 2 ?? i ? ( 1 ? ? ) （ 3-33 ）

11??? ? min ? 1 ? ? （ 3-32 ）

2?

式中，?i(L)表示泄露LMS算法第i个权系数的时间常数。显然，?i(L)比LMS算法的时间常数

?i小，即可能以更快的速度收敛。

3.3 极性LMS算法

在有些应用领域，尤其是在高速通信领域，实际问题对算法的计算量有很严格的要求，因此，产生了一类称为极性（或符号）算法的自适应算法[8]。这种算法可以显著地减小自适应滤波器的计算量，有效地简化相应的硬件电路和程序计算。这类极性算法可以分为三种不同的实现方式，即对误差取符号的误差极性算法（SE），对输入信号取符号的信号极性算法（SR）和对误差与输入信号二者均取符号的简单极性算法（SS）。这三种算法的权矢量迭代公式如式（3-34）所示。

w (n ? 1 ) ? w ( n ) ? 2 ? sgn[ e ( n ) x (n （ 3-34 ） )] w(n?1)?w(n)?2?e(n)sgn[x(n)]w(n?1)?w(n)?2?sgn[e(n)]sgn[x(n)]

在式（3-34）中，符号函数sgn[·]定义为

?1,t?0?sgn(t)??0,t?0??1,t?0 ? （ 3-35 ）

极性LMS算法的主要优点是计算量小。显然，这种算法把一个数据样本的N比特运算简化为一个比特的运算，即符号或极性的运算。另一方面，与基本LMS算法相比，这种三个在梯度估计性能上有所退化，这是由于其较粗的量化精度所引起的，并由此引起了收敛速度的下降和稳态误差的增加。

3.4 LMS算法梯度估计的平滑

在迭代方程中，用带噪的瞬时梯度估值?(n)来替代梯度真值?(n)是LMS算法的一个显著缺点。如果使用连续几次梯度估值的平滑结果来替换这个瞬时值，则有可能改善LMS算法的性能。有许多方法可以用于对一个时间序列进行平滑，归纳起来，可以分为线性平滑和非线性平滑两类[8]。

22

?

设平滑LMS梯度估计的自适应迭代算法为

w(n?1)?w(n)?2?b(n) （3-36）

式中，

b(n)?[b0(n)b1(n)?bM(n)]T （3-37）

对于线性平滑，一种有效的平滑方法是邻域平均法，即

n1 b ( n ) ? e ( j ( j ) （ 3-38 ） )x?Nj?n?N?1 式中，N表示参加平滑的梯度估值的样本点数。另一种有效地平滑方法是低通滤波法，即利用低通滤波器来进行线性平滑。

bi(n)?LPF{e(n)x(n?i)e(n)x(n?i?1)?e(n)x(n?i?N)} （3-39）

式中，LPF[·]表示低通滤波器。

对于非线性平滑处理，常采用中值滤波技术。b(n)矢量中的第i个元素bi(n)为

bi(n)?Med[e(n)x(n?i)]N (3-40)

或者

bi(n)?Med[e(n)x(n?i)?e(n?N?1)x(n?i?N?1)] （3-41）

式中，Med表示取中值运算。中值平滑除了像线性平滑一样可以用于消除梯度估计的噪声之外，对信号的“边缘”成分影响不大，图3.1给出了基于中值平滑的LMS算法在自适应滤波中应用的结果。

3.5 解相关LMS算法

LMS算法的一个主要缺点是其收敛速度比较慢，这主要是由于算法的输入信号矢量的各元素具有一定的相关性。研究已经表明，对输入信号矢量解相关可以有效地加快LMS算法的收敛速度[8]。

定义x(n)与x(n-1)在时刻n的相关系数为

xT(n)x(n?1)c(n)?T1) x ( n ? 1 ) x ( n ? （ 3-42 ）

根据定义，若c(n)?1，则称x(n)是x(n?1)的相干信号；若c(n)?0,则称x(n)与

x(n?1)之间不相关；c(n)值越大，x(n)与x(n?1)若0?c(n)?1，则称x(n)与x(n?1)相关。

之间的相关性就越强。

实际上，c(n)x(n?1)代表了信号x(n)中与x(n?1)相关的部分。如果x(n)中减去这一部分，相当于一种解相关运算。定义解相关方向矢量为

v(n)?x(n)?c(n)x(n?1) （3-43）

另一方面，考虑自适应迭代的收敛因子满足下列最小化问题的解，有

23

?(n)?argminJ[w(n?)??v(n)] （3-44）

?由此得到时变收敛因子为

e(n) ? ( （3-45） n ) ? xT(n)v(n)这样，解相关LMS自适应算法的迭代公式为

w(n?1)?w(n)??(n)v(n) （3-46）

上述解相关LMS算法可以看做一种自适应辅助变量法，其中的辅助变量由v(n)?x(n)?c(n)x(n?1)给出。一般来说，辅助变量的选取原则是，它应该与滞后的输入和输出强度相关，而与干扰不相关。

3.6 性能比较

LMS自适应滤波器在问世以来，受到了人们普遍的重视，得到了广泛的应用。这种滤波器的主要优点是其收敛性能稳定，且算法比较简单。然而，作为梯度算法的一种，LMS算法也有其固有的缺点，首先，这种方法一般来说不能任意初始点出发通过最短的路径到达极值点；其次，当输入信号自相关阵R的特征值在数值上分散性比较大时，这种方法出现了许多关于自适应滤波器的改进算法，例如本文提到归一化LMS算法、泄露LMS算法、解相关LMS算法以及TDO-LMS算法和MLMS算法。本节就其各种算法的性能进行比较。

对于基本LMS算法来说，收敛因子应满足下列收敛条件：

式中?max为自相关矩阵R的最大特征值。

[6]

0???1?max对于归一化LMS算法来说，收敛因子应满足下列收敛条件：0???1 就能够保证经过足够大的n次迭代，自适应滤波器能够稳定收敛[6]。 对于泄露LMS算法来说，收敛因子应满足下列收敛条件：

1???1?min?1??2?对于极性LMS算法来说，其主要优点是计算量小，但它在梯度估计性能上有所退化，这是由于其较粗的量化精度所引起的，并由此引起了收敛速度的下降和稳态误差的增加

[8]

。

根据自适应权调整公式

w(k?1)?w(k)?2?e(x)x(k)

可知，LMS算法相应的梯度校准值为随机量，因此加权矢量将以随机的方式变化。所以，LMS算法也称之为随机梯度法。LMS算法由于加权矢量的随机起伏造成的影响主要包括失调量、稳态误差等。所以对LMS自适应算法的稳态误差也进行了仿真。

24

第五章 LMS算法的应用

5.1 LMS类均衡器

自适应均衡器是在自适应滤波理论基础上建立起来的，包括非线性动力学神经网络滤波理论。我们考虑到的信道的时变特性和非线性，应用某种准则的自适应算法对均衡器参数随着信号和信道的变化做相应的调整[6,8]。从自适应均衡参数与接收信号的关系来看，大体上可分为线性均衡器和非线性均衡器。其中非线性均衡器按照功能和结构则可分为非递归均衡器和递归均衡器，以及神经智能均衡器。如果根据算法来分，有自适应最小均方误差（LMS）均衡器、自适应递归最小二乘（RLS）均衡器、自适应格型最小二乘（LLS）均衡器、自适应平方根RLS均衡器、自适应最大似然时序估计均衡器、混合滑动指数窗自适应判决反馈均衡器，以及盲自适应均衡器等。

我们只对其中一种均衡器进行研究。LMS算法是一类比较重要的自适应算法，其显著特点是比较简单，不需要计算有关的相关函数，也不需要矩阵求逆运算[8]。关于LMS算法的基本原理，在2.2节进行了详细的讨论，本节主要讨论LMS算法在信道均衡中的应用。 5.1.1 解相关LMS（Decorrelation LMS,DLMS）均衡算法

根据相关文献，如果利用输入信号的正交分量更新自适应滤波器的参数，可以加快LMS算法的收敛速度，这里提出的解相关LMS算法就是通过解相关算法利用输入信号的正交分量更新滤波器的参数。

首先定义均衡器抽头输入向量x?n?与x?n?1?在n时刻的相关系

的结果作为更新方向向量v?n?，即

xT?n?x?n?1???n??Tx?n?1?x?n?1? （5-1）

则解相关运算就是从x?n?减去上一时刻x?n?1?与其相关的部分??n?x?n?1?，并用解相关

v?n??x?n????n?x?n?1? （5-2）

另外，步长参数??n?应该满足下式的最小问题解， 其中，R?ExxT,r?E[xy?n?]，y?n?为期望响应，即

??Copt?argminJ?C??R?1r

??n??argminJ?C?n?1?????n?? （5-3）

?下降算法的均衡器抽头参数迭代表达式为

C?n??C?n?1????n???n? （5-4）

将式（5-2）和式（5-3）代入上式即可更新均衡器抽头系数。 5.1.2 变化域解相关LMS均衡算法

对LMS算法的改进还可以通过对输入信号向量x进行酉变换实现，通过酉变换可以提高

25

收敛速度，而计算量并没有明显变化，此类算法及其变型统称为变换域自适应滤波算法[4,8]。

其中酉变换可以使用DFT,DCT和DHT等变换方法。 设S是一个M?M酉变换矩阵，即

SSH??I （5-5）

其中??0为一常数；用酉矩阵S对输入信号向量x进行酉变换，可以得到

u?n?Sx?n? （5-6）

式中，u?n?表示变换后的信号向量，酉变换后的均衡器抽头权向量C?n?1?变为

则预测误差可表示为

1 ?C?n?1??SC?n?1??

（5-7）

?He?n??y?n??C?n?1?u?n? （5-8）

一般地，进行酉变换前，输入信号之间有相关性，变换后，相关性被基本消除，所以交换域算法相当于一种解相关算法。从滤波的角度来讲，原来的M阶滤波器通过变换成为新的信道滤波器。

总结上述算法

?步骤1：初始化 C?n??0;n?0

步骤2：给定一酉变换矩阵，更新各参量：

u?n??Sx?n? （5-9） ?He?n??y(n)?C?n?1?u?n? （5-10） ??HC?n??C?n?1????n?u?n?e?n? （5-11）

5.2 自适应信号分离器

参考输入是原始输入的k步延时的自适应对消器可以组成自适应预测系统、谱线增强系统以及信号分离系统，本节主要讨论分离器。图5-1表示一个用作信号分离器目的的系统，当输入中包括两种成分；宽带信号（或噪声）与周期信号（或噪声）时，为了分离这两种信号，可以一方面将该输入信号送入dj端，另一方面把它延时足够长时间后送入AF的xj端。经过延时后带宽成分已与原来的输入不相关，而周期性成分延时前后则保持相关[5]。

图5-1 自适应信号分离器原理图

宽带信号周期信号+Z-DAF-宽带成分ej输出yj周期成分输出 26

于是在ej输出中将周期成分抵消只存在宽带成分，在yj输出中只存在周期成分，此时AF自动调节W?,以达到对周期成分起选通作用。如果将所得到的W?值利用FFT变换成频域特性，则将得到窄带选通的“谐振”特性曲线。该方法可以有效地应用于从白噪声中提取周期信号。

5.3 自适应陷波器

如果信号中的噪声是单色的干扰（频率为w0的正弦波干扰），则消除这种干扰的方法是应用陷波器。希望陷波器的特性理想，即其缺口的肩部任意窄，可马上进入平的区域[5]。用自适应滤波器组成的陷波器与一般固定网络的陷波器比较有下列优点：

（1） 能够自适应地准确跟踪干扰频率； （2） 容易控制带宽；

图5-2给出了一个具有两个权的单频干扰对消器组成的陷波器。其原始输入为：任意信号s?t?与单频干扰Acos?w0t???的叠加，经采样后送入dj端，故有dj?sj?Acos?w0jT???。参考输入为一标准正弦波cos?w0t?，经采样后送入xqj和x2j端，其中后者经过900相移，因而

x1j?cos?w0jT?,x2j?sin?w0jT?,两个权值w1j和w2j可以使得组合后得到yj，其幅度和相位都可以与原始输入中的干扰分量相同，使输出ej中的单频干扰得以抵消，达到陷波的目的。

s(t)+Acos(w0t+f)-+cos(w0t)900LMS图5-2 自适应陷波器原理框图

5.4系统辨识或系统建模

对于一个真实的物理系统，人们主要关心其输入和输出特性，即对信号的传输特性，而

不要求完全了解其内部结构。系统可以是一个或多个输入，也可以有一个或多个输出。通信系统的辨识问题是通信系统的一个非常重要的问题。所谓系统辨识，实质上是根据系统的输入和输出信号来估计或确定系统的特性以及系统的单位脉冲响应或传递函数。

系统辨识和建模是一个非常广泛的概念，在控制、通信和信号处理等领域里都有重要意义。实际上，系统辨识和建模不仅局限于传统的工程领域，而且可以用来研究社会系统、经济系统和生物系统等。本节只讨论通信和信号处理中的系统辨识和建模问题。采用滤波器作为通信信道的模型，并利用自适应系统辨识的方法对通信信道进行辨识，从而可以进一步地对通信信道进行均衡处理。

27

如果把通信信道看成是一个“黑箱”，仅知道“黑箱”的输入和输出；以一个自适应滤波器作为这个“黑箱”的模型，并且使滤波器具有与“黑箱”同样的输入和输出。自适应滤波器通过调制自身的参数，使滤波器的输出与“黑箱”的输出相“匹配”。这里的“匹配”通常指最小二乘意义上的匹配。这样，滤波器就模拟了通信信道对信号的传输行为。尽管自适应滤波器的结构和参数与真实的通信信道不一样，但是它们在输入、输出响应上保持高度一致。因此，在这个意义上，自适应滤波器就是这个未知“黑箱”系统的模型。并且还可以发现，如果自适应滤波器具有足够多的自由度(可调节参数)，那么，自适应滤波器可以任意程度地模拟这个“黑箱”。 假定未知信道为有限冲激响应(FIR)结构，构造一个FIR结构的自适应滤波器，如图5-3所示。在图中，用一伪随机系列作为系统的输入信号x(n)，同时送入未知信道系统和自适应滤波器。调整自适应滤波器的系数，使误差信号e(n)的均方误差达到最小，则自适应滤波器的输出y(n)近似等于通信系统的输出d(n)。可以证明，加性噪声v(n)的存在并不影响自适应滤波器最终收敛到最优维纳解。可以认为，具有相同输入和相似输出的两个FIR系统，应该具有相似的特性。因此，可以采用自适应滤波器的特性或其单位脉冲响应来近似替代未知系统的特性或单位脉冲响应。 v(n)x(n)未知系统输入噪声 z(n)Σd(n)+y(n)自适应滤波器Σ-e(n)图5-3 自适应系统辨识原理图

模型建立的过程通常分为三步： ① 选择模型的结构和阶次； ② 估计模型的参数；

③ 验证模型的性能是否满足要求，如果不满足要求，回到第①步重新设计。

28

第六章 仿真及其结果分析

6.1仿真思路

我们知道，为了缩短收敛过程，我们有三种方法：一是采用不同的梯度估值；二是对收敛因子步长μ选用不同的方法；三是采用变换域分块处理技术[8]。

而在本文中，我采用第二种方法，通过对收敛因子步长μ使用不同的方法来得到较快的收敛过程。采用第二种方法的原因是步长μ的大小决定着算法的收敛速度和达到稳态的失调量的大小。对于常数的μ值来说，收敛速度和失调量是一对矛盾，要想得到较快的收敛速度可选用大的μ值，这将导致较大的失调量；如果要满足失调量的要求，则收敛速度受到制约。因此，人们研究了采用变步长的方法来克服这一矛盾。自适应过程开始时，取用较大的μ值以保证较快的收敛速度，然后让μ值逐渐减小，以保证收敛后得到较小的失调量。现在已有不同准则来调整步长μ，如归一化LMS算法、时域正交化LMS算法等。在仿真中选用不同的μ值来对其性能进行仿真，然后再调整μ值得到较好的收敛曲线。在MATLAB仿真中使用C语言进行编程。

在仿真中，输入信号为一个正弦单输入信号：s=a*sin(0.05*pi*t).加入零均值高斯噪声的信噪比为3dB.

用LMS算法实现这个自适应均衡器，画出一次实验的误差平方的收敛曲线，给出最后设计滤波器系数。一次实验的训练序列长度为500。进行20次独立实验，画出误差平方的收敛曲线。给出3个步长值的比较。

在自适应信号分离器的仿真中，选取信号为正弦信号s?n??sin???n/5?，宽带噪声信号为高斯白噪声，延迟为D=1,收敛因子u=0.001和u=0.3.

在自适应陷波器的仿真中，信号为s?sin?2???t/20?,干扰信号为

n?Acos?2???t/10???，两者频率比较接近，用自适应陷波器来滤除干扰而保留信号。

6.2结果及分析

6.2.1 LMS及其改进算法

在图6-1和图6-2中，可以看出当步长较小时，LMS算法的收敛过程并不是特别快。在归一化LMS算法的仿真中设置其步长μ=0.0001，γ=1。γ参数是为避免xT(n)x(n)过小导致步长值太大而设置的。如图6-3所示，其输入输出以及加噪以后的波形如图6-4所示。

图6-1LMS算法收敛曲线

29

图6-2 信号s时域波形

图6-3 u=0.0001时nlms算法收敛曲线

图6-4 u=0.0001时nlms算法波形

图6-5 u=0.9999时nlms算法的收敛曲线

图6-6 u=0.9999时nlms算法的波形

由图6-3和图6-5的比较可知，步长因子μ越小，它的收敛速度越慢，失调量较小。在增大步长因子μ后，让它接近于1，这是它的收敛速度明显加快，但是失调量却较大。

30

比较图6-1和6-5可知，由于步长因子的变化使得NLMS算法的收敛速度比基本LMS算法的快。再由图6-2、图6-4、图6-6的波形图的比较不难发现，在步长因子μ取较大值时，NLMS算法不但收敛速度快而且自适应滤波后的输出波形失真极小。

图6-7 r趋于0时泄露LMS算法收敛曲线

图6-8 r趋于0时泄露LMS算法波形

图6-9 r趋于1时泄露LMS算法收敛曲线

图6-10 r趋于1时泄露LMS算法波形

比较图6-1和图6-7可以发现，在泄露LMS算法中令参数γ=1时，它便和基本LMS算

法有相同的收敛曲线。在无噪声的环境下泄露LMS算法的的性能要略低于基本LMS算法。

综上所述，通过MATLAB仿真及分析，可以看出NLMS算法较之基本的LMS算法收敛速度明显加快，同时也表明等效步长是输入信号的非线性变量，它使变步长由大逐渐变小，加速了收敛过程。只不过NLMS算法的计算量较之LMS算法稍有些增加。

31

6.2.2 LMS自适应均衡器

在对LMS自适应均衡器的仿真中：随机数据产生双极性的随机序列x[n]，它随机地取+1和-1。随机信号通过一个信道传输，信道性质可由一个三系数FIR滤波器刻画，滤波器系数分别是0.3，0.9，0.3。在信道输出加入方差为σ平方 高斯白噪声，设计一个有11个权系数的FIR结构的自适应均衡器，令均衡器的期望响应为x[n-7],选择几个合理的白噪声方差σ平方（不同信噪比），进行实验。

(a) u=1,DB=25

(b)u=1.5,DB=25

(c) u=0.4,DB=25

(d) u=1,DB=20

图6-11 LMS算法1次实验误差平方不同步长和衰减下的均值曲线

32

(a) u=1,DB=25

(b) u=1.5,DB=25

(c) u=0.4,DB=25

(d) u=1,DB=20

图6-12 LMS算法20次实验误差平方在不同的步长和衰减下的均值曲线

表1 LMS算法自适应均衡器系数

序号 20次 1次 1 0.0383 -0.007 0.0074 -0.0010

33

-0.0517 0.1667 -0.5112 1.4216 -0.5244 0.1668 -0.0597 0.0164 2 -0.0480 3 0.0565 4 -0.1058 5 0.2208 6 -0.5487 7 1.4546 8 -0.5681 9 0.2238 10 -0.0997 11 0.0367

观察三个不同步长情况下的平均误差曲线不难看出，步长越小，平均误差越小，但收敛速度越慢，为了好的精度，必然牺牲收敛速度；当降低信噪比时，尽管20次平均仍有好的结果，但单次实验的误差曲线明显增加，这是更大的噪声功率对随机梯度的影响。 6.2.3 自适应信号分离器

程序输出结果如图6-13至图6-15所示。从输出结果比较可知：当收敛因子选取适当时，滤波器输出较好；当收敛因子超过一定门限是，滤波器输出发散。

图6-13 信号叠加噪声波形图

图6-14 u=0.001自适应滤波输出结果

1021.510.50-0.5-1-1.5-201020304050607080901001.510.50-0.5-10102030405060708090100

86420-2-4-6-8-100102030405060708090100图6-15 u=0.3自适应滤波输出结果

6.2.4 自适应陷波器

在仿真中，信号为s?sin?2???t/20?,干扰信号为n?Acos?2???t/10???，两者频率比较接近，用自适应陷波器来滤除干扰而保留信号。 程序输出结果如图6-16所示。

10.50-0.5-1210-1-2050100150200050100150200210-1-210.50-0.5-1050100150200050100150200图6-16 自适应陷波器输出结果

6.2.5系统辨识或系统建模

34

通过FIR滤波器的自适应调整，不断修正其系统函数，使其与未知系统的参数充分逼近，

从而使误差最小，达到系统辨识的目的。

从图6-17可知，自适应FIR滤波器能很好地模拟未知系统，它们与原始信号处理后的效果十分接近。这样，通过自适应FIR滤波器的参数指标，就能得到未知系统的系统函数，从而可以对未知系统进行功能相同的硬件重构。这在工程应用中有着广泛的应用。

10005000050100150200Hz250300350400原始信号频谱10005000050100200250Hz经未知系统后信号频谱15030035040010005000050100200250300Hz经自适应FIR滤波器后信号频谱150350400图6-17系统信号处理频谱

35

结 论

我们知道，如果不希望用与估计输入信号矢量有关的相关矩阵来加快LMS算法的收敛速度，那么可用变步长方法来缩短其自适应收敛过程，其中一个主要的方法是归一化LMS算法，为了达到快速收敛的目的，必须合适地选择变步长μ（n）的值，一个可能的策略是尽可能多的减少瞬时平方误差，即用瞬时平方误差作为均方误差MSE的简单估计，这就是LMS算法的基本思想。

通过仿真，变步长μ（n）的取值尤为重要，特别是在μ（n）取较大值的时候。如果μ（n）取值很小，则MLMS算法近似等效于LMS算法。此外，MLMS算法与NLMS算法特殊形式的更新公式很相似，变步长都取决于输入信号功率，但不同的是信号和误差序列都差一个时延的相应值，随着迭代运算次数的增加而趋于一致。因此，归一化LMS算法、时域正交LMS算法及修正LMS算法都是以输入信号功率控制变步长LMS算法，利用梯度信息调整滤波器权系数使其达到最佳值这一点完全相同。但它们的自适应过程较快，性能有了很大改进。

我们也知道，收敛因子μ（n）是LMS算法自适应滤波器的重要参数，它控制着收敛速度与稳态失调的平衡。一般来说，较小的收敛因子会导致收敛速度和较小的失调。然而，在数字自适应系统中，当迭代增量（即修正项）的大小比数字量的最低有效位（LSB）的一半还小，即

2?e(n)x(n?i)?LSB2LMS算法的迭代将停止。因此，μ（n）的减小将导致系统性能的下降，如果减小收敛因子μ（n），则DRE将显著增加。因此，在实际系统中，LMS算法的收敛因子不能无限制地减小，其下界由量化和有限精度运算对系统的影响程度来决定。

当输入信号自相关阵的一个或多个特征值为0时，由于非线性量化的影响，自适应滤波器有可能不能收敛。通常，采用泄露技术来防止这一现象的发生。在自适应滤波器权系数的更新中引入一定的非线性变换，可以在一定程度上简化权系数更新过程中的乘法运算，并因此简化LMS自适应滤波器的硬件或程序实现，本文中介绍的极性LMS自适应算法就是典型的这种算法。符号函数的引入，简化了自适应滤波器的计算，但是由于信号或系统精度的降低，引起了系统性能的降低，因此，在使用这种非线性变换时，需要综合考虑运算量和系统其它特性的关系。

36

参考文献

[1] 胡广书。数字信号处理理论、算法与实现[M].清华大学出版社，2004。 [2] 姚天任，孙洪。现代数字信号处理[M].华中理工大学出版社，1999。 [3] 陈后金，薛健，胡健等。数字信号处理[M].高等教育出版社，2004。 [4] 潘士先。谱估计和自适应滤波[M].北京航天航空大学出版社，1991。

[5] 李勇，徐震等。MATLAB辅助现代工程数字信号处理[M].西安电子科技大学出版社，2002。 [6] 何振亚著。自适应信号处理[M].科学出版社，2002。

[7] 沈福明著。自适应信号处理[M].西安电子科技大学出版社，2001。

[8] 邱天爽，魏东兴，唐洪，张安清等。通信中的自适应信号处理[M].电子工业出版社，2005。 [9] Bernard Widrow,Samuel D.Adaptive Signal Processing[M].Stearns.China Machine Press,2008. [10] 刘波，文忠，曾涯等。MATLAB信号处理。电子工业出版社，2006。

[11] Widrow, B.; Stearns, S.: Adaptive Signal Processing. Prentice-Hall, Inc. Englewood Cliffs, N.J. 07632.

37

附录Ⅰ 英文原文及译文

英文原文

Combined Adaptive Filter with LMS-Based Algorithms

Boˇ zo Krstaji′ c, LJubiˇ sa Stankovi′ c,and Zdravko Uskokovi′

Abstract: A combined adaptive ?lter is proposed. It consists of parallel LMS-based adaptive FIR ?lters and an algorithm for choosing the better among them. As a criterion for comparison of the considered algorithms in the proposed ?lter, we take the ratio between bias and variance of the weighting coef?cients. Simulations results con?rm the advantages of the proposed adaptive ?lter.

Keywords: Adaptive ?lter, LMS algorithm, Combined algorithm,Bias and variance trade-off 1．Introduction

Adaptive ?lters have been applied in signal processing and control, as well as in many practical problems, [1, 2]. Performance of an adaptive ?lter depends mainly on the algorithm used for updating the ?lter weighting coef?cients. The most commonly used adaptive systems are those based on the Least Mean Square (LMS) adaptive algorithm and its modi?cations (LMS-based algorithms).

The LMS is simple for implementation and robust in a number of applications [1–3]. However, since it does not always converge in an acceptable manner, there have been many attempts to improve its performance by the appropriate modi?cations: sign algorithm (SA) [8], geometric mean LMS (GLMS) [5], variable step-size LMS(VS LMS) [6, 7].

Each of the LMS-based algorithms has at least one parameter that should be de?ned prior to the adaptation procedure (step for LMS and SA; step and smoothing coef?cients for GLMS; various parameters affecting the step for VS LMS). These parameters crucially in?uence the ?lter output during two adaptation phases:transient and steady state. Choice of these parameters is mostly based on some kind of trade-off between the quality of algorithm performance in the mentioned adaptation phases.

We propose a possible approach for the LMS-based adaptive ?lter performance improvement. Namely, we make a combination of several LMS-based FIR ?lters with different parameters, and provide the criterion for choosing the most suitable algorithm for different adaptation phases. This method may be applied to all the LMS-based algorithms, although we here consider only several of them.

The paper is organized as follows. An overview of the considered LMS-based algorithms is given in Section 2.Section 3 proposes the criterion for evaluation and combination of adaptive algorithms. Simulation results are presented in Section 4. 2. LMS based algorithms

Let us de?ne the input signal vector Xk?[x(k)x(k?1)?x(k?N?1)]and vector of weighting coef?cients

T 38

as Wk?[W0(k)W1(k)?WN?1(k)]T.The weighting coef?cients vector should be calculated according to:

Wk?1?Wk?2?E{ekXk} （1）

where μ is the algorithm step, E{·} is the estimate of the expected value andek?dk?WkTXkis the error at the in-stant k,and dk is a reference signal. Depending on the estimation of expected value in (1), one de?nes various forms of adaptive algorithms:

?????1?a?eX,0?a?1?, ????and the SA?E?eX??Xsign?e??,[1,2,5,8] .The VS LMS has the same form as the LMS, but in the

the LMSEekXk?ekXk，the GLMSEekXk?akkkkkii?0k?ik?iadaptation the step μ(k) is changed [6, 7].

The considered adaptive ?ltering problem consists in trying to adjust a set of weighting coef?cients so that the system output,yk?WkTXk, tracks a reference signal, assumed asdk?WGaussian noise with the variance

*TkXk?nk,where nkis a zero mean

2,and Wk*is the optimal weight vector (Wiener vector). Two cases will be ?nconsidered:Wk*?W is a constant (stationary case) andWk*is time-varying (nonstationary case). In nonstationary case the unknown system parameters( i.e. the optimal vectorWk*)are time variant. It is often

*assumed that variation of Wk*may be modeled as Wk*?1?Wk?ZK is the zero-mean random perturbation, 2independent on Xkand nkwith the autocorrelation matrix G?EZkZkT??ZI.Note that analysis for the

??stationary case directly follows for condition from [1, 2] is satis?ed.

2?Z?0.The weighting coef?cient vector converges to the Wiener one, if the

De?ne the weighting coef?cientsmisalignment, [1–3],Vk?Wk?Wk*. It is due to both the effects of gradient noise (weighting coef?cients variations around the average value) and the weighting vector lag (difference between the average and the optimal value), [3]. It can be expressed as:

Vk??Wk?E?Wk???E?Wk??Wk*, (2)

According to (2), the ith element of Vk is:

(3)

where bias?Wi?k?? is the weighting coef?cient

??Vi?k??E?Wi?k???Wi?k???Wi?k??E?Wi?k???*???bias?Wi?k????i?k?bias and

?i?k? is a zero-mean random variable with the variance ?2.The variance depends on the type of

2.Thus, if the noise variance is constant or ?n2LMS-based algorithm, as well as on the external noise variance

slowly-varying,? is time invariant for a particular LMS-based algorithm. In that sense, in the analysis that follows we will assume that? depends only on the algorithm type, i.e. on its parameters.

An important performance measure for an adaptive ?lter is its mean square deviation (MSD) of weighting coef?cients. For the adaptive ?lters, it is given by, [3]:MSD?limEVkVk.

k??2?T?3. Combined adaptive ?lter

39

The basic idea of the combined adaptive ?lter lies in parallel implementation of two or more adaptive LMS-based algorithms, with the choice of the best among them in each iteration [9]. Choice of the most appropriate algorithm, in each iteration, reduces to the choice of the best value for the weighting coef?cients. The best weighting coef?cient is the one that is, at a given instant, the closest to the corresponding value of the Wiener vector. Let Wi?k,q? be the i ?th weighting coef?cient for LMS-based algorithm with the chosen parameter q at an instant k. Note that one may now treat all the algorithms in a uni?ed way (LMS: q ≡ μ,GLMS: q ≡ a,SA:q ≡ μ). LMS-based algorithm behavior is crucially dependent on q. In each iteration there is an optimal value qopt , producing the best performance of the adaptive al-

gorithm. Analyze now a combined adaptive ?lter, with several LMS-based algorithms of the same type, but with different parameter q.

The weighting coef?cients are random variables distributed around the Wi*?k?,with bias?Wi?k,q??and the variance

2, related by [4, 9]: ?qWi?k,q??Wi*?k??bias?Wi?k,q?????q, (4)

where (4) holds with the probability P(κ), dependent on κ. For example, for κ = 2 and a Gaussian distribution,P(κ) = 0.95 (two sigma rule).

De?ne the con?dence intervals for Wi?k,q?,[4,9]:

Di?k??Wi?k,q??2k?q,Wi?k,q??2??q (5)

Then, from (4) and (5) we conclude that, as long as bias?Wi?k,q?????q,Wi*?k??Di?k?, independently on q. This means that, for small bias, the con?dence intervals, for different q?s of the same LMS-based algorithm, of the same LMS-based algorithm, intersect. When, on the other hand, the bias becomes large, then the central positions of the intervals for different q?s are far apart, and they do not intersect.

Since we do not have apriori information about the bias?Wi?k,q??,we will use a speci?c statistical approach to get the criterion for the choice of adaptive algorithm, i.e. for the values of q. The criterion follows from the trade-off condition that bias and variance are of the same order of magnitude, i.e.bias?Wi?k,q?????q,?4?. The proposed combined algorithm (CA) can now be summarized in the following steps:

Step 1. Calculate Wi?k,q?for the algorithms with different q?sfrom the prede?ned set Q??qi,q2,??. Step 2. Estimate the variance

2 for each considered algorithm. ?q??Step 3. Check if Di?k? intersect for the considered algorithms. Start from an algorithm with largest value of variance, and go toward the ones with smaller values of variances. According to (4), (5) and the trade-off criterion, this check reduces to the check if

Wi?k,qm??Wi?k,ql??2???qm??ql? (6)

is satis?ed, where qm,ql?Q,and the following relation holds: ?qh:?qm??qh??ql,?qh?Q.

40

222

本文来源：https://www.bwwdw.com/article/6n37.html