最小二乘参数辨识方法

系统辨识基础

《系统辨识基础》第17讲要点

第5章 最小二乘参数辨识方法

5.9 最小二乘递推算法的逆问题

辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。

5.10 最小二乘递推算法的几种变形

最小二乘递推算法有多种不同的变形，常用的有七种情况：

① 基于数据所含的信息内容不同，对数据进行有选择性的加权； ② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据； ③ 只用有限长度的数据；

④ 加权方式既考虑平均特性又考虑跟综能力； ⑤ 在不同的时刻，重调协方差阵P(k)； ⑥ 设法防止协方差阵P(k)趋于零； 5.10.1 选择性加权最小二乘法 把加权最小二乘递推算法改写成

(k) (k 1) K(k)[z(k) h(k) (k 1)]

K(k) (k)P(k 1)h(k) (k)h(k)P(k 1)h(k) 1 P(k) [I K(k)h (k)]P(k 1)

1

算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的

性质会有影响，下面是几种特殊的选择：

① 一种有趣的情况是 (k)取得很大，在极限情况下，算法就退化成正交投影算法。也就是说，当选择

,h (k)P(k 1)h(k) 0

(k)

0,h(k)P(k 1)h(k) 0

构成了正交投影算法

(k) (k 1) K(k)[z(k) h(k) (k 1)]

P(k 1)h(k) K(k)

h(k)P(k 1)h(k)

P(k) [I K(k)h(k)]P(k 1)

(0) (任定值)，且当h (k)P(k 1)h(k) 0算法初始值取P(0) I及

时，令K(k) 0。

② 第①种加权因子的选择显然是一种极端情况，算法的鲁棒性比较差。为了使算法具有较好的鲁棒性，可把第①种加权因子的选择修改为

1,h (k)P(k 1)h(k)

(k)

2,h(k)P(k 1)h(k)

其中 1 2 0, 是指定的阀值。这时算法对数据作了不同的加权，但不排斥任何数据． ③ 按下式选择加权因子，意味着它是过去数据信息量的一种度量

1

系统辨识基础

h (k)P(k 1)h(k)

h(k)h(k) 0

(k) h(k)h(k)

0,h (k)h(k) 0

④ 如果由噪声、建模不准确等因素引起的误差上界已知，则可按下式选择加权因子

2

[z(k) h(k) (k 1)]2 1, 0 1 h (k)P(k 1)h(k)

(k)

[z(k) h (k) (k 1)]2

2 0 0,

1 h(k)P(k 1)h(k)

5.10.2 遗忘因子法

遗忘因子算法通过对数据加遗忘因子的办法来降低老数据的信息量，为补充新数据的信息创造条件。取准则函数为

L

J( )

k 1

L k

[z(k) h(k) ]

2

其中 称遗忘因子，取值为0 1．极小化这个准则函数，可得到参数辨识算法：

FF (H

* L

H)

*L

1

H

* L

zL

*

式中

*L 1L 2 zL [ z(1), z(2), ,z(L)] L 1h (1) L 2 * h(2) HL

h(L)

2

这种参数辨识方法称作遗忘因子法，记作FF(Forgetting Factor algorithm)。如果遗忘因子 1，算法退化成普通最小二乘法。与推导加权最小二乘递推算法一样，同样可以推导出遗忘因子算法的递推计算形式

(k) (k 1) K(k)[z(k) h(k) (k 1)]

1

K(k) P(k 1)h(k)h(k)P(k 1)h(k) μ

1

P(k) [I K(k)h(k)]P(k 1)

μ

式中遗忘因子 可按下面的原则取值： ① 若要求Tc步后数据衰减至36%,则 1

1Tc

；

② 取作时变因子 (k) 0 (k 1) (1 0)，其中 0 0.99, (0) 0.95。

遗忘因子 的取值大小对算法的性能会产生直接的影响。 值增加时，算法的跟踪能力下降，但算法的鲁棒性增强； 值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。

遗忘因子法和加权最小二乘算法主要的差别：

① 加权方式不同．加权最小二乘法各时刻权重是不相关的，也不随时间变化；遗忘因子

2

系统辨识基础

法各时刻权重是有关联的，满足 (k)

1

(k 1)关系，各时刻权重的大小随时间变化，当

前时刻的权重总为1。

② 加权的效果不一样．加权最小二乘法获得的是系统的平均特性；遗忘因子法能实时跟踪系统明显的变化，具有跟踪能力。

③ 算法的协方差矩阵P(k)的内容不一样，两者的关系为PFF(k) (k)PWLS(k)。 和加权最小二乘递推算法一样，遗忘因子算法下的残差 (k)与新息~z(k)关系：

(k)

~z(k)

h(k)P(k 1)h(k)

或

(k) [1 h(k)P(k)h(k)]~z(k)

由此可推出准则函数J(k)的递推计算式：

2~ z(k)

J(k) J(k 1)

h(k)P(k 1)h(k)

式中~z(k) z(k) h(k) (k 1)， 是k 时刻的新息，它与k-1 时刻的参数估计值有关。

5.10.3 限定记忆法

限定记忆法依赖于有限长度的数据，每增加一个新的数据信息，就要去掉一个老数据的信息，数据长度始终保持不变。这种方法的参数估计递推算法如下：

(k 1,k L) (k,k L) K(k 1,k L)[z(k) h(k) (k,k L)]

1

K(k 1,k L) P(k,k L)h(k)1 h (k)P(k,k L)h(k)

P(k 1,k L) [I+K(k 1,k L)h(k)]P(k,k L) 算法前三个式

(k,k L) (k,k L 1) K(k,k L)[z(k L) h(k L) (k,k L 1)] 1 K(k,k L) P(k,k L 1)h(k L)1 h(k L)P(k,k L 1)h(k L)

P(k,k L) [I-K(k,k L)h (k L)]P(k,k L 1).

子用于去掉老数据的信息，后三个式子用来增加新数据的信息，初始值取

P(0,0) a2I,

(0,0) ,

其中a 为充分大实数， 为充分小实向量．相应的准则函数递推计算式为：]

J(k 1,k L) J(k,k L 1)

2~z2(k L)

2~z1(k)

1 h(k)P(k,k L)h(k)

,

1 h(k L)P(k,k L 1)h(k L)

其中

~

z1(k) z(k) h(k) (k,k L)

~

z2(k L) z(k L) h(k L) (k,k L 1)

5.10.4 折息法

3

系统辨识基础

折息法把加权最小二乘法和遗忘因子法融合起来，形成如下算法：

(k) (k 1) K(k)[z(k) h (k) (k 1)]

1

μ(k)

K(k) P(k 1)h(k) h(k)P(k 1)h(k)

(k)

1

P(k) [I K(k)h(k)]P(k 1) μ(k)

k

折息因子与加权因子和遗忘因子之间的关系为 (k,i) (i) (j)，当遗忘因子取常数

j i 1

时，折息因子又可表示成 (k,i) (i) k i。折息法同时具备加权最小二乘法和遗忘因子法的

作用，既可获得系统的平均特性，又具有时变跟踪能力。

5.10.5 协方差重调最小二乘法 在辨识递推计算过程中，协方差矩阵P(k)衰减很快，此时算法的增益矩阵K(k)也急剧衰减。这种现象的出现，促使人们去考虑一种修正的方案，即在指定的时刻重新调整协方差矩阵P(k)，使算法始终保持较快的收敛速度。这种协方差重调的最小二乘算法描述如下：

T

(k) (k 1) K(k)[z(k) h(k) (k 1)]

1

K(k) P(k 1)h(k)h(k)P(k 1)h(k) 1

P(k) [I K(k)h (k)]P(k 1)

当k {k1,k2, ,kl}时，P(k)按上式算法计算；当k ki {k1,k2, ,kl}时，把P(k)重调

为P(ki) aiI, 0<amin ai amax 。

5.10.6 协方差修正最小二乘法 对时变系统辨识来说，为了防止矩阵P(k)趋于零，当参数估计值超过某阀值时，矩阵P(k)自动加上附加项Q, 具体算法如下：

(k) (k 1) K(k)[z(k) h(k) (k 1)]

1

K(k) P(k 1)h(k)h (k)P(k 1)h(k) 1

P(k) [I K(k)h(k)]P(k 1)

P(k) P(k) Q,Q 0

4

本文来源：https://www.bwwdw.com/article/hpnm.html