信号检测与估计理论(5)第五章 一般最小方差无偏估计

信号检测与估计理论

教师： 王 菊

北京理工大学信息科学技术学院

在计算CRLB时有时可以得到有效估计，因此也是MVU估计。线性模型是这个方法的典型应用。然而，如果有效估计不存在，我们仍然希望找到MVU估计。

这时，为达到这个目的，可利用充分统计量和Rao-Blackwell-Lehmann-Scheffel定理。

依据这个定理，通过简单观测PDF，有可能确定MVU估计。

信号检测与估计理论

5.1 充分统计量

在估计WGN中的直流量问题中，我们知道样本均值

=1A

N

∑x(n)是A的MVU估计，且有最小方差σ

n=0

N 1

2

N。另外A=x(0)

也是A的无偏估计，其方差（σ2）比最小方差大得多。 性能变差是由于丢掉了数据点{x[1],x[2],",x[N 1]}，而这些数据点携带了A的信息。那么就有这样一个问题提出：哪些数据样本与估计问题有关？或者说是否存在一个数据集是充分的？

时所用的数据集合： 计算A

S1={x[0],x[1],",x[N 1]}

N 1 S2={x[0]+x[1],x[2],x[3],",x[N 1]} S3= ∑x(n)

n=0

这3个数据集合是充分的。显然，在这个问题中有很多充分的数据集合。包含最少元素数目的数据集合称为最小数据集合。

如果将这些集合的元素作为统计量，我们说S1的N个统计量是充分的，以及S2的(N 1)个统计量和S3的单个统计量是充分的。其中∑

N 1n=0

x[n]

是最小充分统计量。

信号检测与估计理论

对于A的估计，一旦知道∑n=0x[n]，则不再需要知道其它的数据，由于所有的信息都已经包含在充分统计量中。

也就是说，如果T(x)是充分统计量，在得到T(x)后的观测值的条件PDF与估计参量无关。根据这个定义寻找充分统计量是相当困难的，但可借助Neyman-Fishery因式分解定理达到这个目的。

N 1

5.2 寻找充分统计量

定理5-1 （Neyman-Fishery因式分解）如果PDFp(x;θ)能够分解为

p(x;θ)=g(T(x),θ)h(x) （5-1）

其中g是仅通过T(x)依赖于x的函数，h仅是x的函数，那么，T(x)就是θ的充分统计量。反之，如果T(x)是θ的充分统计量，那么，这个PDF可分解为式（5-1）。

应该指出，有时，是否PDF能够分解成所需要的形式是不明显的，如果是这种情况，可能充分统计量不存在。

信号检测与估计理论

例

5-1 WGN中的直流分量

利用定理5-1讨论WGN中的直流量估计的充分统计量问题。这里观测数据的PDF为

p(x;A)=

1

(2πσ2

N2

1exp 2

2σ2 (x[n]A)∑ （5-2）

n 0

N 1

式中σ2假设已知。为了证明因式分解存在，即

p(x;θ)=g(T(x),θ)h(x)。观察PDF的指数部分，可写成下式

2

(x

[n] A)=x[n] 2Ax[n]+NA ∑∑∑

2

2

n 0

n 0

n=0

N 1

N 1

N 1

因此PDF可分解为

N 1

1 2 1N 12 expp(x;A)= 2∑x[n] 2 NA 2A∑x[n] exp N

2σ 2σn=022n=0 2πσ h(x)

1

()

g(T(x),A)

T'(x)=2∑n=0x[n]也是A显然T(x)=∑n=0x[n]是A的充分统计量。注意，

N 1N 1

的充分统计量，事实上，任何∑n=0x[n]的一对一函数都是一个充分统计量。因此，充分统计量只有在一对一变换内才存在。

N 1

信号检测与估计理论

例5-2 WGN的功率

仍然考虑式（5-2）的PDF，

p(x;A)=

1

(2πσ2

N

2

1exp 2

2σ2 (x[n]A)∑

n 0

N 1

假设A=0，σ2为未知参量。因此

1

p(x,σ)=exp 22

2 2σ

2

1

gT h(x)

N 1

显然，根据定理5-1，T(x)=∑n=0x2[n]是σ2的充分统计量。

2

x[n]∑ ×1 n=0N

1

5.3 利用充分性找出MVU估计

假设我们已经找到了θ的一个充分统计量T(x)，如何根据T(x)确定MVU估计呢？

根据前面介绍，如果一个估计量是有效的，根据CRLB定理，显然它是MVU估计。而当一个有效估计不存在时，CRLB方法不再有效，这时可根据RBLS （Rao-Blackwell-Lehmann-Scheffel）定理求出MVU估计。在给出定理之前，举例说明该方法。

信号检测与估计理论

例5-3 WGN中的直流分量

=是MVU估计（因为它继续例5-1的问题。尽管已经知道A

是有效的），但我们这里利用RBLS定理求出MVU估计。 可通过两种不同方法找到MVU估计，这两种方法都是基于充分统计量T

(x)=

∑

N 1n=0

x[n]：

1. 找出任意一个

A

的无偏估计，如

A=x[0]

，然后确定

=E(AT)，这个数学期望是关于p(A)的数学期望。 A

=g(T)是A的一个无偏估计。

2. 找出一个函数g，使A

先来看第一种方法，取无偏估计

=E(x[0]N 1x[n])。这里要用到条件高斯A∑n=0

A=x[0]

，然后求出

PDF的性质，对于高斯

随机矢量[xy]T，其均值矢量和协方差分别为

Tvar(x)cov(x,y)

μ=[E(x)E(y)] C= cov(y,x)var(y)

条件期望为

E(xy)=E(x)+

cov(x,y)

(y E(y)) （5-5）

var(y)

信号检测与估计理论

利用这个结果，令x=x[0]和y=∑n=0x[n]，并注意到

x[0] x[0]

x = N 1 = 100"0 x[1] # 111"1 ∑x[n] y

x[N 1] n=0

N 1

L

因此，[xy]T的PDF服从N(μ,C)，[xy]T是高斯矢量的线性变换，

μ=LE(x)=LA1= A NA

C=σ2LLT=σ2 11 1N

将上述结果带入式（5-5）得

σ2 N 1 1 A=E(xy)=A+x[n]NA∑ =NNσ2 n=0

∑x[n]

n=0

N 1

这就是MVU估计。这种方法需要计算条件期望，计算难处理。

N 1

=Agx[n] 是A的一再看第二种方法，即找一个函数g使∑ n=0

个无偏估计。

N 1

靠观察可知g(x)=xN（注意到∑n=0x[n]的期望等于NA），即

=1AN

∑x[n]是MVU估计。显然第二种方法更容易，因此在实际

n=0

N 1

中一般使用这种方法。现在我们给出RBLS定理。

信号检测与估计理论

定理5-2 （Rao-Blackwell-Lehmann-Scheffel）如果θ是θ的一个

无偏估计，T(x)是θ的一个充分统计量，那么θ=Eθ(x)

()则有：

1. θ 确实是θ的一个估计(即仅是x的函数，与θ无关)。 2. θ 是无偏的。 3.

θ的方差小于或等于θ的方差，对所有θ成立。

另外，如果这个充分统计量是完全的，那么θ 是MVU估计。

在前面的例子中我们看到，E(x[0]∑n=0x[n])=与A无关，是一个真正的估计，且是无偏估计，其方差比x[

0]的方差小。

N 1

充分统计量∑n=0x[n]是完全的（见例5-4），所以，不存其它的更小方差的估计。完全的是指仅有一个统计量的函数是无偏的。

现在我们讨论关于θ=EθT(x)是MVU估计问题。图5-1中

N 1

()

给出了θ所有可能的无偏估计，通过E(θT(x)) 可以减小估计的方差，且仍然保持在无偏估计区域内，由于 所以E(θT(x))仅是T(x)的单一函数。

θ=EθT(x)=∫θpθ(x)dθ=g(T(x)) （5-6）

()()

信号检测与估计理论

图5-1 关于MVU估计的RBLS的讨论

如果T(x)是完全的，也就是只存在一个无偏的T的函数，因此

是唯一的，即θ 与从图中区域选择的θ无关，换句话说，每一个θ

θ都映射同一个θ。又θ的方差比图中任何一个θ的方差小。所以

可以肯定θ 是MVU估计。

综上，如果T(x)是完全的，可根据式（5-6），找出MVU估计，

显然有2种方法，一种是直接计算E(θ(x))，另一种是找出唯一的无偏函数g。

充分统计量的完全性取决x的PDF，x的PDF又决定着充分统计量的PDF。确认一个充分统计量是完全的，一般是相当困难的。幸运的是，在很多实际情况下，充分统计量都能满足完全性。特别是PDF的指数系列（如高斯、瑞利、指数等分布），这个条件都能满足。下面的两个例子可帮助理解完全性的概念。

信号检测与估计理论

例5-4 一个充分统计量的完全性

N 1

现在我们来证明，对于A的估计，充分统计量T=∑n=0x[n]是完

N 1

全的。充分统计量∑n=0x[n]是完全的，是说仅存在一个函数g使

Eg

[(∑

x[n]=A。现假设存在另一个函数h，也使Eh∑n=0x[n]=A，n=0

N 1

)][(

N 1

)]

那么则有

对所有的A

由于T~N(NA,Nσ2)，上式也可写成（根据函数的数学期望）

E[g(T) h(T)]=A A=0 1

∫

∞

∞

v(T)

1 2 exp (T NA)dT=0 2 2

2Nσ 2πNσ

对所有的A

其中v(t)=g(T) h(T)，令τ=T和v

'(τ)=v(Nτ)得

∫

∞

∞

v'(τ)

N2 exp (A τ)dτ=0 2 2

2σ 2πNσ

N

对所有的A

上式是v'(τ)和高斯脉冲w(τ)的卷积，看图5-2。为了对所有的A卷

积为零，v'(τ)必须为零（图中看出若v'(τ)不为零，对于A1积分等于零，对于A2则不等于零）。即g=h，或者说g是唯一的。

图5-2 充分统计量是完全的条件

信号检测与估计理论

例5-5 不完全充分统计量 估计A的观测值如下

x[0]=A+w[0]

11

其中w[0]~u , 均匀分布，充分统计量T

22

=x[0]，是唯一可用数

据，另外x[0]也是A的无偏估计。可以推断g(x[0])=x[0]是MVU估计的一个可行候选。但是否是真正的MVU估计仍需要确认是否是完全的充分统计量。同例5-4一样，我们假设存在另一个无偏的函数h(x[0])=A，然后证明h=g。令v(T)=g(T) h(T)，由于g和h都是无偏的，所以v应满足等式

∫

∞

∞

v(T)p(T;A)dT=0 对所有A

又由于

1

p(T;A)=

0

A

11

≤T≤A 22 其它

故

∫

121A 2A+

v(T)dT=0 对所有A

选择v(T)=sin2πT就可以满足上式，从图5-3也可以看出。因此

v(T)=g(T) h(T)=sin2πT

或

h(T)=T sin2πT=x[0] sin2πx[0]

也是基于充分统计量的估计，且是无偏估计。

信号检测与估计理论

图5-3 充分统计量的完全条件(不满足)

也就是说至少存在两个关于充分统计量的函数，它们都是无

偏的。所以这个充分统计量不是完全的。根据RBLS定理，不能

=x[0]是MVU估计。 断定A

现在我们来总结充分统计量是完全的条件： 当且仅当v(T)=0（对所有T值），下式成立

∫

∞

∞

v(T)p(T;A)dT=0 对所有A （5-8）

则充分统计量T是完全的。（注意这里“对所有T”不是指其它统计量，而是指当前T的可能值）。

信号检测与估计理论

图5-4 寻找MVU估计流程图

1. 根据Neyman-Fisher因式分解定理，找出θ的充分统计量T(x)。 2. 确定充分统计量是否是完全的（见式（5-8）），如果是继续下一步，否则，此方法不能用。

3. 找出充分统计量的一个函数g，使θ =g(T(x))是无偏的，那么MVU估计就是θ 。 第3步也可用下述方法：

'

3. 计算θ=E(θT(x))，其中θ是任意一个无偏估计（通常求条件期

望是很繁琐的）。

本文来源：https://www.bwwdw.com/article/24xi.html