3.1-3.2.1-估计量的性质、最小方差无偏估计

第三章估计理论

什么是“估计”？

通俗解释：对事物做大致的判断

专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信息进行加工、处理获得结果的过程。

3.1引言3.1 引言

根据研究对象的不同估计分为二种

参量估计：被估计的对象是随机变量或非随机的未知量 波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论

与信号参量估计相关的理论

最佳估计

一定准则下的“最好”估计

应用领域

通信系统、雷达系统、语音、图像处理、自动控制

3.1.1估计的数学模型x参量空间、观测空间、概率转换、估计准则p(x|θ)概率转换估计准则 ( x)θ

θ

Z

参量空间

观测空间

x由于估计准则的不同，构成估计量的方法也不同，如最小方差无偏估计、最大似然估计、最小二乘估计、贝叶斯估计和线性最小均方误差估计等。

3.1.2  估计量的性质质

假设得到N个观测样本数据为：

x[n]=θ+w[n]n=0,1,…,N 1

式中，θ为待估计参量，w[n]是观测噪声。

,获估计的任务就是利用观测样本数据x[n]构造估计量θ

后，通常需要对θ 的质量进行评价,这就需要研得估计量θ

究估计量的主要性质。

也是一个随机变量，具有均值和方差等统计估计量θ

特征，可以利用其统计特征对估计量的性质进行评价。评价指标包括：无偏性、一致性、充分性和有效性。

1、无偏性

θ

无偏估计

渐进无偏估计非随机参量随机参量 )=θE(θN→∞ )=E(θ)E(θN→∞ )=θlimE(θ )=E(θ)limE(θ

是一个有偏估计如果上式不满足，则θ

b(θ)=E(θ) θ为估计量的偏定义

估计量的无偏性保证估计量分布在参量真值附近，是衡量估计量性能优劣的重要指标。然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。

2、一致性

可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。

简单一致性：

均方一致性：N→∞ θ|<δ)=1limP(|θ θ)2]=0limE[(θ

定义估计误差ε=θ θ，对无偏估计，误差的方差为

22 2Var(ε)=E(ε) b(θ)=E(ε)

在同时满足无偏性、均方一致性的条件下，随着观测样本数的增加，估计误差的方差将减小并趋于零。N→∞

3、充分性

设待估计参量的估计量为T θ(x)，x=[x[0]x[1]...x[N 1]]为N维观测矢量。如果概率密度函数p(x|θ)可以分解成如下形式

(x)|θ)h(x)p(x|θ)=p(θ

θ式中h(x)≥0，且与θ无关。则称(x)是一个充分统计量。

充分统计量的意义在于：它体现了包含在观测样本数据x中有关参量θ的全部有用信息，再没有其他估计量能够提供更多关于观测样本数据x中有关θ的有用信息了。

4、有效性

对于无偏估计量，如果估计量的方差越小，则它偏离待估计参量就越小，即它取其均值附近数值的概率就越大，该估计量就越好。因此，希望估计量的方差尽可能地小。克拉美罗下限为估计误差的方差确定了一个下限，不可能获得比它还小的方差。对于方差达到克拉美罗下界的无偏估计，称为有效估计。

因此，具有无偏性且方差达到克拉美‐罗下限的估计量是有效估计量。

3.2  最小方差无偏估计

3.2.1  均方误差最小准则和最小方差无偏准则

在寻求最优估计量中，首先需要确定的是最优准则。一个很自然的准则就是均方误差（mean square error, MSE），它的定义为

2 mse(θ)=E[(θ θ)]

遗憾的是采用该准则将产生一个不可实现的估计量。因为这个估计量不能单独表示为样本数据的函数。为说明这个问题，均方误差MSE重新写为

)=E (θ E(θ ))+(E(θ ) θ) mse(θ

2{2} )+ E(θ ) θ +2[E(θ ) θ]E[θ E(θ )]=var(θ

)+b2(θ)=var(θ

上式看出MSE是由方差和偏差构成。

3.2.1均方误差最小准则和最小方差无偏准则假设得到N个观测样本数据为： x[n]= A+ w[n]选择估计量为 1 N 1 A= k∑ x ( n) N n=0n= 0,1,…, N 1

k为常数。我们的目的是寻找一个k使 A的MSE最小。E ( A)= kA var( A)= k 2σ 2/ N

,带入 mse(θ )= var(θ )+ b 2 (θ )可得：

k 2σ 2 mse( A)=+ ( k 1) 2 A2 N

3 2 1  均方误差最小准则和最小方差无偏准则 3.2.1对k求导dmse( A) 2kσ 2=+ 2( (k 1) ) A2 dk N

令上式等于零可得出使均方误差最小的k值A2 k= 2 A+σ 2 N

对应的最小均方误差为σ2 mse( A)= N+σ 2 A2

3 2 1  均方误差最小准则和最小方差无偏准则 3.2.1

A k= 2 2 A+σ N 由此看出最优k值取决于未知参量A,因此这个估计量 A是不可实现的。其实这个估计量取决于A是由于偏 b(θ )是A的函数。一般情况下，任何与偏差有关的准则都将导致估计量的不可实现。

2

从实际考虑，需要放弃最小均方误差估计。解决这个问题的一个方法就是限制估计量的偏差为零，而找出使方差最小的估计量。这个估计量被称为最小方差无偏估计量(MVUminimum variance unbiased)。从前面的公式可以看出一个无偏估计量的MSE恰恰就是方差。

321  均方误差最小准则和最小方差无偏准则3.2.1

最小方差无偏估计量的存在性

现在我们自然提出这样一个问题：对于所有θ是否存在最小方差无偏估计。即使最小方差无偏估计（MVU）存在，我们也有可能找不到它。在后面的几章里，我们将讨论几种可能的方法，它们是：

1、确定Cramer-Rao下限(CRLB），检验估计量是否满足它。

2、基于充分统计量的MVU 。

3、限制估计量不仅是无偏的而且是线性的，找出MVU。

本文来源：https://www.bwwdw.com/article/3e71.html