6.2点估计的评价标准

数学点估计

概 率 论 与 数 理 统 计

第二节 点估计的评价标准

2013-7-31

皖西学院 数理系

数学点估计

一、相合性随样本容量的增大，估计值能稳定于待估参数 的真值，即是相合性。 概 率 论 定义 : 设 n是 的一个估计,若对 > 0,总有 与 lim p{| n | } 1, 数 n 理 p 统 则称 n为 的相合估计, 即有 n ( n ). 计注 : 相合性是对估计量的最基本的要求,

其证明可利用定义和大数定律, 一般的估计量都具有相合性.2013-7-31 皖西学院 数理系 2

数学点估计

例1 设x1 , , xn是来自正态总体N ( , 2 )的样本，

则由辛钦大数定律和依概率收敛的性质知：概 率 论 与 数 理 统 计

x 是 的相合估计；sn 2 , s 2 都是 2的相合估计. n 1 n n 2 P 1 2 ; 由s sn x xi E ( xi ) n i 1 n 1 n i 1P 2 1 n 2 1 n 2 2 s 2 2 . sn ( x i x ) x i x n i 1 n i 1 n n 1 n 1 1 P 2 2 [ Dxi ( Exi )2 ] xi n E ( xi ) n i 1 n i 1 i 1 1 n 2 2 [ ] 2 2 P n i 1 sn 2 2 . 2 P P x x 2

2013-7-31

皖西学院 数理系

数学点估计

相合性的判定： TH 1 : 设 n ( x1 , x2 , xn )是 的一个估计，n n 概 率 则 n是 的一个相合估计. 论 4 与 证明： n -E n 2 D( n ) P 数 2 理 统 又 lim E n , 当n充分大时， n - . E n 2 计

若 lim E ( n ) , lim D( n ) 0,

若 E n - n , 2

则 n - n - E n E n - .2013-7-31 皖西学院 数理系 4

数学点估计

相合性的判定： TH 1 : 设 n ( x1 , x2 , xn )是 的一个估计，n n 概 率 则 n是 的一个相合估计. 论 与 证明： - -E E - , E - . 由 n n n n n 数 2 理 统 n E n 2 n - 计

若 lim E ( n ) , lim D( n ) 0,

n E n n - 2 4 P ( n - ) P ( n E n ) 2 D ( n ) 0 2

2013-7-31

皖西学院 数理系

数学点估计

例2 设x1 , x2 , , xn是来自总体U (0, )的样本，

则 的最大似然估计是相合估计.

概 证明：的最大似然估计 是x( n ) , 由最大值的分布知： 率 论 x( n )的密度函数为p( y ) ny n 1 / n , y . 与

n 数 n 1 n , E yny / dy 理 0 n 1 统 2 n 计 2 n 1 n 2.

E y ny0

/ dy

n 2

从而，D( ) 2013-7-31

n 2 0( n ). ( n 1)2 ( n 2) 由TH 1得证.皖西学院 数理系 6

数学点估计

TH 2 设 n1 , n 2 , , nk 分别是 1, 2, , k的相合 估计， g( 1, 2, , k )是连续函数， 概 率 论 与 数 理 统 计

则 n g( n1 , n 2 , , nk )是 的相合估计. 证明见教材P294 .

注：矩估计一般都具有相合性

2013-7-31

皖西学院 数理系

数学点估计

例3 设总体的分布为

X

a

b

c

P 2

2 (1 ) (1 )2

现做了n次试验，观察3种结果出现的次数分别为概 n1 , n2 , n3 , 求 的相合估计. 率 论 由频率是概率的稳定值知：可以用频率替代概率， 与 数 分别令 n1 2 ; n2 2 (1 ); n3 (1 )2 理 n n n 统 从而得到θ 的估计有 计

1 n1 / n ; 或 2 1 n3 / n ; 或 3 ( n1 n2 / 2) / n且有TH 2知：三种估计都是相合估计.2013-7-31 皖西学院 数理系 8

数学点估计

二、无偏性相合性是大样本下常用的评价标准；概 而无偏性则是小样本下常用的评价标准。 率 论 定义 : 设 ( X , X , , X )是未知参数 的估计量, 1 2 n 与 若E ( )存在, 且对 , 有E ( ) . 数 理 则称 为 的无偏估计量,称估计量 具有无偏性. 统 计

注 : E ( ) 称为以 作为 的估计的系统误差,

无偏估计即是该估计无系统误差.2013-7-31 皖西学院 数理系 9

数学点估计

例4 设总体X的k阶原点矩 k E ( X k ) ( k 1) 存在,

( X 1 , X 2 , , X n )是来自总体的样本,不论X的分布如何,概 率 论 与 数 理 统 计

1 n 样本的k阶原点矩ak X i k 都是 k的无偏估计; n i 1 但样本的中心矩一般不是总体中心矩的无偏估计. 1 n 1 n 1 E ( ak ) E ( X i k ) E ( X i k ) E ( X k ) 验证 : n i 1 n i 1 n i 1n

E ( X k ) k .

1 n n 1 2 E ( sn 2 ) E ( ( x i x ) 2 ) 2. n i 1 n2013-7-31 皖西学院 数理系 10

数学点估计

n 1 n 1 E ( sn 2 ) E ( ( xi x )2 ) E ( ( x i x ) 2) n i 1 n i 1 2 1 n 1 2 2 E ( xi x ) ( Exi E x ) n i 1 n i 1 n 2

概 率 论 与 数 理 统 计

2 1 2 2 2 ( nEX nE x ) EX E x n

( Dx ( E x ) )2 2 2

1 2 ( 2 ) n n 1 2 . n2 2

2013-7-31

皖西学院 数理系

数学点估计

补充说明1 n (1) s 2 ( xi x )2是 2的无偏估计, 特别在小样本 n 1 i 1概 条件下,一般用s 2作为 2的估计. 率 论 1 n 2 ( xi x )2是 2的渐近无

偏估计, 与 (2) sn n i 1 数 理 即有 E ( sn 2 ) 2 ( n ) . 统 计 (3) 无偏性不具有不变性 :

是 的无偏估计 g ( )是g ( )的无偏估计.

如: s 2是 2的无偏估计, 但s不是 的无偏估计.2013-7-31 皖西学院 数理系 12

数学点估计

例5

设总体服从U(0, θ)上的均匀分布，则θ的 最大似然估计不具有无偏性。

概 率 论 与 数 理 统 计

解：由上节知，θ 的最大似然估计是 x( n ) . 1 总体X的密度为 f ( x ) , 0 x .

总体X的分布函数为 F ( x )

x

Fx( n ) P[ x( n ) x ] P ( x1 x , x2 x , , xn x )

, 0 x .

P ( x1 x ) P ( x2 x ) P ( xn x ) [ F ( x )]n

2013-7-31

皖西学院 数理系

数学点估计

所以 x( n ) 的密度函数为概 率 论 与 数 理 统 计

d [ F ( x )]n x n 1 1 n 1 n[ F ( x )] f ( x ) n( ) ,0 x . dx Ex( n )

0

x n( )

x

n 1

1

n( )ndx dx 0

x

n 1 n 1 n x 0 n n 1 n 1

即 似 x( n )不是 的无偏估计. 注: 矩 2 x 是 的无偏估计.2013-7-31 皖西学院 数理系 14

数学点估计

三、有效性 无偏估计只涉及到一阶矩(均值),虽然计算概 率 论 与 数 理 统 计

简便，但是往往会出现一个参数的无偏估计有

多个，而无法确定哪个估计量好。那么，究竟哪个无偏估计更好、更合理，这就看哪个估计 量的观察值更集中地接近在真实值的附近，即 估计量的观察值更密集的分布在真实值的附近。 而方差是反映随机变量取值的分散程度，所以

无偏估计以方差最小者为最好、最合理。2013-7-31 皖西学院 数理系 15

数学点估计

定义 : 设 1 1 ( X 1 , X 2 , , X n )和 2 2 ( X 1 , X 2 , , X n ) 都是 的无偏估计, 若有 D( 1 ) D( 2 ), 概 则称 1 比 2 有效. 率 论 与 例6. 设x1 , x2 , , xn是来自总体X的样本, 则 1 x1 , 2 x 数 理 都是 的无偏估计,即 E ( 1 ) E ( 2 ) . 统 1 2 计 2

由于 D( 1 ) , D( 2 ) 所以 2 比 1 有效.

n

,

2013-7-31

皖西学院 数理系

数学点估计

概 率 论 与 数 理 统 计

例7. 设总体X U (0, ), 似 x( n ) . n E ( x( n ) ) (见例5), 即 似不是 的无偏估计. n 1 1 n 1 似 则是 的无偏估计. 而修正后的 n 虽然 矩 2 x 是 的无偏估计, 但由于D( 1 ) D( 矩 ), 所以 1比 矩有效. 矩 ) 4 D( X ) 4 , D( n 12 3n n 2 n 1 2 n , ) 2 D( 1 ) ( 2 n( n 2) n ( n 1) ( n 2)2 2

一般地，最大似然估计量比矩法估计量更优

良。2013-7-31 皖西学院 数理系 17

数学点估计

四、均方误差在某些场合，有偏估计未必是不好的估计.概 率 论 与 数 理 统 计

在样本容量一定时，评价估计好坏的度量指标是 点估计 与参数 的距离函数. 常用的函数是距离的平方，即给出均方误差的概念.2 定义如下： MSE ( ) E ( )

注：均方误差是评价点估计的最一般的标准。 均方误差=点估计的方差+偏差的平方2013-7-31 皖西学院 数理系 18

数学点估计

均方误差=点估计的方差+偏差的平方 MSE ( ) E ( )2 E[( E ) ( E )]2概 E ( E )2 2 E[( E )( E )] E ( E )2 率 论 D( ) E ( E )2 . 与 数 2 理 注：当 是 的无偏估计时，E ( E ) 0, 统 这时，MSE ( ) D( ). 计

如果 不是 的无偏估计，即E ( E )2 0, 但MSE ( )比较小时，则 仍是 的一个优良的估计.2013-7-31 皖西学院 数理系 19

数学点估计

比较估计的优良性： 1概 率 论 与 数 理 统 计

2

1

2

1

2013-7-31 皖西学院 数理系

2 20

数学点估计

例8 设总体X U (0, ), 的极大似然估计是x( n ),

概 率 论 与 数 理 统 计

n 1 x( n )为无偏估计； 是有偏估计. 修正后的 1 n n 2 而 2 x( n )是 的有偏估计. n 1

由于 MSE ( 1 ) D( 1 )

2n( n 2)

;

MSE ( 2 ) D( 2 ) ( E 2 ) 2

2( n 1)

2

MSE ( 1 ).

所以，有偏估计 2 优良于无偏估计 1 .2013-7-31 皖西学院 数理系 21

本文来源：https://www.bwwdw.com/article/in5j.html