第七章 参数估计(概率论与数理统计 盛骤)

第七章 参数估计例 制衣厂为了合理的确定服装各种尺码的生产比 例，需要调查人们身长的分布。现从男性成人人群 中随机选取100人,得到他们的身长数据为: ... (1)若已知X服从正态分布N( , 2), 试估计参数的 , 2值

7.1 点估计一、参数估计的概念定义(p176) 设X1, … , Xn是总体X的一个样本，其分布函数为F(x; ), 。其中 为未知参数, 为 参数空间, 若统计量g(X1, … , Xn)可作为 的一个

, 估计,则称其为 的一个估计量，记为 g( X , , X ). 即 1 n

若x1, … , xn是样本的一个观测值。 g( x , , x )称为 的估计值 , 1 n2

由于g(x1, … , xn) 是实数域上的一个 点，现用它来估计 , 故称这种估计为点 估计。

点估计的经典方法是矩估计法与极大 似然估计法。

二、矩估计法(简称“矩法”) (p177) 关键点：1.用样本矩作为总体同阶矩的估计，即 n 1 若 k E ( X k ), 则 k X ik . n i 1 k k 1 n 若 k E X E X , 则 k n X i X i 1

2.约定：若 是未知参数 的矩估计，则g( )的 矩估计为g( )

一般地,设总体X f(x;θ), 其中 1 ,..., k ,求参数θ的矩估计的一般步骤为: 1. 令 E X g ,..., 1 1 1 k ... ... k E X g ,..., k k 1 k 解出:

1 h1 1 ,..., k ... ... h ,..., k 1 k k

h 1 ,..., k 1 1 ... ... 则 1 ,..., k k hk

其中

1 n k k X i n i 15

例1 求总体均值和方差的矩估计。解：设总体X均值为 u ,方差为 2 。 ( X1 , X 2 ,..., X n )为取 自总体X的样本。由矩估计法，可得：

1 u u 1 2 2 2 2 u 2 2 1 u X 2 1 n 2 2 1 n 2 X i X ( X i X ) n i 1 n i 1

注：也可样本的二阶中心距估计总体二阶中心矩直接得到结果。6

例2:设X1, … , Xn为取自总体B(m,p),的样本 ，其中m已知，0<p<1未知，求p的矩估计。 解: E(X)=mp,

1 1 p E ( X ) 1 m m而

1 X为参数p的矩估计7

1 p X m

1 f ( x ) e 例3. 设总体X的概率密度为 2 X1, … , Xn为样本，求参数 的矩估计。

x

解:

x| x | E ( X ) e dx 0 2

x 2 E( X ) e 2 2

2

| x|

dx

1

x e2 0

x

dx x

x de2 0

x

x

2 xe0

x

dx 2 xde0

2 e0

dx 2 2

2 E( X 2 ) 2 2而

1 n 2 2 X i n i 1

Xi 1

n

2 i

2n

注：样本二阶中心矩估计D( X ) 2 2 2 ( X X ) i i 1 n

D( X ) 2

2n

例4. 设总体X~U(a,b), X1, … , Xn为样本, 求参数a,b的矩估计

解:

a b 1 E( X ) D( X ) ( b a ) 2 2 122 a E ( X ) 3 D ( X ) 3 2 b E ( X ) 3 D ( X ) 3

由:

X

1 n ( X i X )2 n i 1

2

3 n 2 a X ( X X ) i n i 1 n 3 2 b X ( X X ) i n i 1

MATLAB10

1 0 设总体X服从0-1分布，X ~ 求(1)p的矩估计，X1 , X 2 ,..., X n 1 p p

为样本。(2)设某批产品的次品率为p, 随机检验100件，发现5 件次品，求p的矩估计。 解：(1)E(X)=p, 可得：p X1 第i件产品为次品 (2)令 X i , i 1, 2,...,100. 0 第i件产品为正品

1 由(1),可得 p 20

三、极大似然估计法(p179)1、极大似然思想 有一个射手，他的命中率为0.9或者0.1,现 在他向目标射击了一发，结果命中了，估计他的 命中率？ 一般说，事件A发生的概率与参数 有关， 取值 不同，则P(A)也不同。因而应记事件A发生的概率 为P(A| ).若A发生了，则认为此时的 值应是在 中 使P(A| ) 达到最大的那一个。这就是极大似然思想12

1.设总体X为离散型随机变量，它的分布律为

P{X ak } P (ak )

k 1, 2,...

现有样本观察值x1,x2,…xn,,其中xk取值于{ak,k=1,2…} 问：根据极大似然思想，如何用x1,x2,…xn估计 ?

记 A {X1 x1,..., X n xn }则 P( A | ) P { X 1 x1 ,..., X n xn } P {xi }n

根据极大似然思想, 值应是在 中使P(A| ) 达到 最大的那一个,也就是使 样本联合分布律

i 1

i 1

n

P { xi } 最大.13

2. 设总体X为连续型随机变量，概率密度f(x; 现有样本观察值x1,x2,…xn,

问：根据极大似然思想，如何用x1,x2,…xn估计 ?记 ( x1,..., xn )为包围点( x1,..., xn )的小球,

A {( X1,..., X n ) ( x1,..., xn )}n

则 P( A | ) ... f ( x1 ,..., xn ; )dx1 ,..., dxn

... f ( xi ; )dx1 ,..., dxni 1 ( x1 ,..., xn )

( x1 ,..., xn )

根据极大似然思想, 值应是在 中使P(A| ) 达到最大 的那一个,也就是使 样本联合密度最大. 14

3、似然函数与极大似然估计(p181)设X1 , X , X n为总体X的样本, 其观测值为：x1 , , xn,n i 1

f ( x; ) , 则称L( ) L( x1 ,

, xn ; ) f ( xi ; )

为该总体的似然函数。 定义：若有

, 使得^

L( ) max L( )则称 为 的极大似然估计.记为 MLE .15

^

^

3、求极大似然估计的步骤*设X1 , , X n ~ f (x; ), , 试求 MLE MLE ( X1 , , X n )iid ^ ^

(1) 做似然函数L( ) L( x1 , , xn ; ) f ( xi ; )i 1 n

(2) 做对数似然函数ln L( ) ln f ( xi ; )i 1 n

(3) 列似然方程, 令d [ln L( )] 0 d

若该方程有解

( x1 , , xn )则

(X , , X ) MLE 1 n17

注1:若概率分布中含有多个未知参数，则可 解方程组 ln L 0 1 ... ln L 0 m 得出 j的极大似然估计 j , j 1,^

, m.18

例1.设X1, … , Xn为取自参数为 的泊松分 布总体的样本，求 的极大似然估计 解:设 x1, x2 ..., xn为样本值n n i 1 i 1

L( ) P ( X xi ) n

n

xi

xi !

e

xii 1

n

e

n

x !i 1 i

n

ln L( ) xi ln n ln(xi ! )i 1 i 1

令

d[ln L( )] 1 xi n 0 d i 1n

n 1 Xi n i 119

本文来源：https://www.bwwdw.com/article/nrmm.html