02 第二节 点估计的常用方法

第二节 点估计的常用方法

内容分布图示

★ 矩估计法 ★ 求矩估计的方法

★ 例1 ★ 例2 ★ 例3 ★ 例4

★ 最大似然估计法

★ 求最大似然估计的一般方法

★ 例5 ★ 例6 ★ 例7 ★ 例8

★ 关于有k个未知参数的最大似然估计 ★ 内容小结 ★ 课堂练习

★ 习题6-2

内容要点：

一、矩估计法

矩估计法的基本思想是用样本矩估计总体矩. 因为由在数定理知, 当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.例如, 可用样本均值X作为总体均值E(X)的估计量, 一般地, 记

总体k阶矩 ?k?E(Xk);

样本k阶矩 Ak?1n?ni?1Xik;

总体k阶中心矩 Vk?E[X?E(X)]k; 样本k阶中心矩 Bk?1ni?(Xni?1?X).

k用相应的样本矩去估计总体矩的方法就称为矩估计法. 用矩估计法确定的估计量称为矩估计量. 相应的估计值称为据估计值. 矩估计量与矩估计值统称为矩估计. 求矩估计的方法：

设总体X的分布函数F(x;?1,?,?k)中含有k个未知参数?1,?,?k, 则

(1) 求总体X的前k阶矩?1,?,?k，一般都是这k个未知参数的函数, 记为

?i?gi(?1,?,?k),i?1,2,?,k （*） (2) 从（*）中解得 ?j?hj(?1,?,?k),计量:

??j?hj(A1,?,Ak),(I?1,2,???,k)。

j?1,2,?,k

(3) 再用?i(i?1,2,?,k)的估计量Ai分别代替上式中的?i,即可得?j(i?1,2,?,k)的矩估

j?1,2,?,k.

注：求V1,?,Vk,类似于上述步骤，最后用B1,???,Bk代替V1,?,Vk，求出矩估计??j

二、最大似然估计法

引例 某同学与一位猎人一起去打猎,一只野兔从前方窜过, 只听一声枪响, 野兔应声倒下, 试猜测是谁打中的?

由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率, 故一般会猜测这一枪是猎人射中的.

最大似然估计法的思想: 在已经得到实验结果的情况下, 应该寻找使这个结果出现的可能性最大的那个?作为?的估计??.

注: 最大似然估计法首先由德国数学家高斯于1821年提出, 英国统计学家费歇于1922年重新发现并作了进一步的研究.

下面分别就离散型总体和连续型总体情形作具体讨论. 离散型总体的情形: 设总体X的概率分布为

P{X?x}?p(x,?),其中?为未知参数.

如果X1,X2,?,Xn是取自总体X的样本,样本的观察值为x1,x2,?,xn,则样本的联合分布律

nP{X1?x1,,?,Xn?xn}??i?1p(xi,?),

对确定的样本观察值x1,x2,?,xn,它是未知参数?的函数,

n记为L(?)?L(x1,x2,?,xn,?)??f(xi,?),并称其为似然函数.

i?1连续型总体的情形: 设总体X的概率密度为f(x,?),其中?为未知参数,此时定义似然函数

nL(?)?L(x1,x2,?,xn,?)??i?1f(xi,?).

似然函数L(?)的值的大小意味着该样本值出现的可能性的大小, 在已得到样本值的情况下, 则应该选择使L(?)达到最大值的那个?作为?的估计??. 这种求点估

计的方法称为最大似然估计法.

定义 若对任意给定的样本值x1,x2,?,xn, 存在

x1,x2,?,xn?????(x1,x2,?,xn),

使 L(??)?maxL(?),

?则称?????(x1,x2,?,xn)为?的最大似然估计值.称相应的统计量??(X1,X2,?,Xn)为?最大似然估计量. 它们统称为?的最大似然估计(MLE).

三、求最大似然估计的一般方法

求未知参数?的最大似然估计问题, 归结为求似然函数L(?)的最大值点的问题. 当似然函数关于未知参数可微时, 可利用微分学中求最大值的方法求之. 其主要步骤:

(1) 写出似然函数L(?)?L(x1,x2,?,xn,?);

(2) 令

dL(?)d??0或

dlnL(?)d??0, 求出驻点;

注: 因函数lnL是L的单调增加函数,且函数lnL(?)与函数L(?)有相同的极值点,故常转化为求函数lnL(?)的最大值点较方便.

(3) 判断并求出最大值点, 在最大值点的表达式中, 用样本值代入就得参数的最大似然估计值.

注：(i) 当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点。

(ii) 上述方法易推广至多个未知参数的情形.

例题选讲：

矩估计法

例1（讲义例1）设总体X的概率密度为

???(??1)x,f(x)????0,0?x?1其它

其中?(???1),是未知数，X1,X2,?,Xn是取自X的样本, 求参数?的矩估计. 解

数学期望是一阶原点矩

?1?E(X)??10(??1)xdx?(??1)??1x??1dx???1??2,

0其样本矩为X???1??2, ??而?2X?11?X, 即为?的矩估计.

例2 设总体X在[a,b]上服从均匀分布，a,b未知. X1,X2,?,Xn是来自

X的样本, 试求a,b的矩估计量.

解

?1?E(X)?(a?b)/2,

?2?E(X)?D(X)?[E(X)]?(b?a)/12?(a?b)/4,

2222即 a?b?2?1,b?a?12(?2??12).

解得 a??1?3(?2??12),b??1?3(?2??12). 注意到

1n2i?Xni?1?X2?1ni?(Xni?1?X),2 以A1,A2代替?1,?2,到a,b的矩估计量分别为

??A1?a3(A2?2A1)?X??(Xni?13ni2?X),

??A?b13(A2?2A1)?X??(Xni?13ni?X).

2

例3（讲义例2）设总体X的均值?及方差?2都存在, 且有?又设X1,X2,?,Xn是来自X的样本. 试求?,?2的矩估计量.

解

?1?E(X)??, ?2?E(X)?D(X)?[E(X)]??2222?0,

但?,?2均为未知,

??,2

得到???1,?2??2??12.

以A1,A2代替?1,?2,得?和?的矩估计量分别为

??A1?X,???22?A2?A?211n2i?Xni?1?X2?1ni?(Xni?1ni?X).

2注: 本例表明, 总体均值与方差的矩估计量的表达式不因不同的总体公布而异. 如,

X~N(?,?),?,?22??X,???未知, 则?,?的矩估计量为?221?(Xni?1?X).

2

例4（讲义例3）设总体X的概率分布为

XPk122?(1??)3(1??)2?2

其中?为未知参数.现抽得一个样本x1?1,x2?2,x3?1,求?的矩估计值.

解 先求总体一阶原点矩

2E(X)?1???2?2?(1??)?3(1??)?3?2?,

2一阶样本矩x?13(1?2?1)?43,

43.

56,

由E(X)?x, 得3?2??推出???所以?的矩估计值???56.

最大似然估计法

例5 （讲义例4） 设X~b(1,p)，X1,X2,?,Xn是取自总体X的一个样本，试求参数p的最大似然估计.

解

设x1,x2,?,xn是X1,X2,?Xn的一个样本值, X的分布律为

P{X?x}?p(1?p)nnnx1?x,x?0,1,

故似然函数为L(p)??pi?1xin??xi?xii?1?pi?1(1?p),

令

?lnL(p)???dp?dn?i?1?xi????p??n???n?i?1n?xi???(1?p)?0,

??解得p的最大似然估计值p1?xni?1i?x. ??从而p的最大似然估计值p1ni?Xni?1?X.

注: 这一估计量与矩估计量是相同的.

例6 设总体X服从[0,?]上的均匀分布, ?未知. X1,?,Xn为X的样本, x1,?,xn为样本值. 试求?的最大似然估计.

解

?1,?似然函数L(?)???n??0,0?x1,?,xn??其它.

因L(?)不可导, 可按最大似然法的基本思想确定??. 欲使L(?)最大, ?应尽量小但又不能太小, 它必须同时满足??xi(i?1,?,n), 即??max(x1,?xn), 否则L(?)?0, 而0不可能是L(?)的最大值.

因此,当??max{x1,?,xn}时, L(?)可达最大. 所以?的最大似然估计值与最大似然估计量分别为

???max{x1,?,xn},???max{X1,?,Xn}.

例7（讲义例5）设总体X服从指数分布, 其概率密度函数

??e??x,f(x,?)???0,x?0x?0

其中??0, 是未知参数. x1,x2,?,xn是来自总体X的样本观察值, 求参数?的最大似然估计值.

????xi?n似然函数L(x1,x2,?,xn;?)???ei?1,?0,?n解

xi?0 其它n??显然L(x1,x2,?xn;?)的最大值点一定是L1(x1,x2,?,xn;?)??nen?xii?1的最大值点, 对其

取对数lnL1(x1,x2,?,xn;?)?nln????xi

i?1由

dlnL1(x1,x2,?,xn;?)d??nn???i?1xi?0,

可得参数?的最大似然估计值???nn?i1x.

?xi?1

例8（讲义例6） 设x1,x2,?,xn是正态总体N(?,?2)的样本观察值, 其中?,?2是未知参数, 试求?和?2的最大似然估计值.

解

记似然函数L(x1,x2,?xn;?,?2)?L(?,?2),

n2则L(?,?)??i?1?????12???(xi??)2?22e??1???n2?n/2?(2?)(?)exp??????2???12?2nn2?i?1?2?(x1??)???

lnL(?,?)??nln22??n2ln?2?(xi?11??)2

?lnL???1n?2?(xi?1n4i??)?0,

?lnL??2?12??i?1(xi??)?2n2?2?0

??由此可得参数?和?的最大似然估计值为?21ni?xni?1i??x,?2?1ni?(xni?1?x)2

??最大似然估计量为?1ni?Xni?1??X,?2?1n?(Xni?1?X)2

与例3中的矩估计量相同.

课堂练习

1. 设总体X具有概率概率密度

??e??(x??),f(x,?,?)???0,x??x??

其中??0,?为未知参数. X1,X2,?,Xn是来自总体X的样本, 求?,?的矩估计量.

2. 设总体X在[a,b]上服从均匀分布，a,b未知，x1,x2,?,xn是一个样本值. 试求a,b的最大值似然估计量.

本文来源：https://www.bwwdw.com/article/7lb5.html