第五章 大数定律与中心极限定理

第五章 大数定律和中心极限定理第一节 大数定律 第二节 中心极限定理

第5章概述 章概述 大数定律和中心极限定理就是使用极限方法 大数定律和中心极限定理就是使用极限方法 使用极限 研究大量随机现象统计规律性. 研究大量随机现象统计规律性 阐明大量重复试验的平均结果具有稳定性的 阐明大量重复试验的平均结果具有稳定性的 大量重复试验的平均结果具有稳定性 一系列定律都称为大数定律 一系列定律都称为大数定律. 大数定律 论证随机变量(试验结果) 论证随机变量(试验结果)之和渐进服从某 随机变量 一分布的定理称为中心极限定理. 的定理称为中心极限定理 一分布的定理称为中心极限定理

切比雪夫不等式定理 设随机变量 X 具有数学期望 E ( X ) = µ, 方差 D( X ) = σ 2 , 则对于任意正数 ε , 不等式 σ P{ X µ ≥ ε } ≤ 2 ε 成立.证明 对连续型随机变量的情况来证明. 对连续型随机变量的情况来证明2

设 X 的概率密度为 f ( x), 则有

P{ X µ ≥ ε }=

∫

x µ ≥ε

f ( x)dx ≤ ∫ x µ ≥ ε

x µ ε2

2

f ( x)dx

1 ∞ 1 2 2 ≤ 2 ∫ ( x µ) f ( x)dx = 2 σ . ε ε ∞得

σ2 σ P{ X µ ≥ ε} ≤ 2 P{ X µ < ε} ≥ 1 2 . ε ε 定理说明,由随机变量的数学期望和方差, 定理说明,由随机变量的数学期望和方差,也可以 对随机变量取值的统计规律提供一些信息. 对随机变量取值的统计规律提供一些信息.

σ P{ X µ ≥ ε} ≤ 2 . ε2

2

在每次试验中,事件 发生的概率为0.5. 事件A发生的概率为 例1 在每次试验中 事件 发生的概率为 (1)利用切比雪夫不等式估计在 利用切比雪夫不等式估计在1000次独立试验中 次独立试验中, 利用切比雪夫不等式估计在 次独立试验中 事件A发生的次数在 之间的概率; 事件 发生的次数在400 ~ 600之间的概率 发生的次数在 之间的概率 (2)要使 出现的频率在 要使A出现的频率在 要使 出现的频率在0.35 ~ 0.65之间的概率不小 之间的概率不小 于0.95, 至少需要多少次重复试验 至少需要多少次重复试验? 表示1000次独立试验中事件 发生的次数 次独立试验中事件A发生的次数 解: 设X表示 表示 次独立试验中事件 发生的次数, 则 X ~ B(1000,0.5), E(X)=1000×0.5=500, × D(X)=1000×0.5×0.5=250, × ×

P {400 < X < 600}= P {| X E ( X ) |< 100}

由切比谢夫不等式得

= P {400 500 < X 500 < 600 500}D( X ) 250 ≥ 1 = 1 = 0.975 2 2 100 100

(2)设需要做 次独立试验 则X ~ B(n, 0.5), 求n使得 设需要做n次独立试验 设需要做 次独立试验, 使得

X P 0.35 < < 0.65 ≥ 0.95 n

X P 0.35< < 0.65 = P{0.35n 0.5 n < X 0.5n < 0.65n 0.5n} n = P{ X 0.5n < 0.

15n} ≥ 0.95成立,由切比谢夫不等式得 成立 由切比谢夫不等式得

DX 0.25 n P { X 0.5 n < 0.15 n} ≥ 1 = 1 2 ( 0.15 n ) ( 0.15 n ) 2 只要 1 1 ≥ 0.95 , n ≥ 222 .2 0 .9 n

故至少需要做223次独立试验 次独立试验. 故至少需要做 次独立试验

第一节

大数定律

大数定律— 概率论中有关阐明大量随机现象平 大数定律 概率论中有关阐明大量随机现象平 的一系列定理。 均结果的稳定性的一系列定理 均结果的稳定性的一系列定理。 迄今为止,人们已发现很多大数定律(laws of 迄今为止 人们已发现很多大数定律 人们已发现很多大数定律 large numbers)所谓大数定律，简单地说，就是大 所谓大数定律， 所谓大数定律 简单地说，就是大 量数目的随机变量所呈现出的规律， 量数目的随机变量所呈现出的规律，这种规律一般 用随机变量序列的某种收敛性来刻画。 用随机变量序列的某种收敛性来刻画。

1.伯努利大数定理 1.伯努利大数定理定理 设试验E重复进行了n次, 事件A在每次实验中出现的 概率为p, µn 表示事件A发生的次数,则对任意ε > 0, 有

lim P{|n →∞

µnn

p |< ε } = 1

证明: 因为µn ~ b(n, p ), 故E ( µn ) = np, D( µn ) = np(1 p ) 证明1 p (1 p ) 从而E ( ) = p, D( ) = 2 D( µ n ) = n n n n

µn

µn

由切比雪夫不等式，P{| X EX |< ε} ≥ 1

DX

ε2

P(

µnn

p < ε ) ≥ 1

D(

n = 1 p (1 p) ε2 ε 2n

µn

)

令n → ∞n →∞

p (1 p ) 1 →1 2 ε n

从而 lim P (

µnn

p < ε) =1

●伯努利大数定律说明了当重复独立试验次数 伯努利大数定律说明了当重复独立试验次数 n 很大时，频率与其概率之差可为任意小， 很大时，频率与其概率之差可为任意小， 即说明了其频率的稳定性 频率的稳定性。 即说明了其频率的稳定性。 从而在实际推断中，当试验次数较大时， 从而在实际推断中，当试验次数较大时，可以 用事件发生的频率来近似代替概率。 用事件发生的频率来近似代替概率。

1, 第i次实验中事件A发生 (i = 1,2Ln) 若记 Xi = 0,第i次实验中事件A不发生则µn = ∑ X i ,i =1 n

µn

1 n 1 n 1 n = ∑ X i , p = ∑ P( A) = ∑ E ( X i ), n n i =1 n i =1 n i =1

从而定理可写成：

1 n 1 n lim P ∑ X i - ∑ E ( X i ) < ε = 1 n→∞ n i=1 n i =1

2.切比雪夫大数定律 2.切比雪夫大数定律

设相互独立的随机变量序列X 1 , X 2 ,L X n L 的数学期望与方差都存在,且存在常数c,使得 D( X i ) ≤ c(i = 1, 2L),则对任意ε > 0, 有 1 n 1 n lim P( ∑ X i ∑ E ( X i ) < ε ) = 1 n →∞ n i =1 n i =1

证明: 证明 由期望与方差的性质知1 n 1 n E( ∑ X i ) = ∑ E( X i ) n i =1 n i =1

1 n 1 D( ∑ X i ) = 2 n i =1 n

c 1 ∑ D( X i ) ≤ n2 nc = n i

=1n

利用切比雪夫不等式, 1 n 1 n 1 1 n 1 ≥ P( ∑ X i ∑ E ( X i ) < ε ) ≥ 1 2 D ∑ X i n i =1 n i =1 ε n i =1 1 n 1 n 所以 lim P ( ∑ X i ∑ E ( X i ) < ε ) = 1 n →∞ n i =1 n i =1

c ≥ 1 2 nε

表明， 很大时， ●切比雪夫大数定律表明，当n很大时， 切比雪夫大数定律表明 很大时1 n X1,X2 ,…,Xn的算术平均值 X = ∑ X i , n i =1 1 n 的取值， 附近。 的取值，集中在其数学期望 E ( X ) = ∑ E ( X i ) 附近。 n i =1

推论 设随机变量序列X 1 , X 2 ,L X n L 相互独立, 且具有相同的期望和方差：E ( X i )=µ ,D ( X i )=σ ,2

1 n 则对任意正数ε,有 lim P( ∑ X i µ < ε ) = 1 n →∞ n i =1

这使我们关于算术平均值的法则有了理论上的依据。 这使我们关于算术平均值的法则有了理论上的依据。 如我们要测量某段距离，在相同条件下重复进行n 如我们要测量某段距离，在相同条件下重复进行 它们可以看成是n个相 次，得n个测量值 X 1 , X 2 ,L , X n,它们可以看成是 个相 个测量值 互独立的随机变量具有相同的分布、相同的数学期望µ 互独立的随机变量具有相同的分布、相同的数学期望 和方差 σ 2,由大数定律知，只要n充分大，则以接近于1的概率保证 由大数定律知，只要 充分大，则以接近于 的概率保证 充分大

1 n µ ≈ ∑ Xi n i =1这便是在n较大情况下反映出的客观规律 故称为 大数” 这便是在 较大情况下反映出的客观规律,故称为“大数”定 较大情况下反映出的客观规律 故称为“ 律

例2 设随机变量序列ξ1 , ξ 2 Lξ n L 相互独立, 具有如下分布列 ξn na 0 naP1 2n 21 1 2 n

1 2n 2

问是否满足切比雪夫大数定律.

解: 由题意 ξ1 , ξ 2 Lξ n L相互独立, 又 1 1 1 E (ξ n ) = na 2 + 0 (1 2 ) + na 2 = 0 2n n 2n D(ξ n ) = E (ξ n2 ) ( Eξ n ) 21 1 1 2 2 2 = [n a 2 + 0 (1 2 ) + n a 2 ] 02 2n n 2n2 2

=a

2

即每个随机变量都具有有限的数学期望 有限的方差 满足定律. 即每个随机变量都具有有限的数学期望,有限的方差 满足定律 有限的数学期望 有限的方差,满足定律

定义 设X 1 , X 2 ,L X n ,L是一个随机变量序列， a是一个常数，若对任意正数ε,有

lim P{| X n a |< ε } = 1n→∞

则称{ 依概率收敛于 , 记作: 则称{Xn}依概率收敛于a, 记作:

Xn → aP

第二节

中心极限定理

人们已经知道， 人们已经知道，在自然界和生产实践中遇到大 量随机变量都服从或近似服从正态分布，正因如此， 量随机变量都服从或近似服从正态分布，正因如此， 正态分布占有特别重要的地位。 正态分布占有特别重要的地位。 那么，如何判断一个随机变量服从正态分布 那么， 显得尤为重要。如

经过长期的观测， 显得尤为重要。如经过长期的观测，人们已经知 道，很多工程测量中产生的误差X都是服从正态分 很多工程测量中产生的误差 都是服从正态分 布的随机变量。 布的随机变量。

分析起来，造成误差的原因有仪器偏差 分析起来，造成误差的原因有仪器偏差X1、 大气折射偏差X 温度变化偏差X 大气折射偏差 2,温度变化偏差 3、估读误差 造成的偏差X 等等，这些偏差X 造成的偏差 4等等，这些偏差 i 对总误差 的影响都很微小， 的影响都很微小，没有一个起到特别突出的影 响，虽然每个Xi的分布并不知道，但 X = ∑ X i 虽然每个 的分布并不知道， 却服从正态分布。 却服从正态分布。

例如： 设随机变量序列{ X n } 独立同分布于两点分布B (1, p ),

那么其部份和Yn = ∑ X k 服从二项分布B ( n, p ),

n

分别对n = 5,10, 20画出二项分布密度b( n, 0.5)的图形0.350.250.18 0.16

k =1

0.3 0.2 0.25 0.150.14 0.12 0.1 0.08

0.2

0.15

0.1

0.06 0.04

0.1 0.05 0.05

0.02 0

0

0 0 2 4 6 8 10 12 14 16 18 20

0

2

4

6

8

10

12

14

16

18

20

0

2

4

6

8

10

12

14

16

18

20

易知，当n变大时，这些图形越来越接近正态 分布的密度曲线.

棣莫佛-----拉普拉斯定理 1. 棣莫佛---拉普拉斯定理定理1 设随机变量X n ~ B (n, p ), ( n = 1, 2L), 则对 任意x ∈ R, 有X n np 1 lim P{ ≤ x} = ∫ e ∞ n →∞ np (1 p ) 2πx t2 2

dt =Φ ( x )

本文来源：https://www.bwwdw.com/article/rfq4.html