em算法公式推导

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

EM算法与GMM

insmod 2014年4月

注：本文主要参考Andrew Ng的Lecture notes 8，并结合自己的理解和扩展完成。

GMM简介

GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛的应用。其典型的应用有概率密度估计、背景建模、聚类等。

图1 GMM用于聚类 图2 GMM用于概率密度估计 图3 GMM用于背景建模

我们以GMM

聚类为例子进行讨论。如图1所示，假设我们有m个点，其坐标数据为{

,

…

}。假设m个数据分别属于k个类别，且不知道每个点

属于哪一个类。

倘若假设每个类的分布函数都是高斯分布，那我们该如何求得每个点所属的类别?以及每个类别的概率分布函数(概率密度估计)？我们先尝试最大似然估计。

上式中概率；

是当前m个数据出现的概率，我们要将它最大化；

是

出现的

是指第z个类；

u

和分别指第

z

个类的均值和方差；

为其他的参数。为计算方

便，对上式两边取对数，得到似然函数。

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

上说道，GMM的表达式为k个高斯分布的叠加，所以有

为

类出现的先验概率。令j=

,所

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

EM算法与GMM

insmod 2014年4月

注：本文主要参考Andrew Ng的Lecture notes 8，并结合自己的理解和扩展完成。

GMM简介

GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛的应用。其典型的应用有概率密度估计、背景建模、聚类等。

图1 GMM用于聚类 图2 GMM用于概率密度估计 图3 GMM用于背景建模

我们以GMM

聚类为例子进行讨论。如图1所示，假设我们有m个点，其坐标数据为{

,

…

}。假设m个数据分别属于k个类别，且不知道每个点

属于哪一个类。

倘若假设每个类的分布函数都是高斯分布，那我们该如何求得每个点所属的类别?以及每个类别的概率分布函数(概率密度估计)？我们先尝试最大似然估计。

上式中概率；

是当前m个数据出现的概率，我们要将它最大化；

是

出现的

是指第z个类；

u

和分别指第

z

个类的均值和方差；

为其他的参数。为计算方

便，对上式两边取对数，得到似然函数。

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

上说道，GMM的表达式为k个高斯分布的叠加，所以有

为

类出现的先验概率。令j=

,所

马歇尔-勒纳条件：假定、推导和说明1

马歇尔-勒纳条件研究一定前提条件下

本币对外贬值改善贸易收支的必要条件

1)假定：

局部均衡：进出口值由进出口商品的相对价格和进出口量决定，其他影响进

出口的因素，如消费者的收入、其他商品的价格、消费者的偏好等都不变； 贸易商品的供给弹性无穷大，进出口的价格不因需求的增加而上涨，也不因

需求的减少而下降（贬值国是小国）；

不考虑资本流动，即国际收支等于贸易收支；

初始条件假定：假定贬值前贸易差额不大，进出口在贬值前基本平衡;

设出口商品的汇率弹性为 X，进口商品的汇率弹性为 M，即：

（1）

其中：

Δ:变化量，

X和M:分别表示出口数量和进口数量，

r:直接标价的汇率（一单位外币可兑换的本币数量）。本币对外贬值时，

r增加。

2)推导过程：

由于一国通常采用本币来记录国际收支，因此，我们讨论用本币表示国际收支的情况。

在没有国际资本流动的假定下，国际收支B等于贸易收支：

B PX rPM （2）

其中Px为出口商品以本币表示的价格，PM为进口商品以外币表示的价格，并假定这些价格不变。

如果本币贬值，即r增加时，dB>0，则本币贬值能起到改善贸易收支的作用。 对（2）式求导，得： 1本推导过程和说明的主要来源

马歇尔-勒纳条件：假定、推导和说明1

马歇尔-勒纳条件研究一定前提条件下

本币对外贬值改善贸易收支的必要条件

1)假定：

局部均衡：进出口值由进出口商品的相对价格和进出口量决定，其他影响进

出口的因素，如消费者的收入、其他商品的价格、消费者的偏好等都不变； 贸易商品的供给弹性无穷大，进出口的价格不因需求的增加而上涨，也不因

需求的减少而下降（贬值国是小国）；

不考虑资本流动，即国际收支等于贸易收支；

初始条件假定：假定贬值前贸易差额不大，进出口在贬值前基本平衡;

设出口商品的汇率弹性为 X，进口商品的汇率弹性为 M，即：

（1）

其中：

Δ:变化量，

X和M:分别表示出口数量和进口数量，

r:直接标价的汇率（一单位外币可兑换的本币数量）。本币对外贬值时，

r增加。

2)推导过程：

由于一国通常采用本币来记录国际收支，因此，我们讨论用本币表示国际收支的情况。

在没有国际资本流动的假定下，国际收支B等于贸易收支：

B PX rPM （2）

其中Px为出口商品以本币表示的价格，PM为进口商品以外币表示的价格，并假定这些价格不变。

如果本币贬值，即r增加时，dB>0，则本币贬值能起到改善贸易收支的作用。 对（2）式求导，得： 1本推导过程和说明的主要来源

推导

第十课时

教学目标：

知识与能力：使学生理解求圆锥体积的计算公式．

过程与方法：会运用公式计算圆锥的体积．

情感态度和价值观：：培养学生初步的空间观念和思维能力；让学生认识“转化”的思考方法。

教学重点

圆锥体体积计算公式的推导过程．

教学难点

正确理解圆锥体积计算公式．

教学过程：

一、铺垫孕伏

1、提问：

（1）圆柱的体积公式是什么？

（2）投影出示圆锥体的图形，学生指图说出圆锥的底面、侧面和高．

2、导入：同学们，前面我们已经认识了圆锥，掌握了它的特征，那么圆锥的体积怎样计算呢？这节课我们就来研究这个问题．（板书：圆锥的体积）

二、探究新知

（一）指导探究圆锥体积的计算公式．

1、教师谈话：

下面我们利用实验的方法来探究圆锥体积的计算方法．老师给每组同学都准备了两个圆锥体容器，两个圆柱体容器和一些沙土．实验时，先往圆柱体（或圆锥体）容器里装满沙土（用直尺将多余的沙土刮掉），倒人圆锥体（或圆柱体）容器里．倒的时候要注意，把两个容器比一比、量一量，看它们之间有什么关系，并想一想，通过实验你发现了什么？

2、学生分组实验

学生汇报实验结果

①圆柱和圆锥的底面积相等，高不相等，圆锥体容器装满沙土往圆柱体容器里倒，倒了一次，又倒了一些，才装满．

推导

②圆柱和圆锥的底面积不相等，高相等，

推导

第十课时

教学目标：

知识与能力：使学生理解求圆锥体积的计算公式．

过程与方法：会运用公式计算圆锥的体积．

情感态度和价值观：：培养学生初步的空间观念和思维能力；让学生认识“转化”的思考方法。

教学重点

圆锥体体积计算公式的推导过程．

教学难点

正确理解圆锥体积计算公式．

教学过程：

一、铺垫孕伏

1、提问：

（1）圆柱的体积公式是什么？

（2）投影出示圆锥体的图形，学生指图说出圆锥的底面、侧面和高．

2、导入：同学们，前面我们已经认识了圆锥，掌握了它的特征，那么圆锥的体积怎样计算呢？这节课我们就来研究这个问题．（板书：圆锥的体积）

二、探究新知

（一）指导探究圆锥体积的计算公式．

1、教师谈话：

下面我们利用实验的方法来探究圆锥体积的计算方法．老师给每组同学都准备了两个圆锥体容器，两个圆柱体容器和一些沙土．实验时，先往圆柱体（或圆锥体）容器里装满沙土（用直尺将多余的沙土刮掉），倒人圆锥体（或圆柱体）容器里．倒的时候要注意，把两个容器比一比、量一量，看它们之间有什么关系，并想一想，通过实验你发现了什么？

2、学生分组实验

学生汇报实验结果

①圆柱和圆锥的底面积相等，高不相等，圆锥体容器装满沙土往圆柱体容器里倒，倒了一次，又倒了一些，才装满．

推导

②圆柱和圆锥的底面积不相等，高相等，

从正态总体N（μ1，σ）和N（μ2，σ）中分别抽取含量为n1和n2的样本，两样本均数差值X1 －X

2 服从正态分布

N（μ1－μ2，?），其中

X1－X2?＝X1－X2?2(＋1n11) ① n2其中①式中σX1 －

X2 为两样本均数差值的标准误，其估计值为

n?n11SX－X＝SC2(＋)＝SC2(12) ② 12n1n2n1?n2其中②式中SC2为两样本合并的方差，其计算公式为：

?XSc?21?(X1)2/n1??X22?(?X2)2/n2n1?n2?22 ，则可用公式

③

如已计算出S1 和 S12③ 计算出

SX－X＝S2x?S2x2＝S21/n1?S22/n2④

1在H0：μ1＝μ2＝0的条件下，t的计算公式为：

t?|X1?X2|SX1?X2，ν＝n1?n2?2⑤

例3-3 测得14名慢性支气管炎病人与11名健康人的尿中17酮类固醇（u mol/24h）排出量如下，试比较两组人的尿中17酮类固醇的排出量有无不同。

病人X1：10.05 18.75 18.99 15.94 13.96 17.22 14.69 15.10 9.42

及时雨考研考博网 / QQ:602318502

第一章 绪论(Introduction)

（1）分子量的计算公式：

M

：重复单元数的分子量

M1：结构单元数的分子量

（2）数均分子量：

N1，N2 …Ni分别是分子量为M1，M2 …Mi的聚合物分子的分子数。

xi表示相应的分子所占的数量分数。

（3）重均分子量：

m1，m2 …mi 分别是分子量为M1 ，M2 …Mi的聚合物分子的重量

Wi表示相应的分子所占的重量分数

及时雨考研考博网 / QQ:602318502

（4）Z均分子量：

（5）粘均分子量：

α

：高分子稀溶液特性粘度—分子量关系式中的指数，一般在

0.5～0.9

之间

（6）分布指数

：分布指数

第一章 绪论(Introduction) （1）分子量的计算公式：

M0：重复单元数的分子量 M1：结构单元数的分子量 （2）数均分子量：

N1，N2 …Ni分别是分子量为M1，M2 …Mi的聚合物分子的分子数。 xi表示相应的分子所占的数量分数。 （3）重均分子量：

及时雨考研考博网 / QQ:602318502

m1，m2 …mi 分别是分子量为M1 ，M2 …Mi的聚合物分子的重量 Wi

表示相应的分子所占的重量分数

（

4）Z

均分子量：

（5）粘均分子量：

α：高分子

完全弹性 碰撞的速度公式推导过程

完全弹性碰撞的速度公式推导过程完全弹性碰撞的速度公式是怎么推导的无从得知，书上没讲，很多资料也没有讲，我想多半是为了不要影响思维的连贯性，所以将之省略了。我开始以为不复杂，就是上标下标看着烦人，所以就打算试着推导一下。谁知这个推导并没有想象中那么简单。第一次因为上下标搞混了，推导了半天没结果就放一边了。第二次仔细地推导，花了更多的时间，结果还是一塌糊涂。我终于明白书上为什么没有把这个推导过程放在书里了，的确是太复杂，学习的时候多半会干扰对碰撞本身的关注。但是这么放弃也有点不甘心，就又花了些时间，第三次准备将其推导出来。闲人可以看看，我也是放假闲着没事推导的，实在是很复杂很恐怖的推导。我自己都不想再看，因为象那样用常规的方式根本就推导不出来! 动量守恒定律: MpVp'+MqVq'=MpVp+MqVq(1-1) 动能守恒: (1/2)MpVp'2+(1/2)MqVq'2=(1/2)MpVp2+(1/2)MqVq2(1-2) 前两次推导吃了亏，所以第三次推导前仔细看了看书上结果公式的特点。有这样几个地方需要注意: 1、撞击后有两个速度，我们需要求的结果分别是这两个速度; 2、任一撞后的速度公式中，不能有另一个待求

两次相遇问题公式的推导

设A、B两地的距离为S，第一次相遇地点时距离B地S1，第二次相遇时距离A地S2，那么S=3S1-S2（双边公式）。

第一次相遇甲的路程为：S- S1 乙的路程为：S1 第二次相遇甲的路程为：2S-S2 乙的路程为：S+ S2

由于甲与乙两次相遇用的时间相同，因此两次相遇路程之比等于甲、乙的速度之比，即 V甲 S- S1 2

V乙

=

S1

=

2S-SS+ S2

简化：2SS2

1-S1S2=S+SS2-SS1-S1S2→2S1=S+S2-S1→S=3S1-S2 S2 S1

甲

② ① A

B

设A、B两地的距离为S，第一次相遇地点时距离B地S1，第二次相遇时距离B地S2，那么S=（3S1+S2）/2（单边公式）。

由图可知双边公式中的S2相当于单边公式中的S-S2，代入双边公式可得出S=3S1-（S-S2）→2S=3S1+S2→S=（3S1+S2）/2 S2 S1

② ① A

B

乙

甲乙