Gmm模型

在过去的三十多年里特别是从汉森（1982）的一篇富有开创性的论文起，兴起了使用GMM估计量的宏观经济和微观经济研究，GMM流行的原因有两点：一是它包括了许多常用的估计量，并且为比较和评价它们提供了有用的框架；二是相对其他估计量来说，GMM提供了一种相对“简单”的备选方法，特别是在极大似然估计量难以写出时，其优势更加凸显出来。下面就GMM估计量的特点和其与最小二乘法估计、极大似然估计的区别加以阐述。

（一）GMM估计量的特点

经典矩估计方法（Methods of Moments Estimation，简称MME）的基本思想是对样本矩与相应的概率分布模型的总体矩进行匹配。而在很多经济理论中，比如估计动态资产定价模型的未知参数时，并没有给出随机变量的联合概率分布，而是根据已有经济理论或者先验信息给出关于一个总体正交性条件的论断，这个

（y,X） )］ 0，其中g(·)是数据正交性条件通常表达为E［g(y,X，和参数 的

某个连续函数，这则构成了GMM的基本约束及核心假设。汉森（1982）指出，GMM估计可以利用如下的样本矩函数来定义：g（ ） T1T g(x,θ)，二次t

t=1T

$使S型是S，其中W是正定矩阵。GMM估计量 最（ ） Tg（ ）

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

EM算法与GMM

insmod 2014年4月

注：本文主要参考Andrew Ng的Lecture notes 8，并结合自己的理解和扩展完成。

GMM简介

GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛的应用。其典型的应用有概率密度估计、背景建模、聚类等。

图1 GMM用于聚类 图2 GMM用于概率密度估计 图3 GMM用于背景建模

我们以GMM

聚类为例子进行讨论。如图1所示，假设我们有m个点，其坐标数据为{

,

…

}。假设m个数据分别属于k个类别，且不知道每个点

属于哪一个类。

倘若假设每个类的分布函数都是高斯分布，那我们该如何求得每个点所属的类别?以及每个类别的概率分布函数(概率密度估计)？我们先尝试最大似然估计。

上式中概率；

是当前m个数据出现的概率，我们要将它最大化；

是

出现的

是指第z个类；

u

和分别指第

z

个类的均值和方差；

为其他的参数。为计算方

便，对上式两边取对数，得到似然函数。

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

上说道，GMM的表达式为k个高斯分布的叠加，所以有

为

类出现的先验概率。令j=

,所

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

EM算法与GMM

insmod 2014年4月

注：本文主要参考Andrew Ng的Lecture notes 8，并结合自己的理解和扩展完成。

GMM简介

GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛的应用。其典型的应用有概率密度估计、背景建模、聚类等。

图1 GMM用于聚类 图2 GMM用于概率密度估计 图3 GMM用于背景建模

我们以GMM

聚类为例子进行讨论。如图1所示，假设我们有m个点，其坐标数据为{

,

…

}。假设m个数据分别属于k个类别，且不知道每个点

属于哪一个类。

倘若假设每个类的分布函数都是高斯分布，那我们该如何求得每个点所属的类别?以及每个类别的概率分布函数(概率密度估计)？我们先尝试最大似然估计。

上式中概率；

是当前m个数据出现的概率，我们要将它最大化；

是

出现的

是指第z个类；

u

和分别指第

z

个类的均值和方差；

为其他的参数。为计算方

便，对上式两边取对数，得到似然函数。

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

上说道，GMM的表达式为k个高斯分布的叠加，所以有

为

类出现的先验概率。令j=

,所

第一章 课题背景和研究意义

近年来，视频监控系统在各行业得到了广泛应用，生活中有小区、超市等的 安全监控，银行系统有柜台监控，交通方面有违章监控等。这些监控系统是由一 个或多个摄像机以及与之相连的一套电视监视器组成的，它们的用途主要是对场 景的记录和保存，当异常情况，比如盗窃行为发生后，保安人员才通过记录的结 果察看发生的事情，但往往为时已晚。

视觉监视是指在一个繁忙环境中对人和车辆等进行实时的观察， 并给出对它们行为和动作的描述。这一技术包括了运动目标的检测、跟踪、目标分类和行为理解等方面，涉及到计算机视觉、模式识别和人工智能领域的许多核心课题，是一个具有挑战性的困难问题。

近年来随着集成电路和计算机技术的迅猛发展，视觉监视系统所要求的硬件设备成本大大降低，因此它获得了日益广泛的研究与应用。许多关于视觉监视的大规模研究项目已经在美国、欧洲和日本展开，同时它也成为许多国际学术会议关注的重要主题。运动目标检测与跟踪处于整个视觉监视系统的最底层，是各种后续高级处理如目标分类、行为理解等的基础。运动目标检测系指从视频流中实时提取目标，一般是确定目标所在区域和颜色特征等。目标检测的结果是一种“静态”目标——前景目标，由一些静态特征所描述。运动目标跟踪

什么是冰山模型?

美国著名心理学家麦克利兰于1973年提出了一个著名的素质冰山模型，所谓“冰山模型”，就是将人员个体素质的不同表现表式划分为表面的“冰山以上部分”和深藏的“冰山以下部分”。

其中，“冰山以上部分”包括基本知识、基本技能，是外在表现，是容易了解与测量的部分，相对而言也比较容易通过培训来改变和发展。

而“冰山以下部分”包括社会角色、自我形象、特质和动机，是人内在的、难以测量的部分。它们不太容易通过外界的影响而得到改变，但却对人员的行为与表现起着关键性的作用。

人的素质的六个层面

1、知识（Knowledge）：指个人在某一特定领域拥有的事实型与经验型信息

2、技能（Skill）：指结构化地运用知识完成某项具体工作的能力,即对某一特定领域所需技术与知识的掌握情况

3、社会角色（SocialRoles）：指一个人基于态度和价值观的行为方式与风格 4、自我概念（Self-Concept）：指一个人的态度、价值观和自我印象

5、特质（Traits）：指个性、身体特征对环境和各种信息所表现出来的持续反应。品质与动机可以预测个人在长期无人监督下的工作状态。

6、动机（Motives）：指

对象模型

动态模型 状态图如下

提示投币 do/请求投币

do/提示是假 币，退币

假币do/检查硬币

真币do/存储硬 币，计算硬币 总值

否do/确认投完 硬币

是 提示选择货物

do/提示选择货物

do/检测货物 存量

无货

提示无货物 do/提示没有存货 购买小于 提示数额不足 do/请求再次投币，确认是否继续购买

有货 计算价格 do/比较商品价格和投入硬币总值

不小于确认 do/确认顾客购买 不购买

不购买

购买do/送出货 物，请求找零

无零钱

有零钱提示找零 do/退币，提示取走零钱

取走零钱提示交易完成 do/显示交易完毕

顺序图

客户使用界面

自动售货机系统正常情况脚本

欢迎用户使用；用户投入硬币

售货机接受硬币并判断硬币是否为真的 售货机提示用户可以选择饮料

用户选择其想要选择的饮料;售货机接受选择 售货机检查硬币是否够用

售货机检查内部是否有足够的饮料 售货机送出饮料和找回的零钱 用户取走零钱和饮料

自动售货机系统异常情况脚本

欢迎用户使用；用户投入硬币

售货机接受硬币并判断硬币是否为真的 硬币是假的，提示用户重新投币

用户投入真币之后，售货机提示用户可以选择饮料 用户选择想要选择的饮料；售货机接受选择 售货机检查硬币是否够用；硬币不足够 售货机提示用户补充投币 用户填足硬币

ARCH模型和GARCH模型

1

Robert F. Engle Clive W. J. Granger

本章模型与以前所学的异方差的不同之处：随机扰动项的无条件方差虽然是常数，但是条件方差是按规律变动的量。

引子---问题的提出

以前介绍的异方差属于递增型异方差，即随机误差项方差的变化随解释变量的增大而增大。但利率，汇率，股票收益等时间序列中存在的

2

异方差却不属于递增型异方差。例如，汇率，股票价格常常用随机游走过程描述，

yt=yt-1+εt 其中εt为白噪声过程，

1995-2000年日元兑美元汇率时间序列及差分序列见图1和图2。 3

160140JPY (1995-2000)12010080200400600800100012001400图1 日元兑美元汇率序列JPY(1995-2000)

64D(JPY) (1995-2000)20-2-4-6-8200400600800100012001400 图2 日元兑美元汇率差分序列（收益）D(JPY)

4

8Volatility of returns6420200400600800100012001400

ARCH模型和GARCH模型

1

Robert F. Engle Clive W. J. Granger

本章模型与以前所学的异方差的不同之处：随机扰动项的无条件方差虽然是常数，但是条件方差是按规律变动的量。

引子---问题的提出

以前介绍的异方差属于递增型异方差，即随机误差项方差的变化随解释变量的增大而增大。但利率，汇率，股票收益等时间序列中存在的

2

异方差却不属于递增型异方差。例如，汇率，股票价格常常用随机游走过程描述，

yt=yt-1+εt 其中εt为白噪声过程，

1995-2000年日元兑美元汇率时间序列及差分序列见图1和图2。 3

160140JPY (1995-2000)12010080200400600800100012001400图1 日元兑美元汇率序列JPY(1995-2000)

64D(JPY) (1995-2000)20-2-4-6-8200400600800100012001400 图2 日元兑美元汇率差分序列（收益）D(JPY)

4

8Volatility of returns6420200400600800100012001400

2013年高考二轮专题复习之模型讲解

水平方向上的碰撞

［模型概述］

在应用动量守恒、机械能守恒、功能关系和能量转化等规律考查学生的综合应用能力时，常有一类模型，就是有弹簧参与，因弹力做功的过程中弹力是个变力，并与动量、能量联系，所以分析解决这类问题时，要细致分析弹簧的动态过程，利用动能定理和功能关系等知识解题。

［模型讲解］

一、光滑水平面上的碰撞问题

例1. 在光滑水平地面上有两个相同的弹性小球A、B，质量都为m，现B球静止，A球向B球运动，发生正碰。已知碰撞过程中总机械能守恒，两球压缩最紧时的弹性势能为EP，则碰前A球的速度等于（ ）

Zxxk A. B. C. D.

解析：设碰前A球的速度为v0，两球压缩最紧时的速度为v，根据动量守恒定律得出，由能量守恒定律得，联立解得，所以正确选项为C。

二、光滑水平面上有阻挡板参与的碰撞问题

例2. 在原子核物理中，研究核子与核子关联的最有效途径是“双电荷交换反应”。这类反应的前半部分过程和下述力学模型类似，两个小球A和B用轻质弹簧相连，在光滑的水平直轨道上处于静止状态，在它们左边有一垂直于轨道的固定挡板P，右边有一小球C沿轨道以速度v0射向B球，如图1所示，C与B发生碰撞并立

专题：传送带模型和滑块模型

1、 板块模型

此类问题通常是一个小滑块在木板上运动，小物块与长木板是靠一对滑动摩擦力或静摩擦力联系在一起的。分别隔离选取研究对象，均选地面为参照系，应用牛顿第二定律及运动学知识，求出木板对地的位移等，解决此类问题的关键在于深入分析的基础上，头脑中建立一幅清晰的动态的物理图景，为此要认真画好草图。在木板与木块发生相对运动的过程中，作用于木块上的滑动摩擦力f 为动力，作用于木板上的滑动摩擦力f为阻力，由于相对运动造成木板的位移恰等于物块在木板左端离开木板时的位移Sm 与木板长度L 之和，而它们各自的匀加速运动均在相同时间t 内完成。

例2 如图3所示，质量M=8kg的小车放在光滑的水平面上，在小车右端加一水平恒力F，F=8N，当

小车速度达到1．5m/s时，在小车的前端轻轻放上一大小不计、质量m=2kg的物体，物体与小车间的动摩擦因数μ=0．2，小车足够长，求物体从放在小车上开始经t=1．5s通过的位移大小。（g取10m/s）

解答：物体放上后先加速：a1=μ

2

g=2m/s2

，

此时小车的加速度

为： ，当小车与物体达到共同速度时：v共

=a1t1=v0+a2