《时间序列分析》讲义

第1章 差分方程和滞后算子

第一节 差分方程

一．一阶差分方程

假定t期的y（输出变量）和另一个变量w（输入变量）和前一期的y之间存在如下动态方程：

yt??yt?1?w （1）

则此方程为一阶线性差分方程，这里假定w为一个确定性的数值序列。差分方程就是关于一个变量与它的前期值之间关系的表达式。一阶差分方程的典型应用为美国货币需求函数：

mt?0.27?0.72mt?1?0.19It?0.045rbt?0.019rct

wt?0.27?0.19It?0.045rbt?0.019rct

其中mt为货币量，It为真实收入，rbt为银行账户利率，rct为商业票据利率。 1）用递归替代法解差分方程 根据方程（1），可以得到

012?ty0??y?1?w0y1??y0?w1y2??y1?w2 （2） ?yt??yt?1?wt如果我们知道t??1期的初始值y?1和w的各期值，则可以通过动态系统得到任何一个时期的值。即

yt??t?1y?1??tw0??t?1w1?....?wt （3）

这个过程称为差分方程的递归解法。 2）动态乘子：

对于方程（3），如果w0随y?1变动，而w1,...,wt都与y?1无关，则w0对yt得影响为：

?yt?j?ytt??或??j （4） ?w0?wt方程（4）称为动态系统的乘子，或脉冲响应函数（即暂时性影响）。动态乘子依赖于j，即输入wt的扰动和输出yt?j的观察值之间的时间间隔。

对于方程（1），当0???1时，动态乘子按几何方式衰减到零；当?1???0，动态乘子振荡衰减到零；??1，动态乘子指数增加；???1，动态乘子发散性振荡。因此，??1，动态系统稳定，即给定wt的变化的后果将逐渐消失。??1，系统发散。

1

当??1时，此时yt?y?1?w0?w1?....?wt，即输出变量的增量是所有输入w的历史值之和。

如果w产生持久性变化，即wt,wt?1,...,wt?j都增加一个单位，此时持久性影响为：

?yt?j?wt??yt?j?wt?1??yt?j?wt?2?....??yt?j?wt?j??j??j?1?.....???1 （5）

当??1时，且j??是，持久性影响为

??yt?j?yt?j?yt?j?yt?j?1j?1jlim????....??1???....?????...? （6） ?j???w?w?w?w1???t?1t?2t?j??t?如果考察wt的一个暂时性变化对输出y的累积性影响，则和长期影响一致。

二．p阶差分方程

如果动态系统中的输出yt依赖于它的p期滞后值以及输入变量wt：

yt??1yt?1??2yt?2?.....??pyt?p?wt （7）

此时可以写成向量的形式，定义

?yt???1?2?3?y??100t?1????t??yt?2?， F??010???????????yt?p???000??从而（7）写成向量形式：

??p?1?p??wt??0??00?????00?， vt??0?

????????????10???0???t?F?t?1?vt （8）

这个系统由p个方程组成。为了便于处理，将p阶数量系统变成一阶向量系统。还可以采用滞后算子的办法来处理这个系统。

0期的?值为： 1期的?值为：

?0?F??1?v0

?1?F?0?v1?F??0?F??1?v0??v1?F2??1?Fv0?v1

2v1?Ft?v?t期的?值为： ?t?Ft?1??1?Ftv0?Ft?12....?Fvt??1vt

写成?和v的形式为：

?yt??y?1??w0??w1??wt?1??wt??y??y??0??0??0??0?t?1????2?????????t?1tt?11?yt?2??F?y?3??F?0??F?0??....?F?0???0? （9） ???????????????????????????????yt?p?1??y?p?????0???0???0????0?????? 2

该系统中的第一个方程代表了yt的值。令f11表示F中第?1,1?个元素，f12表示F中第

t

t

?t??t??1,2?个元素等等。于是yt的值为：

?t?1??t?1??t?1?yt?f11y?1?f12y?2?f13y?3?...?f1?pt?1?y?p ?f11w0?f11w1?...?f11wt?1?wt或

?yt?j?f11j?1??t??t?1??1? （10）

?yt?1?f12j?1??yt?2?f13j?1?yt?3?...?f1?pj?1?yt?p ?f11wt?f11?j??j?1?wt?1?...?f11wt?j?1?wt?j?1? （11）

表示成初始值和输入变量历史值的函数。此时p阶差分方程的动态乘子：

?yt?j?wt?? （12） ?f11jj是F的?1,1?元素。因此对于任何一个p阶差分方程，

?yt?1?y??1，t?2??12??2 （13） ?wt?wt对于更大j值，通过分析表达式（12）就非常有用。通过矩阵F的特征根地进行求解。矩阵F的特征根为满足下式的?值：

F??Ip?0 （14）

对于一个p阶系统，行列式（14）为特征根?的p阶多项式，多项式的p个解是F的P个特征根。 定理1：

??1?2?3?100?矩阵F??010???????000??p?1?p??00???00?的特征根由满足下式的?值组成：

??????10???p??1?p?1??2?p?2?...??p?1???p?0 （15）

1．具有相异特征根的p阶差分方程的通解

此时存在一个?p?p?阶非奇异矩阵T，满足

F?T?T?1F2?T?T?1T?T?1?T?2T?1 （16）

?Fj?T?jT?1

3

其中?是一个?p?p?矩阵，主对角线由F得特征根组成，其它元素为零，即

??10?0?2????????00?00?0?0???12??0??,?2??0?????????p????0ij0?22?000?0?1??1j?0????0?0,?,?j????????2???p????00?2j?000?0?0???0???????pj?? （17）

令tij表示T的第i行、第j列的元素，t表示T的第i行、第j列的元素。因此方程为：

?t11t12?tt2221jF????????tp1tp2?t??t? ?????jt???p11j?t1p???1j??t2p???0????????tpp????0j122j222jpjp0?2j?0110?0??t11t12??0?0??t21t22?????????p1p20??pj?t?t??12?t1p???t2p??????tpp??j111j211t?t??tp2?2j?t1p???tt??2122?t2p???tt????????p1p2?tpp?pj?t?t???t???t2p??????tpp??1p （18）

因此F的第?1,1?个元素为：

?j?11j21jp1j?????f11??tt??tt??....?tt?1111221pp?????? （19）

或者

j f11?c??c11i1?j??2j?2....?cp?pj （20）

其中ci???t1it??。因为程的动态乘子：

?c??tti1ii?1i?1ppi1，得到p阶差分方?TT?1?1。将（20）代入（12）

?yt?j?wt定理2：

???f11?c1?1j?c2?2j?....?cp?pj （21）

j??1?2?3?100?如果矩阵F??010???????000??p?1?p??00???00?的特征值??1,?2,....,?p?是相异的，则

??????10??ci??ip?1??????ikk?1k?ip （22）

4

因此求出F的特征值?，就可以求出相应的ci，由此就可以根据（21）计算得到动态乘子。

如果所有的特征值都是实根。如果存在一个特征根的绝对值大于1，则系统是发散的。根据（21），我们发现动态乘子最终由绝对值最大的特征根的指数函数决定。

5

第2章 单变量线性随机模型

第一节 预期、平稳性和遍历性

一、预期和随机过程

1．实现值（Realization）：观测到的序列值?x1,x2,...,xT?。

2．随机过程：随机过程Y??Yt,t?T?是一族随机变量，即对指标集T中的每个t，Yt是一个随机变量。如果t为时间，则Yt是过程在时刻t的状态。因此随机过程可以视为T个随机变量Yt的样本。 3．无条件均值

设想生成I个独立同分布N0,??2?的无穷序列?y??1?t?t??? ,yt???2??t??? ,..., ytt???I??，

t???再从每一个序列中取出t期观测值yt,yt,...,yt本。它的概率密度称为Yt的无条件密度：

??1??2??I??，这就是随机变量Y的I个实现的样

??yt2?1fYt?yt??exp?2? （1）

2???2??其均值如果存在，则称为无条件均值：

?E?Yt???ytfYt?yt?dyt （2）

??例如过程Y?t?????t，其无条件均值为E?Yt???是常数；过程Y?t???t??t是含时间趋势的过程，其无条件均值为E?Yt???t，是时间的函数。 二．自协方差和自相关

1．对于随机过程Y??Yt,t?T?是随机变量Yt的联合分布。可由该分布计算出Yt的第j各自协方差?jt：

?jt?E?Yt??t??Yt?j??t?j? （3）

它是Yt及其滞后值之间的协方差，因此称为自协方差。第0个自协方差?0t恰是Yt的方差。 2．自相关系数

对于协方差平稳过程?Yt?，定义

?j??j/?0?cov?Yt?Yt?j?Var?Yt?Var?Yt?j? （4）

为第j个自相关系数。显然?j?1。并且任意协方差平稳过程的第0阶自相关系数?0?1。

11

自相关系数?j也可以看作j的函数，称为自相关函数。自相关函数做成图形就是自相关图。ACF和均值、方差一起共同表现了弱平稳随机过程的特征。ACF通过测量过程的某个值和历史值的相关程度，显示了过程的“记忆”长度和力度。 三．平稳性 1．严平稳：

假设随机过程的性质不受时间地点变化的影响，称为绝对（严）平稳。即联合分布函数只取决于时期的间隔，与时期本身无关。从而它的所有矩都不依赖于时间。 2．弱（协方差）平稳：

如果随机过程的均值和协方差都不依赖于时间t，即

E?Yt??? 对所有t

E?Yt????Yt?j?????j 对所有的t和j

则过程是协方差平稳的或弱平稳的。过程Y?t?????t是协方差平稳的，其E?Yt???，

??2 j?0均为常数；过程Y?t???t??t是含时间趋势的过程，E?Yt????Yt?j??????0 j?0其无条件均值E?Yt???t是时间的函数，因此就不是协方差平稳的。 3．平稳和宽平稳的关系：

1） 具有有限二阶矩的严平稳过程，一定是弱平稳过程。

2） 弱平稳过程只限定一阶矩和二阶矩，但如果弱平稳过程是高斯过程，则它一定是严格平稳过程。 四．遍历性

前面进行的把时间序列的期望看作是总体平均。因此它是时间序列平均。如果时间平均收敛于总体平均，则称为过程是关于均值遍历的。仅当过程是遍历时，利用单组实现值来推断联合概率分布的未知参数才是正确的。 1．均值遍历：

如果一个协方差平稳过程?Yt?的自协方差?j满足

?则?Yt?是关于均值遍历的。 2．二阶矩遍历：

如果协方差平稳过程满足

?j?0?j??

??1?T?j???t?j?1??Y????YtTp??????j ?t?j 12

对所有的j成立，则称该过程是关于二阶矩遍历的。如果?Yt?是一个高斯平稳过程，则

??j?0?j??就能够保证过程关于所有矩都是遍历的。

3．平稳性和遍历性的区别：

?i? 考察一个平稳但非遍历的例子。假定第i个实现yt???t???的均值u?i?2是由N0,?生成

??的，即

Yt????????t （5）

ii其中??i

t?是独立于???的均值为零、方差为?2

的高斯白噪声过程。此时

?t?E???i???E??t??0

??i?0t?E?????2??2??2t

??E???i???????i?2jtt??t?j???

j?0

明显，过程是协方差平稳的。但并不满足遍历性条件。此时时间平均

?TT1/T??Y?i?t??1/T?t?1????i???t????i?T??1/T???t

t?1t?1收敛于??i?而不是Yt的均值零。

13

第二节 白噪声

一．白噪声过程：

22对于一个均值E??t??0、方差E?t??的序列??t?t???，满足

???E??t????0 t??

此时过程??t?t???称作一个白噪声过程。 二．独立白噪声过程

22对于一个均值E??t??0、方差E?t??的序列??t?t???，满足

?????t,??相互独立 t??

此时过程??t?t???称作一个白噪声过程。 三．高斯白噪声过程

222对于一个均值E??t??0、方差E?t??的序列??t?t???， ?t?N0,?，满足

???????t,??相互独立 t??

此时过程??t?t???称作高斯白噪声过程。

? 14

第三节 移动平均MA过程

一．一阶移动平均MA?1?

1．如果??t?满足白噪声过程，定义过程

Yt????t???t?1 （6）

其中?和?为常数。这个序列称为一阶移动平均过程MA?1?。期望为

E?Yt????E??t???E??t?1??? （7）

方差为

E?Yt????E??t???t?1? ??1??2??2一阶自协方差为

22 ?E??t2?2??t?t?1??t2?1? （8）

E?Yt????Yt?1????E??t???t?1???t?1???t?2? ?E??t?t?1???t2?1???t?t?2? （9） ???2高阶自协方差

E?Yt????Yt?j????E??t???t?1???t?j???t?j?1? ?0 j?1 （10）

上述均值和协方差都不是时间的函数，因此不管?为何，MA?1?过程都是协方差平稳的。 一阶自相关系数

??2??1?? （11） 2221???1????高阶自相关系数均为0。此时自相关函数在1阶处截尾。 例子：Yt??t?0.8?t?1，此时?1?2．几点结论：

1）正的?值得到正的自相关系数，一个大的Yt后面通常是一个比平均值大的Yt。 2）负的正的?值得到负的自相关系数，一个大的Yt后面通常是一个比平均值小的Yt。 3）自相关系数的取值区间?1???1,1?，并且对于每一个?1???0.5,0.5?，都有?和1/?与之对应。

二．q阶移动平均过程MA?q?：

?0.8??0.5 1??21.64 15

表达式为：

Yt????t??1?t?1??2?t?2?...??q?t?q （12）

其中??t?为白噪声过程，?1,?2,...,?q为任何实数。其均值、方差和自协方差分别为：

??E?Yt????0?E?Yt???22 ?E??t??1?t?1??2?t?2?...??q?t?q? ??1??12??22?...??q2??2 （13）

?j?E?Yt????Yt?j??? ?E??t??1?t?1??2?t?2?...??q?t?q???t?j??1?t?j?1??2?t?j?2?...??q?t?j?q? （14）

2????j??j?1?1??j?2?2?...??q?q?j?? ??0?? j?1,2,...,q j?q即自相关函数在q阶处截尾。

例如：MA?2?过程Yt??t??1?t?1??2?t?2：

?0??1??12??22??2?1???1??1?2??2?2??2??j?0 j?2三．无限阶移动平均过程MA???：

表达式为：

2 （15）

Yt????t??1?t?1??2?t?2?...... （16）

此时其平稳性要求绝对可加??j??或平方可MA???过程应注意其自协方差总是存在，

j?0?加

2??j??。此时自相关函数不具有截尾特征。 j?0? 16

第四节 自回归过程

一．一阶自回归过程AR?1?

表达式为差分方程：

Yt?c??Yt?1??t （17）

?t为白噪声序列。其中输入变量wt?c??t。

1．如果??1，系统（17）中?对Y的影响随着时间累增而不是消失，系统不是有限方差的协方差平稳过程。这个过程一般称为爆炸性过程。

2．??1时，系统为协方差平稳过程，此时利用滞后算子系统变为：

?1??L?Yt?c??t 利用求逆，从而得到此过程的解为MA???过程：

Yctt?1??L??1??L ?c1????1??L??2L2?......??t ?c1????t???t?1??2?t?2?.....明显，当??1时，满足绝对可加性：

????j???j?11???? j?0j?0此时系统的均值、方差、自协方差函数和自相关函数分别为：

E?Yt????c1????E?Y20t??? ?E??232t???t?1???t?2???t?3?.....? ??1??2??4??6?.....??2 ??21??2 ?j?E?Yt????Yt?j??? ?E??t???t?1??2?t?2?....???t?j???t?j?1??2?t?j?2?....? ???j??j?2??j?4?...??2 ??j21??2?

18）

19）

20） 21）

17

（ （ （ （?j??j??j ?0从函数可以发现，自相关系数函数按几何方式衰减。自相关系数函数与脉冲响应函数或动态乘子相同。?t增加一个单位对于Yt?j的影响等于Yt和Yt?j之间的相关系数。正的?值意味着

Yt和Yt?j之间正相关。负的?值意味着Yt和Yt?j之间负相关。此时自相关函数拖尾。

如果假定过程是协方差平稳的（??1），可直接利用差分方程Yt?c??Yt?1??t计算各阶矩。对（17）两边取期望：

E?Yt??c??E?Yt?1? 从而，

E?Yct????1?? 系统（17）变形，得到：

Yt???1?????Yt?1??t 或?Yt??????Yt?1?????t 两边平方求期望：

E?Y??2??2E?Y2??2t?t?1????2?E???Yt?1????t???Et? 将?Y2t?1?????t?1???t?2???t?3?....代入（25）

，可得 ?0??2?20?? 从而得到协方差平稳AR?1?过程的方差：

??20?1??2 根据同样的道理，（17）两侧同时乘以?Yt?j???，再求期望，可得自协方差函数：E???Yt????Yt?j???????E???Yt?1????Yt?j??????E???t?Yt?j????? 即

?j???j?1 解自协方差函数的差分方程，得到

?j??j?0 自相关函数为：

??jj????j 0 （22）

（23） （24）

（25）

（26）

（27） （28）

（29）

（30）

（31）

18

结论相同。并且得到脉冲响应函数和AR?1?过程的自相关函数相同的原因。 二．二阶自回归过程AR?2?：

表达式为

Yt?c??1Yt?1??2Yt?2??t （32）

或者写成滞后算子形式：

?1??L??L?Y?c?? （33）

212tt22差分方程（33）的平稳条件是特征方程1??1z??z?0的根都落在单位圆外。此时自回

??归算子的逆为：

??L???1??1L??2L2???0??1L??2L2?.... （34）

?1这里的?j由矩阵F的第?1,1?个元素给出。

j将（33）两边同时乘以??L?得到：

Yt???L?c???L??t （35）

显然

E?Yt??????L?c?也可直接对（32）两边取期望，从而有

c1??1??2 （36）

E?Yt????c??1E?Yt?1???2E?Yt?2??c??1???2? （37）

再次得到

E?Yt????系统（32）变形为

c1??1??2 （38）

Yt???1??1??2???1Yt?1??2Yt?2??t （39）

进一步变形

Yt????1?Yt?1?????2?Yt?2?????t （40）

两边同时乘以Yt?j??，求期望，得到

???j??1?j?1??2?j?2 j?1,2,.... （41）

两边同时除以?0，得到

?j??1?j?1??2?j?2 j?1,2,.... （42）

可见，对于AR?2?过程，其自协方差和自相关函数仍然是差分方程。当j?1时，

19

?1??1/?1??2?；当j?2时，?2??1?1??2；由此通过逐次求解迭代就可以求得自相关

函数。自相关函数仍然具有拖尾特征。

下面我们求二阶自回归过程的方差。（40）两侧同时乘以?Yt???，再求期望得到：

E?Yt?????1E?Yt?1????Yt?????2E?Yt?2????Yt????E???t?Yt????? （43）

即

2?0??1?1??2?2??2??0??1?1?0??2?2?0??2 （44）

整理一下，得到

1??2??2? （45） ?0?22???1??2???1??2???1?三．p阶自回归过程AR?p?

表达式为：

Yt?c??1Yt?1??2Yt?2?....??pYt?p??t （46）

其平稳性条件为特征方程1??1z??2z2?...??pzp?0的根都在单位圆外。假设过程协方差平稳，则对（46）两边求期望，得到：

??c??1???2??...??p? （47）

从而可以得到均值：

??c/?1??1??2?...??p? （48）

表达式（46）可以写成：

Yt????1?Yt?1?????2?Yt?2????....??p?Yt?p?????t （49）

表达式两侧同时乘以Yt?j??，再取期望可得自协方差：

????1?j?1??2?j?2?...??p?j?p j?1,2,... （50） ?j??2??1?1??2?2?...??p?p+? j?02已知??j??j，因此得到结论：当j?0,1,2,...,p时，?0,?1,...,?p是?,?1,?2,...,?p的函数。

（50）两侧同时除以?0，得到由拉沃克（Yule-Walker）方程：

（51） ?j??1?j?1??2?j?2?...??p?j?p j?1,2,...因此表达式（50）和（51）表明，p阶自回归过程的自协方差函数和自相关函数具有相同形式的p阶差分方程，其自相关函数的具有拖尾特征。在相异根的条件下，自协方差解：

?j?g1?1j?g2?2j?...?gp?pj （52）

20

其中特征根?1,?2,...,?p为特征方程?p??1?p?1?...??p?0的解。

?? 21

第五节 自回归移动平均过程ARMA ?,p?qARMA?p,q?表达式为：

Yt?c??1Yt?1??2Yt?2?....??pYt?p??t??1?t?1?...??q?t?q （53）

写成滞后算子的形式为：

?1??L??L122?....??pLp?Yt?c??1??1L?...??qLq??t （54）

2p两侧同时除以1??1L??2L?....??pL，从而得到

??Yt?????L??t （55）

其中

??L???1??L??L?....??L???c/?1?????....???

2p12p12p?1??L?...??L?q1q

??j?0?j??

从而可以发现，ARMA?p,q?过程的平稳性完全取决于回归参数?1,?2,...,?p而与移动平均参数无关。即ARMA?p,q?过程的平稳性条件为特征方程：

??1??1z??2z2?....??pzp?0

的根在单位圆外。

（53）变形：

Yt????1?Yt?1?????2?Yt?2????....??p?Yt?p?????t??1?t?1?...??q?t?q （56）

两边同时乘以Yt?j??，求期望得到自协方差。当j?q时，结果方程的形式p阶自协方差形式：

从而解为

???j??1?j?1??2?j?2?....??p?j?p j?q?1,q?2,..... （57）

?j?h1?1j?h2?2j?....?hp?pj （58）

j?q时的自协方差函数比较复杂，并且不具有应用意义。不过ARMA?p,q?过程的自相关

函数都具有拖尾特征。

ARMA?p,q?过程容易出现的两个问题：

1） 过度参数化问题。例如一个白噪声过程Yt??t也可以用?1??L?Yt??1??L??t表示。

22

此时无论?取何值，利用?1??L?Yt??1??L??t都能够很好的拟合数据，因此造成估计的困难。

2） ARMA?p,q?过程的表达式（54）的滞后多项式进行因式分解得到

?1??1L??1??2L?....?1??pL??Yt?????1??1L??1??2L?...?1??qL??t （59）

2pq假设自回归算子1??1L??2L?....??pL和移动平均算子1??1L?...??qL存在共同

????根（公因子），同时除以公因子，得到的过程ARMA?p?1,q?1?和原来的ARMA?p,q?过程相同。

23

第六节 MA?1?过程的可逆性及偏相关函数

一．MA?1?过程的可逆性

对于MA?1?过程

Yt????1??L??t

?t为白噪声。当??1时，表达式（60）能够表示成无穷阶的自回归过程：

?1??L??此时MA?1?过程可逆。

22L??3L3?.....??Yt?????t （60）

前面我们说过，对于MA?1?过程，其移动平均系数?和??1能够得到相同的自相关系数。

可逆性条件就是为了消除这种现象。从而可以避免某些估计和预测的算法失效。 二．偏自相关函数

对于p阶自回归过程Yt?c??1Yt?1??2Yt?2?....??pYt?p??t ，可以改记为：

Yt?c??k1Yt?1??kY2t??2....??kkYt?k??t （61）

这是考虑了k步延迟后的偏自相关系数，它排除了k?1个中间变量Yt?1,Yt?2,...,Yt?k?1的影响后，Yt和Yt?k的自相关系数。设Yt的均值为零，该自相关系数为：

?t,k?E?YYtt?k? （62）

Var?Yt?考虑（61）两侧同时乘以Yt?k，并取期望得到：

E?YYtt?k???k1E?Yt?1Yt?k???k1E?Yt?2Yt?k??....??kkE?Yt?kYt?k??E??txt?k? （63）

2由于Yt?1,Yt?2,...,Yt?k?1给定，且EYt?k?Var?Yt?，从而有

??E?YYtt?k???kkVar?Yt??E??tYt?k? （64）

当k?0时，?t与Yt?k无关，故

?kk?E?YYtt?k???t,t?k （65）

Var?Yt?所以当延迟k步时，AR?k?序列的偏自相关系数为?kk。偏自相关系数序列称为偏自相关函数。

根据上面的讨论，对于AR?p?过程，其偏自相关函数在p处截尾。而对于任何可逆MA过程，由于都能表示成无穷阶的自回归过程，因此具有拖尾的偏自相关函数。

下面用图表总结一下：

24

表1 时间序列模型性质表

模型 性质 模型方程 AR(p) MA(q) ARMA(p,q) ?p?L?Yt??t ?p?z??0的根在单位圆外 Yt??q?L??t 无条件平稳 ?p?L?Yt??q?L??t ?p?z??0的根在单位圆外 平稳条件 可逆条件 ACF自相关 PACF偏自相关 无条件可逆 拖尾 在p截尾 ?q?z??0的根在单位圆外 在q截尾 拖尾 ?q?z??0的根在单位圆外 拖尾 拖尾 25

第七节 预测

一．预测原理（基于条件的预测）：

定义1：均方误差

对于任何预测都存在误差，我们需要给出一个损失函数来度量预测偏离一个特定的量的程度。假定一个二次损失函数，选择Yt*，使得 ?1t （66） EYt?1?Yt*?1t最小。表达式（66）称为预测值Y*t?1t??2的均方误差，记做MSEY???E?Y*t?1tt?1?Y*t?1t?。

2定理1：最小均方误差预测就是Xt条件下Yt?1的期望。 证明：

假定Yt*为基于条件期望以外的其他函数g?Xt?的预测Yt*?g?Xt?，其MSE为： ?1t?1tE?Yt?1?g?Xt??22?E??Yt?1?E?Yt?1Xt??E?Yt?1Xt??g?Xt???2?E??Yt?1?E?Yt?1Xt????E??E?Yt?1Xt??g?Xt???2 （67）

?2E??Yt?1?E?Yt?1Xt??????Yt?1Xt??g?Xt???2???E??Yt?1?E?Yt?1Xt????E??E?Yt?1Xt??g?Xt????2E??t?1?因为在Xt的条件下，EYt?1Xt与g?Xt?都是常数，因此

2??E???t?1Xt?? （68） ?E??Yt?1?E?Yt?1Xt???XtE???Yt?1Xt??g?Xt????0根据迭代期望法则，（68）的期望就是无条件期望，即

????E??t?1??E??E??t?1Xt???Xt?0 （69）

从而，（67）变为

??E?Yt?1?g?Xt???E??Yt?1?E?Yt?1Xt????E??E?Yt?1Xt??g?Xt??? （70）

右边第一项为常数，因此如果希望均方误差最小，只有：

222E?Yt?1Xt??g?Xt? （71）

定理得证。

定义2：线性投影

假设预测Yt*为Xt的线性函数，即Yt*?a?Xt。如果存在一个?，使得预测误差?1t?1t 26

?Yt?1???Xt?与Xt，即

E???Yt?1???Xt?Xt????0? （72）

则预测??Xt称为Yt?1关于Xt的线性投影。

定理2：在线性预测族中，线性投影具有最小均方误差。 证明和定理1相似。

线性投影是随机过程总体特征的归纳；而OLS回归是对样本观察值的归纳。 二．基于无限观察值的预测 1．基于滞后?的预测：

对于MA???过程

?Yt??????L??t （73）

其中?t为白噪声且

???L????jLjj?0?0?1 （74）

??j?0?j??假定已知t期以前的?的所有观测值??t,?t?1,...?、?以及?，?1,?2,...?的值。根据（73）可以得到：

Yt?s????t?s??1?t?s?1?....??s?1?t?1??s?t??s?1?t?1?... （75）

最优线性预测形式为

??Y?,?,....??????????... （76） Ests?1t?1?t?stt?1?即令未知的?等于期望值零。预测误差为

??Y?,?,....??????Yt?s?Et?s1t?s?1?....??s?1?t?1 （77） ?t?stt?1?根据线性投影的性质，预测误差的均值为零，且与??t,?t?1,...?线性无关。所以（76）为最优预测。其均方误差为：

??Y?,?,....?EYt?s?E?t?stt?1?2????1??221?....??s2?1??2 （78）

例： MA?q?过程，??L??1??1L??2L?....??qL

q解：最优线性预测为：

???s?t??s?1?t?1?...??q?t?q?s??Y?,?,....???E?t?stt?1????

s?1,2,...,q （79）

s?q?1,q?2,...27

均方误差MSE为

?2?1???1??2121?....??s2?1??2?....??q2??2s?1s?2,3,...,q （80） s?q?1,q?2,...均方误差MSE随着预测长度的增加而增加，直到s?q为止。对于MA?q?的q解以后的预测，其预测值为该序列的无条件均值E?Yt???。MSE为该序列的无条件方差

?1??21?....??q2??2。

s取多项式??L?除以L：

??L?Ls?L?s??1L1?s??2L2?s?....??s?1L?1??sL0??s?1L1???s?2L2?.... （81）

其零化算子?.??表示将L中的负次方变为零，即

???L??12?s???s??s?1L??s?2L?.... （82） ?L??此时最优预测

??Y?,?,....???????L??? （83） E?s?t?t?stt?1??L??2．基于滞后Y的预测：

对于AR???过程

??L??Yt?????t （84）

其中?t为白噪声，??L????Ljj?0?j，?0?1，

??j?0?j??。假定AR多项式??L?和MA多

项式??L?之间有如下关系：

??L??????L??? （85）

满足条件（82），则根据?Yt,Yt?1,....?的观察值构造出??t,?t?1,...?。将（84）代入（83），得到

?11??YY,Y,....???????L????L??Y?????????L??E?Yt???（86） ?s??s?t?t?stt?1??L???L????L?（86）称为维纳-科尔摩格洛夫（Wiener-Kolmogorov）预测。它以初始值

??Y???,?Ytt?1???,....?以及继后值??t?1,?t?2,...,?t?s?的形式表达?Yt?s???的值，再将式

28

中含未来的?的项去掉。

定理3 多重投影定理

如果Yt?2的t?1期的预测是t期信息的投影，则结果为Yt?2的t期最小均方误差预测。 例1 AR?1?过程?1??L??Yt?????t预测： 解： ??L??1?1??L??2L2?.....

1??L???L???sss?11s?22 ?s?????L??L?....?1??L?L??代入（86），得到

?ss?E??Yt?sYt,Yt?1,....?????1??L?1??L??Yt????????Yt???

随着预测期s的增加，预测值从?Yt???按几何方式衰减到?。前s期预测的均方误差为：

2?s?1?24??2 MSE??1?????....?????2随着s的增加，渐进于无条件方差。 21??例2 AR?p?过程的预测 解：AR?p?过程可以表示为：

????Yt?s???f11?Yt????f12?Yt?1????...?f1?p??Yt?p?1???sss ??t?s??1?t?s?1??2?t?s?2?...??s?1?t?1其中?j?f11。因此最优前s期预测为：

?j?

????f?s??Y????f?s??Y????...?f?s??YY11t12t?11pt?p?1??? t?st预测误差为：

??????Yt?s?Yt?s1t?s?1??2?t?s?2?...??s?1?t?1 t?st?，则最优预测为： 对于AR?p?过程的预测，最简单的方法是简单递归。首先预测Yt?1??????Y??????Y????...???YY1t2t?1pt?p?1??? t?1t预测Yt?2的最优预测为：

?Y????1?Yt?1?????2?Yt????...??p?Yt?p?2??? t?2t?1于是

???????Y????...???YYt?2t????1Yt?12tpt?p?2???

?? 29

?代入，得到 将Yt?1?Yt?2t????1?1?Yt?????2?Yt?1????...??p?Yt?p?1?????

??2?Yt????...??p?Yt?p?2??? ?????2??Yt??????1?2??3??Yt?1???21 ?...???1?p?1??p??Yt?p?2?????1?p?Yt?p?1???前s期预测可由下面的迭代得到：

????Yt?jt????1Yt?j?1t????2Yt?j?2t???...??pYt?j?pt?? j?1,2,...s ,???????其中Y?t?Y? ??t。

例3 MA?1?过程的预测

解：MA?1?过程的表达式为Yt????1??L??t，其中??1。将维纳-科尔摩格洛夫公式（86）中的??L?换成?1??L?，得到

?1?1??L?Yt?st????s??Yt???

?L??1??L?1??L?s?1时， ?1???，于是

?L???Yt?1t?????Yt????????Yt?????2?Yt?1?????3?Yt?2????.... 1??L?1??L?s?2,3,....时，?1??0，于是

?L??? Yt?st?? s?2,3,...例4：MA?q?过程的预测

2q解：对于可逆的MA?q?过程Yt???1??1L??2L?....??qL?t，则预测公式（86）变

??为：

?Yt?st?1??1L??2L2?....??qLq?1????Y??? ?s2q?tL?????1??1L??2L?....??qLs?1,2,...,qs?q?1,q?2,...

?1??1L??2L2?....??qLq???s??s?1L??s?2L2?....??s?qLq?s????sL0??????因此，s?1,2,....,q时，预测为：

????????L??L2?....??Lq?s???t Yss?1s?2s?qt?st 30

其中?t??Yt?????1?t?1?...??q?t?q。s?q期的预测为无条件均值?。

例5．ARMA?1,1?过程预测

解：ARMA?1,1?过程?1??L??Yt?????1??L??t，当??1,??1时，满足平稳性???和可逆性。因此预测为：

Y??1??L?1??Lt?st??????1??L?Ls??Yt??? ??1??L其中

??1??L???1??L?Ls??????1??L??2L2?...??L?1??L??2L2??...?????Ls?Ls??? ???s???s?1??1??L??2L2?...???s?1????s?1??L从而预测为

ss?1Y??????????1??Lst?st1??L1??L?Yt???????????s?1?1??L?Yt???

对于s?2,3,...，预测服从递归算法：

Y???t?st????Yt?s?1t???

即在一期以后，预测按几何方式以速度?收敛于无条件均值?。前一期的预测为：Y?????t?1t???1??L?Yt??????Yt??????t

其中

???Y??t?t??????Yt?1??????t?1?Yt?Ytt?1 例6：ARMA?p,q?过程预测 解：对于ARMA?p,q?过程

?1??L??212L?...??pLp??Yt?????1??1L??2L2?...??qLq?

1期预测为

Y?t?1t????1?Yt?????2?Yt?1????...??p?Yt?p??? ????? 1?t??2?t?1?...??q?t?q

31

其中?t?Yt?Ytt?1。前s期预测为：

???Yt?st????1Y????2Yt?s?2t???...??pt?s?1t????????? ??s?t??s?1?t?1?...??q?t?q????Y????Y???...??p?2t?s?2t?1t?s?1t???????????Yt?s?pt???Yt?s?pt????s?1,2,...,q

s?q?1,q?2,...当s?q时，预测为由自回归系数决定的p阶差分方程。

32

A程之和 第八节 ARM过

一．MA?1?过程加白噪声过程 假定Xt?MA?1?过程：

Xt?ut??ut?1 （87）

2其中ut为均值为零、方差为?u的白噪声。Xt的自协方差为：

??1??2??u2??E?XtXt?j?????u2?0??j?0j??1 （88） other2令vt表示均值为零、方差为?v白噪声，且与u线性无关。因此

E?Xtvt?j??0 对所有的j （89）

令Yt表示Xt和vt的和，则

Yt?ut?vt??ut?1 （90）

其均值为0，自协方差为：

??1??2??u2??v2??E?YY???u2??tt?j?0??此时Yt是协方差平稳的。并且Yt可以表示为：

j?0j??1 （91） otherYt??t???t?1 （92）

2其中?t?WN0,?。即MA?1?过程加白噪声过程产生一个新的移动平均过程。

??二．两个移动平均过程相加

令Xt和Wt表示零均值的移动平均过程：

Xt??1??1L??2L2?...??q1Lq1?ut???L?utWt??1?k1L?k2L?...?kq2L2q2?vt?k?L?vt （93）

22其中ut?WN0,?u,vt?WN0,?v。假定对所有的j，EXtWt?j?0。设

??????Yt?Xt?Wt （94）

定义q?max?q1,q2?。则

??jX??WjE?YY?EXX?EWW???????tt?jtt?jtj?0

j?0,?1,?2,...,?qother （95）

33

因此超过q阶滞后的自协方差为零，即Yt可以用MA?q?表示。 三．两个自回归过程相加

假设Xt和Wt表示两个AR?1?过程，

?1??L?Xt?ut （96）

?1?pL?Wt?vt其中ut和vt都是白噪声且对于所有的t和?，ut和vt无关。假设

Yt?Xt?Wt 则（96）变形得到

?1?pL??1??L?Xt??1?pL?ut?1??L??1?pL?W t??1??L?vt相加得到：

?1?pL??1??L??Wt?Xt???1?pL?ut??1??L?vt 即可用一个ARMA?2,1?来表示：

?1??L??L212?Yt??1??L??t 其中

?1??L??L212?t??1?pL??1??L??1??L?? t??1?pL?ut??1??L?vt当??p时，

?1??L?Yt??1??L??Xt?Wt??ut?vt 此时为AR?1?过程。

如果是AR?p1?和AR?p2?相加，即

??L?Xt?utp?L?W t?vt则得到一个ARMA?p1?p2,max?p1,p2??过程

??L?Yt???L??t 其中??L????L?p?L?。

（97）

（98）

（99）

100）

101）

102）

103）

104）

34

（ （ （ （ （第九节 沃尔德分解和ARMA建模

一．沃尔德分解

定理4 Wold分解定理：

任何零均值协方差平稳过程Yt可表示成如下形式

Yt?其中?0?1，且差：

???j?0?j?t?jk t （105）

??2?，表示以Y的滞后项预测Yt产生的误j??。?t是白噪声（新生量）j?0??YY,Y,...? （106） ?t?Yt?Ett?1t?2??kY,Y,...? （107） kt?Ett?1t?2对于任意的j，kt的值与?t?j无关。kt由Y的过去值确定，称为Yt的线性确定性分量。

??j?0?j?t?j称为线性非确定性分量，若kt?0，该过程为纯线性不确定的。

Wold分解定理仅依赖于Y的稳定的二阶矩。因此描述了Y的最优线性预测。 二．Box-Jenkins建模 1．建模基本思想

将某个时间序列的SACF和SPACF的行为与各种理论ACF和PACF的行为匹配起来，

2挑选最佳匹配（或一组匹配的集合），估计模型的未知参数?i,?i,?，并检查从模型拟和

??得到的残差，已发现可能的模型错误。

步骤：

1） 变换数据，是数据满足协方差平稳性假设（单位根检验和季节调整）。 2） 对序列的ARMA?p,q?过程的参数p,q做一个初始的较小值猜测。 3） 估计??L?和??L?的系数。

4） 初步诊断分析。保证所得模型和数据特征相符。 2．样本自相关SACF

?j??j/?0 （108）

其中

???1T?j???yt?y??yt?j?y? j?0,1,2,...,T?1 （109）

Tt?j?1?1Ty??yt （110）

Tt?1

35

由于实际上假定了协方差平稳性，因此当j??，总体自协方差趋向于零。

SACF的检验统计量为：

Q?k??T?ri2 （111）

*i?1k其渐进分布服从自由度为k的卡方X分布，即Q?k?~Xk。

*2a3．偏自相关函数SPACF

m阶偏自相关系数的估计是y关于常数项和最近m个值的OLS回归的最末一个系数：

???m???m?????1?m?yt??2yt?1?cyt?1?...??myt?m?1?et （112）

?其中et代表OLS回归的残差。

4．选择模型的标准：（存在多个行为匹配的模型） 1） AIC标准：（Akaike信息标准）

?2?2?p?q?T?1 （113） AIC?p,q??log?2） BIC标准

???p?q?T BIC?p,q??log?2?1logT （114）

3）首先设定??B?和??B?的阶数上限，pmax和qmax，并规定p??0,1,....,pmax?和

q??0,1,...,qmax?，则选择的阶数p1和q1由法则确定：

AIC?p1,q1??minAIC?p,q?或 BIC?p1,q1??minBIC?p,q? （115）

三、ARMA?p,q?在Eviews中的实现

1

通过自相关分析图判断平稳性：如果序列的自相关系数很快地趋于零，即落入随机区间，则时序是平稳的，否则是非平稳的。 2

自相关图的实现：主菜单中选择quick/series Statisttics/correlogram，在对话框中输入分析的序列名称。如index，点击OK弹出相关图定义。选择之后，点击OK，从而得到时间序列的自相关和偏自相关分析图。 3 4

根据相关图和偏自相关图判断自回归和移动平均的阶数。

模型参数的估计方法： 在主窗口选择Quick/Estimate/Equation，输入index ar(1) ar(2) …ar(p) ma(1) ma(2)…ma(q) 点击OK进入。 5

结果中要求AIC和BIC越小越好。而且最后两行的数值落在单位圆内。

6 模型的检验：

1）对模型的残差序列进行白噪声检验。检验残差序列的样本自相关系数是否为零。

检验统计量为卡方检验。残差序列的自相关函数为

36

?r?e???knt?k?1tt?kn2tt?1eee k?1,2,.... （116） m ,m为最大滞后期。一般取n/4。检验统计量为

rk2?e? （117） Q?n?n?2??k?1n?km2在零假设下，Q服从卡方分布。给定置信度，如果Q?X??m?p?q?，则不能拒绝残差

序列相互独立的原假设，通过检验。否则拒绝原假设。直接对残差序列的检验，分析残差序列的自相关图。

（2） 检查是否过度拟合。用高阶的模型进行拟合，并与原模型比较。

[注释]：

1）见《数据分析与Eviews应用》第五章。 2）阶数一般选择不要超过2。

3）建立模型前，一般要进行单位根检验，从而采取方法消除季节性和趋势性对模型的影响。

参考文献：

1．《金融时间序列的经济计量学模型》 经济科学出版社 米尔斯著 2．《Introductory Econometrics for Finance》 Chris Brooks 剑桥大学出版社 3．《时间序列分析》 汉密尔顿 中国社会科学出版社

4．《经济周期的波动与预测方法》 董文泉 高铁梅著 吉林大学出版社

5．《协整理论与波动模型——金融时间序列分析与应用》张世英、樊智著 清华大学出版社 6．《数据分析与Eviews应用》 易丹辉主编 中国统计出版社

37

第四章 极大似然估计

第一节 引言

考虑ARMA模型：

Yt?c??1Yt?1??2Yt?2?....??pYt?p??t??1?t?1?...??q?t?q （1）

22其中?t?WN0,?。前面我们假定知道总体参数c,?1,...,?p,?1,...,?q,?，此时利用过

????程（1）进行预测。

2本章我们要研究在仅能观测到Y的情况下，如何估计c,?1,...,?p,?1,...,?q,?。估计2方法为极大似然估计。令θ?c,?1,...,?p,?1,...,?q,?表示总体参数向量。假定我们观察到

????一个样本量为T的样本?y1,y2,...,yT?。计算所实现样本的联合概率密度函数：

fYT,YT?1,...,Y1?yT,yT?1,...,y1?? （2）

这可以看作是观察到样本发生的概率。使得“概率”最大的?值就是最优估计。这种思想就是极大似然估计的思想。极大似然估计需要设定白噪声的分布。如果?t是高斯白噪声，则得到的函数为高斯似然函数。

极大似然估计的步骤： 1） 计算似然函数（2）。

2） 利用求极大值方法求使得函数值最大的?值。

第2节 高斯AR?1?过程的似然函数

一．计算高斯AR?1?过程似然函数

高斯AR?1?过程的表达式为

Yt?c??Yt?1??t （3）

22其中?t?iidN0,?。总体参数向量为??c,?,?。

2观察值Y1的均值和方差分别为E?Y1????c/?1???和E?Y1?????/?1???。因2为?t?iidN0,?，因此Y1也是高斯分布。其概率密度函数为

2????????y??c/?1????11??2fY1?y1;???fY1?y1;c,?,???exp??2?2/?1???2??2/?1?????对于第二个观察值在观察到Y1?y1条件下的分布。根据（3），

??2?? （4） ???Y2?c??Y1??2 （5）

38

此时Y2Y1?y1?N????c??y?,??，其概率密度函数为

21???y2?c??y1?2?fY2Y1?y2y1;???exp?? （6） 222?2??????1此时观察值Y1和Y2的联合密度函数就是（4）和（6）的乘积：

fY,Y?y2,y1;???fYY?y2y1;??fY?y1;?? （7）

21211同样

fy1???y3?c??y22??Y3Y2,Y1?y32,y1;???fY3Y21?y3y2;???2??2exp???2?2?? ?fY3,Y2,Y1?y3,y2,y1;???fY3Y2,Y1?y3y2,y1;??fY2,Y1?y2,y1;?? 一般情况下，

fYtYt?1,...,Y1?ytyt?1,...,y1;???fYtYt?1?ytyt?1;?? ?1???yt?c??yt?1?2? 2??2exp? ??2?2???则前t个观察值的联合密度为

fYt,Yt?1,....,Y1?yt,yt?1,...,y1;???fYtYt?1?ytyt?1;??fYt?1,...,Y1?yt?1,....,y1;?? 则完全样本似然函数为

TfYT,YT?1,....,Y1?yT,yT?1,...,y1;???fY1?y1;???fYtYt?1?ytyt?1;?? t?2进行对数变换，得到对数似然函数L???：

L????ln?fY1?y1;???T??ln?fYtYt?1?ytyt?1;??? t?2?? 将（4）和（10）代入（13），得到

?2?yc??11??21??L??????1???2ln?2???2ln??1??2???2?21??2 ?T?1T?y?c??y2t?1?2ln?2???T?12ln??2???t2?2t?2二．似然函数的矩阵表示

观察值写成向量形式为：

（8） （9）

10）

11）

12）

13）

14）

39

（ （ （ （ （T?1y??y1,y2,...,yT?? （15）

可以看作是T为高斯分布的单个实现。其均值为

?E?Y1?????????EY??2?????? （16） ??????????EY???T??????这里??c/?1???。（15）表示成向量形式为：

E?Y???

其中?表示（16）的右边的?T?1?向量。Y的方差协方差矩阵为：

E??Y????Y??????? （17） ????其中

2?E?Y1???E?Y1????Y2????2?E?Y2????Y1???E?Y2??????????EY??Y??EY??Y????1??T??2???T?E?Y1????YT??????E?Y2????YT????? （18）

???2??E?YT????该矩阵元素对应于Y的自协方差。则AR?1?过程的第j阶自协方差为：

E?Yt????Yt?j?????2?j/?1??2? （19）

（18）可写作

???2V （20）

其中

?1??2??1??1??2V??121?????????T?1?T?2?T?3???T?1????T?2???T?3? （21）

?????1??将样本y看作由N??,??分布的一个简单抽样，样本似然值可根据多元高斯密度公式直接写成：

fY?y;????2??其对数似然值为：

?T/2??11/2?1?exp???y?????1?y???? （22）

?2? 40

三．高斯AR?1?过程精确极大似然函数

理论上，对方程（14）求导并令导数为零，就可得到参数向量?。而在实践当中，往往得到的?是?y1,y2,...,yT?的非线性方程。此时求解需要非线性规划求解方法，如格子搜索、最速下降法、牛顿-拉夫森方法等数值优化方法。 四．条件极大似然（MLE）函数

如果将y1的值看作确定性的，然后最大化以第一个值为条件的似然值，这种方法称为条件极大似然函数。此时最大化目标为：

2L?????T?12ln?2???T?1T2ln??2????yt?c??yt?1? t?22?2求（23）最大时的c,?等价于最小化：

?T?yt?c??y2t?1? t?2此时采取yt对其滞后值的OLS回归得到。因此c,?的条件似然估计由下式给出??1?c???T?1?yt?1???????????y??yt?t?1y2??? t?1???yt?1yt?其中?表示对t?2,3,...,T求和。

（23）对?2

求导并等于零，可求得扰动项的条件似然估计：

2?T?1T2?2???yt?c??yt?1?4?0 t?22?整理得到：

?2?2T???yt?c??yt?1?t?2T?1 即?2

得极大似然估计量是最小二乘估计量残差的平方。

条件极大似然估计的特点： 1． 易于计算。

2． 样本量T足够大，则第一个观测值的影响可以忽略。

3． ??1，则精确极大似然估计和条件极大似然估计具有相同的大样本分布。4． ??1，条件MLE是一致估计。

第三节 高斯AR?p?过程的似然函数

一．计算似然函数

23） 24）

25） 26） 27）

41

（ （

（ （ （ 对于高斯AR?p?过程

Yt?c??Yt?1??2Yt?2?....??pYt?p??t （28）

22其中?t?iidN0,?。总体参数向量为??c,?1,?2,...,?p,?。

????样本y1,y2,...,yp中的前p个观察值合成一个?p?1?向量yp，可以看作p维高斯变量的一个实现。向量的均值为?p，为?p?1?向量，其元素为

????c/?1??1??2?...??p? （29）

令?2Vp表示Y1,Y2,...,Yp的?p?p?方差协方差矩阵：

2?E?Y1???E?Y1????Y2????2?E?Y????Y???EY????212?2V???????E?Yp????Y1???E?Yp????Y2?????1??p?1???0??????10p?2? ???????????????p?20??p?1????E?Y1????Yp??????E?Y2????Yp?????????2?（30） ?E?Yp????2前p个观察值的密度是一个N?p,?Vp变量的密度：

??fYp,Yp?1,...,Y1?yp,yp?1,...,y1;????2????2???p/2??2Vp?1??p?p/2?1?exp??2?yp??p??Vp?1?yp??p?? （31）

?2???1??11/2Vpexp??2?yp??p??Vp?1?yp??p???2??1/2样本中剩下的观察值为yp?1,yp?2,...,yT。以前t?1个观察值为条件，第t个观察值为

2高斯的，其均值为c??1yt?1??2yt?2?....??pyt?p，方差为?。当t?p时，其概率密度为

??fYtYt?1,Yt?2,...,Y1?ytyt?1,...,y1;???fYtYt?1,Yt?2,...,Yt?pytyt?1,...,yt?p;????y?c??y??y?....??y?2?1t1t?12t?2pt?p??exp?2??2?2??2??全样本似然函数为

?? （32）

42

fYT,Yt?1,...,Y1?yT,yT?1,...,y1;??T （33）

?fYp,Yp?1,Yp?2,...,Y1?yp,yp?1,...,y1;????fYtYt?1,Yt?2,...,Yt?pytyt?1,...,yt?p;?t?p?1??对数似然函数L???为

L????ln??fYT,YT?1,Yt?2,...,Y1?yT,yT?1,...,y1;??????p2ln?2???p2ln??2??12lnV?11p?2?2?yp??p??V?1p?yp??p? ?T?pT?yt?c??1yt?1?....??2pyt?p?2ln?2???T?p2ln??2??t??p?12?2 ??T2ln?2???T112ln??2??2lnV?1p?2?2?yp???1p??Vp?yp??p?T2 ??yt?c??1yt?1??2yt?2?....??pyt?p?t??p?12?2其中将对称矩阵V?1p的第i行，第j列元素记作vij?p?：

ij?i?1p?i?jv?p???????k?k?j?i?k?0k???k?k?j?i? 对于1?i?j?p p?1?j?其中?0??1。

例 AR?1?过程

解：V?1p是一个标量，令i?j?p?1，则

V?1?011??????k?k???k?k????220??1???1??2?

k?0k?1?所以，?2V221??/?1???。

例 AR?2?过程 解：p?2，此时

V?1??1??22????1??1?2?????1??1??2???1?2???????2??2??1??1?2??1??2??????1?1??? 2??因此

V?12222??1??2????1??2???1??

34）

35）

43

（ （?y2??2??V2?1?y2??2???y1????1??2?y2????1??2?????1??1??y1??????1??2????y2???2

??1??2??1??2??y1????2?1?y1????y2?????1??2??y2???于是AR?2?过程的精确对数似然函数为：

?2?L?????TT122ln?2???ln??2??ln?1??2???1??2???12???222?1??2?1??1??y??2?2?y??y???1??y??2 ??2??2??1???2??2??2?1?12?2??????

??t?3T?yt?c??1yt?1??2yt?2?2?22其中??c/?1??1??2?。 二．条件最大似然函数

以前p个观察值为条件的对数似然函数为：

L???yt?c??1yt?1?....??pyt?p? （36） ?T?pT?p2??ln?2???ln?????222?2t?p?1T2求c,?1,?2,...,?p使得（36）最大化问题转变为最小化：

t?p?1??y?c??yt1Tt?1??2yt?2?....??pyt?p? （37）

2利用最小二乘回归得到这些参数的条件最大似然估计。?的条件极大似然估计为最小二乘回归残差的平方：

T??1?????yt?c??1yt?1??2yt?2?....??pyt?pT?pt?p?12

?2??2 （38）

三．非高斯时间序列的极大似然估计（拟极大似然估计）

????1. 如果过程非高斯的，使用高斯对数似然函数得到的估计c,?1,?2,...,?p为总体参数的一

??致估计。

2． 拟极大似然估计得到的系数的标准差不正确。 四．AR?p?过程的Yule-Walker估计

AR?p?模型的自回归系数?由AR?p?模型的自协方差函数?0,?1,...,?p通过由拉沃克

44

方程

?1??1???0??????0?2???1????????????p?????p?1?p?2确定。白噪声的方差?

2

??p?1???p?2?? （39） ??????0???2??0???1?1??2?2?...??p?p? （40）

从样本观测值x1,x2,...,xN可以构造出样本自协方差函数的估计：

1?k?N?N?kj?1?yyjj?kp , （41） k?0,1,...因此根据自协方差函数的估计，可以联合求解除系数估计量。

第四节 高斯MA?1?过程的似然函数

一．条件似然函数

对于高斯MA?1?过程

Yt????t???t?1 （42）

22其中?t?iid N0,?。θ??,?,?表示要估计的总体参数。如果?t?1已知，则

????Yt?t?1?N??????t?1?,?2? （43）

其概率密度函数为：

???yt?????t?1?2?fYt?t?1?yt?t?1;???exp?? （44） 222?2??????1如果已知?0?0，则

Y1?0?N??,?2? （45）

给定观察值y1，则?1就是确定的

?1?y1?? （46）

代入（44），得到

???y2?????1?2?fY2Y1,?0?0?y2y1,?0?0;???exp?? （47） 222?2??????1因为?1确知，?2可由下式求出：

?2?y2?????1 （48）

45

通过迭代法由?y1,y2,...,yT?求出??1,?2,...,?T?整个序列：

?t?yt?????t?1 （49）

t?1,2,...,T，从?0?0开始。则第t个观测值的条件密度为：

fYtYt?1,Yt?2,...,Y1,?0?0?ytyt?1,yt?2,...,y1,?0?0;?????t2??fYt?t?1?yt?t?1;???exp?2?22???2??1则样本似然函数为

（50）

fYT,YT?1,...,Y1?0?0?yT,yT?1,yT?2,...,y1?0?0;???fY1?0?0?y1?0?0;???fYtYt?1,Yt?2,...,Y1,?0?0?ytyt?1,yt?2,...,y1,?0?0;??t?2T （51）

条件对数似然函数为

L????ln?fYT,YT?1,...,Y1?0?0?yT,yT?1,...,y1?0?0;????? （52） T?t2TT2 ??ln?2???ln?????222t?12?其中，利用（49）和观察值序列可以求出隐含的白噪声序列。但是条件似然函数仍然是非线性函数。需要使用数值解法求参数。 二．精确似然函数

y的观察值可以写成一个?T?1?向量y??y1,y2,...,yT??，均值μ???,?,...,???，方

差协方差?T?T?矩阵??E?Y????Y????，即

??1??2?????2????0??????0其似然函数

?02??2?1?????0??1????0?????0??0? （53）

???2?1??????0fY?y;????2??对?进行三角形分解

?T/2??1/2?1?exp???y??????1?y???? （54）

?2???ADA? （55）

其中

46

?1????1??2?0A????????0???1??2??0??2?D??0??????0??其似然函数为：

010?0?1???0?001??2??4??61??2??4?0000???1??2?1?????001??2??41??20?024?1??2?...??2?n?2???01??2??4?...??2?n?1??????0??0???0? （56） ?????1??????0??? （57） 0????242n?1?????...??2?n?1??2?1???...???fY?y;????2???T/2ADA??1/2?1?1?exp???y?????A??D?1A?1?y???? （58）

?2?由于A是下三角形矩阵，且主对角线元素为1，则A?1，且

ADA??ADA??D （59）

定义

??y?? （60） ??A?1?y??? 或Ayy则似然函数可以记为

fY?y;????2???T/2D?1/2?1??1??Dy?? （61） exp??y?2??1?y1??，第t行为 根据（60），系统的第一行意味着y?t?yt???y2?t?2?24???1?????....????1?????....??242?t?1??t?1 （62） y?可以看作yt关于常数项和y?1,yt?2,...,y1的?。y?1?y1??开始，迭代（62）求得向量y从y线性投影的残差。矩阵D的第t个主对角元素给出了线性投影的MSE：

1??2??4?...??2t????dtt?E?y （63） 2?t?1?241?????...??212因为D是对角矩阵，因此

47

D??dtt （64）

t?1T且通过D的主对角元素求倒数，可以得到D，从而

?1?t2y??Dy??? （65） y?1Tt?1dtt将（64）和（65）代入（61），得到

f?T?1/2Y?y;????2???T/2???d?ttexp????1t?1??2?Ty?2t?? t?1dtt?精确对数似然函数为

L????lnfy;????T1T1Ty?2tY?2ln?2???2?ln?dtt??? t?12t?1dtt第五节 高斯MA?q?过程的似然函数

一．条件似然函数

对于MA?q?过程

Yt????t??1?t?1??2?t?2?....??q?t?q 假设前q项的?全为零：

?0???1?.....???q?1?0 于是

?t?yt????1?t?1??2?t?2?....??q?t?q 其中t?1,2,...,T。令?0表示?q?1?向量

??0,??1,...,??q?1??。则当特征方程

1??21z??2z?...??qzq?0 的z值全落在单位圆外时，条件对数似然函数为：

L????lnfYT,YT?1,...,Y1?0?0?yT,yT?1,...,y1?0?0;??T ??Tln?2???Tln2?2t 22?????2t?12?其中θ???,?,?2,...,?q,?21??。

二．精确似然函数

其表达式为：

f2Y?y;????2???T/2??1/exp????12?y??????1?y?????? 66）

67）

68）

69）

70）

71） 72）

73）

48

（ （ （ （ （ （

（ （其中y??y1,y2,...,yT??且μ???,?,...,???。?表示MA?q?过程的方差协方差矩阵。其中

?的第i行、第j列的元素为?i?j。其中?k是MA?q?过程的第k阶自协方差：

2?????k??k?1?1??k?2?2?...??q?q?k?k?0,1,...,q （74） ?k??0k?q??令A是下三角形矩阵，且主对角线元素为1， A?1；D是对角矩阵。则利用三角形分解方法??ADA?，得到精确的对数似然函数：

?t2T1T1TyL????lnfY?y;????ln?2????ln?dtt??? （75）

22t?12t?1dtt?的元素可运用递归法得到： 其中y?1?y1??y?2??y2????a21y?1y?3??y3????a32y?2?a31y?1y??t??yt????at?t?1?y?t?1?at?t?2?y?t?2?...?at?t?q?y?t?qy （76）

?1?a?21?a31???A??a??q?1?1?0??????001a32?a?q?1?2a?q?2?2?0001?????000?00?a?q?1?3?a?q?2?3??0??aT?T?1?0?0??0????0? （77） ?0?????1??dtt为矩阵D的对角线上的元素。

第六节 高斯ARM?A,p?过程的似然函数 q对于高斯ARMA?p,q?过程

Yt?c??1Yt?1??2Yt?2?....??pYt?p??t??1?t?1?...??q?t?q （78）

22其中?t?iidN0,?。总体参数向量为θ?c,?1,?2,...,?p,?1,?2,...,?q,?。

????自回归过程的似然函数的近似以y的初始值为条件，移动平均过程似然函数的近似以?的初始值为条件。ARMA?p,q?过程以y和?的初始值为条件。

49

假设初始值y0?y0,y?1,...,y?p?1???和ε???,?00?1,...,??q?1??给定，则利用实现

?y1,y2,..,yT?，迭代得到：

?t?yt?c??1yt?1??2yt?2?...??pyt?p??1?t?1??2?t?2?...??q?t?q （79）

可得t?1,2,....,T的序列??1,?2,..,?T?。则条件似然函数为：

L????lnfYT,YT?1,...,Y1Y0,ε0?yT,yT?1,...,y1Y0,ε0;θ?T?t2TT2??ln?2???ln?????222t?12? （80）

第七节 极大似然估计的统计推断

一。 极大似然估计的标准差

如果样本量T足够大，则极大似然估计?近似表示为：

???N?θ,T?1??1? （81） θ0其中θ0代表真实参数向量。矩阵?称为信息矩阵。信息矩阵的二阶导数估计为

???T其中L???为对数似然函数：

??1?2L???????????? （82）

L?????lnfYT?t?1?yt?t?1;θ? （83）

t?1T?t?1表示t时刻y的所有历史观测值。利用数值方法可以计算出对数似然函数的二阶导数。

（82）代入（83），得到

?1E???0二．似然比检验

????2?????L??????0??????? （84）

?????????假设原假设：参数向量?中存在m个限制（例如某些系数等于零）。首先求出无限制极大似然估计；在求出存在限制情况下的极大似然估计。令L?表示无限制对数似然函数。

??????，检验统计量为： L?表示限制对数似然函数。明显L??L????????????2?m? （85） ?2L??L???????利用显著性检验法和置信区间法可以对原假设进行检验。 三．拉格朗日乘子检验

50

本文来源：https://www.bwwdw.com/article/a9ja.html