基于动作子空间和权重条件随机场的行为识别（修改稿）

第44卷 第6期 电 子 科 技 大 学 学 报 Vol.44 No.6 2015年11月 Journal of University of Electronic Science and Technology of China Nov. 2015 基于动作子空间和权重条件随机场的行为识别

王智文1?，蒋联源1,2，欧阳浩1，张灿龙3，黄镇谨1,2，王鹏涛4

(1. 广西科技大学计算机科学与通信工程学院 柳州 545006; 2. 广西信息科学实验中心 桂林 541004; 3. 广西师范大学计算机科学与信息工程学院 桂

林 541004; 4. 广西科技大学电气与信息工程学院 柳州 545006)

【摘要】针对单目视频中的人类行为识别，本文提出了基于动作子空间与权重条件随机场的行为识别方法。该方法结合了基于特征提取的核主分量分析（KPCA）与基于运动建模的权重条件随机场（WCRF）模型。探讨了通过非线性降维行为空间的基本结构，并在运动轨迹投影过程中保留清晰的时间顺序，使得人体轮廓数据表示更紧凑。WCRF通过多种交互途径对时间序列建模，从而提高了信息共享的联合精确度，具有超越生成模型的优势（如放宽观察之间独立性的假设，有效地将重叠的特征和远距离依存关系合并起来的能力）。实验结果表明，提出的行为识别方法不仅能够准确地识别随时间、区域内外人员变化的人类行为，而且对噪声和其它因素鲁棒性强。

关 键 词 人类行为识别; WCRF; KPCA; 非线性降维; 人体轮廓提取与表示 中图分类号 TP393 文献标志码 A doi:

Behavior Recognition based on Action Subspace and Weight Condition

Random Field

of Information Science Guilin 541004;3. School of Computer Science & Information Technology, Guangxi Normal University Guilin 541004; 4. College of

electrical and Information Engineering, Guangxi University of science and technology Liuzhou 545006)

WANG Zhi-wen1,JIANG Lian-yuan1,2,OU Yang-hao1, ZHANG Can-long3,XIA Dong-xue1,HUANG Zhen-jin1,2,and WANG Peng-tao4

(1. College of computer science and communication engineering, Guangxi University of science and technology Liuzhou 545006; 2. Guangxi Experiment Center

Abstract For human behavior recognition in monocular video, a method for recognizing human behavior based on action subspace and weighted condition random field is presented in this paper. This method combines kernel principal component analysis based on feature extraction and weighted conditional random field based on activity modeling. Silhouette data of human is represented more compactly by nonlinear dimensionality reduction that explores the basic structure of action space and preserves explicit temporal orders in the course of projection trajectories of motions. Temporal sequences are modeled in WCRF by using multiple interacting ways, thus increasing joint accuracy by information sharing, and this model has superiority over generative ones (e.g., relaxing independence assumption between observations and the ability to effectively incorporate both overlapping features and long-range dependencies). The experimental results show that the proposed behavior recognition method can not only accurately recognize human activities with temporal, external and internal person variations, but also considerably robust to noise and other factors.

Key words human activities recognizing; WCRF; KPCA; nonlinear dimensionality reduction; human silhouette extraction and representation

人类行为识别有着广泛的应用前景，如视频监控和监测、对象视频摘要、智能接口、人机交互、体育视频分析、视频检索等。吸引了越来越多计算机视觉研究者的关注[1,2,3]。通常，行为识别涉及两个重要问题。其一是如何从原始视频数据中提取有用的运动信息，其二是如何建立运动参考模型，使 ?

训练和识别方法能有效地处理空间和时间尺度变化的类内类似行为。

行为识别可以利用各种线索，例如，关键姿势[4-8]

、光流[9,10]、局部描述符[11,12,13]、运动轨迹或特征跟踪[14-19]、视觉文本信息[20,21]、人体轮廓[22,23,24]等。但是使用关键帧缺乏运动信息。根据光流或兴

收稿日期：?2015 ? 11 ? 20；修回日期：?2015 ? 12 ? 2

基金项目：国家自然科学基金项目(61462008, 61365009);广西自然科学基金项目(2013GXNSFAA019336, 2014GXNSFAA118368); 广西信息科学实

验中心开放基金项目(KF1403); 广西科技大学博士基金项目(院科博12Z14); 广西科技大学创新团队‖图像处理与智能认知及应用‖资助

作者简介：王智文(1969? )，男，博士，教授，主要从事机器学习与计算机视觉、移动目标检测与识别方面的研究.

2 电 子 科 技 大 学 学 报 第44卷

趣点的行为识别在平滑的表面，运动奇异性和低质量的视频情况下是不可靠的。由于人体外表和关节出现大的变化，特征跟踪也并非容易实现。

由于人类行为是一种时空行为，时空模型（如HMMs，Hidden Markov Models及其变种）已被广泛用于人体动作建模[7,12]。然而，该生成模型通常使用了强烈的独立性假设，这使得它很难适应多种复杂的特征或观测中的远距离依存关系。由Lafferty提出的条件随机场模型（CRFs）避免了观察之间的独立性假设，同时将复杂的特征和远距离依存关系融合进模型中[4,5,8]。本文在此基础上提出了具有联合判别学习能力的基于动作子空间与权重条件随机场的行为识别方法。使用KPCA来发现关节动作空间的内在结构[25-28]，并利用权重化条件随机场从简单的人体轮廓观察中识别人类行为。实验结果证明了提出方法的有效性和鲁棒性。

1 特征选择

本文提出如图1所示的行为识别综合概率框架，该框架由高维图像空间的特征提取和描述、低维嵌入空间中的行为建模和识别两个模块组成。对成功的行为识别模型而言，信息特征是至关重要的。本文选择人体轮廓作为基本的输入，并通过非线性降维方式来更紧凑地表示人类行为。

高维图像空间的特征提取和描述低维嵌入空间中的行为建模和识别前景检测训输入视轮廓提取KPCA核引导行为轨练频序列与表示子空间迹映射WCRF模型测新的视前景检测轮廓提取行为轨行为轨试频序列与表示迹映射迹映射图1 行为识别的框图

1.1 人体轮廓提取和表示

给定一个T帧的行为视频v?{I1,I2,?,IT}，可从原始视频中获得与之相关的行为人体轮廓序列Ss?{s1,s2,?,sT}。前景区域的大小和位置随运动目标与相机的距离、目标的大小和已经完成的行为变化。在保持人体轮廓宽高比的基础上，对人体轮廓图像进行中心化和归一化，使所产生的结果图像RI?{R1,R2,?,RT}包含尽可能多的前景。在不使动作发生形变的情况下，所有输入帧有相同的维数ri?ci。归一化的人体轮廓图像如图2所示。如果以

行扫描方式在?ri?ci空间用向量ri来表示原始人体轮廓图像Ri，整个视频将相应表示为vr?{r1,r2,?,rT}。

图2 行走的人体轮廓序列和块特征表示图

为了提高计算效率，本文等距离划分每个人体轮廓图像为h?w个互不重叠的子块。然后用Ni?b(i)/mv,i?1,2,?,h?w计算每个子块的归一化值，其中，b(i)是第i个子块的前景像素数目，

mv是所有b(i)的最大值。

在?h?w空间中，第t帧的人体轮廓描述符是f,?,NTt??N1,N2h?w?，整个视频相应表示为vf??f1,f2,?fT?。事实上，原始人体轮廓表示vr可以被视为一种基于块特征的特例，即分块大小是1?1，一个像素。

1.2 非线性降维

为了获得紧凑的描述和有效的计算，本文使用KPCA算法进行非线性降维[25-28]。主要考虑两个方面：1）KPCA提供了一种有效的子空间学习方法来发现―行为空间‖的非线性结构。2）KPCA能简单地应用于任何新的数据点，而ISOMAP、 LLE等非线性降维方法对如何描述新的数据点仍不清楚。

在??D空间中，给定一个M个元素的训练样本集Tx?X1,X2,?,XM?，子空间学习的目的是在低

维空间?d(d

每一个矢量XDi首先通过?:??H被非线性映射到希尔伯特空间H中。然后，在H上主成分分析应用到映射数据T????(X1),?(X2),?,?(XM)?。由于使用了―内核技巧‖，这个映射过程根本不需要。

设k是一个半正定核函数，量?通过式(1)定义两个向x和?ixj之间的非线性关系。

k(?x?)?exp[??(?x)??(?i,xjixj)] (1)

在H空间寻找主成分的系数问题可以归结为内核矩阵?的对角化：??e???e?

其中，??ij?k(?xi,? (2)

xj),e??[eT1,e2,?,e?] ，所以Z?e?i?(xi).

将新点?i?1X映射到第j个主轴Zj可表示为：

(Zj??(??x))??ej?)??(?x i(?(xij))i?1(3) ???ej?? ik(xi,xj)i?1 第6期 王智文，等: 基于动作子空间与权重条件随机场的行为识别 3

使用KPCA可以显著地减少用于识别人类行为的特征维数，对计算机内存需求也明显减少。图3显示使用传统的PCA及使用Poly和Guassian核函数的KPCA方法来减少提取的二维特征的结果。从图3可以看出使用Guassian核函数的KPCA方法降维效果明显优于PCA方法和使用Poly核函数的KPCA方法，因此，我们在实验中使用高斯核函数。

(a) 原始特征 (b) KPCA降维(Poly)

(c) 传统PCA降维 (d) KPCA降维(Gaussian)

图3 PCA和KPCA方法降维效果

获得包括第一个d维主成分的嵌入空间后，任何一个视频v可以被映射为d维特征空间的一个关联轨迹To??O1,O2,?,OT?。

图4显示了文献[22]数据集中的行为映射轨迹（PTM），其中，帧的时间顺序标记是不清晰的。

图4 在KPCA派生子空间中的行为映射轨迹的三维视图

2 行为建模与识别

CRFs的判别性质和基本的图形结构非常适合人体行为分析。本文探讨在嵌入空间中用权重的CRFs来标签人类行为序列。

2.1 普通的CRFs

设G是一个建立在随机变量向模型。设?s??s?S和O数据集上的无

t?，o??ot?，t观察序列O的标签序列。设C????1s?,2,?T，S为

c,oc?是G中的类集，CRFs定义观察序列给定的状态（或标签）序列的条件概率为[22,24]：

p??1??

?(s|o)?Z(o)??(sc,oc)(4)

c?C

其中, Z(o)??s??(?s?c,oc)是所有状态序

c?C列的一个归一化因子，?是由特征集?fn?权重化的隐函数。

(?so??T????c,c)?exp?????nfn(sc,oc,t)? (5)

t?1n?其中,模型参数????n?是一个实权重集，每一

个特征被赋予一个权重。

CRFs的一般框架如图5(a)所示[22,24]。其中一阶马尔科夫假设一般是在标签生成。因此，这种条件模型的类是节点和边，每个标签转换和每个标签的

特征函数分别为f??n(st?1,st,o,t)和gn(st,o,t)。

qt?1qtqt?1st?1stst?1st?1stst?1ot?1otot?1

ot?1otot?1

(a) 线性链CRF (b) 两链之间WCRF

图5 CRF与WCRF的图形表示

2.2 WCRF

动态CRFs是线性链CRFs的一般化[28]，它是状态向量序列的结构和参数的重复。允许一个标签代表分布的隐状态和复杂的相互作用。本文提出的WCRF（如图5(b)所示）具有标签线性链，这种线性链中的共时标签之间有连接，从而通过信息共享提高了联合准确性。WCRF同时完成关键姿势分类和行为分类[29]。

设sl,t是L链的WCRF中链l在时间t的变量，隐状态的分布定义为：

?1?p(?s|o?)?1?TZ(o)?????l(sl,t,ql,t,ql,t?1,sl,t?1,o?,t)?t?1l?1??(6) ?T??1?????l(sl,t,ql,t,ql,t?1,sl?1,t,o?,t)?t?1l?1?? 4 电 子 科 技 大 学 学 报 第44卷

其中,??l?是内链节点的隐函数，??l是链轮节点的隐函数[24]，并根据特征?fk和G的权重?k权重化这些隐函数：

?)?exp?????o?,t)? l(?kfk(sl,t,ql,t,ql,t?1,sl,t?1,k??(7) ?)?exp???????

l(?kfk(sl,t,ql,t,ql,t?1,sl?1,t,o,t)k??

2.3 训练与推理

给定一个训练样本集Tr??o?(i),?s(i)?Ni?1，参数????n?可以通过优化条件对数似然函数来估计：

?(?)??logp?)??(s(i|o(i)) (8)

i式(8)对?k的导数是与类索引C相关的：

???????f?(i)o?(i)k(st,c,,t)kit?????p(? (9)

s(i)?(i)?(i)?(i)?c|ot)fk(st,c,o,t)其中,s?itc?Csc(i)t,c指在时间步长t，WCRF的类C中S量，?的变sc范围分配到c。

一般来说，为了减少过度拟合，用惩罚似然函数来训练参数，即logp(?|Tr)??(?)?logp(?)，

p(?)是参数的高斯先验（p(?)?exp??22?2?），这

样，梯度变为[15]：

?p(?|Tr)???????k2 (10)

k??k?凸面函数可以通过许多技巧来优化，如牛顿优

化方法。

通常情况下需要计算所有类?sp(?s?t,c的边缘概率

t,c|o)和维特比解码s~?argmax??sp(s|o)。前者用于参数估计，后者用来标记一个新的序列。

创建关键姿势数据集的基本点就是具体行为尽可能包括更多关键帧，同时，尽量使不同的行为之间的相互关键帧尽可能距离远[13]。在整个数据集中，使用MDL（最小描述长度）规则来确定的关键姿势的数目K，并使用K-均值聚类算法来为训练过程获取这些关键姿势kp??p1,p2,?,pk?。

为了处理远距离的依存关系，本文修改式(7)中的核函数包括一个窗口参数W，在时间t预测状态时，定义f?了要使用的过去和未来为式(11)，并用

s?,o????k(t,c,qt,ct,t)??k(st,c,qt,c)?k(ot,t)权重化成

对特征。其中，前者是分配的一个二元函数，而后

者则是一个纯粹的输入特征函数。

ot?(t?t??,?t??)?st,qt (11)

3 实验结果

使用文献[13]、[22]和[24]分别报道的Weizmann（WEI）、KTH（如图6所示）、及rcv1.binary（简称rcv1）等8个人类行为数据库进行实验。其中，文献[13]提供了一些行为的训练、测试次数及用于识别的特征个数。文献[22]中的数据集包括拾物、慢跑、推、下蹲、挥手、踢、侧弯、摔、转身、手机通话10种不同行为，是用来系统地检测时间对行为识别实现的影响；文献[24]中的数据集包括弯曲、开合跳、双腿并拢向前跳、原地双腿跳、跑、横跑、走、单手挥动、双手挥动、跳过10种不同行为，是用来系统地检测行为识别实现的时间和空间尺度变化的影响。实验中使用文献[22]和[24]方法获得人体轮廓。先将所有人体轮廓图像中心和归一化到相同的尺寸（即64×48像素），并将它们表示为基于块特征的不同的子块大小（如8×8，4×4，1×1）。然后学习WCRF来建模各个角度、远距离依存关系的观测（如ω=0或1）。在监督识别率下，凭经验调节降维维数d和核主成分分析的核宽参数。对行为数据库WEI和KTH采用留一法（leaving-one-out）来计算识别准确性整体无偏估计，将数据集分割成10个不相交的数据集，每个数据集含每一行为的一个实例。每次留一数据集用来测试，利用剩下的9个数据集来学习子空间和模型参数。因此，如果留出测试集中一个视频被正确地分类，它必须与不同人完成同样行为的视频具有很高的相似性。对比文献[13]，本文方法识别人类行为使用的特征维数及训练、测试集大小如表1所示。使用WCRF方法进行行为识别的精度如表2所示。和其它方法比较实验结果如表3所示。

图6 行为数据集实例图像

从表1中可以看出，识别同样的人类行为，本文方法使用的特征维数及训练、测试集大小都明显地变小，从而可以减少计算机的处理工作量，满足实

第6期 王智文，等: 基于动作子空间与权重条件随机场的行为识别 5

时行为识别的要求。

表1 人类行为识别使用的特征维数及训练、测试集大小比较 方法 行为库 WEI KTH a2a epsilon madelon rcv1 w7a segment

本文行为识别

使用特征维数 226 128 59 287 175 7632 106 203

训练集大小 1023 8762 1023 56960 831 10278 8659 17490

测试集大小 113 975 9085 78632 226 333594 7963 9687

文献[13]中的行为识别 使用特征维数 506 480 123 2000 500 47236 300 429

训练集大小 4092 10742 2265 400000 2000 20242 24692 43500

测试集大小 2156 9868 30296 100000 600 677399 25057 14500

图像中加入各种人工合成噪声，以模拟损坏的人体轮廓。实验使用原始（未受噪声污染的）人体轮廓序列进行训练，用噪声污染的人体轮廓序列进行测试。行为识别结果如图7所示。从图7中可以看出提出的方法能够容忍相当程度的噪声（25％）。这可能是因为WCRF的统计特性补偿了表示与识别的整体鲁棒性。

表2 使用WCRF方法行为分类的精度 正确分类子块大小 8×8 4×4 1×1

文献[24]中的数据集 ?=0 (%) ?=1 (%) 73.53 77.64 87.72 92.37 94.29 97.85

文献[22]中的数据集 ?=0 (%) ?=1 (%) 71.28 78.31 97.76 93.25 99.42 99.89

表3 使用不同方法的行为分类 方 法 模板匹配 HMM模型

CRFs模型(?=0) CRFs模型(?=1) WCRF模型(?=0) WCRF模型(?=1)

识别正确率(%) 81.86 89.23 91.75 95.08 99.84 99.97

图7 不同噪声和不同噪声密度下的行为识别精度

从表2中可以得出以下结论：1）动态人体轮廓变化对人类行为分析来说的确是有益的。2）提出的框架可以有效地识别由不同人以不同身体部位构建和不同运动方式及速度完成的行为。3）当子块大小增加时，识别正确率普遍下降，特别是子块大小为8×8时，下降幅度最大。4）尽管计算过于密集，原始人体轮廓表示识别效果最好。这是因为它保留了充分的信息，而其它较大尺寸的基于块特征的方法丢失相当多的人体轮廓信息。引入一些离散误差是基于块的特征在实际应用中如何选择计算精度和计算开销之间较好的折中方法。5）在WCRF模型中引入远距离观测普遍提高了识别的准确率（表中粗体例外，可能是由于训练参数的过度拟合）。

从表3中可以看出：1）模板匹配方法性能最差。这可能是由于其对噪声特征的敏感性和无法获取时

服装、遮挡和运动风格等因素对本文提出方法的鲁棒性的影响实验结果如表4所示。表4总结包括最匹配的测试结果，从中可以看出，除了四个序列，其它所有测试序列是“走”动作的正确分类。这表明，在尺寸变化相当大，服装，部分遮挡，步行形式不规则的情况下该方法的识别准确率相对较低。

表4 其它因素影响下的鲁棒性评价 测试序列 对角走 原地跳步 摆动着包步行 横向步行 跛行

走路时膝盖抬起 穿着裙子走 走路时腿部分遮挡 步行/携带公文包

正常走

变化条件 尺度和视点 非刚性变形 刚性变形 行走风格 行走风格 行走风格 服装 部分遮挡 携带物体 背景

实验结果 跳 跑 跳 侧跳 走 走 走 走 走 走

识别是否正确 不正确 不正确 不正确 不正确 正确 正确 正确 正确 正确 正确

4 结 论

本文介绍了基于动作子空间与权重条件随机场的行为识别的有效概率框架。该方法的创新之处在于两方面：1)特征提取和表示方面，本文选择简单而易于提取的时空人体轮廓作为输入，并将它们嵌入到一个低维的内核空间; 2）行为建模和识别方面，本文提出在视觉领域第一次使用WCRF，与HMMs和一般CRFs比较表现出优势。提出的框架是不依赖于使用的特征，可以很容易地扩展到其它类型的视频行为分析。本文方法使用的特征维数及训练、测试集大小都明显地变小，从而可以减少计算机的处理工作量，满足实时行为识别的要求。

参 考 文 献

[1] MARYAM Z, ROBERT B. Semantic human activity

空转换。2）虽然计算开销大，但状态空间方法一

般优于模板匹配方法。3）CRFs和WCRF都具有比HMMs更好的性能，这表明判别模型一般优于产生式模型。4）即使不考虑远距离的相关性，WCRF比CRFs性能更好，这表明通过不同标签的序列之间的信息交流学习的共同判别的优势。5）CRFs及WCRF性能随窗口大小的增加而得到改进，这表明结合远距离的依存关系是有益的。

为了测试提出方法的鲁棒性，本文往人体轮廓

6 电 子 科 技 大 学 学 报 第44卷 recognition: A literature review[J]. Pattern Recognition,

2015,48,(8):2329-2345.

[2] MATTHEW F, DAVID S, PAN Z X, et al. Recognizing

human motions through mixture modeling of inertial data[J].Pattern Recognition,2015,48(8):2394-2406.

[3] POPOOLA O P, WANG K J. Video-Based Abnormal Human

Behavior Recognition——A Review[J], IEEE Transactions on Systems, Man and Cybernetics Part C: Applications and Reviews, 2012: 1-14.

[4] NIEBLES J C, WANG H C, LI F F. Unsupervised learning

of human action categories using spatial-temporal words[J]. International Journal of Computer Vision, 2008, 79(3):299-318.

[5] GORELICK L, BLANK M, SHECHTMAN E, et al. Action

as space-time shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(12): 2247-2253.

[6] BOBICK A, DAVIS J. The recognition of human movement

using temporal templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001,23(3):257-267. [7] WANG S, ARIADNA Q, MORENCY L P, et al. Hidden

conditional random fields for gesture recognition[C]. CVPR, New York: IEEE, 2006, 2:1521-1527. [8] PEHLIVAN S, DUYGULU P. A new pose-based

representation for recognizing actions from multiple cameras [J]. Computer Vision & Image Understanding, 2011, 115(2):140-151.

[9] WEINLAND D，RONFARD R，BOYER E. A survey of

vision-based methods for action representation, segmentation and recognition[J]. Computer Vision & Image Understanding, 2011, 115(2):224-241.

[10] MORRIS B T, TRIVEDI M M. Trajectory Learning for

Activity Understanding: Unsupervised, Multilevel, and Long-Term Adaptive Approach[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(11):2287-2301. [11] HOLZER S, ILIC S, NAVAB N. Multi-Layer Adaptive

Linear Predictors for Real-Time Tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(1):105-117.

[12] SCHULDT C, LAPTEV I, CAPUTO B. Recognizing

human actions: a local SVM approach[C]. 17th International Conference on Pattern Recognition, Cambridge: IEEE, 2004,3:32-36.

[13] SELEN P, David A F. Recognizing activities in multiple

views with fusion of frame judgments[J].Image and Vision Computing,2014, 32(4):237-249.

[14] SHAO Z P, LI Y F. Integral invariants for space motion

trajectory matching and recognition[J].Pattern Recognition, 2015, 48( 8):2418-2432.

[15] KEREM A, KARON E M. Recognizing affect in human

touch of a robot[J].Pattern Recognition Letters, 2015, 66(15):31-40.

[16] STIKIC M, LARLUS D, EBERT S, et al. Weakly

supervised recognition of daily life activities with wearable

sensors[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011,33(12):2521-2537.

[17] WANG Zu-chao, LU Min, YUAN Xiao-ru, et al. Visual

traffic jam analysis based on trajectory data[J]. IEEE transactions on visualization and computer graphics, 2013,19(12):2159-2168.

[18] WANG Heng, KL?SER A, SCHMID C, et al. Dense

Trajectories and Motion Boundary Descriptors for Action Recognition[J]. International Journal of Computer Vision, 2013,103(1):60-79.

[19] BASHIR F I, KHOKHAR A A, DAN S. View-invariant

motion trajectory-based activity classification and recognition[J]. Multimedia Systems, 2006, 12(1):45-54. [20] CHO S Y, SOOY K, HYE B. Recognizing human–human

interaction activities using visual and textual information[J]. Pattern Recognition Letters, 2013, 34(15): 1840-1848.

[21] LIU Hao-wei, MATTHAI P, MARTIN P, et al.

Recognizing object manipulation activities using depth and visual cues[J].Journal of Visual Communication and Image Representation, 2014, 25(4):719-726.

[22] WANG Liang, SUTER David. Recognizing Human

Activities from Silhouettes: Motion Subspace and Factorial Discriminative Graphical Model[C]. CVPR, Minneapolis: IEEE, 2007:1-8.

[23] VERES G V, GORDON L, CARTER J N, et al. What

image information is important in silhouette-based gait recognition?[C]. CVPR, Washington: IEEE, 2004, 2:776-782.

[24] REDDY K, SHAH M. Recognizing 50 human action

categories of web videos[J].Machine Vision and Applications, 2013, 24(5):971–981.

[25] 王晓,刘小芳.基于NSVM的核空间训练数据减少方法[J].

电子科技大学学报,2013,42(4):592-596.

WANG Xiao, LIU Xiao-fang.Nonlinear Support Vector Machine for Training Data Reduction in Kernel Space[J]. Journal of University of Electronic Science and Technology of China, 2013,42(4):592-596.

[26] WU Jian-ning, WANG Jue, LIU Li. Feature extraction via KPCA for classification of gait patterns[J].Human Movement Science,2007,26(3):393-411.

[27] SCHOLKOPF B, SMOLA A, MULLER K. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998,10 (5):1299-1319.

[28] VEERARAGHAVAN A, CHELLAPPA R, ROY A K. The function space of an activity[C]. CVPR, New York: IEEE, 2006,1:959-966.

[29] 李旭,何明一,张雷. WorldView-2遥感图像融合新方法[J].

电子科技大学学报,2015,44(1):28-32.

LI Xu, HE Ming-yi, ZHANG Lei. New Pansharpening Method for WorldView-2 Satellite Images[J]. Journal of University of Electronic Science and Technology of China, 2015,44(1):28-32.

编 辑 叶芳

6 电 子 科 技 大 学 学 报 第44卷 recognition: A literature review[J]. Pattern Recognition,

2015,48,(8):2329-2345.

[2] MATTHEW F, DAVID S, PAN Z X, et al. Recognizing

human motions through mixture modeling of inertial data[J].Pattern Recognition,2015,48(8):2394-2406.

[3] POPOOLA O P, WANG K J. Video-Based Abnormal Human

Behavior Recognition——A Review[J], IEEE Transactions on Systems, Man and Cybernetics Part C: Applications and Reviews, 2012: 1-14.

[4] NIEBLES J C, WANG H C, LI F F. Unsupervised learning

of human action categories using spatial-temporal words[J]. International Journal of Computer Vision, 2008, 79(3):299-318.

[5] GORELICK L, BLANK M, SHECHTMAN E, et al. Action

as space-time shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(12): 2247-2253.

[6] BOBICK A, DAVIS J. The recognition of human movement

using temporal templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001,23(3):257-267. [7] WANG S, ARIADNA Q, MORENCY L P, et al. Hidden

conditional random fields for gesture recognition[C]. CVPR, New York: IEEE, 2006, 2:1521-1527. [8] PEHLIVAN S, DUYGULU P. A new pose-based

representation for recognizing actions from multiple cameras [J]. Computer Vision & Image Understanding, 2011, 115(2):140-151.

[9] WEINLAND D，RONFARD R，BOYER E. A survey of

vision-based methods for action representation, segmentation and recognition[J]. Computer Vision & Image Understanding, 2011, 115(2):224-241.

[10] MORRIS B T, TRIVEDI M M. Trajectory Learning for

Activity Understanding: Unsupervised, Multilevel, and Long-Term Adaptive Approach[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(11):2287-2301. [11] HOLZER S, ILIC S, NAVAB N. Multi-Layer Adaptive

Linear Predictors for Real-Time Tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(1):105-117.

[12] SCHULDT C, LAPTEV I, CAPUTO B. Recognizing

human actions: a local SVM approach[C]. 17th International Conference on Pattern Recognition, Cambridge: IEEE, 2004,3:32-36.

[13] SELEN P, David A F. Recognizing activities in multiple

views with fusion of frame judgments[J].Image and Vision Computing,2014, 32(4):237-249.

[14] SHAO Z P, LI Y F. Integral invariants for space motion

trajectory matching and recognition[J].Pattern Recognition, 2015, 48( 8):2418-2432.

[15] KEREM A, KARON E M. Recognizing affect in human

touch of a robot[J].Pattern Recognition Letters, 2015, 66(15):31-40.

[16] STIKIC M, LARLUS D, EBERT S, et al. Weakly

supervised recognition of daily life activities with wearable

sensors[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011,33(12):2521-2537.

[17] WANG Zu-chao, LU Min, YUAN Xiao-ru, et al. Visual

traffic jam analysis based on trajectory data[J]. IEEE transactions on visualization and computer graphics, 2013,19(12):2159-2168.

[18] WANG Heng, KL?SER A, SCHMID C, et al. Dense

Trajectories and Motion Boundary Descriptors for Action Recognition[J]. International Journal of Computer Vision, 2013,103(1):60-79.

[19] BASHIR F I, KHOKHAR A A, DAN S. View-invariant

motion trajectory-based activity classification and recognition[J]. Multimedia Systems, 2006, 12(1):45-54. [20] CHO S Y, SOOY K, HYE B. Recognizing human–human

interaction activities using visual and textual information[J]. Pattern Recognition Letters, 2013, 34(15): 1840-1848.

[21] LIU Hao-wei, MATTHAI P, MARTIN P, et al.

Recognizing object manipulation activities using depth and visual cues[J].Journal of Visual Communication and Image Representation, 2014, 25(4):719-726.

[22] WANG Liang, SUTER David. Recognizing Human

Activities from Silhouettes: Motion Subspace and Factorial Discriminative Graphical Model[C]. CVPR, Minneapolis: IEEE, 2007:1-8.

[23] VERES G V, GORDON L, CARTER J N, et al. What

image information is important in silhouette-based gait recognition?[C]. CVPR, Washington: IEEE, 2004, 2:776-782.

[24] REDDY K, SHAH M. Recognizing 50 human action

categories of web videos[J].Machine Vision and Applications, 2013, 24(5):971–981.

[25] 王晓,刘小芳.基于NSVM的核空间训练数据减少方法[J].

电子科技大学学报,2013,42(4):592-596.

WANG Xiao, LIU Xiao-fang.Nonlinear Support Vector Machine for Training Data Reduction in Kernel Space[J]. Journal of University of Electronic Science and Technology of China, 2013,42(4):592-596.

[26] WU Jian-ning, WANG Jue, LIU Li. Feature extraction via KPCA for classification of gait patterns[J].Human Movement Science,2007,26(3):393-411.

[27] SCHOLKOPF B, SMOLA A, MULLER K. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998,10 (5):1299-1319.

[28] VEERARAGHAVAN A, CHELLAPPA R, ROY A K. The function space of an activity[C]. CVPR, New York: IEEE, 2006,1:959-966.

[29] 李旭,何明一,张雷. WorldView-2遥感图像融合新方法[J].

电子科技大学学报,2015,44(1):28-32.

LI Xu, HE Ming-yi, ZHANG Lei. New Pansharpening Method for WorldView-2 Satellite Images[J]. Journal of University of Electronic Science and Technology of China, 2015,44(1):28-32.

编 辑 叶芳

本文来源：https://www.bwwdw.com/article/vz42.html