自发表情识别综述

第 卷第 期 计算机应用研究 年 期 Application Research of Computers

自发表情识别方法综述*

(南昌大学信息工程学院，南昌330031)

摘要： 表情识别研究热点正从摆拍表情转移到自发表情，本文介绍了目前自发表情识别研究的现状与发展水平，详细阐述了自发表情识别研究的内容和方法，以及自发表情识别研究的关键技术，旨在引起大家对此新兴研究方向的关注与兴趣，从而积极参与对自发表情识别问题的研究，并推动与此相关问题的进展。 关键词：表情识别；自发表情；特征提取

中图分类号: **** 文献标志码: A 文章编号：（作者可不填） doi:10.3969/j.issn.1001-3695 (作者可不填)

A Survey of Spontaneous Facial Expression Recognition

（Information and Engineering college, Nanchang University, Nanchang, 330031,China)

Abstract: Research Focus on facial expression recognition transforms from the posing expression into the spontaneous expression. The actuality and the developing level of spontaneous facial expression recognition at the present time is introduced in this paper, and the key technology on the research of spontaneous facial expression recognition are paid particular attention to. This paper aims to arouse people’s attention and interests into this new field, to participate in the study of the spontaneous facial expression recognition problems actively, and to achieve more successes correlated to this problem.

Key words: facial expression recognition; spontaneous facial expression; Feature extraction

识别的研究和探索还处于初始阶段。对自发表情识别的研究

0引言 还需要我们这一代人共同的努力。本文介绍了常用的自发表

情数据库以及自发表情识别关键技术研究进展。

[1]

表情识别被视为未来情感人机交互的重要技术，吸引了国内众多高校和科研机构参与研究[2-6]。但目前国内外研

1.自发表情数据库 究中比较常用的表情数据库中的人脸表情大都固定为正面，

任务仅限于识别Ekma提出的六种基本表情（愤怒、高兴、

?USTC-NVIE数据库 悲伤、惊讶、厌恶和恐惧）。这不仅与实际表情不相符，而

USTC-NVIE(Natural Visible and Infrared Facial

且忽视了真实表情中特有的脸部肌肉形变与头部运动之间

Expressions)数据库[10][11]是由中国科学技术大学安徽省计算

的时空相关性。谷歌申请的新一代表情识别专利，挤眉弄眼

与通讯软件重点实验室建立的一个大规模的视频诱发的集

方可解锁手机。荷兰开发的诺达斯（Noldus）面部表情分析

自发表情和人为表情的可见光和红外自发表情数据库。其中

系统是世界上第一个商业化开发的面部表情自动分析工具，

自发表情库由自发的表情序列和夸张帧组成，人为表情库仅

用户使用该系统能够客观地评估个人的情绪变化，可以跟踪

由中性帧和夸张帧组成。该表情数据库包含年龄在17—31

人的表情变化。但二者均要求测试者的头姿基本保持不动，

周岁的215名被试者的自发和人为六种表情。

实时连续头姿估计阻碍了其在手机等智能终端领域的应用。

?VAM数据库

因此，面向实际应用的非正面表情识别研究在国外日益受到

VAM数据库[12]采用的是以参加电视访谈节目（TV talk

重视[7][8]。

show）的方式诱发的自发表情数据库，记录了节目中年龄

近十几年来，开展自发表情识别研究的机构主要有美国

在16至69周岁的6位男嘉宾和14位女嘉宾总共20位嘉宾

的加利福尼亚大学，卡耐基梅隆大学机器人研究所，匹兹堡

的面部表情和语音信息。该数据集由834名评估者使用两种

大学心理学系,伊利诺伊大学，沃森研究中心，贝克曼研究

方式进行评估：（1）采用Ekman的6种基本表情类别进行

所，伦斯勒理工学院，麻省理工大学媒体实验室，丹佛大学，

标注，（2）在3个维度上使用强度进行评估，强度等级为

德克萨斯大学计算机视觉研究中心，新泽西技术学院，芬兰

-1、-0.5、0、0.5、1。

的奥卢大学计算机科学与工程系机器视觉组，荷兰的阿姆斯

?MMI数据库

特丹大学信息学院，澳大利亚的昆士兰科技大学科学与工程

MMI数据库[13]是采用视频的方式诱发的数据库，其中

学院，加拿大的麦吉尔大学，日本的庆应义塾大学，爱尔兰

包含人为表情数据库和自发表情数据库，人为表情数据库中

的爱尔兰国立大学计算机视觉和成像实验室 ，中国的清华

有61名成年被试者，自发表情数据库有11名未成年人和

大学和中国科学技术大学等已经有人做了大量工作。目前该

18名成年人被试者，该数据库的表情种类为基本的六类基

领域比较重要的国际会议如计算机视觉与模式识别会议

本表情和单个AU(动作单元)和多个AUs组合。

（International Conference on Computer Vision and Pattern

?RU-FACS数据库

Recognition, CVPR）、模式识别会议（International Conference

RU-FACS数据库[14]是采用视频的方式诱发的自发表情

on Pattern Recognition, ICPR）、人脸与姿态自动识别会议

数据库，该数据库包含100名成年被试者，该数据库的表情

（International Conference on Automatic Face Gesture

的种类为33AUs（动作单元）。

Recognition, FGR）。关于非正面表情识别的研究文章逐年

?UT Dallas数据库

增多，但国内刚开始涉足该领域的研究[9],一些非正面表情识

UT Dallas数据库[15]是采用采访的方式诱发的自发表情

别中的关键技术尚有待突破。但总的来说，对目前自发表情———————————————

收稿日期： ；修回日期： 基金项目：国家自然基金项目“基于动态贝叶斯网络的头姿无关自发表情识别研究”资助（61463034） 作者简介:

页码 计算机应用研究

数据库，该数据库中包含299名成年被试者，该数据库包含33AUs（动作单元）。 ?AAI数据库

AAI数据库[16]是采用采访的方式诱发的自发表情数据库，该数据库中包含60名成年人被试者，该数据库包含6类基本表情和尴尬，轻蔑，羞愧以及积极和消极等类别。 ?Sebel数据库

Sebel数据库[17]是采用视频的方式诱发的自发表情数据库，该数据库包含28名被试对象，该数据库包含4类表情。 ?Oulu-CASIA NIR&VIS数据库

Oulu-CASIA NIR&VIS数据库[18]是以视频的方式诱发的包含近红外光和可见光的自发表情数据库，该数据库中包含80名被试者，该数据库包含6类基本表情。 ?SPOS数据库

SPOS数据库[19]是以观看电影片段的方式诱发的可见光和接近红外光的集自发表情和人为表情的自发表情数据库，该数据库包含7名被试者（4名男性和3名女性），该数据库中的图像序列是从中性帧开始并以夸张帧结束，该数据库包含6类基本表情。

表1 自发表情数据库简介 数据库及文献 诱发方式 数据规模 情感描述 Sebel 04[17] 视频 28被试 4类表情 RU-FACS(RU) 04[14] 接受采访 100被试 33动作单元 UT Dallas 05[15] 采访 299被试 6类表情+4其他 MMI 12[13] 视频 29被试 6类表情 VAM 08[12] 电视访谈节目 20被试 6类表情等 USTC-NVIE 10[10] 视频 100+被试 6类表情 AAI 04[16] 采访 60被试 6类表情等 Oulu-CASIA NIR&VIS11[18] 视频 80被试 6类表情 SPOS11[19] 观看电影片段 7被试 6类表情 2.自发表情识别研究方法比较

通常自发表情识别问题的解决需要经过人脸的检测与定位、特征提取、特征降维和分类识别的过程（如图1所示)，下面将按照这样的顺序，分别来比较现有系统所采用的方法以及各自的优缺点。

图像采集人脸的定位与检测特征提取分类识别所属类别 图1 自发表情识别的主要步骤

2.1 人脸的检测与定位

人脸是自发表情识别过程中最关心的区域。准确地将人脸实时的检测和定位，是一切自发表情识别研究的首要任务。在自发表情识别系统中，由于人脸不一定都是正面的，故而需要采用基于多姿态的人脸的检测方法，主要有：文献[20]提出了基于RNDA与AdaBoost方法相结合的多姿态人脸检测方法。文献[21]提出了基于SVM方法的多姿态人脸检测和识别方法。文献[22]提出了基于不对称和对称的矩形特征形成的分类器的多姿态人脸检测方法。文献[23]提出了时间相容性视频流多姿态人脸检测方法。文献[24]使用由粗到细的策略，提出了一种分为3个步骤的多姿态人脸检测方法。文献[25]提出一种在复杂背景下彩色图像中多姿势人脸的快速检测方法，这种方法利用肤色特征检测出肤色区，然后对肤色区进行处理，最后利用人脸眼睛和嘴巴的颜色特征

判断是否为人脸。文献[26] 针对多姿态的人脸检测准确度差的问题，提出了一种基于超球支持向量机的多姿态协同人脸检测的方法。一旦检测到人脸以后，就可以有针对性的对人脸进行特征提取了。 2.2 特征提取

自发表情的特征提取方法可分为两大类：基于像素的方法和基于几何的方法。所谓基于像素的方法，就是利用脸部

的纹理特征（如皱纹、凹凸表面）[27][28]

。这类方法的优点是特征信息完整，缺点是特征维数高且易受姿态的影响，提取表情特征时一般利用图像变换的方法降维。其中LBP（局部二进制模式）是一种有效的纹理描述算子，LBP特征具有很强的分类能力、较高的计算效率并且对于单调的灰度变化具有不变性，由于其对图像局部纹理特征的卓越描绘能力而获得了十分广泛的应用。然而，也正是由于这种特征的局部化特点，使它易受噪声的影响而不够健壮，缺乏对图像整体信息的粗粒度把握，故而 MB-LBP被提出以弥补传统LBP的不足。另外，Gabor特征是一个公认的优秀的局部特征描述算子，使用Gabor特征的最直接的方法是逐个像素地计算其在多个方向和多尺度的变换特征。然而由于在变换中使用了多方向和多尺度的信息，其特征表示的向量维度非常大，导致计算开销很大，因此对Gabor特征进行降维是其应用的关键问题。而HOG（方向梯度直方图）表示的是边缘的结构信息，可以描述局部的形状变化，其位置和方向的量化在一定程度上抑制了平移和旋转带来的影响，分块分单元处理使得图像局部像素点之间的关系可以得到很好的表示。而所谓的基于几何的方法是利用脸部各器官的形状（如眼睛、嘴巴等）和脸部凸起的位置特征（如眼角、嘴角等）[29]。几何法的优点是实时性好，缺点是几何特征只代表了表情特征的一个子集，以至识别率不高。因此，有研究者采用混合法，即将前两种特征融合作为新的特征，如AAM，这种方法的缺点在于和提取3D表情特征一样，时间代价高，缺乏实时性。

?基于像素的自发表情特征提取方法

Bartlett 等人[30]对表情图像不做任何的调整，直接采用Adaboost分类器自动探测人脸，并依据人脸结构自动分割出人脸和眼睛区域，然后分别计算这些区域的小波特征，最后使用 AdaBoost 和支持向量机作为分类识别算法识别动作单元的强度。Delannoy等人[31]提出了首先使用Adaboost识别出人眼的位置，然后根据人眼的位置，使用基于规则的方法将人脸划分为7个包含独立动作单元的区域，最后将表情图像序列中的每幅图像和起始图像相减的每个动作单元区域的灰度特征输入LLE识别动作单元的5个阶段（中性、起始、夸张、消失、中性），该方法在不限制头部运动的情况下，得到了较好的识别效果。Fujie等人[32]使用光流法提取特征并采用隐马尔科夫模型进行分类识别，到达了较好的

识别点头和摇头的效果。Koelstra等人[33]

首先在图像序列首帧选取了9个标准点，后续图像以此为参照点通过仿射变换消除头部运动影响，然后使用Quadtree Decomposition 计算人脸区域和每个动作单元的相关性，再然后从每个人脸区域提取基于运动方向的直方图作为特征，最后使用Combined Gentle Boost和隐马尔科夫模型作为识别算法。Cohn等人[34]通过采用圆柱状头部模型来估计出头部的水平、垂直位置、人到摄像头的距离、头部偏离角、强度和摇摆动作，从而将头部分解为pitch、roll和Yaw三种状态，并分别计算三种状态和眉毛和眼睛动作单元的相关性。然后采用Lucas-kanada特征追踪算法和Gabor小波提取表情图像面部特征。最后，通过判别式分析识别动作单元，结果为眉毛上扬(AU1+2)和眉毛降低(AU4)时，正确的识别率为89%；结果为眉毛上扬(AU1+2)和眉毛降低(AU4)和无动作(AU0)时，正确的识别率为76%。

页码 计算机应用研究

?基于几何的自发表情特征提取方法

Asheish 等人[35]采用IBM Blue Eyes Camer追踪瞳孔运动，并采用隐马尔科夫模型识别点头、摇头、眨眼等动作。Kaliouby和Robinson[36]采用FraceTracker追踪面部动作和头部动作，并采用动态贝叶斯网络作为识别器对视频中的图像进行实时的态度识别。Yan Tong 等人[37]使用个性化3D人脸模型提取头部姿势特征，然后通过特征点跟踪识别动作单元，最后根据不同头部姿势下不同表情中动作单元出现的概率，建立概率模型进行表情识别。

?基于混合法的自发表情特征提取方法

目前的表情特征的提取方法的趋势是集几何和像素为一体的混合的特征提取的方法，目的在于最大限度地利用有效的信息来进行特征提取，提高识别率。其中典型的应用是AAM（主动外观模型），AAM模型是由Cootes在1998年首次提出的，AAM模型是把目标物体形状和灰度外观统计模型拟合到一个新的目标上，通常使用一组包含目标物体并且在目标物体上标记一些特征点的图像建立AAM模型，如

图2所示。Ashaf等人[38]

采用主动外观模型（AAM）进行表情特征的提取，取得了较好的效果。Lucey等人[39]采用AAM进行表情特征提取并使用支持向量机作为分类算法，达到了84.6%的识别效果。

图2 AAM特征提取

Mahoor等人[40]采用AAM进行人脸归一化和特征提

取，再利用 Spectral Regression进行特征降维，最后，他们使用支持向量机预测动作单元强度。实验结果表明：测量自发表情动作单元强度面对的最大问题是头部运动。而何孟华、王上飞等人[41]采用在提取几何特征和纹理特征之前先检测出面部图像的特征点。然后，根据这些特征点划分面部区域并归一化到100 * 100的像素大小，这样将夸张帧图像减去中性帧图像就获得了差值图像。首先，使用文献[42]提出的算法在中性倾和夸张倾图像上自动标注了27个特征点，我们手工检查了特征点的自动标注并纠正了不正确的以确保准确性。另外我们定义两个眼睛的中心分别为第28和29个特征点(如图3所示)。然后，固定眼睛和鼻尖的位置，

123Brows45678289Eyes101112291413151617Cheek1819Cheek21222320242726Mouth25

图3 27个特征点的标注方法

提取面部区域并归一化到100 *100。最后，从四个面部子区

域（眉毛、眼睛、脸颊以及嘴部）提取几何特征。其中几何特征包括27个特征点运动的27维强度和27维方向特征以及4维关于嘴部和眉毛区域的位移比例特征和15维面部活动单元相关的特征。 然后再从四个面部子区域的夸张帧和中性帧的差值图像中提取了 LBP和Gabor这两种常用的纹理特征。最后使用贝叶斯网络作为分类识别算法，到达了较

好的识别出自发表情和人为表情的效果。 2.3 分类识别

分类识别是指采用模式识别中的分类器和分类算法，将从待分类的图像提取的特征输入（一般要经过特征降维以满足实时性的要求），输出结果为图像属于表情空间中的一类。在分类识别的过程中，重点和难点是根据图像特征的维度特征和分类情况决定采用哪一种分类器和分类算法，以及分类器结构参数的决定。目前表情识别的分类方法主要有：模板的匹配方法，神经网络的方法，概率模型的方法，支持向量机（SVM）的方法，Adaboost的方法。

?模板的匹配的方法

该方法是将从待测表情图像中提取的特征和每种表情模板进行匹配，匹配度越高，则待测表情与某种表情表情越相似。该方法简单，但只能对典型的面部表情进行识别，对非典型的面部表情的识别较为困难，且很难用有限的模板来代替无限多的人脸表情的情况。

?神经网络的方法

神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟，神经网络的研究具有悠久的历史，它很适合用来解决非线性的问题。它一般至少包括3层：一个输入层，一个输出层还有一个或多个隐藏层。相邻层之间的单元是全连接的，即输入层中的每个输入都连接到了隐藏层的每一个神经元，而隐藏层的每个神经元的输出都连接到输出层的每一个神经元。多层网络可以解决单层网络所无法解决的问题，如非线性分类等。在进行人脸识别时，神经网络的输入层对应从待识别的人脸图像中提取的特征（一般经过了特征降维的处理），输出层的神经元对应表情分类的种类。神经网络的缺点在于，当输出层神经元对应的表情种类较多时，那么神经网络在训练过程的工作量很大，不能满足实时性的要求。

?概率模型的方法

该方法采用估计表情图像的参数分布模型的方法，分别计算被测表情属于每个类的概率，取最大概率的类别为识别的结果。该方法主要有Bays(贝叶斯)决策和HMM（隐马尔科夫模型）的方法。隐马尔科夫模型是在马尔科夫链的基础上发展起来的，是一个双重随机过程，其中之一是马尔科夫链，是基本的随机过程，描述状态的转移。另一个随机过程描述状态和观察值之间的统计对应关系。Yanjia sun[43]等人通过局部隐马尔科夫模型（RHMMS）和隐马尔科夫模型（HMM）对Cohn-kanda数据库中的自发表情进行识别，达到了识别率分别为86.7%和84.28%的识别效果。

?支持向量机（SVM）的方法

该方法是在统计学的基础上发展起来的一种学习算法，支持向量机（SVM）是一种两类分类器，其核心思想是将训练样本经非线性变换映射到另一高维空间中，在变换后的高维空间内寻找一最优的分界面，以使得在类间空隙最大的情况下将样本无错误或者接近无错误的分开。由于表情识别一般是多分类的情况，因此需要将支持向量机（SVM）方法扩展到多分类的情况。主要有三种策略：一对多的最大响应策略，一对一的投票策略；一对一的淘汰策略。优点在于，相比于容易过度拟合训练样本的人工神经网络，支持向量机（SVM）对于未见过的测试样本具有更好的推广能力。

?Adaboost算法

该方法是机器学习中一种重要的特征分类算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。Adaboost算法和支持向量机一样，主要用来解决二分类问题，因此可以像支持向量机一样扩展成多分类的情况，这里不再赘述。Adaboost算法的优点在于：随着迭代次数的增加，训练的错误率上界会逐渐的下降且不易出现

页码 计算机应用研究

过度拟合的问题。

3.自发表情识别的应用

（1）辅助驾驶安全

自发表情识别技术可以应用到司机驾驶安全警报系统中，自动识别司机的表情，防止司机因疲劳驾驶而发生交通事故。全球交通事故有很大一部分是由于司机疲劳驾驶造成的，所以急需成熟的驾驶安全警报系统来减少交通事故的发生。

（2）辅助互联网捕捉用户的兴趣

自发表情识别技术可以应用到互联网网站中，网站可以 根据摄像头捕捉画面信息并通过自发表情识别系统识别用户的表情，从而根据分析结果决定在页面上放置什么样的广告图片，实现智能化的交互界面。

（3）辅助远程网络教育

自发表情识别技术可以应用到远程网络教育系统中，通过摄像头捕捉学生的脸部并进行自发表情识别，可以用来分析学生是否聚精会神听课，这样便可以向远程教师提供反馈从而可以协助远程教师及时掌握学生状态，调整自己的授课速度、内容及方式。

（4）基于微表情的自动测谎识别

微表情也是一种重要的自发表情，微表情是一种持续时间仅为1/25~1/5 s的非常快速的表情，其表达了人试图压抑与隐藏的真正情感，测谎在机场安全、公安破案、反恐怖等诸多方面都起着十分重要的作用，测谎中一个手段就是通过识别人脸的微表情，人工度量微表情耗费人力、耗费时间，而且准确度低，因此，研究微表情自动识别技术和系统实现尤为重要。因此微表情成为当前研究的热点，主要围绕表情数据库、特征提取、识别模型开展了相关研究[44][45][46]。

表2 自发表情识别若干文献的对比

作者及文献 Bartlett 03[48] Cohn 04[49] Ioannou 05[50] Ji 06[51] Kapoo 07[52] Littlewor 05[53] Sebe 04[54] Zeng 06[55] Yanjia sun 14[43] Wang 03[56] Lucey 07[57] 特征提取方法 Gabor 小波 形状特征，Gabor 小波 FAPs（面部动画参数） 形状特征 嘴部区域的像素差 Gabor 小波 12运动单元 纹理特征与LPP 41形状特征 形状和纹理特征 AAM（主动外观模型） 识别算法 Adaboost+HMM（隐马尔科夫模型） LDA（线性判别分析） Neurofuzzy network（模糊神经网络） DBN（动态贝叶斯网络） SVM,HMM,NN(神经网络) Adaboost ,SVM（支持向量机） KNN（K最邻近算法） SVDD（支持向量数据分析） 局部隐马尔科夫模型 隐马尔科夫模型 基于高阶奇异值分解的神经网络 SVM（支持向量机） 任务集 3AUs 3AUs 2AUs 3类 2类 2类 2类 4类 2类 6类 7类 19AUs 实验结果 78%-98% 89% 76% 78% 95.3% 79.17% 72% 93%-95% 79% (男性) 87%（女性) 86.67% 84.28% 84.58% 74.47% 4. 结论

就目前的自发表情识别技术而言，它尚属于初级阶段。一般情况下，在自发表情识别过程中，预处理不宜太简单，否则把问题遗留到了后期的计算和处理中，当然，随着自发表情识别技术的发展，Xiaohua Huang等人提出了一种使用改进的典型相关的鲁棒性强的面部表情识别方法，该方法在没有很好的检测和定位人脸的情况下，对面部表情的识别取

[47]

得了较好的效果。自发表情识别技术的难点是如何提取最具分类能力的表情特征，因为人脸是非刚性体，传统的光流法、帧间差分图像特征都难以应用，3D特征提取法计算量偏大，实时性较差，因此将提取非正面表情的动态特征和基于传统特征提取算法获得的静态特征相结合，构成非正面表情特征，既减少数据的相关性和冗余度，又包含足够的充分的信息量，促使后期识别处理的算法不过于复杂，以保证实时性，同时又不失准确性；在识别阶段的模型中，则一定要采用具有描述动态变化能力的模型，如HMM，RHMM,或其改进方式；最后融合头部姿势的特征信息，进一步提高表情的识别率。这是一个可行的方案。 5.参考文献

[1]Zeng Zhihong, Pantic Maja, Roisman Glenn I,e t al. A survey of affect recognition methods: Audio, visual, and

spontaneous expression[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(1):39- 58. [2]高文，金辉.面部表情图像的分析与识别[J].计算机学报，1997, 20(9):782- 789.

[3]薛雨丽，毛峡，郭叶.人机交互中的人脸表情识别研究进展[J].中国图像图形学报，2009, 14(5): 764-772. [4]应自炉，李景文，张有为.基于表情加权距离SLIE的人脸表情识别[J].模式识别与人工智能，2010, 23(2): 278- 283. [5]周书仁，梁昔明，朱灿.基于ICA和HMM的表情识别[J].中国图像学学报，2010, 13(12): 2321- 2328.

[6]蒋 斌，贾克斌. 一种用于表情识别的局部判别分量分析算法[J].电子学报，2014, 42(1):155- 159.

[7]Khan, Rizwan Ahmed. Framework for reliable,real-time facial expression recognition for low resolution images. Pattern Recognition Letters, 2013, 34(10): 1159-1168.

[8]Mavadati, S. Mohammad; Mahoor, Mohammad H. DISFA:A spontaneous facial action intensity database. IEEE Transactions on Affective Computing, 2013, 4(2):151-160.

[9]Wan Shaohua.Spontaneous facial expression recognition: A robust metric learning approach[J]. Pattern Recognition, 2014, 47(5): 1859- 1868.

[10] Shangfei Wang, Zhilei Liu, Siliang Lv, Yanpeng Lv, Guobing Wu, Peng Peng, Fei Chen, and Xufa Wang. A Natural Visible and Infrared Facial Expression Database for Expression Recognition and Emotion Inference[J]. IEEE TRANSACTIONS ON MULTIMEDIA, 2010, 12(7):682-691.

页码 计算机应用研究

[11]Wang S， Liu Z， Lv S, et a1． A natural visible and infrared facial expression database for expression recognition and emotion inference[J]. Multimedia，IEEE Transactions on,2010, 12(7): 682- 691．

[12]Grimm M,Kroschel K, Narayanan S. The vera am mittag german audio-visual emotional speech database. Proceedings of Multimedia and Expo[C]//2008 IEEE International Conference on. IEEE, 2008, 865- 868.

[13]M. Pantic,M.F. Valstar, R. Rademaker, and L. Maat.Web-Based Database for Facial Expression Analysis [C]//proc. 13th ACM Int’l Conf. Multimedia (Multimedia ’05), 2005: 317- 321.

[14] M. S. Bartlett, G. Littlewort, M. Frank, C. Lainscsek, I. Fasel, and J.Movellan. Recognizing facial expression: Machine learning and application to spontaneous behavior[C]//in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition (CVPR ’05), 2005:568– 573.

[15] A. J. O’Toole, J. Harms, S. L. Snow, D. R. Hurst, M. R. Pappas, J. H.Ayyad, and H. Abdi. A video database of moving faces and people[J] .IEEE Trans. Pattern Anal. Mach. Intell,2005 ,27(5) : 812–816 .

[16]G.I. Roisman, J.L. Tsai, and K.S. Chiang. The Emotional Integration of Childhood Experience: Physiological, Facial Expressive, and Self-Reported Emotional Response during the Adult Attachment Interview[J]. Development Psychology, 2004, 40(5): 776-789.

[17] J. F. Cohn, L. I. Reed, Z. Ambadar, X. Jing, and T. Moriyama. Automatic analysis andrecognition of brow actions and head motion in spontaneous facial behavior[C]// in Proc. 2004IEEE International Conference on Systems, Man and Cybernetics, 2004: 610-616.

[18] Guoying Zhao, Xiaohua Huang, Matti Taini, Stan Z. Li & Matti Pietik?inen[J]. Facial expression recognition from near-infrared videos. Image and Vision Computing, 29(9):607-619, 2011.

[19] Pfister T，Li X B, Zhao G Y, et al. Differentiating spontaneous from posed facial expressions within a generic facial expression recognition framework [C]//Proceedings of the IEEE International Conference on Computer Vision Workshops. Los Alamitos: IEEE Computer Society press, 2011:868-875.

[20]Wang Peng, Ji Qiang. Multi-View Face and Eye Detection Using Discriminant Features [J].Computer Vision and Image Understanding, 2007, 105(2):99-111.

[21] Li Yongmin, Gong Shaogang, Sherrah J,et al. Support Vector Machine Based Multi-View Face Detection and Recognition[J].Image and Vision Computing,2004, 22(5):413-427.

[22] Wang Yan, Liu Yanghua, Tao Linmi, et al. Real-Time Multi-View Face Detection and Pose Estimation in Video Stream[C]∥Proc of ICPR’06,2006:354-357.

[23] Castrillon M, Deniz O, Guerra C, et al. ENCARA2: Real-time Detection of Multiple Faces at Different Resolutions inVideo Streams[J].Journal of Visual and Image Representation, 2007:130-140.

[24] Xiao R，Li M J，Zhang H J． Robust multipose face detection in images［J］． IEEE Transactions on Circuits and Systems for Video Technology，2004，14( 1) : 31-41. [25] 王文宁，王汇源. 彩色图像中多姿态的人脸快速检测及定位[J].计算机工程， 2005, 31(17):149-151.

[26] 滕少华，陈海涛，张巍. 基于超球支持向量机的多姿态协同人脸检测[J]. 计算机应用，2013，33(7) : 1988 －1990 [27]M.S.Bartlett, G.Littlewort, M.G.Frank, et al. Fully Automatic Facial Action Recognition in Spontaneous Behavior[C]//Proc. IEEE Int’l Conf. Automatic Face and Gesture Recognition (AFGR’06), 2006: 223-230.

[28]G.Guo and C.R.Dyer. Learning form Examples in the Small

Sample Case: Face Expression recognition[J]. IEEE Trans.Systems, Man, and Cybernetics Part B, 2005, 35(3): 477-488.

[29] M.Pantic and I.Patras. Dynamics of Facial Expression Recognition of Facial Actions and Their Temporal Segments from Face Profile Image Sequence[J].IEEE Trans. Systems, Man, and Cybernetics-Part B: Cybernetics , 2006, 36(2): 433- 449.

[30] M. S. Bartlett, G. Littlewort, M. Frank, C. Lainscsek, I. Fasel, and J. Movellan. Recognizing facial expression: machine learning and application to spontaneous behavior[C]// in Proc.Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on, 2005: 568-573 . [31] J. R. Delannoy and J. B. McDonald. Estimation of the Temporal Dynamics of Posed and Spontaneous Facial Expression Formation Using LLE[C]//in Proc. Machine Vision and Image Processing Conference, 2009. IMVIP '09. 13th International, 2009: 139-144.

[32] S. Fujie, Y. Ejiri, K. Nakajima, Y. Matsusaka, and T. Kobayashi. A conversation robot using head gesture recognition as para-linguistic information[C]//in Proc. Robot and Human Interactive Communication, 2004. ROMAN 2004. 13th IEEE International Workshop on,2004: 159-164.

[33] S. Koelstra, M. Pantic, and I. Patras. A Dynamic Texture Based Approach to Recognition of Facial Actions and their Temporal Models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010,32(11):1940 - 1954.

[34] J. F. Cohn, L. I. Reed, Z. Ambadar, X. Jing, and T. Moriyama. Automatic analysis and recognition of brow actions and head motion in spontaneous facial behavior[C]//in Proc. 2004IEEE International Conference on Systems, Man and Cybernetics, 2004:610-616.

[35] A. Kapoor and R. W. Picard. Multimodal affect recognition in learning environments[C]// in Proceedings of the 13th annual ACM international conference on Multimedia, Hilton,Singapore, 2005:677-682.

[36] R. E. Kaliouby and P. Robinson.Real-Time Inference of Complex Mental States from Facial Expressions and Head Gestures[C]//in Proceedings of the 2004 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW'04) 2004:181-200.

[37] Y. Tong, J. Chen, and Q. Ji. A Unified Probabilistic Framework for Spontaneous Facial Action Modeling and Understanding[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(2):258-273.

[38] A. B. Ashraf, S. Lucey, J. F. Cohn, T. Chen, Z. Ambadar, K. M. Prkachin, and P. E. Solomon. The painful face - Pain expression recognition using active appearance models[J] .Image and Vision Computing, 2009, 27(12): 1788-1796.

[39] S. Lucey, A. B. Ashraf, and J. Cohn. Investigating Spontaneous Facial Action Recognition through AAM Representations of the Face[J]. Mammendorf, Germany: I-Tech Education and Publishing, April, 2007.

[40] M. H. Mahoor, S. Cadavid, D. S. Messinger, and J. F. Cohn. A framework for automated measurement of the intensity of non-posed Facial Action Units[C]// in Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2009:74-80.

[41]Menghua He, Shangfei Wang, Zhilei Liu, Xiaoping Chen. Analyses of the Differences Between Posed and Spontaneous Facial Expressions [C]//2013 Humaine Association Conference on Affective Computing and Intelligent Interaction ,2013: 79-84

[42] P. Wang and Q. Ji.Multi-view face and eye detection using discriminant features[J]. Computer Vision and Image Understanding, 2007, 105(2):99–111.

页码 计算机应用研究

[43]Yanjia Sun and Ali N. Akansu. Automatic inference of mental states from spontaneous facial expressions[C]//2014 IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP),2014:719-723.

[44]贲晛烨, 杨明强, 张鹏, 等. 微表情自动识别综述[J]. 计算机辅助设计与图形学学报, 2014, 26(9): 1385-1395.

[45]Pfister T, Li X B, Zhao G Y, et al. Recognising Spontaneous facial micro-expressions [C] //Proceedings of IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press,2011:1449-1456. [46] Wenjing Yan, Xiaobai Li, Sujing Wang, Guoying Zhao, Yongjin Liu, Yu-Hsin Chen & Xiaolan Fu. CASME II: An improved spontaneous micro-expression database and the baseline evaluation. PLOS ONE, 9(1), 2014.

[47]Xiaohua Huang, Guoying Zhao, Matti Pietik?inen ，Wenming Zheng. Robust facial expression recognition using revised canonical correlation[C]//2014 22nd International Conference on Pattern Recognition,2014：1734-1739.

[48] M.S. Bartlett, G. Littlewort, P. Braathen, T.J. Sejnowski, and J.R.Movellan.A Prototype for Automatic Recognition of Spontaneous Facial Actions[J].Advances in Neural Information Processing Systems , 2003,15: 1271-1278. [49] J.F. Cohn, L.I. Reed, Z. Ambadar, J. Xiao, and T. Moriyama. Automatic Analysis and Recognition of Brow Actions and HeadMotion in Spontaneous Facial Behavior[C]//Proc. IEEE Int’l Conf.Systems, Man, and Cybernetics (SMC ’04), vol. 1, 2014: 610-616.

[50] S. Ioannou, A. Raouzaiou, V. Tzouvaras, T. Mailis, K. Karpouzis, and S. Kollias. Emotion Recognition through Facial Expression Analysis Based on a Neurofuzzy Method[J].Neural Networks, 2005, 18:423-435.

[51] Q. Ji, P. Lan, and C. Looney. A Probabilistic Framework for Modeling and Real-Time Monitoring Human Fatigue[J].IEEE Systems, Man, and Cybernetics Part A, 2006, 36(5):862-875.

[52]A. Kapoor, W. Burleson, and R.W. Picard. Automatic Prediction of Frustration[J].Int’l Human-Computer Studies, 2007,65(8):724-736.

[53] G.C. Littlewort, M.S. Bartlett, and K. Lee. Faces of Pain: Automated Measurement of Spontanous Facial Expressions of Genuine and Posed Pain. Proc.Ninth ACM Int’l Conf. Multimodal Interfaces(ICMI’07),2007:15-21.

[54] N. Sebe, M.S. Lew, I. Cohen, Y. Sun, T. Gevers, and T.S. Huang. Authentic Facial Expression Analysis[C]// Proc. IEEE Int’l Conf. Automatic Face and Gesture Recognition (AFGR), 2004.

[55] Z. Zeng, Y. Fu, G.I. Roisman, Z. Wen, Y. Hu, and T.S. Huang. Spontaneous Emotional Facial Expression Detection[J] .Multimedia, 2006, 1(5) :1-8.

[56] H. Wang and N. Ahuja. Facial Expression Decomposition[C]//proc. Ninth IEEE Int’l Conf . Computer Vision (ICVV’03), 958,2003

[57] Lucey S, Ashraf A B, Cohn J. Investgating spontaneous facial action recognition through aam representations of the face[J]. Face recognition, 2007:275-286.

页码 计算机应用研究

[43]Yanjia Sun and Ali N. Akansu. Automatic inference of mental states from spontaneous facial expressions[C]//2014 IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP),2014:719-723.

[44]贲晛烨, 杨明强, 张鹏, 等. 微表情自动识别综述[J]. 计算机辅助设计与图形学学报, 2014, 26(9): 1385-1395.

[45]Pfister T, Li X B, Zhao G Y, et al. Recognising Spontaneous facial micro-expressions [C] //Proceedings of IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press,2011:1449-1456. [46] Wenjing Yan, Xiaobai Li, Sujing Wang, Guoying Zhao, Yongjin Liu, Yu-Hsin Chen & Xiaolan Fu. CASME II: An improved spontaneous micro-expression database and the baseline evaluation. PLOS ONE, 9(1), 2014.

[47]Xiaohua Huang, Guoying Zhao, Matti Pietik?inen ，Wenming Zheng. Robust facial expression recognition using revised canonical correlation[C]//2014 22nd International Conference on Pattern Recognition,2014：1734-1739.

[48] M.S. Bartlett, G. Littlewort, P. Braathen, T.J. Sejnowski, and J.R.Movellan.A Prototype for Automatic Recognition of Spontaneous Facial Actions[J].Advances in Neural Information Processing Systems , 2003,15: 1271-1278. [49] J.F. Cohn, L.I. Reed, Z. Ambadar, J. Xiao, and T. Moriyama. Automatic Analysis and Recognition of Brow Actions and HeadMotion in Spontaneous Facial Behavior[C]//Proc. IEEE Int’l Conf.Systems, Man, and Cybernetics (SMC ’04), vol. 1, 2014: 610-616.

[50] S. Ioannou, A. Raouzaiou, V. Tzouvaras, T. Mailis, K. Karpouzis, and S. Kollias. Emotion Recognition through Facial Expression Analysis Based on a Neurofuzzy Method[J].Neural Networks, 2005, 18:423-435.

[51] Q. Ji, P. Lan, and C. Looney. A Probabilistic Framework for Modeling and Real-Time Monitoring Human Fatigue[J].IEEE Systems, Man, and Cybernetics Part A, 2006, 36(5):862-875.

[52]A. Kapoor, W. Burleson, and R.W. Picard. Automatic Prediction of Frustration[J].Int’l Human-Computer Studies, 2007,65(8):724-736.

[53] G.C. Littlewort, M.S. Bartlett, and K. Lee. Faces of Pain: Automated Measurement of Spontanous Facial Expressions of Genuine and Posed Pain. Proc.Ninth ACM Int’l Conf. Multimodal Interfaces(ICMI’07),2007:15-21.

[54] N. Sebe, M.S. Lew, I. Cohen, Y. Sun, T. Gevers, and T.S. Huang. Authentic Facial Expression Analysis[C]// Proc. IEEE Int’l Conf. Automatic Face and Gesture Recognition (AFGR), 2004.

[55] Z. Zeng, Y. Fu, G.I. Roisman, Z. Wen, Y. Hu, and T.S. Huang. Spontaneous Emotional Facial Expression Detection[J] .Multimedia, 2006, 1(5) :1-8.

[56] H. Wang and N. Ahuja. Facial Expression Decomposition[C]//proc. Ninth IEEE Int’l Conf . Computer Vision (ICVV’03), 958,2003

[57] Lucey S, Ashraf A B, Cohn J. Investgating spontaneous facial action recognition through aam representations of the face[J]. Face recognition, 2007:275-286.

本文来源：https://www.bwwdw.com/article/1qj2.html