基于二维图像的三维人脸建模

根据二维图像重建三维图形

摘要

自Parke首次使用人脸参数模型生成三维人脸图像以来，构建逼真的三维人脸模型一直都是计算机视觉领域的一个研究热点。本文在对三维人脸建模技术认真分析的基础上，对基于二维图像的三维人脸建模方法进行了深入的研究。主要研究内容包括以下几个方面：

(1) 从Poser7.0中导出通用三维人脸模型。根据MPEG-4的FDP标准，在正、侧面人脸照片上标出能基本反映人脸几何形状和结构特点的特征点。这两步为后面个性化人脸模型的创建奠定了基础。

(2) 采用了改进的径向基函数插值方法变换通用人脸网格模型,并对插值后的模型进行二次平滑处理，得到的特定人脸模型几何结构更加自然。

(3) 利用三张照片进行纹理合成。对三张照片分别进行匹配融合，然后对融合后的图像进行二次融合处理，使最终得到的纹理图像更加真实自然。根据合成的人脸纹理图像的特点，分别计算出人脸模型的各个部分的纹理坐标。

(4) 把模型数据和纹理数据导入到Visual C++6.0环境中利用OpenGL图形库进行纹理映射。

实验证明，本文提出的算法简便可行，有效避免了网格模型三角面片的扭曲，纹理映射效果生动逼真，得到了具有真实感的三维特定人脸模型。

关键词：三维人脸建模，特定人脸模型，径向基函数，纹理映射，OpenGL

I

根据二维图像重建三维图形

Abstract Since the F.I. Parke generated the first 3D human face image using a Parametric Model for Human Faces, it has been always a research hotspot to built vivid 3D human face model in the computer graphic area. After surveyed the 3D face modeling methods, the author carried out a thorough study in the 3D face modeling using 2D images. The research is composed as follows:

(1). Exported the general face model from Poser 7.0. From front and side images, selected feature points, which correspond to MEPG-4 FDP. These feature points can usually reflect geometrical shape and characteristics of human face. These two steps lay the foundation for generating the upcoming individual fiscal model.

(2). Deformed the generic face model using the improved Radical Basis Function Interpolation and applied smooth treatment basing on the post-interpolation face model. After this step, the geometrical shape of generated 3D face grid model becomes more natural.

(3). Performed texture synthesis using three 2D images. Matched and smoothed these images separately. Then the texture images from the previous step was further performed second fusion, as a result, the human face texture image becomes much smoother. From this point, based on the characteristics of the synthesized face texture, every texture coordinates of the face model can be computed, respectively. (4). The model data and texture data are imported into Visual C++ 6.0 to perform texture mapping using OpenGL graphic library. This algorithm has been proved easier and feasible by the experiment. It can effectively prevent triangular facets of the grid model from distortion, making the texture mapping effect more vivid and giving specific 3D face model more realistic.

Key words: 3D face modeling, specific face model, Radial Basis Function, texture mapping, OpenGL

II

根据二维图像重建三维图形

目录

摘要 ............................................................................................................................................. I Abstract ...................................................................................................................................... II 目录 .......................................................................................................................................... III

第一章 绪论 .............................................................................................................................. 1

1.1 研究背景 ...................................................................................................................... 1

1.2 研究意义 ...................................................................................................................... 2

1.3 国内外研究现状 .......................................................................................................... 3

1.3.1国外研究现状 ..................................................................................................... 3

1.3.2 国内研究现状 .................................................................................................... 5

1.3.3 三维人脸重建技术的分析比较 ........................................................................ 5

1.4 本文研究内容 .............................................................................................................. 6

1.5 本文的组织结构 .......................................................................................................... 6

第二章 基于图像的三维人脸建模方法回顾 .......................................................................... 8

2.1人脸建模方法的分类 ................................................................................................... 8

2.2 基于几何的人脸建模方法 .......................................................................................... 9

2.3 基于图像的人脸建模方法 ........................................................................................ 11

2.4 人脸建模中常用的技术 ............................................................................................ 13

2.5 本章小结 .................................................................................................................... 14

第三章 通用人脸模型的建立与人脸特征点的提取 ............................................................ 15

3.1 通用人脸模型 ............................................................................................................ 15

3.1.1 通用人脸模型特征及构造要求 ...................................................................... 15

3.1.2 通用人脸模型的获取 ...................................................................................... 16

3.2 基于MPEG-4的人脸特征点定义 ............................................................................ 18

3.2.1 MPEG-4标准下的FDP参数 .......................................................................... 18

3.2.2 本文选定的人脸特征点 .................................................................................. 19

3.3 本章小结 .................................................................................................................... 20

第四章 个性化三维人脸建模 ................................................................................................ 21

4.1 照片的预处理 ............................................................................................................ 21

4.1.1 人脸图像的规范化调整 .................................................................................. 21

III

根据二维图像重建三维图形

4.1.2 人脸图像的归一化处理 .................................................................................. 23

4.1.3 从正侧面照片中恢复特征点的空间坐标 ...................................................... 23

4.2 特定人脸模型的构建 ................................................................................................ 24

4.2.1 一般人脸模型的整体变换 .............................................................................. 24

4.2.2 几种常见的空间插值技术 .............................................................................. 25

4.3 模型的局部修改 ........................................................................................................ 28

4.3.1 径向基函数简介 .............................................................................................. 28

4.3.2 基于径向基函数的三维人脸重构 .................................................................. 30

4.3.3 径向基函数插值的三维人脸变形结果 .......................................................... 31

4.3.4 三维人脸模型的二次平滑处理 ...................................................................... 32

4.4 本章小结 .................................................................................................................... 33

第五章 真实感人脸纹理映射 ................................................................................................ 34

5.1 纹理映射技术概述 .................................................................................................... 34

5.1.1 纹理及纹理定义 .............................................................................................. 34

5.1.2 纹理的分类 ...................................................................................................... 34

5.1.3 纹理映射的建立 .............................................................................................. 35

5.2全视角人脸纹理图像的合成 ..................................................................................... 36

5.2.1 图像的拼接 ...................................................................................................... 37

5.2.2 基于塔形分解方法的人脸纹理图像二次融合 .............................................. 40

5.3 纹理映射的实现 ........................................................................................................ 44

5.3.1 纹理坐标的计算 .............................................................................................. 44

5.3.2 OpenGL中的基本纹理映射技术 .................................................................... 45

5.3.3实验结果与分析 ............................................................................................... 48

5.4 本章小结 .................................................................................................................... 53

第六章 总结与展望 ................................................................................................................ 54

6.1 总结 ............................................................................................................................ 54

6.2 展望 ............................................................................................................................ 54

参考文献 .................................................................................................................................. 56

致谢 .......................................................................................................................................... 60

个人简介 .................................................................................................................................. 61

IV

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

第一章 绪论

人脸是区分不同个体的最重要的特征，也是人体上最具表达力的一个组成部分。人脸表面具有十分复杂的几何形状和非常丰富的颜色纹理信息，而且兼有广泛性和多样性特点。因此人脸识别是一项具有很大挑战性的工作。

当前人脸识别的方法主要集中在二维图像方面，其识别的准确率在一定程度上由图像来源和质量决定。因为容易受到外部环境和对象自身条件的限制，最终识别结果往往不尽人意。

针对二维人脸识别的不足，科学家们提出利用三维人脸信息进行人脸识别。从70年代以来，三维人脸建模技术日益引起人们的关注，许多不同领域的研究者提出很多创新方法，从而大大推进了该技术的发展。由于巨大的应用前景和科学上的挑战性，真实感三维人脸建模近些年来逐渐成为计算机及相关领域最热门的研究方向之一。

1.1 研究背景

自人类社会形成以来，人们对模拟人脸一直抱有浓厚的兴趣。最初实现人脸模拟的方法包括美术绘画、泥塑艺术、雕刻工艺等，随着科技的进步，出现了电影和照片，但其仅限于反映人脸在某个角度的二维信息。然而随着科技的进一步发展，在诸多领域单方向的人脸信息已经不能满足人们的需要，人们希望可以从各个方向观察人脸，从而可以更便利的识别人脸对象。近些年来，计算机技术的发展日新月异，人脸建模技术的应用领域也日益广泛，人们利用计算机优良的数据计算和处理能力使人脸模拟技术日趋完善，不管是二维还是三维人脸图像，都可以在计算机上进行模拟和演示。现在三维人脸建模技术已经作为一个研究热点而广受关注。

当前虽然已经在三维人脸重建方面取得了一些成就，但在实现完美的三维人脸构建方面还存在有许多问题，从几何结构上来看，人脸表面具有极其复杂的外部轮廓曲线和纹理信息，只有利用精深的数学方法才能描绘这些特性。表情动作的仿真、头发的模拟、光照强度的调整、真实感纹理映等这些问题的彻底解决都有一定的难度，近些年来图像图形学专家一直致力于解决这些难题。而且三维建模需要专用的设备，需要处理的数据量大，不便于存储及网络上传输等问题需要进一步改善[1]。

三维人脸建模虽然存在许多难以解决的问题，但很多学者专家还是在坚持不懈的致

1

根据二维图像重建三维图形

河南工业大学硕士学位论文

力于该方面的研究，主要有以下两方面的原因：首先是现有的一些问题用二维图像的方法不能很好地解决。在人脸识别方面，最终识别效果主要是由表情变化问题来决定，如果充分利用三维信息来识别三维人脸模型，将会大大提高人脸识别的准确率和鲁棒性。其次，三维人脸模型被广泛应用于社会生活的各个领域，具有广阔的应用前景。目前，三维人脸模型已经普遍应用于科教、娱乐、医疗和安全检测等多个领域，而且随着计算机技术和科学技术的发展，三维人脸模型将会有越来越广阔的应用前景。在尽可能地减少人工干预的条件下，创建精确、生动逼真的三维人脸模型，这是本文的研究重点，旨在创建一些高效而简捷的方法来解决这些问题。

1.2 研究意义

许多研究者充分利用计算机在处理图像图形处理方面的优良性能，他们用计算机来模拟和演示三维人脸模型并取得了很大成就。人脸动画已经从传统的关键帧技术发展到表演驱动技术。从可视电话到游戏娱乐，从多通道用户界面到虚拟现实，到处都体现着人脸建模与动画的技术[2]。而且人们对利用计算机进行三维人脸建模的效果和质量要求也越来越严格，人们不再仅仅满足于动作僵硬、表情呆板、背景单调的三维人脸及其动画，建模精确度高、模型表情丰富逼真的建模技术是该领域的研究者们共同追求的目标。

三维人脸建模系统的选择与其所面向的应用领域密切相关，不同的应用领域具有不同的选择标准。三维人脸建模技术主要应用于以下几个方面。

(1)影视制作 影视中虚拟主持人与虚拟演员的制作是三维人脸建模与动画技术在娱乐方面最明显的应用。专业的影视制作人员一直在不断寻找最优的三维建模技术，从而给观众带来最佳的视觉盛宴。从几年前的我国的《宝莲灯》到近期的《乐火男孩》，以及美国最近的电影《阿凡达》等，都充分体现了三维人脸建模技术的非凡魅力。

(2)人机交互界面 目前的计算机虽然在容量空间、处理速度方面有了突飞猛进的发展，可以基本满足社会生活的需要，但计算机主流界面GUI/WIMP的设计风格却不能令广大用户满意。人们所期待的人机界面是比图形用户界面具有更简单、更自然、更友好、更一致的界面设计风格。Morishima和Welsh等人将发展理想的用户界面作为他们研究的一个长远而重要的目标[3]。三维人脸建模技术是人机交互领域的一个研究热点，它可以实现多通道、多媒体的智能化的人机交互。

(3)游戏娱乐 自出现三维游戏以来，三维人脸建模技术就在游戏制作中占有重要的地位。在三维游戏中，丰富多彩的背景、栩栩如生的人物形象都会让玩家惊叹不已，随着三维建模技术的成熟，将会推出更多更好的三维游戏，而且在不久的将来，在游戏

2

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

中可以允许玩家随意更换角色造型，还可以把自己的形象放进游戏中任意驰骋。这一切将归功于三维人脸建模技术。

(4)通讯领域 自从电话进入人们的生活后，给人们带来很大的方便，它已经成为人们日常生活的一个重要组成部分，但普通电话只是声音的传递工具，随着生活水平的提高，人们希望通话的同时可以看到对方。如果说普通电话是“顺风耳”的话，那么可视电话既是“顺风耳”又是“千里眼”了，它是一种语音通信和多媒体通信相结合的产物。虽然目前有多家通信公司推广可视电话业务，而在通讯产品市场上也有很多成型产品在出售，但由于传统的窄带技术无法满足网络对带宽和最大用户数量的要求，再加上该产品高昂的通讯费用，因而还没有普及开来。

(5)医学领域 在医学领域中，三维人脸建模技术主要适用于心理与行为研究和面部美容手术整形治疗等方面。不断成熟的三维人脸建模技术为心理学家进行心理活动和面部运动的研究提供了实验基础。心理学家能够在计算机上利用三维模型来完成他们的实验，这比用真人进行研究更加方便快捷；在进行面部整形手术之前，可以利用三维模型来模拟手术过程和手术结果，以得出合理的手术方案，以最大程度的降低手术风险。

（6）计算机辅助教学 三维人脸建模技术可以应用到计算机辅助教学中。学生可以随时随地与类似真人的虚拟老师进行互动学习，营造良好的学习氛围，增强了学生的学习积极性。特别是当学生听力或语言表达能力方面有缺陷时，只要预先设定程序，学生可以在人脸动画技术的支持下，一遍遍的跟这位虚拟老师学习。

（7）人脸识别 人脸识别技术属于生物特征识别技术，是对生物体本身的特征来区分生物个体。经过很多专家学者坚持不懈的努力，在人脸识别领域已经取得了很大成就。特别是近些年来，三维人脸识别技术已经逐渐成熟，与二维人脸识别相比，它具有更高的精确性和鲁棒性，而且也具有更广阔的应用前景和更大的市场潜力，因而它必定会成为研究的热点方向。

总之，作为计算机视觉领域倍受关注的热点，真实感三维人脸建模技术的研究，不仅具有较高的理论研究价值，而且更具有潜在的实际应用价值。

1.3 国内外研究现状

1.3.1国外研究现状

1972年Parke[4]制作了世界上第一个人脸参数模型，人脸参数模型的基本原理是利用不同参数来描绘不同的人脸表情特征。人脸的表情特征会随着参数的变化而改变。

3

根据二维图像重建三维图形

河南工业大学硕士学位论文

Parke首次利用计算机来模拟三维人脸模型，他使用将近400个顶点组成的250个多边形来表示人脸皮肤，采用余弦插值算法计算连续表情的中间图像，从而实现人脸表情动画。此后，许多专家学者在该领域进行了更深层次的研究工作。

当前，使用最为广泛的三维人脸模型是统计模型和网格模型。美国宾夕法尼亚大学的DeCarlo[5]等人利用人体测量学知识，在人的头部标定一些能表现人物个性特征的特征点，然后根据人体测量方法测量特征点，同时确定特征点之间的关系。对这些测量数据利用变分技术进行处理，最后利用Ｂ样条曲面表示三维模型。瑞典Linkoping大学的Image Coding Group[6]在2001年发布了最新版本CANDIDE-3,该三维模型包含113个特征点和168个三角面片，此模型几何结构简单，可以简捷地表示人脸的细节特征和面部动作，被普遍地应用于网络视频传输方面。微软研究院Zhang和Liu[7]等人在艺术家的帮助下，构造了一种中性人脸网格模型。这种模型包含了360个三角平面和194个特征点，而且构建了65个可调向量，这些向量可用于调整模型的形变。

三维数据信息可以通过物理设备激光扫描仪获取。而且它可以同时获取模型的几何结构信息和纹理信息，也是获取距离数据的一个准确有效的手段，许多研究小组已经开始使用此设备进行科学研究。德国学者Blanz和Vette[8]创建了一个包含三维距离信息和表面纹理信息的头部数据；康柏剑桥研究所的Waters[9]等人利用激光扫描系统获取的三维数据信息进行三维头部建模。多伦多大学的Lee[10]等人利用激光扫描仪获取的三维几何数据信息和纹理信息，通过变换通用人脸网格模型构建特定人脸模型。根据三维数据创建的三维人脸模型具有较高的真实度，但该方法建模成本高，算法不容易实现，同时对三维数据的精度要求很高，当前还不容易实现。

基于二维图像的三维人脸建模，利用普通相机拍摄的二维图像为基础进行三维人脸建模。华盛顿大学的Pinhin[11]等人采用多幅图像变形三维通用人脸模型，他们使用的通用模型是Toronto大学的线框模型。其具体方法是：首先在图像上用手工标定若干个特征点，然后根据特征点的位置信息来调整通用模型。整个调整过程包括三部分：首先利用计算机视觉技术标定相机的定标参数和各个图像的变形参数，并且计算出各个特征点的三维空间坐标；然后，利用散乱数据插值技术，根据特征点的位置来调整非特征点的位移；最后，对模型进行微调，在模型的顶点之间和图像的对应点之间插入附加点，得到具有真实感的三维人脸模型。基于图像的三维人脸建模方法建模效率高，图像容易获取，但是往往由于三维数据存在噪声问题，降低了建模的精确度，同时建模时图像之间特征匹配的精确度也直接影响建模的效果，具体实现时有一定难度。现有的技术多处于理论研究的探索阶段。该方法需要的硬件设备比较简单，但对算法的要求较高。

4

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

1.3.2 国内研究现状

国内在该领域起步较晚，最早的三维人脸建模研究始于上世纪90年代末，经过近些年的研究，国内不少研究者也对人脸建模和动画技术抱有浓厚的兴趣，不同的研究机构在该领域作了许多研究工作。中国科学技术大学、中国科学院计算技术研究所、清华大学、中国科学院自动化研究所和浙江大学等在获取三维人脸数据和三维人脸建模方面都取得了一定的成就。中国科技大学根据正侧面人脸图像构建了三维人脸模型并建造了基本的面部表情动画[12]；中科院计算技术研究所在表情分析与识别研究中获得不错的效果[13]；清华大学采用三角样条曲面进行面部建模和动画研究，取得了一些成果[14]；中科院自动化研究所使用激光扫描仪获取三维数据，为后续建模工作奠定了基础[15]。浙江大学CAD&CG国家重点实验室在曲线/曲面建模、真实感图形绘制、计算机动画等方面取得了很大成就。但当前国内实际应用还涉及比较少，还只仅限于理论研究。所以现在越来越趋向于综合多种技术构建三维人脸模型。跟采用三维扫描仪获取三维人脸数据相比，正侧面人脸照片容易获取，且设备便宜。这一特性使很多研究者热衷于使用二维人脸照片重建三维人脸模型，本文就是以正交照片为基础，提出一种改进的构造三维人脸模型算法。

1.3.3 三维人脸重建技术的分析比较

通过前面的介绍，我们对三维人脸建模技术的基本原理、使用方法都有了基本的了解，现对常用的三种建模技术进行比较分析，具体分析结果表1-1所示：

表1-1 三维人脸建模技术分析表

为了达到良好的建模效果，人们往往综合利用多种建模技术进行三维人脸的重建，对三种建模方法进行综合分析比较后发现，由于利用三维扫描仪的方法虽然建模精度高，但建模代价过于高昂；而利用图像的建模方法虽然方法简单，但建模精度过低，所以现在研究者们越来越热衷于以通用人脸模型为基础，参照二维图像来建立三维人脸模

5

根据二维图像重建三维图形

河南工业大学硕士学位论文

型，本文也是根据这一思路为出发点进行建模，由于二维正交图像上的特征信息最容易提取，因而在本文实验中使用的二维图像是正交图像。

1.4 本文研究内容

本文研究基于二维正、侧面人脸照片的三维人脸建模，研究内容包括以下几个方面：

（1）采用Poser7.0三维人体建模软件，导出通用人脸模型，对该模型的数据信息根据建模要求进行分类提取，并把它转化为适合本实验研究的数据格式进行保存，为后续的建模工作做好数据准备。

（2）由于在实际中受种种因素的影响，获得的两张照片大小可能不一样，所以在提取特征点之前，要对正侧面照片进行规范化处理，使两张照片的高度一致，也即使正面照片和侧面照片的同一特征点处在同一条水平线上，以保证坐标的统一。

（3）根据MPEG-4的FDP标准选择特征点。由于人脸两侧基本上是对称的，所以定义的特征点也是对称分布的，在统计特征点的坐标时，只需要得出中央特征点和一侧的特征点的坐标即可，另一侧的特征点可由空间对称性直接得到。

（4）对通用人脸模型进行整体变换，使通用人脸模型与特定人脸在外部轮廓和五官位置上大致相一致。在整体变换的基础上对人脸模型进行局部变换，使用径向基函数插值技术变换三维通用人脸模型，对变换后的模型进行二次插值平滑处理，使模型的几何结构更加人性化。

（5）合成全视角人脸纹理图像，使用基于列特征的匹配方法，确定出图像的重叠区域，然后采用直方图匹配的方法进行灰度调整，使用加权平滑算法完成图像的无缝拼接。最后利用金字塔方法进行图像二次融合，避免用正侧面照片获得全视角纹理图时会产生较大纹理扭曲现象，得到更加平滑自然的人脸纹理图。

（6）采用微软公司的Visual C++ 6.0可视化编程语言对OpenGL进行调用，实现特定人脸模型的纹理贴图，得到具有真实感的三维人脸。

1.5 本文的组织结构

第1章，绪论。介绍三维人脸建模技术的研究背景和研究意义，分析近年来国内外对该技术的研究现状。在此基础上，明确本文的研究思路、研究目标以及主要研究内容。

第2章，基于图像的三维人脸建模方法回顾。主要介绍采用二维图像进行三维人脸建模时一些常用的方法，并分析它们的优缺点，指出其适合的应用领域。

6

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

第3章，通用人脸模型的建立与人脸特征点的提取。首先介绍三维通用人脸网格模型从三维建模软件Poser 7.0中的导出过程，从分析原始三维文件格式出发，对文件中的数据信息进行提取分类，最终将模型的初始数据格式转化成适合于后续建模研究的数据格式。然后，参照FDP标准，根据人脸特征点分布情况，从正侧面人脸照片中交互提取人脸特征点。

第4章，个性化三维人脸建模。采用径向基函数插值方法对通用人脸模型进行变形。针对该算法的不足，利用二元三次多项式插值技术，对模型的局部区域进行二次平滑处理，最终获得较为平滑自然的个性化三维人脸网格模型。

第5章，真实感人脸纹理图映射。首先使用基于列特征的匹配方法，确定出图像的重叠区域，然后采用直方图匹配的方法进行灰度调整，使用加权平滑算法完成图像的无缝拼接。最后利用金字塔方法进行图像二次融合，最终得到自然平滑的人脸全景纹理图，为后续工作做好准备。利用OpenGL有关纹理映射知识，基于Visual C++6.0开发环境，获得具有较高真实度的三维人脸模型。

第6章，总结与展望。本文所做的工作进行总结，对本研究课题中的不足及需要改进的地方进行分析。

7

根据二维图像重建三维图形

河南工业大学硕士学位论文

第二章 基于图像的三维人脸建模方法回顾

特定三维人脸模型的构建过程分为三个阶段：三维通用人脸模型的选择、特定三维人脸模型的变换、真实感纹理映射。人脸具有很大的差异和不规则的几何结构，而且人脸皮肤表面和光照之间具有复杂的相互作用，这种特性给特定三维人脸模型的构建带来一定的难度。因而，采用二维人脸图像构建三维人脸模型的技术研究近些年来成为人们关注的热点。本章简单介绍几种常用的三维人脸建模方法，并且指出它们适用的领域及优缺点。

2.1人脸建模方法的分类

虽然构造具有真实感的三维人脸存在一定的困难，但在该领域己经取得了一些成果。通过基于图像的操作和基于几何的操作都能够获取真实感的三维人脸，其中基于图像的操作可以获取皮肤的反射属性、头发等这些特定人脸的基本细节，而几何操作主要对应于表情变化时面部的改变。现有的建模方法主要集中在人脸的建模和渲染两部分，据此我们把三维人脸模型构建的方法大致分为两种类型：基于的几何的方法和基于图像的方法[16]。

所示。

基于几何的模型构建方法，主要是利用几何方法来变换三维人脸模型，以此来达到获取特定三维人脸模型的目的。其包含的主要的方法如图

基于图像的构造方法，主要利用图像的数据插值、纹理贴图的方法来完成特定三维

8

图2-1 基于几何的人脸建模方法

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

人脸建模，其包含的主要方法如图2-2所示。

图2-2 基于图像的人脸造型方法

每种方法都是根据一些具体的实际问题提出来的，是对各种方法的综合结果 ，因而上述的各种三维建模方法之间存在密切的联系，在具体进行特定三维人脸建模过程中，应该根据实际情况将几种不同的建模方法综合运用，特别是假如基于图像的方法能够结合人脸的几何数据，将会使模型更具真实感。在此只是为了方便说明问题才进行方法分类，通常在实际应用中是结合多种方法进行建模。

2.2 基于几何的人脸建模方法

Parke首次把基于几何的构建模型方法应用在计算机中生成虚拟三维人脸模型。该方法的实施是以一个假人模型为出发点，先用手工方法测量模型上的数据，然后把脸部进行多边形分割，把多边形的顶点数据进行保存，根据保存的数据可以得到头部的分片模型[17]。Parke设定人脸模型的差别可以利用拓扑几何结构上的变换来区分，他通过变换通用人脸模型的参数构造几个不同形状的人脸模型，使用双线性插值来构造不同的人脸形状。给定的构造参数的范围限制了Parke的参数化模型，并且在一张特定人脸上参数的调节是非常困难的。随后Parke据此方法原理有创造性的提出一些实现人脸动画的方法，下面主要介绍一些比较有代表性的建模方法及其思想原理。

(1)参数化人脸模型 人脸模型参数化方法突破了简单插值的某些局限性，面部轮廓和形状的构建是利用一些特殊的参数值来完成的，参数化方法只需要较少量的计算就可以精确的控制特殊人脸形状。很多面部表情都可以由参数的组合来提供。但是参数化方法只能利用模型网格的拓扑几何结构来选取参数，所以不能实现完全参数化控制，并且很多参数值是通过手工调节来获取，因而会引起外形和动作表情的失真。而且参数化

9

根据二维图像重建三维图形

河南工业大学硕士学位论文

方法的另一个局限是如果用两个跟同一个顶点相关的参数去调整模型的话，无法用一个合理的方案来解决问题。所以当多个参数之间有相互冲突时，往往会导致不自然的表情

[18]。

(2)向量肌肉方法 向量肌肉方法是在形变变量可以波及到的范围内，用模拟肌肉运动的方式来改变面部形状，从而达到模型形变的目的。Waters最早提出一个非常成功的用多边形的几何方法来表示的肌肉模型，其基本思想是利用不同的力学约束来作用于不同的网格顶点，以此来描绘面部肌肉的变化，而不同的肌肉都有各自不同的作用范围，每条肌肉对人脸不同的部位都有一定的影响区域，从而引起模型变形以实现人脸动画[19]。通过肌肉控制来实现模型的参数化调整，但这些参数只是一种抽象的表示方法。模型的网格顶点变换是通过顶点上的肌肉模型来控制完成的，而在变换过程中模型面部的几何拓扑结构没有发生变化[20]。

(3)样条伪肌肉方法 阿尔伯特多边形人脸模型被广泛应用在很多领域，然而它无法详细刻画人脸的柔韧性和光滑性，难以在任意区域内平滑地变形具有固定拓扑结构的人脸多边形模型。如果不细分的话，平坦区域的顶点就不能变换成曲面，为了确保光滑性和形变的灵活性，可以用曲面来构建一个完善的人脸模型。利用样条肌肉模型可以据此达到建模的目的。样条往往具有连续性，所以可以据此特性在模型上进行局部变换，而且利用小组控制点来控制仿射变换，因而大大简化了算法的复杂性[21]。

(4)多层弹性网格方法 一个多层弹性网格是为了达到更可靠地模拟人脸物理行为的目的而将一个质点弹簧结构拓展为三个紧密相连的网格层。Wu提出了一个能在保持视觉真实性的基础上减少计算时间的简化网格系统[22]。Lee等人根据Waters和Terzopoulos早期的研究成果构建了一个基于物理的皮肤和肌肉层的综合模型[23]。人脸模型通常是由三个分量构成，一个最里层的不可穿透的头盖骨结构，皮肤下的肌肉层和具有非线性变形属性的生物组织层。该综合体造型用三棱柱体元素来实现,它分为表皮、筋膜和颅骨曲面，影响肌肉拉力的弹簧元素连接筋膜和头盖骨层，皮肤的弹性是由连接表皮和筋膜的弹簧元素模拟。该模型极其逼真，但一张特定的人脸的构建需要很大的计算量和很大的调节工作[24]。

(5)人类学方法 在构造特定的人脸模型时，立体图像和激光扫描被用于获取全视角纹理和几何细节。但这些方法也有缺陷，立体图像或扫描数据经常由于被遮挡而遗漏区域，错误的数据和噪声必须通过手工才能校正。并且由于现在还没有完全有效的对应点自动匹配方法，如果在得到的数据上特征点信息比较隐蔽，就需要人工干预调节[25]。Kuo等人根据人类学的基本定义构建了一个由正面二维人脸图像估计出侧面图像的信息，从而得到特定人脸模型的方法[26]。该算法首先需要构建一个包含测试人脸参数数据

10

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

信息的数据库，并此作为先验知识；然后，通过将最小中值二次误差估计的原理算法应用于数据库中，根据正面的人脸参数信息估计出侧面人脸的参数信息，通常通过几个正面的人脸参数线性组合可以得到侧面人脸的深度参数；最终通过自适应得到三维人脸模型，并进行纹理映射，得到具有真实感的三维人脸模型[27]。

(6)散乱数据插值 基于径向基函数的散乱数据插值技术可以简便地将一个一般网格变换成特定形状，而且它可以充分逼近像人脸那样光滑的曲面。这种变形方法的实现需要的顶点数远远少于目标网格的顶点数，因为可以利用散乱数据插值算法得到其余顶点[28]。Wang采用morphing技术实现了从通用人脸模型到特定人脸模型的转换。该算法首先在人脸外部轮廓、嘴巴、眉毛、鼻子和眼睛上选取一些特征点标识，特征点的个数和位置选择决定了一般网格变形的效果 。然后由这些特征点计算出插值函数，其中的基函数采用了Hardy multi-quadric径向基函数，最后一般网格的变形通过插值函数来实现[29]。

(7)脸部动作编码系统 脸部动作编码系统(FACS)是根据人脸的生理结构特征来描述眼睛、嘴巴和面部肌肉等动作。人脸上发现43种动作单元，每种动作都由一块或好几块肌肉的运动构成，各种动作单元之间可以相互自由组合。Essa等人利用Modular Eigenspace方法来处理适配方面的问题。该方法可以在图像上自动选取面部器官特征点的位置。利用这些特征点可以控制图像变形，通过变形，可以使个性化的人脸图像与通用人脸模型相匹配[30]。能够进行形变的顶点从图像中提取出来，进行保存，进而为进一步的细化工作做准备。通过用自由变形、随机噪声变形、定点编辑、或者数字化生物体来控制已有的模型产生新的特定人脸模型[31]。

(8)其它的方法 DiPaola的人脸动画系统(FAS)是在Parke建模方法的基础上进行了更深层次的扩展。通过利用数字化生物体或雕塑工艺品，或用自由变形技术、随机噪声变形、或定点编辑等方法来操作已有的模型产生新的人脸模型[32]。

2.3 基于图像的人脸建模方法

近些年随着计算机视觉技术的发展，基于图像建模的方法成为人们的关注的热点，应用这些方法创建的模型更逼真，主要有以下几种方法。

(1)插值 插值技术为脸部动画提供了一个比较直观的方法。由于线性插值算法简单、容易实现的特点使其成为计算机视觉领域广泛使用的一种插值方法，而采用稍微复杂一些的插值函数可以实现一定的动画效果。当有四帧画面时，就可以利用双线性插值函数来实现，与线性插值相比，双线性插值更能容易表现生动逼真的面部表情。而双线

11

根据二维图像重建三维图形

河南工业大学硕士学位论文

性插值与图像的变形技术结合使用，可以实现丰富多彩的表情变化[33]。虽然插值能够简单快速的产生基本脸部动画，但它无法创建大范围内具有真实感的人脸造型，因而该特性限制了它的应用范围。并且该方法很难组合不同人脸之间的变形。

(2)基于统计的人脸渲染 Thomas Vetter和Volker Blanz基于统计的建模方法提出了利用人脸图像库来建模的方法，使用一张照片就可以得到个性的人脸模型。该方法是首先建立足够大的人脸库，然后把人脸库中的人脸图像进行线性组合来逼近照片中的特定人脸，因而可以得到特定的三维人脸模型，方法的实现是自动完成的，而且对于不同的照片都具有很强的适应性[34]。该方法的优点是最终得到的模型逼真，不需要人工干预，需要的信息量较少，但不足是必须事先建立庞大的人脸库，即使人脸库再大，也不可能包括世界上的所有人脸形态，因此对人脸的模拟在一定程度上起到了限制作用。

(3)纹理操作 纹理被应用于获取具有真实感的人脸图像，它可以在每个象素上反映曲面的光照属性。Oka等人创建了一个完整的真实感人脸表情和动画的动态纹理映射系统，每次调整三维物体的几何结构或观察点时，就会构造一幅新的纹理映射图像用于对象的最佳显示[35]。该算法简捷，运算效率高。在该算法中，从纹理图像到计算机屏幕的映射函数可以用一个线性函数来实现。该线性函数必须足够光滑，通过依赖于视点和几何变化的动态纹理映射，在多个三维人脸曲面间的外插和内插来实现真实感人脸表情

[36]。

(4)图像morphing技术 图像morphing（形状过渡）是指在两个模型或两幅图像之间实现的调整变形。二维图像之间的过渡包括两幅图像对应点之间的淡入淡出和Warping。两者之间的对应关系可以按需要进行手工选取，在对应关系建立后，形状过渡可以实现生动逼真的面部动画。Beier等人把morphing函数定义在包围特征线的影响区域上，然后把手工指定的对应特征线段在两幅图像间完成二维morphing[37]。采用该方法，想要得到良好的效果需要很大的工作量进行手工交互，包括选取合适的对应关系，颜色的调整，Warping和调整淡入淡出参数。在设计动画过程中，由于目标特征不明显，合成真实感的人头运动有一定难度，因此源图像和目标图像的改变会使对应关系的选择变得非常复杂。

(5)面色变化产生表情 脸部动画和表情不仅仅包括人脸外形的变化，而且还包含由于对象情绪变化而导致脸部颜色的改变。该方面的研究工作到目前为止还很少。首个面色变化产生表情的模型是由Kalra等人提出[38]。Kalra等人构造了一个情绪计算模型来模拟脸色变化动画，该模型被定义为时间域上具有两个参数的函数，其中一个参数用来表示面部颜色的改变，另外一个参数用来表示肌肉表情的强度。他们同时定义了最小可觉察的颜色运动，它控制着人脸各个部位的由于血液循环而导致的颜色变化。如果直

12

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

接按血流特点对脸色改变造型是不容易实现的，但利用像素估值和纹理映射可以便利的实现脸色变化。该方法是在纹理图像上定义一些Bezier平面片形状的MPCA区域，利用象素估值能够获取每个象素的参数变化情况，纹理图像的颜色属性可以通过该象素参数来改变。

(6)对应点的测试 适配必须构造通用模型和特定模型之间的对应关系，对应关系的正确与否将直接决定适配结果的完整性。人工选取对应关系非常困难，不仅精确度低而且会导致偏差积累会越来越大。也有其他方法可以自动完成对应点的适配工作。 Lee等人提出一个根据激光扫描得到的深度和反射数据信息自动构造特定人头模型的方法

[39]。在Yin的工作中根据二维正面和侧面图像调整得到一般通用模型，利用合并每个二

使用将标准模型上的特征点调整到二维图像对应点的位置来构建位移矢量，可以通维视图的适配操作得到一个特定的三维人头模型[40]。 过散乱数据插值方法获取非特征点的位置。为了得到一个完整的三维模型，两张图像的纹理图在基于部分人脸区域大致方向被调和，并使用一个分层的力扩散方法(LFSM)来实现动画。在该方法中，中心顶点向四周扩展分层关键点形成中心层，与中心层直接相连的顶点构成了第二层，以此类推。为了实现人脸动画，根据不同层上的不同权值，弹簧力从中心向四周外围层进行扩散。

2.4 人脸建模中常用的技术

不同的人脸模型可以应用在不同的领域，既有应用在医疗解剖方面的复杂模型又有简单的几何模型。同一个模型上面可以用多种不同的几何表示方法，而且一般来说不同器官的表示方法是各不相同的。下面讨论几种常用的三维人脸模型的建模技术：

(1)多边形建模技术 多边形建模技术是用多边形网格来表示人脸的技术，在网格上选取一些控制点，网格的变换是通过控制点的移动来带动的，以此就能够产生动画效果。利用该方法可以得到精细的脸部纹理和几何结构，合成各种脸部形状，实现完全可控的、自然生动的面部动画。多边形建模技术常用的方法有两种：均匀网格和非均匀网格。使用非均匀网格可以使面部细节重点突出，还能简化计算的复杂度。例如，在脸颊和后脑等这些部位可以用密度较小的网格来表示它们，而在面部的眼睛和鼻子采用密度较大的网格来表示它们，这样就可以使细节更突出。

(2)曲面建模技术 曲面建模技术主要有限元模型和样条模型。有限元模型通常被用于计算皮肤的形变，该模型适用于医学方面的研究，其缺陷是计算量过大，运算时间过长，因而不适于实时的人脸动画系统[41]。经常用到的样条模型有B样条模型，主要因

13

根据二维图像重建三维图形

河南工业大学硕士学位论文

为B样条控制的精确性，构建的人脸模型能够任意精度逼近原始人脸。但是B样条模型很难完成孔，洞等外形，因此也给人脸建模带来不便。而且，由于B样条的控制点不是直接作用于模型表面，因而对于曲率变化较大的部位很容易实现[42]。

(3)隐式建模技术 曲面可以用隐性函数的方式进行定义，一个结构形状复杂的模型可以使用多个隐式曲面组合在一起来表示[43]。隐式方法适用于那些对真实感要求不高的应用，比如，比较夸张的表现手法或者是卡通，而且由隐式曲面组合在一起构成的模型很方便做碰撞检测。但是由隐式方法构成的曲面缺点是当表现曲面表面细节、表示具有尖锐边缘的物体对象、或者对曲面进行变换调整时都非常困难，而且渲染起来比较慢，因而在人脸建模中这种方法用的比较少。

(4)参数化建模技术 参数化的基本原理是由n个参数定义一个相对较小的n维空间。参数化建模技术是人脸建模中比较常用的建模方法，实际上参数化建模方法是建立参数空间和模型空间的一种对应映射关系[44]。用参数化的方法好处很多，其中包括：可以利用较为直观的方式定义模型、可以压缩数据，可以对模型上进行数据调整、可以用计算机生成大批模型、可以在模型之间进行调整等。参数化建模技术的主要缺点是所能构建的模型形状有限，而对特殊的模型无法完成建模工作。

(5)点云系统建模技术 在基于物理系统的观点中，模型通常被看作是一个由点云组成的系统，而且模型的运动可以通过物理公式计算出来。该系统往往把皮肤看成是由肌肉部分、皮下组织部分和表皮部分组合在一起的一个系统结构，表皮的运动效果的实现是由肌肉收缩产生的力学效应来完成的，在这里肌肉被认为是连接在某一固定点上的弹簧，能够用一些数学方法如Runge-Kutta方法来解其得到的结果方程。或者也可以将面部看作是由一些弹性介质连接起来的点组成的表面[45]。

2.5 本章小结

本章主要介绍了在三维人脸建模过程中经常用到的一些技术方法，并介绍了这些方法的基本原理思想，同时对他们的优缺点进行比较分析，指出他们适合的建模方法和适用的领域范围。

14

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

第三章 通用人脸模型的建立与人脸特征点的提取

当前三维人脸重建研究的热点是以通用人脸模型为基础，利用通过普通手段获取的二维图像提取数据信息，找到一些简捷通用，执行效率高的建模方法构建具有真实感的特定三维人脸模型。本章将详细介绍三维通用人脸模型的导出过程和处理方法，并参考MPEG-4标准，在普通相机拍摄的二维人脸图像上标注特征点，为后续的建模工作奠定数据基础。

3.1 通用人脸模型

本文进行了根据二维人脸图像变换通用人脸模型得到特定三维人脸模型的研究，首先需要获取三维通用人脸模型作为下一步研究的基础。本节重点描述三维通用人脸模型的特征和获取方法。

3.1.1 通用人脸模型特征及构造要求

虽然世界上没有两个完全相同的人脸，但不同人脸之间仍然存在共同的特征。比如：每个人的脸部都有嘴巴、鼻子、眼睛、眉毛等器官，且每个器官在面部的相对位置是稳定的。对于一个特定的人脸可以用嘴巴的形状、鼻子的高低，眼睛的大小，眉毛的粗细等细节来刻画其面部特征。通用人脸模型可以认为是一个具有代表性的、没有任何明显特征的一般三维人脸模型。

通用人脸模型的具体表示方法很多。在计算机视觉中，三维模型主要有两类的表示方法：基于面(Surface)表示方法和基于体(Volume)表示方法。基于面的描述数据能够利用三维数字化设备进行获取。基于面表示方法的优点是它能够很方便的得到计算机视觉中进行着色所需要的面，为下一步的工作提供了便利。基于体表示的数据可以通过CT、MRI等设备生成。体表示方法不仅描述了物体的表面特征还有关于物体内部特征的描述，其中内部特征主要用来描绘模型的相关物理特性。但这种方法消耗空间过大，计算时间过长，目前还不适用于计算机的表示和处理，并且基于体表示的某些方法技术还不完善。本文利用基于面描述的三角网格模型来表示三维通用人脸模型，主要模型元素包含的数据信息有模型顶点坐标以及由顶点组成的三角面片集合。

三角网格模型表示分为两种：均匀网格表示和非均匀网格表示。脸部细节的刻画程

15

根据二维图像重建三维图形

河南工业大学硕士学位论文

度和网格模型的疏密密切相关，非均匀网格表示不仅可以减少计算量，提高运行效率，还可以充分体现细节特征。在人脸曲率变化较小的地方，如额头、脸颊等处，点的分布密度可以少一些；而在人脸曲率变化比较大的部位，象嘴巴、眼睛等地方，点的分布密度应该大一些。因此，本文采用非均匀三角网格来表示三维通用人脸网格模型。

不同人脸具有大致相同的特征，而通用人脸模型则是这些相同特征的集合体，可以反映普遍的人脸几何结构、体现了人脸的共性。因此一个合理的一般人脸模型应该具备人脸的普遍共性，也就是没有性别、不分年龄、脸型普通、表情中性的人脸型。这样的人脸模型在构建特定人脸模型时可以适用于各种性别、各个年龄阶段及各类脸型。通用人脸模型应该具备以下几个基本特征：

第一、符合“三庭五眼”的比例关系。通用人脸模型上的各个脸部器官在整个人脸模型中的位置关系应符合“三庭五眼”比例标准。

第二、脸型适中。脸型要适中，一般要采用脸型轮廓为椭圆形的脸型，不能使用特殊对象的脸型作为通用人脸模型，更不能采用比较特别的脸型(如长方型、瓜子脸型)。

第三、脸型左右对称。一般人脸模型设计时，左半脸和右半脸依额部——鼻尖——人中——下巴的这条线左右对称，这种对称关系不仅方便了下一步人脸的各种实际操作和变换，而且还遵循了“三庭五眼”的人脸比例关系。

第四、合适的数据量。从理论上来讲，模型的面片数就越多，数据量也就越大，模型也就越逼真，但数据的计算量也就越大，提高了问题的复杂度。考虑到实际应用方面的问题，应该把通用人脸模型的数据量控制在一个适度范围内，既可以方便地进行各种计算，又能合理刻画人脸的细节特征，以便于实际操作。

本文在构造通用人脸模型时严格遵循以上要求。

3.1.2 通用人脸模型的获取

通用人脸模型的获取方法很多。其中利用专门的三维扫描设备是获取人脸模型的最直接也是最精确的方法，然而由于专门的三维扫描设备价格高昂，不容易获取。传统使用的人脸造型工具是几何建模器。使用标准的计算机图形技术可以实现三维人脸建模的工作，并且能够构建任意造型的人脸模型。但是由于人脸表面特别复杂，该建模过程的实现需要一定的时间和算法技巧。根据第三方建模软件提供的头部模型信息也能够获得一个通用人脸模型。

利用第三方建模软件(如poser，MAYA，3DSMAX等)能够实现人脸模型的构造。各种各样的三维人脸模型都可以通过这些软件导出，利用导出的人脸模型可方便快捷地构造

16

根据二维图像重建三维图形

基于二维图像的三维人脸建模技术研究

人脸模型，省去了大量繁琐的建模工作。往往用第三方建模软件导出的人脸模型，有成千上万个数据点，虽然大量的数据增加了模型的精确度，然而过量的数据点导致人脸模型中三角面片数量的剧增，加深了模型结构拓扑关系的复杂程度，使实现人脸动画更加困难，从而限制了人脸建模的应用范围，而且这些都不利于模型调整和重构，限制了不同个性化人脸的设计需求。所以，必须选取几何结构简单、数量适中但又能恰当体现人脸细节的三维人脸模型。

本文从 Poser7.0中获取一个通用人脸模型[46]。从Poser7.0中导出的三维通用人脸模型文件格式为.vtx，命名为man.vtx。当然还有很多其它格式的导出文件，这些文件虽然描述的都是同一个对象，但文件内部数据的组织方式有很大区别。man.vtx中人脸模型包含三个组成部分，前两个组成部分分别是左眼球object1和右眼球object2，第三个组成部分是人头模型object3，对这三个组成部分分别进行数据信息的提取和保存，每一部分包括四个不同的数据段。

(1)顶点坐标数据段 记录三维网格模型上每个顶点的三维空间坐标。模型上顶点总数为4130。

(2)三角面片数据段 通用三维网格模型是由很多三角面片组成，每个三角面片都有三个顶点，三角片元数据包含了所有三角面片对应顶点的下标。在通用模型中三角面片总数为8176，其中头部的三角片总数为6928，左右眼球的三角片总数各为624。

(3)顶点法向量数据段 记录三维网格模型上每个顶点的法向量。

(4)网格顶点纹理坐标数据段 记录三维网格模型上每个顶点在二维纹理空间所对应的纹理坐标，为后面的纹理映射工作奠定了基础。

基于导出通用模型文件的数据分布情况，考虑到本文是针对人脸表面进行建模，保留了左右眼球，牙齿和舌头以及耳朵等细节特征，并且可以根据这些部位不同的特点对它们进行分别建模，从而可以提高建模质量和最终效果。这样可以使模型更加生动逼真，还可以提高特征点选择的精确度，从而为下一步的建模和人脸动画工作打下良好的基础。处理完毕的网格模型正侧面如图3-1，3-2所示。

17

本文来源：https://www.bwwdw.com/article/2c04.html