一种个性化人脸三维建模方法

计 算 机 工 程 第 33 卷 第14期

Vol.33 No.14 Computer Engineering · 博士论文 ·

文章编号：1000—3428(2007)14—0001—03

文献标识码：A

2007年7月

July2007

中图分类号：TP37

一种个性化人脸三维建模方法

段 鸿，龙 飞，姜青山

(厦门大学软件学院，厦门 361005)

摘 要：描述了一种特定人的人脸三维建模方法，该方法用该人的正面及侧面人脸两张照片，通过选择关键特征点，在基本人脸模型基础上，经过变形，得到特定人脸三维网格模型。再经纹理匹配，获得特定人的三维人脸模型。该方法已在微型计算机上进行了模拟，并成功地获得酷似真人的人脸三维模型。

关键词：人脸建模；3D模型；三角网格；纹理映射

3D Face Modeling Method for a Certain Person

DUAN Hong, LONG Fei, JIANG Qingshan

(Software School of Xiamen University, Xiamen 361005)

【Abstract】This paper describes a method to reconstruct 3D face from a front face photo and a side face photo. After selecting key feature pointsand metamorphosing the basic face mode, the 3D grid face of the special person is created. After texture mapping, the special person’s 3D facemodel is reconstructed. This method is implemented on a PC. The experiment is successful because the 3D face model and the true face are alike. 【Key words】face modeling; 3D model; triangle mesh; texture mapping

随着网络技术，虚拟现实技术的发展，特别是虚拟播音

员的出现，虚拟人物设计的研究得到广泛重视。人脸三维建模方法的研究是该领域研究的重要内容。其研究结果有重要的理论意义。可广泛应用于人机交互、远程教育等方面。

文献[1]中利用两台标定的摄像机和laser光重建出了较为精确的人脸几何模型。文献[2]中利用3D深度数据扫描仪成功地获得人体的三维全表面信息。但这两种方法因数据量庞大，不便于人脸的动态设计。

另一种方法是用NURBS曲面[3]，其优点是光滑度较好，但其控制点是一个矩阵，在眼睛、嘴巴等处需要较密集的控制点。较难用于特定人的人脸三维建模。

本文给出了基本人脸模型的建模方法，并重点描述了变形参数的获取及变形，纹理匹配三角形子图像与特定人的正面、侧面图像的映射关系及纹理匹配等方法。

证面颊的相似度。右半边脸部的特征点可以通过对称性得到。

(a) FDP部分特征点 (b) FDUs

图1 特征点及单位的表示

表1 特征点分布

区域数目

眼睛眉毛鼻子嘴巴 耳朵 额头 下巴 面颊总共

7 4 8 12 8 3 4 12 59

1 特征点的选择及表示

1.1 特征点的选取

人脸特征点的选取，须满足2个条件：(1)

能准确表示出人脸的静态结构；(2)方便表情等各种动态信息的控制。

国际标准化组织在1999年

2月提出的MPEG4标准化方案，在人脸的特征和脸部活动的基础上给出了一个人脸定义参数集(facial definition parameters, FDPs)和一个人脸运动参数集(facail animation parameters, FAPs)。

为了显示人脸3D模型的特征点和进行人脸的动态控制，可以在FDP特征点集合(图1(a))的基础上，再在适当位置增加若干个点，以保证模型的相似度。

由于一般的人脸具有较好的对称性，因此在实际的建模过程中为了减少运算量，可以先求半边脸部的信息，另半边脸部信息可由对称性求得。表1给出了可用于左半边人脸三维建模的59个特征点。其中，面颊部分增加了6个点，以保

坐标满足右手坐标系，x方向与xOz平面垂直且指向人脸左方，则任一特征点P的位置，可以表示为P(x',y',z')。为了产生与图像无关的模型，须对特征点坐标进行归一化。

在图1(b)中，设两眼平视前方时，两瞳孔(即点3.5与点3.6)之间的水平距离为ES0；两瞳孔连线与点9.15的在y方向上的距离为ENS0；点9.15与点10.7(左耳旁点图1(a))在位置可表示为

P(x,y,z)=(x'/ES0,y'/ENS0,z'/EES0) (1)基金项目：福建省自然科学基金资助项目(A0410002)

作者简介：段 鸿(1976－)，男，博士，主研方向：计算机视觉，图像处理，多媒体技术；龙 飞，讲师、博士；姜青山，博士、教授 收稿日期：2006-07-27 E-mail：hduan@

1.2 特征点的表示

若选择上嘴唇与鼻子的连接点，即点9.15(图1(b))为坐标原点O，人脸正前方为z轴方向，垂直向上为y轴方向，

z

方向上的距离为EES0，则特征点P(x',y',z')的归一化空间

—1—

因此，所有的特征点集P可表示为

P={Pk=(xk,yk,zk)|k=1,...,N,} (2)

"

Pk"Pi"Pj"={(pk,pi",p"j)|k,i,j=1,...,N} (7)

则对应的空间三角形3个顶点可以由如下映射求得：

f( Pk"Pi"Pj"):

"

(pk,pi",p"j)→(pk,pi,pj)

(8)

其中，k为特征点的标号；(xk,yk,zk)为特征点Pk的归一化空间位置坐标；N为选取的特征点的个数。该集合可表示为

一个有序集合。

2 基本人脸模型

2.1 3D坐标的确定

当被拍摄物体的直径远小于相机到物体的距离的时候，物体的成像可以近似看成正则投影。若成像距离足够远，则可用在相同成像条件下，任何一个人的正面及左侧面照片，经过上下对齐(如图2)，在两张照片中分别找到左半边人脸的每一个特征点，进而可求得每一点的归一化三维坐标。

由此，根据空间点在平面投影得到的平面三角网格点坐标的顶点，经过变换即可在三维空间中给出该人脸模型的三角形网格图表示(图3)。该三角网格可作为基本人脸模型的三维网格表示，其左右脸部共由180个三角形组成，可用于任一特定人的人脸三维建模。

图3 三角网格

3 特定人的人脸三维建模

图2 特征点提取

可先在正面像中寻得嘴唇与鼻子的连接点，即点9.15，为坐标原点(如图2)，并根据1.2节的方法确定ES0、ENS0和

EES0。再在正面像中寻找一个特征点Pi',并由其位置，按前

特定人的人脸三维模型可用前述基本人脸三维网格模型作为标准模型，由特定人的正面、侧面两幅照片生成，其主要步骤为：关键特征点选择，变形及纹理匹配。

3.1 关键特征点的选择

为了提高特定人的人脸三维建模速度，在模型及特定人脸有一定相似度的条件下，简化运算，可在1.1节选定的特征点集合P中，选那些对人脸外貌有主要影响的关键点，组成关键点集，用KP表示。由于人脸的外轮廓、五官分布比例及形状对人眼识别特定人的脸有重要作用，因此关键点集KP应包括点3.5、3.6(两瞳孔)及点10.7(左耳旁)、眼角、嘴角及脸外轮廓等处，对人脸外貌形状有主要作用的点。集合KP是集合P的一个子集，特定人的人脸建模，可在关键点集合KP的基础上进行。

3.2 变形

(1)在特定人的正面及左侧面人脸照片上，找出关键点3.5、3.6、9.15和点10.7，并利用1.2节的方法求得特定人脸所用的标准单位EES0ENS0ES0，对基本人脸模型中的特征点集合P中每一点Pk(见式(2))，计算：

"""'''

P''(xk,yk,zk)=(xk*ES0,yk*ENS0,zk*EES0) (9)

述坐标系选择确定(xi',yi'1)，再在左侧面像中，寻找相应的特征点Pi'，确定(yi2,zi)，故有：

'

'

xi'=xi'

'''

yi=(yi1+yi2)/2 z'=z'

i i

(3)

由式(1)得到特征点Pi的归一化坐标(xi,yi,zi)：

xi=x'/ES0

'

yi=y/ENS0 (4) z=z'/EES

0 i

在人脸的正面像和侧面像中搜索到N(59)对相应的特

征点，并由对称性，可得到一个基本人脸特征点集合及其与人脸图像无关的归一化坐标： P={pi=(xi,yi,zi)|i=1,...,N} (5)

表2给出了由图2用上述方法求得的部分特征点归一化

坐标。

表2 特征点提取

特征点 瞳孔3.5(ES0) 外嘴角( MW0) 眉梢4.5(ES0)

式(9)中，(xk,yk,zk)是基本人脸模型特征点Pk的归一化坐标。这样经过一次变形，得到Pk点比例变形后的新坐标。 (2)将比例变形后的基本人脸三维模型中的特征点，按2.1节选的坐标系分别正则投影到特定人的正面及左侧面两幅照片上。由于经过上述比例变形，基本人脸模型中的点3.5、3.6(两瞳孔)、点9.15(鼻下)及点10.7(左耳旁)投影点的位置与特定人关键特征点的位置重合。

在特定人的两幅照片上，考察其余关键特征点，对任何1个关特征点KPi，若未与其对应特征点Pi的投影重合，则计算其应移动的距离：

ui=( xi, yi, zi) (10) 其中， yi=( yi1+ yi2)/2； yi1， yi2分别为正面照片及左侧面照片上两点y方向上的差。 xi, zi可分别在正面及左侧面照片上求得。对于只在正面照片出现的关键特征点，只能求得( xi, yi)，这时取 zi=0，同样，对于只在左侧面照片出现的关键特征点，取 xi=0。

x, y1

y2, z x, y, z x’, y’, z’

(45,61) (61,22) (45,61,22) (0.500,1.000,0.1667) (36,-37) (-36,9) (36,-36.5,9) (0.400,-0.598,0.068) (79,91) (90,40) (79,90.5,40) (0.878,1.484,0.303)

2.2 基本人脸的三维网格表示

若设图2中的两幅照片所在地成像平面为z=C，基本人脸特征点在成像平面的像点即为该3D点到成像平面的透视投影，这样式(5)表示三维空间中一组有序散列点在成像平面上的透视投影可以表示为

P''={p''i=(xi'',yi'')|i=1,...,N} (6)

"C+f xi=z+fxi i

其中，

y"=C+fy

ii

zi+f

；f为焦距。平面上的散列点可根据

杨－马三角形[8]划分方法，得到平面三角形表示： —2—

为了使特征点Pi的正则投影点与特定人脸照片上的相需将基本人脸三维模型进一步变形，将Pi应关键点KPi重合，

点在三维空间移动ui。对于每个关键特征点，都可求出相应的ui及进行上述移动，从而使三维模型变形。

由于人脸各器官的相互关联作用，任一个非关键特征点

人脸正面像、左侧面像的成像平面。由于纹理映射图像

fp(u,v)与人脸正面、左侧面图像fF(x,y),fL(z,y)之间的像

点映射关系。则可在fp(u,v)找到与{Pk,Pi,Pj}对应的3个点。

将fp(u,v)上这3点确定的三角形子图像，经过变形，粘贴在特定人的人脸三维三角形网格模型的相应的三角形区

域。对每一个三角形表面区域，完成以上工作，就可获得一个特定人脸三维模型。

Pj，由于其附近相关特征点的移动，将引起Pj的移动。这一

移动可用RBF函数近似表示为

uj=

∑

M

f(rij)ui (11)

4 实验结果

为了验证上述方法，笔者在微机上进行了模拟。模拟的硬件环境为PCIII800，128MB RAM的微型计算机，软件环境为Win2000，所用软件主要有VC6.0,OpenGL等。实验所用的照片由一台普通的数码相机拍摄，图像分辨率896×600，2倍数码变焦，拍摄距离为大于1.5m。部分实验结果如图5所示。

i=1

其中，uj是点Pj的位移；ui是关键特征点KPi的位移；

KPi∈θ(Pj)，θ(Pj)是点Pj附近与Pj相关的特征点的集合；

M是该集合中点的个数；rij是特征点Pi和Pj之间的欧氏距离。f(r)可取：

f(r)=exp( kr) (12)

k>0为常数。

经上述变形后，可得到一个特定人的人脸三维三角形网格模型，该模型的每一个面片为三角形平面。

关键特征点集合KP P。通常关键特征点的数目小于集合P中特征点的数目。关键特征点选取越多，模型的相似度越高。为了获得更好的效果，可适当增加关键特征点的数目。 3.3 纹理匹配

纹理匹配是对上节所求得的特定人脸三维三角形网格模型中的每一个三角形平面，寻找一个适当的纹理与其匹配，以达到更好的效果。通常有两种纹理映射模式[4]，一种是柱投影模式，另一种是平面纹理映射模式。柱投影是将一个三维纹理映射到纹理平面上，然后进行纹理匹配；平面纹理映射模式是将正面或者侧面图像映射到平面上进行纹理匹配。

本方法采用平面纹理映射模式(如图4)。先将特定的正面及左侧面人脸照片，经过“缝合”，映射到同一平面，再从该平面求得适当的匹配纹理三角形。

(a)正面 (b)左侧面 (c)三角网格

图5 原始照片和三角网格

图5(a)、图5(b)是用于建模的原始正面及左侧面人脸照片，图5(c)为经过变形后的，由图5(a)、图5(b)获得的特定人的人脸三维三角形网格模型。该模型有118个特征点，180个三角形。图4为相应的纹理映射图。图6为用该网格模型，经过纹理匹配求得的特定人脸模型，生成的不同方向的图像，从左到右分别是左侧90°、左侧45°、正面、右侧45°、右侧90°图像。

(a)左侧90° (b)左侧45° (c)正面

图4 纹理映射

在正面人脸照片左脸颊附近，确定一条垂直线，x=x0，再在左侧人脸照片确定相应的垂线，z=z0。这两条直线与头发的下边界交点的

的y坐标也近似相等。这时就可将正面像的左半部(x<x0)

y坐标应近似相等，与下颚下边界交点

(d)右侧45° (e)右侧90°

图6 重建结果

与左侧像的右半部(|z|>|z0，通常|z0<0)缝合到一个平面，生成一个纹理映射图像。

若纹理映射图像表示为fp(u,v)，则有：

f(x,y)

fp(u,v)= F

fL(x0+|z z0|,y)

u<x0

(13) u>x0

从图6各个图像中可以看出，重建出来的模型较好地保留了人脸的面部特征，与原照片有较好的相似性。

5 结论

本文描述了一种从特定人的正面及侧面照片来重建三维人脸模型的方法。该方法数据来源简单，可利用普通的数码相机在同一位置拍摄的正面及侧面照片即可。该方法具有操作简单、计算损耗小等特点。

(下转第7页)

—3—

其中，fF(x,y),fL(z,y)分别是特定人的正面及左侧面人脸像。为了获得更好的效果，可在缝合线附近做平均处理。

3.2节获得的特定人的人脸三维三角形网格模型，若其任

将这3个顶点封闭投影到一个三角形3个顶点为{Pk,Pi,Pj}，

(1)(1)

M{(2)a1,a2}=FM{a1}∩FM{a2}

0

0 0= 0 0 0

00101000000000100000101

0 0 0 1 0 1

5 结论

本文在基于优势关系下的信息系统中引入了优势矩阵和

目标分配矩阵的概念，并进一步建立了文献[11]中提出的优势关系下信息系统分配约简的矩阵算法，同时通过实例分析验证了该算法的有效性，并说明了其优点是对数据复杂的信息表也可相对容易地求出所有的分配约简。该方法提供了在优势关系下信息系统知识分配约简的便捷操作方法，而且对一般的经典等价关系下的信息系统也是完全适用的。

参考文献

1 Pawlak Z. Rough Set: Theoretical Aspects of Reasoning about Data[M]. Boston: Kluwer Academic Publishers, 1991.

2 Pawlak Z. Rough Sets[J]. Communication of the ACM, 1995, 38(1): 89-95.

3 王国胤. Rough集理论与知识获取[M]. 西安: 西安交通大学出版

社, 2001.

(1)(1)

M{(2)a1,a3}=FM{a1}∩FM{a3}

0

0 0= 0 0 0

00000

000000

000000

000000

0 0 0 0 0 1

(1)(1)

M{(2)a2,a3}=FM{a2}∩FM{a3}

0

0 0= 0 0 0

2

00000

3

000000000000000000

0 0 0 0 0 1

分别将M{(2)、M{(2)、M{(2)与M{d}进行对比，发现a,a}a,a}a,a}

1

2

4苗夺谦, 王 珏. 基于粗糙集的多变量决策树构造方法[J]. 软件学

报, 1997, 8(6): 425-431.

13

没有二级分配约简；由于M{a,a}=M{(2)的最后一行M{(2)a1,a2}a2,a3}13

(2)

5 王 珏, 王 任, 苗夺谦, 等. 基于Rough Set理论的“数据浓

缩”[J]. 计算机学报, 1998, 21(5): 393-400.

比M{d}的最后一行小，因此，可得到二级分配约简为

{a1,a3},{a2,a3}。令：

0

0 0(2)

FM{(2)FM== {a2,a3}a1,a3}

0 0 0

000000000000000000000000 0 0 0 0 0

6 王 珏, 苗夺谦, 周育健. 关于Rough Set理论与应用的综述[J].

模式识别与人工智能, 1996, 9(4): 337-344.

7 张文修, 梁 怡, 吴伟志. 信息系统与知识发现[M]. 北京: 科学

出版社, 2003.

8张文修, 米据生, 吴伟志. 不协调目标信息系统的知识约简[J]. 计

算机学报, 2003, 26(1): 12-18.

9 Kryszkiewicz M. Comparative Studies of Alternative of Knowledge Reduction in Inconsistent Systems[J]. Intelligent Systems, 2001, 16(1): 105-120.

10 Grecos, Matarazzo B, Slowinski R. Rough Approximation of

Preference Relation by Dominance Relations[J]. European Journal of Operational Research, 1999, 117(1): 63-83.

11徐伟华, 张文修. 基于优势关系下不协调目标信息系统的知识约

简[J]. 计算机科学, 2006, 33(2): 182-184.

算法结束。

因此，由算法1可知，例1的信息系统的所有分配约简是：{a1,a3},{a2,a3}。这与文献[11]的结果是一致的，而且从上面分析中可以看出：即使是对象集与属性集等数据都非常复杂的庞大信息表，该算法也是容易进行操作的，只需按照

这相对辨识矩阵的方法就方便了许多。 算法1编写程序计算。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

(上接第3页)

该方法已经在一台PIII800的PC机上进行了模拟，其结果稳定，程序运行可靠，模型在各个侧面都较好地保留了人脸面部的特征，与原照片有较好的相似性。

为了获得更好的相似度，在人脸三维建模过程中，当特征点搜索误差较大时，可用交互方式进行修正或补偿。

该方法不仅可以用来重建人脸的三维模型，在虚拟环境实现人脸克隆，也可以用于其他比较复杂物体的三维建模。

参考文献

1 Yan Xu, Xu Changsheng, Tian Yingli, et al. 3D Face Image Acquisition and Reconstruction System[C]//Proc. of IEEE Instrumentation and Measurement Technology Conference, St. Paul, Minnesota, USA. 1998: 18-21.

2 Douros I, DekkeL, Buxton B F. An Improved Algorithm for Reconstruction of the Surface of the Human Body from 3D Scanner Data Using Local B-Spline Patches[C]//Proc. of IEEE International

Workshop on Modeling People. 1999: 29-36.

3 张翔宇, 华 蓓, 陈意云. 人脸建模和动画的基本技术[J]. 计算机

辅助设计与图形学学报, 2001, 13(4): 342-347.

4 Escher M, Pandzic I, Thalmann N M. Facial Deformations for MPEG-4[C]//Proc. of Conference on Computer Animation. Philadephia, USA: IEEE Computer Society Press, 1998: 138-145. 5 Ostermann J. Animation of Synthetic Faces in MPEG-4[C]//Proc. of Conference on Computer Animation. Philadelphia, USA: IEEE Computer Society Press, 1998: 49-51.

6 Ambrosini L, Costa M, Lavagetto F, et al. 3D Head Model Calibration Based on MPEG-4 Parameters[C]//Proc. of the 6th ISPACS, Melbourne, Australia. 1998: 626-630.

7 尹宝才, 高 文, 晏 洁, 等. 基于模型的头部运动估计和面部图

像合成[J]. 计算机研究与发展, 1999, 36(1): 67-71.

8 Yang Xueping, Ma Shiming. An Algorithm of Triangulation for a Set of Points in X-Y Plane[C]//Proceedings of CADDM’87. 1987: 95-104.

—7—

本文来源：https://www.bwwdw.com/article/q4h4.html