基于手部特征的多模态生物识别技术研究

基于手部特征的多模态生物识别技术研究

基于手部特征的生物多模态技术研究

摘 要

随着科学技术与时俱进的脚步，人们对于安全问题的关注性也越来越高，生物识别的技术优势越加突出了其重要性，生物特征识别就是指进行身份的判断时利用人类所特有的生理特征和行为特征。但同时基于单模态的身份识别技术却有着一些缺点，比如防伪性能差，易被窃取等，本文就这一问题而提出了多模态生物识别技术，它就是通过利用多种生物特征的融合技术进行身份识别和身份验证，主要优势在提高识别效率，抗噪性、普适性等方面都有所改善。虽然近年来多模态生物识别技术已经得到了多方面各个层次的关注和重视。但是，目前该技术仍然不是十分成熟，需要我们在以后的工作中进一步研究和探讨。

我们将具有丰富特征的人体手部作为本论文的研究重点，本文研究的手部的生物特征主要是基于掌纹特征和手形特征的，他们作为生物识别特征具有稳定性和唯一性，本文主要基于小波变换对生物特征进行分析，基于小波变换的生物特征提取方式，接着运用了改进后的典型相关分析方法，对所提取的手形和掌纹两种生物特征的特征向量在特征层的融合方法，此种方法主要是通过引入矫正系数，通过对投影方向上的特征矢量的调整，使准则函数值达到最大的要求。

本文主要利用人手部的生物特征识别技术，分析不同种方式下的掌纹特征的提取，使掌纹和手形的这两种生物特征模态在特征层进行融合，经过实验数据得出多模态生物特征的识别率要高于任一模态下的生物识别率，实现了多模态生物融合的初步探索和尝试，为我们后续的研究和发展提供了一定的了理论依据。

关键词 多模态生物识别；矫正系数；特征层融合；小波变换

-I-

Based on the biological characteristic of hand

multi-modal technology research

Abstract

With the pace of science and technology advancing with the times, people are more and more concerned about security issues. Biological recognition technology advantages more prominent its importance, biological feature identification is to identify the physiological characteristics and behavior characteristics of human beings when they are used for identification. But at the same time, there are some disadvantages in the single mode based identification technology, for example, poor security performance, easy to be stolen, etc. In this paper, we put forward a multi modal biometric technology. It is through the use of a variety of biological features of the fusion technology for identification and authentication, major advantages in improving the recognition efficiency, noise immunity, universality and other aspects have been improved. Although in recent years the modal biometric technology has been more and more attention of all levels. However, the technology is still not very mature, we need further research and discussion in future work.

We will have rich characteristics of the human hand as the focus of this paper, The hand biometric is mainly based on Palmprint and hand geometry, they are as a biometric characteristic with stability and uniqueness, this paper is mainly based on wavelet transform analysis on biological characteristics of proposed biometric ,The extraction method of biological features is based on Wavelet Transform, then puts forward the improved method of canonical correlation analysis, Two kinds of fusion method of feature vector and palmprint features in the hand shape biological feature level, this method is mainly by introducing the correction coefficient, to adjust the projection direction of the feature vector, the criterion function value reached the maximum.

-II-

In this paper, The use of biometric identification technology of the hand,We put forward the two modes of the palmprint and hand shape in feature level fusion, through experimental data obtained, multi-modal biometric recognition rate is higher than either mode of biological recognition rate, achieve and attempt the multimodal biometric melting of preliminary exploration ,to provide certain theoretical basis for our further research and development.

Keywords multimodal biometric recognition；correction coefficient；feature fusion；wavelet transform

-III-

目 录

摘 要 ........................................................................................................................... I Abstract ........................................................................................................................ II

第1章 绪 论 .............................................................................................................. 1 1.1 研究的背景及意义 .......................................................................................... 1 1.2 生物识别技术概述 .......................................................................................... 2 1.2.1 各种生物特征的分类和比较 .................................................................. 2 1.2.2 多模态生物特征识别 .............................................................................. 4 1.3 国内外研究现状 .............................................................................................. 5 1.4 论文研究的主要内容 ...................................................................................... 6 第2章 多模态生物识别中信息融合理论与方法 .................................................... 7 2.1 信息融合概述 .................................................................................................. 7 2.2 多模态生物特征识别研究 .............................................................................. 7 2.2.1 模式源的选择 .......................................................................................... 8 2.2.2 多模态识别中信息融合层次 .................................................................. 8 2.3 多融合方案确定 ............................................................................................ 13 2.4 本章小结 ........................................................................................................ 15 第3章 手部图像特征提取 ...................................................................................... 16 3.1 手部特征识别现状分析 ................................................................................ 16 3.2 手形轮廓特征提取与掌纹预处理 ................................................................ 17 3.2.1 手形轮廓特征提取 ................................................................................ 17 3.2.2 掌纹预处理 ............................................................................................ 20 3.3 基于小波变换图像特征提取 ........................................................................ 21 3.3.1 小波变换 ................................................................................................ 21 3.3.2 依据小波分解原理处理图像 ................................................................ 24 3.3.3 构造小波能量特征 ................................................................................ 26 3.3.4 特征匹配 ................................................................................................ 27 3.4 基于2DPCA的特征提取 ................................................................................ 27 3.5 本章小结 ........................................................................................................ 28 第4章 基于改进的多模融合识别 .......................................................................... 29 4.1 典型相关分析的基本思想 ............................................................................ 29

- IV -

4.2 特征组合原理与算法 .................................................................................... 29 4.3 改进的典型相关分析方法 ............................................................................ 30 4.4 特征融合算法流程 ........................................................................................ 31 4.5 结果分析 ........................................................................................................ 32 4.5.1 基于小波特征能量结果分析 ................................................................ 32 4.5.2 基于改进典型相关结果分析 ................................................................ 34 4.6 本章小结 ........................................................................................................ 36 结论 ............................................................................................................................ 37 参考文献 .................................................................................................................... 38

- V -

第1章 绪 论

1.1 研究的背景及意义

伴随着社会的不断发展和进步，信息技术发展和网络覆盖也更加全面，人们对于信息的安全性要求也越来越高。在日常生活中，比如，网络，金融和国防安全等方面都需要精确的识别技术来保障人们信息的安全性并维护社会的稳定。目前，进行身份验证技术主要有两个方面，其一是通过使用实物，主要有身份证件，钥匙和卡片等，还有一种是通过虚拟手段来进行身份验证，如密码，暗号等。但是上述方法仍然存在很多不足，容易丢失、伪造和被盗用等风险。当前基于生物特征的身份认证技术的使用价值就越发明显。近年来生物识别技术做为人们研究的热点问题并被广泛的应用于各个领域。生物识别系统之所以能够如此迅速有效地完成整个生物识别过程，其中的处理过程主要包括采集图像、解码、比对和特征比配等方面。

生物识别技术（Biometric Identifcation Technology）主要是通过生物统计学、计算机与生物传感器、光学等各种科学技术手段有机的结合起来，且利用人类固有的生理特点和行为特点进行身份识别和验证的技术。人体的生物特征的特点有唯一性、遗传性或终身不变等，因此在身份验证方面生物识别技术相比于传统的身份验证方法有着一定的优势，例如在安全性、保密性和方便性等方面，但这主要是借助于外物，如果被丢失，其身份就容易被他人冒充，在信息安全上面无法得到保证。这就是生物识别技术主要应用于商业，政府和司法三大领域方面的前提条件[1]。

生物特征识别的含义比较大，可以分为两个方面：1）生理特征：如掌纹，手型，人脸，手背静脉，虹膜和视网膜等方面。2）行为特征：步态，签名和声音等方面。

而我国的生物特征技术的发展现状并不是很乐观，核心技术和基础性技术还尚缺乏。要提高我国识别技术的竞争力，就要加大政府的支持力度和投资规模。从上个世纪90年代以来，虽然我国生物识别技术有了很大幅度的发展，但相对于发达国家而言，我国仍处于落后地位，未来的生物识别产业拥有广阔的市场前景，以引起各个国家的高度重视。我国已将生物识别作为一个重点研究项目，并且已对相关课题开展了讨论研究。

- 1 -

1.2 生物识别技术概述

1.2.1 各种生物特征的分类和比较

生物识别技术涉及到很多相关领域和学科，例如图像采集、图像处理、信息融合、模式识别等多方面。下图是生物识别的一般过程。

生物特征模型预处理检测与定位特征提取模式匹配决策

图1-1生物特征识别的一般过程

Pig1-1 General process of biometric identification

一直以来人们一直有一个疑问，到底什么样的生物特征才能进行生物测定呢？用于身份识别应该满足怎样的条件：普遍性：大家都有的生物特征，是普遍存在的。独特性：每个人都各不相同，而且任意两个人之间存在着比较大的差异。持久性：特征相对来说比较稳定，不会随着时间位移等方面的改变而发生改变。可采集性：特征是否易被采集或者是否能通过辅助设备测量采集得到。

对一个生物识别系统是否具有实用性，主要是依靠下面几个性能来进行判断：1）接受程度: 在人们的日常生活和工作中，用户愿意或希望其进行身份识别的程度。2）性能：系统的识别精度和识别速度是否足够高，是否会受到环境等其他因素的影响等。3）抗欺骗性：系统被伪造的特征欺骗的难易程度[2]。

总而言之，一个生物识别系统有高的精确度和识别速度，对人们无危害，对各种伪造信息具有足够鲁棒性，易被广大用户所接受。

上述性能虽然满足生物识别的基本条件，但是在实际应用中，必须同时考虑系统的性能、人们对身份识别的接受性和系统的抗欺骗性等因素。从生物学角度，遗传DNA在信息鉴别方面是最可靠的，但是其有无法实时采集和获取的高成本这两方面的局限性。接下来对几种常见的基于各种生物特征的生物识别技术进行介绍： 1. 声音：

- 2 -

声音即是人体的生理特征也是行为特征，它是由多方面因素决定的（如声带、嘴型等的形状）。人的声音也会随着年龄大小、健康状况、情绪压力等原因而发生变化。声音的区分性不强，而在现实生活中，环境的噪音也是无法忽略的。所以通常情况下，基于声音的识别系统并不适合对其进行身份验证。声音识别技术是指通过采集到原始的声音信号，通过一系列的技术手段，对其特征因素进行提取和相互匹配的身份识别技术。但它同时也受到了多方面的制约如环境噪声和个体声音伪装等。 2. 掌纹： 掌纹是指从各个手指末端到手腕之间的手掌图像，掌纹面积较大，蕴含的纹理特征比较丰富。理论上应该比手指等更具区分性，其中很多特征可以用来进行身份验证：比如主线、皱纹、脊、谷、分叉点等，如果用高分辨的仪器进行扫描采集，那么就可以组成一种高度精确的识别系统。采集设备体积更大，对于成本要求较高。 3. 签名：

每个人的手写签名都有其特定的方式，签名在政府、银行、法律等方面作为一种普遍的身份认证手段。但它是一种行为特征，会随时间的变化而变化，会受到环境、情绪等多方面因素的影响。而有些仿冒者也可以复制或伪造签名进行欺骗。

4. 体味

每个人身上不同的体味，反映出其不同的化学组成成分，所以一般情况下可以用于身份识别，主要原理是包含气味的空气通过化学传感器阵列，每一传感器对于特定化合物敏感，但是由于空气中也会包含除臭剂等化学成分，从而对其产生一定的影响。 5. 手形

手形是指人手的几何形状特征即手的轮廓形状，手指各个位置的宽度、长度等，手形不会因为环境因素如湿润或者干燥，皮肤因素等而有影响，但是手形的唯一性并不理想，尤其是手形信息在孩子的成长过程中不断得变化，这也是手形识别的主要弊端之一。

根据上面部分的阐述和介绍，可以了解到不论是何种生物识别技术都有它特定的适用范围，并且任何一种单模态生物识别技术其本身都有局限性[3]。从这点而言，单一生物识别技术并不是完美无缺的，并且不论在何种环境下优于其他生物识别技术的。近年来，多模态生物识别技术受到人们的广泛关注。

- 3 -

1.2.2 多模态生物特征识别

根据上述的简要介绍可知，基于单一模态下的身份特征识别与身份验证技术都只能满足部分要求，在另一方面则会有一定的缺陷，而在实际应用中单一模态都会显示出各自的局限性，多模态生物识别技术已成为热点问题进行研究。

多模态生物识别（Multimodal Biometrics）技术通常是指通过几种行为特征或生理特征的相互结合来进行身份识别和身份验证的技术。此技术的关键点就在于信息融合是对所提取的多种生物特征进行的，充分利用各种生物所提供的特征信息进一步提高系统识别性能。且扩大或提高系统的覆盖范围与安全系数，使其适用面积更广。

近年来，国际上著名杂志如 IEEE 的 Pattern Analysis and Machine Intelligence，和 ICCV、FG等都发表有关多模态生物识别技术的相关论文，美国设计了一种基于指纹、人脸和虹膜三种生物特征相融合的识别系统—HIIDE，并应用在伊拉克战争中。近年来，该系统以逐步应用于军事方面。此外，北科慧识科技有限公司开发了基于掌脉与掌纹生物特征相融合的识别系统，它的主要优点是通过一次采集过程可以得到不同光学通道下的图像，再对获得的手掌掌纹和皮下静脉图像进行二次识别。这种系统用户更加容易接受。且仅需一次动作就完成了整个识别过程，识别精度较高[4]。

图1-2 北科慧识科技非接触式生物识别系统

Pig.1-2 Non-contact mode biological recognition system

- 4 -

生物识别系统不仅给人们的生活带来了便利更提高了生活的安全性，生物识别的应用主要分为以下三类：

(1)商业方面：电子数据、电子商务、信用卡、手机、计算机网络登录、医疗教育等。

(2)政府方面：驾驶证、身份证、社会保险医疗、护照、ID卡等。

(3)司法方面：身份辨认，犯罪记录的调查，走失儿童的认领，亲子关系DNA鉴定等。

1.3 国内外研究现状

在国内，多模态生物识别技术的理论研究是主要是由一些高校和科研院所从事的，核心算法的研究方面我们在国际上处于先进水平，但与国外相比，生物识别技术在产业化应用化等方面还有一定的距离与差距，虽然我国的市场需求有所增长，但也仅仅是停留在考勤和门禁等领域，部分原因是国内企业掌握的核心技术有限，国外企业垄断了与其相关的光学、通信等大部分领域。这就是我国生物识别市场于瓶颈期的主要原因。

在国外，不管是从民用还是公用，从国家安防还是消费领域都得到了广泛的应用，例如，手持式指纹设备（IBIS），主要是无限技术的嵌入，能够随时提取指纹并与数据库信息进行对比，在短时间内确认嫌疑犯。在新加坡，利用生物识别技术建立了自动通关同，游客可以凭借包含指纹信息的通行卡，由系统对持卡人和通行卡是否一致进行确认，有效的缩短入境时间。生物识别技术得到了各国的关注。

多模态生物识别方面，最早开始研究的是Brunelli等人，他们主要是利用声音和面部两大生物特征进行融合的识别系统[15]（这主要是由于人脸和声音在当时识别的准确率比较低，而进行融合后提高系统其准确性），并通过HyperBF 网络进行，该研究证明了其可行性。1997年，Multimodal （多模态）这一概念被首次提出，主要是将声音和人脸数据信息集成，并开发了贝叶斯统计框架。 1998年，Jain[16]通过研究其多模态识别理论而提出了新的识别方式，将人脸和指纹作为识别特征，前提条件是人脸和指纹信息必须相互独立，首先利用乘机进行融合，再对所获得的融合信息进行识别。在随后的几年内，Hong 和 Jain等人做了大量工作关于多模态生物识别方面。并对多模式别可以降低其认证错误率进行理论验证，为进一步研究多模式别奠定了扎实的理论基础。

2000年以来，多模式别进入了快速发展时期，伴随着生物识别技术的进步，

- 5 -

从分类集成器的背景分离出来，成为模式识别研究的一个重要领域。不论在理论和实际应用方面都有很大发展，进一步走向实用化。

1.4 论文研究的主要内容

本论文主要是对多模态生物识别技术进行研究，主要是从掌纹特征和手形特征入手，深入研究掌纹特征提取技术，对掌纹进行ROI定位，在图像识别中主要进行灰度图像转换，直方图均衡化，边缘检测和中值滤波等。并且研究手形的特征提取及预处理等技术，从各个方面进行分析和研究，提出在决策级融合方法，结合掌纹和手形各自的特征，并建立应用模型。

本文的组织结构安排如下： 第1章：绪论。本章阐述生物识别系统研究的背景及意义，关于基于传统身份和单一模态下的生物识别方法中的不足进行了讨论，而多模态生物识别技术是当今社会有效的身份验证技术，介绍手形识别与掌纹识别发展背景与特点描述，叙述了国内外的研究现状和其发展过程，并对本论文的工作安排进行描述。

第2章：对信息融合技术进行阐述，对多模态识别技术中融合层次进行划分，对融合的四个层次进行分析和比对，提出双模态生物识别方式。手形特征轮廓提取与掌纹特征区域提取等。在掌纹特征区域提取过程中又对预处理进行叙述，包括灰度转换、中值滤波等步骤。

第3章：详细讲述了基于小波变换算法的掌纹特征提取，包括小波变换的基本原理、快速小波变换算法，不同级别小波分解系数的区分能力。对每个细节图像均等分，然后计算每一块的小波能量，用这些块的能量来构造基于掌纹文理的特征矢量。

第4章：对于特征层融合识别进行典型相关性分析，介绍理论框架、基本思想。此种方法主要是通过引入矫正系数，通过对投影方向上的特征矢量的调整，使准则函数值达到最大的要求。通过实验数据分析两种特征融合，其一是基于手形和掌纹的特征融合，其二是基于手形与不同特征提取方法下的掌纹的特征层融合。

最后，总结和展望，一方面是对全文进行回顾，另一方面是总结当前分析方法的不足还有就是在未来会遇到哪些问题，和多模态生物识别技术未来研究方向。

- 6 -

第2章 多模态生物识别中信息融合理论与方法

2.1 信息融合概述

信息融合是指在一定条件下，对于按时序获得的来自于不同时间空间的多元观测数据和信息进行分析，把各种互补或者相互矛盾的信息依据某一准则进行融合，对完整、准确、有效的综合信息的获得过程。它主要对所提供各种形式的信息进行分析、估计和校准，主要适于对海量数据的进行处理，其优点主要包括以下几方面：

1) 能够扩展系统在时间和空间上的覆盖范围。 2) 增加系统信息利用率。

3）对融合后所得信息准确度的提升。 4）提高对目标识别和检测的能力。 5) 降低系统投入资本。

信息融合技术近年来在军事、医学等多种领域应用广泛，与此同时在民用方面也得到了长足发展，也逐步应用在多模态生物特征识别方面。信息融合技术与传统信号处理相比，关键在于处理的信息更加多元化，其形式更加复杂[5]。信息融合技术即是对于不同渠道和不同层次获得的信息进行分析处理，提取出对判断有利的信息，得出更能反应事物本质的决策。信息融合技术应用的几点优势：

(1) 利用互补信息降低系统错误率。

(2) 能够依靠不同来源的信息来提升稳定性。 (3) 能够多角度获取信息。

在不同层次进行信息融合，得出综合结果，它能够通过互补信息降低错误率，以提高识别度为最终目标。

2.2 多模态生物特征识别研究

对多模态生物特征识别研究可以进行三个类别的划分：模式来源、融合层次及融合方法。

- 7 -

2.2.1 模式源的选择

多模态系统的模式源主要有五种可供选择：

（1）在同一个模式下经过各种不同传感器后所得到的多模态。 （2）在不同状态、不同时刻同一模式形成的多模态。

（3）在不同匹配算法与不同描述下，同一生物体所形成的多模态。 （4）不同单元间在同一模式下多模态的形成。 （5）多模式形成的多模态。

以上五种模式来源，第一种是指多模态产生的方法，仅能解决在传感器方面的误差，对其他问题却无能为力；第二三种是指产生多模态的方法，对系统性能提高有一定帮助，但它们与单一模态有着同样的不足。第四种则需要提供不同的单元。为了达到所构建的多模态系统匹配精度高、抗噪能力强等，最好的办法是用以上方式完成对模式源的获取。

2.2.2 多模态识别中信息融合层次

单模态生物识别在图像采集过程中容易受到外界环境的干扰，识别过程中错误率较高，特征容易丢失，存在一定的安全隐患等问题，任何一种生物特征都有一定的局限性，不能完全适用于任何情况，仅仅依靠单模态生物特征没有办法解决根本问题，而当前多模态生物特征能够弥补单模态下的不足，这也是多模态生物特征识别成为当前研究热点的主要原因。

多模态生物特征识别是对多种生物特征的融合，涵盖着多种信息，更加全面的反映出事物的本质，与单模态相比，伪造难度有所提升，成本上升的同时，它的安全可靠性也提高了。

多模态生物特征识别是指将多个生物特征在不同层次进行融合，再用融合特征进行生物识别的过程，信息融合主要被划分为四个层次[6]，如图所示：

- 8 -

多模态生物特征融合 匹配前 匹配后 图像层特征层 匹配层决策层 图2-1 多模态融合层次划分 Pig2-1 Multi modal fusion hierarchy

1.图像层融合：

图像层融合是多模态融合中最低层次的融合方式，融合过程是在原始数据层上面进行，对没经过预处理和特征提取的原始数据进行分析和综合，主要是将不同渠道、不同路径所获得的信息不经过任何处理融合后得到一副新图像，该图像包含着大量信息而且处理相对比较复杂，在实际应用中不太广泛。例如，指纹识别常用到的条型式指纹传感器，在识别过程中由于每一幅图像含有的信息比较少，主要是多幅图像进行拼接，最后合成一幅可以进行识别的图像。

2.特征层融合

对不同种生物特征信息经过预处理操作后，得到各自的特征矢量，按照某规则将这些特征矢量进行融合，形成一种新的特征，最后对所获得新特征与数据库中的信息进行匹配和判别，虽然其处理数据相对较少，效率也比较高，但是也有其缺点，就是各个特征是两联合有可能存在维数差异，各特征不兼容的状况出现。特征层融合是对多模态各种有效特征的充分利用，包含信息丰富，发展空间较大。它的优点是有效的信息压缩使其能够进行实时处理，对其进行决策分析更加有利。特征层示意图如2-2：

- 9 -

样本生物特征1特征提取分数特征融合进行匹配决策结果匹配不匹配生物特征2特征提取

图2-2 特征层融合示意图 Pig2-2 Sketch of feature layer fusion

在特征层融合的操作过程中通常会遇到许多困难：（1）不同模态所对应的提取特征数据类型有可能并不相兼容，比如指纹，它有谷、脊、交叉点等特征；虹膜的特征提取一般是二进制码；人脸特征向量的特征维数是固定。（2）特征空间在不同模态下的对应的关系也并不明确。（3）不同特征融合方法，需要新的特征匹配方式与其对应。

3.匹配层融合

匹配层融合属于中间层次的融合，首先它对单模态生物特征独立进行特征向量处理与匹配，输出对应的匹配分数，将这些分数进行决策融合最终实现身份识别。主要优点是有较高的灵活性。近年来，主要依靠以下两种策略进行匹配层融合算法研究：

（1）组合判定：是指通过采用相对简单的规则操作对不同模态的生物特征进行融合，主要是把融合看做是简单的分数组合的判定问题[7]。简单规则一般是指乘法规则、加法规则等。

（2）二级分类器：是指将N种不同模态下的生物特征所对应的所有匹配分数看做是一个维数是N的特征向量。从而把匹配层融合的问题转换成是对N维特征向量进行分类的问题，这样一来，可以用许多方法来处理该问题，包括神经网络、最近邻分类器、模糊积分（Fussy Integral）、Fisher线性判别分析等，都得到了广泛应用。

- 10 -

样本生物特征1特征提取进行匹配分数匹配融合决策结果匹配不匹配生物特征2特征提取进行匹配样本

图2-3 匹配层融合示意图

Pig4-3 Schematic diagram of matching layer fusion

4.决策层融合

是指把不同识别单元看作是互相独立的单元，首先对每个生物特征进行识别得出一个决策结果，再进行融合。决策层融合主要优点：传输数据量低。灵活性高。当有信息出现错误，能通过适当融合而得到正确结果，有一定的容错率。抗干扰能力强等。它的宗旨是利用最小的信息来获得最大性能。决策规则主要有：与规则、或规则、加权的投票和投票等方法，“与”、“或”规则是最简单的融合方法，Daugman 等人研究指出，与规则能够降低错误接受率，或规则能够降低错误的拒绝率，下面就这一问题还会进行详细介绍，示意图如2-4所示:

- 11 -

样本分数生物特征1特征提取进行匹配判决结果匹配判决融合分数生物特征2特征提取进行匹配分数判决结果样本

图2-4 决策层融合示意图

Pig4-4 Schematic diagram of decision level fusion

融合层次的比较与识别系统：

1. 融合层次比较：

信息融合的每个层次都有各有优缺点和适用范围。数据层和特征层融合都需要关联和配准多源信息，决策层融合需要对关联数据[8]。但是其相关和识别的顺序不同，数据层融合是指进行配准和关联针对的是原始数据，特征层融合配准和关联是对特征向量，之后再识别；决策层融合则是先识别，再关联各个决策结果，得到判定结果。如果关联和配准对多个信息源的信息数据，理论上来讲，数据层融合是融合效果最好的，主要是它保持的原始数据比较多。决策层融合对传感器的要求较小，它可以是同质的或者不同质的。但是，必须要求各个信息源得到的信息之间是互相独立的，否则决策层融合的分类性能要偏低于特征层融合。只有综合考虑各个因素的影响才能确定特定的应用在哪个层次进行融合比较好。目前而言，能够对所有情况都适用的普遍结构是不存在的。

2. 生物识别系统：

对生物识别系统主要进行四个部分的划分：分别为图像采集、特征提取、模式匹配和分类决策。下面对个部分功能作用进行详细介绍，如图2-5。

- 12 -

图像采集特征提取模型匹配分类决策图像数据特征向量数据库匹配分数决策结果 图2-5 生物特征识别系统 Pig2-5 Biometric identification system

图像采集：是利用一些图像辅助设备来获取生物特征信息的图像数据，由于采集得到的原始图像存在噪声等因素的影响，一般进行灰度转换、中值滤波、边缘检测等处理过程，来获取准确稳定的数据[9]。

特征提取：将复杂的信息通过某种对应关系简单表示。其特征数量相对较少，所包含的信息能够代表原始数据的特征，与其他特征又有很好的区分性和差异性。

模型匹配：主要在于分类器的设计与选取，利用某一匹配规则来进行相似性分析，得出匹配 分数，用这个匹配分数来对匹配结果进行判断。

分类决策：根据大量实验和统计结果来进行阈值的设定，再与匹配分数进行比较，综合判断分析，最后得出匹配结果。

2.3 多融合方案确定

一个生物识别系统通常包括三种操作模式：1.身份注册：接受所提供的人体生物特征信号，并对特征信号进行预处理与特征提取，再将提取的特征数据存入数据库中。2.验证：系统接受到生物特征信号再进行预处理与特征提取，再与数据库中模板匹配，再进行判断。3.识别：从匹配结果能够找出最为相近的模板，确定该模板是否是这个对应用户的身份。

本文主要基于“手形+掌纹”多模态生物识别进行研究，并确定多模融合为在特征层的融合方案，主要从下面两种方案进行生物识别技术的进一步研究，现阶段特征融合可分为两种[10]：

（1）手形特征与掌纹特征进行多模态生物特征融合。

- 13 -

（2）手形特征与采用不同方式所获得的掌纹特征在特征层进行生物融合。 虽然它们都是以获得更多的分类信息为主要目的，但是性质却并不相同，可以把第一种融合看做是横向的，严格意义上讲就是一种多模态生物识别技术，掌纹特征与手形特征是多模态生物特征的两个部分，这种方式下，虽然每种模态下生物特征都是单独提取的，它们在物理层面上是相互独立的，所得特征更容易获取互补的信息，为进一步识别提供良好基础。识别过程可以如图2-6所示：

掌纹掌纹特征特征特特征征融融合合模模式式识识别别决决策策结结果果手形手形特征特征 图2-6 多模生物特征融合

Pig.2-6 Multi-modal biometric fusion

第二种方式是对生物识别的一种纵向研究，掌纹特征包含着丰富的信息，但是每一种特征提取方式都是对某一侧面信息的获取，显而易见，信息获取的更加全面才能对识别更加有利，此种方式中，掌纹特征是通过多种方式进行提取的，能够更加充分的利用掌纹信息。识别过程如图2-7所示：

特征特征11特征特征22掌纹掌纹特征特征nn特特征征融融合合模模式式识识别别决决策策手形手形 图2-7 多特征下的多模融合

Pig.2-7 Multimode multi feature fusion

- 14 -

2.4 本章小结

本章中详细描述了关于掌纹和手形特征区域提取过程及所应用到的图像处理方面的相关算法知识。例如图像格式转换，中值滤波等，提并详细的阐述基于手型轮廓的特征定位与基于掌纹的ROI定位。

本文选用二维主成分分析方法提取特征，在此基础上提出基于“掌纹+手形”的双模态生物识别。并确定特征融合方案。基于不同方法所提取的手形与掌纹图像进行特征层融合，进行实验分析。

- 15 -

第3章 手部图像特征提取

3.1 手部特征识别现状分析

在本文进行手部图像的分析时就是指基于掌纹与手形识别现状分析，接下来分别就手形识别与掌纹识别进行描述[11]。

1. 手形识别：

手形识别的识别方式是基于手部几何轮廓所进行，手形识别应用在生物识别领域已经有很长一段时间了，在安防系统中已经有广泛应用，手形特征具有较高的稳定性，而且不易受到外界环境因素的变化而发生改变，近些年来，随着科学技术的不断发展，国际上对与基于模式识别的手形识别技术也越来越关注。

手形识别是一种生物识别技术，它主要是继指纹识别之后的又一个重要识别方法，它的主要优点有操作简单、认证速度快、成本相对较低。现阶段已经被广泛的应用在考勤等系统中，手形产品与指纹产品基本上已经持平，手形识别以成为国内外生物识别技术市场中又一主力产业，手形在一段时间内是保持稳定的，可以将手形作为手部生物识别特征之一进行研究讨论，通常手形识别分为二维与三维两种识别，当前虽然无人能够伪造出手形三维识别技术，但其三维手形在技术方面存在一定的难度，本文主要是对手形二维图像进行研究。

手形识别的主要特点：画面质量要求不高，硬件设备成本低；需要存储空间小，特征简单；匹配速度较快，算法简单。但是手形数据不是很丰富，对于识别效果不是很好，区分度不高：随着时间年龄变化，手形并不具有永久不变性。

2. 掌纹识别：

手掌是人体手部较大的一个区域，掌纹就手掌上面深浅纹路和褶皱的总称，古代常把掌纹用于命相学研究，说明掌纹可以作为手部特征之一进行有关于生物识别方面的研究。

当前阶段，在美国、日本、英国等发达国家，掌纹识别技术已经进入到实用性阶段，2006年，富士通面向全球推出掌纹识别系统，并在手持移动设备上应用；日本将掌纹识别系统应用在ATM机上面，在美国，医院、警察局等一些相关部门也都启用了手掌识别系统。在国内，虽然研究和发展相对较晚，但却

- 16 -

有较快的发展速度，主要的应用方面有：近年来。在上海出现的道肯奇掌纹识别系统，仅限于都与高档住宅小区的门锁系统和国际机场的门禁系统，在2006年的下班年中，中国科学院开发出了三套基于网络摄像头的非接触式的掌纹自动识别系统、基于PDA平台的掌纹识别系统和在背景固定条件下的自由式掌纹识别系统。

掌纹识别的主要特点：与指纹识别相比，掌纹识别和案件诉讼等的关联性比较小，容易被用户接受；掌纹的面积比较大，涵盖着足够多的信息，能够更好的进行区分；主要特征明显且稳定，不容易受到噪声干扰；因为受伤等外界因素而影响采集图像质量的可能性小。

3. 手形与手掌特征比较：

从下面表格我们可以知道，手掌与手形在特征处理方面有着各自的优缺点，而我们采用双模态融合可以弱化其缺点。下面就对“手形+掌纹”组合中的两种生物特征进行比较分析：

表3-1 手形与掌纹特征比较

Table3-1 Comparison of the hand feather and palmprint feather 图像品质 防伪性能 预处理 特征处理 准确性 手形特征 较好 一般 简单，快速 简单，快速 低 手掌特征 一般 很好 复杂，耗时 复杂，耗时 高

3.2 手形轮廓特征提取与掌纹预处理

3.2.1 手形轮廓特征提取

边缘通常是指图像在该位置处其灰度值突然改变的像素点所构成的集合，想要提取出来我们所感兴趣的手部特征，先要得到手形轮廓边缘像素点的集合，提取滤波后的边缘像素[12]。

使用八邻域边界跟踪算法提取手部轮廓。首先找到物体区域范围内最上角

- 17 -

的一个边界点作为起点进行搜索，查看它的八邻域的点，从右下方45度位置开始寻找，按逆时针方向，自上而下、自左而右进行搜索，不断重复进行，直到回到搜索起点，见图3-1。

32140567 图3-1 八邻域方向网

Pig3-1 Eight neighborhood direction network

如果图像中任意一点和它的八邻域点的像素值都是0，则设置该点的像素值为1，如公式3-1所示，假设g(i,j)是图像处理后在(i,j)点的灰度值，f(i,j)表示原图像在该点的灰度值，f8(i,j)是指八邻域内每一像素点的灰度值。采用上述提取轮廓的方法，最后得出手形轮廓的图像[13]。

?1g(i,j)???0f(i,j)??0&&f(i,j)??0 （3-1）

others手形特征点是指能够从手形图像中区分人们身份且具有标志性的点，这些点主要有指根点、指尖点以及手掌上下边缘点等，用这些特征点进行手形识别，所以对于特征点的定位尤其重要。本文主要是提取手指指尖点与指根点的手形特征点进行研究。上一章中对手部轮廓的提取已经有了描述。在对手形定位时，大拇指相对灵活，本文主要是采取除了拇指以外的其他手指进行研究，再经过下面几个步骤进行处理：

首先，经过灰度转化，二值化与滤波等操作，已经得到了手形轮廓的图像。 再次，分别假设中指指间和食指间的谷底P1点和小拇指与无名指指间的谷底P2点。

最后，做出P1与P2点间的垂直平分线，随便在P1P2的垂直平分线直线上选取一点，过这点做垂直于其平分线的直线，并且仅与手部轮廓分别交于C1

- 18 -

和C2两点。提取出C1C2之间包括四指的手部轮廓曲线和切割线。作为手形的特征区域，见图3-2。

图3-2 手形特征提取

Pig3-2 Hand shape feature extraction

手部轮廓定位完成后，做一条平行于X轴线的直线，与除拇指外的其他四指的边缘相交于八个点，以任意一点向上或者向下进行搜索，记录出手形区域内曲率变化最大的点，并确定手指的指尖点与指跟点。曲率主要是表示其曲线的弯曲程度参数，在手形轮廓中按照曲率的数学表达式计算会特别的复杂，在本文中，主要采用近似的方法进行求解。通过观察可以知道，其指尖或者指跟的弯曲程度最大，而其他部分相对来说比较平滑[14]。如图3-3所示：

图3-3 曲率的计算

Pig.3-3 Calculation of curvature

F点是手部轮廓上指跟或者指尖上任意点，其中?(s)代表点F两侧向量的FF1与FF2之间的夹角[15]，其计算公式如3-2所示：

?(s)?arcc?os

- 19 -

?FF1?FF2??FF?FF?1? （3-2） 2??

3.2.2 掌纹预处理

1. 灰度转换：本文所使用采集图像的传感器能够采集到的为彩色图像，这就需要我们进一步进行处理将其转换成所需要的8位精度的灰度图像，本系统采用加权平均法，而彩色图像一般都是红绿蓝（R G B）三原色通过自由组合而得到的，根据定义，采取加权平均值法，就是用不同的权值与RGB三个分量相乘的结果再相加。Gray= 0.299R + 0.587G + 0.114B最后完成灰度图像的变换[16]。这样不仅能够压缩图像的信息量，节省空间，而且还能够提高图像处理的传输速度。

2. 直方图均衡化：掌纹图像由于受到外界因素的影响，为了能够更好的开展后续有关图像处理方面的工作，关于掌纹图像的特征提取及匹配，主要有两种方式用来增强图像对比度，直接或者间接方式来增强对比度，通常用来间接增强对比度的方式有直方图均衡化和直方图拉伸，直方图均衡化是指通过函数来调整灰度值。把原图像的灰度直方图从某个集中灰度区间变成全部区域范围内的均匀分布，主要方式是非线性拉伸，其像素数量在一定范围内基本相同，主要思想是体现均匀。本文采取掌纹图像均衡化处理，它是作为图像增强最常用的方法，主要目的是增强图像的对比度和对其进行去噪处理。

3. 中值滤波是一种线性滤波算法，传统的中值滤波无法满足我们的要求，针对这一因素，本文提出一种改进后的中值滤波算法，可以降低运算维数，将二维转化为一维运算使得运算速度得到显著提高[17]。

中值滤波主要目的是保护图像边缘对于干扰脉冲和点状噪声进行去噪处理，是比较常用的去噪方法。中值滤波的技术关键就在于选取滤波窗口维数和形状上，滤波窗口分为一维和二维窗口，一维窗口相对简单但滤波效果不好，本文将滤波窗口设定为3×3的正方形窗口进行研究。

4. 掌纹特征区域提取：掌纹ROI区域提取主要是基于正方形的，下面来介绍提取的详细步骤：

1）根据对所得到的手掌轮廓利用重心关系得出手掌腕部的参考点，由五指指峰和指谷之间的关系，可以确定出五个极大值点和四个极小值点。

2）对每个手指边缘进行直线拟合，把每个手指两边缘直线的角平分线设为主轴，用最小二乘法进行边缘直线拟合。朝着手指指根方向沿主轴延长手指的1/5，可以得到每个手指的掌关节点，掌关节点在手掌内有其固定方位，不论手指如何旋转其掌关节点是不会会发生变化的。如下图掌关节点分别用K1，K2，K3，K4，K5所示，连接K2和K5为水平坐标轴，设K2K5的中点为坐标原点，过

- 20 -

原点垂直于K2K5的直线设为Y轴。提取128*128的正方形区域，为掌纹的ROI区域[18]，见图3-4。

图3-4 掌纹图像ROI Pig.3-4 Palm print image ROI

经过预处理后，得到的各个手掌块其大小相同，而且手掌的旋转与平移基本上都被消除了，噪声也是被处理过的，因此更加有利于对于手掌图像的分析和研究。

3.3 基于小波变换图像特征提取

3.3.1 小波变换

小波变换是一种新的有效的变换分析方法，它是时间、空间和频域的局部变换，所以能够有效的提取局部信息，是在20世纪中后期发展起来的，当前已经被广泛的应用在图像处理、信号处理、模式识别等各种领域[19]。一方面是进行图像与处理，主要利用小波的重构与分解算法，对人体生物特征识别方面也有一定的应用。二维小波变换主要是在不同尺度、不同方向上对图像进行分解。小波变换的特征主要有以下几点：如果是非震荡信号，小波的分解尺度与小波系数的关系是呈现正比例；震荡信号，小尺度下的振荡频率比大尺度下的小波系数要大很多；手部特征中，尤其是掌纹中的有些特征呈现振荡性与非振荡性信号。小波变换是当前应用最为广泛的时域与频域的分析技术，在各个学科中得到了广泛的应用，小波不论是在对图像、声音等在分析和处理方面都有良好的效果，在各个领域应用广泛。

1.小波变换简述：

- 21 -

通过小波分析，能够把不同频率交织在一起的混合信号分解成信号块信号，有效的解决了数据压缩、模式识别、编码解码、非平稳过程平稳化等问题，正因为如此，小波变换的应用越来越广泛。

小波变换大致经历了三个阶段：

第一阶段：孤立应用时期，在一些科学研究领域中，特殊构造的小波在某些特定问题上的应用，具有代表性的有：“墨西哥帽”小波的出现。1981年，对于Harr系统标准正交基的改进。1984年，J.Morlet首次用小波分析处理地质数据。并用他们的名字命名的Grossmann-Morlet 小波。

第二阶段：统一构造时期和国际性研究热潮。在1986年，Y.Meyer 构造的有衰减性光滑函数，统一之前提出的各种构造小波方法，接着又提出了多分辨率概念，S.Mallat提出小波变换的快速算法。国内小波分析领域虽然起步较慢，1992年召开了首届小波分析研讨会，也逐渐掀起了研究热潮。

第三阶段：全面应用时期。小波分析的快速发展，主要表现在已经成功应用于图像处理、信号奇异性检测、波形估计、高分辨谱估计等多个方面。并在声纳信号处理、雷达等新兴领域都得到了初步应用。

2. 小波变换定义：

????* Wf(b,a)??f(t)?a,b(t)dt (3-3)

?b,a(t)?1t?b?(),a?0,b?R (3-4)

aa其中?b,a(t)是小波变换的核函数，?(t)是母小波，在时域上的带通函数以

t=0为中心。不论在时域或频域都具有局部化。4-3表示的是?(t)是一维小波，即积分为0的函数。公式3-4表示平移或伸缩后的函数[20]。a表示伸缩量，b表示平移量。

??????(t)dt?0 （3-5）

1t?b?(),a?0 （3-6）

aa?b,a(t)? f(t)函数在位置b与尺度a条件下的一维小波变换定义的内积如下式表示；

??1t?bWf(b,a)??f,????f(t)?*()dt （3-7）

b,a??aa与上述情况相类似，如果二元函数满足公式(3-7)的条件，则认为它是一个

二维小波：

- 22 -

???(x,x)dxdx1212?0 （3-8）

如果二元函数进行伸缩或者平移可得：其中伸缩尺寸为a，平移的二维量为(b1,b2)。

??1x1b1x2b2?a,b1,b2(x1,x2)?a?(a,a) （3-9）

二元函数的二维小波变换定义：

Wf(a;b1,b2)??f(x1,y1)

??1x1b1x2b2?a;b1b2(x1,x2)??a??f(x1,x2)?(a,a)dx1dx2 （3-10）

小波变换在大尺度时主要是对信号低分辨率特性的反应，小尺度则是高分辨率特性的反应。

3. 快速小波变换：

关于离散信号的快速二进小波变换主要运用Mallat用滤波器组的方法来实现。信号一般情况下，都是由低频部分与高频部分共同组成的，低频部分主要对信号一些基本信息进行描述，高频部分主要对局部细节和特点的信号进行研究。在掌纹图像中，信号的高频部分组成组要是由纹线、褶皱等特征点构成的，应用Mallat快速小波变换能够把原始图像进行分解成关于低频信息图像与不同高频信息的图像的多个细节图像。Mallat快速小波分解算法就是将原图像分解为低频信息与不同高频信息的多个细节图像[21]，如图3-5。

原始图像LLLH11HLLL22HL22LH22HH2211HL11LH11HH11LH11HH11 图3-5 图像的快速小波分解

Pig.3-5 Fast wavelet decomposition

在应用过程中，通常会对小波变换参数尺度（a）和位置（b1b2）进行离散化处理：a?2j b1?m?2j,b2?n?2j,m,n,j?Z

- 23 -

则?a;b1b2(x1,x2)变为

?其中?j;m,n(x1,x2)?2?j?(2?jx1?m,2?jx2?n) （3-11）

j;m,n(x1,x2)为二进小波，对应二进小波变换[22]，第j级小波变换为：

Wf(j;m,n)??f(x1,y1)

?j;m,n(x1,x2)??2j??f(x1,x2)?(2x1?m,2?n)dx1dx2 （3-12）

?j?j4. 小波函数的性质：

（1）正交性：小波变换主要的运算是通过对原始图像分别与小波基函数、尺度函数分别进行内积运算，1989年，基于离散滤波器迭代和Mallat算法由Daubechies所提出，从对小波基的选择转换为正交镜像滤波器的选择，现在看来，镜像正交滤波器分为两类[23]：正交与双正交。正交滤波器是指低通与高通分析滤波器正交，大多数正交小波基是无限支集的，计算上比较繁琐，在图像编码时，非对称滤波器产生的误差容易导致边缘错位，造成巨大的感官误差。都期望选用对称或非对称的且支集有限的滤波器，对称的滤波器有便于边界处理且运算简单的优点。

（2）紧支性、光滑性、衰减性：实际应用过程中，光滑性对分析和计算有利，紧支性与衰减性与它之间是相互矛盾的，在时域和频域范围内同时达到紧支是不可能的，为了使局部化能力达到满意的效果，我们需要平衡在紧支性、光滑性与衰减性之间的相互关系。

（3）对称性及线性相位：在检测信号的奇异性时，对称与反对称小波变现各不相同，边缘跳边信号，则对称小波在该处呈现零值，反对称则会呈现最大值。峰值跳边信号则与其相反。

3.3.2 依据小波分解原理处理图像

空域内对掌纹图像进行处理，在处理过程中会有很多的难点，对于复杂掌纹图像中关键特征不能完全用单一的空域方法表示。尽管图像灰度变化是掌纹图像最重要的特征，但是这仅仅是在多尺度或多分辨率上有所体现，不能完全用空域表示。在小波域内进行图像数据变换，分别用不同的分辨率表示灰度变化的特征，对于多尺度的边缘特征的复杂图像能够完整精确地表达。

- 24 -

在小波变换过程中对多尺度、多分辨率下的边缘描述能力是其最有吸引力的属性。灰度图像中边缘区域变化缓慢或者变化平缓则可以看作是边缘特征在低分辨率下，相对来说灰度图像中边缘区域如果变化相对剧烈的，则可以看作边缘特征是在高分辨率下。小波主要是将图像的边缘特征分解成在各种不同分辨率下，能够实现对不同分辨率下图像边缘描述要求的满足。对不同尺度或分辨率情况下的边缘特征进行处理，小波方法能够非常有效快速的表示在不同程度下的灰度变化梯度。

对掌纹图像利用小波变换对其进行处理，获得一些在不同分辨率情况下的掌纹相似图像，把获得图像构造成为特征向量。在同一个掌纹图像中，不同的分辨率与不同的特征一一对应。主线在所有的线特征中最粗，可以在低分辨率情况下对它们进行分析；褶线比主线要稍微细一点，中等分辨率条件下进行处理分析；乳突纹却是主线中最细微的，对其分析需要在高分辨率下进行，分析处理图像时就可以采用多分辨率分析方法。在多分辨率领域，小波是有利工具，二维小波变换图像处理时可以在不同的分辨率下在多个方向上进行，在掌纹图像识别过程中有对于二维离散小波的应用[24]。在正交小波变换理论基础上进行多分辨率分析，每个尺度将上一个尺度的低频平滑部分图像分解为一个低频平滑图像和三个高频细节图像，每部分图像的面积都缩小为上一尺度的 1/4。例如，对原图B0进行2次小波分解，第2层小波分解系数为B2，在第K层所对应的水平、竖直及对角线的细节系数，K的值可以取1或者2，如图3-6。

B22V22H22D22HD11V

1111

图3-6 B0图像进行两次小波分解

Pig.3-6 B0image of two wavelet decomposition

- 25 -

3.3.3 构造小波能量特征

假设某一图像I的第i级小波在分解为Hi，Vi和Di的细节图像，分别是在水平、竖直和对角上，设i级小波的能量定义[25]如下所示：

Eih????Hi(x,y)? Eiv????Hi(x,y)? Eid????Hi(x,y)?(3-13)

x?1y?1x?1y?1x?1y?1MN2MN2MN2这些能量是第i级小波分解后所对应三个方向（水平、竖直和对角）边缘强度的反映。掌纹纹理是由图像的边缘信息所构成的，主要包括有掌纹线和乳突纹等，第i级小波分解是指对不同方向上信息强度的具体反应。非振荡信号的小波系数会随着小波分解级数的增大而变大，掌纹线能量是非振荡性的，是在在大尺度小波分解后的细节图像中有所分布，而乳突纹的能量则具有一定振荡性，主要分布在较小尺度的细节图像中。小波分解在各级上的能量组成的向量表示为：

E?(Eih,Eiv,Eid)1,2,..,M （3-14）

上式主要是基于掌纹图像的一种描述，表示一种全局特征，手部图像中各部分的特性都与空间位置有着密切联系，所以能量组成的向量E对于掌纹的纹理特征点并不能很好的刻画。为了解决这方面的问题，对每个细节图像均等分为S×S 个不相交的块，然后求出每一小块的小波能量[26.27]。这些块的能量来构成基于掌纹纹理特征矢量：

~~1~1~M~M~MV?(V(1,....V,.....,V,V,.....,V)3?S?S(1)(2)3?S?S) (3-15)

归一化处理后，得到小波能量特征V：

1MMV?(V(1V31V(1V3M1),V(2).....?S?S,...),V(2),....,?S?S)

V(ij)?~V(ij)??Vk?1j?1M3?S?S,(i?1,...,M;j?1,....,3?S?S) (3-16)

kj 定义第i级小波能量特征，它主要是由小波分解系数计算出来：

12Miii Vi?(V(1 V?(V,V,..V..,) （3-17） ,V,..V..,))(2)(3?S?S)- 26 -

即小波能量特征是对各级小波能量特征的一种组合，在分辨率、位置、方向不同的情况下，对图像纹理特征的反映。显而易见，不同级别的小波能量特征对掌纹的区分能力是各不相同的[28]。根据文献可知，3级小波分解系数所构成的掌纹小波能量特征的区分能力比较强。

3.3.4 特征匹配

手部(这里主要是指手形和掌纹)特征的识别就是对测试样本进行特征匹配的过程，根本做法是建立特征库与进行样本注册的基础上，确定判断规则，依据这一规则来对手部特征进行匹配，确定其是否满足识别的要求，最后输出结果。

本文中，主要是在特征匹配阶段，以平方差来衡量同一生物特征之间的相似度。如果平方差越大则表示其相似度越低。其中小波能量分别用V和U来表示，小波分解的总级数用M来表示，对于细节图像划分的块数用S?S来表示[29]。

D(V,U)???(Vji?U(ij))2 （3-18）

i?1j?1M33.4 基于2DPCA的特征提取

在手形和掌纹识别过程中，选取识别方法与过程中数据库主要有下面两点要求：

（1）要求图像有较高的识别精度。 （2）识别时的查询速度要快。

为了去除噪声的影响，提取有效的特征区域，需要先将图像从空间域变换到频域，原因是空间域抗噪性弱，而频域具有较强的抗噪能力。这样提取出来的特征具有较强的描述性，可以简化预处理过程，加快识别速度，增强鲁棒性。与传统的特征提取相互比较，大大减少了计算损耗。

2004年，Yang提出了对手掌和手背静脉特征提取的2DPCA（二维主成分分析）。是对传统PCA的一次改进和提高。主成分分析方法本质上是一种基于向量降维的过程，让降维后的向量都互不相关且方差最大为降维的主要目的，传统的特征向量的提取时，对特征向量的求解过程中，使图像出现差异因素的干扰有许多，无法分辨这些差异存在的具体原因，是属于外在因素还是掌纹和手形自身的差异。为了解决这一问题，提出了一种改进的主成分分析法。

2DPCA的思想是经过线性变化Y=AX将(m?n)维图像矩阵A投影到X（n

- 27 -

维单位列向量）上，获得(m?1)维投影特征向量Y。2DPCA的主要任务就是怎样寻找最优投影向量X。投影样本的总体散度能够求得X，能通过总体散度表示投影特征向量的协方差的迹，Sx表示协方差（训练样本的投影特征向量的），

tr(Sx)表示为协方差的迹。J(X)?tr(Sx)只有找到使所有的训练样本都在X的

投影上才能有最大的总体散度。

Sx?E{(Y?E{Y})(Y?E{Y})T}?E{[(A?E{A})X][A?E[{A}]X]T} (3-19) 假设图像的协方差矩阵为Ht表示，则

1Ht?E{(A?EA)(A?EA)}?MT?(Aj?1Mj?A)T(Aj?A) (3-20)

由上面两公式可得出：

J(X)?tr(Sx)?XT[E{(A?E{A})T(A?E{A})}]X?XTHtX (3-21) 通过上面可知，要想获取投影样本的总体散度最大，就要使J(X)达到最大化，也就是说X1,....,Xd是Ht最大特征值的特征矢量。需要符合标注正交化与最大化的J(X)。即

?X1,..X.d.??argmaxJ?X?

XiTXj?0,i?j; (3-22)

Yd]通过线性变换可以得到投影特征向量Y1,...Yd。图像特征矩阵用B?[Y1,...表示。

3.5 本章小结

本章探讨了手部特征下的手形和掌纹特征提取，研究了小波变换及其多分辨率分析信号的能力，探讨了掌纹特征提取和掌纹小波能量特征的构成。根据手部特性中，尤其是掌纹的纹理特征，采用小波多分辨率分析的方法，得出3小波分解系数构成的掌纹特征的提取。得出多分辨率信息下的掌纹纹理特征向量。最后又分析了基于2DPCA的特征提取，为下一步研究提供依据。

- 28 -

第4章 基于改进的多模融合识别

4.1 典型相关分析的基本思想

典型相关分析（CCA）主要是对两种变量的相关性问题进行分析，是一种多元统计分析方法，是从主成分分析方法演变而来。提取两组特征变量主成分，所提取出的各个特征变量的主成分之间是毫不相关的，两组变量的主成分之间又有最大的相关性，我们可以用具有最大相关性的主成分来描述两组变量整体的线性关系。

典型变量的求解方式，一般可以转化为对投影方向?与?的求解过程，

???TSxy??Sxx???Syy?TT (5-1)

具体来说，就是两个均值为零的随机矢量x?Rp与y?Rq，典型相关分析是通过提取相关性最大的特征矢量，找出?与?这样一对投影方向，使投影相

**关，x1??Tx与y1??Ty，把它称之为典型相关。第一对典型变量是x1*与y1*；

**再继续从两个随机矢量出发，推导出第二对典型变量x2与y2，第二对变量相关性最大，且与第一对又不相关，一直对其进行求解，最终以得出基于随机矢量的所有相关特征为目的，就是指全部的典型变量都被求解出来，通过对几种典型变量的相关性进行比较研究和分析判断，达到更高的识别效果和提升处理速度。

4.2 特征组合原理与算法

设A?{x/x?Rp}，B?{y/y?Rq}，两种不同模式下的特征矢量分别用x与y表示，它们属于随机矢量，训练样本空间分别用A与B表示，它们属于随机矢量空间，接下来我们在A与B的训练样本特征空间进行有关于特征融合的讨论，根据典型相关分析的基本思想，对典型相关特征x与y进行提取，分别记

TTx与?dy看做是第d对，变换后做?1Tx与?1Ty作为第一对，以后以此类推，?dTTx与?1Ty,....?dy来表示。即可得： 的特征分量用?1Tx，.....?dTTTX*?(?1x,?2x,....?dx)T?(?1,?2,.....?d)Tx?WxTx (5-2)

- 29 -

TTY*?(?1Ty,?2y,....?dy)T?(?1,?2,....?d)Ty?WyTy (5-3)

?Wx??Wx??x??????变换矩阵用W??为线性融合变换，再将其作为组??W?表示，Z??W???y??y??y?合特征进行分类。

第i对投影矢量用?i与?i表示，?iTx，?iTy是指典型特性分量[30]，W是投

影变换矩阵，Z是相关判断的特征向量。下面对于它们的性质与算法有进一步的讲解。一般常用准则函数：训练样本空间的协方差矩阵用Sxx与Syy表示，互协方差矩阵用Sxy表示。

J(?,?)??TSxx?(?TSxx???TSyy?)12 (5-4)

求取典型相关投影矢量是两组变量典型相关的前提条件，由(5-4)式可知，只有当?取得最大值时，才能满足要求，只有当分母取最小值，才能使整体数值达到最大，此式中必然有极值的存在，即当两特征矢量都同时达到协方差取到最小值才能满足要求。

4.3 改进的典型相关分析方法

为了能解决上面所提到的这些问题，主要是通过对准则函数得改进实现的，就是指在准则函数里分母的乘法运算换成加法运算。

T???Sxx??1 s.t??TJ(?,?)?1?Syy??1?TT?2(?Sxx???Syy?)?TSxx? (5-5)

可以看出，问题转化为求投影矢量?和?的最大值问题。 根据拉格朗日可知，函数L(?,?)??TSxy???12(?TSxx??1)??22(?TSyy??1)可以知道?1与?2分别为拉格朗日系数[31]，对函数进行求取偏导：设

?L?Sxy???1Sxx??0 (5-6) ???L?Syx???2Syy??0 (5-7) ??- 30 -

对上面两式分别右乘?T与?T，得出?与?的互协方差，再将两式进行相

T?1?Syy?除操作，最终得出?T?a

?2?Sxx?对J(?,?)的最大化准则函数的求取可以通过下面两个特征方程来完成。对

?1?1?1?1下面两式进行求解，Mxy?SxxSxySyySyx Myx?SyySyxSxxSxy

?12SxySyySyx??a?1Sxx? (5-8)

?1SyxSxxSxy???22Syy? (5-9)

2可以得出Mxy??a?2得出一组投影矢量W?{?1,?2,....?d}，2? Myx???2?，

采用下述融合变换来获取最后的融合特V?{?1,?2,.....?d}使其达到最佳效果[32]。

征，依靠所获得的融合特征进行分类和识别。

?w?Z???v????T?x???y?? (5-10) ??将比值a称作矫正投影系数，它的作用在于调整特征矢量所对应的投影方向，使所对应的协方差达到最小。

2222如果矩阵Z的特征值满足[33]：?1??22?.....??r??r?1?....??d?0对于鉴别函数J(?,?)来讲，特征值数量大于r时，没有办法进行有效的典型相关特征的提取。对于满足条件的特征矢量最多为r对。我们可以选取p?r个特征矢量进行典型投影矢量的构建[34]。

4.4 特征融合算法流程

本文提出了基于改进的典型相关分析方法，对手形和掌纹在特征进行融合，具体的流程有：

（1）通过小波变换获得手部特征图像，然后利用二维主成成分分析方法提取图像的特征向量X与Y，其中基于掌纹特征生成为第一组训练空间X?(X/X?RT)；基于手形特征所生成的第二组训练空间Y?(Y/Y?RT)；

（2）为了让其达到统一标准，对所得到的两组样本空间特征向量进行标准

- 31 -

化处理。

（3）计算两组样本空间内互协方差矩阵Sxy，总体协方差矩阵Sxx与Syy。 （4）根据前面的公式求出Mxy、Myx和矫正投影系数a。并构造出矩阵W和矩阵V。得出特征融合变换Z，将组合特征用于分类识别。

4.5 结果分析

4.5.1 基于小波特征能量结果分析

为了实验结果清晰，只选取前二十个人作为研究对象：每人图像中一幅作为样本,其他三幅为测试样本，在特征匹配的阶段，引入平方差来衡量不同手部特征之间的相似程度。计算类间类内匹配度差，定义是指不同人之间匹配度的最小值减去同一个人的匹配度最大值，其类间类内匹配度值越大则表示其识别效果越好，识别率越高，区分能力越强。

1.手形特征匹配：选取第一个人的手形分别与二十个手形数据库(分别进行编号)进行分析比较，得出匹配结果：根据手形匹配图可以得出类间类内匹配度的大小，确定识别率的高低，如图4-1。

- 32 -

图4-1 手形匹配度 Pig.4-1 Hand shape matching

2.掌纹特征匹配：根据实验结果，分别计算出手形和掌纹的类间类内匹配度，类间类内匹配度的大小与识别率成正比，可以知道掌纹的识别率要高于手形的识别率，在基于“手形+掌纹”的多模态生物识别中，可以利用手形特征来进行粗匹配，在利用掌纹特征进行二次匹配，提高系统的识别速度。如图4-2。

- 33 -

图4-2 掌纹匹配度

Pig.4-2 Palmprint matching degree

4.5.2 基于改进典型相关结果分析

本实验是基于特征层进行融合的，是在自行采集的手形与掌纹图像库中进行的，库中包含50人的生物特征图像，采集每人的手形图像和掌纹图像各10幅，其中5幅作为训练样本，另外5幅作为测试样本，根据下图可知，主成分维数的选取会影响系统识别率。开始时识别率会随着主成分维数的增长而增大，但当其达到一定值时，维数的增加就不会影响其识别率。本实验中，当维数d为固定值时，手形识别率要低于掌纹的识别率，双模态下的识别率要高于掌纹的识别率，实验表明，基于“手形+手掌”多模态生物融合识别的识别率要高于任意单一模态生物识别的识别率，如图4-3，4-4所示。

- 34 -

本文来源：https://www.bwwdw.com/article/iqq.html