计算机工程与设计ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ ａｎｄＤｅｓｉｇｎ ２０１１，Ｖｏ１．３２，Ｎｏ．８ ２８４９ 基于特征融合的多模态身份识别方法研究 林玲 ， 周新民 ， 商 琳。， 高 阳。 （１．伊犁师范学院计算机系，伊宁８３５０００；２．江苏省厅，江苏南京２１００２４；３．南京大学计算机 软件新技术国家重点实验室，江苏南京２１００９３；４．南京大学江阴信息技术研究院，江苏无锡２１４４３３） 摘 要：研究了多模态身份识别问题，结合人脸和掌纹两种不同生理特征，提出了基于特征融合的多模态身份识别方法。对 人脸和掌纹图像分别进行Ｇａｂｏｒ小波、二维主元变换（２ＤＰｃＡ）提取图像特征，根据新的权重算法，结合两种模态的特征，利用 最邻近分类器进行分类识别。在ＡＭＰ、ＯＲＬ人脸库和Ｐｏｌｙ—Ｕ掌纹图像库中的实验结果表明，两种模态的融合能更多地给出 决策分析所需的特征信息相比传统的单一模态的人脸或掌纹识别具有较高的识别率，更具安全性和准确性。 关键词：身份识别；多模态；人脸识别；掌纹识别；特征融合 中图法分类号：ＴＰ３９１．４１ 文献标识码：Ａ 文章编号：１０００。７０２４（２０１１）０８—２８４９—０４ Ｒｅｓｅａｒｃｈ ｏｎ ｍｕｌｔｉｍｏｄａｌ ｂｉｏｍｅｔｒｉｃ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｕｓｉｎｇ ｆｅａｔｕｒｅ ｌｅｖｅｌ ｆｕｓｉｏｎ Ｌ Ｌｉｎｇ ， ＺＨＯＵ Ｘｉｎ—ｍｉｎ ， ＳＨＡＮＧ ＬｉＩ１３， ＧＡＯ Ｙａｎｇ （１．Ｄｅｐａｒｔｍｅｎｔ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｙｉｌｉ Ｎｏｒｍａｌ Ｃｏｌｌｅｇｅ，Ｙｉｎｉｎｇ ８３５０００，Ｃｈｉｎａ；２．Ｊｉａｎｇｓｕ Ｐｒｏｖｉｎｃｅ Ｐｕｂｌｉｃ Ｓｅｃｕｒｉｔｙ Ｄｅｐａｒｔｍｅｎｔ，Ｎａｎｊｉｎｇ ２１００２４，Ｃｈｉｎａ；３．Ｓｔａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｆｏｒ Ｎｏｖｅｌ Ｓｏｆｔｗａｒｅ Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｎａｎｊｉｎｇ ２１００９３，Ｃｈｉｎａ；４．Ｊｉａｎｇｙｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｙｔ，Ｗｕｘｉ ２１４４３３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｍｕｌｔｉｍｏｄａｌ ｂｉｏｍｅｔｒｉｃ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ ｃｏｍｂｉｎｅｓ ｔｈｅ ｆｅａｔｕｒｅｓ ｏｆｈｕｍａｎ ｆａｃｅｓ ａｎｄ ｐａｌｍｐｒｉｎｔｓ．Ｂｉｏ— ｍｅｔｉｒｃｓ ｆｅａｔｕｒｅｓ ａｒｅ ｅｘｔｒａｃｔｅｄ ｕｓｉｎｇ Ｇａｂｏｒ ｗａｖｅｌｅｔ ａｎｄ ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ｎａｌａｙｓｉｓ（２ＤＰＣＡ）ｔｅｃｈｎｉｑｕｅｓ，ａｎｄ ｉｄｅｎ－ ｔｉｆｉｃａｔｉｏｎ ｉｓ ｃａｒｒｉｅｄ ｏｕｔ ｂｙ ｔｈｅ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｉｅｒ ｆａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｃｏｍｂｉｎｅｄ ｂｉｏｍｅｔｒｉｃ ｆｅａｔｕｒｅｓ ｏｆｔｗｏ ｍｏｄａｌｓ ａｎｄ ａ ｎｅｗ ｗｅｉｇｈｔｉｎｇ ｓｔｒａｔｅｇｙ．Ｔｈｅ ＡＭＰ，ＯＲＬ ａｎｄ Ｐｏｌｙ—Ｕ ｄａｔａｂａｓｅｓ ａｒｅ ｕｓｅｄ ａｓ ｔｈｅ ｔｅｓｔ ｄａｔａ ｉｎ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｃｏｍｂｉｎａｔｉｏｎ ｏｆｔｗｏ ｄｉｆｆｅｒｅｎｔ ｍｏｄａｌｓ Ｃａｎ ｐｒｏｖｉｄｅ ｍｏｒｅ ａｕｔｈｅｎｔｉｆｉｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ，ｗｈｉｃｈ ｇｅｎｅｒａｔｅｓ ｈｉｇｈｅｒ ｓｅｃｕｒｉｔｙ ａｎｄ ｍｏｒｅ ａｃｃｕｒａｃｙ ｔｈａｎ ｔｈｅ ｓｉｎｇｌｅ ｍｏｄｅｌ ａｕｔｈｅｎｔｉｃａｔｉｏｎ． Ｋｅｙ ｗｏｒｄｓ：ｉｄｅｎｔｉｙ ｔｒｅｃｏｇｎｉｔｉｏｎ；ｍｕｌｔｉｍｏｄａｌ；ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ；ｐａｌｍ ｐｒｉｎｔ ｒｅｃｏｇｎｉｔｉｏｎ；ｆｅａｔｕｒｅ ｌｅｖｅｌ ｆｕｓｉｏｎ ０ 引 言 生物认证技术是利用人体固有的生理特征，如人脸、人 方法应用比较普遍，而实际上，特征级的融合方法也有其独特 的优势，它不仅能保留参与融合的多特征有效鉴别信息，还能 消除冗余信息，实现信息的压缩，便于实时处理身份识别。人 脸具有最自然、直观、容易被接受的非打扰识别生物特征［６－７１， 耳、指纹、掌纹、虹膜及行为特征等，对个体进行身份识别的认 证技术“ 。然而，单生物特征识别技术在实际应用中由于客观 条件变化的不可预测性，会遇到很多困难，而多模态的生物特 征识别运用了多个不同生物特征，结合数据融合技术，增加了 掌纹也具有唯一、稳定、方便、涵括的信息量丰富及区分性好 等优点 】，本文通过人脸图像、掌纹的信息，利用一种新的权重 融合算法将两种模态的特征进行特征级融合。实验结果表明， 本文的方法获得了比特征直接拼接法及单一的人脸或掌纹识 别更高的正确识别率，是一种有效的身份识别方法。 伪造人体生物特征的复杂性，相比单一生物特征识别系统具有 更好的可靠性和准确度，从而提高了生物认证系统的安全性 。 目前，国内外已有很多学者开展了多生物特征融合方面 的研究，如文献【４］提出了人脸、指纹、手形相结合的身份识别 方法，文献［５】提出了基于几何投影的多模态身份识别方法。 现有的多生物特征融合方法中，决策级的融合、匹配级的融合 ｌ相关算法介绍 １．１ Ｇａｂｏｒ小波变换 Ｇａｂｏｒ滤波器又称为Ｇａｂｏｒ小波，是由Ｇａｂｏｒ于１９４６年定 收稿日期：２０１１－０ｌ一２２；修订日期：２０１１－０４—０８。 基金项目：江苏省社会发展基金项目（ＢＥ２０１０６３８）；伊犁师范学院科研计划基金项目（ＹＢ２００９３７）。 作者简介：林玲（１９７５一），女，伊宁人，硕士，讲师，研究方向为图像处理与式识别； 周新民（１９６１一），男，江苏兴化人，硕士，高级工 程师，研究方向为物证鉴定、刑侦技术； 商琳（１９７３一），女，河北曲阳人，博士，副教授，研究方向为数据挖掘、机器学习； 高阳（１９７２一）， 男，江苏淮阴人，教授，博士生导师，研究方向为人工智能、图像处理。Ｅ—ｍａｉｌ：ｌｉｎｇｌ１２６＠ｙｌｓｙ．ｅｄｕ．ｃｎ ２８５０ ２０１１，Ｖｏ１．３２，Ｎｏ．８ 计算机工程与设计Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｄｅｓｉｇｎ ２特征提取与特征融合 ２．１特征提取 特征提取是模式识别中的一个重要环节，如何提取有效 的辨别特征是解决识别问题的关键。掌纹、人脸图像中具有 义，之后发展成为短时傅里叶变换（ｓｈｏｒｔｔｉｍｅＦｏｕｒｉｅｒｔｒａｎｓｆｏｒｍ， ＳＴＦＴ）。其基本思想是对信号加窗，然后对窗口内的信号进行 傅里叶变换，因此它可以反映出信号的局部特性。后来Ｄａｕ・ ｇｍａｎ 将其扩展为二维形式，２ＤＧａｂｏｒ滤波器可以达到空域与 频域的局部最优化，在空间局部化的同时可以获得很好的方 向和频率选择性，这些性质对图像纹理分析具有重要的意义。 掌纹的主线、皱线、乳突纹等３类纹线，人脸中的眉毛、眼睛、 丰富的纹理信息，而Ｇａｂｏｒ滤波能够较好的兼顾信号在频域 和时域中的分辨能力及描述图像的纹理信息，因此我们对人 鼻子、嘴巴等五官可以看成是丰富的纹理信息，因此适合用 Ｇａｂｏｒ滤波器对其进行特征提取。 由于Ｇａｂｏｒ滤波器去掉了直流分量，Ｇａｂｏｒ核函数对局部 脸和掌纹图像利用Ｇａｂｏｒ滤波器提取纹理特征。首先对人脸 和掌纹图像分别进行Ｇａｂｏｒ变换，提取４个尺度ｄ＝｛２，４，６，８｝， ８个方向０＝｛０，１，２，３，４，５，６，７＞×（ ８）的Ｇａｂｏｒ特征，图１为原始图 的光照影响不敏感。Ｇａｂｏｒ滤波结果可以描述不同方向的灰 度分布信息，可以容忍图像有一定的旋转、平移、亮度不均、尺 度变化等情况“ 。 式（１）为Ｇａｂｏｒ滤波基函数的一般形式 ｈ（ｘ￣ｖ， ，％ ＝ （ 『＋ ） ］）・ｅｘ．／￣ｌ 式中： 、 波长和方向：ａ 、 ——高斯包络在ｘ和Ｙ方向上 的标准差，它们决定了高斯包络的空间扩展。然而在实际应 用中，常常需要根据具体的应用要求，对核函数进行变化。不 同核函数产生的滤波器效果也不同，本文使用了环形２ＤＧａｂｏｒ 滤波器。Ｇａｂｏｒ滤波器的公式为 Ｇ（ｘ，ｙ， ， ＝ ｅｘｐ卜 ２ｄ）’ｅｘｐ｛２￣ｒｉ（ｕｘｃｏｓＯ＋ｕｙｓｉｎＯ）｝（２） 式中： ——滤波器的方向；Ｕ——正弦曲线的频率； ——高 斯卷积的标准差。由于该滤波器是复滤波器，滤波后得到的 图像也是复数图像。因为掌纹、人脸图像的虚部和实部纹理 相似，我们仅提取虚部特征。 １．２ ２ＤＰＣＡ特征 主成分分析是一种把高维数据投影到低维空间的一种线 性组合方法。由于线性组合容易计算，并且能够进行解析分 析，在人脸、掌纹等生物认证技术中得到了较好的应用。传统 的主成分分析在计算图像协方差矩阵时，先将二维图像矩阵 转化为一维矢量再运算，这样高维、计算量大的运算使得后续 算法具有较高的计算复杂度。 Ｙａｎｇ等人提出了二维主成份分析（２ＤＰＣＡ）算法，该算法 的主要思路是：首先利用训练样本图像矩阵构造协方差矩阵， 然后求解协方差矩阵的特征值和特征向量，再选取前ｄ个较 大的特征值对应的特征向量作为投影向量，最后将样本图像 直接投影到这些特征向量上，形成一个矩阵称为图像的投影 特征矩阵供识别时使用叭 。 假设有Ｍ幅大小为ｍ￣ｎ的样本图像ｘ （ｉ＝１，２，－－－，Ｍ）其平 １ 均图像矩阵为 ： ，则定义图像的协方差矩阵ＧＩ为 一１ １兰 Ｇ ＝— ∑（ 一 ） （． 一 ） （３） 』 ｊ＝】 对应于矩阵ＧＩ的ｄ个最大特征值的特征向量（ｘ ， ，…， 就是所要计算的原始图像ｘ 的特征向量。由于Ｇ 的维数较 小，它的特征值和特征向量能够直接计算出来，不需要使用其 他的简便方法。 对于一个给定的样本图像Ｆ，可以用以式（３）求出特征向 量（ｘ ，）（ ，…，ｘｄ）进行特征提取，Ｙ ＝ＦＸ ，ｋ＝１，２，…，ｄ：Ｙ 就是图 像Ｆ的主分量。 像；图２为Ｇａｂｏｒ变换后的掌纹图像。从图２可以看出，原始 人脸和掌纹图像经过Ｇａｂｏｒ滤波器的卷积处理以后，能够获 得３２幅图像。可以看出图像维数太大，产生大量的冗余信息， 需要进行降低维数。为了降低计算复杂度和特征维数，将 Ｇａｂｏｒ人脸和Ｇａｂｏｒ掌纹压缩至滤波后的１／４，再用２ＤＰＣＡ进 行变换。特征提取及特征层融合过程如图３所示。 图１原始掌纹图像 图２ Ｇａｂｏｒ变的掌纹图像 挚 ． Ｇ。ｂ。 ２Ｄ＿ＰＣＡ ｌ Ｌ堕竺 銎匝 图３特征提取及融合过程 ２．２特征融合 （１）特征向量的归一化 由于人脸和掌纹是两种不同的生物模态，在对它们进行 特征融合之前必须将它们分别转变成标准形式，使两者的特 征向量都处于同一范围内，这样才能对其进行有效的综合考 虑。基于这一原因，在特征融合之前需要对人脸和掌纹特征 进行归～化处理。归～化公式为 ＝ ；其中Ｙ为由ｍ个人 脸或掌纹特征向量组成的矩阵， 是该矩阵的均值，６为方差。 通过归一化处理，人脸和掌纹的特征被归一化到了一个一致 区间，均值为０，方差为１。 （２）权重融合 我们对人脸和掌纹两种模态的特征向量进行特征级融 合，提出一种基于最邻近距离的权重融合算法。设人脸和掌 林玲，周新民，商琳，等：基于特征融合的多模态身份识别方法研究 纹分别有Ｍ个检测样本，Ｃ为样本类，对第ｊ个检测样本（ｊ＝ １，２，－－－，Ｍ）的特征融合过程如下： １）利用最邻近距离分类器ＮＮ计算每一类训练样本与检 ２０１１，Ｖｏ１．３２，Ｎｏ．８ ２８５１ 测样本之间的最短距离ｄ＝【ｄｌ，ｄ ，…，ｄｃ］； ２）将ｄ，（ｉ＝１，２…，ｃ）按升序排序（ｄ。＜ｄ ＜…＜ｄｃ），找出最小距 翟■ 銎翟 图４ Ｐｏｌｙ．Ｕ掌纹库部分掌纹图像 离ｄｌ； １ ｃ ３）计算距离均值 ， ＝÷∑ ；Ｌ ＿ 。４）样本距离均值和最短距离的比值ｔ定义为ｆ＝— ，分别 ｕ１ 计算ｔ掌纹，ｔ人舱； ５）用Ｗｊ表示掌纹和人脸图像比值，计算公式为 ＝ ； ６）计算检测样本权值ｗ＝［Ｗ ，Ｗ：，…，Ｗ ］，得出权值的均值 Ｗ， ＝（∑Ｍ…ｗｊ／Ｍ）； ７）特征融合公式为 融台＝ 人脸， ． 掌纹］ 式中：Ｙ ——归一化后的人脸特征向量， ——权值均值， Ｙ ——归～化后的掌纹特征向量。 ２．３分类识别 人脸和掌纹图像特征融合后，我们采用最邻近距离分类 器来分类待识别样本“ 。最邻近距离分类器依据最短欧几里 得距离作为判断准则，在搜索空间中寻找与测试样本距离最 近的训练样本，该训练样本所对应的类别就是测试样本所属 的类别。 对训练样本ｙ１与检测样本ｙ２之间的距离定义为 ｄ 。 ）＝ｌ ｌＹ。一ｙ２ ｌｌ （４） 式中：ｆｆ｝ｆ ｚ——欧氏距离。 ３实验结果及其分析 ３．１ ＡＭＰ、Ｐｏｌｙ．Ｕ数据库上的实验 本实验是在理工大学的Ｐｏｌｙ—ｕ掌纹库“ 和ＡＭＰ人 脸图像库“ 上进行的。Ｐｏｌｙ—Ｕ掌纹库中包含４０个人，每人１０ 幅，共４００幅原始掌纹图像。每幅图像２５６个灰度级，分辨率 为１２９ｘ１２９。ＡＭＰ图像库中包含ｌ３个人，每人不同表情变化 的７５幅原始图像，每幅图像２５６个灰度级，分辨率为６４ｘ６４。 实验中从ＡＭＰ人脸库ｌ３个人的７５幅人脸图像中，每人随机 选取１０幅图像，Ｐｏｌｙ—Ｕ掌纹库中随机选取１３个人，每个人１０ 幅图像作为实验数据。人脸和掌纹图像一一对应的方式下，选 取５幅图像作为训练样本，其余的５幅图像用于测试。图４、图 ５分别表示随机抽取的第一个训练样本的掌纹和人脸图像。 为了选择最佳的主成分维数ｄ，我们首先进行了样本在不 同主成分维数情况下识别率的对比。图６为实验结果，从图 中可以看出随着主成分维数ｄ的增加识别率有所上升，但识 别率增加到一定程度后，识别率趋于稳定，甚至有下降的趋 势。本文的实验中当ｄ＝２５时识别率最高，特征维数继续增 加时，会引入一些不利于分类的噪声，导致识别率变化不大， 甚至下降。根据实验结果我们选择了主成分维数ｄ为２５。 实验中我们对训练样本在不同方法下的识别率进行了对 比。对于单模态认证方式，我们对人脸模态进行了Ｇａｂｏｒ和 ２ＤＰＣＡ变换；对掌纹也采用了相同的特征提取方法进行了对 ■■ 曩一 图５ ＡＭＰ人脸图像库部分人脸图像 槲 特征维数ｄ ０ Ｏ Ｏ ０ Ｏ Ｏ Ｏ ０十Ａｍｐ＿２ｄｐｃａ；ｐａｌｍ一２ｄｐｃａ ９ ８ ７ ６ ５ ４ ３ ２—ＡｍｐＰａｌｍ２ｄｐｃａ ｄｉｒｅｃｔｆｕｓｉｎ ＡｍｐＰａｌｍ２ｄｐｃａ ｗｅｉｇｈｔｆｕｓｉｎ ～图６不同主成分个数下的正确识别率 比实验。多模态方式下，我们采用了人脸和掌纹特征直接拼 接法和权重融合法分别进行实验对比。 图７为实验结果图。从图中可以看出，本文的方法，即ＡＰＭ＋ ＰｏｌｙＵＧＡＢＯＲ＿２ＤＰＣＡ＿ｗｅｉｇｈｔｆｕｓｉｏｎ方法的识别效果最好。 褂 Ｒ 巷 训练样 …＋…Ａｍｐ２ｄｐｃａ；— ｅ—Ｐａｌｍ２ｄｐｃａ； — ＡｍｐＧａｂｏｒ２ｄｐｃａ；—＿卜－ＰａｌｍＧａｂｏｒ２ｄｐｃａ； ～ＡｍｐＰａｌｍ２ｄｐｃａｄｉｒｅｃｔｆｕｓｉｏｎ；—一ＡｍｐＰａｌｍ２ｄｐｃａｗｅｉｇｈｔｆｕｓｉｏｎ； ＡｍｐＰａｌｍＧａｂｏｒ２ｄｐｃａ ｄｉｒｅｃｔｆｕｓｉｏｎ；＋ＡｍｐＰａｌｍＧａｂｏｒ ２ｄｐｃａｗｅｉｇｈｔｆｕｓｉｏｎ 图７ ＡＭＰ和ＰｏｌｙＵ图像库的识别结果 表１为几种不同方法下的平均识别率。其中，对人脸和 掌纹图像进行２ＤＰＣＡ变换后的平均识别率为６２．８％和６８．１％， 对模态进行Ｇａｂｏｒ滤波后再进行２ＤＰＣＡ特征提取后的平均识 别率为：７９．１％和８２．３‰我们又对人脸、掌纹两种模态分别用 Ｇａｂｏ￣２ＤＰＣＡ提取特征后，进行特征直接拼接和特征权重融 合后的平均识别率为：８７．５％和９１．８％。实验结果表明，本文的 ０ ，Ｏ２８５２ ２０１１，Ｖｏ１．３２，Ｎｏ．８ 计算机工程与设计Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｄｅｓｉｇｎ ４结束语 识别率 ６２．８％ 表１不同方法的平均识别率 方法 ＡＭｐ ２ＤＰＣＡ 多模态身份识别是模式识别中一个非常具有挑战性的课 ＰｌｏｙＵ ２ＤＰＣＡ Ａ＾ｄ ＧＡＢＯＲ ２ＤＰＣＡ ６８．１％ ７９．１％ 题，多模态特征融合可以弥补单一模态的不足，从而提高生物 认证系统的识别率。另外，对安全性要求较高的系统而言，多 模态的身份识别充当着双保险的角色。本文通过人脸的非接 触、掌纹的信息含量多及容易接受等特点，利用一种新的权重 融合算法将两种模态的特征进行特征级融合。实验结果表明， 本文的方法获得了比特征直接拼接法及单一的人脸或掌纹识 ＰｌｏｙＵ ＧＡＢｏＲ ２ＤＰＣＡ ＡＭＰ＋ＰｌｏｙＵ ＧＡＢＯＲ ２ＤＰＣＡ Ｄｉｒｅｃｔｆｕｓｉｏｎ ＡＭＰ＋ＰｌｏｙＵ ＧＡＢＯＲ ２ＤＰＣＡ ｗｅｉｇｈｔｆｕｓｉｏｎ ８２＿３％ ８７．５％ ９１．８％ 权重融合算法，根据检测样本与训练样本的距离给出融合权 值，相对特征直接拼接法提供了更好的分类信息。 ３．２ ＯＲＬ、Ｐｏｌｙ－Ｕ数据库上的实验 主要关注本文算法在不同数据库的识别性能，我们选用 了ＯＲＬ人脸库“ 和Ｐ０ Ｕ掌纹图像库。ＯＲＬ图像库是由英 国剑桥大学的ＡＴ＆Ｔ实验室创建，包含４Ｏ个不同表情变化的 人脸图像，每人ｌＯ幅，一共４００幅，每幅图像２５６个灰度级，分 辨率为１１２ｘ９２。图８为从ＯＲＬ图像库随机抽取的一个训练样 本的几幅人脸图像。 ■■■■■ 图８ ＯＲＬ人脸数据库部分人脸图像 为了和ＡＭＰ人脸库相对比，实验中从ＯＲＬ人脸库随机选 取ｌ３个人，每人ｌ０幅图像，从Ｐ０ ｕ掌纹库选取ｌ３个人，每个 人１Ｏ幅图像，人脸和掌纹图像一一对应的方式下，每人选取５ 幅图像作为训练样本，其余图像用于测试。 表２为ＯＲＬ、Ｐｏｌｙ－Ｕ图像库在几种不同方法下的实验对 比。从表２的结果中可以看出，ＡＰＭ＋ＰｏｌｙＵ图像库的识别效 果好于ＯＲＬ＋ＰｏｌｙＵ图像库。原因在于，ＯＲＬ人脸库未经很好 的预处理，存在头发等噪音的影响，使得识别率有所下降。但 无论采用哪一种组合，多模态的识别效果总是高于单一的人 脸或掌纹识别，两种模态特征的融合更容易克服外界因素的 干扰，提高生物认证系统的鲁棒性和识别的准确度。 表２单模态与多模态方式识别率对比 方法 识别率 ＯＲＬ２ＤＰＣＡ ６ｌ－２％ ＿ＯＲＬＧＡＢＯＲ＿＿２ＤＰＣＡ ７８．９％ ＯＲＬ＋ＰｌｏｙＵＧＡＢＯＩ ＤＰＣＡＤｉｒｅｃｔｆｕｓｉｏｎ ８６．４％ ＯＲＬ＋ＰｌｏｙＵ＿ＧＡＢＯＲ＿２ＤＰＣＡ＿ｗｅｉｇｈｔｆｕｓｉｏｎ ９０．１％ 从上述的实验结果中可以总结出：①基于距离的权重融 合算法，在多模态的特征融合中，相比特征直接拼接法能够得 到更准确的分类信息。②用Ｇａｂｏｒ小波提取的人脸或掌纹图 像特征适合用２ＤＰＣＡ算法进行降维，两种算法的结合具有较 好的识别效果。③人脸或掌纹图像的归一化等预处理对识别 率的提高有着一定的影响。 别更高的正确识别率，是一种有效的身份识别方法。 参考文献： ［１１ ］田捷，杨鑫．生物特征识别理论与应用【Ｍ】．北京：清华大学出版 社，２００９． 【２】Ｔｏｈ Ｋａｒ－Ａｎｎ，Ｊａｉｈｉｅ Ｋｉｍ，Ｓａｎｇｙｏｕｎ Ｌｅｅ．Ｂｉｏｍｅｔｒｉｃ ｓｃｏｒｅｓ ｆｕｓｉｏｎ ｂａｓｅｄ ｏｎ ｔｏｔａｌ ｅｒｒｏｒ ｒａｔｅ ｍｉｎｉｍｉｚａｔｉｏｎ［Ｊ］．Ｐａｔｔｅｍ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００８，４１（３）：１０６６．１０８２． 【３】 王瑜，穆志纯，徐正光．多模态生物特征识别技术进展综述［Ｊ】．计 算机应用与软件，２００９，２６（２）：３ １－３４． ［４】Ｊａｉｎ Ａ Ｋ，Ｎａｎｄａｋｕｍａｒ Ｋ，Ｒｏｓｓ Ａ．Ｓｃｏｒｅ ｎｏｒｍａｌｉｚａｔｉｏｎ ｉｎ ｍｕｌｔｉ－ ｍｏｄａｌ ｂｉｏｍｅｔｒｉｃ ｓｙｓｔｅｍｓ【Ｊ】．Ｐａｔｔｅｍ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５，３８（１２）： ２２７０．２２８５． 【５】 Ｚｈａｎｇ Ｔｉａｎｈａｏ，Ｌｉ Ｘｕｅｌｏｎｇ，Ｔａｏ Ｄａｃｈｅｎｇ。ｅｔ ａ１．Ｍｕｌｔｉｍｏｄａｌ ｂｉｏ－ ｍｅｔｒｉｃｓ ｕｓｉｎｇ ｇｅｏｍｅｔｒｙ ｐｒｅｓｅｒｖｉｎｇ ｐｒｏｊｅｃｔｉｏｎｓ【Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｅｏ． ｇｎｉｔｉｏｎ，２００８，４１（３）：８０５－８１３． ［６ 刘丽华，６］王映辉，邓方安．基于小波商图像的人脸光照补偿【Ｊ］．计 算机工程与设计，２００９，３０（１４）：３４０２．３４０５． ［７】 王映辉．人脸识别一原理、方法与技术［Ｍ】．北京：科学出版社＇２ＯｌＯ． 【８】 Ｋｏｎｇ Ａ，Ｚｈａｎｇ Ｄ，Ｋａｍｅｌ Ｍ．Ｐａｌｍｐｒｉｎｔ ｉｄｅｎｔｉｉｆｃａｔｉｏｎ ｕｓｉｎｇ ｆｅａ－ ｔｕｒｅ ｌｅｖｅｌ ｆｕｓｉｏｎ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００６，３９（３）：４７８－４８７． ［９】 邬向前，张大鹏，王宽全，等．掌纹识别技术【ｌ ．北京：科学出版 社，２００６． 【１ ０］Ｃｈｅｎ Ｊｉａｎｓｈｅｎｇ，Ｍｏｏｎ Ｙｉｕ－Ｓａｎｇ，Ｗｏｎｇ Ｍｉｎｇ－Ｆａｉ，ｅｔ ａ１．Ｐａｌｍｐｒｉｎｔ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｕｓｉｎｇ ａ ｓｙｍｂｏｌｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｉｍａｇｅｓ［Ｊ］． Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，２０１０，２８（３）：３４３—３５１． ［１ １】林玲．基于２Ｄ—ＰＣＡ的人脸识别方法研究［Ｄ】．长春：东北师范 大学学位论文，２００８． 【１２】Ｙａｏ Ｙｏｎｇ—Ｆａｎｇ，Ｊｉｎｇ Ｘｉａｏ－Ｙｕａｎ，Ｗｏｎｇ Ｈａｕ－Ｓａｎ．Ｆａｃｅ ａｎｄ Ｐａｌ－ ｍｐｒｉｎｇ ｆｅａｔｕｒｅ ｌｅｖｅｌ ｆｕｓｉｏｎ ｆｏｒ ｓｉｎｇｌｅ ｓａｍｐｌｅ ｂｉｏｍｅｔｒｉｃｓ ｒｅｃｏ－ ｇｎｉｔｉｏｎ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００７，７０（７．９）：１５８２—１５８６． 【１３】Ｔｈｅ Ｈｏｎｇ Ｋｏｎｇ Ｐｏｌｙｔｅｃｈｎｉｃ Ｕｎｉｖｅｒｓｉｔｙ．ＰｏｌｙＵ ｐａｌｍ ｐｒｉｎｔ ｄａａｔ－ ｂａｓｅ【ＤＢ】．ｈｔｔｐ：／／ｗｗｗ．ｃｏｍｐ．ｐｏｌｙｕ．ｅｄｕ．ｈｋ／￣ｂｉｏｍｅｔｒｉｃｓ／，２００４－０１． ０１，２００６—０７—１５． 【１４】Ｌｕ Ｃｈｏｎｇ，Ｌｉｕ Ｗａｎｑｕａｎ，Ａｎ Ｓｅｎｊｉａｎ．Ｆａｃｅ ｒｅｃｏｎｇａｉｔｏｎ ｗｉｔｌｌ ｏｎｌｙ ｏｎｅ ｔｒａｉｎｎｉｎｇ ｓａｍｐｌｅ［Ｃ］．ｈＴｅ Ｃｈｉｎｅｓｅ Ｃｏｎｔｒｏｌ Ｃｏｎｆｅｒｅｎｃｅ，２００６： ２２１５．２２ｌ９． ［１５］ＯＲＬ ｄａｔａｂａｓｅ［ＥＢ／ＯＬ］．ｈｔｔｐ：／／ｗｗｗ．ｕｋ．ｒｅｓｅａｒｃｈ．ａｒｔ．ｃｏｉｎ：ｐｕｂ／ ｄａｔａ／ａｔｔｆａｃｅｓ．ｔａｒ ．．．
