在2016湖南论坛暨紫星研究院揭牌仪式上，多位国内外顶尖专家做了报告，中国科学院自动化研究所模式识别国家重点实验室研究员、天津中科智能识别产业技术研究院院长孙振安研究员就此话题进行了详细解读。
今年是人工智能诞生60周年，虹膜、人脸、指纹识别都是比较实用的人工智能，也是目前已经成功开发利用的方向。目前大部分智能手机都是采用指纹识别解锁，最近三星又发布了可以用虹膜识别解锁的新手机，因此很多人对虹膜识别并不是很了解，下面我给大家介绍一下基本知识。
虹膜是什么？
虹膜是人眼表面位于黑色瞳孔与白色巩膜之间的环状膜，在红外光下呈现丰富的视觉特征，如斑点、条纹、丝状、冠状、隐窝等。
为什么要使用虹膜识别
目前，识别一个人的身份的主要方式是人脸识别和指纹识别，但其实虹膜识别具有很大的优势。
1. 唯一性：虹膜的形成主要由胚胎发育环境中的随机因素决定，虹膜纹理中随机分布的细节特征决定了虹膜图案的唯一性。虹膜具有独特的纹理结构，虹膜上细节特征的自由度在几百个数量级，因此可以唯一地标识个体身份。
2.稳定性：虹膜纹理在出生八个月后即已形成，并终生保持不变。
3、非侵入式：采集无需接触，可远距离获取。
4、安全性：与指纹、面部特征相比，不容易被窃取。大部分虹膜需要在红外光下识别，因为虹膜位于黑瞳孔和白瞳孔之间。大部分中国人的虹膜色素在近红外以下才能显示出细致的特征，可以准确识别一个人的身份。
虹膜识别简史
早在1936年，一位眼科医生就发现每个人的虹膜都是不一样的，他发现虹膜可以用于面部识别。1985年，另外两位眼科医生在美国申请了第一个虹膜识别专利，他们认为可以通过计算机来实现虹膜识别，但是不知道具体怎么做。后来，美国哈佛大学的研究员约翰发明了第一个虹膜识别算法，他把虹膜识别以算法的形式表达出来，并成功实现了虹膜识别。
然后到了90年代，陆续有虹膜识别产品被开发出来。后来虹膜识别被证明是非常安全可靠的身份识别技术之后，就被广泛应用于各个领域，包括海关、机场、国民身份证等。目前有三个国家把虹膜作为身份证的标识。在印度，每个人都被分配一个号码，采集虹膜，现在已经采集了10亿个虹膜识别特征，在印度已经非常成功。墨西哥和印尼现在也在国民身份证上加入了虹膜特征。中科院自动化研究所在1999年开始研究虹膜产品，后来我们发明了移动终端的虹膜应用，这大概就是虹膜的发展历史。
虹膜识别的应用
目前虹膜识别的应用范围很广，无论是物理空间还是网络空间，只要是用于人员身份识别，包括安检通关，或者反恐。有些恐怖分子会用化妆甚至伪装，或者用烧伤代替指纹，但反恐需要准确识别，虹膜是很重要的手段。目前我们的技术在国外银行的ATM机上也可以使用，用虹膜身份证取钱。
另外，三星新发布的手机用上了虹膜识别，支付宝也用上了虹膜识别，他们也明确表示虹膜识别是未来的一个重要方向，因为指纹是可以伪造的，很有可能因为安全攻击，通过伪造的指纹，包括接触过茶杯、水杯的指纹，盗取支付宝里的资金，在公安、司法、监狱管理、煤矿工人考勤管控方面，虹膜也有着广阔的应用前景。
虹膜识别的主要流程
第一步是获取虹膜图像，由于人类虹膜的物理尺寸相对较小，需要一些近红外光的配合，普通相机无法捕捉到清晰的虹膜纹理。
第二步是处理虹膜图像。我们需要对它进行有效的分割，然后对其进行归一化。
第三步是虹膜图像特征比对，这也是虹膜计算的一个关键步骤，1998年我们发展了虹膜计算理论与方法。
虹膜图像采集：
首先我来介绍一下虹膜图像采集的流程。虹膜图像采集是一个很有挑战性的问题，首先物理尺寸小，导致成像系统的景深比较小，其次在成像过程中，用户的眼睛和摄像头是处于同一光轴上的，不方便进行有效对焦，传统技术面临很大的挑战，比如戴上眼镜之后，还会有反光等其他因素的干扰，所以虹膜图像采集是虹膜识别中一个比较大的瓶颈。
虹膜成像的原理是利用近红外滤光片经过成像系统形成图像，包括一些视觉反馈和人与相机的距离。虹膜系统是一个精密的自动化系统。这些都是在不同情况下采集的虹膜图像。我们东方人的虹膜纹理采用800纳米以上的近红外光源，虹膜图像最清晰。
目前的虹膜识别系统主要是短距离的，比如日本OKI最早在笔记本电脑上使用手持虹膜设备，包括这种便携式虹膜成像系统，包括虹膜成像设备。目前也有公司在开发长距离，比如1到3米来采集人体虹膜纹理，这样更加便捷，也是安检中比较重要的趋势。各大科研单位和院校，一些美国公司，，等公司都开发了短距离虹膜系统。
虹膜图像的采集有四次大的飞跃，我们从1998年开始，1999年从无到有取得了成功，当时我们从美国买设备，但是他们不肯卖给我们，后来通过我们自主研发，在2001年取得了很大的进步，实现了从单目到双目采集，2006年、2008年又陆续有新设备出来，后来我们又研发出了光场相机，可以先拍照再对焦。
我们现在在开发手机终端的虹膜识别技术，这是我们最近研发的手机虹膜识别，这个是虹膜识别登记，只需要两三秒就可以完成虹膜登记，非常方便。今年年初，第一款虹膜安全手机发布，给国家安全部门使用，包括有自主知识产权的虹膜设备。我们也建设了自己的虹膜项目数据库，目前已经有1.6万个科研团队申请使用，包括各种数据库。我们通过虹膜图像的共享，大大增加了虹膜研究领域的活跃度。
虹膜图像处理
采集完虹膜图像之后，我们需要对虹膜图像进行预处理，就是去除虹膜图像上的一些反光，包括确定初步的位置，也就是虹膜检测，然后定位虹膜的内圆和外圆。有时候虹膜并不是完全圆的，包括睫毛和眼睛的检测。我们还提出了一种新的方法，可以根据虹膜的分布规律，自动建立一个模型，然后结合纹理、虹膜的边缘、上下眼睑的边界，用一些模型把这些睫毛和光斑过滤掉。
虹膜图像特征比较
那么这时候虹膜特征该如何编码呢？传统的虹膜识别方法相对比较复杂，我们提出一种比较新颖，非常简单实用，而且计算速度非常快的序贯测量特征的方法，就是统计图像区域之间的绝对值，计算出相对来说哪个区域比较亮，哪个区域比较暗。
这些编码都是服从二项分布的，因此可以肯定，如果比较不同用户的虹膜，匹配得分的分布服从二项分布。距离匹配得分会很高。即使同一个人在大多数情况下有一些噪音，排序测量仍然可以匹配，因此很容易识别，并且计算速度很快。后来我们提出了一种线性规划方法来解决虹膜和掌纹图像中排序测量特征的选择问题，并在主流的虹膜和掌纹图像数据库中取得了最好的识别效果。
虹膜识别的机遇与挑战
虹膜识别技术完成后，我们会把它转移转化成技术，用于监狱管理、机场安检、计划生育、反恐、国外ATM机等，今年我们也会发布虹膜安检手机。虽然虹膜经过多年的发展，取得了很好的识别效果，但这并不一定能完全解决虹膜识别的问题，因为在复杂场景下，特别是在远距离、多目标、通讯量大的情况下，如何准确识别人的身份，还需要大量的研究。
这个系统未来的发展方向包括用户不同的姿势、速度，不同的光照条件等等，特别是在网络条件下，虹膜识别的新机会无处不在，比如实现三到五米甚至十米外的虹膜采集和识别，包括如何在互联网、移动互联网上用手机做虹膜的采集和识别的挑战。我们认为有三个挑战：第一是便捷性的挑战。第二是鲁棒性的挑战。第三是安全性的挑战。
虽然虹膜固有的安全性比指纹和人脸安全很多，但是还是有可能有人利用虹膜纹理或者玻璃眼球，或者戴隐形眼镜进入虹膜识别系统。所以虹膜需要从近距离到远距离成像，从被动成像到主动成像，从静态成像到动态成像。未来，不管什么情况，都可以同时采集多人的虹膜，包括从远距离到近距离，甚至人可以呈现3D人脸，包括成像采集和用户配合。我觉得虹膜这个生物识别还是需要创新的，因为虹膜采集的对象和距离是千变万化的，用一个固定的模型来应对变化的场景，很难保证每次都能采集到高质量的虹膜图像。
现有虹膜识别技术的局限性
所以我们认为现在最大的问题是感知和认知都是单向的过程，做成像的做成像，做识别的做识别，没有把两者考虑进去，也就是说感知和认知是相互隔离的。这是因为我们可以在成像过程中动态地配置感知框架，因为以前成像设备是固定的，包括焦距、光圈等。
虹膜识别的发展思路
未来我们要把它做成主动的，也就是可以根据环境本身动态的配置和调整，这就叫动态可配置的生物传感器框架。自上而下的认知驱动，在任务的驱动下选择最优的参数采集最佳的图像。在识别过程中，也是自下而上的数据驱动，然后在大数据的驱动下，可以用深度神经网络的方法得到更优的识别模型，因为之前的识别模型都是手动调整滤波参数，难以应对复杂多变的虹膜成像，所以识别算法要具有自适应性。
针对虹膜识别的需求，我们采用计算成像的主动感知模式，建立动态可配置的视觉感知模型，采集多维光场的虹膜成像信息。成像过程由认知任务驱动，是多维的，在信号处理阶段，采用多维信号处理进行计算，如成像过程中有计算，也有成像参数来驱动识别过程。这样，我们在成像过程中引入识别任务的认知需求，进行有针对性的虹膜信息检测，建立基于虹膜纹理成像的身份识别。
计算光场成像
我们研发了计算光场成像，光场成像的基本思想是在成像过程中同时记录光的方向和强度。这样可以实现三维感知，可以先成像再对焦。可以利用计算成像，对不同位置的目标进行重新对焦计算。这样可以实现不同人的虹膜，从而实现一幅图像可以捕捉多个人的虹膜。
光场相机
我们还成功研发了光场相机，通过计算模型将三维信息呈现出来，可以同时实现多个目标的虹膜成像，因为原来的虹膜成像是先成像再对焦，然后在虹膜成像过程中，可以进行活体检测。比如用一张白纸，根据眼睛周围的区域和对焦区域，就可以实现真虹膜或者假虹膜的自动识别，非常方便。
数据驱动
人工智能之父认为用多样化的数据来描述智能模型更有效，因为虹膜的本质就是多样性和复杂性。所以我们提出数据驱动，就是用数据神经网络模型来定义虹膜识别大数据这样的方法。比如以前用人工设定的规则来分割虹膜图像，现在单纯用机器自动学习大数据模型，效率就会提升19%，这样就可以实现虹膜识别的概念元素和数据定义，包括对有噪声的虹膜图像的分割，已经取得了非常好的效果。
而且我们同时可以用这个方法对民族进行分类。如果用单一的神经网络，准确率只有98%，但是虹膜网络可以达到99%的准确率。我们在虹膜图像上采用深度神经网络，是因为虹膜图像可以来自互联网，也可以来自手机设备厂商，所以成像是有差异的。我们研究了很多方法来克服这些差异。我们用一个公共空间的方法来表达模型。后来我们采用数据驱动，也就是深度学习来识别虹膜图像，也比传统方法大大提高了准确率。
虹膜识别系统面临的安全问题
最后一个问题是关于虹膜系统未来会面临的安全问题。因为虹膜是信息安全系统，每一个环节都有可能受到安全攻击，比如伪造数据来攻击，包括特征提取和体征比对。重点是解决两个安全分析。比如在前端如何判断和识别伪造的虹膜纹理，在后端如何保护虹膜特征模板以保护用户的隐私。
前端伪造虹膜纹理识别及判定方法-活体识别
为了识别假虹膜纹理，我们使用活体检测。活体检测的主要方法是纹理分类。从真实用户采集的虹膜非常自然和圆润，而假虹膜纹理在成像时会形成粗糙的纹理。我们使用纹理分类来区分它们。
我们的活体检测方法在人种分类和大规模数据库的粗分类中也得到了应用，取得了非常好的效果。我们利用很多人的虹膜大数据，自动实现一个层次化的视觉基元词典，然后在这个投影上进行分类。目前国外银行有这样的需求，因为活体检测现在已经可以检测出99%以上的假瞳孔和虹膜图像，对于隐形眼镜可以自动判断或者报警。同样的模型不仅可以解决虹膜活体检测的问题，还可以实现人种分类。
后端虹膜特征保护-虹膜钥匙系统
比如说传统的虹膜识别，虹膜和基因是没有关系的。后来我们的研究表明，虹膜和基因有关。亚洲人和欧洲人的虹膜有很大的差异，我们可以用自动分类的方法，准确率可以达到99%，你给我一张虹膜图像，我就知道是亚洲人还是欧洲人。我们还提出了虹膜钥匙系统，我们把它和信息安全结合起来，提出了虹膜钥匙的方法，既可以保护虹膜模板，又可以保护钥匙。虹膜钥匙是把虹膜识别和密码技术有机结合起来的安全系统，既可以保证虹膜特征和钥匙的安全，基本思想是利用模糊承诺。
基本原理是将512字节的虹膜特征码与钥匙的纠错码进行计算，生成一个钥匙码。计算出来的结果是安全的结果，除非你知道钥匙，否则这个结果很难被攻击。但是，只要你是真人，就可以利用虹膜比对结果，即使不能100%匹配，只要误差在一定范围内，就可以利用纠错码解密钥匙。这样，虹膜特征就可以实现，并且是可撤销的。
例如，虹膜模板可以采用新的模板进行保护加密，可以保护虹膜模板的安全性。实际过程中，不同时刻采集的虹膜图像无法100%匹配，可能会存在一定的误差，可以通过纠错编码来克服。另外，钥匙的入侵程度增强，我们通过成像特征和提取模块采用了几种纠错编码方法，以提高安全性。此虹膜钥匙系统可以实现800个钥匙系统的嵌入，准确率非常高。
终于
我们团队从虹膜信息采集源头进行系统性创新，打通虹膜识别从科研到产业化的完整链条，实现采集设备、数据资源、识别算法、集成系统、应用等技术路线。虽然取得了一些进展，但我们认为从受控场景到复杂场景的虹膜识别还有很多问题需要解决，包括便捷性、鲁棒性、安全性等。我们会继续努力，打造更好的虹膜系统。
问答环节
问：您刚才在演讲中提到了识别准确率的问题，请问一下获取准确率结果需要用到多大的数据库呢？
孙振南：实验结果是基于几百人的分类，有汉族、蒙古族、藏族。这个数据库有说明，汉族有400多人，其中男性400多人，女性200多人。藏族男性有178人，女性有124人。蒙古族比较少，男性有58人，女性有72人。数据量有2万多张图片。
问：除了这些测试之外，其他数据库的最大负载是多少？即保持90％的准确率。
孙振南：我们也测试过，测试了几千人，准确率基本能达到99%以上。比如说我们简单划分两个大类，比如东方人、西方人，准确率也是很高的，因为东方人和西方人的纹理分布、特点是不一样的。
问：您刚才提到了虹膜识别团队，未来他们会取得什么样的成果呢？除了您刚才提到的几款虹膜识别手机之外。
孙振南：我们刚刚最近申请了一个国家重点研发计划，云计算与大数据专项里面有一个项目，未来我们要实现十厘米距离的多模态虹膜和人脸步态识别。他们在反恐维稳方面有迫切的需求，因为有很多极端分子，他们面部整容了，改了名字，把指纹全部抹去了，我们无法确认这些人的身份。下一步我们会在公安领域发展这个系统，基本上我们会采集重点人员的虹膜，他们出国之后基本上是不能换虹膜的，除非是盲检。我国的反恐工作也是围绕如何在监控环境下，远距离识别一个人的身份。这个虹膜系统还有很多地方可以研究。
问：请问一下有色眼镜和隐形眼镜对虹膜识别系统有影响吗？
孙振安：如果你戴了美瞳或者隐形眼镜，是有影响的。这个纹理不是人本身的纹理，而是叠加在上面的纹理，我们要做出精准的判断。比如在国外的银行，我们的系统可以自动识别，如果你当时戴了美瞳或者隐形眼镜，我们的系统可以自动识别，要求这个人把美瞳或者隐形眼镜摘下来。
原文链接：