CN112325799A - 一种基于近红外光投影的高精度三维人脸测量方法 - Google Patents
一种基于近红外光投影的高精度三维人脸测量方法 Download PDFInfo
- Publication number
- CN112325799A CN112325799A CN202110016306.6A CN202110016306A CN112325799A CN 112325799 A CN112325799 A CN 112325799A CN 202110016306 A CN202110016306 A CN 202110016306A CN 112325799 A CN112325799 A CN 112325799A
- Authority
- CN
- China
- Prior art keywords
- phase
- dimensional
- precision
- camera
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于近红外光投影的高精度三维人脸测量方法。本发明首先使用三步相移法,获取条纹图像中的包裹相位信息,提出使用红外投影模块来代替数字投影仪投射相移条纹,以黑白相机加装滤光片替代专业红外相机,然后使用多频时间相位展开方法用于鲁棒地恢复绝对相位,从而实现了高精度的三维数据采集。在真实人脸上的实验表明,本发明相比于传统方法能够以较低的成本和较高的精度采集三维人脸数据。
Description
技术领域
本发明涉及三维成像技术领域,特别是一种基于近红外光投影的高精度三维人脸测量方法。
背景技术
条纹投影技术是最流行的光学非接触式三维形状测量技术之一,被应用于多个领域,例如机械工程,工业监控,医学影像,计算机视觉,教育,生物医学和虚拟/增强现实等等(Gorthi, S. S. and Rastogi, P., “Fringe projection techniques: Whither weare”, Optics and Lasers in Engineering 48(2), 133-140 (2010).)。其中,由于三维人脸识别较传统二维人脸识别克服了姿态、表情和光照变化对人脸识别的影响,因此具有广阔的应用前景(Taskiran, M., Kahraman, N., and Erdem, C. E., “Facerecognition: Past, present and future (a review)” Digital Signal Processing106, 102809 (2020).)。
利用条纹投影实现高精度三维人脸测量,首先需要选择红外或近红外波段的光源,由于它超出了可见光的范围,所以不被肉眼察觉,可以最大限度地减少对人眼的干扰,避免采集过程中的不适(Guo, K., Wu, S., and Xu, Y., “Face recognition usingboth visible light image and near-infrared image and a deep network,” CAAITransactions on Intelligence Technology 2(1), 39-47 (2017).)。然后,投影图案时的速度应该尽可能快,以尽量降低人体运动的干扰(Yang, C., Zhou, H., Sun, S., Liu,R., Zhao, J., and Ma, J., “Good match exploration for infrared facerecognition,” Infrared Physics & Technology 67, 111-115 (2014).)。最后,为了提高其市场应用范围,需要控制投影系统的硬件成本。例如,微软Kinect、英特尔RealSense和苹果iPhone X的三维测量技术的成功应用即推动了有关应用程序的开发,同时也推动了对更好的三维人脸成像技术的需求(Zhang, Z., “Review of single-shot 3d shapemeasurement by phase calculation-based fringe projection techniques," Opticsand Lasers in Engineering 50(8), 1097-1106 (2012). )。
条纹投影技术主要可分为傅里叶变换轮廓术(M. Takeda and K. Mutoh,“Fourier transform profilometry for the automatic measurement of 3-d objectshapes, ” Applied optics 22, 3977-3982(1983).)和相移轮廓术(V. Srinivasan, H.-C. Liu, and M. Halioua, “Automated phase-measuring profilometry of 3-ddiffuse objects, ” Applied optics 23, 3105-3108 (1984). )。前者基于空间滤波,使用单个帧即可进行三维重建,因此它对于运动不敏感,适合测量动态场景。但是由于对环境光的抑制能力不如相移轮廓术,测量准确性较低。后者采取多帧光栅投影策略,能有效抑制环境光和被测物体反射率对相位恢复的影响,因此具有更高的精度。但是需要至少三幅图像才能获得高质量的三维数据,并且对运动误差较为敏感。通过使用数字投影仪,可以提高硬件设备的速度,但是高精度、低成本、小尺寸的人脸测量仍然是一个很大的挑战,这限制了条纹投影技术在人脸识别领域的发展。
发明内容
本发明的目的在于提供一种基于近红外光投影的高精度三维人脸测量方法,使用红外投影模块代替数字投影仪,结合加装滤光片的红外相机和多频时间相位展开技术,系统可以在保证低成本、小尺寸的同时,实现对红外人脸数据的高精度测量。
本发明的技术方案如下:一种基于近红外光投影的高精度三维人脸测量方法,步骤如下:
步骤一.使用近红外光投影模块和两个相机搭建投影系统,并完成系统标定;
步骤二.根据相移轮廓术得出被测物包裹相位,并利用多频时间相位展开法获取绝对相位,具体为:
步骤2.1,用投影模块投射三幅三步相移的图像,由两个相机同步采集条纹变形的图像,对于相移轮廓术,相机采集到的三步相移图像表示为,
步骤2.2,根据采集的图像用相移轮廓术求解出包裹相位,
包裹相位与绝对相位的关系为,
步骤2.3,对包裹相位进行解包裹得到绝对相位,
进而得到条纹级次,
步骤三.求出两个相机的对应点,并用插值法得到主相机的亚像素匹配点;
步骤四.用融合的亚像素匹配点计算被测物的空间三维点,得到三维数据。
优选的,步骤三具体为:得到绝对相位后,根据主相机和副相机的标定参数得到主相机视角下对应的三维点,然后利用极线映射将三维点映射到副相机中得到主相机在副相机中的对应点,最后由插值运算找到相移轮廓术下的亚像素匹配点。
优选的,步骤四中,利用亚像素匹配点计算被测物的空间三维点坐标,
本发明与传统方法相比,具有如下优点:(1)以红外光替代可见光作为投影光源,避免了信息采集过程中对人眼的刺激;(2)以使用小型投影模块和安装滤光片的方式替代昂贵的数字投影和红外图像采集设备,该方法缩小了系统尺寸,同时降低了硬件成本;(3)相比于现有的红外扫描精度,以相移法和基于时间域的相位展开等算法,实现了高精度的数据采集。
附图说明
图1为实施例的基于近红外光投影的高精度三维人脸测量方法流程示意图。
图2为实施例的双目红外条纹投影系统示意图。
图3为实施例第一个精度测量实验,待测的陶瓷精度球。
图4为实施例第一个精度测量实验,提出的近红外光投影测量方法测得的结果。
图5为实施例第一个精度测量实验,测得的球面结果和用该结果拟合的球面之间的误差。
图6为实施例第一个精度测量实验,表示图5的直方图。
图7为实施例第二个精度测量实验,待测的陶瓷平板。
图8为实施例第二个精度测量实验,提出近红外光投影测量方法测得的结果。
图9为实施例第二个精度测量实验,测得的平板结果和用该结果拟合的平面之间的误差。
图10为实施例第二个精度测量实验,表示图9的直方图。
图11为实施例真实人脸的高精度测量场景实验,相机捕捉到的原始红外图像。
图12为实施例真实人脸的高精度测量场景实验,第一个视角的三维人脸重构结果。
图13为实施例真实人脸的高精度测量场景实验,第二个视角的三维人脸重构结果。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
图1为本实施例的基于近红外光投影的高精度三维人脸测量方法的流程示意图,其具体的实现步骤如下。
步骤一.搭建测量系统(又称双目红外条纹投影系统,是为了完成双目条纹投影和测量),并完成系统标定。该系统包含一台计算机,两台黑白相机,一台红外投影模块,投影仪和相机之间用两根触发线相连接,相机和计算机用数据线相连接。各部件的摆放如图2所示。
然后利用张正友标定算法(Z. Zhang, “A flexible new technique for cameracalibration.” IEEE Transactions on pattern analysis and machine intelligence.22(11), 1330-1334 (2000). )将整个系统标定到统一世界坐标系下,得到两个相机在一个世界坐标系下的标定参数,并将这些参数转化为二维到三维,二维到二维的映射参数(K.Liu, Y. Wang, D. L. Lau, et al, “Dual-frequency pattern scheme for high-speed3-D shape measurement.” Optics express. 18(5): 5229-5244 (2010).)。
步骤二.用相移轮廓术得出被测物包裹相位,利用多频时间相位展开法展开相位(T. Tao, Q. Chen, S. Feng, Y. Hu, M. Zhang, and C. Zuo, “High-precision real-time 3D shape measurement based on a quad-camera system,” Journal of Optics20, 014009 (2018).),具体步骤为:首先用投影模块投射三幅三步相移的图像,由两个相机同步采集条纹变形的图像,然后根据采集的图像用相移轮廓术求解出包裹相位。
求解过程如下:对于相移轮廓术,相机采集到的三步相移图像可以表示为,
由于反正切函数的截断效应,利用采集到的条纹图只能得出包裹相位,
包裹相位与绝对相位的关系为,
然后对包裹相位进行解包裹以得到绝对相位。为提高解包裹的准确度,本发明采用多频时间相位展开法 (C. Zuo, L. Huang, M. Zhang, Q. Chen, and A. Asundi,“Temporal phase unwrapping algorithms for fringe projection profilometry: Acomparative review,” Optics and Lasers in Engineering, 85: 84-103 (2016). )来解包裹。具体展开过程如下:假设待展开的包裹相位为,投影的频率为,向物体投射一组频率为1的条纹图,求出其包裹相位,根据多频时间法,绝对相位可以表示为,
进而根据下式可以得到条纹级次,
其中Round为取整函数。
步骤三.得到绝对相位后,利用极线映射在对应图像的极线上搜索相位差在一定阈值内的匹配点,最后由插值运算找到亚像素匹配点。
步骤四.用融合的亚像素匹配点计算被测物的空间三维点,完成三维数据的显示。
为测试本发明所述方法的可行性和实时性,利用本实施例搭建了一套人脸测量场景的双目红外高精度三维成像系统,该系统结构如图2所示。在该系统中,使用的红外投影模块型号为UFGKH0A1IR01,扫描角度为60°,最高速度为32kHz,激光中心波长为830nm。使用了两个黑白相机进行立体相位展开,相机的型号为Basler acA640-750um,最高帧率都为750fps,最大分辨率为640×480,并使用了12mm的Computar镜头。加载在镜头上的滤光片透过范围为800~1100nm。在实验中,投影仪的速度为500Hz,所有的相机都是用投影仪来触发。
首先设计了基于精度球的精度测量场景,测量结果如图3~6所示,图3为待测的陶瓷精度球,图4为所提出近红外光投影测量方法测得的结果,图5为所提出方法下测得的球面结果和用该结果拟合的球面之间的误差,图6表示图5的直方图。从测量结果中可看出,本发明方法的精度为0.14mm。
为进一步验证系统精度,设计了第二个精度实验。测量了一个平板,最后测量结果如图7~10所示,其中图7为待测的陶瓷平板,图8为所提出近红外光投影测量方法测得的结果,图9为所提出方法下测得的平板结果和用该结果拟合的平面之间的误差,图10表示图9的直方图。从测量结果可看出,本方法的精度为0.15 mm。以上两个实验结果证明了本发明提出的方法优于为0.15 mm。
最后,为了进一步验证该系统可以很好地适用于真实场景,我们进行了真实人脸的高精度测量实验,实验结果如图11~13所示,其中图11为相机捕捉到的原始红外图像,图12~13分别为不同视角下的三维人脸重构结果。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (3)
1.一种基于近红外光投影的高精度三维人脸测量方法,其特征在于,步骤如下:
步骤一.使用近红外光投影模块和两个相机搭建投影系统,并完成系统标定;
步骤二.根据相移轮廓术得出被测物包裹相位,并利用多频时间相位展开法获取绝对相位,具体为:
步骤2.1,用投影模块投射三幅三步相移的图像,由两个相机同步采集条纹变形的图像,对于相移轮廓术,相机采集到的三步相移图像表示为,
步骤2.2,根据采集的图像用相移轮廓术求解出包裹相位,
包裹相位与绝对相位的关系为,
步骤2.3,对包裹相位进行解包裹得到绝对相位,
进而得到条纹级次,
步骤三.求出两个相机的对应点,并用插值法得到主相机的亚像素匹配点;
步骤四.用融合的亚像素匹配点计算被测物的空间三维点,得到三维数据。
2.根据权利要求1所述的基于近红外光投影的高精度三维人脸测量方法,其特征在于,步骤三具体为:得到绝对相位后,根据主相机和副相机的标定参数得到主相机视角下对应的三维点,然后利用极线映射将三维点映射到副相机中得到主相机在副相机中的对应点,最后由插值运算找到相移轮廓术下的亚像素匹配点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110016306.6A CN112325799A (zh) | 2021-01-07 | 2021-01-07 | 一种基于近红外光投影的高精度三维人脸测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110016306.6A CN112325799A (zh) | 2021-01-07 | 2021-01-07 | 一种基于近红外光投影的高精度三维人脸测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112325799A true CN112325799A (zh) | 2021-02-05 |
Family
ID=74302351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110016306.6A Pending CN112325799A (zh) | 2021-01-07 | 2021-01-07 | 一种基于近红外光投影的高精度三维人脸测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112325799A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113108719A (zh) * | 2021-03-23 | 2021-07-13 | 南京理工大学 | 基于近红外光条纹投影的高精度三维人脸测量方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110298891A1 (en) * | 2010-06-04 | 2011-12-08 | Iowa State University Research Foundation, Inc. | Composite phase-shifting algorithm for 3-d shape compression |
| US20120120412A1 (en) * | 2010-11-15 | 2012-05-17 | Seikowave, Inc. | Structured Light 3-D Measurement Module and System for Illuminating an Area-under-test using a Fixed-pattern Optic |
| CN109253708A (zh) * | 2018-09-29 | 2019-01-22 | 南京理工大学 | 一种基于深度学习的条纹投影时间相位展开方法 |
| CN109579741A (zh) * | 2018-11-01 | 2019-04-05 | 南京理工大学 | 一种基于多视角的全自动多模态三维彩色测量方法 |
| CN109903376A (zh) * | 2019-02-28 | 2019-06-18 | 四川川大智胜软件股份有限公司 | 一种人脸几何信息辅助的三维人脸建模方法及系统 |
| CN110500970A (zh) * | 2019-08-01 | 2019-11-26 | 佛山市南海区广工大数控装备协同创新研究院 | 一种多频率结构光三维测量设备和方法 |
| CN111207693A (zh) * | 2020-01-10 | 2020-05-29 | 西安交通大学 | 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法 |
-
2021
- 2021-01-07 CN CN202110016306.6A patent/CN112325799A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110298891A1 (en) * | 2010-06-04 | 2011-12-08 | Iowa State University Research Foundation, Inc. | Composite phase-shifting algorithm for 3-d shape compression |
| US20120120412A1 (en) * | 2010-11-15 | 2012-05-17 | Seikowave, Inc. | Structured Light 3-D Measurement Module and System for Illuminating an Area-under-test using a Fixed-pattern Optic |
| CN109253708A (zh) * | 2018-09-29 | 2019-01-22 | 南京理工大学 | 一种基于深度学习的条纹投影时间相位展开方法 |
| CN109579741A (zh) * | 2018-11-01 | 2019-04-05 | 南京理工大学 | 一种基于多视角的全自动多模态三维彩色测量方法 |
| CN109903376A (zh) * | 2019-02-28 | 2019-06-18 | 四川川大智胜软件股份有限公司 | 一种人脸几何信息辅助的三维人脸建模方法及系统 |
| CN110500970A (zh) * | 2019-08-01 | 2019-11-26 | 佛山市南海区广工大数控装备协同创新研究院 | 一种多频率结构光三维测量设备和方法 |
| CN111207693A (zh) * | 2020-01-10 | 2020-05-29 | 西安交通大学 | 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113108719A (zh) * | 2021-03-23 | 2021-07-13 | 南京理工大学 | 基于近红外光条纹投影的高精度三维人脸测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| CN111563564B (zh) | 基于深度学习的散斑图像逐像素匹配方法 | |
| CN111288925B (zh) | 一种基于数字对焦结构照明光场的三维重建方法和装置 | |
| Liu et al. | Real-time 3D surface-shape measurement using background-modulated modified Fourier transform profilometry with geometry-constraint | |
| CN109506589A (zh) | 一种基于结构光场成像的三维轮廓测量方法 | |
| CN113551617B (zh) | 基于条纹投影的双目双频互补三维面型测量方法 | |
| CN109579741B (zh) | 一种基于多视角的全自动多模态三维彩色测量方法 | |
| CN115546285B (zh) | 基于点扩散函数解算的大景深条纹投影三维测量方法 | |
| CN113205592A (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
| CN109307483B (zh) | 一种基于结构光系统几何约束的相位展开方法 | |
| CN106871815A (zh) | 一种Kinect与条纹反射法结合的类镜面三维面形测量方法 | |
| WO2013076605A1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
| CN104061879A (zh) | 一种连续扫描的结构光三维面形垂直测量方法 | |
| CN104299211A (zh) | 一种自由移动式三维扫描方法 | |
| CN107990846B (zh) | 基于单帧结构光的主被动结合深度信息获取方法 | |
| CN110349257A (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
| KR101411568B1 (ko) | 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법 | |
| Wu et al. | Single-shot 3-D dense reconstruction using multi-frequency fringe projection for industrial applications | |
| CN113450460A (zh) | 一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统 | |
| CN117474753A (zh) | 一种基于双目结构光系统的点云拼接方法及相关产品 | |
| CN118799410A (zh) | 一种基于结构光的低反射率工件三维测量方法 | |
| CN114998518A (zh) | 一种面向视觉结构光的三维重建方法及系统 | |
| CN111121663B (zh) | 物体三维形貌测量方法、系统和计算机可读存储介质 | |
| CN112325799A (zh) | 一种基于近红外光投影的高精度三维人脸测量方法 | |
| CN117450955B (zh) | 基于空间环形特征的薄型物体三维测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |







































































