基于双目立体视觉裸眼3D显示技术研究

中图分类号：TP391.7论文编号：102870515-S193学科分类号：082503

硕士学位论文

基于双目立体视觉裸眼3D

显示技术研究

研究生姓名李超

学科、专业航空宇航制造工程

研究方向数字化设计与制造

指导教师沈建新教授

南京航空航天大学

研究生院机电学院

二О一五年三月

Nanjing University of Aeronautics and Astronautics

The Graduate School

College of Mechanical and Electrical Engineering

Research on Technology of Naked-eye 3D Display Based on Binocular Stereo Vision

A Thesis in

Aeronautical and Astronautics Science and Technology

by

Li Chao

Advised by

Prof. Shen Jianxin

Submitted in Partial Fulfillment

of the Requirements

for the Degree of

Master of Engineering

March, 2015

承诺书

本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。

本人授权南京航空航天大学可以有权保留送交论文的复印件，允许论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文。

(保密的学位论文在解密后适用本承诺书)

作者签名：

日期：

南京航空航天大学硕士学位论文

摘要

立体显示技术很好地解决了传统的二维显示技术缺少场景三维信息这一问题，能让人眼感受到更加全面和真实的立体影像，现已广泛的应用于医学、教育、军事、商业以及娱乐等众多领域，对基于双目立体视觉的立体显示技术研究具有十分重要的价值和现实意义。

双目立体视觉技术是计算机视觉领域的一个重要研究方向，它基于视差原理能精确的获取空间物体表面的三维信息。通过两个不同位置的摄像机拍摄同一场景，并从中恢复深度信息来模拟人类双眼对三维信息的测量。在立体显示技术中，非裸眼的立体成像技术都需要佩带如偏振眼镜、快门式眼镜、互补色眼镜等辅助工具，不能完全解放人眼，因此这种方式在许多场合并不适用。选择基于双目立体视觉原理的裸眼3D显示方法是一个最佳选择，它不再需要佩带眼镜，观察者在观看的屏幕同时不受任何限制，灵活性更强，而且三维场景信息相对准确。

从平面图像到提取包含深度信息的视差图像，以及转化到人眼能够感受到具有纵深感的立体图像，综合了摄像机标定校正、立体匹配、DIBR技术、裸眼3D显示技术等一系列新型技术。论文重点进行了双目立体视觉技术中摄像机标定校正、立体匹配算法研究以及DIBR技术的仿真等，主要研究内容包括：

1、双目立体视觉技术及平面3D技术概述。包括双目立体视觉技术、平面3D显示技术的原理、理论、研究现状以及3D技术在医疗手术领域的应用。

2、双目立体视觉系统模型分析。结合现有立体显示技术，介绍3D显示器的光学原理以及人眼获得具有真实立体感的立体视觉成像原理。引入视差概念，构造了双目立体视觉的几何模型，建立场景中三维信息的数学关系。

3、摄像机标定校正技术研究。分析了摄像机的成像模型及其特点，研究了摄像机标定方法的坐标系转换、数学原理。主要研究了基于OpenCV的标定和校正方法，采用张正友经典标定方法进行摄像机的单目及双目标定，获得摄像机的内外参数，最后通过Bouguet算法对图像进行校正。

4、基于小波变换与噪声可见度函数的立体匹配算法研究。针对现有匹配方法进行了对比分析，引入了小波变换与噪声可见度函数，对基于图像分割的立体匹配算法进行改进，基于小波变换与噪声可见度函数的立体匹配算法将图像分解为多个子带，并对各个子带图像进行阈值处理，提高图像的匹配质量，最终利用人类视觉系统模型中的噪声可见度函数融合各个子带的匹配结果获得最终的视差图像。仿真结果表明基于小波变换与噪声可见度函数的立体匹配算法，与其他算法相比，能获得精度更高的视差图像。

在上述研究的基础上，进行了基于小波变换与噪声可见度函数立体匹配算法及DIBR技术

i

基于双目立体视觉裸眼3D显示技术研究

的仿真实验，并基于VC平台和OpenCV 视觉函数库来完成相关软件设计；利用自己搭建的双目立体视觉系统硬件平台完成图像采集、摄像机标定校正、提取深度图像及图像合成等相关实验，实验结果表明，所获得的深度图像误差较小能有效反应场景信息。

关键词：双目立体视觉，平面3D显示，裸眼3D，摄像机标定，立体匹配，离散小波变换，噪声可见度函数，图像分割，OpenCV，DIBR

ii

南京航空航天大学硕士学位论文

Abstract

The traditional two-dimensional display technology lacks depth information, and this problem is solved well by 3d display technology, it can make us feel more comprehensive and true stereo feelings. The 3d display technology has been widely used in medicine, education, military, commercial, entertainment and many other fields. The research on binocular stereo vision has important value and real significant.

Binocular stereo vision technology is one of the important fields in computer vision technology, It can obtain 3d(three-dimensional) information of the object in the scene accurately based on parallax principle. Binocular stereo vision directly simulate man’s eyes processing information manners to compute the three-dimensional information, that is, the use of two cameras shooting the same scene from different locations, and recover the three-dimensional information. In non-naked-eye 3d display technology we need wear polarized glasses, shutter glasses, complementary color glasses or other auxiliary tools, therefore it cannot liberate our eyes, so this way is not applicable in many occasions. The naked-eye 3d technology based on binocular stereo vision is one of the best choices, it no longer need to wear glasses, observers can watch the screen without any restrictions, this technology is more flexible, and it can provide observers with accurate scene information.

Extracting disparity images which contain depth information from planar images and transforming depth images to stereo images, it needs a series of new technologies, such as camera calibration, stereo matching, DIBR technology and autostereoscopic display and so on. This paper mainly focuses on camera calibration and correction technology, stereo matching algorithm and simulation of DIBR technology, the main research contents are listed as follows:

1 The overview of binocular stereo vision technology and planar 3d display technology. This part includes principles and theories of binocular stereo vision and planar 3d display technology, their domestic and foreign research at present and past, and their applications in medical surgery.

2 The analysis of the models of binocular stereo vision system. In this part we express the optical principle of 3d display and the imaging theory of stereo vision with the reality feelings, combined with the introduction of the different 3d display technologies, introduce the concept of disparity, structure the geometric model of binocular stereo vision and the mathematical relationship of the scene information.

iii

基于双目立体视觉裸眼3D显示技术研究

iv 3 The research of the camera calibration and correction. Analyze the features of the imaging

models of camera, the main research includes the coordinate transformation and mathematical principles of the traditional camera calibration methods. Calibrate the binocular cameras by Zhangzhengyou method based on OpenCV platform, obtain the intrinsic and external parameters of the cameras, and on the basis of calibration we correct the images by BOUGUET algorithm.

4 The research on stereo matching algorithm based on wavelet transform and noise visibility function. Compare and analyze the present matching methods, found the stereo matching based on image segmentation has great advantages, this paper proposes a novel method of stereo matching, which decomposes object images into a set of sub-bands by discrete wavelet transform, then modifies each sub-band image, and improves the matching quality of each sub-band image by implementing discrete inverse wavelet transform. On this basis we estimate disparity of each modified image, and merge different sub-band disparity maps into a final disparity map using HVS model. Experimental results demonstrate the proposed algorithm achieve a high-precision than the existing algorithm.

Accomplished the simulation of the stereo matching algorithm based on wavelet transform and noise visibility function and DIBR technology according to the above research results. The software was designed on VC platform by OpenCV vision library. And at last accomplished the experiments of images capturing, the camera calibration and correction, depth image generating and stereo images synthesizing on the binocular stereo vision hardware platform, the results show that the error of the depth image is small and it can reveal the scene information effectively.

Key words: Binocular stereo vision, planar 3d display, naked-eye 3d, camera calibration, stereo matching, discrete wavelet transform, noise visibility function, image segmentation, OpenCV, DIBR

南京航空航天大学硕士学位论文

目录

第一章绪论 (1)

1.1 研究背景 (1)

1.1.1 平面3D显示技术及应用 (1)

1.1.2 双目立体视觉技术 (2)

1.2 国内外研究现状 (4)

1.3 课题选题依据和意义 (7)

1.4 论文主要研究内容和结构层次 (8)

1.4.1 论文主要研究内容 (8)

1.4.2 论文章节结构安排 (8)

第二章3D显示及双目立体视觉技术 (10)

2.1 引言 (10)

2.2 平面3D显示技术 (10)

2.2.1 平面3D显示技术原理 (10)

2.2.2 平面3D显示器分类 (11)

2.3 双目立体视觉技术 (14)

2.4 双目立体视觉系统模型 (15)

2.4.1 小孔成像原理 (15)

2.4.2 平行式与会聚式双目立体视觉系统模型 (16)

2.4.3 视差及深度计算 (17)

2.5 双目立体视觉系统关键技术 (18)

2.6 双目立体视觉系统组成 (20)

2.7 本章小结 (23)

第三章摄像机标定技术 (24)

3.1 引言 (24)

3.2 摄像机成像模型 (24)

3.2.1 线性摄像机模型坐标系定义 (24)

3.2.2 模型坐标系之间的变换 (26)

3.2.3 非线性摄像机模型 (28)

3.3 摄像机标定方法 (30)

v

基于双目立体视觉裸眼3D显示技术研究

vi

3.3.1 线性摄像机模型标定方法 (30)

3.3.2 非线性摄像机模型标定方法 (32)

3.4 基于OpenCV的标定和校正方法 (33)

3.4.1 张正友标定方法 (33)

3.4.2 双目摄像机标定 (36)

3.4.3 立体校正方法 (37)

3.5 本章小结 (38)

第四章立体匹配算法研究及DIBR技术 (39)

4.1 引言 (39)

4.2 立体匹配的约束和方法 (39)

4.2.1 立体匹配约束准则 (39)

4.2.2 立体匹配方法 (41)

4.3 基于图像分割的立体匹配算法 (42)

4.3.1 相似性测度函数定义 (44)

4.3.2 平面拟合提炼方法 (45)

4.3.3 基于BP优化算法的平面分配 (45)

4.4 基于小波变换与HVS模型的立体匹配算法 (46)

4.4.1 离散小波变换原理 (46)

4.4.2 基于HVS模型的噪声可见度函数 (47)

4.4.3 匹配算法的流程设计 (48)

4.4.4 实验结果及分析 (49)

4.5 基于深度的图像绘制技术 (51)

4.5.1 多视点图像的绘制 (51)

4.5.2 DIBR技术及其原理 (52)

4.5.3 DIBR仿真实验 (54)

4.6 本章小结 (55)

第五章系统实验及显微手术立体显示方案 (56)

5.1 引言 (56)

5.2 实验流程及软件设计 (56)

5.3 基于OpenCV的摄像机标定 (58)

5.3.1 平行配置摄像机图像采集 (58)

5.3.2 摄像机标定实验 (58)

南京航空航天大学硕士学位论文

5.3.3 偏振式3D显示效果实验 (61)

5.3.4 深度图像生成 (62)

5.4 手术显微镜系统方案 (64)

5.5 本章小结 (65)

第六章总结与展望 (66)

6.1 论文总结 (66)

6.2 后续研究展望 (67)

参考文献 (69)

致谢 (74)

在学期间的研究成果及发表的学术论文 (75)

攻读硕士学位期间发表（录用）论文情况 (75)

攻读硕士学位期间申请专利及软件著作权情况 (75)

攻读硕士学位期间参加科研项目情况 (75)

vii

基于双目立体视觉裸眼3D显示技术研究

viii 图清单

图 1.1 Marr视觉理论的三个层次 (3)

图 1.2 TrueVision立体手术系统 (6)

图 1.3 美国火星探测机器人 (7)

图 2.1 视差立体成像原理 (11)

图 2.2 互补色式3D显示 (11)

图 2.3 偏振式立体显示 (12)

图 2.4 快门式立体显示 (12)

图 2.5 壁障与柱透镜视差立体显示示意图 (13)

图 2.6 Philips274G5D偏振3D显示器 (14)

图 2.7 人眼双目视觉模型 (14)

图 2.8 小孔成像模型 (16)

图 2.9 平行式与会聚式相机模型 (16)

图 2.10 平行放置方式成像模型 (17)

图 2.11 双目立体视觉平面图 (18)

图 2.12 双目立体视觉系统 (20)

图 2.13 DVP-30GC03相机外观结构图 (21)

图 2.14 VT-LEM0614MP3光学镜头尺寸图 (22)

图 2.15 Intel PWLA8391GT千兆网卡 (22)

图 2.16 双目立体视觉实验平台 (23)

图 3.1 线性模型坐标系结构 (25)

图 3.2 像平面坐标系与图像像素坐标系 (27)

图 3.3 左右视图立体校正 (38)

图 4.1 左右图像中的极线与极点 (40)

图 4.2 图像分割视差估计算法流程 (43)

图 4.3 均值漂移分割图像 (44)

图 4.4 一级和二级小波变换示意图 (47)

图 4.5基于小波变换与噪声见度函数的算法框图 (48)

图 4.6 本文算法实验对比图 (50)

南京航空航天大学硕士学位论文

图 4.7 基于双目立体视觉的多视点图像生成方法 (51)

图 4.8 基于深度图像绘制技术原理图 (52)

图 4.9 DIBR技术处理基本框架 (53)

图 4.10 参考图像（左）及其对应深度图像（右） (54)

图 4.11 基于视差图像的新视点绘制流程 (54)

图 4.12 带空洞的新视点图像（左）及填补空洞后的新视点图像（右） (55)

图 5.1 实验基本流程设计 (56)

图 5.2 软件主界面 (57)

图 5.3 标定棋盘格模板 (58)

图 5.4 标定棋盘图像对 (59)

图 5.5 左摄像机的角点提取 (60)

图 5.6 合成左右图像 (61)

图 5.7左右格式图像显示效果 (61)

图 5.8 拍摄参考图像及其深度图像 (62)

图 5.9 测量深度与实际深度对比 (63)

图 5.10 体式显微镜图像采集及光学结构 (64)

图 5.11 手术显微镜3D显示系统结构 (65)

ix

基于双目立体视觉裸眼3D显示技术研究

x 表清单

表 2.1 DVP-30GC03相机主要参数 (21)

表 4.1 实验结果与其他算法的比较 (50)

表 5.1 棋盘平面特征点世界坐标 (59)

表 5.2 深度提取实验结果 (63)

南京航空航天大学硕士学位论文

注释表

xi

基于双目立体视觉裸眼3D显示技术研究xii

南京航空航天大学硕士学位论文

第一章绪论

1.1 研究背景

1.1.1平面3D显示技术及应用

平面显示技术在如今的生活和工作中扮演着一个重要角色，是人类传递信息的重要手段之一，平面显示器更是存在于工作生活的每一个角落。现代研究表明，视觉是获取信息最直接和最有效的方式，占人类感知客观世界信息的80%以上[1]，近些年，随着3D电影的火热使得立体显示技术进入一个新的发展浪潮。传统的平面显示技术已经无法满足市场要求，更多更新的3D显示技术随之发展而来，无论是需要佩带眼镜等辅助工具的立体显示技术还是裸眼3D显示技术都在以非常迅速的发展势头走进日常生活和工作，正是基于这个契机，给许多研究领域带来了技术革新，其中包括医疗、军事、商业、娱乐以及艺术等众多领域[2]。

立体显示技术即能提供带有深度信息画面的多媒体技术，它能给人逼真、立体的感受。传统的平面显示技术只是二维图像信息的载体，缺乏反映场景中物体远近位置的深层次信息。随着现代技术的发展，尤其是在光电、微电子技术上的进步使得融合及显示多画面成为可能，这极大的促进了立体显示技术的进步。如今，市场上出现的3D显示器的品牌和种类非常多，包含的立体技术也很广，主要有以下两种为主：一是佩戴辅助设备的立体显示技术；二是裸眼3D 显示技术；此外，还有如手持显示设备和头盔式显示设备等。佩带辅助工具的方式在一定程度上限制了观察者的自由，但其立体视觉效果更好；相对来说裸眼3D技术提供了更大的自由空间，是未来发展的一个主要方向。立体显示技术的发展经历了将近二十年的持续研究，各领域的研究者们突破了大量关键技术瓶颈才有了现在的成果，但最早的立体电视系统甚至可以追溯到1928年，最早的彩色立体电影也出现于1935年。但是，现在的立体显示技术仍然面临着很多的不足和缺陷，技术发展还有很大的空间，尤其是运用于各个领域当中还会遇到很多实际和特别的困难，这些都需要研究人员的进一步研究。一个理想的立体显示器需要满足多项要求，比如较大的观察视角可以保证观看者的数量、观察者活动自由、无需其他辅助工具、具备移动视差、深度信息准确以及画面品质（分辨率、色彩等）足够好等等，满足这些要求将使立体显示器具备完全再现三维场景的能力。

如今随着3D技术走向成熟，人们对它的需求与日俱增。3D技术带给各个行业的优势也逐渐体现出来，目前3D技术已经获得了比较广泛的应用，虽然在部分领域尚不成熟但毫无疑问它是未来发展的方向，其主要应用领域包括以下几个方面：

1、医疗卫生领域，如今的外科医疗手术如眼科、耳鼻喉科等医生都渴望能获得更精确的三

1

基于双目立体视觉裸眼3D 显示技术研究

2 维信息，立体显示技术尤其是裸眼3D 技术可以解放医生，提供准确的手术现场信息，在远程医疗诊断中也能提供比平面显示更多的诊疗实况方面的视觉信息。在内窥镜诊疗、体内成像（MRI 、CT 、B 型超声）、体内造影、虚拟手术、外科手术教学等方面立体显示技术也具有不可替代的应用价值。

2、军事领域，由于立体显示技术能够真实反映实际场景情况，其在军事领域同样获得了大力的推广。其中最重要的一项是针对飞行员、潜艇驾驶员、坦克驾驶员等的模拟实战培训，如DTI （Dimension Technologies Inc ）公司为美空军和海军设计的飞行模拟系统等。此外，还应用于立体摄像侦察、卫星图像分析、潜艇水下领航等。

3、工业领域，在辅助CAD/CAM 设计方面立体显示技术提供了立体深度信息，使得设计人员能更真实的感受设计效果，极大的提高了CAD/CAM 的设计效率。其次，立体显示技术还在工业造型设计、远程机器人视觉、工业作业控制、危险品生产以及微小零件装配等众多方面获得了应用。

4、商业领域，在商用方面立体显示技术的应用范围也在扩大，从立体广告、商业展览、3D 视频会议等到现在我们日常生活离不开的计算机、手机、平板电脑等都能见到3D 显示技术的身影。

5、日常生活及娱乐领域，如今的3D 技术早已走进了日常生活，3D 游戏、家庭立体影院、

3D 电影、立体照片、3DTV 等。立体显示技术的产业化使得其在娱乐领域产生了巨大的商业价

值，各类产品不断出现和多样化。2012年中央电视台提供了伦敦奥运会的3D 电视信号，这也从一个侧面反应了立体显示技术正在走进千家万户。

6、数据可视化领域，这一方向主要是针对科学研究中的数值结果能更加直观的表现出来，如空间数据的可视化、蛋白质结构以及其他高分子形态特征的分子建模等。此外，风洞实验、数值模拟、财务建模、测绘数据建模等都是立体显示技术应用的重要领域。

另外，立体显示技术还常用于建筑和艺术领域，如建筑设计、建筑展览、室内设计、城市规划、美学设计以及艺术品展览等。总之，现在的立体显示技术进入了一个高速发展的时期，不仅在各领域展现出巨大的需求，也在一定程度上显示出现代技术的发展方向。

1.1.2双目立体视觉技术

计算机视觉是指用计算机来模拟人类和生物的视觉系统功能的综合性技术学科，主要利用计算机针对所获取的图像进行处理分析，涉及到的相关技术较多，如模式识别、人工智能等。在一般情况下计算机视觉与机器视觉不作区分，但这两个术语在一定程度上既有区别又有着联系。美国制造工程师协会（SME ）机器视觉分会和美国机器人工业协会（RIA ）的自动化视觉分会对机器视觉的解释为：“机器视觉是通过光学装置及非接触的传感器自动地接收和处理一个zkq 20151222

南京航空航天大学硕士学位论文

3 真实物体的图像，以获得所需信息”。机器视觉侧重于实际的工程化应用，其在项目实施中所面临的图像及场景分析的理论依据以及算法等都属于计算机视觉技术的研究范畴，而在另一方面，机器视觉在工程应用中为这些理论的实现提供了方法和措施，包括视觉系统的硬件结构、输入输出模型的建立等，二者之间有着不可替代的关联[3]。计算机视觉技术又可以分为单目、双目或者多目立体视觉，其中双目立体视觉属于计算机视觉的一个应用相对广泛的分支，而且是这一领域内最为活跃和最受关注的的方向之一，占有非常重要的地位。

立体视觉的开启性研究始于20世纪60年代，美国麻省理工学院（MIT ）的Roberts 等人首先用程序对三维积木世界进行了解释[4]，随后Huffman 、Clows 等人对此进一步研究，不再局限于传统的平面分析，而是将所获得的平面图像与空间场景结合进行了系统化的研究，这些成果极大地促进了立体视觉技术的产生和发展，也是现在国际上公认的立体视觉技术的诞生标志；到70年代末立体视觉的各项技术均有很大突破，其中以Marr 的理论研究影响最为深远，他的研究也形成了双目立体视觉研究的理论基础[5]。

双目立体视觉通过两台摄像机或者一台摄像机的移动或旋转来拍摄同一场景，以此来模拟

人眼的观察方式，

获得具有视差的左右图像，计算获得视点的空间坐标。根据Marr 的相关理论，视觉过程可以看作一个信息处理过程，而针对这一处理过程可以进行层次化的概括，如图 1.1所示，其中计算理论处于整个体系的最高层次，是构成视知觉基础计算的本质，只有依靠正确

的理论的指导才能构成解决问题的算法和硬件。

图 1.1 Marr 视觉理论的三个层次

立体视觉技术的一大优势是具有绝对的安全性，与观测对象不存在直接接触，不会给观测和被观测者带来损伤。另外立体视觉技术可监测的对象范围也十分广泛，甚至包括人眼所不能观察的对象如红外线、超声波等，这从一定程度上来说计算机视觉技术拓展了人类的视觉观察范围；而且计算机不眠不休，可以代替人类在长时间在极度恶劣的环境里工作，获得的测量信息也非常准确、可靠。这些优点使得计算机视觉技术在科学研究、国防建设以及国民经济领域都具有非常高的应用价值。

双目立体视觉技术现已获得了广泛应用，其中一个重要方面是机器人视觉导航技术。由于其优良特性，登月机器人也采用了立体视觉技术，其在百米范围内的测量精度甚至可以和激光雷达测量相媲美。在工业自动化生产领域，双目立体视觉技术应用于工业探伤、产品检测、自动化生产装配等方面，不仅加快了生产速度，还避免了人的疲劳和误判。在虚拟现实方面，立

zkq 20151222

本文来源：https://www.bwwdw.com/article/94oq.html