基于单幅图像的虚拟实景漫游技术研究

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

摘

要

基于图 的建模和绘制技术是近年来兴起的一种倍受关注的场景建模和绘制像技术，也是目前虚拟场景漫游领域中的主流技术。其最大的特点就是克服了传统的基于几何建模和绘制技术的不足，可以在只具有普通计算能力的计算机上实现具有相片般真实感场景的实时漫游。

以计算机视觉和图像处理等学科的理论和方法为基础的基于图像的建模技术 中，基于单幅图像的建模是一个重要的研究领域。本文围绕由单幅图像重建具有

相片般真实感的三维模型，对单幅图像的标定、景的三维重建以场及从图中纠像正和映射纹理三个方面进行了较深入的研究和探讨。

首先， 在单幅图像标定方面，利用人机交互的方式确定三个垂直方向的灭点，在 G io算法的基础上， ul lu通过引入主点位置的计算，从而可用简单的几何关系得到相机焦距以及由世界坐标系到相机坐标系的旋转矩阵，并提高了标定算法结果的精度。

其次，在场景的三维重建方面，先将场景中长方体结构参数化，并把标定阶 段求出的相机焦距对这一阶段的计算结果进行校正，从而可以得出各顶点的相对深度值，并由此计算出长方体结构的三个参数以及世界坐标系相对于相机坐标系的平移向量。这样可以在相差一个全局比例因子的情况下重建相片场景的简单三维模型。

然后，在纠正和映射纹理方面，以三维视觉的分层重建理论为基础，并结合

Oe L理映射函 pG纹 n数的特点，一种改给出进的纹理纠正和映射算法。取的将提纹理图像变换成为边长为 2正方形图像后，映射到三维模型上去，从而得到具有相”片般真实感的三维模型。

最后通过实验，证明了本文提出的改进方法能适应对含有长方体结构的场景 的单幅图像重建任务。关键词：虚拟现实；基于图像建模：相机标定；灭点；三维重建：纹理映射

基于单幅图像的虚拟实景漫游技术研究

基于单幅图像的虚拟实景漫游技术研究

Ab t a t sr c

I g-ae mo en a rn ei i fsi t t nqe e n yas sd d l g d d r g a c aig h iu i r et r maeb i n e n s a n n e c n c e, ad w i a o esni t h iu i te l o w lig o g vr a see n n i s te et l nq e h f d a n tru h t l n . o t l h s s a

e c n i e f k h iu c I i te ot ral ta I MR n ecme e f iny t dt nl t h m s rmakbe t s e h B c o ro t d i ec o r io a a v h ec f i a go t -ae m dl g n rn eig cnq e eme ybsd o e n ad edr t hiu . d B cn el e r i n e An I MR a rai z

po r lt m dlg d a i t og i te m u r t cm o ht e ii oen n w ln h uh h pt w h m n o asc i a k g r n c o e i ocmptt n l ait. o uai acpbly o a i I te d m g -ae mo en w c s e o h ter a me d l o i aebsd dl g i ib sd te oy d to o n f h i e f i h h a n h n h f

cm u r i ad ae csn, osutg m s g i ae a o pt v o n i g poe i r nt cn f a l m g i n e i n m s r sg e c r i r o i e n si o at i o rsac. i tei adess i u s cl r ig m mp r n tpc eerh T s s drs te e o ai an f t o f h h s e h s s f b t r a o

s g iae r osutg m dl o t s n, ty g t e m e i l m g, nt cn 3 oe f c e r i i t u f t n e e c r i D s h e e e fn e r r h c x o po g p ad pi r ti t t e ht r h m p g ie e u . o a n a n e f d r c xFr, h s e o ai ai t s l i e tre i n p n o te hme cl rt g e ge g, e vnsig i s iti s n c f b n h i n ma h a h o t f

o hgnl cos b dtmnd m as u a- m u r r tnad r ooad etn cn e r i b en ohm nc pt ie co, t i i a e e e y r f o e n ai n t t ip v t G i u ot, u tn t psi o p ni l n i o r e u l a rh cl li o h

oi n r c a pi s m o h e l o l im a ao f g c e t o f p o t iit d cd B w i, cn t y t n fcl gh cm r b uig nr ue . hc w a n o l o a te a l t o a ea s te o y h e o n b i h o e n f y n h

s p go ei l tn t r ao m tx m e r cod a ssm i l em tc rao ad o tn r f t w l or nt y e m e r a e i n h t i a i r h o d i e t l e ot te m r codnt ss m, a o rv te eio o te l r in o c ea ri e t h a o a y e bt i o e p cs n h c i a o u l mp s h r i f ab trsl. eut

S cn l i h s e o eo sut g , te hme rcnt c n 3 m dl o te ee ti tei eody n c f r i D o es h s n, s s f c h h s

pr e re t cbi sut e t s n ad s fcl g, c i a m t i s uo tc r o h c e u t oa l t w i s a ez h e d u f e n s h r e e e e h h h ncl lt i te l rt n ae t m n te ut ti clua o . w cn a ua d h c i ai p s, e d rslo hs c lin S e c e n a b o h o h e f a t o a oti te a v dph toe ee, e p rm t s te b is utr ba h rl ie t o h s vr xs tr aa ee o h c o s c e n e t e f e t h e r f u d t u r ad t nl in c r te r cod a ss m. s l 3 mo e o n te s t v t o h w l o ri t yt T e e h r a o e o f o d a n e e h i mp D dl f s te n ae o s utd dr lbl l fc r h see rcnt c u e a a sae t . c r e r e n go c ao T e, h s e o etyn a m pig ue ti tei rsns te hme rci ig d apn t tr, s s peet a hn i n c

f f n e x h h s n ipo e m to w i i b sd te er o s a f d cnt ci o 3 m rvd ehd hc s e o h t oy t t i r o s ut n D h a n h f ie e r r o f v i ad mb e te trs t t e p ig nt n O eG . t e io n c i s fa e o e u mapn f c o o pn L Txu s n o n h eu f r x u i f e r

iaew i a etc d m po g p a cagd s a iae wt m gs c r x a e f t ht r h hne io r m gs h h h e r t r h o e o a r e n q e t u i 2 s e g . n t t e ae a m pe io sr cs s p 3" l t Te t e u i gs apd t u ae o i l D i e h h h xr m d n e r e n h t e f f e mm d l S w cn ti p o r l t 3 m dl o e . e o a h t e ii D es s o a b n o a sc o .

1 1

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

Toe r d gr s e nt c t D oe r a l poe a oim c r osut 3 m dl f m s g hs i v m l t h a c r n h e s o i e np oo r h te ee t acb i s c r. s vd t ag rh ae htga o h s n w h od t e I i poe ta te oi ms p f c i u t u t r u r h h l t r rl be ef i t te ei ns ei lad i e b h epr a n fc n y x met . K y r: ta rai; g -ae mo eig cmea l rt n v nsig e Wod vr l ly i e sd d l; r c i ai; i n i u e t ma b n a ab o a h p it3 rcn tut n txu e p ig on; eo srci; tr ma pn D o e

II I

基于单幅图像的虚拟实景漫游技术研究

插图索引图沈1本文研究工作的流程图 .. ........... . . . ..... . . . .- . . . .. . . ... . . ..... . .. . . . .. . . ... .. . . .. .. .……5 .. . . .

图 21几何空间变换集合的包含关系....... ...... .. . . ..

.. .. .......... .... ........... .... . .. .....……8图 22三维几何空间层次的几何变换 ... . ...... . ....... . . .... . ...... ... ....… . 1 . . . . .... . ... .. . . ... . . . . . 1

图 2极线约束关系.. ... . ..……......…,. ... 1 . 3 . .... . ... ..... . .. ..。..... .. ... ..… .. ... ..... .. ... .. .. 1图 2由单幅图像恢复三维几何的不确定性.............. 1 . 4 .............. 3 ..... .. .. .. .. . .. ............图 25从两幅图像恢复三维几何示意图 . .. . .. . ...... . ..…… 1 . . .. . .. . .. . .. . .. . . .. .. . .. . . . . . . . . .. . . 4

图 2物体的模型与视觉外观 . ... .. ..…,..... . . . 6 . ... ...… ..... ..……1 . ... . ... ... . ..... . ..... 4图 31线性相机模型 .. .. . . . .... .. .. ... . . . . . . . .. .. . . . . ..... .. . . .. . . .…… 1 .. .. . . . . .. .. .. . . .. . . . . ..... . . .... 8

图 3标定参照物... ........... .........…1 . 2 ... .. .... .... . ......... ... ........... ........… 9 . . ........... ... ...图 33湘江绿化带..... .... . .. . . .. . . . . . . . . . . . .. .. .. ... . . .. . . . . . . . .二2 . . . .. . . .. . .. . . . . . .……。 1 . ......图 3标定相机焦距示意图 .. . . . .... .. .... . . . . .... 2 . 4 .. . . . . ........ . . . . . . .. 2 .. . . . . .. . ... . . . . . . .. ..... . . . . . . . . .图 3标定相机旋转矩阵示意图.…‘… .... .. . ....... . 5 . .…,.. . .. . .. .. . .二

2 . . .. .. . .. .. .……。 3 . .. . ..图 41矩形投影示意图二..... . ........ . . . . .....…… 2 .。.. .. . . ....... . . . . ... . . . .. . . .. .. .. . . . . . . . .. ... . . . .. . .. 8图 42长方体投影示意图 ..... . ..... . .. . . . .. . . . . . . .. . . .. . . . . . . .……中. . ....... 2 .. ... .... ... . ...... 9 . . . .. .. . ... . .图 51射影变换和仿射变换示意图 . ... .…。. . ...……, ... .. 4 . . ... . . ..… .. . .. . . . . .. . .. . . . . .. .. .. 3 .

图 61包装盒的单幅相片….. ..… .. ....... ....…3 .‘....…‘............. .... .... .. ....... .. .… 8 .. . .. .. ...图 6由灭点的误差来确定线框与边缘是否正确拟合 .......... 3 . 2 . ......... 9 ....... ... .........图 63灭点和主点位置示意图 .... ......... . .... ...... . .. .. ........ .. . . . . .. . 3 .. .. . .. ... . . . . . .. . 9 .. . . . .... ..

图 6经过渲染后的场景的三维模型 ............ .... 4 . 4 . .. .. ...... .... 1 . .......... .... . .... ........ ...图 65相机焦距标定值的比较图 . ...... . .. . ...... . .... 2 . . .. .. . . .. . .. ..... . .. . .. . . . . .. .. . . . .4 . . . . . .图 6旋转矩阵标定值的比较 .. . . ... . . ... . ......…… 4 . 6 .. . . ... . . ... . .. . . . ... . .. . . . . . . .. . . . ... . ... 2

基于单幅图像的虚拟实景漫游技术研究

湖南大 学学位论文原创性声明本人郑重声 明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果

作品。本文的究做出重要贡对研献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。

作名 A者：?签 -创<}

日期： 0年 S月，日 0 7E

学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，以采用影印、缩印或扫描等复制手可段保存和汇编本学位论文。本学位论文属于 1 、保密口，在年解密后适用本授权书。2、不保密 W] (在以上相应方框内扣“J请一" )

作名坐者：进-4签 t` 4 4 1导签师名o l

日 yS期：,年 S月 Z O V b- lI 1日}J期.年犷月功日

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

第1章

绪

论

虚拟现实技术简介随着计算机技术、网络技术的发展，人们足不出户就可以“ 沉浸”于美丽的风光之中，即对虚拟实景进行实时漫游。这里所采用的技术就是虚拟现实技术。虚拟现实 ( iul l ) Vr aRat这个名词最早是由 J o Ln r 2世纪 8年代初提 t ei y a n i在 0 r ae 0出来的。S m e t p D等人对它下了这样的定义：虚拟现实就是由 a计算机合成的，对用户不仅可以观察而且可以控制其内容的三维环境的模拟。从中文的角度可以对它做如下解释：虚拟，表示无中生有的一个环境；实，代表人类对于这个环境现的感受象是在一个真实环境中一样。虚拟现实技术的主要特征是具有沉浸感

( m ro ) I e i、交互性 ( t atn、想象力 ( ai t n,即所谓的 3特性。 m sn I e co ) nr i I g ao) m ni 1沉浸是利用人类的五大感官：看、听、触、嗅、味去感受虚拟的环境，以为是真的一样。交互是指人机之间有一定的互动。想象是感宫受刺激后，信号传输至脑部而藉以往的经验所产生出来的幻觉。

虚拟现实技术的发展大体上可以分为三个阶段。第一阶段从 2 0世纪 5年代 0到 7年代，是虚拟现实技术的准备阶段；第二个阶段从 8年代初到 9年， 0 0 0是虚拟现实技术系统化，并逐步走出实验室进入实际应用的阶段；第三个阶段是从 9 0年代至今，是虚拟现实技术的

全面发展阶段。

早在 15 年， 96美国的 M rn i就开发 T一个被称为 Snoa a ot H l o ei g es m的摩托车 r

仿真试图器，从视觉、听触觉等多觉和方面给人一种身境的临其感受，是虚这正拟现实追求的终极目标之一。16 98年，St r n u e ad在哈佛大学组织开发了第一个 hl

计算机图驱动的形头盔显示器 HleM ut Dsa" (e t ond p y 3并开 m- e i l),发了之相与配的头部位置跟踪系统。还有许多科学家，在虚拟现实技术的准备阶段，做了许多有意义的研究工作。

从 2世纪 0 8年代开始形成虚拟现实的基本概念，并出现人工现实(rf i 0 Atia ic l Rat,虚拟现实(iul ly,虚拟环境(iul v om n,虚拟空间 ely i) Vr a Rat t e i) Vr a E in et t nr ) (ye pc等称呼，其中虚拟现实最为深入人心。并开始进入实际应用的阶段， Cbr ae s )以V D O L C IE P A E系统及 V E系统为代表。 IW随着硬件水平的飞速提升， 显示设备价格的不断降低， 0纪 9年代后， 2世 0虚拟现实技术进入全面发展阶段。人们经过实践，逐渐认识到，虚拟现实系统对计

算复杂性的要求几乎是无限的，虚拟现实系统必须提供足够的灵活性和可扩展性，才有可能适应这种无限的要求。

基于单幅图像的虚拟实景漫游技术研究

虚拟现实 技术作为计算机科学和应用研究的一项前沿技术，是综合计算机仿真、计算机图形图像、计算机视觉等多学科技术发展的一门新兴学科，在数字化

城市规划、飞行仿真、 R游戏、 V远程医疗、虚拟实景漫游等方面都有着非常广泛的现实应用。

为了使用户能够在一个由计算机生成的虚拟现实环境中真正产生身临其境的 感觉，就必须使生成的环境足够逼真和自然。一个虚拟环境是否逼真，取决于人的感官对此环境的主观感受。人对环境的感知主要是通过视觉、听觉、触觉、嗅觉以及重力觉等来实现的。因而，一个好的虚拟环境必须给这些感官提供与现实环境十分相似的刺激。

实验心理学家赤瑞特拉( e hr T i e通过大量的实验证实：人类获取的信息 8% rc ) 3来自视觉。因此，视觉感知的质量在用户对环境的主观感知中占有最重要的地位。一个虚拟现实系统的好坏主要是取决于虚拟环境场

景生成系统的优劣。虚拟环境场景的生成与交互是虚拟现实技术的核心内容。

12基于几何的建模与绘制技术 .利用计算 机图形学生成虚拟环境场景的传统方法是基于几何的建模与绘制技

术。其基本出发点是，自然界的任何物体都可以用若干的基本几何形状来描述。该方法是以经典的计算机图形学为理论依据。在此基础上，学者们提出了许多成熟的基于几何的建模与绘制技术，包括变换、纹理映射以及光照模型等等。该方

法的基本步骤为：用数学方法建立所需三维场景的几何描述，并将它们输入计算机；将三维几何描述置换为特定视点下的二维视图；确定场景中的所有可见面；场景纹理及光照模型的计算。

上述 衬的基于几方法在计算资源允许的情况下，完全可以生成足够精确的逼真的三维场景，而且，三维场景的模型是与视点无关的，即只要模型建立起来，就可以很自然地支持任意自由度、任意方向上的漫游。但是，它们的缺点也是很明显的：对象自然环境场景这样复杂场景的几何建模十分繁琐；显示速度与场景复杂度有关，一旦场景中几何面片的数量增加，显示效率会随之急剧下降；要想加速绘制还需要一些专门的硬件支持。这些缺点就使得该技术的应用受到一定的限制。

13基于图像的建模与绘制技术 .而 基于图像的建模与绘 ( a Bs M d i ad drg制 I g a d en n Rnen, I R技 m e e o lg e i简称 B ) M术克服了上述传统方法的不足，立足于解决在只具有普通计算能力的计算机上实

现真实感图像的实时显示问题，己经成为各国科学家研究的热点。下面对 IM B R技术的研究现状作简要的介绍。

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

1. .1基干图像的建模技术简介 3目前，主要通过三类方法来获取几何模型[:一是利用传统的几何建模技术 1 2 1直接构造模型，这些几何建模技术主要包括实体建模、C G,隐式曲面、细分 AD曲面；二是利用三维扫描设备直接获取真实景物的表面采样点，这些三维扫描设

备大多基于激光时间测距或三角测量原理进行工作；三是利用相机(摄像机)拍摄得到的真实场景的图视频)像(实现场景的几何重建，这类方法被称为基于图像的建模

技 Ia Bs M d i,称

I )这术( g a d en简 B。三类方 m e e o lg M法中，第一以种技术最为成熟，而且已经被广泛应用于机械、汽车、建筑等工程领域和影视动画、V R游戏等娱乐产业，尽管如此，采用这类建模技术构建稍微复杂的三维模型仍然是一件非常耗时的工作，而且其绘制结果往往与真实场景存在着较大的差异。而对于第二种方法来说，三维扫描设备可以精确地获取大多数真实景物的几何模型，因而特别适

合于逆向工程(例如，机械零部件的测绘)和文物保护等应用领域，但三维扫描设备价格非常昂贵，且无法处理具有高光、透明以及绒毛表面的物体的表面属性，而且一般也无法同时获取模型表面的颜色信息。近年来，基于图像建模技术受到了

广泛的关注，并得到迅速的发展。这种技术可以利用价格低廉的数码相机(或摄像机)等作为图像获取设备，并从获取的图像来重建场景的三维模型，同时直接从图像中为重建的三维模型提取表面纹理和光照信息，从而简单、快速地构建出具有相片般真实感的三维模型。基于图像 的建模技术又可以根据获取图像的手段分为，动光线扫描方法和被主

动光线法。前者是利用光线投影到物体表面而生成的轮廓，用体(o m ) Vl e u绘制方法来实现，以印法(p tn)脚 Sl i和多边形网格法为代表进行三维建模，以达到较 a g可高精度，但图像获取多数用到激光扫描、C T等昂贵设备。而后者主要采用相机获

取真实自然的相片图像，利用物体包含的几何特征和纹理信息进行重建。被动光线法又可以分为：基于已知几何体的方法〔、 3基于视见凸包的方法〔、基于光场 1 4 1

(gt d方 1和基 L hF l的法 5 i i) e 1于立体视觉的方法等等。

1. .2基于图像的绘制技术简介 3基于图像的绘制( ae s Rnen,简称 IR是实时绘制具有相片般真 ( g B e edr g I m a d i B)实感图像的一种理想方法。它是利用一些参考图像来生成新视点处的场景图像。它具有以下鲜明的特点：一是图像绘制时的计算量不取决于场景的复杂性，而主要与所生成图像的分辨率有关；二是预置的图像既可以是计算机合成的图像，也可以是实际拍摄的相片，两者也可以混合使用，从而可能获得较高的真实感；三是这种绘制技术对计算资源要求不高，因而可以在普通 P C机

上实现复杂场景的实时绘制。

IR技术的关键问题就是用何种数据来表达场景信息。 B根据表达方式的不同大

基于单幅图像的虚拟实景漫游技术研究

致可分为三种：基于全光函 P n iF co)表达、数(e t u tn1的 l oc i 6 n 1基于图像的表达和基于几何的表达。为了求得绘制速度与精度的平衡，有必要在参考图像采样量与场

景几何量之间进行折衷[ 1 7 1 A e o和 e e从光学角度出发， B r n dl n s g提出一种有关场景的表达方式，他们试图寻找什么是视觉的基本元素，并从观察者的角度提出了全光函数来描述整个场景的全部信息[。他们认为整个世界就是一个充满了稠密光线的空间，每条光线带 1 6 1有不同的能量，仅此而己，他们并不关心场景中的其它组成形式。全光函数正是定义了空间中任意一点处，在任意时刻，任意波长的这样一簇光线，经过形式化，可得到一个 7的函数表示形式：维

君= ( O,气，, P8,气， K t,A ) (. 1) 1

其中B沪视线 .表示方向应的对球面角；表示兄光线的波长；, I表示 V V V}视点，所在空间的位置；t是时间参数，主要用来表示动态场景。全光函数从原理上为基于图像的绘制技术给出了简洁而统一的理论框架，从而成为这一技术发展的理论基础。但直接构造全光函数往往极其困难，因此对 IR的研究主要围绕着对全光 B函数表达式的重新解释上，即针对具体的应用需求，合理的简化全光函数，以达到满足应用要求的实时绘制图像的效果。

M Ml和 io认为 i n B hp c l a s基于图像的绘制技术就是要在给定全光函数的离散采样集合的基础上，重构该全光函数的一个连续表示。他们定义了一个全光模型，通过采样一些离散的柱面图像，产生连续的 5维参数化全光函数，来描述固定光

照条件下的静态环〔 Lvy境 8 e提出] o o的光 5场[和G l提出的] rr t e流明图Lmg p) (uiah r认为：只要位于凸形包 (或简化为限定盒)外侧或内，就能将完整的 5侧维全光函数简化为 4维光场采样的全光函数〔。沈向洋等提出的同心圆拼图 11由该 9 1 1和 0方法扩展的同石球拼图〔实质上是一种全光函数的 3川，维表示，在一定程度上降低了重建的复杂度，但仍需要大量的存储空

间来保存场景信息，而且只能在一定

范围内进行有限制的漫游。 Q i T e而 uc i V k m R系统就是将相机位置固定，而只调整观察方向和镜头焦距，这样全光函数就简化成了一个柱面全景图 (aoa a 11 Pnr ), m 1 2用户就能环视周围，并可改变视距。 z i i Ses等人把一系列图像拼接成一个球面全 lk景图〔3使得用户不仅可以左右移动视线， 1, 3还可以上下移动视线，全方位的观察场景。柱面全景图和球面全景图其实质都是简化为 2的全光函数。维而有些研 究者把场景数据当作一系列有着点对关系的图像来处理，即主要依赖

于各图像间的特征关系，例如，视图插值法通过在关联点之间对光流插值生成新

的图 11图然渐变Ia M ri )于点系沿两相机中心像[;像自 1 4 ( g ohg m e pn基对关个原线生成相机间的变换矩阵 11 1 5 D bvc eee等借鉴传统的图形学的方法，把场景中物体用几何体“”来表达，块并用块与块之间的相应的关系来表达场景的结构，用从相片中提取的图案作为纹

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

理映射到“上来表块”达场景中的节[ Bk和 S lk等用“来表达细" ae ' o r z ij es层”场景中的结构〔1Sae 1. d等用点来表达场景信息[1虽然他们都是用几何元素来表 6 h 1。 7达场景数据，但与传统图形学的方法不同的是：他们所使用的几何模型是从参考图像中获取而建立起来的。

以上表达方式各有特点， 通常需要在参考图像采样量与场景几何量之间进行折衷，使得绘制的速度和表达的精度都能满足实际应用的需要。

. 4基于图像的建模与绘制研究的意义由以上分析可知： 基于图像的建模与绘制技术克服了传统图形学中建模和绘制技术的局限性，为计算机图形学的发展找到了一个新的途径，对 IM B R技术的进一步研究，可以更加丰富计算机图形学的内容，因此对 IMR的研究具有重要的 B理论意义；同时，基于图像的建模与绘制技术是综合计算机仿真、计算机图形学、计算机视觉、计算机图像处理、模式识别等许多学科技术的一门学科，因此对 IM B R技术的研究可以促使各个学科相互融合，并促进各学科的共同发展；由 IM于 B R技术本身所具有的特点，它能以较少的代价创建和绘制出具有相片般真实感的三维模型，在诸如工业、娱乐、军事、医学、教育等许多领域

中具有较为广泛的应用，例如，可利用名胜古迹或建筑物的相片来实现虚拟旅游、虚拟商场购物，可以利用飞机或卫星相片实现航空航天仿真，构造虚拟实战环境，进行虚拟作战训练和虚拟军事演习等，因此对 I MR的研究具有重要的实践意义。 B

. 5本文的主要工作本 文的研究工作是以湖南省自然科学基金项目编号： 2 Y 08 ( 0J 5 ) J 0和湖南省教育厅科研项目 (目编号： 2 3)基于图像的景物建模与绘制技术研究”为背项 0B 4“景展开的。主要对外延几何及基于图像的建筑物建模技术、视点有关的三维景物纹理映射技术和以全光函数理论为指导的完全基于图像的自然景物绘制技术进行研究。

本文以单幅图像的建模和绘制技术作为重点。 首先对当前基于图像的建模与绘制技术进行了分析，然后用 IMR技术对基于灭点的单幅画像标定、由 B单幅图像恢复三维模型以及从图像中提取、纠正和映射纹理这三个方面进行研究。图 1 . 1给出了本文所涉及的主要内容。输入原始图像拟合线框模型单幅图像标定三维尺寸恢复纹理纠正映射真实感模型

图 1本文研究工作的流程图 . 1

基于单幅图像的虚拟实景漫游技术研究

后续章节主要内容安排如下： 第2 章，首先对射影几何的基础知识进行了介绍；然后对现有的基于图像的建模技术进行分析和总结，包括对近年来提出的典型的基于图像的建模方法的基本原理的简介以及各自、缺点的对比，并给出了一些最新研究进展；最后对基于优图像的建模技术的未来的发展做出了展望。第 3, 从线性相机模型的分析入手，对现有的相机标定技术进行了详细的介章

绍，对几种普遍使用的方法进行了比。在综合考虑单幅建筑物场景图像建模的对特性和 G i u ul算法的基础上，出了一种改进的利用灭点的相机内 l o提外参数标定的方法，完成对单幅图像的标定工作。第4 章，在完成对相机内外参数标定的基础上，把场景中的具有长方体结构的物体参数化，运用射影几何的知识和上一章的计算结果，得到长方体三个方向的

参数，实现对虚拟场景的简单三维模型的重建。

第5 从章，场景的单幅图像中取三提维模型的表面纹理，用草维视并利觉的分层重建技术，并结合 O eG pn L纹理映射函数的特性，将它们纠正，然后利用 O eG pn L中的有关

纹理映射函数把它们映射到简单的三维模型上去，得到具有相片般真实感表面的三维模型。第 6,给 出了一个由单幅相片恢复出具有相片般真实感的三维模型的例子，章

并把得到的数据与相关的一些方法进行了比较和分析。在最后一章 中，对本文的研究内容进行了总结，并对下一步的研究工作计划做出了展望。

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

第2章

基于图像的建模技术分析

如何真实地在计算机中表达现实世界一直是计算机图形学的一个重要研究方 向。随着基于图像的建模与绘制技术的出现，它为生成具有相片般真实感的场景模型提供了一种简便的方式，因此迅速成为目前计算机图形学领域中的研究热点。外观检测和机器导航等计算机视觉的应用领域也需要从真实场景图像中获取三维信息，但其对自动性和实时性的要求比较高，研究者们针对上述应用己经给出了很多具有较好效果的三维视觉系统，不过这些系统建模都较为复杂，而且不能实现任意三维场景的自动重建。而对于虚拟现实等应用领域来说，在建模的过程中适当加入人为的辅助和交互，以简化算法的复杂性是完全可以接受的。因为可以

把建模过程当作预处理过程，在绘制过程之前完成，这样当用户对虚拟场景进行漫游时，计算机系统就能实时的生成新视点的场景图像。而且还可以借鉴计算机

视觉领域的理论基础和研究成果。下面就先以计算机视觉理论[〕 1为基础对基于图 8像的建模与绘制技术的背景知识作简单的介绍。

21背景知识 .2. . 1齐次坐标 1齐次 o oe os rn e就是坐标 H m g e Co i t)将一 ( n u o d as个原本是n射影空间中维的点用 nl+维向量来表示.比如，点(,, ( x '的齐次 X 2 *. I, X )坐标表示 h h ..x,为( x . h, x . h . . )其中 h是一个实数。由此可以出，一个点的齐次坐标表示并不是唯一的，齐次看坐标中的 h取非零的不同时，都表示是同一个点。比如，齐次坐标(, 2和值 S4 ), (, 1 4 2 ),表示的都是同一个二维点(, 4 20 )齐次坐标有以下优点：它提供了 用矩阵运算把二维、三维甚至高维空间中的某个点集从一个坐标系变换到另一个坐标系的有效的方法；它可以表示射影空间中的无穷远点，如果 n l+维的齐次坐标中 h0=,实际上就表示了 n维空

间的一个无穷远点。

齐次坐标是计算机视觉中各种几何变换常用的一种坐标表示方式。在本文中 作如下约定：用作齐次坐标时用斜体表示，用作非齐次坐标时用正体表示。例如，

三维空间点 X,用作齐次坐标时表示为 X,而用作非齐次坐标时表示为 X。同样的，二维空间点 x,用作齐次坐标时表示为x,而用作非齐次坐标时表示为 3 0

21 .2射影几何 .射影 (ri i、几何对于基于图像的几何建模具有重要的意义。在此，首先 oet e P cv

基于单幅图像的虚拟实景漫游技术研究

介绍射影空间的概念：n维实射影空间 P中的任意一点可以用 n l维向量 .+

[.x1 .表此，,,。被为影间的次标由 X.+ s来示。时 k…气，射空点齐坐。上 I. J+ ', R; . l称 . xr+一节的定义可以推出以下等价关系：对于 X Y P,,"若存在实数 . 0 e 1使得 X .,# -l Y则可以定义 X,其中一 - Y表示关于比例系数的等价关系。射影空间之间的变换称为射影变换， 具体来说，从射影空间P到 P的射影变 . .

换可以一个 nl (+)的矩用 ( )ml+x阶阵T来"表达： ' P . X- X T在射影空间P中，满足如下等式关系的点集{} . X被称为超平面：

[’]: A= a J}TO,, -一一X“

、, 「1 xL n1 x+J

(. 21 )

其中，; (l.+) ,,, 1定因 a R i .n为固值，此超平被简 e= .面可单表达[,,+为[ 1 a. J,.. a特别是当n2,=时超平面退化为空间中的线L[ aa;=时，射影直= Z,当n3超 a,1,平面退化为空间中面，= l234此外， (1上存射影的平 U[,,,l aaaa。公式2) .实际在着两种不 同的解释：即当 A固定时，为共面的点集；而当 X固定时，则 A为经过 X X

点的 面集合。平这种重要的性质被称为对偶原 (1理[ 1 9 21 .3三维几何空间层次 .人们所处 的世界通常被理解为一个三维的欧氏空间，但从几何学的角度可将其划分为不同的几何空间层次，按照从简单到复杂的顺序依次为射影空间、仿射

空间、度量空间和欧氏空间；这些几何空间对应着不同的几何变换集合，依次为

射影变换、仿射变换、度量变换(也称为相似变换)欧氏变换，和它们之间的包含关系为：射影变换二仿射变换二度量变换二欧氏变换〔 1 2,如图 21 0 .所示。这些几何变换集合中的一个重要性质就是它们所对应的几何不变量，所谓几何不变量是指

对某一几何变换集合中所定义的所有变换均不改变的几何属性。上述各个几何空间层次所对应几何不变量对于研究基于图像重建几何模型具有重要的意义。

图 2几何空间变换集合的包含关系 . 1射影空间 是第一个几何空间层次，上一节已经给出了射影空间和射影变换的定义，相对于其他空间的几何变换集合，射影变换的形式最为一般，对应的几何不变量也最少。具体地，三维空间中的射影变换可以用一个 4 4阶的可逆矩阵来 x

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

表示： PI八T一乃 P

Pla几儿几

PlaP

14

内P

24

几P

34

(. 22 )4

丙

凡P

射影变换有两个重要的性质： 首先，点和直线的结合性是射影变换的不变性；

其次，射影变换下，交比 Co -t)性。 ( sri不变 r sao假设有 点鱿、 .和M4其中M=+,,共线的 Ms M3,, A M M'它们的交比定义为：

CsM., _冷_ rs .,} o(,, M, ) M M=, 3则上述四点经过射影变换后的交比是不变的。

(.) 23

入一A 1一 4人 - 2

射影空间的下一个空间层次是仿射(fn) Af e i空间，维实仿射空间A中的点可 n .

以维向 X.xr来用n量[ . .’表示。,. I R,, e事实上，A中任意一点X可以 .的被同构地嵌入到 n维实射影空间 P中去： .反之，仿射空间中的点也可以由射影空间中x}的点映射得到： }#+。1," .]},‘ X '+一—”,,峥 1,’ I xI— l I—”,—

[,,f,., x k, 1. - . 1 .x+ .] . x r (4 2) .

、「,、,: x I 「.气l:x了 rL 1 x+J x+ n气+ J L .i,

x+ 1

(. 25 )

如将射间的穷点I -o射空，可[,,,表 仿空中无远}I 入影间则用x…x}来果 X* 0嵌 1, 1 I.,J . .r .}示。因此，由仿射空间中所有无穷远点构成的超平面：

I= I[‘ ]巴留， (6 2) .被称为无穷远平面。需要指出的是，无穷远平面并不真正属于仿射空间，它 所包含的点并不能用仿射坐标来表示，但其对于仿射几何重建具有重要的作用。三维空间的仿射变换具有如下形式：r es es es es es A

PI几es es es es

PI:几几

Pla九入几。。 1儿儿

Pl’( .) 27

T

￣

es

es

es

L

。

显然，该变换可使无穷远平面保持不变；也能保持直线的平行关系以及沿某

一空间方向上的长度比例关系的不变性。所有射影变换不变量当然也是仿射变换不变量。

接下来空间层次分别是度量( e i空间层次和欧氏(ulen空间层次，它 M tc r) ( cda) E i们所对应的变换集合分别是度量变换(也称为相似变换)和欧氏变换。三维空间中度

基于单幅图像的虚拟实景漫游技术研究

量变换(相似变换)以用下面的矩阵来表示：可叮 T 而三维空间中欧氏变换的矩阵如下所示：气 rlzr . . . . . E

rl叮几叮 r3

b叮口

rlab

rls口

勺}!

衬 ￣

气气口

与气 l tz

今. . . . . . . . . . . J

(. 2s )

0 0 0

rla气ty

tx, . . . . . . .

T

￣es

.

rzles es

气与

es

场气。

tz. . .

.

(. 2 ) 9. . I J

L飞

es

l

其中是 矩阵R中的素。 ‘正交元可见，变换和变换的度量欧氏唯一不同相是差一个作用于整个几何空间的全局的比例缩放系数。。因此，度量变换只能保证所有线段长度的相对比例关系不变，而欧氏变换则可以保证线段长度的绝对尺寸不变。此外，这两种变换都能保证几何元素之间的夹角关系不变。综上所述，可得到表 2 0 . 1变换类型射影变换仿射变换表 21三维几何空间层次变换及其性质

.变换矩阵不变量自由度1 5

TP万 -

1 2

Tr":一{ L r O A TT严R 7: -一) -[ O

交比、共线性平行、无穷远处直线/平面、沿某个方向的相对距离

度量变换

7

。咚门角度、相对距离、圆环点/一" J绝对二次曲线 L 1 0长度、面积

欧氏变换

6

其中：X 是四阶非奇异矩阵，是三阶非奇异矩阵，0= 0 0 0, A r(, R表示， )

旋矩且= t=示移量转阵囚 1t .I平向。,"表 4 t图 2给出了一个单位立方体在各种几何变换集合作用下的结果。可以看出， . 2只有度量变换或欧氏变换的结果才能被人眼正确理解为立方体形状。关于三维空间几何层次和变换集合的进一步说明可以参考文献【 9 1 1和文献【 0 0 2]

基于单幅图像的虚拟实景漫游技术研究

尸团

硕士学位论文

司可

相护赚

,

\诺/

厂夯

图 2三维几何空间层次的几何变换 . 2

21 .4极线几何 .

图 2极线约束关系 . 3 极线几何描述的是两个相机与它们的图像之间的基本关系。如果每个相机的

光心能被另一个相机看到，如图 2所示。第一个相机的光心 C投影到第二个相 . 3机的图像平面的影像为点 e。第二个相机的光心 C,影到第一个相机的图像平面 '投

的像为点e两相机光心影 . .之间的连线‘,基线，别与两 C称为分个图像平面交于点e和点 e,点 e '和点 e互称为对方的极点。’现在有一世界坐标系的点 X它与 C,,

C定义了，一个平面二称为，极平面，平面s与极。两图像平面的交线分别为l '1和1,和1,为极线。点 X在两图像平面的影像点 x x分别位于各自的极线上，这被称和’种相互关系就是极线约束关系。数学上，极线约束关系可以用一个秩为 2的 3阶矩阵 F来表达：

x F 0 ' x T= (1 20 .) 其中矩阵 F被称为基本 Fnae a矩阵。包含了 ( d nl u m t)它从一对图像中可以恢复出来的所有信息。点 e e分别满足 F - e。极和 ' eF 'O若两幅图像间的基本矩阵为 F, - -

且这两幅图像所对应的内参矩

阵分别为 K和 K, '则它们之间的本质(s n a矩阵 Es t l e i)可以定义为：

E KT = F ' K ( 1) 21 .本质矩阵 E包含了标定好的相机从第一个位置到第二个位置的相对运动的所有信息。

基于单幅图像的虚拟实景漫游技术研究

基于单幅图像的虚拟实景漫游技术研究

另一方面，若能在两幅图像上找到若干对对应特征点，人们就可以利用(. 21 ) 0式求出它们之间的基本矩阵 F。在计算机视觉中，对极线几何的研究己经相当成熟，理论上基本矩阵可以通过已知 7个对应点用非线性的方法计算出来。如果已知8个对应点，则可用线性方法计算〔3 2。一般而言， 1取更多的对应点可以提高基本矩阵的求解精度。需要指出的是，一旦确定了两幅图像之间的基本矩阵，特征点匹配就只需在点的对应极线上进行，从而可以大大简化特征匹配过程。

22基于图像的建模技术分类 .基于图像 的建模通常是指利用图像来重建出物体的几何模型。人们根据获取

图像的手段上的不同，可以将基于图像建模分为主动方法和被动方法。其中主动方法是指通过控制场景中光照的方式主动地获取场景的三维信息，主要采用体绘制方法来实现，以脚印法和多边形网格法为代表进行三维重建，可以达到较高的精度，但图像的获取多数要用到激光扫描、C T等昂贵设备。而被动方法则只是通过一些简单的设备，接收场景中的光亮度信息，进而通过分析获取的图像中的明

暗、阴影、焦距、纹理、视差等被动线索进行三维重建。一般而言，主动方法具有较高的重建精度且算法相对简单，但它需要人为地创建重建线索，因此操作比较复杂，且应用范围也受到一定的限制；被动方法一般精度较低且算法较为复杂，但其仅需要较少的设备且对被建模物体的规模和位置限制较少，因此更加灵活。除上述分类方法以外，有的研究者按照重建算法的自动程度把它们分为：自

动、半自动、手工交互几种方法。通常自动方法的算法较为复杂，对噪声比较敏感，有些方法的收敛性不好；而手工交互的方法可以通过人机交互的方式克服以上缺点，而被广泛使用在虚拟现实等领域。在本文中，针对几何模型重建问题，按照研究方法对其进行了分类：基于单 ‘幅图像的建模是一类特殊的问，因为原始信息过少而需要大量的交互；对于

两题幅及以上参考图像的情形，则可以利用多幅图像间特征对应关系进行重建，此时应按相机是否己经预先标定而分别采用立体视觉或同时恢复场景几何和相机运动的方法。此外，物体投影在图像平面上的侧影轮廓线是理解物体几何形状的一条重要线索，因而成为一类重要的重建方法〔7最后， 2。 2深度图像因具有特殊的表达

形而有定重方 24式拥特的建法〔2 37 .23基于图像的建模技术 . 2 .基于单幅图像的建模 .1 3从单幅图像中提取场景的几何信息，并恢复场景的三维模型一直是人们关注 的一个领域。因为在某些特定的情况下，如对已消失的只留下单张相片的建筑物

基于单幅图像的虚拟实景漫游技术研究

硕士学位论文

建模时，在对不方便获取多幅相片的场景建模时，只能采用这种技术。根据射影理论，从单幅图像中，由射影图像要恢复三维欧氏结构，这一过程中存在着很多

不确定因子。如图 2所示， . 4具有不同深度的三维点投影到二维图像平面上的同一位置。一般情况下，对于任意的单幅图像是不可能从中得到几何信息来建模的。然而，对于某些特定场景的图像，尤其是包含建筑物等人造物的场景图像，也并非是完全不可能的。近期图形学领域的研究工作表明，引入适当的用户交互可以

有效地简化单幅图像重建问题。众多研究者利用由用户交互指定的灭点信息和几何不变量实现了分片平面模型的几何重建.比较有代表性的，如由 H r o y等人在 r

19年提出的TuIo u技术简称 T ) hm等用一 97 or P te ( n ir t c I 11Su利 P 2; 1个基于用户输入的系统从全景图中恢复出了类似的几何模型〔1 D bvc 2; ee等从一些参数化的基 6 e本几何形体出发实现了建筑物场景的交互建模[。以上几种方法也存在着一定的 1 3 1局限性，即只能重建出由平面和基本几何形体构成的场景。为了实现基于单幅图

像的曲面场景重建，目前一般采用两种方式：第一种方式是引入知识库，从而充分利用人们对待重建几何知识的积累，如， ln等从一个人头模型数据库出发例 B az

利用单幅图像进行人脸重建，取得了很好的效果[1第二种方式则是引入更多的 1; 2 7交互，即由用户直接指定画面上景物的相关信息。众所周知，人类的视觉系统对于单幅图像中所蕴涵的深度信息具有很强的理解能力，这

就启发人们直接利用传统的图像编辑手段来交互指定图像中各点的深度值；同样地，人眼还能够很好地估计图像中若干点的对应法向，人们就可以得到曲面物体的较好估计。实践表明，曲面法向相对于景深而言更容易交互指定，且能提供更为直观的曲面控制手段。

贬

厂 .;

.

产

产

尹

图 2由单幅图像恢复三维几何的不确定性 . 4

2. .2基于多幅图像的建模 3根据双目 成像原理即立体视觉原理，可以从两幅图像上同一个三维点的影像唯一确定该点的空间位置，图 25所示。体视觉是计算机视觉领域中的经典问如 .立题，被广泛应用于自动导航装置。近年来，立体视觉方法同样为图形学研究者所

青睐，两幅或多幅己经标定的图像被用来重建出场景的几何模型。立体视觉的基本原理是三角测量原理：对于己经标定的两幅图像(即相机的内部参数和外部参数

均为已 )假知，设在两幅图上找到了对对应点即像一 (场景中体表面物上同一点的影像点)则由两幅图像的投影中心出发分别经过这一对对应点的两条直线在空间中，

基于单幅图像的虚拟实景漫游技术研究

基于单幅图像的虚拟实景漫游技术研究

基于单幅图像的虚拟实景漫游技术研究

基于单幅图像的虚拟实景漫游技术研究

果的更为鲁棒的重建算法。

由于基于深度图像重建的三维模型在精度和复杂度方面具有明显的优势，在 图形学领域中具有广泛的应用前景，但是这类技术的发展还没有成熟，还需要广大研究者的继续努力。计算机图形绘制算法目前己经相对成熟。传统的绘制算法需要依赖于所输入 的光照模型和材料属性模型的质量来保证绘制的质量，而基于图像的恢复视觉外观的方法相对于传统方法而言具有无可比拟的优势，应用前景广泛。但如何在不对光源做出任何限定的前提下恢复出模型表面的反射属性，也是一个具有挑战性的课题。

由于基于图像建模算法所处理的是数据量很大的数字图像文件，而且大多数 包含大量复杂的计算，例如大型矩阵分解、大规模方程组的求解以及众多的非线性优化问题，有时为了传输的需要，还要进行压缩和解压运算。而在实时性要求高的情况下， C U的处理能力往往不能满足需要， P而需要与图像专用芯片协同完成任务。可以预见，利用

可编程图形硬件加速基于图像建模算法必然成为未来研究的一个热点。

26本章小结 .本章首先介绍了与 IM技术有关的计算机视觉的一些基础理论知识，如三 B R维几何空间层次变换及其关系。接着按照研究内容的不同对现有 IMR技术进行 B分类，并着重分析了基于单幅图像的建模技术。为了使恢复的模型具有相片般的真实感，需要恢复它的视觉外观，文中介绍了一些常用的恢复视觉外观的方法，还如与视点相关的纹理映射技术。最后对 I MR技术的未来发展方向作了展望。 B

本文来源：https://www.bwwdw.com/article/z281.html