支持大规模视频融合的混合现实技术

龙源期刊网 http://www.qikan.com.cn

支持大规模视频融合的混合现实技术

作者：周忠 孟明 周颐

来源：《中兴通讯技术》2017年第06期

虚拟现实（VR）是一个新兴的科学技术领域，该技术建立人工构造的三维虚拟环境，用户以自然的方式与虚拟环境中的物体进行交互，极大地扩展了人类认识、模拟和适应世界的能力。

虚实融合（MR）技术将虚拟环境与真实环境进行匹配合成，降低了三维建模的工作量，并借助真实场景及实物提高用户的体验感和可信度。随着当前视频图像的普及，MR技术的探讨与研究更是受到关注。

视频融合技术利用已有的视频图像，将它们融合到三维虚拟环境中，可以实现具有统一性的、深度的视频集成。该技术最早可追溯到1996年Paul Debevec[1]提出的一种视点相关的纹理混合方法，即实现了不在相机视点的真实感漫游效果，但仍在很多方面存在难点。 1 MR的技术特点

现在业内普遍认可从真实世界到虚拟环境中间经过了增强现实与增强虚拟环境这两类VR增强技术[2]，混合现实则是包含这两类技术及其融合。

增强现实技术与增强虚拟环境技术，可分别形象地描述为“实中有虚”和“虚中有实”。增强现实技术通过运动相机或可穿戴显示装置的实时连续标定，将三维虚拟对象稳定一致地投影到用户视口。增强虚拟环境技术通过相机或投影装置的事先或实时标定，提取真实对象的二维动态图像或三维表面信息，实时将对象图像区域或三维表面融合到虚拟环境中。两项技术的MR方式如图1和图2所示，图中虚线对象代表虚拟环境对象，实线对象代表真实对象或其图像。 随着VR技术的发展，其与现实世界正趋向于深度融合，一些技术开始兼具“虚中有实”和“实中有虚”这两种模式。20世纪70年代电影《星球大战》中展示的全息甲板是科幻中的终极理想状态，但U.C.Berkeley提出的Tele-immersion远程沉浸系统、微软的Holoportation、Magic Leap所设计的光场头盔显示原型等已经具备了这种深度MR特点。 2 视频融合技术分类

早期的视频融合技术只能做到将图片向地面或简单立面映射，现在的新技术则已经能够快速将视频实时地映射到复杂的三维模型上。根据实现MR的维度不同，可将相关方法分为4类：视频标签地图、视频图像拼接、视频叠加到三维场景，视频融合到三维场景。需要说明的是：这些技术针对的是易于获取的普通摄像头视频，FreeD等基于多视图几何的三维重建方法不在讨论中。

本文来源：https://www.bwwdw.com/article/2vg8.html