虚拟现实与人机交互领域的最新技术及设备研究进展综述

虚拟现实与人机交互领域的最新技术及设备研究进展综述

摘要：虚拟现实技术的应用前景十分广阔。它始于军事和航空航天领域的需求，但近年来，虚拟现实技术的应用已大步走进工业、建筑设计、教育培训、文化娱乐等方面。它正在改变着我们的生活。

关键词：虚拟现实，人机交互

1 引言

人机交互（HCI）是一门研究人类所使用的交互式计算系统的设计、实施、评估及相关主要现象的学科。狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换。虚拟现实（VR）技术是一种综合应用计算机图形学、人机接口技术、传感器技术以及人工智能等技术，制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。过去的人机界面要求人去适应计算机，而使用虚拟现实技术后，人可以不必意识到自己在同计算机打交道，而可以像在日常环境中处理事情一样同计算机交流。

人机交互可以说是VR系统的核心。VR系统中人机交互的特点有：1）观察点（Viewpoint) 是用户做观察的起点。2）导航（Navigation) 是指用户改变观察点的能力。3）操作（Manipulation）是指用户对其周围对象起作用的能力。4）临境（Immersion) 是指用户身临其境的感觉，这在VR系统中越来越重要。VR系统的基本特征有：1）构想性(Imagination)。指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位获取知识，发挥主观能动性，寻求解答，形成新的概念。 2）沉浸感(Immersion)。指用户感到作为主角存在于模拟环境中的真实程度。3）交互性(Interaction)。指参与者对虚拟环境内物体的可操作程度和从环境中得到反馈的自然程度。

生成虚拟现实需要解决以下三个主要问题：1）以假乱真的存在技术。即怎样合成对观察者的感官器官来说与实际存在相一致的输入信息，也就是如何可以产生与现实环境一样的视觉，触觉，嗅觉等。2）相互作用。观察者怎样积极和能动地操作虚拟现实，以实现不同的视点景象和更高层次的感觉信息。实际上也就是怎么可以看得更像，听得更真等等。3）自律性现实。感觉者如何在不意识到自己动作、行为的条件下得到栩栩如生的现实感。在这里，观察者、传感器、计算机仿真系统与显示系统构成了一个相互作用的闭环流程。

2 虚拟现实与人机交互领域的最新技术 （1）支持情感交互(Affective-based HCI)的情感计算(Affective Computing)： 它是通过各种传感器获取由人的情感所引起的表情及其生理变化信号，利用“情感模型”对这些信号进行识别，从而理解人的情感并做出适当的响应。其重点就在于创建一个能感知、识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统

（2）支持可穿戴交互(Wearable HCI)的穿戴计算(Wearable Computing)：可穿戴计算机是一类超微型、可穿戴、人机“最佳结合与协同”的移动信息系统。 可穿戴计算机不只是将计算机微型化和穿戴在身上，它还实现了人机的紧密结合，使人脑得到“直接”和有效的扩充与延伸，增强了人的智能。这种交互方式由微型的、附在人体上的计算机系统来实现，该系统总是处在工作、待用和可存取状态，使人的感知能力得以增强，并主动感知穿戴者的状况、环境和需求，自主地做出适当响应，从而弱化了“人操作机器”，而强化了“机器辅助人”。

（3）支持人脑交互(Brain-Computer Interaction)的脑计算(Brain Computing)：最理想的人机交互形式是直接将计算机与用户思想和目的进行连接，无需再包括任何类型的物理动作或解释。对“人脑计算机界面(Brain-Computer Interface，BCI)”的初步研究可能是迈向这个方向的一步，它试图通过测量头皮或者大脑皮层的电信号来感知用户相关的大脑活动，从而获取命令或控制参数。人脑交互不是简单的“思想读取”或“偷听”大脑，而是通过监听大脑行为决定一个人的想法和目的，是一种新的大脑输出通道，

一个可能需要训练和掌握技巧的通道。

（4）远程触摸和操纵实物：该技术现在只能模拟非常基本的动作，比如击掌或是来回拍球。而在未来，一个更复杂的版本或许能够在更大的屏幕上工作，并重现整个人体。简单点来说，该技术搭载的设备是基于在一种名为inFORM的可变形3D表面，可以在电子元件上模拟物理触感——即可以允许用户移动某个对象，而无需身体在那个地方都可以来触动它。这种变形的用户界面是由Daniel Leithinger和Sean Follmer在Hiroshi Ishii的指导下设计完成的。该技术的设计者Sean Follmer表示，这种形状显示和数字交互技术已经存在了一段时间，但inFORM不同，它专注于用户和之间的交互，并提供一种远程触摸和操纵。相隔千里仍可接触。

（5）下一代显示屏技术：一家叫Bristol的公司开发了一种称为UltraHaptics的技术，你无需触摸到屏幕就可以控制屏幕。它利用的是使用者的超声波以及空气压力，从而进行相关的操作。

第二个是由MIT的媒体实验室带来的，你可以在一名使用者的屏幕空间里的任何地方进行绘制，然后数据可以同步到他的屏幕上。

[3]（6）三维重建技术：提出了一种方便普通民众(仅需利用手机和电脑)快速制作小型物体三维模型的

方法。首先围绕物体拍摄若干张影像,然后快速恢复每一张影像的内外方位元素,使用图割法半自动提取物体的轮廓线,最后利用轮廓线信息快速生成物体的数字三维模型。适用于任何材质的静态物体,可以解决影像匹配或激光扫描所不能解决的三维重建问题,通过选择人工背景解决了稳健姿态恢复问题,通过算法优化降低了计算能耗。

（7）体感系统Kinect:Kinect for Xbox 360，简称 Kinect，是由微软开发，应用于 Xbox 360 主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用语音指令或手势来操作 Xbox 360 的系统界面。它也能捕捉玩家全身上下的动作，用身体来进行游戏，带给玩家“免控制器的游戏与娱乐体验”。Kinect 感应器是一个外型类似网络摄影机的装置。Kinect有三个镜头，中间的镜头是 RGB 彩色摄影机，左右两边镜头则分别为红外线发射器和红外线 CMOS 摄影机所构成的 3D 深度感应器。Kinect 还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect 也内建阵列式麦克风，由多组麦克风同时收音，比对后消除杂音。Kinect处理流程的最后一步是使用之前阶段输出的结果，根据追踪到的20个关节点来生成一幅骨架系 统。通过这种方式Kinect能够基于充分的信息最准确地评估人体实际所处位置。

3 虚拟现实与人机交互领域的最新设备

虚拟现实的硬件组成如下图，

今年国际消费电子展(CES 2015)在美国拉斯维加斯拉开帷幕，来自世界各地的数码设备厂商都将云集拉斯维加斯为大家带来最新的产品和技术，现举例如下，

3.1 SpaceTop:3D互动桌面

来自麻省理工学院和微软的研究人员展示了一个3D互动桌面环境，称之为SpaceTop。SpaceTop使用透明显示器，用户把键盘和自己的双手放置在显示器后面。随后，用户可以通过手势来移动显示屏上的数字对象，以操纵现实世界物体的方法去操作网页、文档和视频这是一场很有未来感的桌面计算演示。如下图，

3.2 IllumiRoom：外围投射的互动视觉体验

IllumiRoom[1]由微软雷德蒙研究院的研究人员开发。通过使用Kinect传感器和投影仪，系统能够把电视屏幕延伸到整个房间里。投射在电视屏幕周围的图像营造了额外的环绕情境，并形成了沉浸式环境。

3.3 MorePhone

加拿大奎恩斯（Queens）大学研究人员演示的MorePhone项目借助能够编程控制的可折叠显示器，将手机状态告知用户。例如，MorePhone并不会显示用户只有在打开手机后才能看得到的新邮件图标，而是会把显示器的一部分折叠起来。人们还进行了将可折叠显示器用作输入方式的探索（例如，你可以通过弯曲显示器的方法来放大或缩小画面），但这个项目的新颖之处在于探索可折叠作为输出方式的性能。

3.4 置换现实头盔

显示有时候并不一定要在屏幕上才能进行。信息还可以通过更加可穿戴式、更令人身临其境的方式展示出来。日本庆应义塾（Keio）大学的研究人员演示了他们近期在“置换现实”方面的研究工作[2]。置换现实是日本理化学研究所Naotaka Fujii博士最近发现的一种混合型现实系统。假定用户将随时佩戴HMD（头戴式显示器），而系统则会记录下他所看到的一切。当场景与过去的录制信息大体上重合时，置换现实就能够在用户无法察觉的情况下在现实和过去之间切换。如果切换是如此流畅，用户将无法知道她看到的是现实还是录制影像。这样就能创建一个沉浸式的混合现实环境。Kevin Fan和他的合作者研究了听觉和触觉反馈会对置换现实的感知产生哪些影响。

3.5 Milk VR

Facebook在2014年3月花了20亿美元买下了OculusVR，

2014年Oculus和三星合作推出了虚拟现实头戴设备GearVR，让虚拟现实以另一种形式得到廉价化，并且推出了部分对应的游戏，用户只需戴上“头盔”，就可以享受游戏。为了让虚拟现实技术有更好的发展，一款名为Milk VR的应用也于本周登场。该款应用将为人们带来沉浸式的360度视频体验。如下图，

4 结论

“全新个人计算体验、智能互联设备的崛起，还有可穿戴设备革命，正在重新定义消费者与技术之间的关系。”英特尔公司首席执行官科再奇在2015年CES上如是说。虚拟现实的出现，使人们从纷繁复杂的数据中解放出来，提供了一个崭新的信息交流平台，乃至一个全新的世界。虚拟现实技术是许多相关学科交叉集成的产物，VR技术的不断进步，让我们看到了这个领域的巨大潜力和广阔的应用前景。虽然仍存在着许多尚未解决问题，虚拟现实技术以其独特的优势为各个领域的发展提供了一个全新的突破口。

本文来源：https://www.bwwdw.com/article/2324.html