提交需求
赛事与广告咨询合作,请填写需求表单,我们会在第一时间与您联系!
本文主要内容
1.混合现实是一个全新的,与以往完全不同的媒介
2.当前的默认交互模型过于简单,限制了我们用混合现实技术所能做的事
3.为了改善这种情况,我们需要研究更自然的与世界的交互方式,并且做以下四件事
· 在真实世界里放置交互元素以借助触觉反馈
· 允许直接操纵虚拟对象
· 在桌面以上用空间锚点来拓展界面
· 利用3D声音提升定向提示的体验
这将支持我们做两件很棒的事:将我们变成超级人类,并且可以让我们将人的感官加到技术中,来更好的与虚拟物体交互
前言
虽然现在头戴式虚拟现实设备和应用程序已经诞生了几十年。但混合现实(增强现实的一个子集) 直到最近才因有了实验原型而慢慢成熟。我们通过建立原型的方式研究更自然的交互方式,并且探索它除了在平常的娱乐与游戏之外的潜在用途
我们正在聊的这个混合现实到底是什么?
每当我们谈起混合现实,就会经常提到微软Holoenlens,一个头戴式的,有异于VR的设备,它可以让你像戴着一副太阳眼镜一样观察你周围的世界。
Hololens在真实场景中覆盖上虚拟的元素或者全息图,并且由于没有用相机去记录场景再反馈到屏幕上呈现一个“真实”世界的必要(就像你手机上的AR程序一样),它在感知上让用户感受不到延迟。你可以像平常一样看物体,而相应的虚拟元素已经添加到了这些物体上。除此之外它还会通过一整套的加速度传感器,罗盘和其他传感器组成的设备,实时的3d扫描你所处的空间。更赞的是,它还有一对3D扬声器,能感知到3d空间的声音。
当前交互模型有什么问题?
当前的交互模型是基于一套很老的VR模式的,它需要利用你的视线去移动屏幕中心的十字线到一个物体上,然后用“捏”的手势与它交互。这样虽然实现起来很简单但却极其不自然。试想我们平时会有多少机会站在原地不动,来回移动我们的头部,然后举起我们的手到半空中呢,与此同时,在观察你的手势与周围环境关系上,这种交互方式也是不尽如人意的。因为用户很难实时的感知到自己在房间中所处的位置,这让用户感到不适。
因为MR从根本上说是一种增强真实世界的新媒介方式,它不是将我们变成一个虚拟的人。因此我们必须在我们对周围真实世界的感知中寻找MR交互的线索。
今天的人类其实和50000年前的人类是相仿的。我们通过感官的组合来感知事物,首先最重要的是视觉,其次依次是声音、嗅觉、触觉和味觉。我们与这个世界互动最多的方式是通过触摸-我们点击按钮,触摸物体表面,旋转旋钮,移动物体等。当我们表达我们的想法或参与到一个谈话时,触觉会紧跟着声音。更微妙的是,我们平时观察一个事物。有时周围的人也会无意识的去看它。
在我们的工作场所和家里,我们经常根据功能区域来移动,从办公桌,到工作台,或者相片墙和厨房
我们该如何改进它?
理论上,我们认为有四种方式可以让虚拟维度的交互体验变的更好、更直观:
1. 在真实世界里放置交互元素以借助触觉反馈
2. 允许直接操纵虚拟对象
3. 在桌面以上用空间锚点来拓展界面
4. 利用3D声音提升定向提示的体验
在真实世界里放置交互元素以借助触觉反馈
在真实对象的表面上放置交互元素可以让交互变得更真实,他们不仅能看到,并且在他们触摸时由于实际的手感,他们还能感觉到。这样的设置可以很明显的增加精准度,并且可以节省掉必须在空中空举手臂的体力。(这仍是超声触觉交互的一个问题)
允许直接操纵虚拟对象
让用户直接操作对象而不是使用一个界面元素,比如移动或旋转物体。
这减少了认知负荷,可以让他们忘记界面本身,更专注在他们正在执行的任务上。如果物体漂浮到了半空中,可以给出一个简单的提示,这对于交互体验是很有好处的,这样可以让用户再一次回到使用真实触感的交互体验中。
在桌面以上用空间锚点来拓展界面
借助像hololens的头戴式MR设备,我们可以将物体与界面元素放置在我们周围的空间中,而不仅仅是我们面前的一个桌面。这扩展了桌面以外可用的交互区域。它为我们提供了创建焦距区域交互的能力,我们可以在物理空间上的移动,这就像是在一个真实的车间工作一样。同时作为附属的好处,这样做还可以简化个别的交互接口,并且可以帮助检测分辨率的问题。
利用3D声音提升定向提示的体验
空间声音可以为我们提供关于我们周围物体的状态和位置的微妙信息-从我们点击一个交互按钮的咔嚓声到远处物体发出的一个温和提示。声音比视觉在一个更无意识的层面运行。当我们有意识地引导视觉朝向物体时,声音可以从它的发射器向我们发出。这意味着我们不仅能通知用户一个对象的状态(举例来说,火车到站了或者一个烤箱正开着),还有他们的方向,并且可以引导用户朝向物体。再加上其余的传感器设备以及头戴设备上的语音控制。这种组合方式可以满足一些非常高级并且自然直观的场景。比如,3D声音通知从对象的方向发出。用户就会朝向它(缩小寻找的范围)并且发出一个针对于那个对象的及时语音命令。这样AI的负载就减少了,机器也会更快的给出相应地响应。
按这种方式创造实例
在原型设计的过程中,我们建立了一组例子,涉及到了上面讲述的各种要素,我们会在不断的实践中对他们进行更深入的分析。我们预计这个月晚些时候会在GitHub上发布开源的代码,这样你就可以实际的使用这些例子了。
旋转佛像演示了如何用旋转茶杯来映射到一个界面操作上,使其变得更真实
机械臂展示了直接操作一个虚拟物体
上午简报展现了娱乐以及规划等不同功能空间是如何联系的
找到你的钥匙演示了3D声音结合视觉线索来使用,可以帮助你更好的浏览空间,并找到你丢的东西
令人惊奇的事情即将到来
混合现实在结合真实与虚拟的应用上还存在无限的可能-不是完全像VR场景或游戏一样完全沉浸在虚拟中,而是对现实的拓展与增强。这种给现实中的物体增加虚拟信息的能力,开启了我们成为超级人类的机会(从让我们成为专业的驾驶员到解放手工劳动力,再到作战中的远程辅助设备。)。与创建三维交互式虚拟原型的能力相结合,我们可以在不失去与人联系的情况下实时的进行协作,MR这种新媒介很可能是下一代的交互方式。
原文作者:Peter Koraca
原文链接:https://medium.com/method-perspectives/interacting-with-the-virtual-a-mix-of-realities-5d83547c96d2
往期好文
大牛,别默默的看了,快登录帮我点评一下吧!:)
登录 立即注册