引言

在 2023 年 6 月的 WWDC 发布会上，Apple 发布了搭载 Vision OS 系统的第一代空间计算设备 VisionPro。将 XR 行业推向新的阶段。看完发布会会，我隐隐嗅到了新时代到来的气息。未来新的内容平台很可能是属于 XR (Extended Reality 扩展现实）也就是 Apple 在 WWDC 发布会上提出的空间计算设备。

我之所以认为XR可能成为下一代的内容平台，是因为我在回顾个人计算时代和移动计算时代的过程中，发现人与机器交互速度的提升是一个重要的标志。从个人计算时代的GUI（用户图形界面）到移动计算时代的Multi-touch（多点触控），我们可以看到，无论技术如何更新换代，其核心始终是关注人与机器的交互效率和体验。而Apple新推出的VisionPro平台，无论是在人机交互效率、内容呈现体验，还是计算能力上，都已经展现出超越现有移动计算平台的潜力。

接下来，我将详细解释空间计算的概念、XR行业的发展，以及为何VisionPro能够引领新的变革，以及空间计算与AI的有趣融合。

如何理解空间计算？

在狭义的理解框架或者说更普遍的认知视角中（这里我们不讨论广义的空间计算概念，聚焦在与人进行交互的空间计算应用。），通常将空间计算的定义划分为以下三个主要的组成部分：

空间感知

让机器具备对空间大小的感知能力，理解机器自身所处的具体位置，以及对人与物之间的空间关系的把握。这不仅包括了对空间的基本认知，还涉及到对空间内各种元素的相对位置和相互关系的理解。

三维重建

实现数字内容在物理世界中的投射和渲染。这意味着我们可以将虚拟的数字信息转化为物理世界中的实体，使其能够在真实的环境中呈现出来，从而实现虚拟与现实的无缝融合。

用户感知

让机器通过多种传感器实现多模态信息输入，以实现与用户的交互。这不仅包括了基本的操作交互，还包括了对空间数字内容的理解和应用，使得用户能够更好地利用空间计算的技术，实现更高效的工作和生活方式。

进入“空间计算”时代的人机交互设备

拓展现实（Extended Reality，简称XR）是一种涵盖了所有沉浸式技术的综合术语，主要包括增强现实（Augmented Reality，简称AR）、虚拟现实（Virtual Reality，简称VR）以及混合现实（Mixed Reality，简称MR）。

增强现实（AR）是一种技术，它将虚拟信息和对象叠加在真实世界之上，从而增强我们对现实世界的感知。用户在使用AR技术时，并未与真实世界隔离，仍然可以与现实世界进行互动，观察到他们周围发生的事情。例如，汽车的抬头显示（Head Up Display，简称HUD）就是AR技术的一种应用。

相对于AR，虚拟现实（VR）则是一种完全不同的体验。在VR环境中，用户会完全沉浸在一个模拟的数字环境中，必须通过VR头盔或头戴式显示器来体验这种全新的现实。在这种环境中，用户的大脑会被欺骗，以为自己身处在一个全新的、由数字创造的环境中。

混合现实（MR）则是介于AR和VR之间的一种技术。在MR环境中，数字和真实世界的对象可以共存，并且可以实时互动。MR和AR在很多时候容易被混淆，但其实它们之间有一个显著的区别：虚拟信息是否会随着视角的移动而移动。如果虚拟信息会随着视角的移动而移动，那么这种技术就是AR；反之，如果虚拟信息不会随着视角的移动而移动，那么这种技术就是MR。

XR 行业的发展历史

XR行业的发展历程可以被概括为四个主要阶段：萌芽期、上升期、转向期以及新浪潮。

起初，XR的概念在1938年首次出现在法国剧作家的作品《戏剧及其重影》中，标志着XR行业的萌芽期。然后，经历了两轮低谷期，直到2018年，随着Meta公司每年投入数十亿美元的资金，XR行业迎来了上升期。

在2018至2019年间，全球XR设备的出货量超过了1000万，这一阶段可以被视为XR行业的转向期。然而，XR行业并未因此而停下发展的步伐。到了2022年，随着Pancake和See-Through技术的突破，XR设备变得更加轻便，与现实世界的连接也更加紧密。

紧接着，在2023年，苹果公司推出了Vision Pro，这款设备向世界展示了MR设备的最高水准，将XR行业推向了新的阶段，也就是我们现在所处的新浪潮阶段。

空间计算领域（XR），尚未出现统一江湖的王者

在 XR 领域，尽管许多科技巨头都在尝试推出自家的 XR 产品，但至今仍未有一家公司能够独占鳌头。微软、谷歌、索尼等公司在各自的领域都有着显著的成就，但在XR领域，他们都面临着巨大的挑战。

微软投入超过 10 亿美元的 HoloLens 项目在体验和应用方面都存在问题，目前该项目在公司内部的地位较为边缘。谷歌的 Google Glass 项目则因为各种问题直接停止了运作。Meta 的 Quest 虽然是目前发展最好的产品，但也存在不少问题。由于其采取的是低价换取市场份额的策略，导致硬件受到成本限制，无法提供更好的显示效果和运算速度。因此，大部分用户只将Quest作为娱乐或社交工具，而非生产工具。

Vision Pro 最有希望的破局者不得不感叹 Apple 强大的设计和整合能力，我们分别从 4个方面来分析 Vision Pro 的优势：

交互优势

这是几乎是最影响 XR 设备体验的一部分，Vision Pro 抛弃传统的手柄输入，通过人类自身的肢体语言和视线就可以与机器进行交互。这并不是简单的移动，而是能够完全的覆盖现有 Mobile 的操作习惯，如单击、双击、拖拽、滚动、旋转、缩放，另外应用可以设计手势，如打鼓之类的手势。

硬件优势

2块单眼4K的显示器，在大部分情况下感受不到显示的颗粒感。以及全功率的M2芯片能够将画面的延迟处理在 12ms 以下，这点非常重要，如果画面的延迟超过20ms 会导致人体出现眩晕的感觉。

平台优势

Vision Pro最大的优势之一在于，iPhone和iPad的开发者可以轻松将现有应用移植到该设备的操作系统visionOS中，使用他们熟悉的工具和框架。这与竞争对手如Meta、Valve、PlayStation和HTC形成了鲜明对比，后者主要依赖于Unity或OpenXR等平台制作虚拟现实和增强现实应用程序和游戏。

与其他头显生态系统不同，苹果承诺在Vision Pro上市的第一天就提供数十万款应用程序，这得益于该公司在其他平台上的基础。苹果将自动将iPad和iPhone应用程序转换为“一个可缩放的2D窗口”，适用于Apple Vision Pro，无需额外工作，除非开发者有其他定制需求。

你的下一个“X”不必是“X”

根据美国哈佛商学院的研究数据，人类大脑每天通过五种感官接收外部信息的比例为：味觉1%、触觉1.5%、嗅觉3.5%、听觉11%以及视觉83%。混合现实（MR）设备占据了94%的信息输入，几乎可以还原真实体验，让人们可以体验月球旅行、学习架子鼓，甚至与千里之外的朋友一起打乒乓球。即使你手中拿着的只是一个手电筒，你也可以真实地挥拍，而空间音频技术则能让你听到乒乓球与球拍碰撞的声音。所有这些体验都能被尽可能地还原。

现在不是消费者体验的时刻，是开发者入场的获取先机时刻

VisionPro发布后，除了受到许多赞美，也引发了一些负面声音，比如设备重、佩戴时间过长可能导致头痛，以及售价高达3499美元，让大多数人望而却步。然而，我认为距离VisionPro真正普及还有一段路要走。苹果的策略应该是展示未来混合现实设备的想象力，吸引更多相关产业研发人员和应用开发者的加入。我相信在不久的将来，会有更轻便、更实惠的设备问世，也许会叫做VisionAir，也可能是Vision 1。

VisionPro 为人机交互领域带来哪些新变化

作为一名专注于互联网的体验设计师，我对VisionPro在此次展示中所呈现的技术和设计变革进行了深入的分析。我想明确的是，这些并非我认为是Apple的首创，而是我在VisionPro中首次看到的创新元素。我将这些变化划分为硬件&操作平台、设计语言、用户界面以及交互模式等几个关键维度，并将从这些维度中选取一些具有代表性的点进行详细解读。

一、新的输入方式 - Personal input 个人输入

"Personal Input 个人输入"是一种源自用户自身的交互方式，与主流的XR设备的“手柄交互”有所不同。这是一种更接近“直觉”的交互方式。通过结合视线和手势，用户只需将手放在膝盖上，就可以利用环绕在设备周围的12个摄像头与机器进行交互。这种交互方式引出了“视线输入”和”手势输入“方式。

“视线输入”的设计要点

1、中心优先原则

在视线与信息容器形成30°夹角的区域被定义为中心聚焦区域，这个区域非常适合进行沉浸式阅读和工作。60°夹角内的区域是眼球转动的最佳区域，眼睛在这个区域内左右转动的负担较小。90°则是视野的边界，这个区域内的运动和变化可以被眼睛捕捉到，但超过这个区域的信息则难以被发现，可能会给用户带来较大的视觉负担。

2、遵循眼睛的生理特性

研究表明，圆形和具有圆角的元素更易于视线向中心瞄准，因此在主要依赖视线定位的MR设备UI界面设计中，圆形或大圆角的元素将更受欢迎。同时，我们需要考虑到眼睛的生理结构限制，例如，眼睛向下或左右移动的能力优于向上和对角线移动。这意味着，与通过鼠标等输入设备相比，操作路径设计在MR设备中更为重要。如果路径设计不合理，用户的视觉疲劳会迅速加剧。因此，我们需要遵循菲茨定律，这是设计MR设备的关键。

3、视觉深度：预期与现实

我们的视觉系统通过接收并转化光线，使我们能够感知周围的环境。当物体靠近我们时，大脑会利用眼部肌肉来调整焦距，使我们能够清晰地看到物体。这个过程被称为聚焦。聚焦的距离是由大脑根据对物体大小的经验来调整的。

例如，当我们说"看"、"观察"或"望"时，我们实际上是在描述物体距离我们的远近。在现实世界中，我们已经习惯了这种变化。然而，在空间设计中，理解视觉深度的原理尤为重要。如果设计缺乏足够的视觉深度线索，或者这些线索之间存在冲突，眼睛可能无法正确地聚焦，从而导致重影和视觉疲劳。下面是视觉线索冲突的案例：

4、注视反馈（UI 响应视线）

通过引入视线+手势的交互模式，因此界面上所有元素都应该反馈视线的注视，VisionOS 通过名为”Subtle Visual Brightening“系统内嵌的元素交互实现了这一效果。但如果我们为其他平台设计，这也是一个需要重视的全局反馈样式。下面是VisionOS的注视反馈效果：

手势输入的设计要点

“符合直觉”原则

手势输入主要有两种模式：远距离交互模式和直接交互模式。需要注意的是，这里所说的直接交互并非指与真实物理世界的接触，而是在虚拟世界中与虚拟对象的直接接触，例如使用手敲击虚拟键盘。

1、远距离交互模式

在远距离交互模式中，用户通过视线和手势进行输入。在这种模式下，手势设计应符合直觉，尽可能让用户保持熟悉感。例如，如果我们正在设计一款待办事项应用，并希望用户能关闭已完成的任务，我们可以设计一个手指从左到右水平滑动的手势来完成这个操作。这是一个符合直觉且易于学习的手势。VisionOS对自定义手势的设计指南中提到了以下几点：

• 符合直觉
• 避免与现有的手势冲突
• 舒适且容易学习
• 明确的（易被系统识别）

VisionOS系统定义的手势借鉴了其他人机交互设备常用的手势，区别在于过去依赖输入设备，而现在只需用手指就可以完成以下指令：

• Tap（捏一下手指）
• Double Tap（捏两下手指）
• Pinch and hold（捏住不放）
• Pinch and drag（捏住不放并拖拽）
• Zoom（捏住向相反方向拉）
• Rotate（捏住并旋转）

2、直接交互模式

在VisionOS中，我们称之为"直接触摸"的交互模式需要关注两个主要方面：一是选择使用直接交互模式的场景，二是直接交互模式的反馈补偿。

首先，我们通常在观察不熟悉的物体或创作、修复物品时使用直接交互模式。在这种模式下，我们可以将虚拟对象拉近以便观察和修改。此外，基于肌肉记忆的交互机制，如打鼓、打碟、绘画、投篮等，也适合使用直接交互模式。其次，我们需要考虑"反馈补偿"。在物理世界中，触摸会产生多种感官反馈，如触觉、压觉、温觉、痛觉。然而，在虚拟设计中，这些反馈是不存在的。因此，我们需要对触觉进行补偿。在MR设备中，用户接收的信息输入主要是视觉和听觉，因此我们需要尽可能利用这两种感官来补偿其他感官。我们可以设计出对手指靠近的反应的可交互物体，并在接触的瞬间配合适当的空间音效来补偿反馈。

Immersion Spectrum 全视域显示

在VisionOS平台中，全视域显示（immersion spectrum）的价值在于打破窗口的边界，为用户提供更为沉浸的体验。Share Space（开放模式）、Full Space（全沉浸模式）和半沉浸的过渡模式，以满足不同的需求场景。处于舒适性和安全性的考虑我们在设计应用的时候应该注意下列情况。

• 避免剧烈运动可能会带来的生理上的不适，如眩晕
• 当用户在实际空间中移动时需要自动退出Full Space
• 提供清晰的退出交互，让用户始终保持对环境的掌控
• 引导用户的注意力，通过视觉聚焦进行连贯性的状态转换

二、新的设计语言-舒适感 comfort

在XR设计中，舒适感的营造至关重要。为避免给用户带来生理负担，我们需要学习并应用人体工程学的知识。以下将从人体生理结构和运动舒适性两个方面进行探讨。

生理舒适性的要素

1、视线焦点的稳定性

眼睛一次只能聚焦在一个深度上。频繁改变聚焦深度会导致视觉疲劳，因此我们保持视线的连贯和专注。

2、眼睛的活动范围

在需要用户长时间阅读的场景下，我们应知道向下或左右转动眼睛最为舒适，而向上和对角线的旋转容易造成眼肌疲劳。因此，我们应将内容放置在用户眼睛下方，并合理控制内容的宽度，以避免用户在Z路线阅读时跨越过长的距离。

3、脖子的移动范围

脖子左右的旋转角度大于上下的旋转角度，因此我们在设计交互界面和内容时，应优先选择更宽而非更高的长宽比。

4、内容设计的影响因素

需要长时间聚焦的内容，如阅读，应支持用户调整深度。数据表明，将内容放在超过手臂长度的距离更适合长时间查看。我们应避免将内容放置在过近的距离，以减轻视觉负担。除非使用场景更适合采用直接触碰的交互模式。同时，我们应关注用户的环境与应用的对比度，如从暗环境到明亮环境的过渡，应给眼睛足够的适应时间（大家都有睡觉时被突然开灯的经历吧）。

5、交互模式的对生理的负担

我们要谨慎的选择直接交互模式，这可能会需要用户长时间将双手举在空中。

确保运动的舒适性

人类使用多个感官系统来体验真实世界和虚拟世界。视觉系统负责接收光线并处理所感知的内容，而内耳中的前庭系统则在测量身体的运动。我们需要了解，视觉运动信息与前庭系统感知应保持一致。当运动信息缺少或与前庭信息冲突时，可能会导致运动不适，如头晕或胃部不适。例如，小孩在乘坐汽车时，由于身高较低，无法获取到车外的视觉运动信息，而前庭系统却在获取运动信息，因此小孩比成人更容易晕车。另一个例子是，当一个或多个虚拟对象覆盖了视线的大部分并移动时，观众的大脑可能会误认为自己在移动，这可能会导致不适。

AI 与 XR 的相遇：开启新的体验纪元

如果要评选2023年的年度关键词，我相信AI会是其中之一。这个关键词不仅代表了科技的前沿，也预示着未来的发展趋势。对于XR行业来说，AI的崛起无疑是一个前所未有的机遇。

XR体验在很大程度上取决于内容的质量，而提升虚拟世界的沉浸度则需要大量的细节。以VisionOS的设计指南课程中提到的一个例子来说，设计一个夏天的池塘，设计师需要为整个空间添加大量有细微区别的青蛙的声音、虫子的鸣叫、风吹过树叶的沙沙声等细节。在过去，这可能需要人工或依靠固定的程序实现。然而，现在，随着机器学习大模型的爆发，这些可以提升XR体验的细节可以更高效地实现。

AI的应用不仅可以提升内容的质量，也可以极大地提高生产效率。通过机器学习，我们可以让计算机自动学习和理解世界，从而生成更丰富、更真实的虚拟世界。这种技术的应用，无疑将为XR行业带来革命性的变化。

同时，AI也可以帮助我们更好地理解用户，提供更个性化的体验。通过分析用户的行为和反馈，我们可以不断优化虚拟世界，使其更符合用户的需求和期望。

最后

以电影《超体》片段作为本文的结束影片，这可能是未来XR设备能给我们带来的体验。

Powered by Froala Editor