侵权投诉
技术:
MCU/处理器 IP/EDA 封装/测试 电池/电源管理/驱动 传感/识别 显示/触控 声学/模组 OS/软件/算法 VR/AR 人机交互 通信 云服务/大数据 +
安全/隐私 材料/工艺/制造 工业设计 检测/认证 其它
产品:
智能手环 智能手表 智能眼镜 智能头盔 智能耳机 智能首饰 智能服装 智能腰带 智能手套/鞋袜 手持设备
应用:
医疗 运动/健身 娱乐 定位/安全 信息资讯 工业/军用 其它
订阅
纠错
加入自媒体

自嘲与它讽,前Oculus负责人谈Vision Pro那些事

2024-03-18 13:51
VR陀螺
关注

文/VR陀螺

“故意让 Vision Pro 光学变得模糊是苹果公司的一个聪明之举,因为它通过隐藏纱窗效应(这实际上意味着你不会看到像素化伪影)来全面实现更平滑的图形。”

“这也是苹果的“品味”发挥的地方,本质上导致 Vision Pro 显示屏被调整为比 Quest 3(或任何其他 VR 头显)具有独特、更柔和、更精致的美感。这无疑是一种令人耳目一新的 VR 硬件设计方法。”

近日,前 Oculus 负责人 Hugo Barra 日前发表了一篇深度文章中如此评价道。Vision Pro 作为苹果推出的第一款全新 XR 硬件,吸引了无数人的目光,同样也包括这位从业多年的资深玩家。

Hugo Barra 曾在谷歌担任了五年的 Android 副总裁,之后转到小米担任全球运营副总裁,2017 年至 2021 年间,他担任 Facebook 虚拟现实副总裁兼 Oculus 负责人。

Hugo Barra 从产品设计、硬件配置和应用生态等方面详细分析了其对 Apple Vision Pro 的基本看法。

文章主要讨论的主题包括以下十点内容:

为什么我相信 Vision Pro 可能是一个过度设计的“开发套件”Apple 一些硬件决策背后的天才和大胆凝视和捏合是令人难以置信的 UI 超能力和主要行业的惊喜时刻为什么 Vision Pro 软件/内容故事如此乏味且缺乏想象力为什么大多数人不会使用 Vision Pro 看电视/电影苹果公司对沉浸式视频的押注彻底改变了体育直播的游戏规则为什么我退回 Vision Pro……以及我需要重新考虑的十大愿望清单苹果的 VR 首次亮相是 Oculus/Meta 有史以来最好的事情我主动向 Meta 提供的Quest Pro 2及更高版本产品建议无论我们承认与否,Apple Vision Pro 都是 VR 行业所需的北极星

以下为 VR陀螺基于 Hugo Barra 原文编译整理(第一人称视角),略有修改:

一、竞争能让市场成长,Vision Pro 让我看见了“北极星”

在我成年后的大部分时间里,我一直是一个 VR 爱好者,从 20 世纪 90 年代在迪士尼 Quest VR 实习,到 2013 年在 Kickstarter 上成为 Oculus Rift DK1 的早期支持者,再到 2017 年至 2020 年在 Meta 领导 Oculus VR/AR 团队(并与John Carmack, Brendan Iribe和Jason Rubin 等 VR 传奇人物一起工作),并且测试能让我得到每一个 VR 产品或体验。

在 Oculus 的时候,我曾经半严肃地和团队开玩笑(而且通常会因此而受到很大的热议!),我们能发生的最好的事情就是让苹果进入 VR 行业,并成为 Oculus 的直接竞争对手。我始终相信,在任何行业中,激烈的竞争都会促使团队做到最好。

我在 iOS/Android 生态系统之争的中心生活了近 10 年,这一点对我来说变得非常清晰,每一方都通过不断提高用户体验、功能、性能、开发者 API 等标准,相互促进成长。一方的回应不仅是快速跟进,而且通常还会改进对方发布的内容。

但就 Oculus 的 VR 而言,我们从未真正感觉到世界上有一颗能够真正俘获人类心灵和思想的北极星,如果没有北极星,就不可能将 VR 从小众游戏玩家技术转变为令人难以置信的空间计算,我们一直认为它可能有代表的范式(我仍然非常相信)。如果苹果关注 VR,他们真的可以帮助我们。

Vision Pro 的发布或多或少地实现了我一直希望的这一点,那就是建立起巨大的意识和好奇心,从而提升空间计算生态系统,并最终可能导致大众市场消费需求的增加,以及吸引更多开发人员对于 VR 的兴趣。现在,业界需要创造足够的用户价值,并证明这是否真的是计算的未来。

二、Vision Pro两大闪光点:“临场感”与“新交互”

可以将 Vision Pro 的魔力归结为:(1) VR 中前所未有的新水平临场感,(2) 使用凝视和捏合的全新人机交互。

无论你是否使用过其他 VR 头显,使用 Vision Pro 都会立即获得神奇而直观的体验,这纯粹是因为 Apple 坚持不懈地致力于提供两项体现人性的特定功能:

感觉身临其境并与物理世界相连:得益于高保真 See-Through(“混合现实”)体验,具有极低的延迟、出色的失真校正(比 Quest 3好得多)以及足够高分辨率,让用户甚至可以通过 See-Through 摄像头查看手机/计算机屏幕。

尽管 Vision Pro 硬件的未来迭代版还存在重大空白有待填补,但与现实世界的这种程度的连接是其他 VR 头戴设备无法实现的,到目前为止,只有 AR 头戴设备(例如:HoloLens 和 Magic Leap)才能实现这一点,这些头戴设备具有物理透明显示屏,但在许多其他方面有一定局限性。Apple 将 Optic ID 实施为实时直通之上的覆盖层,这是一个漂亮的设计决策,只会增强这种存在感。

我的看法:Vision Pro 高保真的 See-Through 体验与 Apple 推出的 iPhone 原创视网膜显示屏类似,后者在移动显示保真度方面树立了新的体验标准。虽然 Vision Pro 的 See-Through 体验还有很多需要改进的地方,但苹果无疑为所有未来的头显(任何供应商)设定了一个新标准,即 VR See-Through 必须要足够好,才能与现实非常相似。

拥有新的用户交互超能力:包括凝视和捏合,归功于嵌入到镜头中的非常精确的眼动追踪系统(每只眼睛有 2 个专用摄像头),再加上宽视场手部追踪系统,可以“看到”即使双手垂下或放在膝盖上,头显也可以精准识别到手指的位置。它对用户来说非常轻松,所以感觉就像拥有了新的“激光视觉”超能力。

VR 中追踪眼睛和手部所需的硬件已经存在十多年了,正是苹果独特的能力以神奇的方式将一切整合在一起,使这种 用户交互超能力成为整个 Vision Pro 产品最重要的特性。

我的看法: Vision Pro 的新“凝视+捏合”输入模式相当于 iPhone 电容式多点触控手势的 VR 功能。近 17 年前,Apple 在推出第一款 iPhone 时推出了多点触控技术,立即成为永远改变计算的新标准。“凝视+捏合”是如此具有开创性,以至于它立即成为 VR 交互的新标准,未来的 VR 头显迟早会被迫采用,这也将是一个巨大的内容开发的解锁。

三、Vision Pro是一款过度设计的“开发套件”,1-2代内会实现市场契合

Vision Pro 是一款精心设计、过度设计的“开发套件”,它过于笨重,无法适应产品市场,但足以激发人们对世界的好奇心。

Oculus VR 的故事始于 2013 年 Oculus Rift DK1(“devkit v1”或“development kit v1”的缩写)的推出。这是一款由最初的 Oculus 初创团队推出的头显,其明确的目标是在商业发布之前,激发开发者的兴趣。此时,Facebook 还未抛来橄榄枝。

鉴于当时 VR 市场还不存在,对于初创公司来说,发布开发套件是正确且必要的策略,以便在推出消费产品之前开始构建内容库,吸引相关爱好者。大约一年后,团队在 2014 年发布了 DK2 ,并最终在 2015 年推出了第一款 Oculus Rift 消费者头显。

Oculus 联合创始人 Palmer Luckey 佩戴 2013 年发布的初代 Oculus Rift DK1

当我在 2017 年加入 Facebook 领导的 Oculus 团队时,我发现自己好像陷入了许多战斗中,其中一场就是“devkit 战争”。Oculus 团队的 DK1 和 DK2 遗产是如此强大,以至于在产品会议上经常听到有人要求我们将仍处于原型阶段的 VR 头显作为“开发工具包”发布给最终用户。

由于 Oculus 不再是一家初创公司,拥有大量的资源来测试原型机,而不用将其作为产品发布,还可以运行大量的预发布开发程序,因此 Oculus 开发工具包的存在不再有意义。这种立场常常使我在 Oculus OG 的一些同事中不受欢迎。

快进到 2024 年。Vision Pro 发布后,VR 硬件爱好者社区(包括我仍然保持联系的 Oculus OG 人员)很快得出结论,苹果在设计这款 VR 产品时确实非常谨慎。首先,Vision Pro 配备的传感器数量超出了提供 Apple 预期体验所需的数量,这是开发多年的第一代产品的典型特征,它让 Vision Pro 开始感觉像一个开发套件。

传感器组:6个追踪摄像头、2个See-Through摄像头、2个深度传感器(加上4个未显示的眼动追踪摄像头)

以下是与现有 VR 头显的摄像传感器比较:

Vision Pro 的过度规格不足为奇,这是“v1”产品的特征,其团队希望确保它能经受住最艰难的测试,而早期用户也无疑希望让该产品通过(各种)测试。这也是苹果公司了解开发人员将产品功能推向多远的一种方式,因为苹果公司依赖开发者为 Vision Pro 制作大部分软件/内容,就像他们之前为其他设备类所做的那样。

然而,苹果公司对 Vision Pro 规格过高的决定确实导致了头显重量超过 600 克的不可避免的后果——比目前市场上大多数其他 VR 头显都要重——这使得大多数人很难一次性戴上 30-45 分钟以上,大多数不适来自使用者脸部和后脑勺受到的压力。

我的看法:由于其重量,Vision Pro 不可避免地作为一个高质量的“开发套件”登陆市场,旨在用它的魔力(特别是通过热情的技术)捕捉每个人的好奇心和心灵,同时又专注于开发人员作为其主要受众。换句话说,Vision Pro 是一款开发套件,可帮助世界做好准备,迎接一款更主流的 Apple VR 头显,该头显可在 1 或 2 代内实现产品市场契合。

基于这些因素,我相信苹果公司的计算是正确的,优先推出体验和设计妥协较少的第一代产品,而牺牲用户的舒适度。尽管许多人认为苹果可以通过重新分配重量或使用更轻的材料来避免这一主要的舒适度问题,但这些尝试将以牺牲美观和设计为代价。

考虑到这一点,就很容易理解苹果为 Vision Pro 发布做出的两个特别重要的决定:

设计令人难以置信的店内 Vision Pro 演示体验,主要目标是让尽可能多的人通过 Apple 镜头体验 VR 的魔力,其中大多数人甚至无意考虑购买这款设备。当然,该演示的第二个重点是实际销售 Vision Pro 头显。

推出一款标志性的编织头带,尽管这款头带对于绝大多数头型来说不够舒适,但拍摄效果却很漂亮。很容易得出这样的结论:这一决定得到了回报,因为几乎所有媒体报道(包括尤其是 YouTube 上的第三方评测)都使用了编织头带,尽管事实上它不如“隐藏在盒子里”的双环头带舒适。

四、Vision Pro上市前提:4K分辨率Micro-OLED的成熟

Vision Pro 之所以能在 2024 年面世,完全是因为苹果成功推出了首款超高分辨率显示屏。

从一开始,我们在 Oculus VR 团队中最大的产品定位争论之一,总是与显示器有关。每一款曾经发售的 Oculus 头显(包括最新的 Quest 3)都遭遇过分辨率/像素化问题,从“可怕”到“非常糟糕”不等,这就像我们生活在一个与虚拟现实相当的 VGA 电脑显示器世界。

我的看法:为了让苹果公司在进入 VR 市场(这一领域已经在消费者世界中流行了近 10 年)引起巨大轰动,他们需要推出一款明显优于以往任何头显的产品。要做到这一点,最有效的方法就是攻击所有现有头显的致命弱点,并重新发明 VR 显示器,而这正是苹果在 Vision Pro 上所做的。

Vision Pro 是第一款提供足够好的分辨率和视觉敏锐度的 VR 头显,几乎没有纱窗效应或像素伪影。这种水平的临场感和保真度只能通过超高分辨率显示屏才能实现,而且 100% 明确的是,达到这种显示质量水平是 Apple Vision Pro 的内部标准。

苹果不懈、不妥协的硬件疯狂在很大程度上使得 VR 头显中能够存在如此高分辨率的显示屏,而且很明显,由于一个简单的限制因素——成熟度,该产品不可能早于 2024 年推出。Micro-OLED 显示器的出现,加上高能效芯片组的存在(即M2),可以提供驱动此类显示器所需的大量计算。

Micro-OLED 显示器与之前任何其他消费类显示技术不同,因为它们是在硅基板上制造的(类似于半导体芯片的制造方式)。为了客观看待 Micro-OLED 显示器的疯狂之处,Vision Pro 面板的像素密度比最新的 iPhone 高 7.4 倍,是 Quest 3 的近 3 倍。

iFixit 的人员使用科学显微镜创建了这个令人惊叹的 GIF,以将 Vision Pro 显示屏的像素尺寸(其尺寸为 7.5 微米,即人类红细胞的尺寸)与最新 iPad 和 iPhone 显示屏的像素尺寸进行比较:

来源:iFixit

Apple Vision Pro 的 Micro-OLED 显示屏在我的硬件供应链圈中引发了很多讨论,许多公司(主要是智能手机 OEM)竞相尝试打造一款能够提供与 Vision Pro 类似体验的产品。然而,Apple 已与索尼半导体解决方案集团及其第二供应商视涯科技签订为期 1 年的独家合作协议。还有传言称,苹果将放弃索尼作为显示器供应商的地位,转而采用京东方的屏幕。

我的看法:预计最近宣布的 Meta/LG 合作伙伴关系将为 Meta 创造供应链优势,以便他们能够将 Quest Pro 2 产品推向市场,与 Vision Pro 竞争,而 LG 也将参与其中降低头显的市场价格。

五、Vision Pro屏幕未达视网膜级别,隐藏了纱窗效应

苹果故意使 Vision Pro 显示屏变得模糊,以隐藏像素伪影并使图形显得更平滑。

Apple 没有在 Vision Pro 的营销材料中使用“视网膜”一词,这是有充分理由的。事实很简单,Vision Pro 的显示屏没有通过视网膜测试,该测试要求分辨率足够高,以至于人眼无法再辨别单个像素。Vision Pro 显示屏远不及 VR 头显的视网膜级别,但我们的眼睛在观看它时无法看到单个像素。

在使用 Vision Pro 的最初几天里,有一些东西一直在引起我的注意,但我很难用手(或眼睛)去控制它。我的眼睛在头显中看到的一切都比我预期的要柔和一些,我最初把这归因于它似乎没有任何纱窗效应。

但事实证明,并非如此。Karl Guttag 对 Vision Pro 显示屏进行了细致的分析,并得出了一个令人吃惊的结论:苹果有意将 Vision Pro 显示屏调得略微失焦,使像素有点模糊,并将纱窗效应隐藏在“肉眼可见”的地方。

Karl 的博客中的这张图片很好地解释了这一点,通过在足够近的距离并排比较 Vision Pro 和 Quest 3 显示屏,可以看到各个像素,并清楚地看到添加到 Vision Pro 显示屏的故意模糊效果:

Vision Pro (AVP) 和 Quest 3 (MQ3) 显示器之间的极端特写比较

Karl 得出的结论是,尽管 Quest 3 的显示分辨率比 Vision Pro 低得多(1,218 PPI 对 3,386 PPI),但 Quest 3 客观上显得更清晰,尤其是在显示高对比度图形时。换句话说,Quest 3 正在从其显示屏中挤出尽可能高的分辨率,但代价是“更粗糙的外观”,而苹果则放弃了 Vision Pro 的部分显示分辨率,以实现“更柔和的外观”。

我的看法:故意让 Vision Pro 光学变得模糊是苹果公司的一个聪明之举,因为它通过隐藏纱窗效应(这实际上意味着你不会看到像素化伪影)来全面实现更平滑的图形。这也是苹果的“品味”发挥的地方,本质上导致 Vision Pro 显示屏被调整为比 Quest 3(或任何其他 VR 头显)具有独特、更柔和、更精致的美感。这无疑是一种令人耳目一新的 VR 硬件设计方法。

通过这一设计决策,苹果无疑放弃了 Vision Pro 显示屏的一些高像素分辨率,以实现整体更流畅的图形效果。为了获得更高的图像、视频和 3D 动画质量感知,用户肯定会失去一些文本清晰度。这是从超高分辨率 Micro-OLED 显示屏开始的一大好处——苹果有足够的像素可供使用,他们有能力做出这种权衡。这是我们 Oculus 的核心 VR 工程师会一直奋斗到世界末日的事,我怀疑我们是否能够推出“模糊的头显”?

遗憾的是,Vision Pro 显示屏存在严重的运动模糊和图像质量问题,导致 See-Through 在较长时间内无法使用。

六、模糊像素的另一面:See-Through下出现运动模糊

虽然苹果决定让 Vision Pro 显示屏上的单个像素变得模糊,这一决定非常明智,但不幸的是,这款头显遇到了一种完全不同类型的模糊,这对整体体验来说是非常有问题的。

从我第一次戴上 Vision Pro 开始,我就注意到即使在良好的环境照明条件下,See-Through 下也会出现很多运动模糊。在观看沉浸式内容时,仍然会出现明显的运动模糊。虽然我的第一反应是认为所有 VR 头显都存在这种运动模糊,而且在 Vision Pro 上更明显,但与 Quest 3 的并排比较很快证明它在 Vision Pro 上明显更严重。考虑到 See-Through 摄像头和显示器都以 90 赫兹运行,这一点尤其令人惊讶。

See-Through 下的运动模糊最终成为我决定退回 Vision Pro 的众多原因之一,因为它很不舒服,会导致不必要的眼睛疲劳,并且确实会妨碍用户长时间使用头显的 See-Through。

还有其他影响 See-Through 的明显问题,包括动态范围很小、大多数室内使用情况下的白平衡不正确,以及边缘失真和色差的迹象。其中一些问题可能可以通过软件更新来解决,但我预计大多数问题都不会,因为它们可能是硬件堆栈的限制。

七、M2+R1,Vision Pro性能达到了MacBook Pro级别

Vision Pro 的计算能力比大多数人想象的要强得多— M2 + R1 组合使其达到 MacBook Pro 的水平。

任何一体式的 VR 头显基本上都是一个二合一系统:一台普通的“计算”计算机和一台捆绑“空间”的计算机。

负责运行应用程序和执行一般计算的普通计算机:这是智能手机、平板电脑或笔记本电脑上发生的所有事情,包括运行操作系统、跨 CPU/GPU 负载执行应用程序以及在后台执行计算工作。

负责环境的空间计算机:它跟踪整个环境,跟踪用户的手和眼睛,并确保一切(周围环境、操作系统用户界面和应用程序)都在空间中正确的物理位置渲染,并且当用户的头部和身体移动时,每秒更新 90 到 120 次。

这两台“计算机”必须一起运行,不能错过任何一个节拍——任何超过 20 毫秒的延迟都会在 VR 中很快变得明显,并且通常会很快转化为让用户感觉反应迟钝或卡顿的感觉,这可能会导致许多人感到不适、眼睛疲劳甚至头晕。

苹果官方介绍道:“独特的双芯片设计可在 Apple Vision Pro 上实现空间体验。强大的 M2 芯片同时运行 visionOS,执行先进的计算机视觉算法,并提供令人惊叹的图形,所有这些都具有令人难以置信的效率。全新的 R1 芯片专门用于处理来自摄像头、传感器和麦克风的输入,在 12 毫秒内将图像传输到显示器,从而实现几乎无延迟的实时世界视图。“

Vision Pro 配备与 2022 年 iPad Pro(或 2022 年 MacBook Air)相同的 M2 芯片,以及新的 R1 芯片,该芯片可处理来自 20 多个跟踪摄像头和深度传感器(传感器融合)的大量数据。值得注意的是,Vision Pro 在基准测试中的表现实际上与 iPad Pro 非常相似,在单核和多核场景中将 CPU 和 GPU 推向极限(见下图)。 

这比看起来更令人印象深刻,并且表明 R1 芯片正在执行大量繁重的工作(本质上是绝大多数空间计算工作负载),为 M2 芯片留下大量计算空间来提供相同水平的性能,就像它只是在 iPad Pro 中运行一样。

到目前为止,R1 芯片的封装尺寸似乎与 M2 芯片相当相似(尽管使用专门的架构构建),这使得 Vision Pro 远远领先于任何当前一代的 iPad 或 MacBook Air,甚至可能更多从芯片性能角度来看,与 MacBook Pro 相当。

这也引出了一个问题,如果您可以将 Vision Pro 的计算完全卸载到另一台 Apple 设备上会怎样?

八、Vision Pro的未来算力,或基于iPhone等设备

苹果决定使用捆绑包,将 计算负载转移到 iPhone、iPad 或 MacBook,从而使未来的 Vision 头显变得更轻。

Vision Pro 最具争议的方面之一是它配备了外置的电池组,这与所有其他商用的一体式 VR 头显不同。由于外接电池带来的不便,许多人对苹果的这一决定提出了不满。

我同意 Palmer Luckey 的观点,考虑到 Vision Pro 内部硬件的实际情况,这是苹果必要的短期决定,但更重要的是,这是一个非常有意的长期决定。

正如我之前提到的,Vision 是一台经过精心设计的计算机,拥有大量耗电组件:

2 个笔记本电脑级处理器(R1 芯片的工艺几乎与 M2 相同,M2 与 MacBook 上搭载的处理器相同)2 个非常高亮度 Micro-OLED 显示屏,具有高像素密度1 个辅助 EyeSight 显示屏12 个摄像头和其他传感器2 个风扇2 个扬声器

正如 Snazzy Labs 的 Quin 在他评论中解释的那样,Vision Pro 的功耗可能高达 40 瓦,这比大多数 MacBook 笔记本电脑都要高。这也意味着它的电源可能会产生大量热量。因此,除了将电池重量从头显中转移出来之外,改用外置电池的决定还可以让巨大的热源安全地远离用户的头部。

我的看法:综上所述,拥有外部电池组的长期战略原因是让 Vision Pro 用户期望始终有一个外部盒子连接到头显。在未来的 Vision 头显中,苹果应该能够轻松地将大量电子设备从头显上移走,可能会在几代产品中减轻一半的重量,目标是 300 克左右。这也为苹果在几年内使用iPhone、iPad 或 MacBook 作为驱动头显的计算机开辟了一条极其有趣的道路,这将极大地简化头显。

有趣的是,当今市场上有一款分体式 VR 头显展示了这种理想的最终状态。它就是 Bigscreen Beyond,号称世界上最小的 PC VR 头显(即需要连接到计算机),重量为 127 克,甚至比大多数滑雪镜还要轻。Bigscreen 打造这款产品的能力在很多方面都有弊端,因为这款头显没有任何传感器(没有外部摄像头或眼球追踪),但它的存在仍然在让我们体验未来以及苹果的发展方向方面发挥着重要作用。

约翰·卡马克佩戴 Bigscreen Beyond VR 头显

九、定位空间计算,否定VR,苹果缺AR生态

“欢迎来到空间计算时代”是苹果 Vision Pro 的主要口号,正如 VR 行业所有人所期望的那样,苹果将全力以赴通过 AR(增强现实)来实现这一主张,该公司不遗余力地忽视了过去十年来人们所了解的所有 VR 内容。

Apple Vision Pro 营销的核心是“让用户与周围环境和其他人保持联系”。从这些字里行间,不难看出苹果采取了反 VR 立场,指责 Meta 的 VR 方法促进了人类的孤立。

我的看法:苹果的反 VR 立场是一个冒险的举动,因为它否定了大多数传统的沉浸式内容,这些内容使 VR 媒体流行至今,并且至少目前将 Vision Pro 逼入了一个空白的角落。这让我想起苹果在隐私问题上的立场——完全反对 Meta/Google——这使他们陷入了困境,严重限制了他们的选择并限制了人工智能时代的创新。

Vision Pro 应用商店中没有完全沉浸式的游戏,而 Oculus Quest 目录中超过 90% 的游戏都是沉浸式 VR 游戏。Apple 没有利用现有的高质量沉浸式 VR 内容开发者社区,而是将所有精力都集中在能够发挥公司生态系统优势(iOS 应用程序和 MacOS 生产力)的 AR 用例上。

3D AR 应用程序和游戏的发布名单无论在质量还是数量上都令人非常失望,其中大部分是一些简单的休闲游戏,其中一些最初是 2D 游戏,匆忙转换为 3D 艺术。事实上,ARKit 已经在 iPad 和 iPhone 上使用了这么多年(尽管取得的成功有限),这应该使 Apple 能够轻松地召集开发人员为 Vision Pro 构建足够数量的令人兴奋和令人印象深刻的 AR 游戏。相反,我们看到开发者最初对这个类别缺乏兴趣,而这个类别本应是 Vision Pro 上最具定义性和启发性的类别。

讽刺的是,Meta 在 2022 年推出 Quest Pro 时也几乎犯了完全相同的错误。尽管该头显在发布时强调“全彩混合现实”,但其 AR 应用程序几乎为零。

我的看法:这可能是第一个苹果无法像以前那样吸引开发者的设备类别,要想让数以千万计的 Vision Pro 活跃用户愿意为空间增强现实应用付费,还需要很多年(甚至可能超过十年)。苹果需要向 Oculus 学习,积极鼓励开发者为Vision Pro 开发产品。

Vision Pro 的定位是生产力和“大屏幕”观看电影, 乏味且缺乏想象力,但苹果却毫不掩饰地承认了这一点。

由于 AR 应用程序的上线清单薄弱且有限,几乎没有单个旗舰 3D 应用程序或游戏,所以导致 Apple 必须在发布时将 Vision Pro 的整个定位完全集中在如何插入现有的 Apple 2D 应用程序生态系统中。

在通常的苹果式产品营销中,Vision Pro 的发布信息非常明确地写入产品网页,每一项营销资产都与之一致。苹果如何选择对产品信息进行排序,与信息本身同样重要。Vision Pro 的 2D 效率为 60%,在大屏幕上观看媒体/电影的效率为 40%。

顺便说一句,FaceTime 与 persona 以及空间照片和视频也被推为 Vision Pro 产品消息传递的核心,但它们显然只是支持营销的辅助用例。虽然现在还太小,不重要,但它们可能最终会在未来发挥更大的作用。

我的看法: Vision Pro 的发布是一个重大的错失良机,苹果公司“欢迎我们进入空间计算时代”,其软件和服务堆栈实际上只专注于 2D 用例。尽管店内演示描绘了一个令人兴奋的未来,但苹果在发布时提供的体验充其量是乏味且缺乏想象力的。

抛开我对苹果在发布时对 Vision Pro 的关注的批评不谈,接下来的几节将深入探讨我对支持生产力和媒体用例的软件和体验的想法和意见。

Vision Pro 迫切希望成为“工作的未来”,并接替 Meta Quest Pro 完全失败的地方,但是……

早期 Oculus 时代我们最有力的论点之一始终是关于 VR 在“未来工作”中发挥决定性作用,从在大型虚拟显示器中运行 2D 应用程序到拥有原生 3D 应用程序,这将使工作和协作变得更加容易。

当 Meta 于 2022 年推出 Quest Pro 时,其大部分营销宣传实际上都是围绕 Workrooms 应用程序。该应用程序允许用户在 VR 中使用 Mac,并且非常注重所需的细节,从而真正可以在 VR 中工作几个小时,包括支持最多 3 个虚拟显示器以及能够在透视中查看物理键盘或者将其替换为完全 3D 渲染的数字孪生(虚拟键盘)。

图片来自 Quest Pro 发布营销

Quest Pro 的设计目标是比其他 VR 头显更加舒适,以便人们可以佩戴更长时间。虽然这是一次善意的尝试,但该产品有一个重大缺陷,使其不是“最低可行产品”,而且根本无法证明远高于 1,000 美元的价格标签是合理的。显示分辨率为 22 PPD(每度像素)太低,并且由于文本可读性差而远远不足以解锁“在 VR 中工作”,这个缺点(除了质量很差的透视之外)非常严重。

十、Vision Pro能否弥补Quest Pro失败的地方?

为了真正在现实场景中测试 Vision Pro,我花了 100 多个小时尝试部署尽可能多的我自己的生产力工作流程,包括本文中大约 1/3 的工作。我将在接下来的几节中分享我的结论。

首先,在深入研究 Vision Pro 作为工作/生产力计算机的价值主张之前,我需要尽可能具体地明确界定我的“要完成的工作”。当我处于“工作模式”时——无论是做实际的专业工作还是只是生活管理——我会来回使用三个不同的工作设备(除了我的智能手机,我不会在这里列出它):

办公工作站 | 配备 2 台 Apple XDR 6K 显示屏的 Mac Pro:我生产力最高的设置,因为它让我可以在单一视图中访问所需的所有内容,并实现零障碍多任务处理;这基本上是我对任何任务或项目的黄金标准,无论多么复杂,速度和质量最高。

笔记本电脑 | MacBook Pro 16 英寸:中高生产力配置,具有足够大的视网膜质量显示屏,仍然能够以足够好的多任务处理能力完成复杂的任务,尽管我确实感觉生产力明显较低;外出时需要携带背包。

平板电脑| 带键盘的 iPad Pro 11 英寸:中低生产力配置,适合专注于单一应用程序工作和极其有限的多任务处理(例如电子邮件、不需要研究的写作、一些人生规划),但仍然比使用我的手机更好; 一个很大的优点是我可以比笔记本电脑更轻松地携带这台“迷你电脑”,而不需要背包。

然后我问自己:我是否可以使用 Vision Pro 作为生产力设备来代替(或结合)我现有的任何工作设备?

这些是我要回答的具体问题(从最低到最高):

Vision Pro 能否完全替代我的平板电脑,以便我可以随身携带它而不是 iPad Pro?

Vision Pro 能否增强我的笔记本电脑,使其感觉像拥有一两个“虚拟 XDR 显示器”?

至少在某些生产力任务方面,Vision Pro 能否比我的所有工作设备更好?⇒ 这是最令我兴奋的!

十一、生产力应用若足够强大,足以让Vision Pro领先于其他头显

(1)Vision Pro 作为 iPad Pro 的替代品状态:? 尚未准备好(但很有希望!)我的看法:Vision Pro 希望能成为你的“空间 iPad Pro”,具有真正的巨大潜力,可以实现比 iPad 更好的多任务处理能力,并且能够在任何地方专注于工作,但其存在太多的可用性摩擦并且缺少重要的生产力应用程序才能使这一目标无法在今天(或可能在未来 1-2 年内)成为现实。

Vision Pro 由 Apple 精心设计,可以立即融入现有的 Apple 生态系统,被认为是 iPad Pro 的高配替代品。该头显具有与 iPad Pro 相同的计算能力(相同的 M2 芯片),并且可以方便地支持本机运行的 iPad 应用程序。事实上,也可以说原则上 Vision Pro 应该比 iPad Pro 更好,因为你可以在全屏模式下并排运行多个 iPad 应用程序,这将克服 iPad 最大的生产力限制之一:多任务处理能力差。

但实际上,这种说法根本不成立(至少目前还不成立),因为 Vision Pro 在推出时就存在着不容忽视的局限性:

尽管 visionOS 开发者可以主动编辑应用程序的可用性,但许多 iPad 应用程序在 Vision Pro 上无法正常运行(或根本无法运行)。鉴于生产力应用程序是为多点触控 UI 设计的,因此在这些应用程序内部浏览时会有很大的摩擦阻碍和不稳定性(例如:Vision Pro 中无法使用某些 iPad 手势,并且某些触控目标太小)。许多应用程序需要开发者不断测试以保证运行良好。

大多数生产力应用程序仍然在应用程序商店中缺失(可能是由于上述原因),这将造成大多数人的工作流程中的巨大空缺。例如,我自己的工作流程中缺少这些最重要的应用程序,包括 Chrome、Gmail、GDocs/Sheets/Slides、Asana。

文本输入仍然存在很多问题,直接影响到生产力工作流程并增加了更多摩擦。光标放置、文本选择和编辑非常容易出错。如果你正在说话,听写功能则不能正常输出结果。

必须携带键盘和触控板(不支持鼠标)才能在 Vision Pro 上执行绝大多数 iPad 级生产力工作流程,这可能造成诸多不便(与携带具有键盘保护套的 iPad 甚至笔记本电脑相比) 。因为如果没有这些工具,要编辑文档、电子表格或演示文稿几乎是不可能的。

工作区缺少稳定性和持久性,这会造成更多的用户摩擦——几乎每次都被迫重新打开应用程序,然后重新调整窗口的大小和位置。我们都想要的功能是:①持久的工作空间,②特定位置的工作空间,以及③相当于Mission Control的空间计算功能。

其实这些局限性问题,苹果是有能力解决的,且 Vision Pro 确实有成为 iPad Pro 替代品的潜力。尽管 iPad Pro 的 PPD(每度像素)几乎是 Vision Pro 的两倍,但 Vision Pro 上 iPad 应用程序的文本可读性足以让你同时并排运行 3 或 4 个应用程序以及启用多个环境小部件。

我还坚信,有足够大的“白色画布”可以实现许多 Apple 风格的创新和魔法,让用户可以通过 2D 面板和虚拟 3D 对象的组合来配置和管理他们的工作空间。只要苹果真正赋予开发者创新的能力,潜力就非常巨大(我个人会喜欢Nicholas Jitkoff 的widget.vision半透明小部件)。

也许我的想法很荒谬,但如果我能够在 Vision Pro 上真正安装我所有的 iPad 应用程序,并且如果 Apple 解决了导致我的 iPad Pro 出现用户摩擦的所有问题,我个人可能会对“空间 iPad Pro”的想法感到非常兴奋。核心就在于工作流程问题。原因很简单,就是要保持专注——无论我身在何处,都能够真正“忽略现实”并投入到工作中,无需随身携带笔记本电脑,却仍然可以进行一定程度的多任务处理。

(2)Vision Pro 作为 MacBook 虚拟外接显示器

状态: ? 几乎准备就绪(还需要修复一些bug!)

我的看法: Vision Pro 只要修复好影响使用的软件bug,就能成为合适的虚拟显示器——类似于 27 英寸 Apple Studio Display,可以使用所有现有的 MacOS 应用程序和工作流程轻松在 VR 中进行大屏沉浸式工作。

Vision Pro 最好的软件体验之一,是只需在佩戴头显时看着电脑即可无缝连接到 MacBook。这是对传统 AirPlay UI 的简单改进,也创造了 VR 一直缺乏的无缝连接体验。

在深入讨论之前,我将确定 Vision Pro 永远不会成为我的办公室工作站替代品(我配备了两台 Apple XDR 6K 显示器)。我的每台显示器是 32 英寸,总共 4000 万像素(像素密度为 218 PPI,角度分辨率 >100 PPD),而且头上不用负重,这不会是我现在或未来会购入VR 头显的标准。

更有趣的问题是 Vision Pro 是否可以成为一台或多台 27 英寸 Apple Studio Display(或同等产品)的合适替代品。今天简短的回答是,Vision Pro 确实可以接近(或非常接近)这一目标,但苹果还有一些问题需要解决,以使其更能流畅使用:

缺乏双(或三)显示器支持是一个巨大的遗憾,而且在事实上有充分的理由(与需要大量本地 Wi-Fi 带宽支持有关)。Vision Pro 的视野相对较窄,就像在通过双筒望远镜观看内容,但如果我可以从 MacBook Air 中分出两个或三个虚拟显示器,观感可能会更好。

不一致的键盘和触控板操作行为使得在 iPad/Vision 应用程序和 Mac 虚拟显示器之间来回切换变得非常困难。我发现自己经常在寻找光标,看到虚拟键盘在屏幕上弹出,但显然我不需要它(如果我使用的是物理键盘),更无法使用我的罗技 MX 鼠标。

工作区缺少稳定性和持久性,这与我在前文讨论 iPad Pro 用例的问题完全相同。修复或能解决该问题。

眼动追踪在 MacOS 中不起作用,还会导致输入模式不一致,解决这个问题并不容易,但如果 MacOS 团队有决心做这件事,我不认为这对 Apple 来说是一个巨大的难点。

MacOS 应用程序“卡在”虚拟显示器内,而不是被允许在整个空间中移动。这是另一点 Vision Pro 无法进一步提供空间/沉浸式体验的地方,同样需要 MacOS 和 VisionOS 团队进行钻研设计。

我上面强调的许多问题都是软件方面的难点,苹果是有能力解决这些问题的。所以我怀疑这可能涉及内部协作关系,要让 MacOS 团队投入必要的资源来解决 VisionOS 团队的错误和功能请求。

对我来说,最重要的是,我们可以预见在不久的将来,你在背包中携带一台 MacBook Air 和一台 Vision Pro 就可以充当一个相当好用的工作站,它可以以提高生产力的形式为你提供帮助。这样你自然会愿意在咖啡馆、飞机上,甚至在家的沙发上佩戴头显几个小时(当然这个观点是在完全没有考虑性价比的情况下提出的)。

不出所料,这里提到的功能是苹果在 Vision Pro 中最强的手段,因为它独特地利用了现有的苹果生态系统。别看生产力应用是一个非常平淡且缺乏想象力的场景,但它如果足够强大,足以让苹果 Vision Pro 领先于其他头显。

十二、VR 的媒体消费无法作为“日常驱动”设备使用率的核心支柱

在VR中观看电视/电影似乎是一个令人难以置信的想法,以至于我们(Meta/Facebook 的 Oculus 团队)仅围绕这个想法就来构建整个产品:Oculus Go。该产品于 2018 年推出,是我参与过的最失败的产品,原因很简单,尽管它与 Netflix 和 YouTube 有着牢固的合作关系,但它的留存率却极低。大多数购买 Oculus Go 的用户在几周后就完全放弃了这款头显。整个故事要微妙得多(包括 Oculus Go 的失败让我们很快走上了 Oculus Quest 的道路),但它给我们上了重要的一课。

我们学到的教训是,在 VR 中观看传统电视或电影一开始感觉非常有吸引力,但对于大多数人来说,几周后新鲜感就会消失。原因是:

与在电视、平板电脑或笔记本电脑上看电视或电影相比,头显的佩戴体验并不舒服,主要是因为你的头部和面部在承受压力,而且佩戴时你无法舒适地以任何姿势坐着或躺下。

如果你还没有使用过 VR,那么掌握在 VR 头显中观看视频的过程中会遇到很多困难,而且与我们的其他设备相比,新手通常需要更多步骤操作,学习导航 UI 也很麻烦。

在 VR 中观看视频会产生社交孤立和孤独感,这对很多人来说都是一个障碍(尽管绝对不是所有人)。

早在 Oculus Go 时代,我们就得出结论,VR 的媒体消费无法作为“日常驱动”设备使用率的核心支柱,而是适合更多的辅助用例,可以为其他核心支柱(例如生产力或游戏)增加一些价值。

Vision Pro 确实带来了比以前的 VR 头显更好的显示效果,甚至可以创造神奇的电影体验。例如,观看 3D 迪士尼或皮克斯动画电影绝对令人惊叹。但关于产品与市场契合度的基本挑战仍然存在:

我的看法:人们经常观看 2D 媒体,而 VR 根本不是其主要媒介。Vision Pro 的所有功能由于舒适度和用户摩擦问题,大多数人对在头显中观看媒体感到兴奋,但最终会发现自己又回到了电视、平板电脑或笔记本电脑。

在 Vision Pro 上观看 3D 电影是一种有趣的娱乐体验,但这些视频像是“盒装的”,没有现实感。借助 Vision Pro,苹果推出了新的 Apple Immersive Video 格式,为新的娱乐类型打开了大门。

随着 2018 年 Oculus Go 的推出,我们在 Facebook/Meta 做出的最初大赌注之一是,沉浸式 180 度视频将吸引大量消费者的兴趣,并在某种程度上引发娱乐界的连锁反应。我们能够与少数早期专门从事 VR 视频捕捉的媒体公司建立合作伙伴关系,于是我们加入了娱乐领域的竞争。

我们最初的兴奋感很快冷却下来。Oculus Go 上的 VR 180 度视频质量不错,但平淡无奇、黯淡无光,远远谈不上令人惊叹,这主要是分辨率低导致的。于是这些视频并没有创造出真正的临场感,也没有营造出传送到另一个现实的感觉。而且大多数内容都是一次性授权的,没有真正的特许经营权可以让人们回来观看更多内容(体育运动除外,还有其他原因导致 Oculus Go 失败,我稍后会谈到)。

一年之内,Oculus 团队转向 VR 游戏,并几乎完全停止了对沉浸式视频的投资。

NextVR 是我们一直在合作的小型但备受尊敬的公司之一,他们当时濒临破产,而我们也一直有合作关系。后来在2020 年,苹果收购了他们。NextVR 花了十多年时间构建和完善 VR 180 摄像机技术和高质量视频的制作流程。NextVR 的 YouTube 频道仍在运行,并展示了有关其强大技术的案例。

2018年公开展示的NextVR 180-3D相机(图源:The Verge)

收购 NextVR 后催生了令人难以置信的 Apple Immersive Video 格式,该格式能够以 8K 分辨率、每秒 90 帧的速度捕获180 度 3D 视频,这是一种绝对强大的格式,其像素数量是常规 4K 视频的 8 倍。观看新的苹果沉浸式视频格式的最佳方式有点像新的 IMAX-3D,但真正神奇的地方在于它是在一个假想的 180 度球体(水平和垂直)内投射,占据你的整个视野。

Vision Pro 是首款能够以 4K 画质播放 180 度 3D 视频的头显。设备发售时,Vision Pro 上有四部以 Apple Immersive Video 格式拍摄的 Apple TV 短片。这些电影中我最喜欢的就是《Adventure 》,这是一部令人瞠目结舌的电影作品,很可能会赢得电影奖项。以这种程度的沉浸体验挪威峡湾是非常令人叹为观止的,以至于这可能是迄今为止我在 Vision Pro 中最喜欢的体验。

《Adventure》是随 Vision Pro 发布的以 Apple Immersive Video 拍摄的短片之一

我第二喜欢的 Apple 沉浸式视频是《Alicia Keys:Rehearsal Room》,这是一场超级有趣且亲切的音乐会,让你能真正感受到 VR 中与另一个人近距离接触的感觉。但要是在其他情况下看到人们近距离表演可能就没有那么开心和鼓舞人心了。

我的看法:超高保真的苹果沉浸式视频格式将因其“超现实主义”而遇到意想不到的重大“恐怖谷”挑战。看到一个人离你如此之近且保真度如此之高,对一些人来说可能会感觉很酷,但对其他人来说却会感到不舒服或不知所措。音乐会或体育比赛的场景中,不常出现这种情况,但在戏剧或其他类型的更逼真的电影中可能会让人不适。

早在 Oculus 时代,我们就经常进行实验来尝试真正了解 VR 内容中哪些界限不能跨越,以避免人们感到不知所措甚至不安全。这些实验得出的结果之一是,过于逼真和真实可能是越界的原因之一。换句话说,超现实主义可能会引发恐怖谷效应,这是我们在 VR 中总是想避免的两点之一(另一点是晕动症)。

有用户在 Vision Pro 上观看《Alicia Keys:Rehearsal Room》时会有恐怖谷的感觉

苹果公司需要时间和大量的实验来应对这一挑战,他们是世界上唯一一家我们可以信赖的公司,他们具有一定的敏感性和艺术性,更不用说他们有能力聘请最好最优秀的人才。这可能意味着我们可以期待以苹果能够提供观看沉浸式视频的体验,让人们探索美丽的风景、野生动物、旅行和音乐等主题,但不太可能看到人们近距离贴在镜头前讲述深刻故事。

对于苹果来说幸运的是,在另一个视频类别中,超现实主义不太可能成为问题,尤其是对于体育直播的铁杆粉丝来说。

十三、体育直播会是带动Vision Pro销量的秘密武器

Oculus Go 电视广告的截图

当初我们制作了一条 30 秒的电视广告,效果非常好,带动了 Oculus Go 的大量销售(毕竟这款头显仅售 199 美元),这也证明了我们对体育铁杆粉丝带来了相当大的潜在影响力。但正如我在上一节中解释的那样,我们未能以符合预期的方式将其变为现实。

最终,我们 Oculus 团队也完全没能实现通过 VR 重新定义体育观众体验的机会,原因有很多,但主要是因为我们没有耐心去开发这个市场。我们最初无法与体育联盟和转播权所有者建立必要的行业支持,因此我们停止了尝试,VR体育领域几乎消亡。如今,在 Quest 上也有一些小努力,例如《Xtadium》和《Meta Horizons》,但体验的质量和有限的直播内容使其显得微不足道。迄今为止,还没有人真正努力创造这个市场。

苹果有机会彻底改变这一现状,原因如下:

Apple Immersive Video 在 Vision Pro 的视频质量及其提供真实临场感的能力方面带来了变革性的体验。通过高分辨率观看 VR 比赛有可能比以传统方式观看 4K 电视转播更好,让铁杆粉丝感觉更接近比赛。

苹果通过收购 NextVR 获得了 VR 广播方面的专业知识,并且可更好地为直播 8K 视频建立强大的制作流程,这是一项艰巨的技术挑战,需要大量的投资和专业人才。

苹果已经获得美国职业足球大联盟 (MLS) 许可和其他体育转播权,这可能会导致苹果继续购买更多转播权以加强 Apple TV(例如英超联赛、一级方程式赛车)。

苹果首先会使用 Apple Immersive Video 在 Vision Pro 直播MLS赛事。此前的公告声称2023年MLS季后赛是以8K 3D格式录制,球迷可享受具有180°视野和空间音频的比赛。计划在 2024 年底或 2025 年初上架。

除了 MLS(苹果已经与 MLS 签订了长期协议)之外,苹果还需要花费大量时间和金钱与主要体育联盟(NBA、NFL、MLB、英超联赛等)实现这种身临其境的转播体验。也就是说,这可能只是时间问题,因为重新思考沉浸式体育观赛体验的机会足够大,即使对于像苹果这样价值数万亿美元的公司来说,这也很重要。

我的看法:从长远来看,观看体育赛事直播(场馆)的门票价格一直在稳步上涨,现在即使是普通座位到较差座位的门票价格也已达到 100 美元,而高级门票很容易达到 1000 美元(2024 年最便宜的超级碗门票面值约为 2,000 美元)。Vision Pro 上提供高质量沉浸式“前排场边”体验,其商业价值毋庸置疑。

为了成功地利用这个机会,苹果必须解决两个主要方面,这两个方面都需要大量的设计、工程和实验:

现场体育赛事具有很强的社交性,这意味着苹果必须投入巨资来提供多人共同观看的体验,这种体验对于身处同一房间或几乎位于同一地点的人们来说同样有效,而且感觉就像与家人或者和朋友一起坐在家里或酒吧里一样。

体验门槛将会非常高这意味着苹果必须根据每项运动的性质真正定制体验的各个方面,使其比在大型 4K 电视上观看比赛更好——包括摄像机角度、特殊回放、鹰眼视角、分析叠加、比赛统计等。

这是一个巨大的创新画布,需要几代 Vision Pro 才能实现。我保持乐观的态度,因为我曾经也曾尝试在体育赛事领域抓住这一机遇,我真的相信“it takes an Apple”(双关语)才能改变游戏规则。

在 Quest 上的《Xtadium》上以多机位观看现场网球比赛

Vision Pro 上的《PGA》有球场的 3D 模型

总结

作为一个“产品人”,我通常强迫自己表现得像一个真正的消费者,尽可能地做出真正的权衡。我相信,始终站在用户的角度考虑是必须的,这点不仅适用于我自己的产品,也适用于其他人的产品。我承认 Vision Pro 是终极科技玩具,但由于我不是一名活跃的开发人员,无法仅仅为了跟上 VR 市场的潮流而证明 4,049.78 美元的价格(512GB 型号 + 加州销售税)是合理的,所以在14 天的退货期限内,选择全额退款退货。

在苹果VR产品市场定位的发展过程中,Vision Pro 要想实现真正的高留存率,还有很长的路要走。苹果将沉浸式 VR 游戏从 Vision Pro 应用商店中完全排除的高风险决定,加上他们在发布时没有推出高质量的 AR 内容,令人兴致缺缺,因此他们在短期内为非开发者提供用户价值的选择并不多。

唯一容易实现的目标是提高生产力,尽管这听上去也让人没太大兴趣,但应该是苹果在 VisionOS 的下一次迭代中最关注的焦点之一。一旦苹果解决了我在上面发现和分享的所有用户摩擦问题,我不会放弃未来再次拥有第一代 Vision Pro 的可能性。

在我使用 Vision Pro 的 2 周期间,我根据这段时间 Vision Pro 使用情况总结了一份很长的bug清单和功能改进的反馈列表(前10项反馈):

(1)通过缩小与开发人员之间的差距,将重要的 iPad 应用程序引入 Vision Pro,使得生产应用变得顺畅,实现无缝衔接//修复文本输入和编辑,使其流畅//添加2个(最好是3个)MacOS 虚拟显示器的支持//添加工作窗口的持久性 // 构建“空间任务控制”并执行最小推荐焦距;

(2)让开发人员构建令人惊叹的 AR游戏,并尽一切可能设置真正高质量的标准,以奖励他们的创造力 // 通过角色添加 SharePlay 的支持,真正推动多人支持,实现玩家可以一起玩一款游戏;

(3)在硬件传感器堆栈允许的范围内改善直通模式,理想情况下可减少运动模糊,改善白平衡,在观看沉浸式内容时,双手看上去更加自然;

(4)创造工作空间的持久性,允许以 Vision Pro 的模式记住特定房间的配置方式去配置家中以及办公室等不同房间;

(5)让 3D 小部件成为 VisionOS 中常用的装饰品,人们能够持续地装饰自己的家以及办公室;

(6)让用户只需查看设备(如 MacOS 虚拟显示功能)即可将 iPhone 引入 VR,然后获得一个浮动面板,可以将其放置在空间中的任何位置,减轻 VR 中的 FOMO 的现象;

(7)添加访客模式,这样任何人都可以在 Apple 店内进行演示,并让 Vision Pro 用户能够自然传播 VR 的神奇感;

(8)为 SharePlay 添加 Persona 支持观看视频,这样用户就能真正产生一起观看的氛围,摆脱 VR 的封闭性,使 VR 社交成为首要任务。尽管一开始很少有人会使用社交功能,不足以使其成为实际用例,但对于苹果来说,设定正确的基调很重要;

(9)借鉴 Apple TV 屏幕保护程序的做法,理想情况下以稳定的频率启动大量令人心动的环境,包括室内与室外;

(10)最后,通过实施 OpenXR 支持、与 SteamVR 建立合作伙伴关系或简单地开放 VisionOS ,让 VR 开发者和爱好者自行构建兼容性,找到一种能够让人们真正沉浸式 VR 游戏的方法。

以下为观点补充:

(1) 为什么 Meta 的 Android 时刻终于到来了;(2) 我主动为 Quest Pro 2 及更高版本提供的产品建议。

正如我在本文开头所说,在 Meta/Oculus 工作时,我曾经半认真地开玩笑说,我们能遇到的最好的事情就是让苹果也进入 VR 行业。之所以这么说,首要还是因为苹果有强大的品牌能量,以及其设计与营销方式,会让人们真正想要 VR,苹果在这方面是所有公司做的最好的。

但对于 Meta 来说,Vision Pro 的发布是 Quest 系列产品最佳的营销工具,Meta 本可以实现这一目标,但仅凭一己之力却很难实现,原因如下:

首先,Vision Pro 将 VR 提升到了大众消费者好奇的水平,脱离了游戏玩家和 VR 爱好者的小众市场。而仅从媒体报道来看,Vision Pro 的影响力就可能比历史上任何 Oculus/Quest 发布的产品都要多 1,000 倍;

其次,Vision Pro 为 VR 设定了新的体验标准,特别是突破了显示分辨率的现有界限,并通过眼睛与手势创建了新的交互范式,这可能会成为新的标准;

再者,Vision Pro 重新建立了一个新的定价范围,使 Meta 能够摆脱 Quest 所陷入的 500 美元的价格点,更好地推动 Meta 高端产品的价格,比如定价 1000 至 1500 美元,这样也不会立刻完全被消费者拒绝。

最后,Vision Pro 将会成为 Meta 强大的竞争对手,使 Meta 会更加猛追,反向推动了 Meta 内部对产品的优化能力。

那么,针对 Vision Pro 的发布,Meta 应该做什么?Vision Pro 的发布对于 Meta 来说创造了很大的市场机遇,Meta 应该借助这次机会确保 2025 年能够推出一款高端化的 VR 头显,既建立在 Vision Pro 硬件的新标准上,也从更多的维度展现更好的产品,以避免 2022 年 Meta 发布 Quest Pro 的尴尬。

以下为我对 Meta Quest Pro 2 的几大建议:

(1)加倍对 Micro OLED 的投资,目前 Micro OLED 是实现 Vision Pro 或接近 Vision Pro 的显示分辨率的唯一方法,这可能也是为什么 Meta 会宣布与 LG 合作的原因;

(2)打造一款符合人体工程学的头显 ,可以佩戴 2-4 小时而不会造成任何过多不适的问题;理想情况下提供两种电池选项:一是头显后部带有内置电池的头带,二是有线电池(如 Vision Pro),可将电池从头上移开并减少头显的体积将重量控制在 500 克以下;

(3)显着改善 Quest 3 的延迟和失真校正问题,并改善目前所有 Vision Pro 直通的问题,提供比 Vision Pro 更好的直通确保没有可感知的运动模糊、高动态范围以及白平衡等问题;

(4)将 Vision Pro 的眼动追踪与手势交互提升到一个新的水平,将 Meta 所做的所有令人惊叹的手部追踪研究产品化。例如,Rob Wang 的团队,仅仅通过摄像机输入就能检测小指的移动来实现细粒度的手势,例如滚动和 D-pad 选择 (这可能是以后的事情);

(5)与微软合作,将 Windows 计算机融入 Quest Pro 2 中,并实现远远超出虚拟显示器范围的高级桌面生产力用例,如可以将任何窗口放置在空中;

(6)在 Quest 上本地启动 Android 2D 平板电脑应用程序,以匹配 Vision Pro iPad 兼容性,可以通过与 Google 合作授权 Play 商店(目前看来不太可能,但我仍然相信 Ash Jhaveri 和 Hiroshi 可以共同努力实现这一目标),或者只是构建直接策划的平板电脑应用商店(过去在 Oculus 曾考虑过,但放弃了);

(7)通过将 Meta 令人惊叹的 Codec Avatars 技术产品化,使用 Quest Pro 2 推出更逼真的虚拟化身,该技术可能是过去 7 年来获得最多研发资金的 VR 研究领域之一,Lex Friedman 在2023年底采访扎格伯格时曾使用过;

(8)使用 Oculus Research 内已有多年的技术启动高清房间扫描并解锁远程传送,Meta 是时候让这个未来成为现实了,人们可以远程访问彼此的家、办公室或最喜欢的地方,但又可以感受到真实的存在感。

附录:其他有趣的事情

尽管 Vision Pro 硬件已经非常精美,但 Vision Pro 显示屏仍然与 VR 视网膜显示屏相去甚远(并且可能永远无法实现)。如上所述,Vision Pro 以超过 3,000 PPI 像素密度提供高清显示(相比之下,最高分辨率智能手机的 PPI 为 500),但由于离我们的眼睛太近,它的分辨率仍然无法接近视网膜显示的资格。

根据苹果公司的定义,视网膜显示屏是一种分辨率足够高、人眼无法分辨单个像素的显示屏。由于不同的设备的使用眼睛的距离都不同,因此所有设备类别的视网膜没有单一的 PPI 标准。相反,PPD 是独立于观看距离的角度分辨率的度量,或者具体来说是每度视角的水平像素数。

来源:SimularVR

对于正常视力的人群来说,人眼的分辨率为60 PPD,也就是说,每 1 度视角可以解析 60 个像素(或每弧分 1 个像素,即 1/60 度)。Vision Pro 的角分辨率为 34,比 Meta Quest 3 高 1/3,但距离我们视网膜质量显示屏所需的 60 PPD 还很远。但中期来看,目前任何技术都不太可能在 VR 头显中实现接近 60 PPD 的角分辨率。

原文:https://hugo.blog/2024/03/11/vision-pro/

原文标题 : 【两万字精编】自嘲与它讽,前Oculus负责人谈Vision Pro那些事

声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

可穿戴设备 猎头职位 更多
文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号