Meta产品经理Sarthak Ray认为，通过混合现实（MR）看到周围的世界并与之互动的能力为XR开辟了新的机会。“您可以和朋友在同一个物理房间或生产力体验中游戏，将巨大的虚拟显示器与物理工具相结合，这是我们朝着增强现实（AR）的长期愿景迈出的一步。”他说。

在Meta团队看来，如果VR/AR设备能够令人信服地融合物理世界和虚拟世界，那么MR体验将是最有效的。因此，Meta推出了Meta Reality，以帮助创作者创造卓越的体验。这一新的混合现实系统或将掀开沉浸式体验的新篇章。Oculus.com 最近的一篇博客文章对该系统作了介绍。

用于空间感知的立体颜色直通

Meta 认识到彩色直通和立体 3D 技术在提供舒适和身临其境的MR体验方面的重要性。

“Meta Quest Pro结合了两个摄像头视图来重建逼真的深度，这确保了使用彩色直通构建的混合现实体验对人们来说很舒适。”Meta计算机视觉工程经理Ricardo Silveira Cabral解释道。“而且，立体纹理线索允许用户的大脑做剩下的事情并推断深度，即使深度重建不完美或超出系统范围。”例如，在使用直通时，您的大脑会了解到咖啡杯离您的手的距离与在您旁边的笔的距离一样远。

Oculus Insight只能捕获100个兴趣点来确定头显在房间中的位置，这是一项为消费者VR设备提供第一个独立跟踪系统的技术。此后，它已升级以实现深度传感。相比之下，Meta Quest Pro 在不同的照明条件下每秒可以产生多达 10，000 个兴趣点，让您可以实时创建物理空间的改进 3D 表示。

通过这个过程，Meta 能够创建一个不断更新的物理世界的 3D 模型。然后，您可以使用此数据创建可生成真实环境图像的预测呈现框架。为了补偿渲染的延迟，重建通过异步时间扭曲算法根据用户的左眼和右眼视图进行调整。

根据Silveira Cabral的说法，使用彩色立体摄像机使团队能够对现实世界进行更真实的解释。

用于将虚拟内容融入物理世界的场景理解

在线状态平台的场景理解组件是在 Connect 2021 活动期间引入的。该技术使开发人员能够创建复杂且可感知场景的MR体验。根据Meta Quest Pro的产品经理Wei Lyu的说法，该公司的场景理解组件旨在帮助开发人员专注于构建他们的业务和体验。“我们引入了场景理解作为系统解决方案。”Lyu说。

场景理解分为三个区域：

• 场景模型 – 由几何和语义信息组成的单一、全面、最新和系统管理的环境表示形式。场景模型的基本元素是定位点。每个锚点都可以附加到各种组件。例如，用户的客厅围绕具有语义标签（如地板、天花板、墙壁、书桌和沙发）的各个定位点进行组织。锚点用简单的几何表示形式连接：2D 边界或 3D 边界框。
• 场景捕获 – 系统引导的流程，允许用户四处走动并捕获他们的房间建筑和家具以生成场景模型。在未来，目标将是提供场景捕获的自动化版本，不需要人们手动捕获周围环境。
• 场景 API – 应用程序可用于访问场景模型中各种用例的空间信息的接口，包括内容放置、物理、导航等。借助场景 API，开发人员可以使用场景模型让虚拟球从实际房间的物理表面上反弹，或者使用可以缩放物理墙壁的虚拟机器人。

“场景理解降低了开发人员的摩擦，使他们能够通过实时遮挡和碰撞效果构建尽可能可信和身临其境的 MR 体验。”Ray 补充道。

用于虚拟对象放置的空间定位点

开发人员可以使用空间定位点轻松创建一流的MR体验，这是 Meta Quest Pro 平台的核心功能。例如，产品设计师可以使用Gravity Sketch等平台轻松地在整个物理空间中锚定多个3D模型，为其产品创建无缝环境。

“如果立体色彩直通和场景理解能够让 MR 体验融合物理和虚拟世界，那么我们的锚定功能则提供了将它们结合在一起的结缔组织。”Meta 产品经理 Laura Onu 表示。

与场景模型一起，空间定位点可用于为各种体验和情况创建丰富的自动环境。例如，您可以创建一个连接到物理墙的虚拟门。对于在数字孪生、仓库自动化甚至机器人技术方面的企业解决方案中寻求XR技术的公司来说，这将是一个巨大的进步。

就目前而言，Meta似乎更专注于社交体验。“通过将场景理解与空间定位点相结合，您可以根据用户的环境融合和调整您的MR体验，以创建一个充满可能性的新世界，”Onu补充道，“您可以在自己的客厅里成为秘密特工，在您的房间里放置虚拟家具或在家中绘制扩展草图， 创建物理游戏等等。”

用于共存体验的共享空间定位点

此外，Meta 还在在线状态平台中添加了共享空间定位点功能。这允许您通过与同一空间中的其他用户共享您的定位点来创建本地多人游戏体验。这将允许您和其他朋友在实体桌子上玩VR棋盘游戏，就像Tilt Five提供他们的游戏体验一样。

混合现实的成功组合

空间定位点、直通和场景理解的组合可以帮助创建一个丰富的交互式环境，其外观和感觉都像现实世界。Meta Quest Pro的产品经理Avinav Pashine指出，为用户创建一个伟大而舒适的混合现实环境涉及许多权衡。

Meta Reality仍在不断发展，因为该公司通过软件更新和将在下一代产品中提供的硬件创新不断改进平台。Meta Quest Pro产品经理Silveira Cabral指出，第一款产品是Meta Reality发展的重要一步。

“我们希望与开发人员一起学习，因为他们构建了引人入胜的体验，重新定义了VR头显的可能性。这个故事还没有完成——这只是第一页。”【转自数字叙事】