Meta元宇宙VR研发成果首度大公开。在Meta公司Reality Labs部门实验室中，有一面原型展示墙，陈列了实验室设立七年来所开发的数十款VR眼镜原型，有的轻巧如太阳眼镜，但更多是笨重，大小不一的设备。这是去年改名为Meta的脸书，最重要的元宇宙研发基地，Meta创办人暨首席执行官扎克伯格强调，我们的目标是打造出通过视觉图灵测试的次世代VR体验，这是目前还不存在的未来技术。这是第一次，Meta详细披露了打造真实感VR眼镜的四大挑战和最新进展。

扎克伯格去年将脸书改名为Meta，来宣示全力进军元宇宙的企图心。VR眼镜是Meta实现元宇宙大梦的关键设备，2015年就发布了所并购子公司Oculus的首款虚拟现实头盔Rift，而Oculus团队后来也成了Meta的VR研发部门，也就是Reality Labs。

今年2月，Meta公布去年第四季财报时，也首度公布了Reality Labs部门的营收情况，虽然该季Meta的Reality Labs营收高达8.8亿美元，但最后还是亏损了33亿美元，而且逐季扩大中。最近更传出Reality Labs部门将重整，要终止或延后部分项目，专注在核心产品开发。这些负面消息也引发外界对Meta元宇宙布局的疑虑。最近，Meta首度公开了Reality Labs部门历年的研发成果，来消弭外界对发展不顺的质疑。

Meta元宇宙的战略目标

Meta元宇宙的战略目标是，打造出媲美真实世界的虚拟世界，扎克伯格指出，如果有一天VR眼镜可以媲美人类视觉的效果，可以实现“存在感”，让你感觉好像跟另一个人实际待在同一个地方的感觉，可以帮助人们更好的交互，这是非常重要的事。不管是，你远方家庭成员，或是项目协作的对象，你喜欢的艺术家，都可以让他们跟你有同在一个物理空间存在的感觉。

为何要打造媲美真实的3D感受，Meta旗下Reality Labs首席研究员Michael Abrash指出，真实的3D可以让我们体验，今天在虚拟世界体验不到的感觉，尤其是与其他人的交互体验，“必须改变感受系统，来趋近真实的情况，才能提供真正的临场感。”他更比喻，这样的VR眼镜更可以创造出协同合作的可能性，能做到项当年打字机或计算机带来的产业变革一样。

不只如此，“一旦可以打造出真实感的VR显示器，就可以创造新一代的视觉体验。”扎克伯格补充，文化会适应科技所带来的深度和丰富性，当新一代科技出现，就会带来新的艺术和表现形式，每一个人都希望被了解，这个真实感VR显示器，会成为一种强大的工具，可以用一种近似现实的方法来表达自己。

不过，扎克伯格也坦言，要让VR世界跟现实物理世界非常相似，是一件非常困难，但很有趣的问题，“这涉及我们在物理世界如何发现事情，包括眼睛如何处理信号，以及大脑如何解读的挑战。”尤其，人类视觉是高度集成的结果，不能只是看到一个高度真实的图像，还需要很多其他的视觉线索，才会有一种很真实的感觉，“这是与只看计算机屏幕或电视屏幕，截然不同的感受。”

不只是这些视觉线索的不同，除了提供3D立体图片之外，观看传统屏幕时的对焦是固定距离，但真实世界，眼睛移动过程中，会针对不同的物体对焦。另外，显示器也必须提供更广大的视野，提供比传统屏幕高非常多的分辨率，甚至，显示屏幕必须能够模模拟实世界的亮度和动态范围，比现在的高清电视还要高10倍，显示画面还能够快速延迟反映的眼球的动作，当用户转头时，可以很快校正画面的失真。这些功能都需要电力支持，尤其要支持GPU的运算，也要避免芯片发热带来的不舒适感。最后，所有这些组件都要安装到一个大小适合的设备中。

“只有一个部分没有做好，实境感觉就会消失，这种实境破坏感，比2D平面更明显。”扎克伯格坦言，这就是真实感VR眼镜的严峻挑战，需要软件、芯片技术、传感器等各种技术的合作。

参考图灵测试，提出视觉图灵测试来验证VR眼镜体验

为了用来判定VR眼镜的效果，Michael Abrash指出，Meta内部提出了“视觉图灵测试”的观念，“我们的目标就是希望通过视觉图灵测试。”Meta参考了图灵测试的做法，以“能不能分辨不出来这是人或计算机”来判定计算机是不是达到像人一样的程度，视觉图灵测验就是，人类看到的VR世界，能不能跟真实世界一样，分辨不出两者的差别。而且这个测试要以人类主观的感受来测试，而不是技术的衡量标准。不过，扎克伯格坦言，目前没有任何VR设备能够通过这个测试。

真实VR眼镜的第一个挑战是超高分辨率

很多人提到VR眼镜的品质，就会提到分辨率，扎克伯格表示，分辨率是最重要议题，但VR眼镜的分辨率问题跟传统的分辨率挑战不太一样。在VR眼镜中的视野，其实比现在最宽的屏幕还要更大，他预估，要达到1.0视力效果，就得在整个视野都都达到超过8K的分辨率，

Meta自己设置的目标是，要达到视网膜分辨率效果的VR眼镜，换句话说，每一度视野要提供到60个像素的分辨率，若是眼睛全视野都达到这个分辨率，就得比现有显示器还要多好几倍的分辨率才够。

不过，“人类视觉不需要所有像素都存在，所看到的完整视野中，不需要每一样东西都对焦，只需要对焦的物体有高分辨率，而视野边缘的分辨率可以稍低，但是，现在，任何一款显示器都没有办法做到这件事。”扎克伯格说。

脸书曾有一款原型产品，称为Butterscotch，可以提供超高分辨率，来达到1.0视力的文本识别效果，这是2015年时的Rift眼镜或是当前的Quest 2眼镜就都达不到的效果，可以看清楚视力检测表上1.0的文本。

Butterscotch是Reality Labs实验室定制的原型，不是实际的产品，但是可以达到视网膜分辨率，是现在Quest 2虚拟现实眼镜的2.5倍分辨率，但这款原型眼镜的解法是，通过牺牲视野来达到更高的分辨率，通过混合镜片，将视野的宽度缩小到Quest 2视野宽度的一半，才得到比较高的分辨率，可以看到非常细节。

扎克伯格自己也曾测试过这款视网膜分辨率的VR眼镜，他说：“可以看到非常锐利的图像，体验很好，但没办法卖，因为设备的重量很重，而且图像过于锐利，戴久了也会不舒服。”

通过这个原型的实测，一方面可以看到超高分辨率VR眼镜的模样，也让Meta的Reality Labs团队意识到，真实的图片需要达到这样的分辨率，扎克伯格指出，显示器科技会一代一代进步，几年后就会达到。

不过，新时代视觉体验的挑战不只是分辨率而已，甚至还有一些平面显示设备不会出现的挑战。例如，VR眼镜独特的挑战是VR所用的镜片是曲线镜，会造成图片变形，就得靠软件来校正，但是，这个变形还会随着眼睛移动而改变，长时间佩戴看到失真图片，会造成不舒服、疲劳的感觉。另一个挑战是对焦的挑战，眼睛会想要对焦物体，但是，显示器是以固定距离来投影，就得解决不同距离的聚焦问题。

动态对焦是第二个挑战

2015年开始销售第一款VR头盔Oculus Rift的时候，当时，Meta就发现到对焦距离的挑战。因为当时是第一次在VR眼镜的视野中出现了手，就遇到了移动过程的对焦挑战。因为手会在VR世界中挥动，就会出现对焦距离不固定的问题。

现实世界的眼球，会不断改变形状来应对我们看的距离和成像，但是，当前的VR光学系统采用的是固定不能弯曲的实体透镜，焦点固定在约5～6英尺的位置，方便用户看到比较远的地方。在真实世界中，人类的眼睛可以捕捉到不同深度和位置的各种微妙线索，但在

VR眼镜中，若眼睛试图聚焦观看近处或远方的物体，却无法做到时，就会觉得有点模糊也会让眼睛疲劳，这是3D眼镜跟2D显示器的差别，用户观看2D显示器时，不需要真的观看到很近或很远的物体。

为了解决这个问题，Meta的解法是动态移动镜片，来改变景深，就像是相机自动对焦的感觉。后来，Meta用了1个月的时间，做出了第一款变焦的VR眼镜原型，可以提供正确的焦深，尤其是看近的对象，会更清楚。

Meta在2015年打造出的第一款变焦VR眼镜原型，装上马达来改变显示器镜头位置，非常笨重，但从此确定了变焦是可以更接近真实的未来技术目标。

这个VR眼镜原型装上了马达，来调整显示器的镜头位置，虽然这是一款非常笨重的眼镜，不是可以上市的产品，但却让研究团队大受激励，让他们体验到未来可以达到什么样程度的现实程度，所以戴过这款原型的人都同意，可以让比较近的物体看起来很锐利，隔年，

Meta进一步打造了一款可以关注眼动，根据眼球运动来进行变焦的原型。通过机械变焦的显示器，能够提供适当的景深，搭配眼球关注技术，针对用户在看的区域，即时提供失真校正，补偿这个区域的放大效果，只有用户看到的物体，会比较清楚，就像在真实世界，你聚焦观看的物体会更清楚一样。

“这个早期原型，让我们意识到，我们做对事情了，变焦真的可行，可以提供更吸引人的体验。”Reality Labs Research显示系统部经理Douglas Lanman回忆。通过原型确定变焦VR眼镜发展方向，下一步就是要进行用户研究，通过更有说服力的科学实验来证明。

开发轻巧变焦VR眼镜原型，展开用户体验研究

Reality Labs Research FAIR项目经理Marina Zannoli先前在Reality Labs Research显示系统团队中担任视觉科学家，也是负责新时代VR眼镜第一次用户研究的负责人。

为了了解变焦如何提升VR的体验，必需要先打造出一款更小更轻的眼镜设备，Marina Zannoli解释，重量和形式必须接近Oculus Rift，但不能有变焦马达的噪音和震动，后来，就发展出了Half Doom Zero这款变焦VR眼镜。

Half Doom Zero眼镜比原本变焦眼镜的原型小了4倍，而且完全跟当时所有Rift游戏兼容，也有非常好的对焦能力。在2017年春天，Meta找了大概60个受试者，来体验Half Doom Zero眼镜，让他们做了两天的测试，来比较调制焦系统，跟定焦系统的差别。

这个研究也准备了特定的VR展示视频，并鼓励测试者观察他们周边很近的东西，因为这是过去VR世界的用户会避免做的事，来自原有定焦系统VR眼镜的限制。

2017年春天Meta找了60个受试者体验动态变焦的VR眼镜，Half Doom Zero眼镜，这是第一次的大规模VR原型用户体验测试。

经过用户实验后发现，使用变焦系统比较不会累，也比较不会出现模糊的视线，用户更容易跟踪对象，在VR世界中阅读文本也更比定焦系统更容易，可以对对象的反应更快速。虽然这款VR眼镜仍有噪音和震动的问题，不过，这次用户研究，多数人可以接受噪音和震动下的变焦系统。

“大部分的人都喜欢变焦，比较不喜欢定焦。”Marina Zannoli指出，到了2017年夏天时，我们就得到比较确定的证据，变焦不只有助于未来可以通过视觉图灵测试，而且可以带给VR眼镜其他好处，包括性能的帮助（不需要全视野超高分辨率）和舒适性。“Half Doom系列是一个转泪点，不只发展出了非常先进的变焦技术，也提供了一种通过视觉图灵测试的原型测试模式。”

从此，先做出原型来验证，再发展轻巧版本进行用户实验，来研究如何打造下一个原型，“这就变成了我们的标准流程。”Marina Zannoli表示。Meta的Reality Labs实验室开始大量运用这个原型实验的做法，来尝试解决不同的VR眼镜挑战，这也是为何在7年中会开发出近30款原型VR眼镜的缘故。

有这个变焦系统更舒适的发现之后，Meta开始专注于减少设备大小和重量，以及想办法扩大VR眼镜的视野，也制作了一系列的原型，后来更使用了液晶透镜的电子变焦镜头，让镜片组件的体积缩小了许多，后续也持续改良变焦硬件。

第三个挑战：变焦带来更复杂的失真校正挑战

解决了变焦镜头的问题，还要解决其他问题，另一个问题就是VR光学失真的问题。

先前就提到VR眼镜的镜片是曲面镜，原本就会出现图片失真的问题，VR眼镜大多通过软件来修正这个图片的失真。可是一旦采用了变焦镜头，要随着用户的眼球来修正聚焦的物体，联动到虚拟图片的失真情况，也会随着眼睛移动，查看不同方向而发生不同的失真变化。

可是，Michael Abrash指出，既有失真修正算法是相对静态的做法，遇到眼睛要不断移动来浏览完整场景的时候，无法完美发挥作用，因为静态软件校正系统无法产生持续稳定的图像。“我们要研究的是眼球关注的失真校正，必须进行动态校正，随着眼睛来进行，在不同的变焦技术，在不同景深上发挥作用，而且校正的速度还要快让人难以发现，这是很难解决的问题。”

要解决失真的问题，需要很长的时间，一方面必需要制造出研究问题需要的镜片，可能花上好几个月才能完成，还要制造显示器和对应的VR系统。为了解决耗时的问题，Meta改用大量眼球运动的记录，来设计模拟器，搭配3D电视技术，来模拟研究不同光学设计和失真校正算法，不用建造真正的头盔，“通过这种快速原型制作能力，可以在几分钟内探索不同动态失真校正的情况。”Michael Abrash表示。

他指出，眼球关注是被低估的挑战，一方面要找出用户对焦的地方，来决定要渲染的图像重点，另一方面，也要考虑热量跟功率，如果只需要渲染出用户需要关注的细节就好，但降低其他部分的图像分辨率，“这或许是一个非常重要的优化做法。”目前在Quest 2的软件也做了不少失真校正的弥补，但要满足真实感VR眼镜需要的失真校正效果，还是不太够。

可以让3D场景栩栩如生的第4项挑战：HDR

Michael Abrash表示，Meta研发VR眼镜七年来所遇到的显示系统挑战，除了分辨率、变焦到失真校正的课题，还有一个很重要的挑战就是HDR（高动态范围），这是涉及亮度和对比的问题，亮处够亮可以感觉到颜色清楚，而暗处够暗才会让场景变得栩栩如生。当前的挑战是，“屏幕生动的程度，跟真实世界相比，有相当大的差异。”目前高端电视的亮度可以达到1万尼特，电视产业也往HDR的方向前进，但当前Quest VR眼镜的亮度只有100尼特，要提供HDR的亮度，也需要在电池跟重量之间取得平衡。

Meta曾打造出第一款HDR的VR眼镜Starburst来测试，不管重量和电力，放进高亮度的屏幕，来进行更多研究，了解HDR的体验会是如何。原型测试的目的是为了找出可以让视觉更加真实的技术方向。

Reality Labs Research研究总监Nathan Matsuda表示，通过Starburst，可以创造出在室内看到的亮度，来研究基本的发现问题，了解未来目标HDR应该要达到什么程度。目前发现，若可以产生比较好的焦深，营造真实生动的感觉，就有机会实现一个够漂亮，够复杂的VR环境，这还需要很多代的演进，才能达到。“我们正努力将这些技术集成到一个更小巧，更便宜的眼镜中。”Nathan Matsuda表示，每次创建一个新的原型，不管多不实际，但都可以让我们理解，人们如何观察周围的世界，以及科技可以如何扩大人们的视觉系统。

Michael Abrash指出，变焦和视网膜分辨率可以打开很多种可能性，但也会带来开发者的挑战，越真实的内容，制作难度就越高，如何协助人们创造这样的环境，能够炫染出可以保真的程度，AI技术将是实现这个目标的关键技术，另一个策略是先在真实世界中架构出场景，再将场景带来虚拟世界。

在Meta的Reality Labs团队中还有一组人马，负责集成科技和新的光学组件，他们的挑战就是要尽可能减少这些光学组件的体积。Reality Labs Research研究员Andrew Maimone指出，不管是分辨率、对焦、失真或HDR的技术，最后都要集成到VR眼镜中，我们的目标希望更轻薄短小，人们可以使用更长的时间。

在VR光学组件中有三个要素，光源、成像的显示版和曲面镜片。过去VR眼镜大部分的空间是消耗在镜片和显示版之间，Andrew Maimone指出，后来改用偏光折射可以进行光学对折，技术上称为饼干式镜筒，可以大幅减少厚度，只剩下曲面镜片本身的厚度。后来，Meta引进了全像投影的饼干式镜筒，简称HoloCake，同样采用饼干光学镜头的设计，将镜头改为全像镜片，就可以得到更薄、更平的镜头，能够大大减少VR光学组件的大小，进一步能减少整体眼镜的重量，不过，“全像镜片非常特殊，得使用激光作为光源，才可以描述更多颜色，提供更好视觉体验。”

传统VR眼镜空间是消耗在镜片和显示版间，Meta改用偏光折射进行光学对折，技术上称为饼干式镜筒，大幅减少了厚度，更将镜头改为全像镜片得到更薄更平的镜头（图右）。

最新VR原型HoloCake 2采用全像技术和激光光源

Meta也展示了他们目前最先进的VR设备原型HoloCake 2，可以支持任何计算机来运行，引进了两个技术，第一是引进了全像技术，可以让用户感受到有点像是实际成像的样子，也能减少距离造成的成像差异效果，不过，要提供全像成像需要特殊光源，HoloCake 2采用了特别的激光光源，不同于今天VR眼镜用的LED光源。Andrew Maimone指出，激光光源并不神奇，但在消费级产品中，找不到性能和价格能够兼顾的合适产品，还需要大量工程研究，才能打造出符合需求的消费型激光光源，能够安全、有效的装在轻薄的VR眼镜上。

Meta目前最先进的VR设备原型HoloCake 2，采用饼干式全像技术，也需要搭配特殊激光光源来提供全像呈现所需，不同于今天VR眼镜惯用的LED光源。

扎克伯格还展示了一款VR眼镜的原型设计Mirror Lake，集结了Reality Labs部门过去7年的研究成果，采用了HoloCake 2的显示系统，包括了变焦镜头、眼球关注、失真校正技术、饼干镜头设计等，要集成到一个小巧、方便穿戴的护目镜眼镜设计，来提供混合实境的真实3D显示方式。不过，Mirror Lake只是一个概念设计，Meta还没有真正实现这样的架构。

扎克伯格坦言，Mirror Lake还需要好几年才能实现。“因为真实感VR是一个全新的技术，不是改进手机或电视的显示器，如果可以实现，将会带来VR体验非常大的改变。”

扎克伯格展示一款VR眼镜原型概念设计Mirror Lake，集结了过去7年的研究成果，集成到一个小巧、方便穿戴的护目镜眼镜设计，来提供混合实境的真实3D显示方式，但目前还没实例。