Meta元宇宙VR研发成果首度大公开。在Meta公司Reality Labs部门实验室中,有一面原型展示墙,陈列了实验室设立七年来所开发的数十款VR眼镜原型,有的轻巧如太阳眼镜,但更多是笨重,大小不一的设备。这是去年改名为Meta的脸书,最重要的元宇宙研发基地,Meta创办人暨首席执行官扎克伯格强调,我们的目标是打造出通过视觉图灵测试的次世代VR体验,这是目前还不存在的未来技术。这是第一次,Meta详细披露了打造真实感VR眼镜的四大挑战和最新进展。
扎克伯格去年将脸书改名为Meta,来宣示全力进军元宇宙的企图心。VR眼镜是Meta实现元宇宙大梦的关键设备,2015年就发布了所并购子公司Oculus的首款虚拟现实头盔Rift,而Oculus团队后来也成了Meta的VR研发部门,也就是Reality Labs。
今年2月,Meta公布去年第四季财报时,也首度公布了Reality Labs部门的营收情况,虽然该季Meta的Reality Labs营收高达8.8亿美元,但最后还是亏损了33亿美元,而且逐季扩大中。最近更传出Reality Labs部门将重整,要终止或延后部分项目,专注在核心产品开发。这些负面消息也引发外界对Meta元宇宙布局的疑虑。最近,Meta首度公开了Reality Labs部门历年的研发成果,来消弭外界对发展不顺的质疑。
Meta元宇宙的战略目标
Meta元宇宙的战略目标是,打造出媲美真实世界的虚拟世界,扎克伯格指出,如果有一天VR眼镜可以媲美人类视觉的效果,可以实现“存在感”,让你感觉好像跟另一个人实际待在同一个地方的感觉,可以帮助人们更好的交互,这是非常重要的事。不管是,你远方家庭成员,或是项目协作的对象,你喜欢的艺术家,都可以让他们跟你有同在一个物理空间存在的感觉。
为何要打造媲美真实的3D感受,Meta旗下Reality Labs首席研究员Michael Abrash指出,真实的3D可以让我们体验,今天在虚拟世界体验不到的感觉,尤其是与其他人的交互体验,“必须改变感受系统,来趋近真实的情况,才能提供真正的临场感。”他更比喻,这样的VR眼镜更可以创造出协同合作的可能性,能做到项当年打字机或计算机带来的产业变革一样。
不只如此,“一旦可以打造出真实感的VR显示器,就可以创造新一代的视觉体验。”扎克伯格补充,文化会适应科技所带来的深度和丰富性,当新一代科技出现,就会带来新的艺术和表现形式,每一个人都希望被了解,这个真实感VR显示器,会成为一种强大的工具,可以用一种近似现实的方法来表达自己。
不过,扎克伯格也坦言,要让VR世界跟现实物理世界非常相似,是一件非常困难,但很有趣的问题,“这涉及我们在物理世界如何发现事情,包括眼睛如何处理信号,以及大脑如何解读的挑战。”尤其,人类视觉是高度集成的结果,不能只是看到一个高度真实的图像,还需要很多其他的视觉线索,才会有一种很真实的感觉,“这是与只看计算机屏幕或电视屏幕,截然不同的感受。”
不只是这些视觉线索的不同,除了提供3D立体图片之外,观看传统屏幕时的对焦是固定距离,但真实世界,眼睛移动过程中,会针对不同的物体对焦。另外,显示器也必须提供更广大的视野,提供比传统屏幕高非常多的分辨率,甚至,显示屏幕必须能够模模拟实世界的亮度和动态范围,比现在的高清电视还要高10倍,显示画面还能够快速延迟反映的眼球的动作,当用户转头时,可以很快校正画面的失真。这些功能都需要电力支持,尤其要支持GPU的运算,也要避免芯片发热带来的不舒适感。最后,所有这些组件都要安装到一个大小适合的设备中。
“只有一个部分没有做好,实境感觉就会消失,这种实境破坏感,比2D平面更明显。”扎克伯格坦言,这就是真实感VR眼镜的严峻挑战,需要软件、芯片技术、传感器等各种技术的合作。
参考图灵测试,提出视觉图灵测试来验证VR眼镜体验
为了用来判定VR眼镜的效果,Michael Abrash指出,Meta内部提出了“视觉图灵测试”的观念,“我们的目标就是希望通过视觉图灵测试。”Meta参考了图灵测试的做法,以“能不能分辨不出来这是人或计算机”来判定计算机是不是达到像人一样的程度,视觉图灵测验就是,人类看到的VR世界,能不能跟真实世界一样,分辨不出两者的差别。而且这个测试要以人类主观的感受来测试,而不是技术的衡量标准。不过,扎克伯格坦言,目前没有任何VR设备能够通过这个测试。
真实VR眼镜的第一个挑战是超高分辨率
很多人提到VR眼镜的品质,就会提到分辨率,扎克伯格表示,分辨率是最重要议题,但VR眼镜的分辨率问题跟传统的分辨率挑战不太一样。在VR眼镜中的视野,其实比现在最宽的屏幕还要更大,他预估,要达到1.0视力效果,就得在整个视野都都达到超过8K的分辨率,
Meta自己设置的目标是,要达到视网膜分辨率效果的VR眼镜,换句话说,每一度视野要提供到60个像素的分辨率,若是眼睛全视野都达到这个分辨率,就得比现有显示器还要多好几倍的分辨率才够。
不过,“人类视觉不需要所有像素都存在,所看到的完整视野中,不需要每一样东西都对焦,只需要对焦的物体有高分辨率,而视野边缘的分辨率可以稍低,但是,现在,任何一款显示器都没有办法做到这件事。”扎克伯格说。
脸书曾有一款原型产品,称为Butterscotch,可以提供超高分辨率,来达到1.0视力的文本识别效果,这是2015年时的Rift眼镜或是当前的Quest 2眼镜就都达不到的效果,可以看清楚视力检测表上1.0的文本。
Butterscotch是Reality Labs实验室定制的原型,不是实际的产品,但是可以达到视网膜分辨率,是现在Quest 2虚拟现实眼镜的2.5倍分辨率,但这款原型眼镜的解法是,通过牺牲视野来达到更高的分辨率,通过混合镜片,将视野的宽度缩小到Quest 2视野宽度的一半,才得到比较高的分辨率,可以看到非常细节。
扎克伯格自己也曾测试过这款视网膜分辨率的VR眼镜,他说:“可以看到非常锐利的图像,体验很好,但没办法卖,因为设备的重量很重,而且图像过于锐利,戴久了也会不舒服。”
通过这个原型的实测,一方面可以看到超高分辨率VR眼镜的模样,也让Meta的Reality Labs团队意识到,真实的图片需要达到这样的分辨率,扎克伯格指出,显示器科技会一代一代进步,几年后就会达到。
不过,新时代视觉体验的挑战不只是分辨率而已,甚至还有一些平面显示设备不会出现的挑战。例如,VR眼镜独特的挑战是VR所用的镜片是曲线镜,会造成图片变形,就得靠软件来校正,但是,这个变形还会随着眼睛移动而改变,长时间佩戴看到失真图片,会造成不舒服、疲劳的感觉。另一个挑战是对焦的挑战,眼睛会想要对焦物体,但是,显示器是以固定距离来投影,就得解决不同距离的聚焦问题。
动态对焦是第二个挑战
2015年开始销售第一款VR头盔Oculus Rift的时候,当时,Meta就发现到对焦距离的挑战。因为当时是第一次在VR眼镜的视野中出现了手,就遇到了移动过程的对焦挑战。因为手会在VR世界中挥动,就会出现对焦距离不固定的问题。
现实世界的眼球,会不断改变形状来应对我们看的距离和成像,但是,当前的VR光学系统采用的是固定不能弯曲的实体透镜,焦点固定在约5~6英尺的位置,方便用户看到比较远的地方。在真实世界中,人类的眼睛可以捕捉到不同深度和位置的各种微妙线索,但在
VR眼镜中,若眼睛试图聚焦观看近处或远方的物体,却无法做到时,就会觉得有点模糊也会让眼睛疲劳,这是3D眼镜跟2D显示器的差别,用户观看2D显示器时,不需要真的观看到很近或很远的物体。
为了解决这个问题,Meta的解法是动态移动镜片,来改变景深,就像是相机自动对焦的感觉。后来,Meta用了1个月的时间,做出了第一款变焦的VR眼镜原型,可以提供正确的焦深,尤其是看近的对象,会更清楚。
Meta在2015年打造出的第一款变焦VR眼镜原型,装上马达来改变显示器镜头位置,非常笨重,但从此确定了变焦是可以更接近真实的未来技术目标。
这个VR眼镜原型装上了马达,来调整显示器的镜头位置,虽然这是一款非常笨重的眼镜,不是可以上市的产品,但却让研究团队大受激励,让他们体验到未来可以达到什么样程度的现实程度,所以戴过这款原型的人都同意,可以让比较近的物体看起来很锐利,隔年,
Meta进一步打造了一款可以关注眼动,根据眼球运动来进行变焦的原型。通过机械变焦的显示器,能够提供适当的景深,搭配眼球关注技术,针对用户在看的区域,即时提供失真校正,补偿这个区域的放大效果,只有用户看到的物体,会比较清楚,就像在真实世界,你聚焦观看的物体会更清楚一样。
“这个早期原型,让我们意识到,我们做对事情了,变焦真的可行,可以提供更吸引人的体验。”Reality Labs Research显示系统部经理Douglas Lanman回忆。通过原型确定变焦VR眼镜发展方向,下一步就是要进行用户研究,通过更有说服力的科学实验来证明。
开发轻巧变焦VR眼镜原型,展开用户体验研究
Reality Labs Research FAIR项目经理Marina Zannoli先前在Reality Labs Research显示系统团队中担任视觉科学家,也是负责新时代VR眼镜第一次用户研究的负责人。
为了了解变焦如何提升VR的体验,必需要先打造出一款更小更轻的眼镜设备,Marina Zannoli解释,重量和形式必须接近Oculus Rift,但不能有变焦马达的噪音和震动,后来,就发展出了Half Doom Zero这款变焦VR眼镜。
Half Doom Zero眼镜比原本变焦眼镜的原型小了4倍,而且完全跟当时所有Rift游戏兼容,也有非常好的对焦能力。在2017年春天,Meta找了大概60个受试者,来体验Half Doom Zero眼镜,让他们做了两天的测试,来比较调制焦系统,跟定焦系统的差别。
这个研究也准备了特定的VR展示视频,并鼓励测试者观察他们周边很近的东西,因为这是过去VR世界的用户会避免做的事,来自原有定焦系统VR眼镜的限制。
2017年春天Meta找了60个受试者体验动态变焦的VR眼镜,Half Doom Zero眼镜,这是第一次的大规模VR原型用户体验测试。
经过用户实验后发现,使用变焦系统比较不会累,也比较不会出现模糊的视线,用户更容易跟踪对象,在VR世界中阅读文本也更比定焦系统更容易,可以对对象的反应更快速。虽然这款VR眼镜仍有噪音和震动的问题,不过,这次用户研究,多数人可以接受噪音和震动下的变焦系统。
“大部分的人都喜欢变焦,比较不喜欢定焦。”Marina Zannoli指出,到了2017年夏天时,我们就得到比较确定的证据,变焦不只有助于未来可以通过视觉图灵测试,而且可以带给VR眼镜其他好处,包括性能的帮助(不需要全视野超高分辨率)和舒适性。“Half Doom系列是一个转泪点,不只发展出了非常先进的变焦技术,也提供了一种通过视觉图灵测试的原型测试模式。”
从此,先做出原型来验证,再发展轻巧版本进行用户实验,来研究如何打造下一个原型,“这就变成了我们的标准流程。”Marina Zannoli表示。Meta的Reality Labs实验室开始大量运用这个原型实验的做法,来尝试解决不同的VR眼镜挑战,这也是为何在7年中会开发出近30款原型VR眼镜的缘故。
有这个变焦系统更舒适的发现之后,Meta开始专注于减少设备大小和重量,以及想办法扩大VR眼镜的视野,也制作了一系列的原型,后来更使用了液晶透镜的电子变焦镜头,让镜片组件的体积缩小了许多,后续也持续改良变焦硬件。
第三个挑战:变焦带来更复杂的失真校正挑战
解决了变焦镜头的问题,还要解决其他问题,另一个问题就是VR光学失真的问题。
先前就提到VR眼镜的镜片是曲面镜,原本就会出现图片失真的问题,VR眼镜大多通过软件来修正这个图片的失真。可是一旦采用了变焦镜头,要随着用户的眼球来修正聚焦的物体,联动到虚拟图片的失真情况,也会随着眼睛移动,查看不同方向而发生不同的失真变化。
可是,Michael Abrash指出,既有失真修正算法是相对静态的做法,遇到眼睛要不断移动来浏览完整场景的时候,无法完美发挥作用,因为静态软件校正系统无法产生持续稳定的图像。“我们要研究的是眼球关注的失真校正,必须进行动态校正,随着眼睛来进行,在不同的变焦技术,在不同景深上发挥作用,而且校正的速度还要快让人难以发现,这是很难解决的问题。”
要解决失真的问题,需要很长的时间,一方面必需要制造出研究问题需要的镜片,可能花上好几个月才能完成,还要制造显示器和对应的VR系统。为了解决耗时的问题,Meta改用大量眼球运动的记录,来设计模拟器,搭配3D电视技术,来模拟研究不同光学设计和失真校正算法,不用建造真正的头盔,“通过这种快速原型制作能力,可以在几分钟内探索不同动态失真校正的情况。”Michael Abrash表示。
他指出,眼球关注是被低估的挑战,一方面要找出用户对焦的地方,来决定要渲染的图像重点,另一方面,也要考虑热量跟功率,如果只需要渲染出用户需要关注的细节就好,但降低其他部分的图像分辨率,“这或许是一个非常重要的优化做法。”目前在Quest 2的软件也做了不少失真校正的弥补,但要满足真实感VR眼镜需要的失真校正效果,还是不太够。
可以让3D场景栩栩如生的第4项挑战:HDR
Michael Abrash表示,Meta研发VR眼镜七年来所遇到的显示系统挑战,除了分辨率、变焦到失真校正的课题,还有一个很重要的挑战就是HDR(高动态范围),这是涉及亮度和对比的问题,亮处够亮可以感觉到颜色清楚,而暗处够暗才会让场景变得栩栩如生。当前的挑战是,“屏幕生动的程度,跟真实世界相比,有相当大的差异。”目前高端电视的亮度可以达到1万尼特,电视产业也往HDR的方向前进,但当前Quest VR眼镜的亮度只有100尼特,要提供HDR的亮度,也需要在电池跟重量之间取得平衡。
Meta曾打造出第一款HDR的VR眼镜Starburst来测试,不管重量和电力,放进高亮度的屏幕,来进行更多研究,了解HDR的体验会是如何。原型测试的目的是为了找出可以让视觉更加真实的技术方向。
Reality Labs Research研究总监Nathan Matsuda表示,通过Starburst,可以创造出在室内看到的亮度,来研究基本的发现问题,了解未来目标HDR应该要达到什么程度。目前发现,若可以产生比较好的焦深,营造真实生动的感觉,就有机会实现一个够漂亮,够复杂的VR环境,这还需要很多代的演进,才能达到。“我们正努力将这些技术集成到一个更小巧,更便宜的眼镜中。”Nathan Matsuda表示,每次创建一个新的原型,不管多不实际,但都可以让我们理解,人们如何观察周围的世界,以及科技可以如何扩大人们的视觉系统。
Michael Abrash指出,变焦和视网膜分辨率可以打开很多种可能性,但也会带来开发者的挑战,越真实的内容,制作难度就越高,如何协助人们创造这样的环境,能够炫染出可以保真的程度,AI技术将是实现这个目标的关键技术,另一个策略是先在真实世界中架构出场景,再将场景带来虚拟世界。
在Meta的Reality Labs团队中还有一组人马,负责集成科技和新的光学组件,他们的挑战就是要尽可能减少这些光学组件的体积。Reality Labs Research研究员Andrew Maimone指出,不管是分辨率、对焦、失真或HDR的技术,最后都要集成到VR眼镜中,我们的目标希望更轻薄短小,人们可以使用更长的时间。
在VR光学组件中有三个要素,光源、成像的显示版和曲面镜片。过去VR眼镜大部分的空间是消耗在镜片和显示版之间,Andrew Maimone指出,后来改用偏光折射可以进行光学对折,技术上称为饼干式镜筒,可以大幅减少厚度,只剩下曲面镜片本身的厚度。后来,Meta引进了全像投影的饼干式镜筒,简称HoloCake,同样采用饼干光学镜头的设计,将镜头改为全像镜片,就可以得到更薄、更平的镜头,能够大大减少VR光学组件的大小,进一步能减少整体眼镜的重量,不过,“全像镜片非常特殊,得使用激光作为光源,才可以描述更多颜色,提供更好视觉体验。”
传统VR眼镜空间是消耗在镜片和显示版间,Meta改用偏光折射进行光学对折,技术上称为饼干式镜筒,大幅减少了厚度,更将镜头改为全像镜片得到更薄更平的镜头(图右)。
最新VR原型HoloCake 2采用全像技术和激光光源
Meta也展示了他们目前最先进的VR设备原型HoloCake 2,可以支持任何计算机来运行,引进了两个技术,第一是引进了全像技术,可以让用户感受到有点像是实际成像的样子,也能减少距离造成的成像差异效果,不过,要提供全像成像需要特殊光源,HoloCake 2采用了特别的激光光源,不同于今天VR眼镜用的LED光源。Andrew Maimone指出,激光光源并不神奇,但在消费级产品中,找不到性能和价格能够兼顾的合适产品,还需要大量工程研究,才能打造出符合需求的消费型激光光源,能够安全、有效的装在轻薄的VR眼镜上。
Meta目前最先进的VR设备原型HoloCake 2,采用饼干式全像技术,也需要搭配特殊激光光源来提供全像呈现所需,不同于今天VR眼镜惯用的LED光源。
扎克伯格还展示了一款VR眼镜的原型设计Mirror Lake,集结了Reality Labs部门过去7年的研究成果,采用了HoloCake 2的显示系统,包括了变焦镜头、眼球关注、失真校正技术、饼干镜头设计等,要集成到一个小巧、方便穿戴的护目镜眼镜设计,来提供混合实境的真实3D显示方式。不过,Mirror Lake只是一个概念设计,Meta还没有真正实现这样的架构。
扎克伯格坦言,Mirror Lake还需要好几年才能实现。“因为真实感VR是一个全新的技术,不是改进手机或电视的显示器,如果可以实现,将会带来VR体验非常大的改变。”
扎克伯格展示一款VR眼镜原型概念设计Mirror Lake,集结了过去7年的研究成果,集成到一个小巧、方便穿戴的护目镜眼镜设计,来提供混合实境的真实3D显示方式,但目前还没实例。
下一篇:Meta大幅削减招聘计划