奇趣闻 > 数码科技 > \

Oculus基于英伟达光流SDK推出立体透视Passthrough+

原标题:Oculus基于英伟达光流SDK推出立体透视Passthrough+

Oculus正致力于为消费者增强现实与消费者虚拟现实铺平道路,并且定义所需的组件,从而帮助开发者和用户在VR中获得最为愉快,最为身临其境的体验。今天Oculus介绍了最近发布的技术:基于英伟达图灵Optical Flow SDK的Passthrough+。

1. Passthrough+

Passthrough +是Oculus Rift S中的一项全新功能,它能够以正确的立体透视模式在虚拟世界提供前置摄像头视图。传统的VR透视视图质量有限,这是因为摄像头往往不是位于玩家的眼前。这是技术方面的限制,而且将摄像头设置于用户眼前是不切实际的方案。但我们可以接近这一点。Passthrough +是投影摄像头视图的最先进方法,令画面看起来就像是摄像头成为了用户的双眼。这项功能可以减少深度差异并提高舒适度。尽管摄像头的帧速率较低,但画面感觉自然,而且帧率正常。这因为在比较从不同视角同时拍摄的两个帧时,Oculus的系统可以恢复视差信息。借助基于像素测量所获取的差异信息,再结合摄像头位置,Oculus可以从图像中推断出实际的距离值。通过利用异步空间扭曲技术,Passthrough +可以实时地进行差异估计。

Oculus基于英伟达光流SDK推出立体透视Passthrough+

2. 异步空间扭曲2.0

Oculus最近发布了异步空间扭曲2.0。自2016年发布1.0版本以来,它已然成为VR二次投影的行业标准。ASW能够降低用户设备的性能要求和开发者的优化要求。它可以通过光流来推断场景内的运动,并实现进一步的外推。

这意味着应用程序不再受限于VR显示屏的帧率,系统可以开始合成中间帧并予以补充。下面是《Lucky’s Tale》的示例,其中场景应用了运动矢量。

Oculus基于英伟达光流SDK推出立体透视Passthrough+

光流这种计算机视觉技术主要用于识别帧到帧的变化。这可以是电影,其中系统追踪运动以跟随对象或整个场景。这同时可以是通过不同摄像头拍摄的两张图像。在更基本的层面上,这种图块匹配和追踪是现代视频编码的核心组件。你可以将光流类比成视频编码中的基于图块匹配的运动估计,但两者的目标不尽相同。在视频编码中,图块匹配的目标不是在场景中寻找运动(尽管这是一个有趣的意外结果)。对于视频编码,其目标是定位类似的图案,并利用相关性进行压缩。换句话说,视频编码器将寻找能够为最精简的数据流产生最佳输出的最佳结果。尽管这通常是场景的流动,但没有任何任何保证,或者说原本就不是为了这个目标。光流涉及在场景中寻找对象的更自然运动。对于压缩,它将是非常次优的目标,只要对象本身能够整体移动,并且可以路径追踪它们的真实世界运动即可。

到目前为止,利用视频编码器一直是ASW的基础。将视频编码器用于ASW的主要优点是,它与GPU的图形渲染并行运行。这意味着当系统尝试生成合成帧时,渲染性能落后的应用程序不会受到负面影响。相反,应用程序可以拥有以前的所有资源,以及预测运动的能力。但主要缺点是合成帧中的预测不完全准确。

3. 光流

英伟达为估算场景中的光流开发了一种更快、更精确的SDK。这家公司于今年早些时候发布了他们的Optical Flow SDK,并用于取代NVENC视频编码器原来单纯的运动估算模式。英伟达的Optical Flow SDK可用于图灵显卡,能够将宏块分辨率提高四倍,优化运动矢量分辨率,并且通过强度变化实现对象跟随,同时强调光流而非压缩比。

Oculus基于英伟达光流SDK推出立体透视Passthrough+

结果是终点误差比传统的视频编码运动矢量平均少一半。定性结果同样令人印象深刻。通过ASW,系统可以更可靠地追踪近场对象。手电筒幻觉的出现频率更低,而增加的精度意味着可以更准确地追踪单个颗粒和对象的运动。

4. 基于差异的深度信息

对于Passthrough +,这意味着可以增加投影世界的立体分辨率,同时能够正确追踪和跟随对象。当面对低对比度或过度曝光的区域时,英伟达的Optical Flow仍然可以推断出有意义的视差值,在估计场景深度时防止视图漏洞或丢失数据。以下这个视频对比了视频编码器的运动矢量和英伟达的Optical Flow。插入的窗口是场景中的估计深度,较暗的区域是更后面的位置。你可以在深度缓冲区中看到Optical Flow的优势,其中深度近似值要更加精确。

5. 即将推出

尽管ASW和Passthrough +可以支持现有的最低规格和推荐规格硬件,但图灵硬件可以通过Optical Flow SDK提供最佳的运动估算。作为用户,你可以为Oculus运行时提供图灵硬件和最新的英伟达驱动程序之外。包含所述集成的Oculus运行时将于2019年6月的1.38版本中与大家见面。

6. 未来的工作

Oculus表示,这并非ASW和光流研究工作的结束。如上所述,光流不仅只可以追踪运动,同时能够说明场景的空间组成。我们可以利用光流获取大量的信息,而传统的视频编码器方法能够出色地做到所述的任何一点。Optical Flow SDK带来了大量的机遇和研究方向,而Oculus将继续进一步的探索挖掘。

来源:映维网

显示全文

相关文章