用 NVIDIA 的注视点渲染改进 VR

Improving VR with NVIDIA’s Foveated Rendering

频道:NVIDIA · 时长:1:20 · 发布:2016-07-21 · 播放:110006

在 YouTube 观看

简介

一段一分钟的 NVIDIA 研究演示,展示使用 SMI 眼动追踪的 VR 注视点渲染。它只在眼睛注视的地方以完整细节渲染,符合人类视觉的生理特点。

HN 为什么推荐

被用作视觉示例,说明注视点渲染如何降低 VR 所需的 GPU 算力。

这就是 VR 中保持对比度的注视点渲染的样子 — HN, 2017

计算机图形与渲染 · VR、AR与空间计算

HN 上的讨论

然后你使用多个围绕其中心旋转的摄像机进行渲染,使用与立方体贴图渲染相同的技术。对于高视场角,以均匀分辨率渲染单个球形视图对于 VR 来说效率低下,不仅因为缺乏硬件支持(没有明显的伪影或某种细分方案)和产生的畸变,还因为人类视觉的注视点特性。你会希望将一个小视锥体以高得多的每角度像素渲染,并与整个视场的低分辨率渲染混合(最好用一个中等分辨率的视锥体围绕较小的视锥体,以实现更渐进的混合)。参见:[VIDEO] 使用当前的 GPU 和游戏引擎,你需要多个摄像机来实现这种效果,但它的优势是大幅降低了高分辨率 VR 图形的计算需求(比较每眼 8k,而只是两个混合的 1080p 视图)。你也可以对单个非均匀分辨率的视图进行光线追踪,直接考虑 HMD 镜头的畸变特性,但这可能比使用多个混合摄像机的传统光栅化效率低得多。 — joefourier, 2019-02
看到眼动追踪出现在这个列表中,我真的很高兴,因为我认为它是一项“网关技术”,开启了一系列其他非常酷的功能。最重要的可能是注视点渲染[1],它既能带来更自然的外观,也能(希望)实现更高效的视觉效果。1 - [VIDEO] — michaelbuckbee, 2018-03
>而这些算力可以投入到更逼真的图形和更低的延迟上。幸运的是,这个问题在消费级层面已经接近解决。Vive 的注视点渲染附加模块预计很快将在中国发货,北美则在第三季度[0]。对于不熟悉这个术语的人,注视点渲染意味着只在你的视野范围内渲染高分辨率图像。基本上,你不会在整个视野中看到全部细节——只在你眼睛聚焦的点上。该点之外的一切都可以用较低分辨率渲染,而你永远不会注意到差异。它需要高速眼动追踪才能实现,但它可以大大减少渲染一个逼真 VR 环境所需的算力[1]。[0] - [LINK] [1] - [VIDEO] — drspacemonkey, 2017-05
注视点渲染将是使移动 VR 变得可行的最重要一步,所以这是个非常好的消息。我很好奇他们将如何处理眼动追踪。我希望它使用电容式镜头来追踪你的瞳孔凸起,而不是笨重且耗电的内部摄像头加计算机视觉处理。这就是 VR 中对比度保持的注视点渲染的样子:[VIDEO] — Sephr, 2017-03

相关视频