AI学习噪声过滤以实现逼真视频 | Two Minute Papers #215
AI Learns Noise Filtering For Photorealistic Videos | Two Minute Papers #215
频道:Two Minute Papers · 时长:4:16 · 发布:2017-12-17 · 播放:64639
简介
一期Two Minute Papers节目,介绍NVIDIA的循环去噪自编码器,用于清理有噪声的蒙特卡洛路径追踪图像序列。它展示了神经网络如何从极少的样本中生成可用的渲染。
HN 为什么推荐
被引用为AI去噪的易懂解释,而AI去噪是RTX硬件上实时光线追踪的基础。
Two Minute Papers做了一个很好的解释 — HN, 2019
中文字幕节选
亲爱的学者们,这是Károly Zsolnai-Fehér带来的《两分钟论文》。 这是另一篇让我非常兴奋的精彩论文。 原因在于它处于计算机图形学和 机器学习的交叉领域,如你所知,这已经 足以让我开心了,但当我第一次 看到结果的质量时,我欣喜地 发现它完全达到了我的期望。 光照模拟程序是计算机图形学的一个重要子领域,我们试图 通过模拟数百万乃至数千万条光线的路径, 来创建3D数字场景的逼真图像。 首先,我们从一张有噪声的图像开始, 随着我们计算更多的路径,图像慢慢变得清晰。 然而,要得到一张完全清晰的图像需要很长时间,而且取决于 场景和算法,可能需要几分钟到几小时。 在早期的工作中,我们有一个美丽但 病态的场景,需要几周的时间来渲染 在多台机器上,如果你想了解更多,链接可以在 视频描述中找到。 因此,为了缓解这个问题,多年来 出现了许多噪声滤波算法。 这些算法的目标是,与其 计算越来越多的路径直到图像清晰,我们停在一张有噪声的图像上, 并尝试猜测最终图像会是什么样子。 这通常发生在有一些额外的深度和几何信息的情况下, 这些额外的图像通常被 称为特征缓冲区或辅助缓冲区。 这些信息帮助噪声滤波器 更好地理解场景并产生更高质量的输出。 最近,出现了一些基于学习的算法,结果非常出色。 嗯,出色这个词可能还不足以形容, 因为这些算法可以处理一张极其嘈杂的图像, 我们只用每像素一条光线渲染的。 恐怕这已经是最嘈杂的程度了, 而我们仍然能从中得到可用的图像,这绝对令人惊叹。 然而,这些算法无法处理数据序列, 只能孤立地处理每一张图像。 它们没有意识到我们正在处理的是动画。 这到底意味着什么? 这意味着网络没有 关于它如何处理前一帧图像的记忆, 如果我们结合这样一个事实:图像中仍然残留着微量的噪声, 我们就会得到一个令人不安的闪烁效果。 这是因为残留的噪声在每张图像中都不同。 这项技术使用了循环神经网络, 它能够处理数据序列,例如,在我们的案例中,视频。 它记得它如何处理之前的 图像,就在片刻之前,因此, 它可以调整并产生时间上稳定的输出。 计算机图形学研究人员喜欢称之为时空滤波。 你可以在这个相机平移实验中看到 这项新技术要平滑多少。 让我们把同样的镜头放慢, 看看是否能更好地观察闪烁。 是的,一切正常!循环神经网络绝非易事 训练起来并不容易,需要相当多的实现 细节才能做好,所以请务必查看论文了解详情。 时间一致的光照模拟重建 从每像素一个样本的噪声图像。 而且对于视频。这简直是疯狂。 我敢大胆地说,在 在不久的将来,我们会运行基于学习的 噪声滤波器,处理那些噪声极大、甚至每像素连一个光线样本都没有的图像。 也许每隔一个像素才有一个样本。 这将成为新的里程碑。 如果有人告诉我这将成为可能, 当我开始做光传输研究,还是 本科生的时候,我一个字都不会相信。 电脑游戏、VR以及各种实时
HN 上的讨论
只是简要提到,但NVIDIA的循环降噪自编码器相当惊人。[LINK] Two Minute Papers做了一个很好的解释:[VIDEO] — jonas21, 2019-09
迪士尼实际上做了很多结合图形世界和深度学习的研究。一些你可能会欣赏的例子(来自优秀的频道“两分钟论文”):。“迪士尼的 AI 学会渲染云朵” [0]。“AI 学会为逼真视频进行噪声过滤” [1] [0] [LINK] [1] [VIDEO] — halflings, 2018-06
深度学习降噪器。我不知道NVIDIA是否给它起了什么营销术语。正是它让RTX能够产生有意义的图像,尽管渲染器以每像素0.5-2个样本运行,看起来比随机噪声好不了多少。我有点以为他们会叫它DLDN,因为他们把深度学习超采样叫DLSS。我猜不是,真是的。[VIDEO] — kuzehanka, 2019-03
这个使用了神经网络[VIDEO],视频结果从1:15左右开始。这个没有使用神经网络:[LINK] — blooop, 2018-12
我认为你的估算没有考虑到AI降噪技术带来的巨大提升,比如[VIDEO] — scrumption, 2018-08
相关视频
- 反向大脑自行车 - Smarter Every Day 133 · SmarterEveryDay · 7:58
- Project Starline:感觉就像你们在一起 · Google · 1:51
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- 通往PS5之路 · PlayStation · 52:44
- Tensorflow 和深度学习——无需博士学位 by Martin Görner · Devoxx · 2:35:53
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 贝塞尔曲线之美 · Freya Holmér · 24:25
- 样条曲线的连续性 · Freya Holmér · 1:13:50
- Rgba 与 TBC 的 elevated | 4k intro(FullHD 1080p 演示场景 demo) · Demoscene High-Quality Videos (Annikras) · 3:36
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 用数学绘制角色 · Inigo Quilez · 24:46
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- Wayland 和 X 背后的真实故事 - Daniel Stone (linux.conf.au 2013) · Mladen Mijatov · 45:35
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40