3D 高斯泼溅! - Computerphile

3D Gaussian Splatting! - Computerphile

频道:Computerphile · 时长:17:39 · 发布:2024-03-14 · 播放:276743

在 YouTube 观看

简介

Computerphile 的一个视频,Dr Mike Pound 和博士生 Lewis Stuart 解释了 3D 高斯泼溅,一种将场景照片快速转换为 3D 模型且计算量不大的技术。视频包含演示,并将该方法与 NeRF 进行了比较。

HN 为什么推荐

HN 推荐它作为高斯泼溅的易懂入门,由真正理解该主题的人制作。

这里有一个更好的解释视频,来自一些似乎真正理解主题而不仅仅是流行语的人 — HN, 2024

计算机视觉、语音与 NLP · 计算机图形与渲染

中文字幕节选

嗯,现在你看到这个可能会说还行吧,不算太好,但是当我提高质量—— 砰,现在对我来说这看起来非常非常棒。 最令人印象深刻的是,如果我们转动它,看它有多快,你知道 虽然我的电脑不是最好的,但用NeRF你做不到这一点。在 上一个视频中,每当我将相机移动到一个新位置,我都得等大约 5秒钟才能渲染出合适的图像,而这个几乎是瞬间完成的。 虽然我说过我的电脑不是最好的,但如果你有最新最好的设备, 你可以在这上面达到100 FPS,而且这还是通过网页服务器运行的,对吧 这对我来说发送图像、检索图像要慢得多。是的,让我们 快速回顾一下上一个视频中关于NeRF的内容,只需一分钟,然后我们 可以讨论一个完全不同的东西,叫做高斯泼溅。 他们所做的就是取一系列RGB图像,从这些场景的RGB图像中 他们能够使用神经网络在3D中重建它。所以如果你记得在 NeRF中,我们有一个3D场景,也许我们有一个物体 我们试图在我们的场景中重建,我们在视频中做了一棵圣诞树,所以 有点像这样,我不画这些东西的原因是它们 从来都不好看,像那样,其实那还不错,几乎 对称,我很满意。现在用NeRF,你有一个相机视角,所以 假设这个方向在这里,你像这样穿过场景发射光线,然后 你沿着这条光线采样点,你问一个新网络那个点是什么, 你说好吧,所以在这里它是透明的,那里没有什么有趣的,但 在这里它是绿色的,那里有东西,对吧。如果你通过足够多的 相机和足够多的光线这样做,你可以慢慢地在神经网络本身中 建立起你3D物体的实际表示,这基本上意味着你的 场景,你现在可以从任何点渲染,实际上就是一个小神经网络, 它只是某种训练过的渲染器,这真的很酷。嗯,所以这 席卷了世界,不是很久,其实最近,几年前,几年前,对吧,我 意思是3年,我们已经在谈论它如何被取代了,这有点 遗憾,但你知道,嗯,事实就是如此,但我的意思是实际上我认为可能 仍然有时间使用NeRF,但我认为讨论这些 替代方案是好的。是的,所以无论如何,NeRF的好处是你的整个多 相机场景基本上被表示为一个小神经网络,你可以直接 从任何点运行。坏消息是,如果你有 不受约束的视角,它往往相当不稳定。我们看到我们的圣诞树效果不错,但一些 周围区域效果不太好,而且渲染也需要很长时间。 如果你想渲染场景的新图片,那么你需要从 所有不同的像素发射光线,有点像真正的光线追踪器,沿着它们采样, 然后你必须找到物体开始的确切位置,所有 这些工作都需要很长时间,即使有更新的NeRF版本 在这方面做得更好,它仍然是一个相当慢的过程。是的,传统图形不 是这样工作的,而高斯泼溅可能更接近 传统图形。是的,好的,所以我马上就会安静下来,但我要 说的是,首先确保每个人都了解高斯泼溅, 就是将我们的场景表示为一系列点的想法,但我们的点现在不是 一个单一的点,它们是一个小高斯,对吧。那么什么是高斯?如果你在看

HN 上的讨论

你在 HN,不是 reddit。楼主链接的是一个特定兴趣博客,不是科普文章。在这里,读者有责任自己补课。搜索框就在底部:[LINK] 但可以从这里开始:TUM AI Lecture Series - The 3D Gaussian Splatting Adventure: Past, Present, Futur (George Drettakis) [LINK] 或者这里:[VIDEO] — mxfh, 2026-01
不是阅读指南,但Computerphile有一个关于高斯泼溅的很好的入门视频: [VIDEO] Individualkex也有几个关于高层次思想的视频: [LINK] — yokto, 2024-11
这里有一个更好的解释,来自那些似乎真正理解主题而不仅仅是流行语的人(是的,最终结果基本上是一个高度详细的点云): [VIDEO] — ghostly_s, 2024-05

相关视频