增强照片真实感
Enhancing Photorealism Enhancement
频道:ISL and Collaborators · 时长:8:33 · 发布:2021-05-10 · 播放:6276362
简介
一个视频展示了英特尔研究论文关于增强合成图像照片真实感的研究。卷积网络使用渲染中间体,在GTA V镜头上展示,结果看起来像真实的街景。
HN 为什么推荐
被用作神经网络增强游戏渲染的典型例子,在后来的AI图形讨论中被引用。
如果你还没看过,将神经网络应用于GTAV以实现照片真实感的视频真的令人印象深刻。 — HN, 2021
机器学习与深度学习 · 大语言模型与生成式 AI · 计算机图形与渲染
中文字幕节选
在这项工作中,我们正在增强照片级真实感。 为了理解这意味着什么,让我们看一些来自游戏的镜头 《侠盗猎车手5》。游戏看起来很棒,但并非完全照片级真实。 现在让我们开启我们的方法。 该方法修改游戏中的图像,使其看起来更真实。 这是一个卷积网络,逐帧生成图像,并且可以以 交互速率运行。这个模型被训练用于将GTA V转换为Cityscapes数据集。 Cityscapes主要包含用汽车级 摄像头录制的德国城市图像。以下是数据集中的几个例子。 借助由Cityscapes诱导的现实模型,我们的方法为道路铺上了 更光滑的沥青,增加了车漆的光泽度,并让GTA加州中 晒干的山丘变绿。 结果在几何和语义上与输入图像一致,并且 时间上稳定。让我们看看最先进的方法与我们的工作相比如何。 这是对比非配对图像到图像翻译,简称cut。 Cut在时间上不太稳定,并且会幻觉出物体,比如天空中的树木 或汽车引擎盖上的梅赛德斯星标。 这是另一种最先进的方法。 与cut类似,T-set在时间上不太稳定,并向图像中添加了许多伪影。 现在让我们详细看看我们的方法,以理解为什么它更 稳定并且产生更少的伪影。 我们的方法从游戏中获取渲染图像,并将其通过图像 增强网络以生成增强图像。 我们进一步提取游戏引擎生成的称为G-buffer的渲染缓冲区集合。 G-buffer包含几何信息,如表面或到摄像机的距离, 材质信息,如反照率或光泽度。 它们还可能包含场景中光照的信息。 我们将这些缓冲区通过G-buffer编码器网络,以在多个尺度上生成特征张量。 这些张量编码了关于渲染场景的信息。 为了训练我们的网络以增强真实感,我们采用了一个感知判别器。 对于它接收的每张图像,它都会产生一个真实感分数。 为了让它理解真实世界的样子,我们还向它输入真实照片。 为了确保我们的网络保留渲染图像的结构,我们进一步将它们 添加到判别器输入中,并采用感知损失。 现在让我们放大看看G-buffer编码器。 从G-buffer中,我们可以推导出一个语义类别标签图,它为每个像素 分配一个对象ID。 我们将G-buffer通过多个卷积网络流,并基于对象ID 再次融合这些流。 这允许编码器为每种类型的对象学习不同的处理方式。 例如,树木将与汽车区别对待。 生成的特征张量进一步由残差块处理,这些残差块输出 多个尺度的张量。 现在让我们看看图像增强网络,了解我们可以用这些 多尺度张量做什么。增强网络基于HRNet,它并行处理 多个尺度的图像。 特征张量的每个尺度与网络中的一个尺度匹配。 网络在每个尺度上由许多残差块组成。 在残差块内,我们将批量归一化层替换为我们自己的 渲染感知去归一化块,简称RAD。 RAD层基于G-buffer特征张量中的渲染信息来调制特征。 更多细节,请参阅我们的论文。 现在让我们看看感知判别器是如何工作的。 判别器包含一个鲁棒的语义分割网络和一个用于
HN 上的讨论
DLSS及其类似想法在概念之外真的很有趣:[LINK] 例如,以极低的分辨率运行基础游戏。在较低分辨率下,可以以高性能的方式运行模型来在每一帧中“升级”。甚至英特尔的那个CNN项目,他们拿《侠盗猎车手》并用德国乡村的行车记录仪视频“绘制”它:[VIDEO] 结果相当有趣——所有“棕色”的南加州山脉都变成了像德国一样的绿色 — valgaze, 2022-04
如果你还没看过,那个将神经网络应用于GTAV以实现照片级真实感的视频真的令人印象深刻。[VIDEO] — arduinomancer, 2021-05
研究人员在照片上训练了一个深度学习网络,使GTA5看起来更逼真:[VIDEO] 我很惊讶大部分只是色调映射。对我来说看起来太绿了,需要一些白平衡,但很逼真。我认为视频游戏故意过度饱和和对比,以使它们看起来更好,就像绘画一样[1]。我在《地平线零之曙光》中拍了很多截图,如果像上面修改后的GTA5镜头那样逼真,它们会显得平淡[2]。你也不希望动画电影[3]有逼真的色调映射。但对于恐怖游戏,你会 exactly 这样做,它关乎沉浸感(否则你永远不会被吓到),而不是美感。[1] [LINK] [2] [LINK] [3] [LINK] — meinersbur, 2025-07
我认为在不久的将来我们会看到类似这样的东西:[VIDEO] 从几年前开始,游戏传统渲染并用作地面真实,上面有一个模型来增强图形。也许10-15年后,我们将超过整个游戏可以在没有明显一致性错误的情况下生成的点。实时AI对话已经可能,但仍然有点原始,我在这里写了一篇博客文章:[LINK] — joegibbs, 2024-02
> AI会做图形编程吗?我怀疑。我认为更大的担忧(如果你可以这么称呼的话)是某些AI技术一旦变得足够先进/稳定,可能能够取代整个技术栈。也许类似这样,你渲染简化的几何体,让AI填补空白:[VIDEO] 即使没有实验性技术,你也可以一窥像光线重建这样的已发布工具未来如何改变这个领域,以某种方式永远将自己嵌入图形编程中。至于AI编写图形代码?不可能,至少在未来几十年内不会。按钮片段与每秒60次渲染虚拟化几何体相去甚远。 — FoodWThrow, 2023-11
相关视频
- 让我们把暗黑破坏神移植到 SerenityOS! · Andreas Kling · 1:19:39
- GPT 现状 | BRK216HFS · Microsoft Developer · 42:40
- - 创业公司 - David H. Hansson,37signals 合伙人 - TWiST #E337 · This Week in Startups · 1:38:37
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 贝塞尔曲线之美 · Freya Holmér · 24:25
- 样条曲线的连续性 · Freya Holmér · 1:13:50
- Rgba 与 TBC 的 elevated | 4k intro(FullHD 1080p 演示场景 demo) · Demoscene High-Quality Videos (Annikras) · 3:36
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 用数学绘制角色 · Inigo Quilez · 24:46
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- Wayland 和 X 背后的真实故事 - Daniel Stone (linux.conf.au 2013) · Mladen Mijatov · 45:35
- 深入解析Nanite虚拟化几何体 · SIGGRAPH Advances in Real-Time Rendering · 1:09:59
- MarI/O - 视频游戏机器学习 · SethBling · 5:57