玩神经网络版《GTA V》:GAN Theft Auto
Playing a Neural Network's version of GTA V: GAN Theft Auto
频道:sentdex · 时长:17:07 · 发布:2021-06-18 · 播放:766017
简介
Sentdex 演示了 GAN Theft Auto,这是一个基于 GameGAN 的神经网络,它重建了《GTA V》,使网络本身成为可玩的环境。他展示了结果并发布了代码。
HN 为什么推荐
被引用为神经网络作为游戏引擎和世界模型的早期、引人注目的演示。
这个 YouTube 视频,对我来说,展示了未来事物的前景。 — HN, 2022
机器学习与深度学习 · 大语言模型与生成式 AI · 游戏编程与引擎
中文字幕节选
欢迎大家来到GAN偷车,你们看到的是我在一个 神经网络环境中游玩,这个神经网络是通过观看一个机器人玩 《侠盗猎车手5》在这段特定高速公路上学习如何从 之前的帧和玩家输入生成新帧,所以你们看到的每个像素都是 由神经网络在我游玩时生成的,而生成视觉效果或只是 改进它们也很有趣,最近有一些有趣的工作 用神经网络改进视觉效果,特别是《侠盗猎车手5》中 试图让它看起来更逼真,但这远不止如此 在这种情况下,神经网络就是整个游戏,它处理当你 按键左转或右转时会发生什么,这里没有我们或 原始《侠盗猎车手》引擎编写的规则,神经网络控制着这一切,包括 当我们试图转向另一辆车、撞墙时会发生什么,或者 背景中的物体应该做什么,光反射应该做什么,它基于 我们的输入完成所有这些,它是视觉效果、控制、物理,它是 一切,我们完全在一个神经网络对《侠盗猎车手5》的 表示中游玩。所以我们习惯于看到AI在环境中游玩,但这里AI 就是环境,它只是一个我们用Python运行的模型,接受 我作为玩家的按键,并输出像素值,我们还添加了一些 超级采样,让东西看起来比原生少一些像素化,所以 你们可以在底部中间屏幕看到原生效果,另一个 neat 的事情是GAN偷车几乎可以在任何能进行矩阵运算 并连接显示器的机器上运行,你的操作系统 或其他底层软件除了GPU加速外并不重要,那么这一切从何 而来?这是Daniel Kukiela和我的项目,基于NVIDIA的GameGAN,我会 在描述中放上所有链接,但除了这个页面还有论文本身 从最初的研究,这个GameGAN研究有点超越纯粹使用 GANs,你知道,接受按键并生成帧,这里还有其他事情 比如静态与动态事物,能够离开环境并 回来并记住状态,所以我们只是勉强触及了 表面,基于我们所做的,但我们只是试图玩玩,所以从 我看到吃豆人视频的那一刻起,我就必须 在环境中游玩,我非常想要,但代码、模型甚至数据 训练模型在相当长一段时间内都没有真正提供,然后终于 代码出来了,但没有模型或数据,所以没有 数据也没有模型,我们需要自己的,我们开始尝试模仿OpenAI Gym的Cart Pole环境,你只是在车上平衡一根杆子,结果开始 可疑,结束也是如此,模型很难学习这个,我们 以为也许是因为游戏的目标是尽可能少移动 所以杆子尽可能少移动,但后来我们认为可能是 机器人如何玩并为我们生成训练数据,所以我们可能最终 稍后重新审视这个,只是为了找出那个问题的答案,所以我们需要 一些可能更适合我们需求的东西,我们并不真正 知道任何现成的环境可以使用,但我们有Daniel,他 继续制作了一个我们称之为Vroom的游戏,视觉上明显基于 OpenAI的赛车环境,但这是完全从头编写的,为了我们的 特定需求和目的,但这可能是一个更好的环境 因为总会有移动和更多的转向,而且可能 更容易让GameGAN理解,所以实际上训练这些模型是
HN 上的讨论
你所描述的让我想起了这个很酷的项目:[VIDEO] “玩神经网络版的GTA V:GAN Theft Auto” — 7734128, 2024-08
> 你可以直接编码生成这些元素的过程所理解的内容,而不是试图从位图流中重建事物。你可能会喜欢 Gan Theft Auto:[VIDEO] — eru, 2022-12
这个YouTube视频在我看来展示了未来的前景。AI生成的游戏世界。语言模型生成情节和对话,变换器和GAN生成插图。想象一款游戏,一个真正开放的沙盒世界,《侠盗猎车手》遇上AI Dungeon——每个NPC都是“真实”的人,拥有无限的对话选项,你开车经过的建筑可以轻松走进去探索,无限的游戏空间——你可以随时向情节生成器输入更一般的指令和想法(“加入吸血鬼浪漫和谋杀悬疑角度”)。[VIDEO] — ALittleLight, 2022-04
这个视频在自动化游戏开发方面真的让我惊叹。我的幻想就是类似这样的东西,再加上GPT-3和几十年的进步。我认为我们会实现真正开放式的沙盒游戏。[VIDEO] — ALittleLight, 2021-08
>在视频生成方面有一些进展,可以取一个短片并推断接下来会发生什么。这是一条有前途的发展路线。“常识”的关键是能够足够好地预测接下来会发生什么,以避免短期内(几秒钟)的重大错误。这方面进展如何?内部世界模型是什么,假设我们甚至知道?[VIDEO] 这已经存在一段时间了。实际上,通过用人类替换控制器来演示基于模型的控制是一种有趣的方式。 — imtringued, 2025-11
相关视频
- 比你家的更好的古董烤面包机 · Technology Connections · 18:28
- 电池不是储能的唯一方式。这是另一种。 · Technology Connections · 24:25
- 假疾病流行病 · Medlife Crisis · 20:57
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 《守望先锋》游戏架构与网络代码 · GDC Festival of Gaming · 1:04:03
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- RustConf 2018 - 闭幕主题演讲 - 使用 Rust 进行游戏开发 by Catherine West · Rust Programming Language · 42:29
- 深入解析Nanite虚拟化几何体 · SIGGRAPH Advances in Real-Time Rendering · 1:09:59
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- Jonathan Blow - 如何编写独立游戏 - CSUA 演讲 · Alexandre Franco · 1:15:50