在 Trackmania 中训练无敌 AI
Training an unbeatable AI in Trackmania
频道:Yosh · 时长:20:41 · 发布:2023-09-30 · 播放:17725360
简介
Yosh 训练了一个强化学习代理来驾驶 Trackmania,直到他再也无法击败它。视频解释了训练的工作原理和涉及的设计选择。
HN 为什么推荐
被推荐为强化学习在实践中如何工作的易懂解释,并因阻止漏洞利用所需的约束而被引用。
一定要看看 Yosh 的视频。它们非常棒,并且很好地解释了强化学习在实践中如何工作 — HN, 2024
中文字幕节选
这些赛车每一辆都由人工智能(AI)控制, 在竞速游戏《赛道狂飙》中。 而这个AI的设计目标是随着时间推移不断进步, 通过试错来学习。训练时间越长, 它就越强。经过足够训练,它应该能找到最佳路线, 完美漂移,甚至可能变得 不可战胜。至少理论上是这样。其实, 我已经尝试过构建这样的AI,好几次了, 它能开车,但我玩这个游戏 好多年了,它还不足以击败我。不过我觉得它还是有些潜力的。 所以大约六个月前,我决定给这个 项目最后一次机会,并给AI 一个复仇的机会。这个视频是 三年旅程的总结,目标是打造一个 能在《赛道狂飙》中击败我的AI。而这次 它变得比我预期的要好得多。 但首先,让我们从这个非常简单的 赛道开始,以便更好地可视化这个AI的行为。 这个AI使用了所谓的人工神经 网络。基本上,它是一种数学 工具,大致模拟了大脑的工作方式。每 十分之一秒,这个神经网络会接收几个 数字,描述游戏中正在发生的事情。 作为回应,它输出新的数字, 指定要执行的动作。希望 网络能选择确保AI 尽可能快地完成这条赛道的动作。但 这只有在网络配置正确的情况下 才会发生,这就是棘手的地方。为此,我 使用了一种叫做强化学习的方法。 它的工作原理是这样的。AI从零开始, 没有任何先验知识。所以 起初它的决策相当随机。但 对于它采取的每一个动作,都会根据 该动作的好坏获得奖励。AI在赛道上 前进得越快,奖励就越高。 因此,每次新的尝试中,AI都会探索游戏并从中收集数据。现在, 强化学习的理念就是利用这些数据逐步 调整神经网络,以强化那些能带来更多奖励的动作。 实际上,我展示的所有赛车都由 略微不同版本的神经网络控制, 它们代表了AI学习过程中的 连续状态。在每次新的尝试中,AI 会根据当前的一些知识尝试动作。 有时顺利,有时 不顺利。但无论发生什么,AI都可以利用这些 新知识来更新其决策过程, 正是通过这种试错循环, AI逐渐学会了游戏,完全靠自己, 直到掌握它。至少, 理论上是这样!实际上,让这东西正常工作 真是一场噩梦…… 让我们回到这个项目的几个月前。 这是AI在这条赛道上首次像样的尝试, 与我的个人最佳成绩相比。这不是 我第一次接触强化学习, AI似乎基本上明白它该 做什么。但它经常会陷入次优 策略,无法想出更好的办法。 特别是,AI特别喜欢撞墙。 从某种意义上说,这很合理。当AI决定全速撞向墙壁时, 它最初实际上能收集到更多奖励, 只是后来才发现这 是个糟糕的决定。这种短期与长期 奖励之间的冲突,正是让强化学习难以 正确实现的众多原因之一。 当你观察到AI做出奇怪的行为时,很难弄清楚 问题究竟出在哪里。也许是我的代码 有bug?也许是方法本身的问题, 奖励信号是否足够清晰?我可以 让它多训练一会儿看看,但我 不知道……可能是AI看不到 足够的信息来定位墙壁。还有,我是否正确配置了 学习算法?我是否应该尝试
HN 上的讨论
对于那些只看评论的人,一定要看看 Yosh 的视频。它们非常棒,很好地解释了强化学习在实践中是如何运作的:[VIDEO] [LINK] — smokel, 2024-07
有一些非常酷的例子,有人最近用强化学习来攻克 Trackmania,结果不得不添加各种各样的约束/惩罚,以防止被发现极其奇怪的漏洞/故障,如果我没记错的话……我看那视频已经有一阵子了。[VIDEO] [LINK] — szvsw, 2025-02
取决于你认为什么有趣,以及你投入多深。有些人喜欢编程胜过在 GUI 中重复点击。对于点击类游戏,写机器人可以让你更容易地迭代策略——先买 A 还是 B 的升级能更快到第 2 关?对于 Trackmania,它能让你拿到世界纪录和一个 1400 万播放量的 YouTube 视频。[VIDEO] — fragmede, 2024-10
> 整个重点是不编码棋盘状态! 我不确定这一点。从文章“5000万参数模型在训练一天内以1300 ELO进行游戏,99.8%的走法合法。”我认为实验是模型表现如何,因为它的奖励函数是预测文本,而不是将死。Leela、Alpha0的奖励函数是赢得游戏、将死或吃子。而且不言而喻,Leela、Alpha0不能走非法棋。如果这是一个问题,如果这是一个重要的兴趣点,实验不需要包括整个棋盘位置。例如,它可以编码更多关于每一方覆盖的方格的信息。例如,参见这个Trackmania的训练实验[1]。如果这些信息没有编码在训练数据中,有些技术是ML算法*永远*无法自己弄清楚的。这一点仍然成立。如果实验的目标(或目标之一)是成为一个好的棋手,PGN记谱法肯定不是一个好的格式。 [1] [VIDEO] — emporas, 2024-01
相关视频
- 经典游戏事后剖析:鬼屋魔影 · GDC Festival of Gaming · 57:43
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 寻找平坦地球 · Folding Ideas · 1:16:16
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 这就是 Phil Fish · Innuendo Studios · 19:05
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 《无人深空》的救赎 · Internet Historian · 53:51
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10