MarI/O - 视频游戏机器学习
MarI/O - Machine Learning for Video Games
频道:SethBling · 时长:5:57 · 发布:2015-06-13 · 播放:11526892
简介
SethBling展示了MarI/O,一个使用神经网络和NEAT遗传算法学习玩超级马里奥世界的程序。描述中链接了源代码、论文和背景阅读。
HN 为什么推荐
神经进化和NEAT的入门介绍,因其对先前研究的认可而受到赞扬。
他的简短视频对这个主题进行了非常好的介绍,大多数人都能理解 — HN, 2015
中文字幕节选
欢迎回来。看这里。 你正在观看一位熟练玩家玩《超级马里奥世界》。 但这位玩家不是人类。 它是我编写的一个名为Mario的计算机程序。 这个程序一开始对《超级马里奥世界》或任天堂一无所知。 事实上,它甚至不知道按下控制器上的右键会让玩家 朝着关卡终点前进。 它通过一个称为神经进化的过程学会了所有这些事情。 在这个视频中,我想教你Mario是如何学会通过这个关卡的。 甜甜圈平原1。它的大脑是什么样子,以及这一切如何基于真实的 生物进化。那么,让我们从实际观察Mario的大脑开始。 让我们再玩一次,但这次我们将在Mario做出 按下哪些按钮的决定时观察它的大脑。 一开始看起来可能有点复杂,但别担心,我会帮你 分解的。这种由彩色线条和闪烁方框组成的结构称为神经 网络。它是一个关于大脑如何工作的简单数学模型,但它可以产生 一些非常复杂的行为。 有了足够的计算能力,神经网络可以接近模拟 真实的人脑,但现代技术还没有达到那个水平。 在左侧,你有输入。 这是Mario所看到的。它是关卡的简化视图。 白色方块代表玩家可以站立的方块,而黑色方块 代表移动的物体,如敌人或蘑菇。 在右侧,你有输出。 这些是Mario能够通过其神经网络按下的八个按钮。 在输入和输出之间,所有的线条和方框,那些就是 神经网络。每个自由浮动的方框称为神经元。 连接这些方框的线条就像人类大脑中的轴突和树突。 在任何给定时间,只有一些神经元和连接实际上 被使用。这就是人们说“你只使用了10%的大脑”时所指的。 你看到的神经网络相当复杂。 它之所以变得如此复杂,是经过24小时的进化学习过程的结果。 所以,为了解释神经网络如何工作,让我们倒回大约24小时,看看 整个过程是如何开始的。 这是Mario在训练开始时,一直追溯到 第零代的样子。 此时程序可能比你想象的还要笨。 它经常只是站在那里,甚至不按任何按钮。 如果Mario静止太久,它会切断模拟并尝试下一个 神经网络。所以,它主要只是从一个模拟跳到下一个,但 偶尔神经网络会说按下右键,然后玩家 开始向右走。行为并不复杂,但足以在关卡中取得至少 一些进展。 让我们看一个样本神经网络,以了解它是如何工作的。 这是模拟第一代中出现的随机生成的神经网络之一。 这是模拟第一代中出现的随机生成的神经网络之一。 有一些绿线和一条红线,中间有一个神经元。 它是这样工作的。绿线是正连接,红线是 负连接。从黑色或白色方块读取的绿线会将其 输出变为相同的颜色。从黑色或白色方块读取的红线会将其 输出变为相反的颜色。 在这种情况下,绿线从玩家站立的平台读取, 并让神经网络按下右键,只要玩家站在 上面。然而,当红线读取代表那些披风龟的黑色方块时, 它会按下A按钮,让玩家跳跃。 这这会让玩家处于绿线不再读取 白色方块的位置。所以右键关闭,Mario只是站在那里。 这是一个非常基本的例子,说明了更复杂的神经网络
HN 上的讨论
这是我最喜欢的 NEAT 入门介绍:SethBling 的 MarI/O - 视频游戏机器学习 [VIDEO] — andai, 2025-06
我是机器学习的新手,但 Open AI 制作了一个用于视频游戏强化学习的 Python 库,它的一个分支仍在积极维护[1]。已经过去几年了,但我记得能够在一两天内(也许一个周末)让它运行起来。它使用了 Retroarch 模拟器,该模拟器与大量模拟器和游戏机兼容。[LINK] 还有 SethBling 在 YouTube 上关于机器学习的优秀视频,特别是关于《超级马里奥世界》的:[VIDEO] 我鼓励你尝试一下!我觉得视频游戏被当前 AI 热潮有点低估了,我认为机器通过玩游戏学习技能有很大的潜力。而且游戏被选择甚至创建以教授特定技能也有很大的潜力。然而在那个时候,也许最好放弃音频和视觉效果,用文本或纯数据与机器交流。另一方面,我看过一个关于卷积神经网络的视频,它输入图像的每个像素。所以也许用声音数据训练,或者用频谱图的像素,可能会有一些积极的结果。当然,我会很高兴看到游戏与音乐同步播放,… — dberst, 2024-09
楼主 Togelius 至少在一个点上大错特错。简而言之,Seth Bling 直接引用了 NEAT,他的链接[显示更多 [1]] 指向了 Togelius 的两篇论文[13][14]以及其他许多文献!也就是说,在楼主文章中,Togelius 提到 Seth Bling 的 MarI/O[1] 缺乏学术性,因为他没有提到 Togelius:“如果被视为研究,它糟糕透顶,因为完全缺乏学术性。这家伙甚至不知道自己在重新发明轮子,也懒得去查。”相当轻蔑地(可悲/讽刺/尖锐地),Togelius 没有直呼 Seth 的名字,只称其为“某个家伙”。然而 Seth Bling[2] 在他的短视频中,提到并解释了 NEAT,并直接链接了 Ken Stanley 和 Risto Miikkulainen 在德克萨斯大学的基础性 NEAT 论文[10],Togelius 正是基于此 [提示:点击 Seth… — deepnet, 2018-04
遗传编程领域演变成了 NEAT、HyperNEAT 和 ES-HyperNEAT 作为元学习概念。层/节点之间的连接被序列化为具有表型和显性/隐性标记的智能体基因,一个观察 CPPN 学习将智能体分类为不同特征,以找到更有效的繁殖机制。这是一个强大的概念,据我所知,它仍然在机器人领域大量使用,因为出于安全法规,你必须保证行为并能够重现行为。有一个很好的介绍视频,介绍了底层基本概念,称为 NEAT,由一位名叫 SethBling 的 YouTuber 制作[2]。在我的案例中,我将其用作去中心化学习方法,因为点对点网络可以从能够通信、适应和相互学习的遗传 AI 中受益匪浅。[1] [LINK] [2] [VIDEO] — cookiengineer, 2023-08
如果人脑不使用数学,它使用什么?是魔法吗? > “训练”,更准确地描述为参考 呃,不,训练过程根本不是这样工作的。训练过程大致类似于进化/自然选择,但更直接和更快。这是一个关于计算机如何学习概念的好介绍:[VIDEO] 这是一个更技术性的视角,关于它在更现代的 AI 中究竟如何工作:[LINK](这是一个系列) > 如果它遇到一个它没有被编程的问题,它无法推理出新的解决方案。 但 LLM 可以吗?它在这方面不如人类,但它可以 相关:[LINK](如果你不想点击它,它说“将 AI 模型称为‘只是数学’或‘矩阵乘法’就像将老虎称为‘只是生物学’或‘生化反应’一样无用简化”) > 按照你的逻辑,视频游戏角色必须使用推理,但实际上不,它们不使用。这是数学。 “按照你的逻辑,如果老虎是危险的,那么香蕉也必须是危险的,但实际上不,它们不是。这是生物学。” — circuit10, 2023-04
相关视频
- 通用人工智能的致命真相? - Computerphile · Computerphile · 8:30
- 性别中立代词:它们来了,习惯就好 · Tom Scott · 3:48
- BlueHat IL 2019 - Andrew “bunnie” Huang - 供应链安全:“如果我是一个民族国家...” · Microsoft Israel R&D Center · 45:37
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- Dan Geer 在 Black Hat USA 2014 的演讲:网络安全即现实政治 · Black Hat · 54:35
- Mark Blyth ─ 全球特朗普主义 · Watson School of International and Public Affairs · 1:26:03
- 切尔诺贝利 3828 · TeleconStudio · 26:57
- 地平说:一次有分寸的回应 · hbomberguy · 45:17
- TASBlock在AGDQ 2017:TASBot · TASVideosChannel · 58:44
- George Lakoff:道德政治 · University of California Television (UCTV) · 58:57
- Tom Lehrer - Wernher von Braun · The Tom Lehrer Wisdom Channel · 1:46
- 国会筹款:John Oliver 的《上周今夜秀》(HBO) · LastWeekTonight · 21:25
- DCEmu评测 - 27C3 - 2010年混沌通信大会 - fail0verflow - 完整视频 · 1KIND Reviews · 44:39
- 他们由肉组成 · niccollsdp · 6:16
- 让直升机悬停难到好笑 - Smarter Every Day 145 · SmarterEveryDay · 9:45
- 数据 | Philosophy Tube · Philosophy Tube · 26:14
- 另类右翼手册:控制对话 · Innuendo Studios · 10:47
- 《超级马里奥世界》——5:59.6 通关制作人员名单(首次在主机上实现) · SethBling · 9:00
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 关于傅里叶变换的更普遍的不确定性原理 · 3Blue1Brown · 18:06