我们刚刚永远改变了动画吗?
Did We Just Change Animation Forever?
频道:Corridor Crew · 时长:23:02 · 发布:2023-02-26 · 播放:3499988
简介
Corridor Crew 解释了他们如何通过拍摄自己并将素材输入自定义训练的 Stable Diffusion 模型来制作一部动画短片。视频详细介绍了这项技术及其开源基础。
HN 为什么推荐
HN 将其视为一个例子,说明如何用普通制作设备实现时间稳定的 AI 视频风格化。
让结果自己说话 — HN, 2023
中文字幕节选
如果你能拍摄自己,然后轻松变成任何你想要的样子,那岂不是很酷? 比如卡通角色,这是什么?这可能只是一种捕捉表演的方式, 之后你可以把想象中的任何东西可视化,这有点像是 没有限制的创造力,只有拥有数百万美元预算的电影或动画才能实现, 但尝试可视化不存在的事物是我们人性的一部分, 比如我们来谈谈传统的2D动画卡通, 最具创造自由度的媒介也是最不民主化的,它需要极其 熟练的人绘制你电影的每一帧才能实现,但我 认为我们想出了一种新的动画方式,一种将现实变成卡通的方式, 这是朝着真正创作自由又迈进了一步,我们可以轻松创造任何我们 想要的东西,那么我们是如何做到的呢?我们如何将视频变成卡通? 嗯,我们一直在制作一系列视频,在其中用AI图像 处理进行实验,这类似于AI图像生成,但在我们的情况下,我们是 转换图像而不是从头生成,所以最新的 技术之一是一种称为扩散的机器学习过程,其核心 扩散过程让计算机从噪声中生成图像,就像我们 从墨迹或看云朵中想象图像一样,所以如果我们拿一张已经 有的图片,在上面加一点噪声,你可以让计算机清除 那个噪声,同时绘制出之前不存在的新细节,这很像 看着一张图片眯起眼睛,试着想象你在看 别的东西,如果你眯得很厉害,那么你看到的东西变得非常 模糊,你可以想象你在看不同的东西,所以当前 技术可以在一张图像上做到这一点,令人惊叹,那么为什么我们还没有看到它应用于 视频呢?我们应该在互联网上看到令人惊叹的视觉效果吗?幸运的是, 当人们尝试将其应用于视频时,一切都崩溃了,因为过程的第一个 步骤需要我们给图像添加噪声,每一帧最终 看起来都不同,视频变得超级闪烁,这个文本的本质 似乎使得它永远无法用于视频,嗯,我几乎放弃了 使用它,但工作室的Dean一直在实验,他展示了通过一点 VFX问题解决,这可能是我们实际上可以 克服的事情,因为当时Dean和Fenner出去制作了那个蜘蛛 宇宙短片,而我开始了一个个人探索,使用这个坦克来让我制作 我自己的动漫,所以是时候像Sherlock Holmes一样 解决这个问题并设计一个解决方案了,这个闪烁问题的第一个线索是《侏罗纪 公园》,六个月前,YouTube上一个名叫hops的用户上传了一个实验, 他将《侏罗纪公园》处理成低多边形《塞尔达》的样子,他使用了一种 有趣的新技术来给图像添加噪声,他取得了出色的 结果,所以我会解释,每次你处理图像时,你添加的噪声 都会改变,因此图像中的形式每一帧都会改变,如果我们冻结 那个噪声,图像中的东西会变得更加稳定,但现在感觉 图像在一个奇怪的扭曲层下移动,细节保持不一致, 所以那个小《侏罗纪公园》视频中使用的新技巧很简单,如果我们能把 噪声变成图像,让我们就把图像反转回它原本来自的噪声, 字面上就是倒着做,因此噪声不再随机 每帧改变,也不被锁定,如果两帧几乎相同,那么 它们模糊的噪声版本也几乎相同,因此它们会以类似的方式被解释,所以我们
HN 上的讨论
我也认为Midjourney更好,直到我最近在YouTube上看到Corridor Crew的一些视频。对于那些不知道的人,这是一家位于洛杉矶的视觉特效工作室,他们试图保持在视频制作技术的前沿,并在他们的YouTube频道上发布内容,他们拥有大量的粉丝和几个病毒视频。他们最近使用Stable Diffusion和他们自己的模型以及现有的视频制作设备制作了一部完整的7分钟动画,我将发布链接,让结果自己说话。使用SD制作的实际7分钟动画作品:[LINK] 幕后:“我们永远改变了动画吗?”[VIDEO] “视觉特效前后揭秘”[LINK] — samspenc, 2023-03
> 有一个视频,一些人做了这个(抱歉找不到),制作了一种动漫类型的动画。角色保持一致。他们使用自己奔跑的视频通过自己的模型来制作角色。那是 Corridor Crew:[VIDEO] — someperson, 2024-02
这里的角色是用 Stable Diffusion 处理的。在我看来,考虑到生成的角色在不同帧之间看起来如此一致,这是 AI 辅助视频生成领域令人印象深刻的进步。另外,这里还有一个视频 [VIDEO] “我们刚刚永远改变了动画吗?”,他们在其中展示了这是如何实现的。 — Kelamir, 2023-03
这让我想起了很多将真人动作转化为动画的技术:[VIDEO] 毫不意外,它遭到了业内很多人的反对,但我认为它真的非常令人印象深刻。 — yummypaint, 2023-03
你提到的 Stable Diffusion 的问题都是初期问题。这里有一个当前技术的例子,可以用 Stable Diffusion 获得时间上稳定的动画 - [LINK] Corridor digital 在这里展示了类似的技术 - [VIDEO] GPT4 凭借其新的插件架构正迅速变得更加强大。我认为你完全正确,所有 LLM 产生幻觉的倾向是一个主要问题,我们甚至原则上都不知道如何纠正。但有一些技术可以减轻其对回答的影响——使用多个模型进行三角验证、引用来源等。你今天就可以构建一个像这样的助手 - [LINK] 来帮你安排预约和接听电话,使用像 Uberduck 这样的技术进行语音生成,GPT 进行对话分析,以及 DeepSpeech、Kaldi 或 Whisper 进行语音转文本。我同意这样的批评:我们不太可能通过这种方式开发出 AGI。我们不会很快拥有一个有自己目标、试图摆脱服务器… — dbspin, 2023-03
相关视频
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 动漫 石头 剪刀 布 · Corridor Digital · 7:21
- 贝塞尔曲线之美 · Freya Holmér · 24:25
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- Ed Catmull,皮克斯:让危机保持微小 · Stanford Graduate School of Business · 54:11
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- “我对钱不感兴趣” - Ton Roosendaal 2017访谈 · Blender Guru · 1:46:51
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- DNA 动画 (2002-2014) 由 Drew Berry 和 Etsuko Uno 制作 wehi.tv #ScienceArt · WEHImovies · 7:19
- "没有 CGI" 其实只是隐形 CGI - 1 · The Movie Rabbit Hole · 16:30
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48
- Captain Disillusion:世界上最伟大的Blenderer - 2018年Blender大会现场 · Captain Disillusion · 41:43
- 细胞内部生活动画 · XVIVO Scientific Animation · 3:12
- Blender 中的世界构建 - Ian Hubert · Blender · 35:44
- AGI的火花:GPT-4的早期实验 · Sebastien Bubeck · 48:32
- 让我们构建GPT分词器 · Andrej Karpathy · 2:13:34