但 AI 图像和视频究竟是如何工作的?| Welch Labs 客座视频

But how do AI images and videos actually work? | Guest video by Welch Labs

频道:3Blue1Brown · 时长:37:20 · 发布:2025-07-25 · 播放:2267527

在 YouTube 观看

简介

Welch Labs 在 3Blue1Brown 上的客座视频,解释文本到图像和视频模型的工作原理。涵盖 CLIP、共享嵌入空间、扩散模型(DDPM、DDIM)、条件化、引导和负面提示。

HN 为什么推荐

HN 将其用作扩散机制(如负面提示和更快采样)以及联合文本-图像编码器的清晰解释。

WL 和 3b1b 做了一个很好的视频 — HN, 2026

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

过去几年里,AI系统已经变得 极其擅长将文本提示转化为视频。 这些模型运作的核心与物理学有着深刻的联系。 这一代图像和视频模型使用一种称为扩散的过程来工作, 这与我们看到的粒子扩散时的布朗运动惊人地相似, 但时间倒流,且发生在高维空间中。 正如我们将看到的,这种与物理学的联系远不止是好奇心的满足。 我们从物理学中得到了真正的算法, 可以用来生成图像和视频。 这种视角还会给我们一些非常 直观的理解,关于这些模型在实践中如何工作。 但在深入探讨这种联系之前,让我们 先亲手体验一个真实的扩散模型。 虽然最好的模型是闭源的, 但也有一些引人注目的开源模型。 这段宇航员的视频是由一个名为WAN 2.1的开源模型生成的。 我们可以添加提示词,让宇航员拿着一面旗帜, 拿着笔记本电脑,或者开会。 如果我们将提示词缩减为只有宇航员,我们得到这个。 如果我们将提示词完全去掉,有趣的是 我们仍然得到这段女人的视频。 如果我们深入研究WAN模型的源代码,会发现视频 生成过程始于对随机数生成器的调用。 创建一个像素强度值随机选择的视频。 它看起来是这样的。 从这里开始,这个纯噪声视频被传入一个Transformer。 这与大型语言模型(如ChatGPT)使用的是同一类型的AI模型。 但Transformer不是输出文本, 而是输出另一个视频,现在看起来像这样。 仍然主要是噪声,但有一些结构的迹象。 这个新视频被加到我们的纯噪声视频上, 然后再次传回模型, 产生第三个视频,看起来像这样。 这个过程一遍又一遍地重复。 这是视频在5次迭代、10次、20次、30次、40次,最后50次后的样子。 一步一步地,我们的Transformer将纯噪声塑造成极其逼真的视频。 但这里与布朗运动的联系到底是什么? 我们的模型如何能够如此富有表现力地使用文本输入 来将噪声塑造成提示词所描述的内容? 在本视频中,我们将分3个部分探讨扩散模型。 首先,我们来看2021年OpenAI的一篇论文和一个名为CLIP的模型。 正如我们将看到的,CLIP实际上是两个模型,一个语言模型和一个视觉模型, 它们使用一种巧妙的学习目标进行训练,使它们能够 学习到词语和图像之间真正强大的共享空间。 对这个空间进行实验将帮助我们感受 扩散模型所操作的高维空间。 但学习共享表示不足以生成图像。 接下来我们将研究扩散过程本身。 从高层来看,扩散模型被训练来从图像或视频中去除噪声。 然而,如果你深入研究该领域的里程碑论文, 你会发现这种对扩散的朴素理解在实践中 并不成立。在本节中,我们将深入探讨 扩散模型与物理学中扩散过程之间的联系。 这种联系将帮助我们理解这些模型在实践中如何真正工作, 并为我们提供一些强大的理论,以大幅加速图像和视频生成。 最后,我们将把这些领域结合起来,看看像CLIP这样的方法 如何与扩散模型结合,来条件化和引导 生成过程,使其朝向我们在提示词中要求的视频。

HN 上的讨论

> 因为你需要一个巨大的训练集,用自然语言描述图像,对吧?这绝对是一种方法——他们在标记图像集上一起训练文本编码器和图像编码器。WL 和 3b1b 做了一个很好的视频:[VIDEO] — dilyevsky, 2026-06
图像生成速度的突破实际上来自于应用从统计力学物理论文中提取的更好的扩散微分方程:[VIDEO] — pornel, 2025-09
我最喜欢这种奇怪调用的实例来自这个 AI 视频生成器,他们实际上从输入中减去“低质量视频”的提示,然后质量就提高了。[VIDEO] 我刚刚将我的 AI 产品迁移到不同的底层模型,不得不重做一些新模型解释不同的提示。它并没有过时,只是需要一点迁移。新模型质量的提升超过了提示方面的任何问题。 — elliotto, 2025-08

相关视频