AI 无法跨越这条线,我们不知道为什么。

AI can't cross this line and we don't know why.

频道:Welch Labs · 时长:24:07 · 发布:2024-09-13 · 播放:2530622

在 YouTube 观看

简介

Welch Labs 关于神经缩放定律和计算高效前沿的解释,询问为何模型损失似乎碰到一条无法跨越的线。它将其类比为 AI 的理想气体定律。

HN 为什么推荐

被推荐为制作精良、易于理解的缩放定律介绍,以及为何模型聚集在相似效率前沿。

例如参见一个制作精良/易于理解的介绍 — HN, 2024

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

AI模型无法跨越这条边界,我们不知道为什么,当我们训练一个AI模型时 它的错误率通常会迅速下降,然后趋于平稳,如果我们训练一个更大的 模型,它将达到更低的错误率,但需要更多的计算,扩展到越来越大的 模型,我们最终得到一系列这样的曲线,将坐标轴切换到 对数刻度,一个明显的趋势出现了,没有模型能越过这条线,被称为 计算最优或计算高效前沿,这一趋势是三个 神经缩放定律之一,已被广泛观察到,错误率以非常 相似的方式随计算量、模型大小和数据集大小缩放,并且显著地不太 依赖于模型架构或其他算法细节,只要做出相当好的 选择,从这里开始有趣的问题是,我们是否发现了某种 自然的基本定律,就像理想气体定律对于构建智能系统,或者 这是当前我们采取的特定神经网络驱动AI方法的暂时结果 现在,如果我们继续增加数据量、模型大小和计算量,这些模型能变得多强大 我们能把错误率降到零吗,还是性能会趋于平稳,为什么数据、模型大小和计算量是 我们正在构建的系统的基本限制,为什么它们与模型性能 以如此简单的方式相连,2020年对OpenAI来说是分水岭的一年,一月份团队 发布了这篇论文,他们展示了非常清晰的性能趋势,跨越广泛的 语言模型规模范围,团队为每组结果拟合了一个幂律方程 给出了性能如何随计算量、数据集大小和模型大小缩放的精确估计 在对数图上,这些幂律方程表现为 直线,每条线的斜率等于拟合方程的指数 更大的指数使线条更陡,性能提升更迅速 团队在上端没有观察到偏离这些趋势的迹象 预示着OpenAI当年的战略,团队当时测试的最大模型 有15亿个可学习参数,需要大约10千万亿次浮点运算日 的计算量来训练,一个千万亿次浮点运算日是一个系统 capable of one quadrillion floating Point operations a second can perform in a day the 每秒能进行一千万亿次浮点运算的系统一天能执行的计算次数 当时顶级的GPU,Nvidia V100,能够达到大约30万亿次浮点运算 所以一个拥有33个这些价值1万美元的GPU的系统将提供大约一千万亿次浮点运算的 计算量,那年夏天,团队经验预测的游戏将成为现实,随着 GPT-3的发布,OpenAI团队在规模上下了巨大的赌注,与 微软合作,在一台巨大的超级计算机上,配备的不是33个而是10,000个V100 GPU,并 训练了绝对庞大的1750亿参数GPT-3模型,使用了3,640千万亿次 浮点运算日的计算量,GPT-3的性能遵循了一月份预测的趋势线 非常好,但也没有趋于平缓,表明即使更大的模型也会 进一步提高性能,如果庞大的GPT-3还没有达到神经缩放的极限 它们在哪里,是否有可能在足够的计算、数据和模型大小下将错误率降到零 在十月份的一篇出版物中,OpenAI团队更深入地研究了缩放 团队发现了一系列问题中相同的清晰缩放定律

HN 上的讨论

我对这个生态系统的了解还不够深入,无法消化那篇论文,但它的标题让我想起最近看过的一个有趣视频:“AI无法跨越这条线,我们不知道为什么”[VIDEO] — mdaniel, 2025-08
如果我错了请有人纠正我,但我对 ML/LLM 的理解是,这种手工设计已经尝试过了,但让这种行为从更多数据中涌现出来更容易训练/更少挑剔,参见 [1]“苦涩的教训”和 [2]“缩放定律”。MAMBA 作为一种架构声称在性能上有一些显著提升,但据我所知,除了这个(7B)之外,还没有任何真正的大型模型(>~100B 参数)具有开放权重/泄露的 MAMBA 架构被披露。正如其他评论提到的,另一个不能忘记的维度是训练数据质量。不仅数量,质量也真的很重要,这是我们在 LLM 中越来越学到的。[1] [LINK] [2] 例如参见 [VIDEO] 一个制作精良/易于理解的介绍 — kla-s, 2024-10
是的,我们知道。YouTube上有一个一年前的视频,描述了这一限制[VIDEO] 称为效率计算前沿 — general1465, 2025-09
因为它们正在触及计算效率前沿。模型不可能再大很多,互联网上也没有更多原创数据了,所以所有模型最终都会聚集到类似的CEF,正如10个月前这个视频所描述的那样[VIDEO] — general1726, 2025-08
我的总结尝试:作者刻画了数据-计算帕累托前沿(也就是“苦涩的教训”到底有多苦?)若想从误差与计算的角度看不同观点,请见[VIDEO]及评论(我特别喜欢那条关于弦理论家几十年后才重新发现广义相对论基本定理的评论——重新发现如何积分在每个领域都会发生,没什么好羞愧的 :) — gsf_emergency_2, 2025-02

相关视频