Yann Lecun:Meta AI、开源、LLM的局限、AGI与AI的未来 | Lex Fridman播客 #416
Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast #416
频道:Lex Fridman · 时长:2:47:17 · 发布:2024-03-07 · 播放:1289275
简介
Lex Fridman对Yann LeCun的长篇播客采访,内容涉及Meta AI、开源、LLM的局限、AGI以及AI的未来。
HN 为什么推荐
被引用是因为LeCun关于LLM局限和替代智能方法的观点。
我觉得你可能会觉得Lex Fridman对Yann LeCun的采访很有趣[1]。 — HN, 2024
大语言模型与生成式 AI · AI 安全、AGI 与影响 · 科技先驱与访谈
中文字幕节选
- 我认为专有AI系统带来的这种权力集中危险, 远比其它一切危险都要大。 与此相对的是,有些人认为出于安全考虑, 我们应该把AI系统锁起来,因为把它交到每个人手中 太危险了。 那将导致一个非常糟糕的未来,我们所有的信息饮食 都被少数几家公司通过专有系统控制。 - 我相信人性本善, 所以如果AI,尤其是开源AI, 能让人变得更聪明,那只会激发人性中的善。 - 我也有同感。 对吧?我认为人性本善。(笑) 事实上,很多末日论者之所以是末日论者, 是因为他们不相信人性本善。 - 以下是与Yann LeCun的对话,他第三次做客本播客。 他是Meta的首席AI科学家、NYU教授、图灵奖得主, 也是人工智能历史上最具开创性的人物之一。 他和Meta AI一直是开源AI开发的大力倡导者, 并且身体力行,开源了他们许多最大的模型, 包括LLaMA 2以及后来的LLaMA 3。 此外,Yann一直直言不讳地批评AI社区中那些 警告AGI即将带来危险和生存威胁的人。 他相信AGI终有一天会被创造出来,但它会是好的。 它不会逃脱人类的控制,也不会统治并杀死所有人类。 在AI快速发展的当下, 这恰好算是一个有些争议的立场。 所以看到Yann在网上参与许多激烈 而引人入胜的讨论很有趣,就像我们这次对话一样。 这是Lex Fridman播客。 为了支持它,请查看描述中的赞助商。 现在,亲爱的朋友们,有请Yann LeCun。 你最近就人工智能的未来 发表了一些强有力的、技术性的论断, 其实贯穿你的整个职业生涯,但最近也是如此。 你说过自回归LLM 不是我们通往超人类智能的进步之路。 这些就是像GPT-4、即将推出的LLaMA 2和3等大型语言模型。 它们如何工作,为什么不能带我们走到终点? - 有几个原因。 首先,智能行为有许多特征。 例如,理解世界、理解物理世界的能力, 记忆和检索事物的能力, 持久记忆、推理能力和规划能力。 这是智能系统或实体的四个基本特征, 人类、动物。LLM这些一个都做不到, 或者只能以非常原始的方式做到。 它们并不真正理解物理世界, 它们没有真正的持久记忆,不能真正推理, 当然也不能规划。 所以如果你期望系统变得智能, 却没有做这些事情的可能性,那你就错了。 这并不是说自回归LLM没有用,它们当然有用。 也不是说它们不有趣,我们不能围绕它们 构建整个应用生态,我们当然可以。 但作为通往人类水平智能的路径, 它们缺少关键组件。 还有一个我觉得非常有趣的小事实; 这些LLM是在海量文本上训练的。 基本上是互联网上所有公开可用文本的全部,对吧? 通常大约是10的13次方个token。 每个token通常是两个字节。 所以训练数据大约是2乘以10的13次方字节。 如果让你或我每天阅读八小时, 需要17万年才能读完这些数据。(笑) 所以这看起来像是海量的知识,对吧? 这些系统能够积累的知识量。
HN 上的讨论
我觉得你可能会对Lex Fridman对Yann LeCun的采访感兴趣[1]。它正好讨论了这一点,即LLM只是模仿智能行为,但完全不理解世界。它还讨论了我们应该关注的其他方法,而不是当前的LLM。[1] [VIDEO] — jtietema, 2024-05
> 研究结果显示,即使问题措辞的微小变化也可能导致模型性能出现重大差异,从而削弱其在需要逻辑一致性的场景中的可靠性。与Yann Lecun的相关对话:[VIDEO] — zero-sharp, 2024-10
这些都是来自公开信息的事实,比如Llama 3论文和最近的采访。我本想找出具体的时间戳,但我现在正在工作,不能花下一个小时滚动浏览长采访。采访有:“Mark Zuckerberg - Llama 3, $10B Models, Caesar Augustus, & 1 GW Datacenters”:[LINK] “Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast #416”:[VIDEO] 训练中使用的总FLOPS在很多地方都有,我目前找不到一个好的链接。 — jiggawatts, 2024-05
Unitree让我觉得我们正走向泡沫。机器本身将成为商品硬件。特斯拉机器人将推动炒作。我只是不相信当前的人工智能系统有能力在现实世界中运行。它不一定是AGI,但它需要一堆现有模型中没有的能力,其中一些无法通过从互联网上的文本和图像等大型语料库训练来创建。[1] 此外,人们无法负担花2万美元买一个机器人只是为了洗碗。我的好朋友试图制造一个能从你的后院捡狗屎的机器人,他甚至去了HAX加速器等等,通过广泛的研究,他发现狗屎机器人的可寻址市场太小,无法资助一家公司。现在他制造农业机器人。(碰巧我也在做,在一个单独的项目上。)关键是,一个价值与那个机器人价格相当的类人机器人需要非常有用,我不相信当前的方法能让我们达到那里。也许会发现一些用途,就像当前的人工智能系统有其用途一样,但我说这将是一个炒作泡沫,因为公司将基于他们永远无法实现的巨大承诺进行融资,投资将在5年左右转向其他东西。可能仍然是机器人… — TaylorAlexander, 2024-05
> 一个4岁的孩子有16k个清醒小时 x 3600秒/小时 x 1^6条视神经纤维 x 2只眼睛 x 10字节/秒 = 1^15字节(Yann LeCun的近似值)。不幸的笔误。你的意思是最后是10^15字节。感谢你的引用,我找到了一个播客文字记录[1],其中有Yann LeCun的解释:> 如果你和发育心理学家交谈,他们会告诉你,一个四岁的孩子在他或她的一生中已经清醒了16,000小时,而在四年内到达该孩子视觉皮层的信息量大约是10到15字节。文字记录中缺少了“的”(10的15次方字节)。YouTube上播客中相应的时间戳是4:48。[1] [LINK] [2] [VIDEO] — hn_acker, 2024-03
相关视频
- Jim Simons(完整版访谈)- Numberphile · Numberphile2 · 1:00:43
- Steve Jobs 2005 年斯坦福大学毕业演讲 · JoshuaG · 14:34
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- Alan Kay - 正常被认为有害 · powerfuloutlet · 1:07:26
- 培育语言,作者:Guy Steele · Bill Pugh · 53:31
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40
- “Uncle” Bob Martin - “编程的未来” · Paul Stringer's Mobile Tech · 1:18:21
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- Hamming,“你和你的研究”(1995年6月6日) · securitylectures · 44:02
- 技术演讲:Linus Torvalds 谈 git · Google · 1:10:15
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- Alan Kay 在“Intertwingled”节上对 Ted Nelson 的致敬 · TheTedNelson · 17:33
- Joe Rogan Experience #1035 - Paul Stamets · PowerfulJRE · 2:13:48
- “我对钱不感兴趣” - Ton Roosendaal 2017访谈 · Blender Guru · 1:46:51
- 所有演示之母,由Douglas Engelbart呈现(1968) · Marcel · 1:40:52