Jeff Dean 与 Noam Shazeer — 在谷歌的 25 年:从 PageRank 到 AGI
Jeff Dean & Noam Shazeer — 25 years at Google: from PageRank to AGI
频道:Dwarkesh Patel · 时长:2:15:35 · 发布:2025-02-12 · 播放:351782
简介
Dwarkesh Patel 采访谷歌的 Jeff Dean 和 Noam Shazeer,谈论他们在公司 25 年的经历,从 PageRank 和 MapReduce 到 Transformer、混合专家模型和 Gemini。他们还讨论了 AI 的未来方向。
HN 为什么推荐
HN 引用它来了解谷歌研究人员对 AI 进展和发表的看法,尽管有评论者认为采访质量不高。
如果你想了解谷歌的人对事情的看法,推荐看看。 — HN, 2026
分布式系统 · 大语言模型与生成式 AI · 科技先驱与访谈
中文字幕节选
今天我有幸与Jeff Dean和Noam Shazeer交谈。Jeff是谷歌的首席 科学家,在公司25年间, 他几乎参与了现代计算中最具 变革性的系统:从 MapReduce、BigTable、Tensorflow、AlphaChip—— 真的,这个列表还没完——到现在的Gemini。 而Noam是当前AI革命 最关键的一个人。他一直是 现代LLM所使用的所有主要 架构和技术的发明者或共同发明者: 从Transformer本身, 到Mixture of Experts,到Mesh Tensorflow,到 许多其他东西。他们是谷歌DeepMind中Gemini的 三位共同负责人中的两位。太棒了。非常感谢你们来参加。 谢谢。非常兴奋能来到这里。好的,第一个问题。你们两位 在谷歌已经25年,或者接近25年, 在公司早期的某个时候, 你们可能了解一切是如何运作的。 什么时候开始不再如此?你们觉得 有一个明确的时刻吗?我 加入的时候,大概是2000年底,他们 有这个东西:每个人都有一个导师。我 什么都不懂。我就什么都问我的导师, 而我的导师什么都知道。结果我的导师是Jeff。 并不是谷歌的每个人都知道一切。只是 Jeff知道一切,因为他基本上写了一切。 你太客气了。我认为随着公司成长,你 会经历这些阶段。我加入的时候, 我们有25个人,26个人,差不多这样。 所以最终你记住了每个人的名字, 即使我们在成长,你也能跟踪所有加入的人。 在某个时候,你记不住公司里每个人的名字, 但你仍然认识所有 从事软件工程工作的人。然后 你记不住软件工程组里所有人的名字, 但你至少知道 每个人正在做的所有不同项目。然后到了某个时候, 公司变得足够大,你收到一封邮件 说Project Platypus将在周五启动, 你会想,“Project Platypus到底是什么?” 通常这是一个非常好的惊喜。你会想,“哇,Project Platypus!”我完全不知道我们在做那个。 但我认为跟踪公司里正在发生的事情是好的, 即使是在非常高的层面, 即使你不知道每一个细节。 而且认识公司里的很多人是好的, 这样你可以去问某人更多细节, 或者弄清楚该和谁交谈。 通过一层间接关系,你通常能找到 公司里合适的人,如果你有一个好的 人脉网络,是你随着时间建立起来的。 顺便问一下,谷歌是怎么招募你的? 其实是我主动联系他们的。 Noam,你是怎么被招募的?我实际上在1999年的招聘会上看到了谷歌, 我以为它已经是一家巨大的公司, 加入没有意义, 因为我认识的每个人都用谷歌。我想那是因为我当时是 伯克利的研究生。我想我已经 从研究生项目退学几次了。 事实证明,其实规模并没有那么大。 结果发现,我并不是在1999年申请的, 而是在2000年一时兴起给他们发了份简历, 因为我觉得那是我最喜欢的搜索引擎, 觉得应该多投几个地方找工作。
HN 上的讨论
我第一次看到 Noam 是在 Dwarkesh 的播客上,和 Jeff Dean 一起。如果你想感受一下谷歌那帮人对事情的看法,推荐看看。[VIDEO] — paulmist, 2026-06
以下是 Jeff Dean 和 Noam Shazeer 接受 Dwarkesh Patel 采访时的一些见解 [VIDEO] > 当你想到公开这些对竞争对手有帮助的信息时,回过头看,是“是的,我们还是会这么做”,还是“唉,我们没意识到 transformer 有多重要。我们应该把它留在内部”?你怎么看这件事? > 有些我们认为极其关键的东西,我们可能不会发表。有些我们认为非常有趣、但对改进产品很重要的东西;我们会先把它用到产品里,然后再做决定。 — sosodev, 2025-11
背景是 rwaksmunski 暗示人们说“AGI 还有 10 年”已经说了很久,而我是在指出,那些说“AGI 还有 X 年”的人其实直到最近才把 X 设为 10。我并不是说那份名单上的人就是思考人工智能最聪明或最见多识广的人。不过,顺便说一句,在 [LINK] 大约 13:20 处,Ashish Vaswani(那篇论文的第一作者)被问到 3-5 年内会发生什么,如果我理解得没错,他认为到那时 AI 系统可能已经能解决数学中一些千禧年大奖难题;在大约 17:10 处他被问到约 5 年后科学家将如何工作,他说 AI 系统会成为学徒或合作者;无论如何,他并没有否认人类水平的 AI 很可能在不久的将来到来。在 [VIDEO] 大约 1:12:40 处,Noam Shazeer(那篇论文的第二作者)在回答关于“快速起飞”的问题时说,他确实预期 AI 能力会非常迅速地提升;他没有明确说预期这何时… — gjm11, 2025-10
Noam Shazeer 在 Dwarkesh Patel 的播客里某个时候说过这话。补充:等我按下发送时已经看到好几个人评论了。你们也觉得这话令人印象深刻吗?我觉得就是他说这话的方式之类的。[VIDEO] — itchyjunk, 2025-05
是啊,我也不明白他怎么能请到这么大牌的嘉宾。他去年对 Jeff Dean 和 Noam Shazeer 的采访 [1] 糟糕得好笑。Jeff 和 Noam 一直试图就他们如何看待未来几年 AI 发展给出真正有洞见的回答,而他却把对话引向肤浅又愚蠢的小报八卦(你们为什么不“干脆”让 AI 循环改进下一个版本,这样我们就能很快迎来奇点,Jeff Dean 的 AI 在数据中心里运行,邪恶的 Jeff Dean AI 逃出隔离区,等等等等)。简直令人尴尬。要是只有 Jeff 和 Noam、没有他,这次采访会好得多。[1] [VIDEO] — DarkCrusader2, 2026-02
相关视频
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- Jim Simons(完整版访谈)- Numberphile · Numberphile2 · 1:00:43
- Steve Jobs 2005 年斯坦福大学毕业演讲 · JoshuaG · 14:34
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- Alan Kay - 正常被认为有害 · powerfuloutlet · 1:07:26
- 培育语言,作者:Guy Steele · Bill Pugh · 53:31
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40
- “Uncle” Bob Martin - “编程的未来” · Paul Stringer's Mobile Tech · 1:18:21
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- Hamming,“你和你的研究”(1995年6月6日) · securitylectures · 44:02
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 技术演讲:Linus Torvalds 谈 git · Google · 1:10:15
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- Alan Kay 在“Intertwingled”节上对 Ted Nelson 的致敬 · TheTedNelson · 17:33
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42