Edward Gibson:人类语言、心理语言学、句法、语法与 LLM | Lex Fridman 播客 #426

Edward Gibson: Human Language, Psycholinguistics, Syntax, Grammar & LLMs | Lex Fridman Podcast #426

频道:Lex Fridman · 时长:2:50:44 · 发布:2024-04-17 · 播放:472140

在 YouTube 观看

简介

Lex Fridman 采访 MIT 心理语言学家 Edward Gibson,讨论人类语言、句法、语法以及大型语言模型与它们的关系。对话持续近三个小时。

HN 为什么推荐

HN 引用它来论证 LLM 捕捉语言形式而非意义,以及大脑语言网络如何工作。

我强烈推荐收听这期 Lex Friedman 播客 — HN, 2024

大语言模型与生成式 AI · 神经科学与大脑 · 语言与语言学

中文字幕节选

- 天真地说,我当然以为所有人类都有表示精确计数的词, 但皮拉哈人没有,对吧? 所以他们连“一”这个词都没有。 他们的语言里没有表示“一”的词。 所以当然也没有表示二、三或四的词, 这确实让人脑洞大开。 - 是啊,这让我大开眼界。 - [Edward] 这挺奇怪的,对吧? - 你怎么问“我想要两个那个”? - 你就是没法问,所以在皮拉哈语里这根本不是你所能问的事情。 这不可能。也就是说,没有词来表达这个。 - 以下是与Edward Gibson的对话,大家都叫他Ted。 他是MIT的心理语言学教授。 他领导MIT语言实验室,研究 为什么人类语言会是现在这个样子,文化语言之间的关系 以及人们如何表征、处理和习得语言。 另外,他应该有一本名为《Syntax, a Cognitive Approach》的书, 由MIT Press出版,今年秋天问世。 所以请留意。这里是《Lex Fridman Podcast》。 为了支持它,请查看描述中的赞助商。 现在,亲爱的朋友们,有请Edward Gibson。 你是什么时候第一次对人类语言着迷的? - 小时候在学校,当我们必须按照英语语法 来构造句子时,我觉得这个过程很有趣。 我对被要求做的事情感到困惑。 我不理解背后的理论是什么,但我觉得非常有趣。 - 所以当你研究语法时,你几乎把它当作一个谜题来思考, 几乎像一个数学谜题? - 是的,我想是这样。 那时我完全不知道我会从事这个工作。 我当时真的只是一个数学极客、计算机科学家。 我非常喜欢计算机科学。 然后我发现语言是一个很棒的谜题, 实际上是从工程的角度来看。 就是这样,我有点意外地, 在完成本科学位后, 那是计算机科学和数学,在加拿大皇后大学, 我决定去读研究生。 就像,我一直以为我会这么做。 我去了剑桥,那里有一个硕士, 一个计算语言学硕士项目。 而我之前没有上过任何语言课程。 我上的全是计算机科学、数学课程, 基本上,大多是在本科阶段。 我只是觉得这是值得做一年的有趣事情。 因为这是一个一年制项目。 然后我最终用一生来做这件事。 - 所以从根本上说,你的人生旅程 是数学家和计算机科学家的旅程。 然后你发现了这个谜题, 语言的问题,并从那个角度来接近它, 试图从那个角度来理解它, 几乎像一个数学家,甚至可能像一个工程师。 - 作为工程师,我会说,坦白说, 我上过一门AI课,我想是83或84、85年, 大概是84年,很久以前了。 里面有一个自然语言部分。 它没有让我印象深刻。 我觉得我们一定能做更有趣的事情。 它看起来不太,对我来说只是一堆临时拼凑的东西。 它看起来完全不像一个真正的理论。 所以我就想,这似乎是一个有趣的领域, 但还没有足够好的研究。 - 你有没有接触过逻辑的哲学角度? 如果你想想80年代的人工智能,专家系统,你试图 也许绕过语言的诗意、句法和语法 以及所有这些东西,直接去处理底层含义,

HN 上的讨论

“没有内部独白就不可能计划。”——抱歉,我不同意这一点。我没有“内部声音”或独白——每当我看到一个问题,我的大脑实际上会完全用图像来建模。我相信25%的人口没有你所指的内部独白,这已经被测试和证实。我强烈推荐听这集Lex Friedman播客,以全面了解人脑中语言建模和一般建模的复杂性:[VIDEO] — photon_lines, 2024-06
如果你对这个话题感兴趣,我建议观看Edward Gibson和Lex Fridman的对话。在对话中间[1],Edward谈到人脑中有一个“人类语言理解网络”,只有当我们用任何人类语言阅读或说话时才会激活,其他则不会。例如,对于说多种语言的人,用其中任何一种语言阅读或写作都会激活该网络。但阅读乱码或计算机代码,都不会激活该网络。[1] [VIDEO] — hashemian, 2024-05
我觉得把LLM或一般AI中的错误和事实性错误解释为幻觉是适得其反的。我不知道这个领域是否已经对幻觉有了具体的定义,但我主要把它与像'SolidGoldMagicKarp'[0]和'davidjl'[1]这样的标记产生的乱码输出联系起来。我的理解是,像GPT这样的AI模型能够令人信服地传达语言的形式,但不能传达其意义。它看起来和听起来像人类交流的方式,但AI无法将意义注入它产生的单词和句子中。我的知识来自Lex Friedman与Edward Gibson的那一集[2]。我认为这是目前LLM的根本问题。它已经基本上走出了恐怖谷,因为对大多数人来说,产生的文本完全可能是人类写的。我认为这给LLM产生的文本带来了一些可信度,因为或多或少所有曾经产生的文本背后都有一个人。现在情况不再如此,因此必然会有一个过渡期,我们学习如何应对这项新技术。[0]: [LINK] [1]: [LINK] [2]:… — Hanschri, 2024-04

相关视频