第一讲 | 深度学习自然语言处理

Lecture 1 | Natural Language Processing with Deep Learning

频道:Stanford University School of Engineering · 时长:1:11:41 · 发布:2017-04-03 · 播放:821557

在 YouTube 观看

简介

斯坦福大学深度学习自然语言处理课程的第一讲,由Chris Manning和Richard Socher授课。介绍了NLP和词向量,包括SVD、skip-gram、CBOW、负采样和word2vec。

HN 为什么推荐

被推荐为学习现代NLP深度学习的最佳免费课程之一。

我会推荐两门来自斯坦福的精彩课程 — HN, 2018

机器学习与深度学习 · 计算机视觉、语音与 NLP · 大学讲座与课程

中文字幕节选

[音乐] 斯坦福大学。>> 好了,各位。 我们准备好了。 好的,欢迎来到 CS224N 和语言学 284。 这真是令人惊叹。 感谢所有参与其中的人,也感谢那些没能挤进 这里的人,以及通过 SCPD 在线观看的人。 是的,报名参加这门课的人数之多,简直令人难以置信, 所以从某种意义上说,似乎不需要任何广告来宣传 为什么自然语言处理和 深度学习相结合是值得学习的东西。 但尽管如此,今天这节课实际上 就是要做这样的宣传,我是 Christopher Manning。 所以我们要做的是,我先来讲一点 关于什么是自然语言处理、什么是深度学习的内容, 然后我们会花几分钟时间讲一下课程安排。 以及我的联合讲师 Richard 的几句话。 然后,再讲一些关于为什么语言 理解很困难的内容,接着开始介绍用于 NLP 的深度学习。 所以今天我们开局不太顺利, 因为火警响了,我们大概晚了十分钟才开始。 幸运的是,第一讲其实没有太多硬核内容。 第一讲主要是解释 NLP 课程是什么,并讲一些 关于深度学习如何以及为何正在改变世界的激励性内容。 到了周四的课就会立刻改变,因为 周四的课我们会开始讲向量、 导数和链式法则之类的东西。 所以你们应该在心理上做好准备, 迎接两讲之间难度的变化。 好的,首先,什么是自然语言处理? 自然语言处理,这是计算机科学家对这个领域的叫法。 它本质上等同于计算语言学, 那是语言学家对这个领域的叫法。 所以它处于计算机科学、语言学和 人工智能的交叉点上。我们要做的是让计算机 在人类语言方面做聪明的事情,能够像人类一样 理解人类语言并用人类语言表达自己。 所以自然语言处理算作人工智能的一部分。 显然人工智能还有其他重要部分, 比如计算机视觉、机器人学、 知识表示、推理等等。 但语言在人工智能中有着非常特殊的地位, 这是因为语言具有人类非常独特的属性, 我们很大程度上是用语言来思考和应对世界的。 地球上很多生物都有相当不错的视觉系统, 但只有人类拥有语言。 当我们思考如何表达想法、如何做事时, 语言在很大程度上是我们思考的工具和沟通的工具。 所以它一直是人们在人工智能中思考的关键技术之一, 也是我们今天要探讨的内容。 我们的目标是如何让计算机处理或 理解人类语言,以完成有用的任务。 这些任务可以是预约、购物, 也可以是更宏大的目标,比如理解世界的状态。 所以在这个领域,已经开始出现大量商业 活动,涉及各种方向,有些是像预约这样的事情。 很多是在问答方向。 所以,对于做语言的人来说很幸运,移动设备的到来非常、 非常友好,语言的重要性大大提升了。 所以现在,所有大型科技公司,无论是 Siri, 谷歌助手、Facebook 和 Cortana。 但他们正在拼命做的是 推出使用自然语言与用户交流的产品。 这是一件极具吸引力的事情。 在手机上尤其有吸引力,因为手机有这些小巧的

HN 上的讨论

这有点像我为自己创建的一个硕士课程,从底层开始学习机器学习。首先,你需要有扎实的数学基础。否则,你可以复制粘贴算法或使用 API,但你不会了解内部发生了什么。以下概念非常必要:1) 线性代数 (MIT [LINK] ) 2) 概率论 (哈佛 [LINK] ) 对机器学习有一些基本的掌握。对基本概念有良好的直觉:1) Andrew Ng 的 Coursera 课程 ( [LINK] ) 2) Tom Mitchell 的书 ( [LINK] ) 上述课程和书都非常容易上手。你会对基本概念有很好的了解,但它们缺乏深度。现在你应该转向更深入的书籍和课程。你可以从以下资源获得更深入的机器学习知识:1) Nando 的机器学习课程 ( [LINK] ) 2) Bishop 的书 ( [LINK] ) 特别是 Bishop 的书非常深入,几乎涵盖了所有基本概念。现在对于深度学习的最新进展,我会推荐斯… — neel8986, 2018-01
我读了大约三分之一的评论,但有趣的是,我们谈论的所有事情中最有趣的问题只被一个非程序员注意到了(到目前为止)。评论中谈论的一切都取决于人工智能在自然语言处理(NLP)方面的最新技术水平(SOTA)。John Carmack 推荐了 [VIDEO] 斯坦福的 NLP 课程(直到我在 HN 上看到那个帖子才知道他是谁)。那门课很好。它需要很长时间来消化。你会扎实地掌握到 LSTM,这是当前的一般标准。 — morugin, 2018-03
对于那些喜欢 Manning 教授风格并想更深入学习的人,这里有他在斯坦福教授的 NLP 课程的讲座视频:[VIDEO] — ahussain, 2017-12

相关视频