第一讲:信息论导论
Lecture 1: Introduction to Information Theory
频道:Jakob Foerster · 时长:1:01:51 · 发布:2014-04-26 · 播放:413411
简介
David MacKay 在剑桥大学关于信息论、模式识别和神经网络课程的第一讲。它介绍了他的书《信息论、推理和学习算法》的核心思想。
HN 为什么推荐
推荐作为信息论的愉快、清晰的入门,与 MacKay 的免费教科书搭配良好。
从他的讲座中学习材料对我来说非常愉快。 — HN, 2020
机器学习与深度学习 · 信息论与信号处理 · 大学讲座与课程
中文字幕节选
好的,欢迎大家。非常感谢大家来参加这门课程的第一讲, 这门课叫做信息论、模式识别和神经网络。 第一讲是信息论的介绍。 信息论是由克劳德·香农发明的,用来解决通信问题。 香农定义的基本问题是可靠 通信在不可靠信道上的任务。 所以,这就是我们的基本问题,我现在举一些例子。 现在。 那么,一些信道的例子。 我们现在使用的一个信道是从我的声音到你的耳朵, 介质是空气。 我们可能使用的另一个信道是从我们的眼睛到其他 神经系统的部分。 那里的介质是细胞质和电脉冲。 我们随身携带的另一个信道例子是DNA。 我们身上大约有10的13次方个基因组拷贝, 在我们10的13次方个细胞中,每次细胞复制时, 我们发送两个基因组拷贝到那些细胞中。 重复40次,你就从一个卵子变成了一个人,也许还会到 下一代。另一个例子是 航天器,比如火星漫游车之类的。 你在地球上有一个天线,使用真空作为 传输介质,发送信号到火星 漫游车,也许它有一个天线并发送回信号。 所以,这是一个可以双向传输的信道。 另一个例子是电话线。 所以,如果你老式的话,可能有一根铜线连接一个 电话到另一个电话。 另一个例子是磁盘驱动器。 所以,介质是某种磁化薄膜 在标准硬盘驱动器中。 在那个磁盘驱动器中,你存储一条消息, 可能是你的文件,然后你在另一个时间发送给自己。 所以,许多这些信道从一个地方到另一个地方,一个地方到 另一个地方,但你可以有信道从一个地方,磁盘驱动器,到 同一个地方,但在稍后的时间,我们仍然试图通信一条消息 从那个位置到另一个位置。 所有这些信道都有一个共同点,即接收信号 与发送信号不相同。 所以, 由于噪声或其他过程,我们的接收 信号可能大约等于发送 信号, 但我们也添加了一些噪声。 也许,你知道,一些信道,也许没有关系,呃,没有简单的 相等关系。 你只是有发送的,呃,接收信号以某种方式依赖于发送 信号。但是,对于一个玩具信道,我们可能说,“让我们假设接收 信号通过添加某种噪声而不同。” 在大多数这些应用中,我们可能说这是坏消息,因为我们 真的想要可靠的通信。 我们希望在接收端能够精确地推断出原始 发送信号是什么。所以,我们 希望有通信系统 其中接收消息 哎呀。 等于原始发送消息。 那会带来更好的电话通话,更好的磁盘驱动器,更好的通信 在讲师和观众之间。 所以,想象我们正在努力实现这个目标。 我们要努力构建一个可靠的通信系统。 我们可以采用哪些方法? 有哪些解决方案? 我们可以从两个方面对解决方案进行分类。 从两个方面。要么是物理解决方案, 即扔掉糟糕的磁盘驱动器,换一个更好但更昂贵的。 也许你给铜线加上更好的绝缘层。 嗯,使用更冷的磁膜。 增加冷却。所以,你改变物理条件来减少噪声。 所以,有物理解决方案。 或者,我们可以讨论系统解决方案。 系统解决方案的思路是接受糟糕的信道,并在其周围添加编码和解码系统,
HN 上的讨论
他这么年轻就去世了,真是个悲剧。MacKay 教授是一位榜样,以许多积极的方式影响了我们的世界(例如他在信息论、贝叶斯统计、环境科学方面的工作)。我推荐他在 YouTube 上的信息论讲座 [1]。他还非常详细地在博客上记录了他与癌症的斗争 [2],这是一篇非常有趣(且悲伤)的读物。[1] [VIDEO] [2] [LINK] — samch93, 2021-10
有过。不幸的是,MacKay 教授于2016年因癌症去世。我们失去了一位伟大的灵魂。我同意他的教科书和幽默感非常棒。从他的讲座中学习材料对我来说非常愉快。它们是教科书的绝佳补充(或者也许反过来?),你可以在这里找到它们:[VIDEO] — maxov, 2020-06
我推荐 David MacKay 的信息论导论课程:[VIDEO] 有一本免费的书:[LINK] Daphne Koller 关于概率图模型的三门 Coursera 课程也非常好。 — swframe2, 2018-02
感谢这份清单。有趣的是,已故的 David MacKay 的书也上榜了,可以从该书的网站下载多种格式。信息论、推理与学习算法:[LINK] 由 David MacKay 本人基于该书讲授的课程:[VIDEO] 信息论之父 Claude Shannon 是最早提出基于马尔可夫链的随机 LLM 的人,这大概并不令人意外。 — teleforce, 2024-05
“您的浏览器不支持可用视频格式的播放。请安装 Adobe Flash 播放器或升级到更现代的浏览器。” ...好吧?我也在 YouTube 上找到了这些视频:[VIDEO] — noud, 2023-02
相关视频
- 专家神话 · Veritasium · 17:58
- 为什么制造蓝色 LED 几乎是不可能的 · Veritasium · 33:44
- 我参加了一次 IQ 测试,来解释它们有什么问题 · Veritasium · 34:28
- 如何演讲 · MIT OpenCourseWare · 1:03:42
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 1. 人类行为生物学导论 · Stanford · 57:14
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- 领导力实验室:有效写作的艺术 · UChicago Social Sciences · 1:21:51
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- D/A 与 A/D | 数字展示与讲解(Monty Montgomery @ xiph.org) · FL Studio · 23:52
- MIT 的聚变能之路(IAP 2017)- Zach Hartwig · MIT Plasma Science and Fusion Center · 1:11:39
- 斯坦福 Sapolsky 谈美国抑郁症(完整讲座) · Stanford · 52:28
- 公正:该如何做是好?第 01 集“谋杀的道德侧面” · Harvard University · 54:56
- 第一讲 | MIT 18.06 线性代数,2005 年春季 · MIT OpenCourseWare · 39:49
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- 兰迪·波许的最后一课:实现你童年的梦想 · Carnegie Mellon University · 1:16:27