物理学与深度学习之间的联系

Connections between physics and deep learning

频道:MITCBMM · 时长:51:46 · 发布:2016-08-30 · 播放:66979

在 YouTube 观看

简介

Max Tegmark 在 MIT CBMM 的演讲,探讨深度学习为何如此有效。他认为物理定律和物理数据中的对称性使其可压缩成小型神经网络,将物理学与网络结构联系起来。

HN 为什么推荐

HN 推荐它作为深度和廉价学习为何成功的清晰论证,常与相关论文一起提及。

物理数据往往具有对称性,这些对称性使得数据的描述可以非常压缩成相对较小的神经回路 — HN, 2018

机器学习与深度学习 · 基础物理学

中文字幕节选

MAX TEGMARK:所以我要讲的是 物理学与深度学习之间的联系。 我要谈这个是因为我觉得 在这个维恩图的正中间,有很多非常美妙的科学可以做, 就在物理学、神经科学和人工智能的交叉点上。 实际上,我要举两个不同的例子, 都是正好在这个领域里的很酷的东西。 我将从Gabriel提出的这个问题开始。 为什么深度学习如此有效? 而且,为什么廉价学习也有效? 我稍后会解释我这么说是什么意思。 所以你们都听说过一堆很酷的事情, 关于深度学习在这次会议上取得的成功。 Haim Sompolinsky也告诉过你们为什么深度学习有时更好, 并给出了一些非常有趣的部分答案。 我要论证的是,这个问题的完整答案不能 仅仅在数学和计算机科学中找到。 因为部分答案实际上在物理学中。 但在我们深入之前,让我们先提醒自己, 确保我们理解一致,我们所说的深度学习是什么意思。 所以前馈神经网络只是一个函数。 当然是一个特定的函数,你在输入层输入一些东西, 然后一些东西输出。数据输入,数据输出。 比特输入,比特输出。或者向量输入,向量输出,随便什么。 前馈神经网络是一个非常特定的函数类别, 你交替地乘以——这些是仿射变换, 所以你乘以某个矩阵并加上一些常数,然后交替—— 然后做一些简单的非线性操作, 通常只是对每个数字应用非线性函数, 有时你做其他简单的事情。 所以我们从经验中知道,仅仅通过交替 线性东西和简单的非线性,你可以做各种非常非常酷的事情。 在这个学校你已经看到了很多例子。 只给你几个你熟悉的, 这是一个函数,你输入一张图像。 所以也许你输入一百万个像素,每个像素有一个R、G和B数值, 指定它的颜色。然后函数输出的是 图像的标题,一群年轻人在玩飞盘游戏。 或者你取完全相同的函数, 相同的前馈神经网络,不再训练。 输入这张图像,输出这个标题。 另一个深度学习函数的例子,最近在新闻中出现, 是AlphaGo在首尔今年 spectacularly 击败了李世石, 它有——当然它不仅仅做深度学习, 它还有强化学习, 但它有一个深度学习函数,你只需输入一个局面。 你输入一个19乘19的围棋棋盘,每个小方格 可以有三个值之一:空白、白子或黑子。 它返回白棋赢得这局比赛的概率。 再次,它非常擅长评估这个函数, 结果证明了这一点。 现在,深度学习并不精确实现你想要的最优函数, 但它通常近似我们感兴趣的函数, 非常非常非常好。 通常,我们试图近似的函数是概率分布。 所以如果你有一些变量x,它以某种随机方式预测 某个变量y,也许接下来会发生什么,那么如果你 试图预测给定x时y的概率,我们称之为预测。 例如,你可能在用手机给朋友发短信, 你试图根据你到目前为止输入的内容来预测, 你接下来想输入的词是什么。 或者反过来,如果你知道输出是什么, 而你想预测输入是什么,我们称之为分类。 举个例子,如果 x 是你某个朋友的名字,

HN 上的讨论

这是Max Tegmark(第二作者)在2016年关于深度学习和物理学之间联系的相关演讲:[VIDEO] 其要点是,物理数据往往具有对称性,这些对称性使得数据的描述可以非常压缩成相对较小的神经电路。随机数据没有这种性质,并且难以学习。超级迷人。 — tedsanders, 2018-05
我认为在深度学习系统中使用物理模型作为约束的论点是一个更清晰的论点 [VIDEO] — jonmc12, 2017-01
如果你对此感兴趣,你应该看看Max Tegmark的演讲“物理学与深度学习之间的联系”[1]。此外,一篇让所有人对物理系统数学分析与分层特征学习范式之间的深层联系感到兴奋的论文,从重整化群的角度谈到了这种联系[2]。不管它的实际效用如何,其哲学意义确实能激发智力。做个白日梦,我想是否有可能在某些物理理论和统计学习理论之间画出范畴论的平行关系。要学的东西太多了,我正在尽力自学(业余时间)那些在我计算机科学研究生院里不教的数学。要学的东西太多,时间太少。:) [1] [VIDEO] [2] [LINK] — adityab, 2016-09
参见Tegmark的“为什么深度廉价学习如此有效”(好吧,现在不那么廉价了...)[VIDEO] — krackers, 2026-06
我的随机意识流参考反应... Tegmark和Lin关于深度学习如何映射到物理世界的讨论:为什么深度和廉价学习如此有效?[1][2] Aerts等人十多年前的工作,包括人类分类的向量空间模型如何显示量子力学结构[3]。Lucien Hardy对经典概率和量子概率之间差异的精妙梳理:从五个合理公理看量子理论[4] 事实证明,量子力学的创新性、力量和奇异性与将物理过程分为以下两类有关:1. 依赖于复振幅(波函数传播)的线性连续酉可逆演化。2. 非线性不连续不可逆的“坍缩”或“测量”或“纠缠”或“相关分支”,其概率基于玻恩规则(波函数振幅平方的实数值)。神经网络也将问题分解为可逆连续函数和离散不可逆分类决策(例如softmax/sigmoid逻辑分类器)的连续交替层。一个更晦涩的旁支是,现在大部分金融市场由“期权”构成,期权跟踪连续值并具有连续收益,但提供执行选择以坍缩期权并产生真实的财务结果… — mikhailfranco, 2017-08

相关视频