我们必须为深度学习添加结构,因为……

WE MUST ADD STRUCTURE TO DEEP LEARNING BECAUSE...

频道:Machine Learning Street Talk · 时长:1:49:10 · 发布:2024-04-01 · 播放:101491

在 YouTube 观看

简介

Machine Learning Street Talk 采访 Paul Lessard 关于范畴深度学习,使用范畴论和单子使神经网络架构更具可解释性和可组合性。他们还讨论了神经网络在推理和无界计算方面的局限性。

HN 为什么推荐

大多被顺便引用,例如关于 transformer 无法进行递归的说法,以及作为结构化深度学习工作的例子。

函数式编程 · 机器学习与深度学习

中文字幕节选

那么,Paul,我们,呃。你是从哪里来的? 你是在附近吗?Tim。呃,过去两周, 我一直在伦敦。哦,是吗?给Keith讲讲那个故事。 所以,呃,他们大约18个月前筹集了一些种子资本, 然后他们定在二月份做这件事。是的。 所以情况是这样的,我想是在2022年的某个时候,George和 当时的联合创始人,他的联合创始人Taylor,他们,你知道, George离开了特斯拉,因为他认为他们提出的 修复自动驾驶的方法,特别是解决 自动驾驶的“旧金山问题”,只是为旧金山 投入更多数据,然后,你知道,把算力往 墙上扔。所以就像这样。George的想法是, 这不可能是正确的做法。所以他说, 我不确定具体该怎么做,但我想赌一把。 我想押注反对规模扩展。 感觉他们像是在试图记住无限。没错。 那么,呃,你会说你在那里的经历让你 产生了这种怀疑吗?是的。我的意思是,我认为如果你看看AI 日的演讲,那些实际上深入技术细节地讲述了 特斯拉如何学习世界,或者Andre两年前在NeurIPS的演讲。 呃,你知道,特斯拉非常努力地想提出一个函数 来记住世界,你知道,基本上就是取所有 驾驶领域中存在的可能的感知状态, 并在所有情况下产生正确的感知信号。 他们投入大量的训练数据来实现这一点,运行,你知道, 影子模式下的测试来收集触发事件,然后将更多标签反馈给 标注团队,运行那个数据循环。而且,你知道,Operation Vacation, 这个已经被公开讨论过,实际上就是那个奇点 时刻,函数收敛并记住了无限。 (注:原文第30行似乎不完整,但根据上下文,这里可能是结束句。) 而且,你知道,如你所知,到目前为止我跟你聊过,我 并不相信那是可能的。你知道,显然, 神经网络是有限机器。它们在有限的计算 约束下运行,内存也有限。也许有可能构建一个神经 网络,确实能够记住无限,只要给定无限数量的 层和无限数量的,你知道,呃,全连接 神经元,嗯,以及无限的算力和内存来执行那个模型。 但考虑到特斯拉车辆中的算力约束,呃,我不 认为那有可能实现。于是他四处寻找了 大约一年,试图找到一位风险投资人来资助一种 以研究为导向的创业,你知道,来论证你可以 在没有规模的情况下做很多事情。然后我在 大约六个月前加入了这家公司,而在大约一个半月内, 我们就像,好吧,我们不知道六个月后我们会做什么, 但我们需要在六个月内把它卖给投资者。 于是我们在2月1日,或者说实际上是2月2日完成了那篇论文, 按北美时区算,因为你知道, 地球上任何地方都算是2月1日那种情况。 然后一周半后,我们与,呃, 风险投资人会面,为这整件事拿到资金。 是啊,相当旋风般。我是说,是的,我。 我只是很感激,呃,你知道,George创造了这个, 而它存在是因为。因为我认为,嗯,我持 同样的理念,那就是答案不只是,你知道, 更多的相同或相同。你知道,我们需要,呃,我们需要

HN 上的讨论

Symbolica.ai | 伦敦,澳大利亚 | 远程,实习,签证 我们正试图将范畴论、依赖类型论和函数式编程的见解应用于深度学习。我们如何最好地为神经网络配备来自这些领域的强归纳偏置,以帮助它们以结构化的方式推理?我们即将发表的 ICML 论文给出了一些风味[LINK];你也可以观看[VIDEO];但还有更多可说的。如果你精通{范畴论,Haskell(/Idris/Agda/...),深度学习}中的两个或更多,你可能会和我们一起玩得很开心!查看我们的开放职位:[LINK] — taliesinb, 2024-06
你有关于基础研究缺乏资金的引用吗?从表面上看,AI 领域似乎有大量资金,虽然大部分可能流向了“成功概率高的项目”(不管那是什么意思),但边缘想法似乎也能获得不少资本。甚至(我认为的)学术项目似乎也能获得不错的资助[0]。此外,你似乎不是在说 Transformer 可能是个死胡同,而是神经网络本身可能是个死胡同。在这一点上,神经网络已经带来了很多价值。如果某人的目标只是推出产品,比如说扩散模型已经能帮你实现,那怎么可能是死胡同呢?你是指 AGI 的死胡同吗?如果是这样,似乎也有关于替代方案的研究?[1] [0] [VIDEO] [1] [LINK] — itchyjunk, 2024-05
有意思,我以为已经证明 Transformer 无法进行递归[0],并且由于缺乏可扩展内存,实际上无法等价于图灵机,而只是有限状态自动机。[0]: [VIDEO] — f_devd, 2024-04

相关视频