构建软件 2.0 技术栈 (Andrej Karpathy)

Building the Software 2 0 Stack (Andrej Karpathy)

频道:Databricks · 时长:17:54 · 发布:2018-08-29 · 播放:72933

在 YouTube 观看

简介

Andrej Karpathy 在 Databricks 的演讲中讨论了软件 2.0,即从人类编写的代码转向由神经网络训练产生的代码。演讲涵盖了开发者的工作如何转向策划数据集、其优势与挑战,以及新工具的机会。

HN 为什么推荐

HN 将其作为“软件 2.0”理念的主要来源,并推荐为关于下一个软件技术栈的快速演讲。

这里有一个 Andrej Karpathy 关于构建下一个软件技术栈需要什么的好/快速演讲。 — HN, 2020

机器学习与深度学习 · 科技先驱与访谈

中文字幕节选

很好,很高兴来到这里。我想跟大家谈谈我所看到的 软件编写方式正在发生的一场变革,也就是所谓的软件 2.0。其实要讲清楚这个故事,我得追溯到很久 以前,大约100万年前,这就是我们,100万年前互相扔石头 但我们其实是相当聪明的物种,我们学会了控制火 发展了农业,然后我们开始制造机器,用这些 机器进行计算,我们把计算从机械过渡到 电气,然后到了2018年,我们在写软件,我们已经构建了 相当复杂的软件工具,而我们取得所有这些进步的方式是 我们实际上用同一种方法来推进所有这些 应用,首先我们识别出某种问题,然后把它分解 成子问题,然后我们为每一个子问题 创建算法,然后把它们堆叠成一个系统,然后这些系统 可以变得相当精巧和复杂,所以这种 通过分解的方法对我们非常有效,我们得以 取得惊人的进步。但不幸的是,在过去几年里,我们 遇到了一些问题,使得很难再应用 这种历史上对我们如此成功的方法。特别是 一个我很熟悉的问题就是计算机视觉,实际上很难 把描述那张图像的100万个数字转化成 猫或不是猫这样的概念,所以这种通过分解和工程化 解决方案的方法实际上开始不太奏效了,并不是 因为没人尝试,人们确实尝试过分解计算机视觉,我们 提出了一套理论来拆解这个问题,比如如果你想 识别人,也许你想先识别人的各个部位,我们 要经过几个处理阶段,我们试图用工程方法 来解决,但不幸的是这效果不太好,因为变化太多, 外观差异太大。所以到了大约1990年代,我们开始发现 机器学习其实是解决这类问题的好方法,于是我们 转而考虑积累一些数据集,但我们仍然在尝试,仍然 抱着开发工程工具来解决问题的思维,我们仍然在 手工设计特征,因为这就是我们被训练的方式,我们就是 这样取得进步的,然后我们在桌上放一点机器学习,比如训练一个 超级冒险机器,然后我们在2012年发现,其实我们应该 退后一步,不去设计那些特征,我们其实只想搭出一个 卷积网络架构的骨架,把更多的事情 留给优化,特别是我们在优化那个网络的权重, 我们在训练那些特征,所以我们退后一步,设计得更少, 结果效果更好。现在我们仍然在设计架构,但一些 针对ImageNet的最先进技术其实退后得更多,我们 现在实际上是在优化架构本身,所以我们设计得更少,我们甚至 不信任自己去搭建架构,而这也同样奏效。 所以通过计算机视觉这个具体例子,我们确实看到了这一趋势: 你越想让这个东西工作得好,如果你有评估标准,比如 测试集上的损失或测试集上的准确率,那么最好的做法 其实就是退后一步,设计得更少,把更多留给优化。 所以看待这件事的方式,我觉得一个好的思维框架是: 如果你想自己设计代码,这就是软件1.0,你坐下来 写一些Python或C++,然后你识别出程序空间中的 某一部分,你写一个算法,而算法不能太复杂,所以它 大概在原点附近,因为我们人类能力有限,那是一种解决方案,

HN 上的讨论

顺便说一句,对于任何感兴趣的人,这里有一个 Andrej Kapathy 关于构建下一个软件栈需要什么的精彩/快速演讲。[VIDEO] — __sy__, 2020-07
有没有专门的 HN 提交讨论这个话题?这对我来说非常有趣。在 Andrej Karpathy 所说的“软件 2.0”[1]中,泄露你的模型相当于泄露你公司的主要知识产权。与源代码不同,源代码在脱离上下文后很快失去价值(例如 twitch 泄露了他们的代码,但并没有催生出一堆 twitch 克隆),模型可以针对许多其他目的进行微调和迁移学习。由于这些模型的训练需要花费数百万美元,我认为这类黑客行为会成为一种趋势!我想知道公司什么时候会开始添加“陷阱街道”[2]来证明其他人正在使用他们被盗的模型? [1] [VIDEO] [2] [LINK] — gfd, 2022-10
Andrej Karpathy(今天的演讲者之一)去年实际上也发表了类似的言论,关于软件栈中非神经网络的部分正在逐渐缩小:[VIDEO] — wcoenen, 2019-04

相关视频