GradIEEEnt half decent:不精确线条的隐藏力量

GradIEEEnt half decent: The hidden power of imprecise lines

频道:suckerpinch · 时长:55:02 · 发布:2023-05-01 · 播放:392064

在 YouTube 观看

简介

Tom 7(suckerpinch)就梯度下降和浮点不精确性进行了一段冗长而喜剧化的离题讨论。他展示了舍入行为如何提供构建神经网络所需的非线性。

HN 为什么推荐

被引用为利用浮点误差构建神经网络的一个有趣、非传统的例子。

一个有趣的例子(利用浮点误差作为非线性来源来制作神经网络) — HN, 2024

软件性能与优化 · 机器学习与深度学习 · 单口与小品喜剧

中文字幕节选

想象你是我的教授。 也许你真的是我的教授,那样的话你可能已经出汗了 在我继续说之前。主题是神经网络。 你在黑板上画一个插图,用节点、输入和通过传递函数的输出。 你告诉我们这个数学事实:传递函数不能是线性的, 否则整个模型就会简化为一个线性函数。 我立刻举手。 我举手的速度和那不太微妙的前倾姿势表明我 想从白板上摘下一个抽象概念并加以歪曲。 你熟悉这种表情,你不愿意叫我,但没有其他学生 举手。你别无选择。 汤姆。这更像是一个陈述而不是问题。 它包含了口语标点的语气,如果可能的话,会在对话开始前就结束整个 对话。 我继续滔滔不绝地讲一些技术细节,由于计算机上的近似数学, 这个数学事实将不成立。 你说,好吧,技术上是对的,但就所有实际目的而言,这并不 重要。我说,那么不实际的目的呢? 然后你在一个软弱的时刻猛烈地掐死我。 我就是这样死的。被冷血谋杀。 那是大约20年前的事了,但世界不会让我们停止思考 神经网络。我们真的只是在同时踩下所有的油门, 驶向乌托邦或反乌托邦,肯定是某种托邦。 我们正在快速接近。 所以这个问题在我脑海中已经有一段时间了。 澄清一下,教授是对的。 呃,我可能在技术上是正确的,但就实际目的而言并不重要。 但我喜欢在理论和实践的交汇处工作。 所以通过做大量的工作,我们可以让它变得重要。 然后我会更加正确,既在理论上正确,而且它只会 对大多数实际目的重要。 所以在这个视频及其冗长的技术报告中,我有一个详尽的 探索,看看你能做到什么程度,我会看看我们如何绝对能在神经网络中使用 线性传递函数,以及其他它们本不该足够的地方。 我是Tom Seven,这是不切实际的工程。 好的,让我们重复教授的课程,以便我们理解争议的 本质。如果你觉得你已经知道关于神经网络的一切,这个 部分可以安全跳过,但整个视频也可以跳过。 所以从根本上说,神经网络接收输入,这些输入是一堆数字, 转换这些数字,然后输出其他一些数字。 在这个图中,我有三个输入和一个输出。 所以当我们运行网络时,这些圆圈中的每一个都会被填入一些数字。 所以称输入为X Y Z,让我们看看R是如何计算的。 就是中间那个。我们从X Y和Z的加权和开始。 所以我们取所有输入,将每个乘以某个权重,然后将它们相加。 这些权重是在我们训练网络时确定的。 在这一点上,它们只是常数。 当我们运行网络时,它们只是常数。 我们还学习一个偏置参数,它变成常数,然后被加进去。 今天重要的部分是传递函数TF。 它被应用于加权和,并在这种情况下用S形函数转换它。 这里的直觉是,这个节点R,这个神经元R以某种概率 激活,这取决于它与其他神经元的连接, 但因为它是一个概率,它的范围从0到1,而不是像负 无穷到无穷。所以输入神经元激活得越多,这个神经元 激活的可能性就越大。无论如何,这是经典的想法。 如今几乎每个人都使用修正线性传递函数。 它实现起来超级简单,而且由于各种原因,它实际上效果更好,

HN 上的讨论

一个有趣的例子(利用浮点误差作为非线性来源来制作神经网络):[VIDEO] — jcparkyn, 2024-05
> 将输出压缩到一个范围 这不是激活函数的主要目的,事实上它甚至不是必需的。例如,参见 ReLU(可能是最常见的激活函数)、leaky ReLU,或者一个更傻的例子:[VIDEO] — jcparkyn, 2024-10
当人们说这类关于 AI 的话时,我不明白他们想表达什么。人类水平的写作就像线性回归一样简单?我们几十年前就能拥有能够进行人类水平写作的计算机程序?他们难道没有足够使用这些 AI 来看到它们有多强大吗?他们是不是看到了糟糕的输出,就认为 AI 总是做得那么差?说真的,如果你告诉我一个“线性回归”可以通过 LSAT 是显而易见的,那我有个 macvlan 要卖给你。编辑:它们也根本不是线性回归![VIDEO] — Uehreka, 2023-10
很酷的东西。我看了 [LINK],注意到 fp8 支持仅适用于张量核心,而不适用于 CUDA 端。这是否意味着在 fp8 模式下使用 H100 GPU 进行训练会使用一些不是现有庞大 CUDA 生态系统的软件生态系统?还是我误解了 CUDA 核心与张量核心?PS,开个玩笑,他们应该实现 GPU fluint8,并在激活函数中内置非线性,甚至不需要使用非线性函数,[VIDEO](suckerpinch 的“GradIEEEnt half decent: The hidden power of imprecise lines”) — superkuh, 2023-05

相关视频