斯坦福研讨会:超越浮点数:下一代计算机算术

Stanford Seminar: Beyond Floating Point: Next Generation Computer Arithmetic

频道:Stanford Online · 时长:1:31:28 · 发布:2017-02-03 · 播放:32864

在 YouTube 观看

简介

John Gustafson 介绍了 posits,一种提议作为 IEEE 754 浮点数的直接替代品,在硬件上更简单,在精度上更灵活。研讨会包括现场演示和机器学习结果。

HN 为什么推荐

在浮点数讨论中被引用,作为 posits 和 unums 作为 IEEE 浮点数替代品的主要介绍。

这是一个很好的介绍性演示 — HN, 2018

机器学习与深度学习 · 纯数学 · 计算机体系结构与CPU

中文字幕节选

所以我要讲的大概是大约35年来尝试的结晶, 寻找比浮点运算更好的东西,我想是从80年代开始的, 那时我开始研究这个,现在我被派驻到新加坡大学, 他们为我提供了一个非常好的环境来做这类研究,我 很感激。那么为什么要担心浮点呢?我想出了一个简单的例子, 因为我发现每个人都信任矩阵乘法,他们一直用它 做例子。假设只有一行和一列,恰好是 这个a和那个b,所以你取它们的标量积来找出 结果,这些是相当普通的数字,它们是整数,不是很大, 3200万、1、-1、8000万、4000万,不,完全普通合理的 数字。如果你用单精度做这个,你会得到a·b等于z, 这会告诉你嘿这些向量是正交的,可能是一个 重要的性质要知道。用双精度检查一下,你又得到A·B 等于0,你知道接下来会发生什么。呃,假设你用二元求和 折叠来做,不是从左到右,而是这两个、这两个 然后相加,这通常对行为有点帮助,你得到1, 这两个数字在意义和准确性方面相差尽可能大, 正确答案实际上是2,所以大多数线性代数用浮点数是不稳定的。我 总是觉得好笑,当我听到人们谈论呃比如这个方法 是稳定的,但这个方法不是,实际上它们都是不稳定的,所有的方法都可以变得 对输入的微小变化非常敏感。浮点就像 一切一样危险,它只是一个沼泽,然而我们却相处得很好, 因为我们太习惯了,我们在它下面受苦,我们只是说好吧你 必须学会忍受它。首先,我对IEEE 754的主要反对意见是 1985年的标准,它不是一个标准,它是一个指南,有一部分是 要求,有一部分是建议推荐,人们接受 那些或不接受那些,一旦发生这种情况,你就会得到不同的 二进制输出,从每个不同的计算机系统。实际上, 标准的设置方式,你可以从同一台计算机运行 相同的操作系统,只是相隔几秒钟,得到两个不同的答案。甚至没有 从一次运行到另一次的一致性,因为它受到缓存的影响,你是否从 8087呃呃堆栈中取出东西并暂时放入缓存, 然后放回去,突然你在一种情况下得到溢出,但你得到了一个很好的 合理的数字,另一个则没有。这种缺乏保证是极其严重的,如果你 试图调试一个系统,你在不同的系统上得到不同的答案。 标准的整个想法是你在每个系统上得到相同的答案。 构思Java的人,我记得James Gosling只是惊恐地 发现使用IEEE 754并不能保证在所有平台上得到相同的结果, 在Java中,当你犯舍入错误时,当然它是 完全安静的。他们放入了所谓的不精确标志,每个处理器 设计师必须确保它被维护,所以如果你得到一个不精确或舍入的结果, 标志在处理器内部打开。你见过一种语言让你 看到那个标志吗?事实上,你看到那个标志的唯一方式可能是 进入汇编器,非常非常擅长调试器,能够 重置处理器标志,做一个操作,然后再次检查处理器标志。它 从未被主流化,当然它破坏了代数定律,就像 结合律算术,a加括号b加c不等于括号a加b 然后加c,这意味着编译器不能自由地重新排列数字

HN 上的讨论

对这类东西感兴趣的人可能也会对 John Gustafson 关于 unums/posits 的工作感兴趣。这里有一个很好的介绍性演讲 [VIDEO] — gbrown_, 2018-06
你可能会喜欢:[VIDEO] 事实证明数学稍微难一些,但在硬件上比 IEEE FP 更快,可能是因为规范中的条件更少。在数值精度方面有更好的性能,但代价是错误分析要困难得多。免责声明:我在视频中。 — dnautics, 2017-09
你看过“斯坦福研讨会:超越浮点:下一代计算机算术”吗?[VIDEO] — espeed, 2017-02
嗯,尤其是 unums(特别是新的类型 3 “posits”)在硬件实现上非常有趣且实用。unums 的创造者 John Gustafson 本月早些时候在斯坦福大学做了关于类型 3 unums 的首次演讲,并且已经有多个硬件实现项目(我间接监督其中一个)。虽然最近许多人热炒低精度浮点数用于机器学习等领域,但 Posits 在极少的位数下(低至 4 位,但机器学习从 8 到 10 位开始表现良好)提供了更大的动态范围和更高的精度。最重要的是,它在硅片上的面积和功耗比 IEEE 硬件更低。看看这个演讲:[VIDEO] — trsohmers, 2017-02
我很惊讶没有人提到 John Gustafson 的 Unum 工作。他的最新迭代是 posit,他本月早些时候在斯坦福大学做了介绍[0][1] 编辑:向 CalChris 道歉[2]。我应该说的是讨论了 Gustafson 的 Unum 工作。[0] [VIDEO](相关问题在 1 小时 22 分 37 秒)[1] [LINK] [2] [LINK] — vanderZwan, 2017-02

相关视频