第十一届HOPE大会(2016):使用开源语音识别进行语音编程

The Eleventh HOPE (2016): Coding by Voice with Open Source Speech Recognition

频道:Channel2600 · 时长:46:19 · 发布:2016-12-23 · 播放:13235

在 YouTube 观看

简介

HOPE XI大会上的演讲,关于使用开源语音识别进行语音编程。演讲者通过语音编写Linux系统代码,并描述了为患有重复性劳损的程序员构建自定义语音语法作为键盘替代方案。

HN 为什么推荐

HN引用它作为语音编程可行的证明,并将其列为无法打字的程序员的资源之一。

使用开源语音识别进行语音编程,来自HOPE XI(2016) — HN, 2019

软件实践、开源与职业 · 计算机视觉、语音与 NLP · UX与UI设计

中文字幕节选

谢谢大家。嗯,这是我昨天或 者说最近拍的一张我的桌子的照片。呃,你们可以看到那里有一堆疯狂的东西。 我有几个麦克风。 我有一个呃,一个类似人体工学的 Goldtouch 键盘和一个轨迹球等等。 我想,这其实不太像是一个普通程序员的配置。 但不幸的是,我是被迫这样的。 嗯,我大约在不到两年前开始生病。 嗯,某种病毒。我的身体反应过度了。 医生不太确定发生了什么,但最终结果是,嗯,我很长一段时间 无法打字。就像上面说的,我连一支铅笔都举不起来。 我无法,你,我无法用钥匙开门。 我的意思是,呃,手部力量非常小。 然后后来,呃,它开始蔓延到我的腿,我无法,嗯,无法长时间 行走。有时我甚至无法站立。 而且呃,肯定无法坐着,除非椅子垫得非常软。 所以那对我来说,呃,算是一场灾难。 正如你们从第一张幻灯片看到的,我是哥伦比亚大学的博士生。 我攻读计算机科学博士学位。 嗯,呃,工作描述通常包括每天打字 10 到 12 个小时。 所以幸运的是,我的导师没有立刻把我踢出去。 而且呃,我呃,我用这些麦克风之类的东西绕过了这个问题,你们会听到 所有相关内容。这是一种非常奇怪的病症。 我认为没有其他人真的患有这种病,但更常见的是重复性 劳损。这只是,你知道,你的肌肉会疲劳,特别是 神经周围的髓鞘,会因为整天每天不断做小动作而疲劳。 嗯,所以这对程序员和音乐家来说尤其常见, 会发展成这个。呃,你可能会得腕管综合征。 你可能会得网球肘。 你所有的神经、肩膀、脖子等等都可能因为 大量重复动作而感到不适。 所以,我处于这种情况。 我想,“好吧,我能对此做些什么?” 所以,显然我不能打字。 我该,我该,我该怎么办?” 所以,这里有龙。 实际上,相当字面意义上的,因为主要的语音识别软件 叫做 Dragon Naturally Speaking。 嗯,我想,“这,这不可能行得通。” 但我看到一个视频,一个人实际上能够用它来编程。 我想,“好吧,也许我可以试一试。” 你们会看到更多关于这个的内容。 所以,Dragon Naturally Speaking 是一个,它是一个听写和命令与控制 系统,用于 Windows。所以,听写意味着你可以说英语,就像你写 电子邮件一样,它会为你打出来。 命令与控制意味着你可以打开窗口。 你可以说,“打开 Firefox。 选择搜索栏。输入 google.com。” 随便什么。嗯,你知道,它有点贵。 它对英语、对作家、对,你知道,如果你只是做普通的 英语,它很棒,但对编程来说真的相当糟糕。 我的意思是,它会插入逗号和句号以及大写,并试图说 printf hello world。它会,它会花你大约一周时间。 所以,嗯,这就是问题所在。 如何破解你的龙。实际上,这有相当长的历史。 所以,Dragon Naturally Speaking 已经存在很多年了。 它是最大的商业产品。

HN 上的讨论

我很幸运没有受到手或手腕疼痛的影响。我确实因坐骨神经受压而经历了多年的慢性背痛,它可能使人衰弱和抑郁。慢性疼痛是自杀的重要前兆,如果你有它,你需要解决它。我对这个的兴趣来自 FutureOfProgramming 的视角,即我们如何以不同的、更高阶的方式与计算机交互。2020 年的《所有演示之母》[0] 会是什么样子?Travis Rudd,“语音编码”(2013)[1] 这使用 Windows VM 中的 Dragon 来处理语音到文本。这是最初的“termie slash slap”,一种 Pootie Tang 交叉的结构化编辑。使用开源语音识别进行语音编码,来自 HOPE XI(2016)[2] 另一篇 [3] 概述了 Dragon 和一个我没听说过的名为 Silvius 的项目 [4] 看起来大多数这些系统都依赖 Dragon,而且由于 Mac/Linux 上没有扩展 API,… — sitkack, 2019-08
这很好,但这对可访问性来说是一场噩梦。不是每个人都能阅读纸张,甚至不能移动。在这种设计下,围绕这些限制进行编码并不容易。在当前模式下,一切都可以 100% 无障碍地完成。为什么不是这样是一个完全不同的问题。然而,当一切本质上都是物理的时,可访问性就不仅仅关乎代码,还涉及更多部分,例如自动移动物体的设备。考虑到为可访问性制造的设备有多昂贵(盲文显示器通常超过 1000 美元),这将是一个巨大的挫折。我认为计算机和技术的美丽之处在于你不受任何物理媒介的束缚,信息可以在能够以不同方式表示它的设备之间自由流动。现在,可以有十个程序员在一个代码库上工作,其中一个人使用带有大量 GUI 编辑器的普通 Windows 机器,另一个人使用文本模式下的 Linux 和 vim,第三个人使用带有屏幕阅读器且没有连接显示器的 Mac Mini(我的盲人朋友就是这样编程的),第四个人因为身体残疾而使用开关、眼动… — miki123211, 2018-10
当你在开玩笑的时候,已经有人做到了。我想大约需要一分钟:[VIDEO] 当然,还有很大的改进空间。为什么不让助手理解关键词并执行高级任务呢?“导入”“创建名为 main 的函数”“返回”“添加两个整数参数” — melling, 2018-01

相关视频