Google I/O 2013 - 高性能音频
Google I/O 2013 - High Performance Audio
频道:Google for Developers · 时长:40:03 · 发布:2013-05-19 · 播放:61658
简介
Google I/O 2013 上,Android 音频工程师探讨了为何在平台上实现可靠的低延迟音频如此困难。内容涵盖整个技术栈中的问题领域、正在进行的平台工作以及应用可以使用的技术。
HN 为什么推荐
被视为 Android 音频延迟问题的权威解释,表明它涉及整个技术栈。
是必看的 — HN, 2015
中文字幕节选
IAN NI-LEWIS:欢迎各位音频发烧友。 我们非常高兴你们能来。 很高兴看到有超过10到15个人 想了解Android上的高性能音频。 我们之前还在打赌呢。 我是Ian Ni-Lewis,是音频方面的开发者关系联系人。 如果你把音频问题发到我们的开发者支持邮箱, 很可能就是我来回复。 但今天,我非常荣幸地介绍 我工程团队的几位朋友,Glenn Kasten 和Raph Levien,他们在过去几年里做了大量 工作,为Android音频设定了标准, 并让它变得更好。 今天你们会听到一些开心的故事, 也会听到一些悲伤的故事,先给你们打个预防针。 但相信我,这些人为Android音频 推进到最前沿所做的贡献比任何人都多,Raph 也做了一些。我知道你会拿这个说事。 总之,我开始说个不停了。 让我们欢迎Glenn Kasten开始讲Android上的高性能音频。 [掌声] GLENN KASTEN:大家好。 我是Glenn Kasten,我在Android音频团队,我的工作是提供出色的 Android音频性能。 我与我们的OEM和芯片厂商合作,帮助他们 打造音频真正出色的设备。 我的目标是为你们开发者提供一流的音频。 这就是我在努力的方向。 我知道你们想听什么。 所以让我先让你们失望一下,就像Ian暗示的那样。 我们还没完全做到。 但好消息是我们确实在取得进展。 所以今天,我们要告诉你们我们到目前为止 做了什么,以及你们如何利用我们已完成的工作。 我们还会告诉你们未来 在性能目标方面有什么计划。 性能对不同的人可能意味着很多不同的东西。 但今天,我们要聚焦。 我们要在所有这些不同的事情中,只聚焦 一个领域,那就是输出延迟。 如果你对输入延迟或其他类型的 音频性能感兴趣,一定要在办公时间来找我们。 其实,不管你对别的什么感不感兴趣, 都来办公时间找我们吧。 我们想和你们聊聊其他事情。 但今天,我们只聚焦输出延迟, 因为这是过去两年我们进展最大的领域。 关于延迟,这是一张模拟幻灯片,展示了 我们过去在哪,现在在哪,以及我们想去哪。 但它并没有真正讲清楚整个故事:为什么我们花了 这么久才到这一步,已经做了哪些工作, 前方还有哪些工作,作为音频开发者你们能做什么? 所以今天,我们要真正更详细地深入这些内容。 解释这些是个大工程,所以我带来了 我的伙伴Raph,他会帮我一起讲。 RAPH LEVIEN:大家好,我叫Raph Levien,我在Android框架团队工作。 你们可能通过Inconsolata认识我——Glenn,下一张幻灯片—— 那个编程字体。现在,我的日常工作——下一张幻灯片——我的日常工作是Android上的字体和文本 渲染。但在业余时间,我一直在做一个软件 模拟的Yamaha DX7合成器。 我今天其实把原版带来了。 但我一直在构建软件模拟,而且我 真的希望这个模拟能像原版合成器一样精美。
HN 上的讨论
如果你想要深入解释(AP 大多只是浅尝辄止):[VIDEO] 是必看的。显然,它没有涵盖过去两年完成的工作,但它很好地说明了 Android 上音频延迟的挑战 — on_and_off, 2015-12
你可以观看几年前的这场 I/O 会议:[VIDEO] 它可能最好地揭示了 Google 工程师过去和现在在 Android 高性能音频方面面临的问题。即使延迟降低了,仍然有其他与音频相关的问题/故障(比如缓冲区欠载)。即使现在 Android 可测量地比过去更好,缓冲区欠载之类的问题仍然会影响整体可用性。增大缓冲区(以修复欠载)会使设备不太适合与外部 MIDI 控制器一起使用等用途。从 Superpowered 的音频延迟测量可以看出:[LINK] iOS 的缓冲区是最好 Android 设备(双核 Nexus 9)的一半——64 对 Android 的 128。我 — Polyphonie, 2015-12
这是对最底层问题的精彩描述。但对于那些想知道为什么 iOS 没有这个问题,或者为什么仅仅 10ms 就有这么大差别的人来说,答案是这只是 Android 音频延迟问题的开始。还有更多会增加延迟的问题,贯穿整个 Android 技术栈,从实际硬件和驱动,到内核和调度器,再到 Android 对其音频 API 的实现。任何尝试在 Android 上做严肃音频工作的人都知道臭名昭著的 Bug 3434:[LINK] Google I/O 2013 对此问题做了相当不错的演讲,展示了整个技术栈中存在的问题。Glenn Kasten 几乎承担了 Android 所有音频问题的重担。我觉得很能说明问题的是,他不得不使用示波器和 LED 手工制作自己的延迟测量设备,因为操作系统里没有内置任何实际工具来帮助他们分析性能。[VIDEO] 自 Android 诞生以来,音频一直很糟糕。随着时间推移它略有改善… — dottrap, 2015-04
他们在 I/O 上专门就音频延迟做了一场很好的演讲:[VIDEO] 不过仅触摸延迟通常也在 >80ms 左右,而且不同设备之间差异很大。 — fidotron, 2014-02
当然。最初 Android 只有 Java 媒体 API,状态相当复杂。[LINK] Android 2.3 将 OpenSL ES 引入 NDK,Android 4.0 有了 OpenMAX。由于 Android 架构,它们都不适合实时音频。[LINK] [LINK] [LINK] 在网上搜索 Android 音频问题时,还有很多其他文章。甚至有一场 Google IO 2013 的演讲讨论过这个问题。[VIDEO] 与此同时,三星定制了他们的 Android 版本以正确支持实时音频,并为他们的手机提供了 SDK。[LINK] 在 Google IO 2016 上,这个问题再次被讨论,三星专业音频团队被请上台讨论他们的合作。[LINK] 最后在去年的 Google IO 2017 上,新的实时音频被宣布为仅 C 的库。[LINK] [LINK] 宣布的 C++ 封装最终成了 GitHu… — pjmlp, 2018-04
相关视频
- DebConf 14:与 Linus Torvalds 的问答 · Adnan Hodzic · 1:11:43
- OSCON 2010: Rob Pike, "Public Static Void" · O'Reilly · 12:30
- 完整的苹果WWDC | 史蒂夫·乔布斯演讲并回答开发者提问 | 1997 · TheAppleFanBoy - Apple & Computer Archives · 1:11:16
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- D/A 与 A/D | 数字展示与讲解(Monty Montgomery @ xiph.org) · FL Studio · 23:52
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 三千万行代码问题 · Molly Rocket · 1:48:55
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- Gil Tene 的 "如何不测量延迟" · Strange Loop Conference · 42:59
- Refterm讲座第一部分 - 优化哲学 · Molly Rocket · 18:41
- CppCon 2014: Mike Acton “面向数据的设计与C++” · CppCon · 1:27:46
- Jonathan Blow - 防止文明的崩溃(仅英文) · bus · 1:04:40