视觉麦克风:从视频中被动还原声音
The Visual Microphone: Passive Recovery of Sound from Video
频道:Abe Davis's Research · 时长:4:32 · 发布:2014-08-04 · 播放:1912454
简介
MIT 研究人员展示,通过分析薯片袋等物体的微小振动,可以从无声视频中还原声音。借助卷帘快门,即便使用消费级相机也能实现。
HN 为什么推荐
在监控与隐私讨论中,HN 评论者将其引用为从视频还原音频的经典演示。
通过对声音在画面内物体上引起的微小运动进行精细处理,有可能从视频中提取音频 — HN, 2017
隐私、监控与网络犯罪 · 计算机视觉、语音与 NLP · 信息论与信号处理
中文字幕节选
当声音击中物体时,会使物体振动,这种 振动产生一种微妙的视觉信号,通常肉眼无法察觉 在我们的工作中,我们展示了如何仅使用物体的视频和合适的处理 算法,就能提取这些微小的振动,并部分恢复产生它们的声音 让我们能把日常可见的物体变成视觉 麦克风。在左侧显示的无声高速视频中,我们看到盆栽植物的 叶子,右侧显示的视频是在附近 扬声器播放《玛丽有只小羊羔》的音符时录制的 [音乐] 即使我们在这里以慢动作播放视频,音乐引起的 振动也非常微妙,它们使植物叶子移动不到 百分之一像素,使植物在肉眼看来静止不动,但通过结合 并过滤你看到的图像中发生的所有微小运动,我们 能够恢复这个声音 [音乐] 在我们的下一个实验中,我们从一袋薯片的高速视频中恢复了现场人类语音 薯片躺在地上,但这次为了让事情更具挑战性 我们把相机放在外面隔音窗后面,这是手机 在薯片袋旁边从内部录到的:玛丽有只小 羊羔,它的羊毛白如雪,无论玛丽去哪里,羊羔 都一定去,而这是我们从外面隔音 玻璃后拍摄的高速视频中恢复的 在下一个实验中,我们从插入笔记本电脑的耳塞的高速视频中恢复音乐 然后我们取恢复的声音,使用音频 识别软件自动识别正在播放的歌曲 [掌声] [音乐] 播放的大多数可听声音频率远高于标准视频的帧率 所以到目前为止我们看到的所有结果都是从 高速相机拍摄的视频中恢复的,高速相机可以每秒记录数千帧,但 在下一个实验中,我们展示了通过利用大多数消费相机中 卷帘快门造成的伪影,我们有时实际上可以恢复频率 比视频帧率高几倍的声音,让我们能从 普通消费相机拍摄的视频中恢复音频。这里我们看到一个60帧每秒的 糖果袋视频,由普通消费单反相机拍摄,同时我们的《玛丽 有只小羊羔》音乐通过附近的 扬声器播放。通过对录制视频的行应用我们技术的变体 我们能够恢复这个音频,其中包括频率比我们相机帧率 高五倍以上的声音 相机。更多结果、代码和分析请访问我们项目网页,链接在 下方视频描述中
HN 上的讨论
“商店外的安全摄像头”会在公共区域,对吧?你指出的Lifehacker链接说:“一般来说,你有权在所有公共场所录制视频,无需征得同意。”现在有趣的部分——通过仔细处理声音在画面中物体上引起的微小运动,有可能从视频中提取音频。见[VIDEO]。高速摄像机最好,但最后他们展示了如何使用普通消费级摄像机。 — eesmith, 2017-12
使用高速摄像机,任何振动的反射物体,比如薯片袋,都可以成为麦克风:[VIDEO] — spyder, 2026-02
这里有一个类似的实验,6年前:[VIDEO] 如果你认为实际的政府机构在2020年用更好的设备不能更容易地做到,那你是在自欺欺人。 — bbbobbb, 2020-07
你甚至可以用视频做到:[VIDEO] 另外,这只是稍微相关,但你也可以使用WiFi透视墙壁:[LINK] — ehsankia, 2018-10
看这个——[VIDEO] 他们展示了利用卷帘快门从单反相机的60fps视频中捕获音频。不过我不确定是否可以使用低于60fps的? — anfractuosity, 2018-01
相关视频
- 我看了《远古启示录》,这样你就不用看了(第一部分) · Miniminuteman · 54:26
- 机器的秘密生活 - 吸尘器 1/2 · Buddy Runyan · 13:04
- 为什么加拿大人不能在冬天骑自行车(但芬兰人可以) · Not Just Bikes · 15:13
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- D/A 与 A/D | 数字展示与讲解(Monty Montgomery @ xiph.org) · FL Studio · 23:52
- Defcon 18 隐私威胁的变化 Moxie Marlinspike 第一部分 · killab66661 · 42:50
- 快速傅里叶变换(FFT):史上最巧妙的算法? · Reducible · 28:23
- 本视频由 ███ VPN 赞助 · Tom Scott · 7:25
- 美国一直拒绝它已经拥有的身份证 · CGP Grey · 7:15
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- Frank Abagnale | 猫鼠游戏 | Talks at Google · Talks at Google · 1:03:19
- #HITB2012KUL D1T3 - The Grugq - OPSEC:因为监狱是给 wuftpd 准备的 · Hack In The Box Security Conference · 1:04:25
- Dan Geer 在 Black Hat USA 2014 的演讲:网络安全即现实政治 · Black Hat · 54:35
- "语音驱动开发:谁还需要键盘?" 作者 Emily Shea · Strange Loop Conference · 41:17
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08
- 28c3:即将到来的通用计算之战 · 28c3 · 54:34