视觉麦克风:从视频中被动还原声音

The Visual Microphone: Passive Recovery of Sound from Video

频道:Abe Davis's Research · 时长:4:32 · 发布:2014-08-04 · 播放:1912454

在 YouTube 观看

简介

MIT 研究人员展示,通过分析薯片袋等物体的微小振动,可以从无声视频中还原声音。借助卷帘快门,即便使用消费级相机也能实现。

HN 为什么推荐

在监控与隐私讨论中,HN 评论者将其引用为从视频还原音频的经典演示。

通过对声音在画面内物体上引起的微小运动进行精细处理,有可能从视频中提取音频 — HN, 2017

隐私、监控与网络犯罪 · 计算机视觉、语音与 NLP · 信息论与信号处理

中文字幕节选

当声音击中物体时,会使物体振动,这种 振动产生一种微妙的视觉信号,通常肉眼无法察觉 在我们的工作中,我们展示了如何仅使用物体的视频和合适的处理 算法,就能提取这些微小的振动,并部分恢复产生它们的声音 让我们能把日常可见的物体变成视觉 麦克风。在左侧显示的无声高速视频中,我们看到盆栽植物的 叶子,右侧显示的视频是在附近 扬声器播放《玛丽有只小羊羔》的音符时录制的 [音乐] 即使我们在这里以慢动作播放视频,音乐引起的 振动也非常微妙,它们使植物叶子移动不到 百分之一像素,使植物在肉眼看来静止不动,但通过结合 并过滤你看到的图像中发生的所有微小运动,我们 能够恢复这个声音 [音乐] 在我们的下一个实验中,我们从一袋薯片的高速视频中恢复了现场人类语音 薯片躺在地上,但这次为了让事情更具挑战性 我们把相机放在外面隔音窗后面,这是手机 在薯片袋旁边从内部录到的:玛丽有只小 羊羔,它的羊毛白如雪,无论玛丽去哪里,羊羔 都一定去,而这是我们从外面隔音 玻璃后拍摄的高速视频中恢复的 在下一个实验中,我们从插入笔记本电脑的耳塞的高速视频中恢复音乐 然后我们取恢复的声音,使用音频 识别软件自动识别正在播放的歌曲 [掌声] [音乐] 播放的大多数可听声音频率远高于标准视频的帧率 所以到目前为止我们看到的所有结果都是从 高速相机拍摄的视频中恢复的,高速相机可以每秒记录数千帧,但 在下一个实验中,我们展示了通过利用大多数消费相机中 卷帘快门造成的伪影,我们有时实际上可以恢复频率 比视频帧率高几倍的声音,让我们能从 普通消费相机拍摄的视频中恢复音频。这里我们看到一个60帧每秒的 糖果袋视频,由普通消费单反相机拍摄,同时我们的《玛丽 有只小羊羔》音乐通过附近的 扬声器播放。通过对录制视频的行应用我们技术的变体 我们能够恢复这个音频,其中包括频率比我们相机帧率 高五倍以上的声音 相机。更多结果、代码和分析请访问我们项目网页,链接在 下方视频描述中

HN 上的讨论

“商店外的安全摄像头”会在公共区域,对吧?你指出的Lifehacker链接说:“一般来说,你有权在所有公共场所录制视频,无需征得同意。”现在有趣的部分——通过仔细处理声音在画面中物体上引起的微小运动,有可能从视频中提取音频。见[VIDEO]。高速摄像机最好,但最后他们展示了如何使用普通消费级摄像机。 — eesmith, 2017-12
使用高速摄像机,任何振动的反射物体,比如薯片袋,都可以成为麦克风:[VIDEO] — spyder, 2026-02
这里有一个类似的实验,6年前:[VIDEO] 如果你认为实际的政府机构在2020年用更好的设备不能更容易地做到,那你是在自欺欺人。 — bbbobbb, 2020-07
你甚至可以用视频做到:[VIDEO] 另外,这只是稍微相关,但你也可以使用WiFi透视墙壁:[LINK] — ehsankia, 2018-10
看这个——[VIDEO] 他们展示了利用卷帘快门从单反相机的60fps视频中捕获音频。不过我不确定是否可以使用低于60fps的? — anfractuosity, 2018-01

相关视频