欧拉视频放大

Eulerian Video Magnification

频道:Miki Rubinstein · 时长:4:28 · 发布:2012-05-23 · 播放:788253

在 YouTube 观看

简介

SIGGRAPH 2012论文《欧拉视频放大》的配套视频。它放大普通视频中的细微变化,如心跳引起的肤色变化,以揭示脉搏和微小运动。

HN 为什么推荐

被引用为从视频中提取脉搏等不可见信号的经典演示,评论者想象了其他应用。

他们放大了颜色变化。因此,心跳引起的微小脸红清晰可见 — HN, 2015

计算机视觉、语音与 NLP · 计算机图形与渲染

中文字幕节选

本文介绍欧拉视频放大技术,一种放大并可视化视频中 肉眼难以察觉的时间变化的方法。我们的 方法结合空间和时间处理,以强调细微的时间变化。 首先,我们将标准视频序列作为输入,并使用拉普拉斯金字塔 将其分解为不同的空间频带。然后,我们取像素值随时间变化的序列, 并应用时间带通滤波器来提取感兴趣的频带。 得到的信号随后被放大并加回原始帧, 然后重建金字塔以生成输出 视频。我们的技术可以实时运行,本质上充当时间变化的显微镜。 用户可以通过调整滤波器的高频和低频截止频率来指定感兴趣的时间频带。 她还可以使用滑块调整带通信号的放大倍数。较大的放大倍数 会导致时间带通信号得到更大的增强。改变这些参数可以使 场景中的变化更加明显,但如论文所述,过大的放大倍数可能会给 结果添加伪影。我们展示了如何 使用我们的技术来可视化视频中难以察觉的变化,例如 人类脉搏。我们自动选择并放大围绕人类心率的 时间频率窄带,并揭示血液 流过面部时红色程度的变化。这种方法对不同的肤色和 微小运动具有鲁棒性。它还允许我们从标准视频中自动提取生命 体征。例如,这里我们提取新生儿的 心率测量值,并通过与 脉搏血氧仪的读数进行比较来确认其准确性。 医院监护仪,该监护仪与视频同步录制 有趣的是,时间颜色放大也可用于放大空间 运动。例如,考虑这个一维图示,显示了一个平移波在两个 时间点的情况。对于平滑图像和小运动,我们可以对信号进行 时间滤波,并通过放大时间信号得到平移波的很好近似 我们可以近似更大的平移,本质上产生一个 运动放大的序列。这在论文中有更详细的分析。在 这个合成示例中,斑点有非常微妙的运动。我们使用宽通带滤波器对这个序列进行 时间滤波,并增强时间信号以生成一个 运动更加[音乐]明显的视频。这里几个斑点以 不同的时间频率振荡,如通过调整时间频率通带所示 我们可以选择性地控制被放大的时间频率。注意 相同的时间滤波器应用于所有像素,虽然空间运动被 放大,但时间频率保持不变。运动放大可用于 医疗应用,例如可视化动脉 搏动,或用于婴儿呼吸的非接触式跟踪和癫痫 检测,或者我们可以简单地使日常视频中的变化更加 明显。在这个视频中,我们通过将时间滤波器调整到每根弦的正确频率,选择性地放大 吉他个别弦的运动。这个 输入视频是两张相隔15秒拍摄的静态图像的混合。输出 视频揭示了场景中的变化,即使在这个短时间内。最后,在 这个视频中,我们成功放大了数码单反相机在连拍过程中 因翻转反光镜引起的非常微妙的运动

HN 上的讨论

>我们可以拼凑出什么来过滤癫痫发作? 我认为视频过滤器可以做到这一点。请看这个来自 SIGGRAPH 2012 的关于欧拉视频放大的视频:[VIDEO] 类似的技术来降低频闪的幅度似乎是可行的。 — lowdest, 2018-01
让我想起了那些为放大微小变化而设计的可视化,欧拉视频放大:[VIDEO] 也许是一个潜在的应用? — titojankowski, 2017-06
我记得一种类似的技术(也许来自同一批人),他们放大了颜色变化。因此,心跳引起的微小脸红清晰可见 [VIDEO](从 1 分 30 秒开始) — raverbashing, 2015-06
“读取你的心率”让我想起了 [VIDEO](提交给 SIGGRAPH 的 MIT 论文视频,关于强调视频特征,其中包括血流) — pgeorgi, 2013-05
结合 Paul Ekman 在行为科学方面的工作以及从视频中检测人的脉搏率([VIDEO]),似乎可以在智能手机上运行一个相当不错的“测谎仪”。 — pstuart, 2012-08

相关视频