Face2Face:RGB视频的实时面部捕捉与重演(CVPR 2016 Oral)

Face2Face: Real-time Face Capture and Reenactment of RGB Videos (CVPR 2016 Oral)

频道:Matthias Niessner · 时长:6:36 · 发布:2016-03-17 · 播放:4960144

在 YouTube 观看

简介

CVPR 2016口头报告的Face2Face演示,该系统仅使用RGB视频实时捕捉人脸并重演另一个视频中的面部。作者将其定位为现代视觉和图形学研究。

HN 为什么推荐

HN在深度伪造和假新闻讨论中将其作为参考点,表明2016年就已经可以实现令人信服的实时视频操纵。

face2face[1]技术在我看来相当逼真,而且已经可以实时运行 — HN, 2016

大语言模型与生成式 AI · 计算机视觉、语音与 NLP · 计算机图形与渲染

中文字幕节选

我们提出了一种新颖的实时面部重演方法,它适用于任何普通的 网络摄像头。由于我们的方法对源演员和目标演员都只使用RGB数据,我们 能够实时操控YouTube视频。 这里我们演示了该方法在实时环境下的运行。 右侧,源演员由标准网络摄像头捕捉。 该输入驱动显示器上视频中面部的动画。 左侧。与先前方法的一个显著区别是嘴部内部的重新渲染。 为此,我们重新合成目标演员的嘴部内部, 使用训练序列中的视频素材,基于时间和光度 相似性。正如我们所见,我们能够生成逼真且令人信服的 重演结果。这里我们展示了之前实时 重演素材的特写。输入视频流显示在左侧。 请注意,目标演员被重新渲染为中性姿态。 在右侧,我们可以看到我们方法的最终输出。 我们的系统使用一种 稠密光度能量最小化。 利用一种新颖的子空间变形迁移技术,我们将表情 从源演员迁移到目标演员。 这使我们能够根据源演员的表情,获得目标演员修改后的人脸模板。 源演员的表情。 我们现在将修改后的人脸重新渲染到目标序列之上,以替换 原始的面部 表情。 这里我们展示了额外的实时序列,其中我们重新演绎了各种YouTube 视频。 为了评估我们的方法,我们基于光流进行交叉验证。 为此,我们从视频的前半部分提取嘴部内部区域。 后半部分用于评估查询。 如我们所见,我们的重渲染误差非常低。 我们的方法引入了一种新的RGB人脸跟踪流程,我们将其与 最先进的实时人脸跟踪方法进行比较。 这里我们展示了与Cao等人和Thies等人的比较。 注意,Thies等人基于RGBD数据,而Cao等人和我们的方法仅需要 RGB输入。 这里我们展示了与2014年Phase Shift方法的另一个跟踪比较,该方法依赖于RGBD 数据。尽管我们的方法仅使用RGB,我们达到了相似的跟踪 质量。 与实时跟踪方法相比,我们还与Shi等人的离线 跟踪算法进行了比较。 注意,Shi等人使用着色线索进行额外的几何细化。 我们现在将我们的方法与之前的重演方法进行比较。 这里我们展示了翻译者驱动另一个人动画的场景。 注意,我们的方法实时运行,而Garrido等人离线工作。 这里我们展示了与Thies等人的比较,他们依赖RGBD数据。 两种方法产生相似的重演结果。 然而,注意Thies等人使用了几何牙齿代理,这导致 嘴部区域形状不自然。 感谢观看。

HN 上的讨论

我是创始人。也许——我的联合创始人之一 Matthias Niessner 教授,他参与了这个领域大量开创性和广泛传播的研究。[1] [VIDEO] [2] [LINK] — 0xx, 2021-05
我是创始人。AMA :) 来回答帖子里反复出现的几个问题——> 使用场景。视频是比文本更有效的沟通方式。对 HN 人群不适用,但如果你是蓝领工人,一段 2 分钟的母语视频比 5 页 PDF 更适合培训。任何尝试过录制简单企业视频的人都知道摄像机、摄制组、拍 25 条才有一条能用以及后期制作的痛苦。繁琐、缓慢且需要多学科协作。等视频做完,内容已经过时了。合成视频目前还达不到真实视频的质量。最终会达到的。但这里很多人犯的错误是拿它和真实视频比较;它应该和文本比较。再过 X 年,我们就能在笔记本电脑上制作好莱坞电影,只需要时间和想象力。就像我们可以在 Ableton 里数字作曲、在 Photoshop 里创建图像、用键盘而不是纸笔写小说一样。我(显然有偏见的;))相信,合成媒体最终会成为基础技术,将媒体制作从摄像机/麦克风转向 API。我们将能够做各种以前做不到的事情。例如个性化互动富媒体、视… — 0xx, 2021-05
[VIDEO] Face2Face 可以破解这一点:任何拥有足够多受害者图像(以及身份证件副本)的人,都能在这个方案中冒充他们。 — cwkoss, 2018-08
照片、音频和视频证据在能够验证其完整性和来源之前,本来就应该被驳回。所有这些都已经可以被可信地伪造——问题只是教育人们,外行也能用研究团队开发的工具轻松制造假东西。假文本是最容易伪造的,只要你能识别所用的字体——任何图像编辑器都能做到。HN 用的是 9pt Verdana,即使不用开发者工具,我也能伪造你的帖子让它说任何我想让它说的话,因为它不过是纯色背景上的 9pt Verdana,每 1050px 自动换行。见:[VIDEO] 和 [LINK] — Nadya, 2018-06
这是另一个可怕的 GAN 概念验证 [0]。在这个案例中,研究人员实时将某人的脸转移到公众人物的面部表情和嘴部动作上。结合 DeepMind 的新技术,似乎能够产生具有可信坦率和语调的人类声音 [1],你可以制作出一些非常令人信服的假视频。[0] [VIDEO] [1] [LINK] — opportune, 2018-03

相关视频