Facebook 的原型 VR 面部追踪变得更好了
Facebook's Prototype VR Face Tracking Got Even Better
频道:UploadVR · 时长:3:57 · 发布:2019-06-28 · 播放:69595
简介
UploadVR 报道了 Facebook Reality Labs 的一个原型,该原型使用安装在 VR 头显中的摄像头追踪面部表情。更新版本捕捉微妙的微表情,以实现逼真的虚拟形象。
HN 为什么推荐
在元宇宙和 VR 帖子中被指出,作为头显摄像头实时逼真面部追踪即将到来的证据。
使用头显中的几个摄像头进行面部追踪的令人瞠目结舌的演示 — HN, 2021
中文字幕节选
我们的系统实时运行,适用于各种表情 包括海鹦、咬嘴唇、动舌头以及皱纹等细节 这些细节对于之前的方法来说很难精确动画化 我们的目标是训练一个编码器,将输入图像转换为面部表情代码 实时地,这个代码稍后会被解码——以及3D虚拟形象,然而 没有简单的方法来获得输入和输出之间的精确对应关系,我们的 训练数据,为了解决这个问题,我们构建了另一个头显,带有六个额外的 摄像头,位于更合适的位置,以帮助建立对应关系,一旦我们 将九个视角的图像与虚拟形象对应起来,我们就可以简单地丢弃额外的视角 来获得我们需要的训练数据,我们使用分析合成的方法 估计面部表情和头部位置从输入图像中,如果我们的 估计是正确的,渲染的虚拟形象应该与输入图像在每个 视角中对齐,然而由于巨大的域差距,我们无法直接比较它们 为了跨越域差距,我们训练生成对抗网络来执行图像 风格转换,这里的一个关键要求是面部表情应该 保持不变,并且在各个视角中保持一致,在输入被风格转换到 变换它们之后,我们可以通过计算图像空间中的损失来优化表情代码和头部位置 使用可微分渲染器 通过这种方式,我们可以在没有任何语义标签的情况下获得帧级对应关系 这是我们语音数据结果的一个例子,注意微妙的眉毛 运动,这很难标注。我非常重视成为顶尖人物, 你好啊,我的孩子,你所有的痴心妄想都不会改变这一点,没有 其他人表现出高兴 [音乐] 这里我们展示了更多风格转换结果和 相应的3D虚拟形象 我们的方法考虑了多视角一致性,与 之前的循环生成基线相比,我们的结果在时间上更稳定, 更好地保留了语义。我们还提出了背景感知的可微分 渲染,以防止局部最小值,使用这种技术, 3D虚拟形象可以纯粹从图像损失中优化,而无需特定 初始化 为了公平比较,我们用我们的设计增强了他们的方法,包括额外的 摄像头和估计头显位置,这些设计大大改善了结果,但 我们的方法仍然产生质量更好的动画 你 感谢观看
HN 上的讨论
> 作者提到了唇形同步和手部追踪。这已经很有帮助了,但对我来说,它并没有重现视频体验。Oculus 团队用头显中的几个摄像头,结合大量 AI,做出了一个令人瞠目结舌的面部追踪演示。这个原型是几年前的了。我迫不及待想看到它进入商用头显。我很好奇是什么在拖延?如果你还没看过,非常值得一看:[VIDEO] — josephg, 2021-09
标题应该改成类似“面对面,而非肩并肩,能增强学习和创新”。对于高质量的面对面远程体验,我预计很快就会出现真正令人印象深刻的消费级技术。看看 Facebook 在 VR 头显中安装摄像头所做的工作 [1],或者谷歌的 Project Starline [2]。话虽如此,当我们为了实现高保真远程临场感而对原始数据进行如此多的转换和合成时,我们会不会在信任它方面遇到问题?[1] [VIDEO] [2] [LINK] — microjim, 2022-03
有些算法可以从头显摄像头实时重建照片级逼真的 3D 面部表情。[VIDEO] — roveo, 2021-11
我不认为他们不理解,他们理解渐进式的改进。无论你在谈论什么,它都会到来:[VIDEO] — baby, 2021-08
它会的([VIDEO]),而且 VR 已经能传达出远多于 Zoom 会议中我们不知不觉忽略的与人相处的微观互动,这也是 Zoom 会议如此令人疲惫的原因之一。 — jp555, 2020-08
相关视频
- Jordan Peterson 关于性别薪酬差距、校园抗议和后现代主义的辩论 · Channel 4 News · 29:56
- Hjernevask - 洗脑(英文字幕)第1部分 - 性别平等悖论 · The Bookman · 38:52
- 一条推文如何毁掉你的生活 | Jon Ronson · TED · 17:11
- Scale By The Bay 2018:Bryan Cantrill,Rust 及其他有趣的事物 · FunctionalTV · 37:06
- 更难的硬盘:我们不想要也不需要硬盘 · suckerpinch · 36:46
- 老极客对云大喊大叫(与 Andrew Clay Shafer 和 Bryan Cantrill) · Arrested DevOps · 52:53
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- Badness 0(Apostrophe 的版本) · suckerpinch · 22:15
- Evan Czaplicki 谈“编程语言的经济学”(Strange Loop 2023) · Strange Loop Conference · 43:57
- 取消 | ContraPoints · ContraPoints · 1:40:27
- Roblox 迫使我们删除视频。于是我们深入调查。 · People Make Games · 35:21
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- QuakeCon 2012 - John Carmack 主题演讲 · QuakeCon Official · 3:36:38
- "语音驱动开发:谁还需要键盘?" 作者 Emily Shea · Strange Loop Conference · 41:17
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08
- RiftSketch:用 Oculus Rift、Firefox WebVR、JavaScript 和 Three.js 在 VR 中实时编程 · Brian Peiris · 10:36