holoportation:实时虚拟3D传送(微软研究院)
holoportation: virtual 3D teleportation in real-time (Microsoft Research)
频道:I3D Past Projects · 时长:4:46 · 发布:2016-03-25 · 播放:3648233
简介
微软研究院展示了holoportation,它实时重建和压缩人的高质量3D模型,并将其发送到任何地方。使用HoloLens,远程参与者看起来就像在你的房间里一样。
HN 为什么推荐
在讨论远程工作和VR时,被引用为远程呈现和逼真化身的基准演示。
Holoportation看起来非常整洁,我真的希望有一天能尝试一下。 — HN, 2020
中文字幕节选
大家好,今天我们将向你们展示一项令人兴奋的新技术,它可能会从根本上 改变人们未来的沟通方式。 想象一下,能够实时虚拟地从一处传送到另一处。 嘿,Sergio。被全息传送感觉如何? 被全息传送的感觉很棒。 所以,如果Sergio戴上他的HoloLens设备,我也戴上我的,我们就能 实时看到彼此的全3D影像。 我们可以像在同一空间一样互动和交流。 Sergio,你能在我的空间里走动一下吗? 你能绕过这把椅子走动吗? 我们正在尽一切努力营造出Sergio和我 身处同一空间的印象。Sergio,我们来击个掌吧。 太棒了。谢谢你,Sergio。 我们把这项技术称为全息传送。 现在,为了实现这一切,我们必须创造一种新型的3D捕捉 技术。我周围是我们团队开发的这些3D摄像头。 每个摄像头都从不同的视角捕捉我,我们将这些数据融合 在一起,创建一个时间上一致的模型,正如你所看到的,在我身后 实时重建。现在,拍摄我的摄像头附有一个HoloLens追踪系统, 这使我们能够将这些3D模型实时合成到 现实世界中,正如你在这里看到的。 这让你感受到我们所能达到的重建保真度。 一旦我们有了这些重建,我们就可以为它们添加纹理。 然后我们可以压缩数据并将数据传输到另一端。 在另一端,佩戴HoloLens的用户可以看到这些远程参与者 实时出现在他们的空间中,就像他们在同一空间一样。 这就是我们在画中画中向你展示的。 现在,想象一下使用这种捕捉技术与数千英里外的家人 联系。 这正是我们现在要向你演示的。 我的女儿站在我们实验室某处的类似捕捉装置中。 她将全息传送到我的空间,我将戴着我的HoloLens 与她互动。嗨,爸爸。我想你。 嘿,Lilia。我也想你。 你什么时候回家? 我很快就回家。 让我让开。 嘿,Lilia。你只能听到我,看不到我,但这些玩具是什么? 玩具给你看。这个叫Elmo。 Elmo。唱歌。他会唱歌。哇。 那另一个呢? 另一个叫Tina,我喜欢它,因为它有 不同的东西。太酷了。 那么,Lilia,你能爬上你身后的这把椅子吗? 是的,爬上去。要非常小心。 现在,我要数到三,我要你跳下来。 1 2 3 跳。那真是太 酷了。哦,让我再让开。 我非常喜欢你。我也爱你。 你什么时候回家? 我很快就会回家。拜拜。 现在,在那个例子中,我们演示了实时3D捕捉。 但是,我们的系统还能做另一件事。 我们实际上可以记录并回放整个会话。 现在,这几乎就像逆转时间。 如果我戴上我的HoloLens设备,这几乎就像走进一个活生生的记忆, 我可以从所有这些不同的视角通过另一双眼睛看到。 而且因为这是3D内容,我们可以把它缩小到这张咖啡桌上, 以更方便的方式体验它,这成为一种神奇的方式 来体验这些实时捕捉的记忆。 现在想象一下,能够随时随地和任何人传送到任何地方,而这 正是 HoloPortation 的意义所在。
HN 上的讨论
我真的认为,未来人们会使用类似holoportation[0]的东西在家工作或远程跨世界工作。因为就像你说的,有时为了完成任务,亲自在场是有意义的。如果他们试图描述某件事,而只需花半刻钟自己亲眼看看就能理解对方的思路,那就很难了。Holoportation看起来非常棒,我真的希望有一天能试试。[0]: [VIDEO] — 14, 2020-02
这是一种非常聪明的方法,可以避免VR视频会议中的恐怖谷效应。我想,基于微软的holoportation演示,我们距离照片级逼真的虚拟形象还有很长的路要走。[VIDEO] — dougmwne, 2017-04
取决于你指的是什么。3D/360度?用相机和软件拼接并插值不同角度勉强可行,但你仍然是从固定视角观看。这在当前的VR头显中可行。3D/180度(或类似的广角但不是360度3D)也一样。我在我的Rift开发机上看过几个。进入“真正的”3D,比如能够从任意角度观看,就更棘手了,但有一些实验性和开发中的方法可以做到。最简单的方法适用于CG内容(只需在头显中查看你的3D内容)。越逼真,就越接近3D“电影”。将视频素材与CG环境结合是一种不错的“取巧”方法,也已经有人尝试过。但真正的挑战,也是我认为这个领域的终极目标,是能够使用多个光场相机或RGB+深度相机(比如Kinect)围绕一个房间或环境排列,同时捕捉实时视频以及周围环境、任何物体或人的三维结构。来自各个角度的深度数据需要与视频数据结合并“贴图”,以创建接近真实的三维记录,记录某物随时间的变化(所以也许他们需要宣传为4D电影)。更酷的是,当… — soylentcola, 2016-04
这大概也是他们第一次向公众展示“Holoportation”[1][2]。[1] [VIDEO] [2] [LINK] — edran, 2016-03
大量的AR演示试图展示这个功能。很多公司都在研究它。大多数人认为这是一个大众市场功能。[VIDEO] [LINK] [LINK] [LINK] 但这不太可能奏效,因为每个人的周围环境并不匹配。一个人在办公桌前,一个人在咖啡馆,一个人在床上,一个人在沙发上。他们的位置并不都能让他们出现在彼此的AR中。 — gernb, 2023-01
相关视频
- 洗涤剂包有点不给力(洗碗机详解) · Technology Connections · 32:34
- iOS 安全幕后 · Black Hat · 51:31
- 比你家的更好的古董烤面包机 · Technology Connections · 18:28
- 防御物理攻击:Xbox One 的故事 — Tony Chen,微软 · Platform Security Summit · 58:05
- QuakeCon 2012 - John Carmack 主题演讲 · QuakeCon Official · 3:36:38
- BOLTR: Juicero,为有钱怪人准备的冷压榨汁机 · AvE · 41:39
- RiftSketch:用 Oculus Rift、Firefox WebVR、JavaScript 和 Three.js 在 VR 中实时编程 · Brian Peiris · 10:36
- 未来是一座死寂的商场——Decentraland与元宇宙 · Folding Ideas · 1:49:21
- 滴滤咖啡机——超级简单,超级便宜 · Technology Connections · 36:28
- MiniDisc - 一种欣赏 · Techmoan · 44:39
- clojure.core/typing - Matt Adereth · ClojureTV · 35:40
- 电子墨水提高生产力:简介 · Technology Connextras · 23:25
- 深入探究苹果 130 美元的 USB-C 线缆 · Adam Savage’s Tested · 21:52
- iPhone 1 - 史蒂夫·乔布斯 2007 年 MacWorld 主题演讲 - 完整演示,80 分钟 · Protectstar Inc. · 1:19:10
- 卡带——比你记忆中的更好 · Techmoan · 22:46
- 电子纸黑客:尽可能快的刷新率 · Applied Science · 27:55