3-Sweep:从单张照片中提取可编辑对象,SIGGRAPH ASIA 2013

3-Sweep: Extracting Editable Objects from a Single Photo, SIGGRAPH ASIA 2013

频道:Daniel CohenOr · 时长:5:51 · 发布:2013-08-13 · 播放:2295220

在 YouTube 观看

简介

SIGGRAPH Asia 2013 的研究演示,3-Sweep,一种使用少量用户笔画从单张照片中提取可编辑 3D 对象的工具。它早于现代 AI 图像工具。

HN 为什么推荐

HN 回忆它作为令人惊叹的前 AI 时代的 2D 到 3D 对象提取演示。

这个单一视频在 *2013* 年让我大为震撼,我发现自己经常想起它。 — HN, 2024

计算机视觉、语音与 NLP · 计算机图形与渲染

中文字幕节选

我们介绍一种交互式技术,通过从单张照片中提取来对3D人造物体进行建模 我们的方法智能地结合了人类的认知能力与机器的计算精度 我们首先演示使用三次扫掠在基本形状上从给定照片中提取物体 用户使用三个笔画定义物体的三个维度 两个笔画定义部件轮廓,第三个笔画沿其主轴扫掠 此过程逐步定义一个3D体,该体吸附到照片中的形状轮廓 此过程逐步定义一个3D体,该体吸附到照片中的形状轮廓 照片中 这个例子展示了建模一个水龙头,建模后我们从图像中映射纹理并编辑参数模型以实现图像 编辑 在操作物体之前,使用补丁匹配算法完成背景 我们将它的旋转开关改为十字形并旋转它,然后我们复制水龙头并旋转它,并将其连接到墙的不同侧面 我们将它的旋转开关改为十字形并旋转它,然后我们复制水龙头并旋转它,并将其连接到墙的不同侧面 这个例子展示了建模一个望远镜,在建模每个部件时,诸如平行、同心和正交等几何关系会自动 恢复 建模后,我们可以轻松地像在3D中一样编辑图像部件,这里我们展示镜头的旋转 建模后,我们可以轻松地像在3D中一样编辑图像部件,这里我们展示镜头的旋转 在这个例子中,建模了一个烛台,并 旋转其两个臂复制到垂直位置,我们跳过一些旋转交互,这里我们还放大了中间的支架 在这个例子中,建模了一个路灯 在这个例子中,建模了一个路灯 然后我们将灯复制到沿柱子的较低位置并旋转90°,新建模的物体然后被复制到街道上的几个位置 然后我们将灯复制到沿柱子的较低位置并旋转90°,新建模的物体然后被复制到街道上的几个位置 在这个例子中,从斜视角建模了一个九枝烛台,我们复制并粘贴蜡烛 通过将它们适配到图像上,同时要求它们保持在 同一平面上且尺寸不变,这足以恢复每个部分的深度 最终模型沿中间柱子对称 但我们可以将臂旋转到不同角度。在这个例子中,我们建模 一个 S,将其手柄围绕主体复制并旋转 这个例子展示了在复杂场景中建模多个物体,重新定位 旋转或复制它们 这个例子展示了我们如何建模一个河内塔图像,然后可以在3D中玩这个游戏 在这个例子中,我们从两张图像一起建模巴黎的方尖碑,一张图像 是方尖碑底部的特写视图,包含更多细节,另一张 包括整个方尖碑,但底部有些模糊。我们可以使用底部模型 从特写图像中,将其传输到整个方尖碑视图的图像中,将其吸附 到其位置并继续建模。底部部分的纹理被混合到 第二张图像中。在完整模型的特写视图中,几何和纹理 底部的细节仍然可见。这里我们展示一个并排比较 与Sten同事在GEOS语义映射上的工作。更多比较可以在 一个额外的 视频中看到。这里我们展示一些失败例子。在这个例子中,由于非理想 透视投影,桌腿无法在平行约束下吸附到图像 在这个例子中,由于假设均匀缩放 轮廓,牙膏的尾部没有被压平。在这个例子中,吸附 失败,由于瓶子投射的阴影导致的模糊边缘。我们的最后一个例子 展示了完整3D场景的渲染,其中包含数十个我们从图像中复制和编辑的模型

HN 上的讨论

十多年前的 SIGGRAPH 也来插一脚…… [VIDEO] 这可能不算 AI,但这段视频在 *2013* 年让我惊掉下巴,我至今还经常想起它。 — alfiedotwtf, 2024-10
我很想看到这个与对象提取相结合,从测量中制作 3D 模型。这里有一个惊人的演示:[VIDEO] — cookingrobot, 2013-09
>十多年前的 SIGGRAPH 也来插一脚…… > > [VIDEO] 这个功能的某个版本在 Photoshop 里存在了很长时间,但我记得它今年被弃用并彻底移除了。我以前零零散散用过它,但如果你在那个领域工作,专用的 3D 工具要好得多。 — leviathant, 2024-10
没错。在未来的某个时候,消费者将拥有能够将 2D 图像转换为模拟 3D 的软件 [0]。不过,目前它仍处于开发模式。[0] [VIDEO] — trendia, 2016-10
在这方面有很多有趣的研究正在进行,请留意本月晚些时候 SIGGRAPH 的内容。这里有一个来自 SIGGRAPH Asia 的例子:[VIDEO]。 — carlosdp, 2016-07

相关视频