双重摄影
Dual Photography
频道:mm648230 · 时长:5:10 · 发布:2009-03-28 · 播放:24505
简介
斯坦福大学在 SIGGRAPH 2005 上的双重摄影演示,通过交换投影仪和摄像机的角色,从光的角度渲染场景。包括揭示一张隐藏的扑克牌。
HN 为什么推荐
每当讨论恢复隐藏图像或非视线成像时被引用,作为光传输的清晰演示。
跳到 4:19 观看简洁的演示。 — HN, 2014
中文字幕节选
我们的技术允许我们互换相机和投影仪,从而使我们能够 从投影仪的角度拍摄图像。例如,假设我们有以下 实验设置:这里有一个场景,由左侧的相机成像, 由右侧的投影仪照明。这是相机拍摄的图像, 显示了被投影仪泛光照明的场景。在我们的论文中, 我们称之为原始图像。在测量了投影仪和相机之间的 光传输后,我们表明,利用亥姆霍兹互易性, 光的流动可以有效地反转。这意味着我们能够从 投影仪的角度生成图像,如下所示。这个对偶图像显示了 从投影仪视角看到的场景,而照明来自相机的位置。 注意,这是由我们的技术合成的图像。对偶摄影 是测量光传输以生成对偶图像的过程。一个简单的 例子将帮助我们理解对偶摄影的工作原理。这个场景由 投影仪照明,出射光将由光传感器测量。假设我们 在投影仪中一次点亮一个像素,并将光传感器测量的值 存储为像素位置的函数。我们对投影仪中的所有像素 都这样做。亥姆霍兹互易性指出,光传输将沿着 光路相同,无论光的流动方向如何。这意味着 无论光是从投影仪像素开始并到达光传感器, 还是从光传感器开始并到达那个投影仪像素, 测量到的值都是相同的。从一个到另一个的能量转移 在两个方向上都是相同的。因此,我们可以将投影仪转换为虚拟相机, 将光传感器转换为虚拟光源。通过将测量值放回 相机图像阵列的正确位置,我们可以形成 虚拟相机本应拍摄的图片。这个图像的分辨率将是 投影仪的分辨率。用相机替换光传感器允许我们捕获 投影仪像素和相机像素之间的四维传输。 然而,逐像素扫描投影仪非常慢,因为标准投影仪中 有数百万像素。为了加速这个过程,我们必须 识别那些对场景的贡献可以稍后分离的像素,并 并行照亮它们。我们的自适应算法递归地细分投影仪图像 以确定哪些像素可以同时点亮。这允许我们 比暴力扫描显著更快地捕获投影仪和相机之间的传输。 左侧我们显示了投影图案,右侧我们 显示了相机捕获的图像。因为我们捕获了完整的 传输函数,我们拥有重新照明场景所需的信息。这里我们扫过 一束光穿过场景作为后处理。注意当光束移动时, 系数如何变化。因为虚拟投影仪的分辨率超出了相机的分辨率, 我们还可以将高分辨率图案投影到场景上,如下所示。通过扫过 一束光穿过这个盒子,我们可以看到我们可以捕获漫反射到 反射以及镜面表面的反射。近年来引起兴趣的一个领域 是使用四维入射光场进行重新照明。为此,我们必须 捕获六维反射函数,该函数将四维入射 照明与我们的二维输出图像相关联。传统上,这可以通过测量 单个相机和投影仪阵列之间的传输来完成。对偶摄影可以 极大地加速这个过程。在我们的论文中,我们表明这种设置 等同于单个投影仪和多个相机的设置,因为相机是 被动设备,它们可以并行操作,因此它们到投影仪的传输 可以同时测量。这里我们展示了一个场景的对偶图像, 该图像是使用镜子阵列模拟多个相机获取的。我们可以逐步查看 其中几个光源,并看到阴影的位置发生变化。如果
HN 上的讨论
双重摄影一直是让我惊叹不已的光学“戏法”。这是2005年Siggraph的演示视频:[VIDEO] 跳到4:19看一个简洁的演示。 — uptown, 2014-05
> 有人断言光子携带关于它过去与什么相互作用的信息吗?光子除了能量/波长之外还有其他信息内容吗?所以“每个光子都携带它击中的任何物体的图像的一点信息”完全是(好吧,现在别较真)诗意的胡扯。用我们如何感知事物的类比似乎是合适的。来自某个光源(即太阳)的光击中一个物体,光线根据各种材料特性在表面反射/透射/折射。你的眼睛,就像一个针孔相机,捕捉来自那个表面的所有光线,然后将其投影到传感器接收表面(我想是视网膜?)上,创造出我们看到的‘图像’。因此,光线与表面相互作用的具体方式就是创造‘信息内容’的原因。例如,我们感知到一个蓝色的表面,是因为表面特性(即粗糙度)会特定地反射与蓝色相关的波长。镜面表面会将光反射回眼睛,创造出‘闪亮’的表面。一个非常酷的演示光如何传递信息的例子是双重摄影:[VIDEO] 以及原始论文:[LINK]。他们将光源照射到物体上,拍一张照片,然后通过处理照片中的光线,能够… — saeranv, 2020-06
听起来像是“双重摄影”。[LINK] “我们提出了一种新颖的摄影技术,称为双重摄影,它利用亥姆霍兹互易性来交换场景中的灯光和相机。通过视频投影仪提供结构照明,互易性允许我们从投影仪的视角生成图片,即使该位置没有相机。”我推荐观看论文中的视频,它很好地解释和演示了这项技术。这是非常令人印象深刻的工作。[VIDEO] — pdkl95, 2020-02
这让我想起双重摄影[1],即利用时间反演对称性,用多台投影仪和一台相机换取一台投影仪和多台相机。视频[2]给出了很好的解释,而扑克牌的揭示让我觉得与揭示反射出的隐藏面孔很相似。[1] [LINK] [2] [VIDEO] — evanb, 2013-12
我从未忘记近二十年前的这个 SIGGRAPH 演示,作者们有效地在计算上切换了相机和光源(...在静态场景中)[1] 从那时起,我对诸如《国家公敌》中的“内衣店场景”[2] 这样的场景,就不再那么翻白眼了... [1] - [VIDEO] [2] - [LINK] — janfoeh, 2026-05
相关视频
- 性别中立代词:它们来了,习惯就好 · Tom Scott · 3:48
- BlueHat IL 2019 - Andrew “bunnie” Huang - 供应链安全:“如果我是一个民族国家...” · Microsoft Israel R&D Center · 45:37
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- Dan Geer 在 Black Hat USA 2014 的演讲:网络安全即现实政治 · Black Hat · 54:35
- Mark Blyth ─ 全球特朗普主义 · Watson School of International and Public Affairs · 1:26:03
- 切尔诺贝利 3828 · TeleconStudio · 26:57
- 地平说:一次有分寸的回应 · hbomberguy · 45:17
- TASBlock在AGDQ 2017:TASBot · TASVideosChannel · 58:44
- George Lakoff:道德政治 · University of California Television (UCTV) · 58:57
- Tom Lehrer - Wernher von Braun · The Tom Lehrer Wisdom Channel · 1:46
- 国会筹款:John Oliver 的《上周今夜秀》(HBO) · LastWeekTonight · 21:25
- DCEmu评测 - 27C3 - 2010年混沌通信大会 - fail0verflow - 完整视频 · 1KIND Reviews · 44:39
- 他们由肉组成 · niccollsdp · 6:16
- 让直升机悬停难到好笑 - Smarter Every Day 145 · SmarterEveryDay · 9:45
- 数据 | Philosophy Tube · Philosophy Tube · 26:14
- 另类右翼手册:控制对话 · Innuendo Studios · 10:47
- 《超级马里奥世界》——5:59.6 通关制作人员名单(首次在主机上实现) · SethBling · 9:00
- 通用人工智能的致命真相? - Computerphile · Computerphile · 8:30
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 关于傅里叶变换的更普遍的不确定性原理 · 3Blue1Brown · 18:06