Transient Non-Line-of-Sight Imaging

Abstract

Sight is perhaps the most important sense of the human species. But while it allows us to gain a near-instant understanding of our surrounding, it has a fundamental limitation: An object can be hidden from view if it is occluded by an obstacle such as a building or a car. To reveal it, techniques for <em>looking around a corner</em> are required, which became only recently available through the use of computational photography. <br /> In most common setups, a laser is used to illuminate a diffuse wall in the visible part of the scene from where the light can bounce off towards the hidden object. From the object, the light is reflected back onto the wall in the visible part of the scene, where it can be detected by a camera. Typically, the camera is a transient imaging camera, which can temporally resolve the propagation of light through the scene when it is illuminated by a synchronized laser. This then allows the recording of temporal light profiles on the reflector wall. The diffuse reflections destroy most of the angular information of where the light was coming from, but leave the temporal offset (caused by the travel time of the photons) intact. <br /> The measured signal is a three-dimensional transient image in which the hidden object is not directly visible. It does, however, encode information about the hidden object which can be used together with physically based models of indirect light transport to attempt a reconstruction of the hidden object. Such a reconstruction is a challenging task which becomes apparent in the limitations of today’s system. It thus remains an active field of research that receives high interest from both academia and industry due to its many potential applications. <br /> In this thesis we address some of the main limitations to help the field of indirect vision advance into product-ready technology. Our solutions are presented as a cumulative thesis consisting of three peer-reviewed publications: <br /> In the first publication, we present a novel approach for real-time tracking of hidden objects. So far, setups have relied on expensive hardware and required lengthy reconstruction time. We argue, that sometimes it is more important to have real-time information about the position and movement of a target than a more precise three-dimensional reconstruction that takes minutes to obtain. Furthermore, the analysis-by-synthesis scheme that we use is extensible and works with different types of hardware including non-transient intensity cameras like webcams. <br /> In the second publication, we present a comparison and evaluation platform for the multitude of reconstruction approaches that have been published in the previous years. The results from different research groups are usually coming from different hardware, scenes, reconstruction targets and setup scales. This makes results hard to compare, for example, when two camera system have very different signal-to-noise ratios or a scene is more challenging than another. In our benchmark, we provide a unified measurement data set that allows to run different reconstruction algorithms on the same input date and also domain specific evaluation metrics to compare the reconstruction results. <br /> In the third publication, we present a flexible calibration algorithm that does not rely on any additional hardware. In order to estimate possible light interactions in the hidden part of the scene, knowledge about the directly visible part of the scene is used. Methods for capturing three-dimensional scenes are established but the requirement of additional hardware would increase the complexity of indirect vision systems even further. Our calibration method only facilitates an additional household-grade mirror which makes it especially suitable for the stage of lab testing in which most of the current research progress happens. <br /> In conclusion, we present a range of contributions that partake in the global efforts of making indirect vision systems available as an additional corner stone of future vision tasks.

Das Sehen ist die vielleicht wichtigste Sinneswahrnehmung des Menschen. Es erlaubt uns in Sekundenbruchteilen unsere Umgebung einschätzen zu können, hat dabei jedoch eine fundamentale Einschränkung: Ein Objekt kann nicht gesehen werden, wenn es durch ein anderes verdeckt wird. Um es dennoch sichtbar zu machen bedarf es Techniken zum <em>um-die-Ecke-sehen</em>, die erst kürzlich in dem Feld der Computational Photography (computergestützte Fotografie) entwickelt wurden. <br /> Im üblichen Versuchsaufbau beleuchtet ein Laser eine diffus reflektierende Oberfläche (etwa eine Wand) in dem sichtbaren Teil der Szene. Von dort aus können Photonen in Richtung des verdeckten Objektes reflektiert werden, welches sie wieder zurück in Richtung Wand wirft, wo sie schließlich von einer Kamera wahrgenommen werden können. Typischerweise wird dazu eine <em>Transient-Imaging</em>-Kamera verwendet, die die Lichtausbreitung eines synchronisierten Lasers in der Szene zeitlich auflösen kann. Dadurch wird es möglich, ein Zeithistogramm der Lichtstärke auf der Reflektorwand zu messen. Die diffusen Reflektionen zerstören zwar den überwiegenden Teil der Winkelinformationen (aus welcher Richtung das Licht kam), die unterschiedlichen Flugzeiten unterschiedlicher Photonen bleiben jedoch erhalten. <br /> Das gemessene Signal ist ein dreidimensionales, transientes Bild in dem das verdeckte Objekt nicht direkt zu erkennen ist. Es enthält aber kodierte Informationen über das Objekt, die unter Zuhilfenahme von physikalischen Modellen der indirekten Lichtausbreitung für eine Rekonstruktion verwendet werden können. Solch eine Rekonstruktion ist eine sehr herausfordernde Aufgabe was auch in den Limitierungen aktueller Systeme deutlich wird. Es bleibt daher ein aktives Forschungsfeld, das durch sein vielfältiges Anwendungspotential von großem Interesse sowohl für die akademische Welt als auch für die Industrie ist. <br /> In dieser Doktorarbeit werden im Rahmen von drei begutachteten Veröffentlichungen einige der wichtigsten Einschränkungen adressiert und das Forschungsfeld der indirekten Sicht so ein Stück weiter in Richtung Produktreife gerückt: <br /> In der ersten Veröffentlichung stellen wir ein System vor, dass verdeckte Objekte in Echtzeit nachverfolgen kann. Bisher war die Rekonstruktion verdeckter Objekte nur mit teurer Hardware und langen Rekonstruktionszeiten möglich. Wir argumentieren, dass es in manchen Situationen nützlicher ist, Echtzeitinformationen über die Position und Bewegungsrichtung eines Objektes zu kennen, anstatt minutenlang auf eine komplette dreidimensionale Rekonstruktion zu warten. Außerdem ist unser verwendetes Analyse-durch-Synthese-Verfahren vielseitig erweiterbar und kann mit vielen Hardwaretypen angewandt werden, darunter auch nicht-transiente Intensitätskameras wie Webcams. <br /> In der zweiten Veröffentlichung stellen wir eine Evaluationsplattform vor, welche die verschiedenen Rekonstruktionsansätze der letzten Jahre vergleichbar macht. Die Ergebnisse verschiedener Forschungsgruppen wurden üblicherweise auf sehr unterschiedlicher Hardware, Messaufbauten und Szenen erzielt. Dies macht sie kaum vergleichbar, da beispielsweise unterschiedliche Kameras stark unterschiedliches Rauschverhalten haben können, oder eine Szene komplexer ist, als eine andere. Unser Benchmark liefert einheitliche Messdaten die für eine Vielzahl an Rekonstruktionsalgorithmen als Eingabe dienen können und darüber hinaus angepasste Evaluationsmetriken mit denen die Rekonstruktionsergebnisse verglichen werden können. <br /> In der dritten Veröffentlichung stellen wir ein neuartiges Kalibrierungsverfahren vor, das keine zusätzliche Hardware benötigt. Zur Rekonstruktion verdeckter Objekte wird häufig die Geometrie des sichtbaren Teils der Szene benötigt. Diese kann zwar mit etablierten Methoden erfasst werden, dazu wird jedoch zusätzlich Messhardware benötigt was den Aufbau indirekter Sichtsysteme weiter verteuert. Unser Kalibrierungsansatz benötigt hingegen lediglich einen handelsüblichen Spiegel und ist damit insbesondere für die Kalibrierung von Laboraufbauten geeignet. <br /> Zusammengefasst stellen wir in dieser Arbeit eine Reihe an Beiträgen vor, die zu den weltweiten Anstrengungen, Indirekte-Sicht-Systeme in der Messtechnik zu etablieren, beitragen.