Moment-Based Methods for Real-Time Shadows and Fast Transient Imaging

Abstract

We apply the theory of moments to develop computationally efficient methods for real-time rendering of shadows and reconstruction of transient images from few measurements. Given moments of an unknown probability distribution, i.e. the expectations of known, real random variabsles, the theory of moments strives to characterize all distributions that could have led to these moments. Earlier works in computer graphics only use the most basic results of this powerful theory. <br /> When filtering shadows based on shadow maps, the distribution of depth values within the filter region has to be estimated. Variance shadow mapping does this using two power moments. While this linear representation admits direct filtering, it leads to a very coarse reconstruction. We generalize this approach to use an arbitrary set of general moments and benchmark thousands of possible choices. Based on the results, we propose the use of moment shadow mapping which produces high-quality antialiased shadows efficiently by storing four power moments in 64 bits per shadow map texel. <br /> Techniques for shadow map filtering have been applied to a variety of problems. We combine these existing approaches with moment shadow mapping to render shadows of translucent occluders using alpha blending, soft shadows using summed-area tables and prefiltered single scattering using six power moments. All these techniques have a high overhead per texel of the moment shadow map but a low overhead per shaded pixel. Thus, they scale well to the increasingly high resolutions of modern displays.<br /> Transient images help to analyze light transport in scenes. Besides two spatial dimensions, they are resolved in time of flight. Earlier cost-efficient approaches reconstruct them from measurements of amplitude modulated continuous wave lidar systems but they typically take more than a minute of capture time. We pose this reconstruction problem as trigonometric moment problem. The maximum entropy spectral estimate and the Pisarenko estimate are known closed-form solutions to such problems which yield continuous and sparse reconstructions, respectively. By applying them, we reconstruct complex impulse responses with m distinct returns from measurements at as few as m non-zero frequencies. For m=3 our experiments with measured data confirm this. Thus, our techniques are computationally efficient and simultaneously reduce capture times drastically. We successfully capture 18.6 transient images per second which leads to transient video. As an important byproduct, this fast and accurate reconstruction of impulse responses enables removal of multipath interference in range images.

<strong>Momentenbasierte Verfahren für Echtzeitschatten und schnelle, transiente Bildgebung</strong><br /> Wir verwenden die Theorie der Momente für effiziente Verfahren zum Rendern von Schatten in Echtzeit sowie zur Rekonstruktion transienter Bilder aus wenigen Messungen. Ziel der Theorie der Momente ist es zu gegebenen Momenten, d.h. Erwartungswerten bekannter, reeller Zufallsvariablen bezüglich einer unbekannten Wahrscheinlichkeitsverteilung, alle Wahrscheinlichkeitsverteilungen zu charakterisieren, die diesen Momenten entsprechen. Frühere Arbeiten in der Computergraphik nutzen nur sehr elementare Resultate dieser mächtigen Theorie.<br /> Beim Filtern von Schatten aus Shadow Maps muss die Verteilung von Tiefenwerten im Bereich des Filters geschätzt werden. Variance Shadow Mapping erreicht das anhand von zwei Momenten. Diese lineare Repräsentation ermöglicht direktes Filtern, ist aber sehr ungenau. Wir verallgemeinern diesen Ansatz auf eine beliebige Wahl verallgemeinerter Momente und evaluieren tausende Kandidaten. Auf Grundlage der Ergebnisse schlagen wir Moment Shadow Mapping zum effizienten Rendern von hochqualitativen Schatten mit Antialiasing vor. Dabei werden vier Momente in 64 bits pro Texel der Shadow Map gespeichert.<br /> Vorhandene Techniken zum Filtern von Shadow Maps wurden auf vielfältige Probleme angewendet. Wir kombinieren diese Ansätze mit Moment Shadow Maps zum Rendern von Schatten für transparente Schattenwerfer durch einfaches Alpha Blending, weichen Schatten durch Integralbilder und athmosphärischer Lichtstreuung unter Verwendung von sechs Momenten. All diese Techniken haben hohe Kosten pro Texel der Moment Shadow Map aber geringe Kosten pro Pixel auf dem Bildschirm. Dadurch skalieren sie gut mit den stetig zunehmenden Bildschirmauflösungen. <br /> Transiente Bilder gestatten Einblicke in den Lichttransport in einer Szene. Neben zwei räumlichen Dimensionen hängen sie von der Lichtlaufzeit ab. Existierende, kosteneffziente Messverfahren nutzen Amplitude Modulated Continuous Wave Lidar Systeme, benötigen aber für gewöhnlich mehr als eine Minute für eine einzelne Messung. Wir formulieren das Rekonstruktionsproblem als trigonometrisches Momentenproblem. Bestehende Lösungen in geschlossener Form liefern dann ein stetiges Signal mit minimaler Burg-Entropie oder eine diskrete Verteilung. Mit diesen Verfahren können wir komplexe Impulsantworten mit m Impulsen aus Messungen bei m positiven Frequenzen rekonstruieren. Für m=3 verifizieren wir das mit echten Messungen. Dabei ist die Rechenzeit dank der geschlossenen Form gering und gleichzeitig wird die Messzeit drastisch reduziert. In unseren Experimenten messen wir bis zu 18.6 transiente Bilder pro Sekunde und erhalten so transientes Video. Ein wichtiges Nebenprodukt ist, dass diese schnelle und genaue Rekonstruktion die Beseitigung von Interferenzeffekten bei Tiefenbildern ermöglicht.