Light Propagation in Digital Material Structures

Abstract

Light takes many paths throughout the physical environment, defined by a multitude of interactions with matter, before reaching an imaging sensor or the human eye and thus forming the visual perception of the world. Recreating these interactions in virtual environments requires to consider both gradual scattering by volumes or sudden change introduced by surface boundaries between materials. In many cases, the properties defining these phenomena are not constant and can be affected by external forces. Two main paradigms have arisen in the field of physics and computer graphics to model the complexity of these interactions: geometrical and wave optics. On macroscopic scale the wave nature of light is often neglected as the statistics of the process of incoherent interference reduces the impact of this component. An exception to this rule are many worn smooth surfaces. The notion of scale is violated by the microscopic structures and their intricate iridescent appearance can be clearly observed by the naked eye. Finally, deep structures within translucent objects can significantly influence their overall appearance. They invalidate the common assumption employed in computer graphics that the appearance of objects can be modeled as optically thick and fully defined by the surface reflectance. We thus outline three cases where the existing approaches within the computer graphics literature have difficulties explaining the appearance of everyday objects and provide specific solutions for acquiring and recreating the digital material appearance. They are presented in the form of an article thesis (cumulative thesis) discussing recent publications by the author, regarding the following topics:<br /> - Appearance of semi-unstructured assemblies of fibers interwoven into pile fabrics and their characteristic appearance dependent on the history of tactile interactions. In Chapter 3 we outline a complete end-to-end pipeline capable of acquiring the appearance of this class of materials and modeling the dynamic change of reflectance based on virtual interaction.<br /> - Efficient rendering of wave-optical effects appearing on many everyday objects with smooth worn surface. In Chapter 4 we derive equations and develop algorithms for illumination and anti-aliasing the appearance of these surfaces with real-time performance on modern commodity hardware.<br /> - Modeling and acquisition of the appearance of human teeth and oral cavity. In Chapter 5 we develop a framework that pairs path space derivative estimation with stochastic gradient descent to acquire jointly inner geometry and scattering parameters from photographs captured in a conventional multiple camera and light source setup.

Licht nimmt viele Wege durch die physische Umgebung, die durch eine Vielzahl von Wechselwirkungen mit Materie definiert wird, bevor es einen bildgebenden Sensor oder das menschliche Auge erreicht und somit die visuelle Wahrnehmung der Welt formt. Das Nachbilden dieser Wechselwirkungen in virtuellen Umgebungen erfordert sowohl die Betrachtung gradueller Streuprozesse in ausgedehnten Medien als auch die Einbeziehung abrupter Änderungen an Grenzflächen zwischen verschiedenen Materialien.<br /> In vielen Fällen sind die Eigenschaften, die diese Phänomene definieren, nicht konstant und können durch externe Kräfte beeinflusst werden. Auf dem Gebiet der Physik und der Computergrafik haben sich zwei Hauptparadigmen herauskristallisiert, um die Komplexität dieser Wechselwirkungen zu modellieren: die geometrische und die Wellenoptik. Auf makroskopischer Ebene wird die Wellennatur von Licht oft vernachlässigt, da deren Einfluss durch die statistischen Eigenschaften der stattfindenden inkohärenten Interferenz reduziert wird. Eine Ausnahme von dieser Regel sind viele abgenutzte glatte Oberflächen. Die Annahme der Skaleneigenschaft wird hier durch die mikroskopischen Strukturen und deren komplizierte irisierende Erscheinung Schillerfarben verletzt; Ein Effekt, der mit bloßem Auge beobachtbar ist. Schließlich können tiefe Strukturen innerhalb durchscheinender Objekte ihren Gesamteindruck wesentlich beeinflussen. Sie entkräften die in der Computergrafik übliche Annahme, dass Objekte als optisch dicht modelliert und, als solche, vollständig durch die Eigenschaften ihrer Oberfläche definiert werden können.<br /> Wir skizzieren daher drei Fälle, in denen die bestehenden Ansätze in der Computergrafik-Literatur Schwierigkeiten haben, das Erscheinungsbild alltäglicher Objekte zu erklären und präsentieren spezifische Lösungen für deren Messung und Simulation. <br /> Diese Methoden sind im Folgenden in der Form einer kumulativen Arbeit beschrieben und befassen sich mit den jüngsten Publikationen des Autors, aufgeteilt in die folgenden Themengebiete:<br /> - Das Aussehen von semi-unstrukturierten Faserverbänden und daraus erstellten Geweben sowie deren charakteristisches Aussehen in Abhängigkeit von vorangegangenen taktilen Wechselwirkungen. In Kapitel 3 skizzieren wir eine komplette End-to-End-Pipeline, die in der Lage ist, das Erscheinungsbild dieser Materialklasse zu reproduzieren und dynamische Änderungen aufgrund virtueller Interaktion zu modellieren.<br /> - Effizientes Rendern wellenoptischer Effekte, die oftmals auf Alltagsgegenständen mit glatter Oberfläche auftreten. Kapitel 4 führt durch die Herleitung und Entwicklung von Algorithmen für die Berechnung des Aussehens solcher Oberflächen. Dabei wird besonderes Augenmerk auf die effiziente Berechnung unter komplexer Beleuchtung und die Verwendung von Antialiasing-Techniken gelegt. Die Implementierung erlaubt Renderings in Echtzeit unter Verwendung aktueller handelsüblicher Hardware<br /> - Modellierung und Messung des Aussehens von menschlichen Zähnen und des Mundraums. In Kapitel 5 entwickeln wir ein Framework zur Kombination der Abschätzung von Weg-/Raum-Gradienten mit stochastischen Gradientenverfahren zur gemeinsamen Rekonstruktion der Geometrie- und Streuparameter. Der dafür verwendete Datensatz wurde mit einer herkömmlichen Mehrfachkamera aufgenommen wurden.