A machine learning-based approach to estimate solar-induced fluorescence from airborne and spaceborne hyperspectral data

Abstract

Techniques to estimate sun-induced fluorescence (SIF) passively from hyperspectral remote sensing data have evolved steadily over the last two decades. SIF provides causally grounded information about the photosynthetic activity of plants and, as such, is considered a valuable quantity for agriculture-related applications and various ecosystem monitoring setups. Accordingly, interest in this quantity has grown as the precision and availability of SIF estimates has improved worldwide. Upcoming missions such as FLEX by the European Space Agency (ESA) are expected to further reinforce this trend by offering, for the first time, spatially well-resolved estimates from space, based on measurements conducted in regular repeat cycles. <br/> The growing amount of data sources that qualify for the derivation of SIF estimates, combined with an anticipated increased reliance of various stakeholders on precise Remote Sensing SIF estimates highlight the need for SIF retrieval methods with high validation accuracy applicable in a wide range of observational conditions. In response to this challenge, this thesis includes four sequential publications that develop a novel machine learning-based approach to estimate SIF in the O₂-A absorption band from airborne and spaceborne hyperspectral imagery. The proposed approach leverages recent developments in the field of deep learning for data-driven and physically consistent SIF estimation using data from HyPlant, the airborne demonstrator for FLEX, and DESIS, a spaceborne hyperspectral sensor with reduced spectral resolution. <br/> Publication I establishes the basis for a new self-supervised neural network-based approach targeting SIF retrieval in the O₂-A absorption band of hyperspectral data from the airborne HyPlant sensor. To achieve this, a reconstruction-based loss is employed to train a multi-layer perceptron to predict the spectral decomposition of the at-sensor radiance using a physical simulation layer in the network. Despite the approximate nature of this physical model – shown to yield partially inconsistent spectral reconstructions – the method demonstrates competitive performance against in-situ top-of-canopy SIF measurements. <br/> To address the limitations of Publication I, a closer integration of exact radiative transfer models such as MODTRAN6 in the training process targeted. The computational cost of such a model is, however, prohibitive in the training setting of artificial neural networks. Publication II therefore investigates the derivation of machine learning surrogate models that balance training and inference times with the simulation precision required for SIF retrieval in the O₂-A band. As a first application, Publication III integrates the results of this study in the general SIF retrieval framework developed in Publication I achieving state-of-the-art validation performance on a HyPlant data set, demonstrating strong agreement with in-situ SIF measurements. <br/> Finally, Publication IV applies this approach to spaceborne hyperspectral data from the DESIS sensor – marking the first successful retrieval of SIF from space at 30 m resolution using a sensor previously considered unsuitable for such estimates. To validate this exceptional result, Publication IV makes use of simultaneous overflights of HyPlant and DESIS to obtain high-quality SIF estimates as reference data. <br/> In summary, the four publications of this thesis make a significant contribution to the research field of SIF retrieval by introducing a novel and extensible framework for estimating SIF from both airborne and spaceborne hyperspectral imagery. Adaptable to upcoming data sources such as FLEX and capable of handling challenging observational conditions, including scenarios with strongly variable topography, this framework may represent a valuable addition to existing methods currently under evaluation for future FLEX data processing.

Techniken zur Schätzung sonneninduzierter Fluoreszenz (SIF) aus passiv erfassten hyperspektralen Fernerkundungsdaten haben sich in den letzten zwei Jahrzehnten stetig weiterentwickelt. SIF liefert wertvolle Informationen über die photosynthetische Aktivität von Pflanzen und gilt daher als Schlüsselressource für agrarwissenschaftliche Anwendungen und das Ökosystem-Monitoring. Die zunehmende Genauigkeit und Verfügbarkeit von SIF-Schätzungen hat das wissenschaftliche Interesse an SIF verstärkt. Die bevorstehende FLEX-Mission der Europäischen Weltraumorganisation (ESA) wird dieses voraussichtlich weiter verstärken, da sie erstmals präzise, räumlich hochaufgelöste SIF-Schätzungen aus dem All ermöglicht. <br/> Die zunehmende Zahl an Datenquellen, die für die Schätzung von SIF geeignet sind, sowie die erwartete verstärkte Nutzung präziser Fernerkundungsdaten durch verschiedene Interessengruppen, unterstreichen die Notwendigkeit von SIF Retrieval-Methoden mit hoher Validierungsgenauigkeit, die unter einer Vielzahl von Beobachtungsbedingungen anwendbar sind. Um diese Herausforderungen anzugehen, enthält diese Dissertation vier aufeinander aufbauende Publikationen, die einen neuartigen, auf maschinellem Lernen beruhenden Ansatz zur Schätzung von SIF im O₂-A-Absorptionsband in luft- und satellitengestützter hyperspektralen Daten entwickeln und validieren. Der vorgeschlagene Ansatz nutzt aktuelle Entwicklungen im Bereich des Deep Learning für datengetriebene und physikalisch konsistente SIF-Schätzungen von Hyperspektraldaten von HyPlant – dem <em>airborne demonstator</em> von FLEX – sowie DESIS, einem satellitenbasierten Sensor mit geringerer spektraler Auflösung. <br/> Publikation I präsentiert einen neuen Ansatz zur SIF-Schätzung im O₂-A-Band, der erstmals auf selbstüberwachten neuronalen Netzwerken basiert. Dabei wird eine rekonstruktionsbasierte Verlustfunktion dazu verwendet, eine spektrale Zerlegung der von diesen Sensoren gemessenen Strahldichte durchzuführen.Trotz approximativer physikalischer Modellierung zeigt diese Methode eine vielversprechende Validierungsleistung. <br/> Um die Einschränkungen von Publikation I anzugehen, wird eine engere Integration exakter Strahlungstransfermodelle in den Trainingsprozess angestrebt. Da jedoch lange Simulationszeiten eine direkte Einbindung solcher Modelle in das Training neuronaler Netzwerke verunmöglichen, untersucht Publikation II verschiedene maschinelle Lernverfahren als Surrogatmodelle, die die Simulationszeit reduzieren und gleichzeitig die für SIF-Schätzungen im O₂-A-Band erforderliche Genauigkeit erhalten. Als erste Anwendung nimmt Publikation III diese Ergebnisse in die allgemeine SIF-Retrieval-Methodik aus Publikation I auf und erreicht damit eine hohe Validierungsgenauigkeit in einem HyPlant-Datensatz. <br/> Schließlich wird der neuartige Ansatz in Publikation IV auf Daten des satllitengestützten DESIS-Sensors angewendet. Er ermöglicht erstmals eine erfolgreiche Ableitung von SIF aus satellitengestützten Daten mit einer räumlichen Auflösung von 30 m mithilfe eines Sensors, der zuvor für SIF-Schätzungen ungeeignet galt. Zur Validierung dieses erfolgreichen Ergebnisses nutzt Publikation IV koinzidente Überflüge von HyPlant und DESIS, um Referenzdaten bereitzustellen. <br/> Die vier Publikationen dieser Dissertation leisten einen wichtigen Beitrag zur Forschung an SIF-Retrieval-Verfahren, indem sie eine neuartige Methodik zur Schätzung von SIF aus luft- und satellitengestützten hyperspektralen Bilddaten beschreiben. Da diese Methodik anpassbar an neue Sensoren wie FLEX ist und mit herausfordernden Beobachtungsbedingungen – einschließlich stark variierender Topografie – umgehen kann, stellt sie eine wertvolle Ergänzung zu bestehenden Verfahren dar, die derzeit für die künftige Verarbeitung von FLEX-Daten evaluiert werden.