Improving Explanations of Convolutional Neural Networks with Applications to Land Cover Mapping

Abstract

Convolutional neural networks (CNNs) have revolutionized computer vision and remain a key technology in many satellite imagery applications for environmental monitoring. As these models are integrated into scientific workflows and operational monitoring, questions about their interpretability arise; however, explaining how they generate their predictions remains challenging. Attribution methods like Grad-CAM and occlusion sensitivity are widely used to explain CNN predictions, yet they often yield differing explanations. These inconsistencies make it hard to assess reliable explanations and undermine overall trust in machine learning models. <br/>

This thesis addresses these challenges by investigating how explanations of CNN-based models can be made more interpretable, consistent, and reliable for remote sensing applications. First, we introduce UH-Net, an interpretable-by-design architecture that incorporates a high-resolution deep layer to combine semantic richness with spatial detail in attribution maps. Second, we conduct a systematic comparison of attribution methods across different CNN architectures and layers to better understand their behavior, strengths and limitations. Building on these insights, we propose a harmonization method that significantly reduces differences in attribution results across methods and provides more comprehensible explanations. Furthermore, we present two feature-specific attribution methods that achieve an inherent degree of harmonization by design. Finally, we apply our methods to naturalness mapping, making us among the first to do so using satellite imagery. To this end, we develop a high-quality Sentinel-2 dataset covering both protected and anthropogenic regions in Fennoscandia. Using UH-Net and harmonized attribution maps, we generate and evaluate large-scale naturalness maps and temporal changes across Fennoscandia from 2018 to 2024. <br/>

Overall, this work contributes new insights, methods, datasets, and applications for explainable machine learning in remote sensing. By improving the interpretability and consistency of CNN explanations, it advances the responsible and transparent application of machine learning in environmental science.

<strong>Verbesserung der Erklärbarkeit von Convolutional Neural Networks mit Anwendungen in der Landbedeckungskartierung</strong><br/> Convolutional Neural Networks (CNNs) haben die Bildverarbeitung nachhaltig geprägt und sind heute ein zentraler Bestandteil zahlreicher Anwendungen der satellitenbildbasierten Umweltbeobachtung. Mit ihrer Nutzung in Forschung und operativen Anwendungen steigt jedoch auch der Bedarf an Nachvollziehbarkeit und Transparenz; denn wie CNNs zu Entscheidungen gelangen, ist häufig schwer verständlich. Zwar existieren etablierte Attributionsmethoden wie Grad-CAM und Occlusion Sensitivity, doch liefern diese oftmals voneinander abweichende Erklärungen. Diese Inkonsistenzen erschweren es, verlässliche Erklärungen zu finden, was das Vertrauen in Machine-Learning-Modelle insgesamt mindert. <br/>

Die vorliegende Dissertation untersucht daher, wie sich die Erklärbarkeit CNN-basierter Modelle verständlicher, konsistenter und verlässlicher gestalten lässt. Hierfür stellen wir zunächst das UH-Net vor — eine Architektur, die durch eine tiefe, hochauflösende Repräsentationsebene detailliertere und semantisch reiche Attributionskarten erzeugt. Anschließend vergleichen wir gängige Attributionsmethoden systematisch über verschiedene CNN-Architekturen und -Ebenen hinweg, um ihr Verhalten, ihre Stärken und ihre Einschränkungen präziser einschätzen zu können. Auf Basis dessen präsentieren wir eine Harmonisierungsmethode, die Unterschiede zwischen den Verfahren deutlich reduziert und plausiblere Erklärungen ermöglicht. Ergänzend hierzu entwickeln wir zwei neue, merkmalsorientierte Attributionsverfahren, die bereits konzeptionell auf harmonisierte Attributionen abzielen. Zuletzt wenden wir unsere Methoden zur Kartierung von Natürlichkeit an und gehören damit zu den Ersten, die dies anhand von Satellitenbildern tun. Dazu erstellen wir einen Datensatz, der Sentinel-2-Bilder aus naturgeschützten sowie anthropogen geprägten Landschaften in Fennoskandien enthält. Unter Verwendung des UH-Net und harmonisierter Attributionskarten leiten wir daraus flächendeckende Natürlichkeitskarten ab und analysieren Veränderungen im Zeitraum 2018 bis 2024. <br/>

Insgesamt liefert diese Arbeit neue Erkenntnisse, Methoden, Datensätze und Anwendungen für erklärbares maschinelles Lernen in der Fernerkundung. Durch die Verbesserung der Interpretierbarkeit und Konsistenz von CNN-Erklärungen trägt sie zu einem verantwortungsvollen und transparenten Einsatz von Maschinellem Lernen in Umweltwissenschaften bei.