Integrated Robotic Learning and Planning for UAV-Based Information Gathering in Unknown Environments

Abstract

Robots increasingly automate tasks that require costly and precise measurements at scale. Combining advances in hardware development with recent progress in machine learning-based computer vision enables robots to collect data with onboard sensors and interpret measurements to gather information, e.g. monitoring crop conditions for breeders or cities for disaster management. Classical information-gathering missions might require the environment to be known before deployment and traditionally execute pre-programmed paths for robotic data collection. In unknown environments, robot autonomy is often limited by the need for human supervision or operation. To fully leverage the information-gathering potential, we need algorithms that enable the robot to plan actions onboard during its deployment. Mainly, robots must autonomously collect information and adapt their behaviour online in the unknown environment while considering onboard resource constraints, such as the limited energy and compute power of unmanned aerial vehicles (UAVs). This task is also known as the adaptive informative path planning problem. <br /> The main contributions of this thesis are novel learning-based adaptive informative path planning approaches for UAV-based information gathering in unknown environments. Our approaches guide a resource-constrained UAV towards areas where it could collect informative measurements to enhance its understanding of the environment. <br /> First, we present a new adaptive informative path planning method combining tree search-based planning with reinforcement learning to train strategies gathering continuous-valued information, such as surface temperature. Our learning-based method accelerates path replanning during deployment on a resource-constrained UAV compared to non-learning-based planning methods. In general, adaptive informative path planning methods are explicitly designed and trained for certain map representations capturing continuous-valued or discrete-valued environment information, e.g. semantic segmentation of weeds and crops. The second approach introduces a novel mathematical formulation of the adaptive informative path planning problem unifying arbitrary to-be-monitored environment information. Using our formulation, we train a single map-agnostic information-gathering strategy, performing on par or better than previous map-specific methods. <br /> In missions that require semantically interpreting images using deep learning-based vision models, the model's prediction performance often degrades in unknown environments. Thus, costly human labelling of collected images is required to improve vision models. We propose a novel adaptive informative path planning framework for active learning of semantic segmentation models to improve a UAV's semantic vision in unknown environments. Our framework improves the model performance faster while drastically reducing the number of human-labelled images required to train the model compared to prior non-adaptive training data collection campaigns. Lastly, our fourth approach is a novel semi-supervised learning method for improving semantic vision in unknown environments to further reduce human labelling efforts. Overall, our semi-supervised method requires less than one per cent of the human-labelled pixels to maintain semantic segmentation performance similar to exhaustively labelling all image pixels.

Roboter automatisieren zunehmend Aufgaben, die kostenintesive und präzise Messungen in großem Maßstab erfordern. Durch Fortschritte in der Hardwareentwicklung und im maschinellen Lernen können Roboter mittels Sensoren Daten sammeln und interpretieren, um Informationen, z. B. zur Analyse von Nutzpflanzen für Züchter oder von Städten zu Zwecken des Katastrophenmanagements, zu erfassen. Klassische Missionen zur Informationserfassung setzen eine bekannte Umgebung voraus und sammeln Daten entlang vorprogrammierter Pfade. Für die Datenerfassung in unbekannten Umgebungen ist häufig eine manuelle Überwachung oder Bedienung nötig. Um das Potenzial, Informationen zu erfassen voll auszuschöpfen, benötigen wir Algorithmen, die es dem Roboter ermöglichen, Aktionen direkt an Bord zu planen und auszuführen. Um effizient Informationen zu sammeln, müssen Roboter die unbekannte Umgebung autonom erkunden und dabei Ressourcenbeschränkungen wie z.B. begrenzte Energie- und Rechenkapazitäten eines unbemannten Luftfahrzeugs (UAV) berücksichtigen. Diese Aufgabe wird als adaptives Wegplanungsproblem bezeichnet. <br /> Die Hauptbeiträge dieser Arbeit sind neue, lernbasierte, adaptive Wegplanungsmethoden für die UAV-basierte Informationserfassung in unbekannten Umgebungen. Unsere Methoden leiten ein ressourcenbeschränktes UAV in Regionen, in denen es informative Messungen sammeln könnte, um sein aktuelles Umgebungsverständnis zu verbessern. <br /> Zuerst präsentieren wir eine adaptive Wegplanungsmethode, die eine Baumsuche mit bestärkenden Lernen kombiniert, um Strategien zur Erfassung von Informationen mit kontinuierlichen Werten, wie z. B. Oberflächentemperatur, zu trainieren. Unsere Methode beschleunigt die Wegplanung auf einem ressourcenbeschränkten UAV im Vergleich zu nicht lernbasierten Wegplanungsmethoden. Generell werden adaptive Wegplanungsmethoden für bestimmte Kartenrepräsentationen entwickelt und trainiert, die entweder Informationen mit kontinuierlichen oder diskreten Werten, wie z.B. die Segmentierung von Unkraut und Pflanzen, erfassen. Die zweite Methode führt eine neue Formulierung des adaptiven Wegplanungsproblems ein, die beliebige zu beobachtende Informationen vereinheitlicht, und es ermöglicht, eine karten-agnostische Strategie zur Informationserfassung zu trainieren, deren Leistung vergleichbar mit kartenspezifischen Methoden ist. <br /> In Missionen, bei denen Bilder mittels lernbasierten Bildverarbeitungsmodellen semantisch interpretiert werden, verschlechtert sich die Modellvorhersage in unbekannten Umgebungen, sodass kostenintensive manuelle Annotationen der gesammelten Bilder zur Verbesserung des Modells erforderlich sind. Zur Verbesserung des semantischen Sehens eines UAV in unbekannten Umgebungen stellen wir ein neues adaptives Wegplanungssystem für das aktive Lernen von semantischen Segmentierungsmodellen vor. Im Vergleich zu vorherigen Kampagnen zur Trainingsdatensammlung verbessert unser System die semantische Segmentierung schneller und reduziert die Anzahl der benötigten manuell annotierten Bilder. Unsere vierte Methode ist ein halbüberwachtes Lernverfahren, um den Aufwand der manuellen Annotationen weiter zu reduzieren. Mit weniger als einem Prozent der manuell annotierten Pixeln erzielt unsere Methode eine ähnlich akkurate semantische Segmentierung wie bei der manuellen Annotation aller Pixel.