Robot mapping and navigation in real-world environments

Abstract

Robots can perform various tasks, such as mapping hazardous sites, taking part in search-and-rescue scenarios, or delivering goods and people. Robots operating in the real world face many challenges on the way to the completion of their mission. Essential capabilities required for the operation of such robots are mapping, localization and navigation. Solving all of these tasks robustly presents a substantial difficulty as these components are usually interconnected, i.e., a robot that starts without any knowledge about the environment must simultaneously build a map, localize itself in it, analyze the surroundings and plan a path to efficiently explore an unknown environment. In addition to the interconnections between these tasks, they highly depend on the sensors used by the robot and on the type of the environment in which the robot operates. For example, an RGB camera can be used in an outdoor scene for computing visual odometry, or to detect dynamic objects but becomes less useful in an environment that does not have enough light for cameras to operate. The software that controls the behavior of the robot must seamlessly process all the data coming from different sensors. This often leads to systems that are tailored to a particular robot and a particular set of sensors. In this thesis, we challenge this concept by developing and implementing methods for a typical robot navigation pipeline that can work with different types of the sensors seamlessly both, in indoor and outdoor environments. With the emergence of new range-sensing RGBD and LiDAR sensors, there is an opportunity to build a single system that can operate robustly both in indoor and outdoor environments equally well and, thus, extends the application areas of mobile robots. <br /> The techniques presented in this thesis aim to be used with both RGBD and LiDAR sensors without adaptations for individual sensor models by using range image representation and aim to provide methods for navigation and scene interpretation in both static and dynamic environments. For a static world, we present a number of approaches that address the core components of a typical robot navigation pipeline. At the core of building a consistent map of the environment using a mobile robot lies point cloud matching. To this end, we present a method for photometric point cloud matching that treats RGBD and LiDAR sensors in a uniform fashion and is able to accurately register point clouds at the frame rate of the sensor. This method serves as a building block for the further mapping pipeline. In addition to the matching algorithm, we present a method for traversability analysis of the currently observed terrain in order to guide an autonomous robot to the safe parts of the surrounding environment. A source of danger when navigating difficult to access sites is the fact that the robot may fail in building a correct map of the environment. This dramatically impacts the ability of an autonomous robot to navigate towards its goal in a robust way, thus, it is important for the robot to be able to detect these situations and to find its way home not relying on any kind of map. To address this challenge, we present a method for analyzing the quality of the map that the robot has built to date, and safely returning the robot to the starting point in case the map is found to be in an inconsistent state. <br /> The scenes in dynamic environments are vastly different from the ones experienced in static ones. In a dynamic setting, objects can be moving, thus making static traversability estimates not enough. With the approaches developed in this thesis, we aim at identifying distinct objects and tracking them to aid navigation and scene understanding. We target these challenges by providing a method for clustering a scene taken with a LiDAR scanner and a measure that can be used to determine if two clustered objects are similar that can aid the tracking performance. All methods presented in this thesis are capable of supporting real-time robot operation, rely on RGBD or LiDAR sensors and have been tested on real robots in real-world environments and on real-world datasets. All approaches have been published in peer-reviewed conference papers and journal articles. In addition to that, most of the presented contributions have been released publicly as open source software.

Roboter können unterschiedlichste Aufgaben ausführen, z.B. in Such- und Rettungsszenarien eingesetzt werden, Waren ausliefern oder Personen transportieren. Roboter, die in der realen Welt eingesetzt werden, müssen viele Herausforderungen auf dem Weg zur Vollendung ihrer Mission meistern. Zentrale Fähigkeiten, die für den Betrieb solcher Roboter erforderlich sind, sind Kartierung, Lokalisierung und Navigation. Die robuste Lösung dieser Aufgaben ist eine nicht-triviale Aufgabe, da unter anderem die Komponenten typischerweise voneinander abhängig sind. So muss beispielsweise ein Roboter gleichzeitig eine Karte aufbauen, sich darin lokalisieren, die Umgebung bzgl. möglichen Kollisionen analysieren und einen geeigneten Weg planen, um eine unbekannte Umgebung effizient zu erkunden.<br /> Die Lösungen dieser Aufgaben hängen meist von den verwendeten Sensoren und von der Art der Einsatzumgebung ab. Eine RGB-Kamera kann zum Beispiel in einer Außenszene zum Berechnen einer visuellen Odometrie oder zur Erkennung dynamischer Objekte verwendet werden. Im Gegensatz dazu ist sie weniger nützlich in Umgebungen, die nicht genug Licht für den Betrieb von Kameras zur Verfügung stellen. Des Weiteren sollte die Software, die das Verhalten des Roboters steuert, alle Daten der verschiedenen Sensoren verarbeiten und integrieren. Dies führt oft zu technischen Systemen, die nur mit einem bestimmten Robotertyp und einem bestimmten Satz von Sensoren funktionieren. In dieser Doktorarbeit fokussieren wir uns auf Systeme und implementieren Methoden für Roboternavigationssysteme, die nahtlos mit verschiedenen Sensoren arbeiten können, sowohl im Innen- als auch im Außenbereich. Speziell mit der kürzlichen Entwicklung neuer distanzmessender RGBD und LiDAR Sensoren sehen wir die Möglichkeit Systeme zu bauen, die sowohl im Innen- als auch im Außenbereich robust arbeiten können und erweitern, damit die Einsatzgebiete von mobilen Robotern.<br /> Die in dieser Arbeit vorgestellten Techniken zielen darauf ab, sowohl mit RGBD als auch mit LiDAR Sensoren – ohne Anpassungen für einzelne Sensormodelle – Methoden für Navigation und Szeneninterpretation in statischen sowie dynamischen Umgebungen zu realisieren. Für statische Umgebungen präsentieren wir eine Reihe von Ansätzen, welche die Kernkomponenten einer typischen Roboter-Navigationspipeline adressieren. Ein Fokus ist die Erstellung einer konsistenten Karte der Umgebung mittels Punktwolkenregistrieung. Zu diesem Zweck präsentieren wir eine neue Methode zur photometrischen Punktwolkenregistrieung, die RGBD und LiDAR Sensoren in identischer Art und Weise behandelt und in der Lage ist Punktwolken genau und in Echtzeit zu registrieren, d.h. mit der Frequenz des Sensors. Unsere Methode dient als Baustein für den weiteren Navigationsprozess. Zusätzlich zu diesem Verfahren präsentieren wir eine Methode für Traversierbarkeitsanalyse des aktuell beobachteten Geländes. Eine Gefahrenquelle beim Navigieren von schwer zugänglichen oder komplexen Orten ist die Tatsache, dass der Roboter beim Erstellen einer konsistenten Umgebungskarte scheitern kann. Dies hat typischerweise dramatische Auswirkungen auf die Fähigkeit eines autonomen Roboters erfolgreich sein Ziel anzusteuern. Daher ist es wichtig, dass Roboter eine solche Situation erkennen und mit dieser umgehen kann, beispielsweise sicher zum Startpunkt seiner Mission zurückzufahren. Um diese Herausforderung anzugehen, haben wir eine Methode zur Analyse der Qualität der Karte, die der Roboter gebaut hat, entwickelt und können den Roboter sicher zum Ausgangspunkt der Mission zurückbringen, auch wenn die Umgebungskarte sich in einem inkonsistenten Zustand befindet.<br /> Szenen in dynamischen und statischen Umgebungen unterscheiden sich für einen Roboter erheblich von einander. In einer dynamischen Einstellung können sich Objekte bewegen und daher ist die Schätzung der statischen Traversierbarkeit nicht ausreichend. Mit den entwickelten Ansätzen dieser Arbeit zielen wir darauf ab, einzelne Objekte zu identifizieren und sie virtuell zu verfolgen. Wir begegnen diesen Herausforderungen mit einer Methode zum Clustering einer Szene, welche mit einem LiDAR Scanner abgenommen wurde. Diese benötigt nur einen einzigen Parameter, der beschreibt, wann zwei Cluster ähnliche Objekte repräsentieren. Dieser Verfahren kann mit hoher Frequenz ausgeführt werden und die Tracking-Leistung unterstützen.<br /> Alle in dieser Arbeit vorgestellten Methoden sind in der Lage Roboter mit Echtzeitsteuerung im Betrieb zu unterstützen. Sie basieren auf RGBD oder LiDAR Sensoren und wurden auf realen Robotern in reale Umgebungen und auf Basis verschiedener Datensätze getestet. Alle Ansätze waren in Konferenzpapieren und Zeitschriftenartikeln mit Peer-Review-Verfahren veröffentlicht. Darüber hinaus wurden die meisten der vorgestellten Beiträge als Open Source Software der Öffentlichkeit zur Verfügung gestellt.