Zur Kurzanzeige

Active 3D Reconstruction for Mobile Robots

dc.contributor.advisorStachniss, Cyrill
dc.contributor.authorPalazzolo, Emanuele
dc.date.accessioned2020-04-27T08:14:15Z
dc.date.available2020-04-27T08:14:15Z
dc.date.issued13.01.2020
dc.identifier.urihttp://hdl.handle.net/20.500.11811/8171
dc.description.abstractMapping the environment with the purpose of building a 3D model that represents it, is traditionally achieved by trained personnel, using measuring equipment such as cameras or terrestrial laser scanners. This process is often expensive and time-consuming. The use of a robotic platform for such a purpose can simplify the process and enables the use of 3D models for consumer applications or in environments inaccessible to human operators. However, fully autonomous 3D reconstruction is a complex task and it is the focus of several open research topics.
In this thesis, we try to address some of the open problems in active 3D environment reconstruction. For solving such a task, a robot should autonomously determine the best positions to record measurements and integrate these measurements in a model while exploring the environment. In this thesis, we first address the task of integrating the measurements from a sensor in real-time into a dense 3D model. Second, we focus on where the sensor should be placed to explore an unknown environment by recording the necessary measurements as efficiently as possible. Third, we relax the assumption of a static environment, which is typically made in active 3D reconstruction. Specifically, we target long-term changes in the environment and we address the issue of how to identify them online with an exploring robot, to integrate them in an existing 3D model. Finally, we address the problem of identifying and dealing with dynamic elements in the environment, while recording the measurements.
In the first part of this thesis, we assume the environment to be static and we solve the first two problems. We propose an approach to 3D reconstruction in real-time using a consumer RGB-D sensor. A particular focus of our approach is its efficiency in terms of both execution time and memory consumption. Moreover, our method is particularly robust to situations where the structural cues are insufficient. Additionally, we propose an approach to compute iteratively the next best viewpoint for the sensor to maximize the information obtained from the measurements. Our algorithm is taylored for micro aerial vehicles (MAV) and takes into account the specific limitations that this kind of robots have.
In the second part of this work, we focus on non-static environments and we address the last two problems. We deal with long-term changes by proposing an approach that is able to identify the regions that changed on a 3D model, from a short sequence of images. Our method is fast enough to be suitable to run online on a mapping robot, which can direct its effort on the parts of the environment that have changed. Finally, we address the problem of mapping fully dynamic environments, by proposing an online 3D reconstruction approach that is able to identify and filter out dynamic elements in the measurements.
In sum, this thesis makes several contributions in the context of robotic map building and dealing with change. Compared to the current state of the art, the approaches presented in this thesis allow for a more robust real-time tracking of RGB-D sensors including the ability to deal with dynamic scenes. Moreover, this work provides a new, more efficient view point selection technique for MAV exploration, and an efficient online change detection approach operating on 3D models from images that is substantially faster than comparable existing methods. Thus, we advanced the state of the art in the field with respect to robustness as well as efficiency.
dc.description.abstractDie Abbildung der Umgebung durch die Rekonstruktion dreidimensionaler Modelle wird konventionell durch Fachpersonal mit speziellem Messequipment wie Kameras oder terrestrischen Laserscannern durchgeführt. Diese Verfahrensweisen sind allerdings mit hohen Kosten und einem erheblichen Zeitaufwand verbunden. Der Einsatz von Robotern ermöglicht hingegen automatisierte Verfahren sowie die Bestimmung dreidimensionaler Modelle innerhalb von für den Menschen unzugänglichen Umgebungen und deren Verwendung für Verbraucheranwendungen. Die vollständig autonome Rekonstruktion von 3D-Modellen ist jedoch eine nicht-triviale Aufgabenstellung und Schwerpunkt vieler Forschungsarbeiten. Die in dieser Arbeit vorgestellten Techniken befassen sich mit offenen Problemstellungen zur aktiven Rekonstruktion von 3D-Modellen. Für eine automatisierte Rekonstruktion muss der Roboter zum einen selbständig die optimalen Aufnahmepositionen bestimmen und zum anderen die Beobachtungen zeitgleich zur Erkundung der Umgebung in ein Modell integrieren. In dieser Arbeit adressieren wir zunächst die echtzeitfähige Integration von Sensorbeobachtungen in dichte, dreidimensionale Modelle. Im zweiten Schritt bestimmen wir die optimalen Aufnahmepositionen des Sensors, um die unbekannte Umgebung so effizient wie möglich zu rekonstruieren. Anschließend präsentieren wir eine Methodik zur Rekonstruktion von 3D-Modellen, die im Gegensatz zu klassischen Ansätzen keine vollständig statische Umgebung voraussetzt. Mit der entwickelten Methodik zielen wir insbesondere auf langfristige Veränderungen innerhalb der Szene ab und präsentieren einen Ansatz zur deren echtzeitfähigen Identifikation und Integration in ein bestehendes 3D-Modell. Abschließend adressieren wir die Identifikation von dynamischen Elementen innerhalb der Szene sowie deren Behandlung während der Messung.
Im ersten Teil dieser Arbeit präsentieren wir unter Annahme einer statischen Umgebung eine Methodik zur Lösung der beiden erstgenannten Aufgabenstellungen, die eine echtzeitfähige Rekonstruktion von 3D-Modellen basierend auf einem kommerziellen RGB-D Sensor ermöglicht. Der vorgestellte Ansatz zeichnet sich insbesondere durch eine hohe Effizienz hinsichtlich der Laufzeit und des Speicherbedarfs aus. Darüber hinaus ist unsere Methode insbesondere robust gegenüber Szenen in denen strukturelle Merkmale unzureichend vertreten sind. Zusätzlich stellen wir eine Methodik zur iterativen Berechnung der nächstbesten Aufnahmepositionen vor, welche die aus den Messungen erhaltene Information maximiert. Der vorgestellte Ansatz ist für Kleindrohnen, auch micro aerial vehicles (MAV) genannt, optimiert und berücksichtigt deren spezifischen Beschränkungen.
Im zweiten Teil dieser Arbeiten präsentieren wir eine Methodik für nichtstatische Umgebungen und adressieren die beiden letztgenannten Aufgabenstellungen. Basierend auf einer kurzen Bildsequenz identifiziert unser Ansatz Regionen des 3D-Modells, die von langfristigen Veränderungen innerhalb der Szene betroffen sind. Die von uns vorgestellte Methodik läuft echtzeitfähig auf einem Roboter, der basierend auf dieser Information explizit die von Veränderungen betroffenen Regionen berücksichtigen kann. Abschließend präsentieren wir eine echtzeitfähige Methodik zur Rekonstruktion dreidimensionaler Modelle innerhalb dynamischer Umgebungen, die nicht-statische Elemente identifiziert und aus den Messungen herausfiltert.
Insgesamt leistet diese Arbeit mehrere Beiträge im Kontext der roboterbasierten Rekonstruktion dreidimensionaler Modelle sowie dem Umgang mit Veränderungen innerhalb der Szene. Im Vergleich zum aktuellen Stand der Technik ermöglichen die in unserer Arbeit vorgestellten Ansätze ein robusteres, echtzeitfähiges Tracking von RGB-D Sensoren sowie die Behandlung von dynamischen Elementen. Darüber hinaus präsentieren wir eine effizientere Technik zur Auswahl der Aufnahmepositionen für die Exploration der Umgebung mittels MAV sowie eine effiziente, echtzeitfähige Identifikation von Veränderungen innerhalb der Szene basierend auf 3D-Modellen aus Bilddaten, die wesentlich schneller ist als vergleichbare bestehende Methoden. In Bezug auf Robustheit und Effizienz erweitert unsere Methodik damit den aktuellen Stand der Technik.
dc.language.isoeng
dc.rightsIn Copyright
dc.rights.urihttp://rightsstatements.org/vocab/InC/1.0/
dc.subject3D reconstruction
dc.subjectmobile robot
dc.subject.ddc620 Ingenieurwissenschaften und Maschinenbau
dc.subject.ddc526.982 Fotogrammetrie
dc.titleActive 3D Reconstruction for Mobile Robots
dc.typeDissertation oder Habilitation
dc.publisher.nameUniversitäts- und Landesbibliothek Bonn
dc.publisher.locationBonn
dc.rights.accessRightsopenAccess
dc.identifier.urnhttps://nbn-resolving.org/urn:nbn:de:hbz:5-57126
ulbbn.pubtypeErstveröffentlichung
ulbbnediss.affiliation.nameRheinische Friedrich-Wilhelms-Universität Bonn
ulbbnediss.affiliation.locationBonn
ulbbnediss.thesis.levelDissertation
ulbbnediss.dissID5712
ulbbnediss.date.accepted2019-12-19
ulbbnediss.instituteLandwirtschaftliche Fakultät : Institut für Geodäsie und Geoinformation (IGG)
ulbbnediss.fakultaetLandwirtschaftliche Fakultät
dc.contributor.coRefereeGiguère, Philippe


Dateien zu dieser Ressource

Thumbnail

Das Dokument erscheint in:

Zur Kurzanzeige

Die folgenden Nutzungsbestimmungen sind mit dieser Ressource verbunden:

InCopyright