Spatio-Temporal Perception for Mobile Robots in Dynamic Environments

Abstract

Robotic systems have the potential to revolutionize operations in environments that are too dangerous, intricate, or demanding for humans. These environments pose notable challenges due to their dynamic and often unpredictable nature, requiring robots to identify and adapt to short- and long-term changes. By leveraging advanced perception capabilities, robots can address critical tasks such as preventing accidents by detecting and reacting to vulnerable road users. They can also autonomously transport humans and goods while adapting to evolving demands, carrying out time-consuming tasks like crop monitoring, or accomplishing dangerous missions like disaster response. Robots can execute tasks more efficiently and safely by overcoming human limitations such as fatigue, inattention, or restricted sensory perception. <br /> In these scenarios, mobile robots typically operate autonomously, continuously perceiving their environment to estimate both their internal state and the state of their surroundings. They usually rely on sensors like global navigation satellite system receivers, cameras, radar sensors, inertial measurement units, or LiDAR scanners. Key tasks include building maps of the environment, localizing in such maps, or segmenting different classes like cars, buildings, or traffic signs. Urban environments are often complex and dynamic, containing moving objects like humans or undergoing structural changes. To solve such tasks, a mobile robot must possess both spatial awareness and spatio-temporal perception - an understanding of how the environment evolves and what is changing in it explicitly. A major challenge these approaches encounter is the unknown nature of the environment beforehand, which requires the system to be highly robust and able to generalize across different sensor configurations and settings. <br /> This thesis focuses on two main questions when deploying mobile robots in unknown and dynamic environments: “What is moving?” and “Where is an object moving to?”. We must process and interpret spatial and temporal data to address these. First, knowing which parts of the environment belong to moving objects is an essential spatio-temporal perception task for online path planning. For example, moving objects occupy space only temporarily, meaning we can consider the space again traversable for planning after the object has moved. Moving objects can also advance into areas previously regarded as free, causing potential collisions with our planned trajectory. Second, we are interested in estimating the future state of the surroundings. This prediction enables us to, for example, properly plan a future path that reflects the future behavior of other traffic participants.

Roboter haben das Potenzial, Aufgaben in Umgebungen zu übernehmen, die für Menschen zu gefährlich, komplex oder anspruchsvoll sind. Solche Umgebungen stellen aufgrund ihrer dynamischen und oft unvorhersehbaren Natur besondere Herausforderungen dar. Mobile Systeme müssen daher in der Lage sein, kurz- und langfristige Veränderungen in ihrer Umwelt zu erkennen und entsprechend darauf zu reagieren. Mithilfe intelligenter Wahrnehmungssysteme können Roboter Unfälle verhindern, indem sie beispielsweise andere Verkehrsteilnehmer erkennen und rechtzeitig Ausweichmanöver einleiten. Zudem können sie autonom Personen und Güter transportieren, zeitaufwändige Aufgaben wie die Überwachung von Pflanzenwachstum übernehmen oder gefährliche Missionen im Katastrophenschutz durchführen. Generell erledigen Roboter Aufgaben effizienter und sicherer als Menschen, die durch Müdigkeit, Unaufmerksamkeit oder eingeschränkte Sinneswahrnehmungen beeinträchtigt sein können. <br /> In den genannten Szenarien arbeiten mobile Roboter in der Regel autonom und nehmen kontinuierlich ihre Umgebung wahr, um sowohl ihren internen Zustand als auch die Umwelt zu analysieren. Dazu nutzen sie Sensoren wie globale Navigationssatellitensysteme, Kameras, Radarsensoren, inertiale Messeinheiten oder LiDAR-Scanner. Zu den wichtigsten Aufgaben gehören die Erstellung von Karten, die Lokalisierung in diesen Karten und die Segmentierung von Sensordaten in Klassen wie Autos, Gebäude oder Verkehrsschilder. Um diese Aufgaben effektiv zu lösen, muss ein mobiler Roboter seine komplexe und dynamische Umgebung sowohl räumlich als auch zeitlich wahrnehmen. Dazu analysiert er bewegte Objekte wie Menschen und erkennt gleichzeitig strukturelle Veränderungen der Umwelt. Eine besondere Herausforderung ist, dass weder die Beschaffenheit der Umgebung noch die Eigenschaften der Objekte im Vorfeld bekannt sind. Dies erfordert eine hohe Robustheit der Systeme gegenüber Unsicherheiten sowie die Fähigkeit, über verschiedene Sensorkonfigurationen hinweg zu generalisieren. <br /> Diese Arbeit konzentriert sich auf zwei zentrale Fragen beim Einsatz mobiler Roboter in unbekannten und dynamischen Umgebungen: “Was bewegt sich?” und “Wohin bewegt sich ein Objekt?”. Um diese zu beantworten, verarbeiten und interpretieren wir räumliche und zeitliche Daten. Erstens müssen wir bewegte Objekte identifizieren, da diese temporäre Hindernisse für die Online-Pfadplanung darstellen. Zweitens ist es notwendig, den zukünftigen Zustand der Umgebung zu schätzen, um beispielsweise einen Pfad zu planen, der das zukünftige Verhalten anderer Verkehrsteilnehmer berücksichtigt.