Localization and Mapping for Autonomous Vehicles Using Radar

Abstract

Human error remains the leading cause of road fatalities. By minimizing human intervention behind the wheel, autonomous vehicles aim to reduce traffic accidents and provide a safer means of transportation. These vehicles must know their precise location to navigate reliably within an environment. Without accurate localization, trajectory planning and obstacle avoidance systems will have an incorrect estimate of the vehicle's state, potentially leading to a collision. <br/>

Although localization is commonly achieved using global navigation satellite systems, satellite visibility is limited in areas with tall skyscrapers and indoor settings such as tunnels and parking garages. Therefore, autonomous cars also need the ability to estimate their own position and orientation solely leveraging local sensing and previously recorded maps of the environment, without relying on satellite availability. Onboard localization and mapping are typically achieved using cameras or LiDAR sensors. Cameras, however, are affected by low light and adverse weather conditions, and the performance of LiDARs degrades in challenging weather scenarios such as heavy rain, fog, and snow. On the contrary, radar sensors are resilient to environmental conditions and are already integrated into consumer vehicles today. Additionally, automotive radars also provide velocity information and the radar cross section of the measured targets, which can be leveraged to enhance localization performance. As a downside, these sensors produce a sparse and noisy point cloud compared to LiDAR data, resulting in challenges for sensor-based pose estimation. Although some works on radar localization and mapping already exist, these methods face limitations at high noise levels and with the limited number of points present in radar scans. Moreover, they do not exploit the specific properties of radar sensing. <br/>

In this thesis, we push the boundaries of radar localization and mapping for autonomous vehicles by introducing novel and impactful techniques specifically designed for automotive radar sensors. We begin by estimating the pose of the vehicle and creating a map of the environment over time. To achieve this, we propose novel algorithms that exploit the sparsity of automotive radar scans and their associated Doppler velocities, yielding accurate pose estimates. Due to the low vertical resolution of automotive radars, we observe that localization performance degrades when there are changes in elevation. To address this limitation, we propose an approach that exploits the radar properties to extract road features, enhancing accuracy during slope variations. We further improve pose estimation performance by introducing an additional inertial measurement unit into the system. While these strategies achieve high short-term accuracy, errors can accumulate over long trajectories, leading to inconsistencies in large-scale maps. Therefore, we develop a radar-specific module that performs place recognition to identify previously visited locations. We integrate this information within a novel radar-inertial simultaneous localization and mapping system, achieving accurate online pose estimation and producing consistent maps. To record and combine different regions of the drivable area at various points in time, we propose a multi-session mapping system that merges multiple maps. Our proposed approach also accounts for temporal changes in the environment, such as parked cars and new constructions. This is crucial for maintaining a long-term, accurate representation of the environment. Moreover, our technique accurately localizes within previously recorded radar maps with minimal accumulated error. <br/>

Our proposed estimation approaches achieve state-of-the-art results on automotive radar data. Additionally, we present one of the first place recognition methods explicitly tailored for automotive radar sensors, capable of generalizing to different datasets. We also present one of the first long-term map construction and localization techniques for automotive radars. All of our approaches have been evaluated on public datasets and have been published in peer-reviewed conferences and journals. Some of our methods have also been open-sourced, collectively enhancing the capabilities of safe localization and mapping for autonomous vehicles using radar.

Menschliches Versagen ist nach wie vor die häufigste Ursache für tödliche Verkehrsunfälle. Durch die Minimierung menschlicher Eingriffe im Straßenverkehr sollen autonome Fahrzeuge Verkehrsunfälle reduzieren und ein sichereres Transportmittel bieten. Um sich zuverlässig in einer Umgebung zu bewegen, müssen autonome Fahrzeuge ihre genaue Position kennen. Ohne genaue Lokalisierung sind die Trajektorienplanung und Hindernisvermeidung nicht möglich, was schwerwiegende Folgen haben kann. <br/>

Obwohl die Lokalisierung in der Regel mithilfe globaler Navigationssatellitensysteme erfolgt, ist die Verfügbarkeit von verlässlicher Satellitenkommunikation in Gebieten mit Wolkenkratzern sowie in Tunneln und Parkhäusern eingeschränkt. Daher müssen autonome Fahrzeuge in der Lage sein, ihre eigene Position und Ausrichtung ausschließlich anhand von Bordsensoren und zuvor aufgezeichneten Karten der Umgebung zu ermitteln. Die Lokalisierung und Kartierung erfolgt in der Regel mit Kameras oder LiDAR-Sensoren. Kameras werden jedoch durch schlechte Lichtverhältnisse und widrige Wetterbedingungen beeinträchtigt, was die Lokalisierung erheblich verschlechtert. Die Leistungsfähigkeit von LiDAR-Sensoren hängt ebenfalls von Wetterbedingungen ab und wird negativ von starkem Regen, Nebel und Schnee beeinflusst. Radarsensoren, die bereits heute in Serienfahrzeugen verfügbar sind, sind unempfindlich gegenüber veränderten Lichtverhältnissen und Wetterbedingungen. Darüber hinaus liefern Radarsensoren auch Geschwindigkeitsinformationen und den Radarquerschnitt der erfassten Objekte, die zur Verbesserung der Lokalisierung und Kartierung genutzt werden können. Der Nachteil ist jedoch, dass Radarsensoren eine Punktwolke ausgeben, die im Vergleich zu LiDAR-Daten spärlich und verrauscht ist, was zu Herausforderungen bei der sensorbasierten Posen-schätzung führt. Obwohl es bereits einige Arbeiten zur Lokalisierung und Kartierung auf Basis von Punktwolken gibt, stoßen diese Methoden bei starkem Rauschen und der geringen Anzahl von Punkten in Radarpunktwolken an ihre Grenzen. Darüber hinaus nutzen sie nicht die spezifischen Informationen der Radarsensoren, wie die gemessenen Dopplergeschwindigkeit und Radarquerschnitte von Objekten, aus. <br/>

In dieser Arbeit erweitern wir die Möglichkeiten der Radarlokalisierung und Kartierung für autonome Fahrzeuge, indem wir neuartige und wirkungsvolle Techniken einführen, die speziell für Radarsensoren entwickelt wurden. Wir beginnen mit der Schätzung der Position des Fahrzeugs und erstellen im Laufe der Zeit eine Karte der Umgebung. Um dies zu erreichen, entwickeln wir neuartige Algorithmen, welche die spärliche Beschaffenheit von Radarpunktwolken und die damit verbundenen Dopplergeschwindigkeiten nutzen und zu genaueren Positionsschätzungen führen. Aufgrund der geringen vertikalen Auflösung von Radarsensoren stellen wir fest, dass sich die Lokalisierungsgenauigkeit bei Höhenänderungen verschlechtert. Um diese Einschränkung zu bewältigen, schlagen wir einen Ansatz vor, der die Radareigenschaften nutzt, um Merkmale der Straße zu extrahieren und so die Genauigkeit bei Neigungsänderungen zu verbessern. Wir verbessern die Genauigkeit der Position weiter, indem wir eine zusätzliche inertiale Messeinheit in das System integrieren. Diese Strategien erzielen zwar kurzfristig eine hohe Genauigkeit, jedoch können sich Fehler über lange Strecken akkumulieren, was zu Inkonsistenzen in großflächigen Karten führt. Daher entwickeln wir ein radarspezifisches Modul, das eine Ortserkennung durchführt, um bereits zuvor besuchte Orte zu identifizieren. Wir integrieren diese Informationen in ein neuartiges radar-inertiales System zur simultanen Lokalisierung und Kartierung, wodurch eine genaue Posen-Schätzung erreicht wird und konsistente Karten erstellt werden. Um verschiedene Bereiche des befahrbaren Gebiets zu unterschiedlichen Zeitpunkten aufzuzeichnen und zu kombinieren, schlagen wir ein Multi-Session-Kartierungssystem vor, das mehrere Karten zusammenführt. Unser Ansatz berücksichtigt dabei auch zeitliche Veränderungen in der Umgebung, wie geparkte Autos und Neubauten. Dies ist entscheidend für die Aufrechterhaltung einer langfristigen, genauen Darstellung der Umgebung. Darüber hinaus ist unsere Methode in der Lage, sich innerhalb zuvor aufgezeichneter Radarkarten mit minimalem kumulativem Fehler genau zu lokalisieren. <br/>

Abschließend lässt sich festhalten, dass unsere Ansätze zu wesentlichen Fortschritten und der Verbesserung des Standes der Technik für die Lokalisierung und Kartierung mittels Radarsensoren beitragen. Darüber hinaus stellen wir eine der ersten Methoden zur Ortserkennung vor, die speziell auf Radarsensoren für autonome Fahrzeuge zugeschnitten ist und auf verschiedene Datensätze übertragen werden kann. Außerdem stellen wir eine der ersten Techniken zur langfristigen Kartenerstellung, Kartenwartung und Lokalisierung vor. Alle in dieser Arbeit vorgestellten Ansätze wurden anhand öffentlicher Datensätze evaluiert und in begutachteten Konferenzbeiträgen und Zeitschriftenartikeln veröffentlicht. Einige unserer Methoden wurden auch als Open-Source-Software veröffentlicht, wodurch insgesamt die Möglichkeit zur sicheren Lokalisierung und Kartierung für autonome Fahrzeuge unter Verwendung von Radar verbessert wird.