Radar-Based Scene Understanding for Autonomous Vehicles

Abstract

Autonomous vehicles have the potential to revolutionize transportation by redmoving instance segmentation leverages the advantages of radar sensors and leads to exceptional results, the predictions are ideal for enhancing scene understanding further. We propose an algorithm to utilize moving instance predictions and reliably associate agents over time, including the tracking of distant objects thatucing accidents caused by human errors, improving efficiency, and enhancing mobility for everyone. Dynamic real-world environments impose several challenges, including varying lighting conditions, adverse weather, and interactions with diverse road users. Therefore, the reliable perception of the surroundings under changing conditions is a fundamental task for safe navigation in dynamic real-world environments. Common perception stacks of modern autonomous driving systems comprise different sensors, such as cameras, LiDARs, and radar sensors, to leverage the advantages and mitigate the limitations of the individual modalities. Cameras and LiDARs face limitations in adverse weather conditions, including rain, fog and snow. Therefore, radar sensors, which work under these conditions, are critical to enable safe mobility. Radar sensors provide sparse point clouds to locate and identify objects within the surroundings of the autonomous vehicle. Each point in the cloud also contains additional information, such as the Doppler velocity, which is the radial velocity of the object. Consequently, radar point clouds include relevant information to differentiate between moving and static instances within the environment. Dedicated algorithms capable of handling sparse and noisy radar point clouds are fundamental to extracting high-level information. <br/> The main contributions of this thesis are novel and impactful approaches that process radar point clouds to improve scene understanding of autonomous vehicles in real-world environments. We focus on several tasks that contribute to the perception and understanding of the environment. We start with semantic segmentation to extract information about the corresponding classes of objects in radar point clouds. In the second step, we propose a novel approach to address moving object segmentation, which benefits from the fact that a binary classification simplifies the overall segmentation compared to general semantic segmentation. The task is well suited for radar data because of the provided Doppler velocity. Based on the reliable segmentation of moving objects, we develop a novel algorithm for instance segmentation to distinguish individual objects within a scene. The resulting segmentation of moving instances improves scene understanding and includes knowledge about the number of agents. <br/> Since only comprise one point. We further use the predictions to predict the semantics of the individual instances. Hence, we propose a novel approach that predicts the semantic classes of the individual agents and utilizes the information to refine the instance assignment. <br/> In sum, our approaches show superior performance on various benchmarks, including diverse environments, and provide optimized modules to enhance scene understanding. All of our proposed approaches presented in this thesis were published in peer-reviewed conference papers and journal articles, contributing to the advancements of radar-based scene understanding in real-world environments.

Autonome Fahrzeuge besitzen das Potenzial, den Verkehr grundlegend zu verändern. Sie werden Unfälle aufgrund menschlichen Versagens reduzieren und Mobilität für alle zugänglich machen. Allerdings stellen reale Umgebungen aufgrund von wechselnden Licht- und Wetterverhältnissen sowie komplexen Interaktionen mit Verkehrsteilnehmern eine große Herausforderung für autonome Fahrzeuge dar. Eine zuverlässige Wahrnehmung der Umgebung ist dabei eine wesentliche Grundlage für sichere autonome Fahrfunktionen.<br/> Intelligente Wahrnehmungssysteme autonomer Fahrzeuge umfassen verschiedene Sensoren wie Kameras, LiDAR-Scanner und Radarsensoren, um die Stärken der verschiedenen Modalitäten zu kombinieren. LiDAR-Scanner und Kameras stoßen bei widrigen Wetterbedingungen, wie Regen, Nebel oder Schnee, an ihre Grenzen. Radarsensoren hingegen behalten auch unter diesen Bedingungen ihre Funktionalität und sind daher für eine verlässliche Wahrnehmung der Umgebung entscheidend. Im Gegensatz zu hochauflösenden Lidar-Scannern und Kameras liefern sie jedoch spärliche Punktwolken und werden durch Mehrwegeausbreitung und Interferenzen erheblich beeinträchtigt. Allerdings liefern Radarsensoren auch Dopplergeschwindigkeiten, welche die Unterscheidung zwischen bewegten und statischen Objekten ermöglichen und damit zu einem verbesserten Verständnis der Umgebung beitragen.<br/> Das Ziel dieser Arbeit ist die Entwicklung neuer Ansätze, um das Szenenverständnis von autonomen Fahrzeugen auf Basis von Radar-Punktwolken in realen Umgebungen zu verbessern. Wir beginnen mit der semantischen Segmentierung, um Informationen über die Objektklassen in Radar-Punktwolken zu extrahieren. Neben den semantischen Informationen ist auch die Unterscheidung zwischen statischer Umgebung und bewegten Objekten für eine sichere Navigation unerlässlich. Daher entwickeln wir einen neuen Ansatz zur Segmentierung bewegter Objekte. Auf dieser Grundlage erarbeiten wir einen Algorithmus für die Erkennung von Instanzen, um individuelle Objekte innerhalb einer Szene zu unterscheiden. Die daraus resultierende Segmentierung bewegter Instanzen verbessert das Szenenverständnis und schließt das Wissen über die Anzahl der Verkehrsteilnehmer ein.<br/> Die Segmentierung bewegter Instanzen bildet einen idealen Ausgangspunkt, um das Szenenverständnis weiter zu verbessern. Wir extrahieren zusätzliche Merkmale sowie geometrische Beziehungen, um Instanzen über die Zeit zu assoziieren und zu verfolgen. Unsere Instanzzuordnung funktioniert auch bei der Verfolgung von weit entfernten Objekten zuverlässig. In einem weiteren Ansatz prädizieren wir die semantische Klasse der bewegten Instanzen. Wir entwickeln hierzu einen neuartigen Ansatz, der die semantischen Klassen der einzelnen Agenten vorhersagt und die Informationen zur Optimierung der Instanzzuweisung nutzt.<br/> Abschließend lässt sich festhalten, dass unsere Ansätze zu wesentlichen Fortschritten des Szenenverständnisses in verschiedenen Umgebungen beitragen. Die neuartigen Methoden sind entscheidend, um Radar-Punktwolken zuverlässig zu verarbeiten und lassen sich auf reale Daten übertragen. Alle in dieser Arbeit vorgestellten Ansätze wurden in begutachteten Konferenzbeiträgen und Zeitschriftenartikeln veröffentlicht und tragen zur Weiterentwicklung des radarbasierten Szenenverständnisses in realen Umgebungen bei.