Extrinsic Calibration and Ego-Motion Estimation for Mobile Multi-Sensor Systems

Abstract

Autonomous robots and vehicles are often equipped with multiple sensors to perform vital tasks such as localization or mapping. The joint system of various sensors with different sensing modalities can often provide better localization or mapping results than individual sensor alone in terms of accuracy or completeness. However, to enable improved performance, two important challenges have to be addressed when dealing with multi-sensor systems. Firstly, how to accurately determine the spatial relationship between individual sensor on the robot? This is a vital task known as extrinsic calibration. Without this calibration information, measurements from different sensors cannot be fused. Secondly, how to combine data from multiple sensors to correct for the deficiencies of each sensor, and thus, provides better estimations? This is another important task known as data fusion. <br /> The core of this thesis is to provide answers to these two questions. We cover, in the first part of the thesis, aspects related to improving the extrinsic calibration accuracy, and present, in the second part, novel data fusion algorithms designed to address the ego-motion estimation problem using data from a laser scanner and a monocular camera. <br /> In the extrinsic calibration part, we contribute by revealing and quantifying the relative calibration accuracies of three common types of calibration methods, so as to offer an insight into choosing the best calibration method when multiple options are available. Following that, we propose an optimization approach for solving common motion-based calibration problems. By exploiting the Gauss-Helmert model, our approach is more accurate and robust than classical least squares model. <br /> In the data fusion part, we focus on camera-laser data fusion and contribute with two new ego-motion estimation algorithms that combine complementary information from a laser scanner and a monocular camera. The first algorithm utilizes camera image information to guide the laser scan-matching. It can provide accurate motion estimates and yet can work in general conditions without requiring a field-of-view overlap between the camera and laser scanner, nor an initial guess of the motion parameters. <br /> The second algorithm combines the camera and the laser scanner information in a direct way, assuming the field-of-view overlap between the sensors is substantial. By maximizing the information usage of both the sparse laser point cloud and the dense image, the second algorithm is able to achieve state-of-the-art estimation accuracy. Experimental results confirm that both algorithms offer excellent alternatives to state-of-the-art camera-laser ego-motion estimation algorithms.

Autonome Roboter und Fahrzeuge sind oft mit mehreren Sensoren ausgerüstet, um essentielle Aufgaben wie Lokalisierung und Kartierung durchzuführen. Ein gemeinsames System verschiedener Sensoren mit unterschiedlichen Messprinzipien liefert oft eine erhöhte Genauigkeit und Zuverlässigkeit bezüglich der Lokalisierung und Kartierung im Vergleich zu Ansätzen mit nur einem Sensor. Um jedoch eine Verbesserung zu erreichen müssen zwei Herausforderungen bei der Verwendung von Mehrsensorsystemen bewältigt werden. Erstens, wie kann die relative Transformation zwischen den verschiedenen Sensoren bestimmt werden? Diese Aufgabe ist als extrinsische Kalibrierung bekannt. Ohne diese Information können die verschiedenen Sensorinformationen nicht kombiniert werden. Zweitens, wie sollen die Daten der verschiedenen Sensoren zur Korrektur der Defizite der einzelnen Sensoren kombiniert werden? Diese wichtige Aufgabe wird als Datenfusion bezeichnet.<br /> Der Kern dieser Dissertation ist es Antworten auf diese zwei Fragestellungen zu geben. Im ersten Teil der Arbeit werden Aspekte zur Verbesserung der Genauigkeit der extrinsischen Kalibrierung behandelt und vorgestellt. Im zweiten Teil werden neuartige Algorithmen zur Fusion von Laser- und Kameradaten für die Schätzung der Eigenbewegung der Sensoren vorgestellt.<br /> Im Teil zur extrinsischen Kalibrierung ist die Offenlegung und Quantifizierung der relativen Kalibrierungsgenauigkeit von drei verbreiteten Typen der Kalibrierung ein Beitrag, der Rückschlüsse zur Wahl einer bestimmten Methodik ermöglicht. Basierend auf diesen Erkenntnissen wird ein Optimierungsverfahren zur Lösung des gemeinhin als AX=XB bekannten Kalibrierungsproblems vorgeschlagen. Durch Verwendung des Gauss-Helmert Model ist unser Ansatz genauer und robuster als herkömmlich verwendete klassische kleinste Quadrate Ansätze.<br /> Im Teil zur Sensordatenfusion fokussieren wir auf die Fusion von Kamera und Laserdaten und stellen zwei Beiträge zur Bewegungsschätzung der Eigenbewegung der komplementären Sensorinformationen vor. Beim ersten Ansatz werden die Vorteile beider Sensoren ausgenutzt – die Fähigkeit der Kamera zur guten Bestimmung von Rotationen der Kamera und die Möglichkeit des Lasersensors zur Bestimmung der Skala durch Registrierung von dreidimensionalen Punktwolken. Solch ein Ansatz funktioniert mit beliebigen Sensorkonfigurationen, selbst wenn die Sichtfelder der Sensoren nicht überlappen. Der zweite Ansatz fusioniert die Sensorinformationen direkt, wobei eine Überlappung der Sichtfelder der Sensoren angenommen wird. Durch Maximierung der Ausnutzung der Sensorinformationen sowohl der dünnbesetzten Laserdaten als auch der dichten Kamerabilder ist unser Ansatz in der Lage hervorragende Ergebnisse bei der Schätzung der Eigenbewegung zu erreichen. Der experimentelle Vergleich mit aktuellen Methoden zeigt, dass vorgestellte Algorithmen eine gute Alternative darstellen.