Efficient Real-Time Calibration and Odometry for Dense Multi-Modal Mapping with UAVs

Abstract

Autonomous robotic systems heavily rely on knowledge about their environment to safely navigate, interact with, and perform search and rescue (SAR) and inspection tasks in real-time. To better understand the robot's surroundings, a flying robot requires fast and robust perception, enabled by complementary sensors. <br/>

However, improper sensor calibration degrades the localization accuracy and reconstruction quality, which may lead to failure of the overall system. The common photometric error assumes a constant brightness, which is regularly violated in the real world and impairs the system's robustness. To restore this photometric consistency, we extract small oriented patches at tracked ORB features and jointly estimate the photometric parameters on keyframes including the exposure change. Our approach densely models the radial intensity fall-off due to vignetting and the camera response function with thin plate splines (TPS) from sparse measurements. To further improve runtime, we establish correspondences via direct gradient-based metrics and propose a novel robust combination of gradient orientation and magnitude, applicable for Visual-SLAM, disparity- and depth estimation. <br/>

Independent of ambient illumination, LiDARs provide accurate distance measurements around the robot even in texture-less environments. Thus, our LiDAR-inertial odometry MARS jointly aligns multi-resolution surfel maps with a Gaussian Mixture Model (GMM) formulation using a continuous-time B-spline trajectory. We accelerate covariance and GMM computation with Kronecker sums and products. An unscented transform (UT) de-skews surfels at runtime, while a timewise splitting into intra-scan segments facilitates motion compensation during spline optimization. Complementary soft constraints on relative poses from robot odometry and preintegrated IMU pseudo-measurements further improve our system's robustness and accuracy. <br/>

For high-level planning in dynamic environments, a signum occupancy function improves the reactivity of our mapping by maintaining a short temporal occupancy window in real-time. In addition, we enrich our dense map with color, thermal signatures, and semantic information using the spline trajectory for accurate and motion-compensated projection. Our semantic fusion further adapts a Bayesian update in logarithmic form for greater numerical stability. <br/>

The methods presented throughout this thesis provide state-of-the-art results on various datasets. As such, our created maps facilitate inspection and SAR while improving decision-making for further downstream tasks. Moreover, our methods are applicable for general dense 3D mapping and localization with, e.g., car-, robot-mounted, or handheld sensor suites.

Autonom-agierende robotische Systeme sind auf eine verlässliche Umgebungswahrnehmung angewiesen, um sicher zu navigieren, mit der Umgebung zu interagieren sowie Such- und Rettungsmissionen (SAR) oder Inspektionsaufgaben durchzuführen. Für Flugroboter hat eine schnelle und robuste Wahrnehmung, unterstützt durch Sensorik mit komplementären Modalitäten, höchste Priorität. Allerdings beeinträchtigt eine fehlerhafte Kalibrierung nicht nur die Genauigkeit der Lokalisierung und Kartierung, sondern kann zum Ausfall des Systems führen. <br/>

In bildbasierten Systemen wird häufig eine konstante Helligkeit zwischen Bildkorrespondenzen angenommen. Jedoch wird diese Annahme in der Realität oft verletzt und reduziert somit die Robustheit der Verfahren. Um die photometrische Konsistenz wiederherzustellen, extrahieren wir kleine orientierte Bildausschnitte an getrackten ORB Merkmalen und schätzen die photometrischen Parameter gemeinsam inklusive der Belichtungsänderung anhand von Keyframes. Unser Ansatz modelliert sowohl Vignettierungsbedingten radialen Intensitätsabfall als auch die Kameraspezifische Antwortfunktion (CRF) mit Hilfe von Thin Plate Splines (TPS) dicht auf Basis von spärlichen Messungen. Zur weiteren Beschleunigung von visuellem SLAM, Disparitäts- und Tiefenschätzung stellen wir die Korrespondenzen direkt mit einer neuen robusten Metrik durch Kombination von Gradientenorientierung und -magnitude her. <br/>

Unabhängig von Lichtverhältnissen oder Textur misst ein LiDAR den Abstand zu Objekten im Sichtfeld sehr genau, womit sich der Sensor gut zur Schätzung der Eigenbewegung eignet. Unsere LiDAR-Inertial-Odometrie MARS registriert mehrere Multiresolutions-Surfel-Karten durch direkte Optimierung einer zeitkontinuierlichen Trajektorie anhand eines Gaußschen Mischmodells (GMM). Hierbei beschleunigen Kronecker Summen und Produkte die GMM- und Kovarianzberechnungen. Eine Unscented Transform (UT) entzerrt Surfel zur Laufzeit während eine temporale Aufteilung in Intra-Scan Segmente die Bewegungskompensation als Teil der Splineoptimierung umsetzt. Komplementäre Nebenbedingungen für relative Posen und vorintegrierte IMU Pseudomessungen erhöhen die Robustheit und Genauigkeit. <br/>

Für die Planung in dynamischen Umgebungen verwenden wir für die Belegtheit eine Signumfunktion, um ein kurzes zeitliches Belegtheitsfenster zu realisieren und so die Reaktivität unserer Karte zu verbessern. Darüber hinaus integrieren wir Semantik, Farb- und Thermalinformationen in unserer dichten 3D Karte unter Berücksichtigung der Kamerabewegung anhand der Splinetrajektorie. Für die semantische Fusion adaptieren wir das Bayes'sche Update in logarithmischer Form zur Verbesserung der numerischen Stabilität. Die Resultate der hier vorgestellten Methoden spiegeln den aktuellen Stand der Kunst auf verschiedenen Datensätzen wider. Als solches, vereinfachen die von unseren Verfahren erstellten Karten die Inspektion sowie Such- und Rettungsmaßnahmen, während gleichzeitig die nachfolgende Entscheidungsfindung verbessert wird. Dabei sind unsere Methoden nicht auf diese Einsatzfälle beschränkt, sondern generell für die dichte 3D-Kartierung und Lokalisierung mit Fahrzeugen, Robotern oder tragbaren Sensorsystemen einsetzbar. <br/>