Machine learning approaches for adaptive optics in microscopy

Abstract

Microscopic imaging is an essential tool for science. For instruments that operate close to the physically possible diffraction limit, a main remaining challenge are aberrating operating conditions. For microscopy, such conditions are routinely encountered for example in biology, where tissue samples induce increasingly stronger aberrations with increasing imaging depth. Similar problems are also encountered in astronomy where atmospheric turbulences hinder ground-based telescopes. <br /> Adaptive optics – a method originally developed for earthbound telescopes – can be applied in microscopy to compensate for sample-induced aberrations. However, a major challenge for microscopy lies in measuring aberrations and therefore in finding wavefront corrections. <br /> This thesis presents machine learning methods developed for aberration sensing and correction compatible with two-photon laser scanning microscopy. A first approach uses deep learning with labelled datasets of focus images and corresponding aberrations. These datasets were created using a spatial light modulator, and were then used to train neural networks for detecting the aberrations in the system. A second approach for adaptive optics was developed that uses optimization of a forward model to infer the unknown aberration. This technique relies on a mathematical model of image formation, including initially unknown aberration parameters. The actual aberrated system was probed by controlled light modulations and the computational model was matched to observations using gradient-based optimization, which was efficiently implemented using a machine learning framework with automatic differentiation and GPU-accelerated computing. This method was first demonstrated in a proof-of-principle experiment in two different configurations with scattered light and then using fluorescence in a two-photon laser scanning microscope.

<strong>Maschinelles Lernen für adaptive Optik in der Mikroskopie</strong> <br /> Die mikroskopische Bildgebung ist ein wichtiges Tool für die Wissenschaft. Für Instrumente, die nahe an der physikalisch möglichen Beugungsgrenze arbeiten, sind aberrierende Betriebsbedingungen eine große Herausforderung. In der Mikroskopie sind solche Bedingungen z. B. in der Biologie an der Tagesordnung, wo Gewebeproben mit zunehmender Abbildungstiefe immer stärkere Aberrationen hervorrufen. Ähnliche Probleme treten auch in der Astronomie auf, wo atmosphärische Turbulenzen bodengestützte Teleskope behindern. <br /> Die adaptive Optik - eine ursprünglich für erdgebundene Teleskope entwickelte Methode - kann in der Mikroskopie eingesetzt werden, um probenbedingte Aberrationen zu kompensieren. Eine große Herausforderung für die Mikroskopie liegt jedoch in der Messung von Aberrationen und damit in der Ermittlung von Wellenfrontkorrekturen. <br /> In dieser Arbeit werden Methoden des maschinellen Lernens vorgestellt, die für die Erkennung und Korrektur von Aberrationen entwickelt wurden und mit der Zwei-Photonen-Laser-Scanning-Mikroskopie kompatibel sind. Ein erster Ansatz verwendet Deep Learning mit gelabelten Datensätzen von Fokusbildern und entsprechenden Aberrationen. Diese Datensätze wurden mit einem räumlichen Lichtmodulator erstellt und dann zum Trainieren neuronaler Netze zur Erkennung der Aberrationen im System verwendet. Ein zweiter Ansatz für die adaptive Optik wurde entwickelt, der die Optimierung eines Vorwärtsmodells zur Ableitung der unbekannten Aberration nutzt. Diese Technik stützt sich auf ein mathematisches Modell der Bilderzeugung, das auch die ursprünglich unbekannten Aberrationsparameter enthält. Das tatsächliche aberrierte System wurde durch kontrollierte Lichtmodulationen untersucht, und das Berechnungsmodell wurde mit Hilfe einer gradientenbasierten Optimierung an die Beobachtungen angepasst, die mit Hilfe eines maschinellen Lernsystems mit automatischer Differenzierung und GPU-beschleunigter Berechnung effizient umgesetzt wurde. Diese Methode wurde zunächst in einem Proof-of-Principle-Experiment in zwei verschiedenen Konfigurationen mit Streulicht und anschließend mit Fluoreszenz in einem Zwei-Photonen-Laser-Scanning-Mikroskop demonstriert.