Integration von hyperspektralen Merkmalen und 3D-Geometrie für die Klassifikation von Pflanzenstressprozessen

Abstract

Hyperspektrale Kameras eröffnen neue Zugänge zur nicht-invasiven Beobachtung physiologischer Prozesse in der Pflanze, die zu einem tieferen Verständnis von Stresstoleranz und Ertragsbildung beitragen können, wenn es gelingt die Sensoren richtig zu modellieren und die Signale angemessen zu interpretieren. Diese Arbeit adressiert drei Teilprobleme: die Modellierung der Stressausbreitung durch ein ordinales Klassifikationsmodell, die geometrische Kalibrierung der hyperspektralen Kameras und die Verknüpfung geometrischer und spektraler Informationen für die Verbesserung des Signal-zu-Rausch-Verhältnisses.<br /> Ausgangspunkt waren die folgenden Randbedingungen für die Stressdetektion in hyperspektralen Bildern: Da die Auswirkungen von Stress im frühen Stadium für das bloße Augen unsichtbar sind, fehlen als Voraussetzung für überwachte Lernverfahren Labelinformationen auf Pixelebene. Darüber hinaus beeinflusst die Pflanzengeometrie als Störgröße das beobachtete Reflektanzspektrum, sodass der relevante pflanzen-physiologische Parameter im Signal überlagert werden kann.<br /> Das ordinale Klassifikationsmodell basiert auf unüberwacht gewonnenen Labelinformationen und erfasst auch frühe, noch unsichtbare Anzeichen. Dieses Analysemodell wurde im Hinblick auf Echtzeitfähigkeit durch Einbeziehung der spezifischen Eigenschaften der Trockenstressreaktion entwickelt. Es ermöglicht den Einsatz linearer Support Vektor Maschinen in optimierten Merkmalsräumen und erfasst auch Zwischenstadien der Trockenstressreaktion. Repräsentative Trainingsdaten mit geringem Messrauschen werden unter Nutzung des kontinuierlichen Ausbreitungsmusters der Reaktion gewonnen, indem diese nur aus ausgewählten Bildregionen mit homogenem Reflektanzverhalten extrahiert werden. Bei der frühen Erkennung von Trockenstress auf Gerste zeigte sich dieses vollautomatische Verfahren gegenüber allen etablierten Vegetationsindizes als deutlich überlegen und detektierte den Trockenstress signifikant früher als z.B. der bekannte NDVI.<br /> Es wird ein geometrisches Kalibrierverfahren für hyperspektrale Pushbroom-Kameras vorgestellt und dieses zur Kombination der 3D-Pflanzenmodelle mit den Hyperspektralbildern genutzt. Das Kalibrierverfahren für den Nahbereich nutzt ein zu diesem Zweck entworfenes Referenzobjekt und erweitert das lineare Kameramodell um einen nicht-linearen Term auf Basis von Polynomen. Dieser Ansatz ermöglicht die Verknüpfung der Hyperspektralbilder mit den 3D-Modellen auf Ebene einzelner Pixel und somit die Erstellung hyperspektraler 3D-Pflanzenmodelle mit Subpixelgenauigkeit.<br /> Es wurden drei Modelle zur Integration der 3D-Merkmale Neigung und Distanz in die Analyse des hyperspektralen Signals entwickelt und verglichen. Der Effekt der distanzabhängigen Beleuchtungsstärke wird durch ein funktionales Modell im Signal korrigiert. Die Neigung wird in einem maschinellen Lernverfahren zur Reduktion der Geometrieeffekte im Prädiktionsergebnis hinzugezogen. Der geometrische Zusammenhang zwischen Anzahl der Pixel und Blattoberfläche wird zur Interpretation von Prädiktionsergebnissen modelliert. Das in dieser Arbeit vorgestellte ordinale Klassifikationsverfahren ermöglicht eine frühzeitige und ressourceneffiziente Detektion von Trockenstress. Durch die Kamerakalibrierung wurden erstmals die Effekte der Pflanzengeometrie im Nahbereich und auf Ebene einzelner Pixel untersucht und bei der Interpretation von Hyperspektralbildern berücksichtigt. Diese Modelle und Methoden unterstützen die Datenanalyse hyperspektraler Kameras, eine Technologie, die Prozesse beobachten kann, ohne ihre Entwicklung zu beeinflussen.

<strong>Integration of hyperspectral features and 3D geometry for the classification of stress processes in plants</strong><br /> Hyperspectral cameras create new points of access for the non-invasive observation of physiological processes in plants. They can contribute to a deeper understanding of stress tolerance and yield building, if the sensors are correctly modeled and the signals are interpreted in a suitable way. This work addresses three parts of the task: modeling the stress dispersion by an ordinal classification model, the geometric calibration of hyperspectral cameras and the integration of geometric and spectral information for the improvement of signal-to-noise-ratio.<br /> This work is motivated by two restrictions: as the effects of stress in an early stage are invisible for the human eye, label information is missing, which is a prerequisite for supervised learning methods. Moreover, the plants' geometry influences the observed reflectance spectra as a noise factor in a way that can cover the relevant plant-physiological parameter in the signal. The ordinal classification model is based on unsupervised generated label information and, therefore, recognizes also the early, still invisible stress signs. This analysis model was designed with regard to realtime capabilities by including the specific characteristics of the drought stress reaction. It allows the application of linear Support Vector Machines in optimized feature spaces and captures also transfer states of the drought stress reaction. Representative training data with low noise level are derived by using the continuous distribution pattern of the reaction. They are only extracted from selected image regions with homogeneous reflectance characteristics. For the early detection of drought stress on barley, this fully automatic method outperforms all established Vegetation Indices and detects drought stress significantly earlier as for example the well-known NDVI.<br /> A geometric calibration method for hyperspectral pushbroom cameras is presented and it is used for the combination of 3D plant models with hyperspectral images. The close-range calibration method is based on a reference object designed for this purpose and extends the linear camera model by a non-linear term based on polynomials. This approach allows the referencing of hyperspectral images and 3D plant models at the scale of single pixels and the generation of hyperspectral 3D plant models with sub-pixel accuracy.<br /> Three models for the integration of the 3D features inclination and distance into the analysis of the hyperspectral signal were developed and compared. The effect of distance dependent illumination is correct by a functional model in the signal. The inclination is used in a machine learning method for reducing the geometry effects in the predictions. The geometric relation between number of pixels and leaf surface area is modeled for improved interpretation of prediction results.<br /> The introduced ordinal classification method enables an early and resource efficient detection of drought stress. Using the camera calibration, the effects of the plants' geometry are investigated in the close range as well as on the scale of single pixels for the first time and regarded for the interpretation of hyperspectral images. These models and methods support the data analysis for hyperspectral cameras, a method that observes processes without interfering with them.