Hyperspectral in-field sensing of foliar diseases of wheat

Abstract

The major aim of this work was to prove the suitability of hyperspectral sensors for the detection of foliar diseases of wheat under field conditions. Hyperspectral sensors, measurement protocols and analysis methods were evaluated both under controlled and field conditions. Findings from controlled conditions were used to gain knowledge about the requirements for successful measurement routines using hyperspectral sensors and to transfer this knowledge to field measurements. Therefore, hyperspectral measurements were performed on different scales, under laboratory conditions (measuring distance 11-45 cm) as well as under field conditions using a ground-based vehicle (50 cm) and an unmanned aerial vehicle (UAV drone) (20 m). <br /> Under controlled conditions, the hyperspectral dynamic of five different foliar diseases of wheat was investigated in detail. Certain spectral changes were found to be characteristic for a specific disease and defined as turning points. The turning points of each disease were combined in a spectral library. The spectral library in combination with algorithms from machine learning was successfully used to detect, identify and quantify the diseases on wheat leaves. A spatial referencing method based on a non-linear 2D polynomial transformation model was developed to perform a retrospective analysis of diseased pixels on wheat leaves. By retrospectively going back in time and automatically choosing the same pixels over different measurement days, an earliest detectability test for different diseases was performed. The pure spore spectra of brown rust and yellow rust were used as input data for a least-squares factorization to differentiate between the two diseases by a signal decomposition. The mixed signal of a diseased plant leaf was decomposed, and the presence of pure spore spectra was detected to identify the disease. A deep learning approach using 3D convolutional neural networks was used to perform a disease detection and identification on hyperspectral data without previous data labelling. <br /> The findings from laboratory experiments were used to conceptualize two measurement field platforms. Data preprocessing routines were developed with the purpose to normalize and process the field data. Bringing the data into a comparable form allows to compare the images of one measurement day and on different measurement dates. The data was analyzed using algorithms from machine learning. A feature selection was performed to describe certain wavebands that can be used for yellow rust detection as most significant disease during vegetation period 2018. The classification of yellow rust was successfully performed both on the ground and UAV scale with high classification accuracies. The outcome of this study proved the suitability, and with further improvement of analysis methods, the potential of hyperspectral sensors for an in-field disease detection in winter wheat.

Das Ziel der vorliegenden Arbeit war es, die Eignung von Hyperspektralsensoren zur Detektion von Blattkrankheiten des Weizens im Feld zu erproben. In Experimenten, durchgeführt unter kontrollierten Bedingungen, wurden Messroutinen etabliert, die eine Übertragung von Hyperspektralmessungen vom Labor in das Feld ermöglichen. Hierfür wurden Messungen auf verschiedenen Skalen durchgeführt. Unter kontrollierten Bedingungen lagen die Messdistanzen zwischen 11-45 cm. Feldmessungen wurden mit einer bodenbasierten Plattform auf 50 cm Messhöhe und einer Drohne auf 20 m Flughöhe durchgeführt. Unter kontrollierten Bedingungen wurden die spektralen Dynamiken von fünf verschiedenen Blattkrankheiten des Weizens detailliert untersucht. Krankheitsspezifische Veränderungen des Pflanzenspektrums konnten identifiziert und als Wendepunkte (Turning Points) für jede individuelle Pathogenese definiert werden. Für diese Wendepunkte der Blattkrankheiten wurde eine spektrale Bibliothek erstellt. Durch die Anwendung der spektralen Bibliothek (eingesetzt als Trainingsdaten für Klassifikationsalgorithmen) auf weitere hyperspektrale Datensätze, war es möglich Krankheiten zu detektieren, zu identifizieren und zu quantifizieren. Mit einer räumlichen Referenzierungsmethode, basierend auf einem 2D polynomialen Transformationsmodell, konnte eine retrospektive Analyse von kranken Pixeln auf Weizenblättern durchgeführt werden. Durch die retrospektive Analyse in Kombination mit einer automatischen Auswahl der gleichen Pflanzenpixel an verschiedenen Messtagen mittels Transformationsmodell, war eine Aussage zur frühestmöglichen Detektierbarkeit einer Krankheit möglich. Die reinen Sporenspektren von Braun- und Gelbrost dienten als Trainingsdaten für eine Methode der kleinsten Quadrate, um zwischen den beiden Krankheiten durch eine Zerlegung des Spektrums in seine reinen Komponenten zu unterscheiden. Zur Bestimmung der Krankheit wurde das Spektrum eines infizierten Blattes faktorisiert und auf Anwesenheit krankheitsspezifischer Signaturen untersucht. Ein Deep Learning Ansatz, basierend auf 3D konvolutionellen neuronalen Netzen, wurde genutzt, um eine Krankheitsdetektion und –identifikation in hyperspektralen Datensätzen durchzuführen, die nicht auf vorherigem Datenlabelling beruht.<br /> Aufbauend auf den Laborergebnissen wurden zwei Feldmessplattformen etabliert. Datenprozessierungsroutinen wurden entwickelt, um Felddaten zu normalisieren und sie in eine vergleichbare Form zu bringen. Dies ermöglichte eine Vergleichbarkeit von Datensätzen, die an verschiedenen Messtagen aufgenommen wurden. Die Datensätze wurden mit verschiedenen Ansätzen des Machine Learning analysiert. Eine Feature Selection wurde durchgeführt, um krankheitsspezifische Wellenlängen für den in Saison 2018 vorherrschenden Gelbrost zu bestimmen und diese zur Detektion im Feld zu nutzen. Die Erkennung von Gelbrost konnte erfolgreich auf beiden Feldplattformen mit einer hohen Gesamtgenauigkeit erreicht werden. Die Erkenntnisse von verschiedenen Skalenebenen zeigen, dass eine Krankheitserkennung mit Hyperspektralsensoren im Feld möglich ist und im Zuge sich stetig verbessernder Analysemethoden ihr großes Potential auf diesem Gebiet entfalten kann.