Contributions to image-based high-throughput phenotyping in viticulture

Abstract

Grapevine is a crop with significant economic importance. Unlike many other crops, grapevine is a quality crop with the focus on yield optimization instead of maximization. Regular monitoring of plant diseases and pests is crucial, as they have the potential to cause significant losses by the end of the season. Therefore phenotyping plays an important role not only for breeding purposes, but also for the monitoring of the plant performance during the growth season. To ensure an optimal end product, management decisions, such as leaf removal, berry reduction, or spraying, should be implemented based on carefully extracted information. These measures are crucial to mitigate the risk of losses and maximize the overall profitability of grapevine cultivation. <br /> Due to the perennial nature of grapevine and the often challenging terrain situation, phenotyping procedures are still performed manually, which is laborintensive, expensive and subjective. To address these challenges, there has been a growing interest in developing non-invasive, sensor-based methods. These offer fast, affordable and reliable solutions that are objective and non-invasive. <br /> This thesis addresses three challenges in the field of image-based high-throughput phenotyping in viticulture. Firstly, we propose a novel instance segmentation method for the detection and counting of grapevine berries in images captured in the field. We evaluate our approach across two different training systems and varieties, and compare it with two state-of-the-art methods. Secondly, we investigate the potential and limitations of using the counted number of visible berries for yield estimation. We identify the variability of the leaf occlusion as the primary limiting factor. Finally, we present two different approaches for grapevine berry anomaly detection. The first is a supervised classification method that produces heatmaps with a sliding window approach. The second is a semi-supervised approach that utilizes a Variational Autoencoder (VAE) to learn the representation of a healthy phenotype and identifies anomalies as deviations from this healthy phenotype. <br /> Overall, this thesis makes contributions to the field of image-based high-throughput phenotyping in viticulture, by proposing novel solutions for grapevine berry detection and counting, yield estimation, and anomaly detection. The approaches we present are evaluated thoroughly and compared to state-of-the-art methods, demonstrating their effectiveness in addressing these important challenges.

<strong>Beiträge zur bildbasierten Hochdurchsatz-Phänotypisierung im Weinbau</strong> <br /> Die Weinrebe ist eine Kulturpflanze mit großer wirtschaftlicher Bedeutung. Im Gegensatz zu vielen anderen Kulturpflanzen steht bei der Weinrebe die Qualität im Mittelpunkt, nicht der Ertrag. Letzterer soll optimiert und nicht maximiert werden, um ein möglichst hochwertiges Endprodukt zu gewährleisten. Auch die regelmäßige Überwachung von Pflanzenkrankheiten und von Auswirkungen von Schädlingen sind wichtig, da sie am Ende der Saison erhebliche Verluste verursachen können. Daher spielt die Phänotypisierung nicht nur für Züchtungszwecke eine wichtige Rolle, sondern auch für die Überwachung der Pflanzen während der Wachstumsphase. Auf der Grundlage der gewonnenen Informationen müssen Managemententscheidungen getroffen werden, z. B. die Entfernung von Blättern, die Reduzierung von Beeren oder die Applikation von Fungi- und Pestiziden. Diese Maßnahmen sind von entscheidender Bedeutung, um das Risiko von Verlusten zu mindern und die Gesamtrentabilität des Weinbaus zu maximieren. <br /> Aufgrund des mehrjährigen Charakters der Weinrebe und der oft schwierigen Geländeverhältnisse werden Phänotypisierungsverfahren immer noch manuell durchgeführt, was arbeitsintensiv, teuer und subjektiv ist. Um diese Herausforderungen zu bewältigen, besteht ein wachsendes Interesse an der Entwicklung nicht-invasiver, sensorbasierter Methoden. Diese bieten schnelle, erschwingliche und zuverlässige Lösungen, die objektive und nicht-invasiv erhobene Daten liefern. <br /> Diese Arbeit befasst sich mit drei Herausforderungen auf dem Gebiet der bildbasierten Hochdurchsatz-Phänotypisierung im Weinbau. Erstens schlagen wir eine neuartige Instanz-Segmentierungs-Methode für die Erkennung und Zählung von Weinbeeren in Bildern vor, die im Feld aufgenommen wurden. Wir evaluieren unseren Ansatz mit verschiedenen Anbau-Systemen und Sorten und vergleichen ihn mit zwei State-of-the-Art Methoden. Zweitens untersuchen wir die Ertragsschätzung auf Basis der Anzahl der gezählten, sichtbaren Beeren. Dabei werden die Potentiale und Einschränkungen betrachtet. Wir stellen fest, dass die Variabilität der Blattverdeckung der wichtigste limitierende Faktor ist. Schließlich stellen wir zwei verschiedene Ansätze zur Erkennung von Anomalien an Weinstöcken vor. Der erste ist eine überwachte Klassifizierungsmethode, die Heatmaps mit einem Sliding-Window Ansatz erstellt. Der zweite ist ein halbüberwachter Ansatz, der einen Variational Autoencoder (VAE) verwendet, um die Repräsentierung eines gesunden Phänotyps zu erlernen, und Anomalien als Abweichungen von diesem zu identifiziert. <br /> Insgesamt leistet diese Arbeit einen Beitrag zum Bereich der bildbasierten Hochdurchsatz-Phänotypisierung im Weinbau, indem sie neue Lösungen für die Erkennung und Zählung von Weinbeeren, die Ertragsschätzung und die Erkennung von Anomalien präsentiert. Die vorgestellten Ansätze werden gründlich evaluiert und mit den State-of-the-Art Methoden verglichen, um ihre Effektivität bei der Bewältigung dieser wichtigen Herausforderungen zu demonstrieren.