Knowledge-Driven Intelligent Systems for Precision Agriculture

Abstract

Organic cultivation, resource efficiency, and sustainability are gaining increasing importance in times of climate change. To address these issues, modern agriculture is increasingly relying on the use of drones to monitor and analyze crop stands. They enable non-invasive and rapid collection of large-scale imagery and geodata. A logical step in this development is the processing of these data through the integration of artificial intelligence (AI). Purely data-driven approaches, however, quickly reach their limits when only small amounts of annotated data are available or the collection of additional (meta) data is associated with high personnel and financial effort. <br/>

In agriculture, decades of research have already produced extensive expert knowledge in a wide range of disciplines. This knowledge can be used to improve the performance of data-driven AI models and increase their applicability in practice. This dissertation aims to show how data-driven models can be combined with knowledge in order to address important agricultural challenges, while at the same time remaining generally applicable. <br/>

As a use case, the spread of the leaf spot disease Cercospora in sugar beet is examined, from data collection with drones, through the prediction of infestation severity, to epidemiological modeling. The first building block is the acquisition of an extensive image database from the georeferenced drone recordings. Using robust algorithms, a semi-automated workflow is developed to detect plant positions in temporally separated drone images of sugar beet fields. The result is a spatially and temporally referenced database of individual plant images, which serves as the basis for the second building block. In this second step, the image data is used, together with environmental data and assessments by human experts, to train an AI model to predict the severity of Cercospora infestation. The third building block uses this model to estimate the time of infection of individual plants. In combination with meteorological data and epidemiological knowledge, an infection model is developed that can predict the spatio-temporal spread of Cercospora in sugar beet stands. This could enable the agriculture of the future to take targeted and needs-based measures to combat plant diseases and thus minimize the use of plant protection products. <br/>

The AI models developed are in many respects based on the transformer architecture, which in recent years has achieved partly disruptive advances in various domains. When used deliberately, they enable high interpretability and realistic modeling of the underlying processes. A particular focus of this dissertation is on model interpretability. Through application-oriented modeling, models can be designed in such a way that their predictions are comprehensible to domain experts. This is an important step toward increasing trust in AI-based systems and promoting their acceptance in practice.

Ökologischer Anbau, Ressourceneffizienz und Nachhaltigkeit gewinnen in Zeiten des Klimawandels immer mehr Bedeutung. Um diese Themen zu adressieren, setzt die moderne Landwirtschaft zunehmend auf den Einsatz von Drohnen zur Überwachung und Analyse von Nutzpflanzenbeständen. Sie ermöglichen eine nichtinvasive und schnelle Erhebung großflächiger Bild- und Geodaten. Ein logischer Schritt in dieser Entwicklung ist die Verarbeitung dieser Daten durch Integration moderner Methoden der Künstlichen Intelligenz (KI). Rein datengetriebene Ansätze stoßen dabei jedoch schnell an ihre Grenzen, wenn nur limitierte Mengen annotierter Daten vorliegen oder die Erhebung weiterer (Meta-)Daten mit hohem personellen und finanziellen Aufwand verbunden ist. <br/>

In der Landwirtschaft ist durch jahrzehntelange Forschung bereits umfangreiches Expertenwissen in verschiedensten Disziplinen verfügbar. Dieses Wissen kann genutzt werden, um die Leistung von datengetriebenen KI-Modellen zu verbessern und deren Anwendbarkeit in der Praxis zu erhöhen. In dieser Dissertation soll gezeigt werden, wie datengetriebene Modelle mit Wissen kombiniert werden können, um wichtige landwirtschaftliche Herausforderungen zu adressieren und gleichzeitig generalistisch einsetzbar zu sein. <br/>

Als Anwendungsfall wird die Ausbreitung der Blattfleckenkrankheit Cercospora in Zuckerrüben von der Datenerhebung mit Drohnen über die Vorhersage der Befallsstärke bis hin zur epidemiologischen Modellierung betrachtet. Der erste Baustein ist die Akquise einer umfangreichen Bilddatenbank aus den georeferenzierten Drohnenaufnahmen. Mittels robuster Algorithmen wird ein teil-automatischer Workflow zur Erkennung von Pflanzenpositionen in zeitlich getrennten Drohnenaufnahmen von Zuckerrübenfeldern entwickelt. Das Ergebnis ist eine räumlich und zeitlich referenzierte Datenbank einzelner Pflanzenbilder, die als Grundlage für den zweiten Baustein dient. In diesem werden die Bilddaten verwendet, um mit Hilfe von Umweltdaten und menschlichen Expertenbonitoren ein KI-Modell zur Vorhersage der Cercospora-Befallsstärke zu trainieren. Im dritten Baustein wird dieses Modell wiederum verwendet, um den Infektionszeitpunkt individueller Pflanzen zu schätzen. In Verbindung mit meteorologischen Daten und epidemiologischem Wissen wird ein Infektionsmodell entwickelt, das die räumlich-zeitliche Ausbreitung von Cercospora in Zuckerrübenbeständen vorhersagen kann. Dies könnte der Landwirtschaft der Zukunft ermöglichen, gezielte und bedarfsgerechte Maßnahmen zur Bekämpfung von Pflanzenkrankheiten zu ergreifen und so den Einsatz von Pflanzenschutzmitteln zu minimieren. <br/>

Die entwickelten KI-Modelle orientieren sich in vielen Aspekten an der Transformer-Architektur, die in den letzten Jahren in verschiedensten Domänen teils disruptive Fortschritte erzielt hat. Bewusst eingesetzt ermöglichen sie eine hohe Interpretierbarkeit und realitätsnahe Modellierung der zugrundeliegenden Prozesse. Insbesondere auf der Modellinterpretierbarkeit liegt ein Fokus in dieser Dissertation. Durch anwendungsnahe Modellierung können Modelle gestaltet werden, deren Vorhersagen für Domänenexperten nachvollziehbar sind. Dies ist ein wichtiger Schritt, um das Vertrauen in KI-gestützte Systeme zu erhöhen und deren Akzeptanz in der Praxis zu fördern.