Plant Classification Systems for Agricultural Robots

Abstract

Due to a continually growing world population, the demand for food and energy increases continuously. As a central source of food, feed, and energy, crop production is therefore called upon to produce higher yields. To achieve high crop yields, weed control, fertilization, and disease control are essential tasks. Nowadays, these tasks are performed by uniformly applying large amounts of agrochemicals, such as herbicides and fertilizers, to our fields. At the same time, we need to reduce the ecological footprint of agricultural production to achieve the required sustainability to protect our environment for future generations. <br /> Autonomous agricultural field robots offer the potential for a drastic reduction of applied agrochemicals through selectively treating individual plants and weeds in the field. For selective weeding or fertilizing, a robot can be equipped with different actuators such as selective sprayers, mechanical tools, or even lasers. A prerequisite for selective and plant-specific treatment is that the robots can distinguish and locate the plants and weeds in the field. With this information, the robots can decide where and when to trigger the actuators to perform the treatment selectively. In contrast to ground robots, unmanned aerial vehicles (UAVs) can monitor farmland on a larger scale without interacting with the soil. In combination with a vision-based system for the classification of plants, UAVs serve excellent capabilities to retrieve the status of a field on a per-plant basis in small amounts of time. <br /> In this thesis, we develop novel vision-based plant classification systems that enable agricultural ground robots for online in-field interventions and for aerial robots to perform accurate monitoring of the plantation. We investigate traditional and more modern machine-learning approaches based on random forests and fully convolutional neural networks to perform the necessary classification of the crop plants and weeds. We propose a coupled plant and stem classification system that jointly classifies the crop plants and weeds, further distinguishing herbs from grasses, and additionally provides the precise stem locations at the same time. Based on the classification output, the robot can select the most effective treatment for the current situation in the field. <br /> A major challenge for vision-based classification systems is that agricultural robots need to operate in different field environments under drastic changes in the visual appearance of the plants, weeds, and soil. For real-world applications, plant classifications systems not only need to provide a high performance in known fields but also need to be robust to new and changing field conditions. This thesis aims at improving the generalization performance of plant classification systems for robots that operate under different environmental conditions. We propose two vision-based classification systems that, in addition to visual information, exploit the spatial arrangement of the plants in the case of row crops. Such geometric information is typically similar within and across fields and thus less dependent on the visual appearance of the plants. Our approaches exploiting the spatial arrangement of plants provide superior generalization capabilities to changing field conditions compared to state-of-the-art vision-based classifiers. <br /> A further challenge for scalable development of robust plant classification systems is their requirement for large and diverse training datasets. Typically, a classifier needs to be adapted with additional labeled data representing the conditions of the new field environment. However, this procedure comes at the cost of a continuous effort to label new data. We present a semi-supervised online learning approach that combines purely visual classification with geometric classification exploiting the plant arrangement. We show that with only a one-minute labeling effort, our approach provides a classification performance on the same level as classically re-trained classifiers. <br /> We conduct a comprehensive experimental evaluation of the classification systems under real-world conditions using a wide range of field datasets. We collected a large and diverse database in various field environments located in central Europe consisting of around 26,500 labeled images acquired by different field and aerial robots. Using our database, we evaluate different aspects of the plant classifiers considering their performance, generalization capabilities, needed labeling effort, exploitation of additional near-infrared information, and explicitly compare the random forest performance with the one obtained by fully convolutional neural networks. Our experiments suggest that fully convolutional neural networks are well suited for the plant classification task. They provide a better performance than random forest-based approaches, are more robust to changing field conditions, and provide results faster by exploiting dedicated hardware. <br /> All plant classification systems presented in this thesis have been published in peer-reviewed conference papers and journal articles. One of our UAV-based plant classification systems won the best automation paper award at the International Conference on Robotics and Automation (ICRA). Our semi-supervised online-learning approach for plant classification was a finalist for the best application paper award at the Conference on Robots and Systems (IROS).

Durch die steigende Weltbevölkerung wächst der Bedarf an Nahrung und Energie kontinuierlich. Als eine der zentralen Nahrungs- und Energiequellen ist die Pflanzenproduktion daher angehalten, höhere Erträge zu erzielen. Unkrautbekämpfung und Düngung sind dabei zentrale Maßnahmen, um hohe Ertragsraten zu erzielen. Heutzutage werden Dünger und Herbizide gleichmäßig und in großen Mengen in den Feldern appliziert. Jedoch müssen wir eine unnötige Verwendung dieser Chemikalien vermeiden, um unsere Umwelt für die künftigen Generationen besser zu schützen. <br /> Autonome landwirtschaftliche Feldroboter bieten das Potenzial für eine {drastische} Reduzierung der eingesetzten Chemikalien. Roboter können für eine selektive Behandlung einzelner Pflanzen und Unkräuter mit verschiedenen Aktuatoren, wie zum Beispiel selektiven Sprühern, mechanischen Werkzeugen oder sogar Lasern, ausgestattet werden. Die Voraussetzung für die selektive und pflanzenbezogene Behandlung ist, dass die Roboter zunächst die einzelnen Pflanzen und Unkräuter auf dem Feld unterscheiden und lokalisieren können. Mit diesen Informationen können Roboter dann entscheiden, wo und wann die Aktuatorik für eine selektiv Behandlung ausgelöst werden muss. Zudem können unbemannte Flugroboter (UAVs) Felder in großem Maßstab vermessen, ohne dabei mit dem Ackerboden zu interagieren. In Kombination mit einem Pflanzenklassifikationssystem bieten UAVs daher die Möglichkeit, gesamte Bestände in vergleichsweise geringer Zeit zu analysieren. <br /> In dieser Arbeit stellen wir neuartige Pflanzenklassifikationssysteme vor, die Feldrobotern eine selektive Pflanzenbearbeitung direkt während der Überfahrt ermöglichen und Flugroboter in die Lage versetzen, eine Analyse der Bestände aus der Luft durchzuführen. Wir untersuchen traditionelle und modernere maschinelle Lernansätze für die Durchführung der dafür notwendigen Klassifikation der Pflanzen und Unkräuter. Unsere Ansätze basieren entweder auf Random Forests oder auf Fully Convolutional Neural Networks. <br /> Wir schlagen in dieser Arbeit ein bildbasiertes System für die gemeisame Klassifikations von Pflanzen- und Pflanzenstämmen vor. Unser Ansatz erkennt gleichzeitig die Nutz-pflanzen und Unkräuter sowie deren genaue Stammposition. Unser System differenziert zudem die Unkräuter in die Klassen Gräser und Kräuter. Auf Basis solch automatisch gewonnener Klassifikationsergebnisse, kann ein Roboter die effektivste Behandlung für die aktuelle Situation auf dem Feld auswählen. <br /> Eine große Herausforderung für bildbasierte Klassifikationssysteme besteht darin, dass Feldroboter auf verschiedenen Feldern operieren, und daher oft mit drastischen Veränderungen des visuellen Erscheinungsbildes der Pflanzen, der Unkräuter und des Ackerbodens konfrontiert sind. Daher müssen Pflanzenklassifikationssysteme nicht nur eine hohe Leistung auf bereits bekannten Feldern erbringen, sondern auch robust gegenüber neuen und sich ändernden Bedingungen auf dem Feld sein. Daher zielt diese Arbeit darauf ab, die Generalisierungsfähigkeit von Pflanzenklassifikationssystemen für Roboter, die unter verschiedenen Feldbedingungen arbeiten, zu verbessern. Wir schlagen zwei Klassifikationssysteme vor, die zusätzlich zu den visuellen Informationen aus den Bildern auch die räumliche Verteilung der Pflanzen bei Reihenkulturen ausnutzen können. Diese geometrischen Informationen sind typischerweise innerhalb eines Feldes sowie über verschiedene Felder hinweg ähnlich und daher weniger abhängig vom visuellen Erscheinungsbild der Pflanzen. Wir zeigen, dass unsere Ansätze, welche die räumliche Verteilung der Pflanzen ausnutzen, eine bessere Generalisierungsfähigkeit bei sich ändernden Feldbedingungen bieten als Klassifikatoren, welche ausschließlich visuelle Informationen bearbeiten. <br /> Eine weitere Herausforderung für eine skalierbare Entwicklung robuster Pflan-zenklassifikationssysteme ist der Bedarf an vielen und vielfältigen Trainingsdaten. Für eine gute Leistung unter neuen Feldbedingungen muss ein Klassifikator typischerweise zunächst mit zusätzlichen Trainingsdaten angepasst werden. Dabei müssen die Trainingsdaten die Bedingungen des neuen Feldes repräsentieren. Dieses Vorgehensweise benötigt jedoch kontinuierlich neue Trainingsdaten und geht daher direkt mit stetigem Annotationsaufwand einher. Wir stellen einen semiüberwachten Ansatz vor, welcher seine Modelle während der Klassifikationsphase an die aktuelle Situation anpasst. Unser Ansatz kombiniert eine visuelle Klassifikation mit einer geometrischen Klassifikation, welche die relative Pflanzenanordnung ausnutzt. Wir zeigen, dass unser Ansatz mit einem nur einminütigem Annotationsaufwand eine Klassifikationsleistung auf dem gleichen Niveau wie klassisch angepasste Klassifikatoren bietet. <br /> Wir präsentieren desweiteren eine umfassende experimentelle Evaluierung der Klassifikationssysteme unter realen Bedingungen. Dazu haben wir eine große und vielfältige Datenbasis auf verschiedenen Feldern in Mitteleuropa gesammelt und insgesamt dafür etwa 26.500 Bilder händisch annotiert. Die Bilder wurden von verschiedenen Feld- und Flugrobotern und unter verschiedenen Bedingungen aufgenommen. Mit Hilfe unserer Datenbasis evaluieren wir verschiedene Aspekte der Pflanzenklassifikatoren unter Berücksichtigung ihrer Leistung, ihrer Generalisierungsfähigkeit, des erforderlichen Annotationsaufwands und der Nützlichkeit zusätzlicher Nah-Infrarot-Bilder. Zudem vergleichen wir explizit die Performanz der Random Forest Ansätze mit der Performanz der Fully Convolutional Neural Network Ansätze. Unsere Experimente zeigen, dass Fully Convolutional Neural Network Ansätze für die Pflanzenklassifikation generell gut geeignet sind. Sie bieten eine bessere Leistung als Random Forests, sind robuster gegenüber wechselnden Feldbedingungen und liefern ihre Ergebnisse schneller, da Neural Networks dedizierte Hardwarekomponenten ausnutzen. <br /> Alle in dieser Arbeit vorgestellten Pflanzenklassifikationssysteme wurden in mehreren Konferenzbeiträgen und Zeitschriftenartikeln veröffentlicht. Eines unserer UAV-basierten Klassifikationssysteme wurde auf der International Conference on Robotics and Automation (ICRA) als bestes Automatisierungspapier ausgezeichnet und unser semiüberwachter Ansatz wurde auf der International Conference on Robots and Systems (IROS) als Finalist für den Preis für das beste Anwendungspapier ausgezeichnet.