Sequential Learning Using Incremental Import Vector Machines for Semantic Segmentation

Abstract

We propose an innovative machine learning algorithm called incremental import vector machines that is used for classification purposes. The classifier is specifically designed for the task of sequential learning, in which the data samples are successively presented to the classifier.<br /> The motivation for our work comes from the effort to formulate a classifier that can manage the major challenges of sequential learning problems, while being a powerful classifier in terms of classification accuracy, efficiency and meaningful output. One challenge of sequential learning is that data samples are not completely available to the learner at a given point of time and generally, waiting for a representative number of data is undesirable and impractical. Thus, in order to allow for a classification of given data samples at any time, the learning phase of the classifier model needs to start immediately, even if not all training samples are available. Another challenge is that the number of sequential arriving data samples can be very large or even infinite and thus, not all samples can be stored. Furthermore, the distribution of the sample can vary over time and the classifier model needs to remain stable and unchanged to irrelevant samples while being plastic to new, important samples.<br /> Therefore our key contribution is to develop, analyze and evaluate a powerful incremental learner for sequential learning which we call incremental import vector machines (I²VMs). The classifier is based on the batch machine learning algorithm import vector machines, which was developed by Zhu and Hastie (2005). I²VM is a kernel-based, discriminative classifier and thus, is able to deal with complex data distributions. Additionally, the learner is sparse for an efficient training and testing and has a probabilistic output. A key achievement of this thesis is the verification and analysis of the discriminative and reconstructive model components of IVM and I²VM. While discriminative classifiers try to separate the classes as well as possible, classifiers with a reconstructive component aspire to have a high information content in order to approximate the distribution of the data samples. Both properties are necessary for a powerful incremental classifier. A further key achievement is the formulation of the incremental learning strategy of I²VM. The strategy deals with adding and removing data samples and the update of the current set of model parameters. Furthermore, also new classes and features can be incorporated. The learning strategy adapts the model continuously, while keeping it stable and efficient.<br /> In our experiments we use I²VM for the semantic segmentation of images from an image database, for large area land cover classification of overlapping remote sensing images and for object tracking in image sequences. We show that I²VM results in superior or competitive classification accuracies to comparable classifiers. A substantial achievement of the thesis is that I²VM’s performance is independent of the ordering of the data samples and a reconsidering of already encountered samples for learning is not necessary. A further achievement is that I²VM is able to deal with very long data streams without a loss in the efficiency. Furthermore, as another achievement, we show that I²VM provide reliable posterior probabilities since samples with high class probabilities are accurately classified, whereas relatively low class probabilities are more likely referred to misclassified samples.

<strong>Sequentielles Lernen mit inkrementellen Import Vector Machines für die semantische Segmentierung</strong><br /> Wir entwickeln einen neuen maschinellen Lernalgorithmus für die Klassifikation namens inkrementelle Import Vector Machines. Der Klassifikator ist speziell für die Aufgabe des sequentiellen Lernes entworfen, bei dem die Daten nacheinander dem Klassifikator präsentiert werden.<br /> Die Motivation für diese Arbeit entstand aus der Überzeugung, einen Klassifikator formulieren zu können, der die Herausforderungen des sequentiellen Lernens bewältigen kann und dabei leistungsstark bezüglich der Klassifikationsgenauigkeit, Effizienz und aussagekräftiger Ergebnisse ist. Eine Herausforderung des sequentiellen Lernens ist, dass die Daten dem Lerner zu einem bestimmten Zeitpunkt nicht vollständig zur Verfügung stehen, und in der Regel das Warten auf eine repräsentative Anzahl von Daten nicht erwünscht und unpraktisch ist. Um eine Klassifikation von gegebenen Daten zu jeder Zeit zu ermöglichen, muss somit die Lernphase des Klassifikatormodells umgehend begonnen werden, auch wenn nicht alle Trainingsbeispiele verfügbar sind. Eine weitere Herausforderung ist, dass die Anzahl von nacheinander ankommenden Daten sehr groß oder sogar unendlich sein kann und somit nicht alle Daten gespeichert werden können. Darüber hinaus kann die Verteilung der Daten über die Zeit variieren, und das Klassifikationsmodell muss stabil bleiben bezüglich nicht-relevanter Daten, aber auch flexibel bezüglich neuer, relevanter Daten.<br /> Unser Hauptbeitrag besteht daher in der Entwicklung, Analyse und Evaluierung eines leistungsfähigen inkrementellen Lerners für das sequentielle Lernen, den wir inkrementelle Import Vector Machines (I²VMs) nennen. Der Klassifikator basiert auf den nicht-inkrementellen Import Vector Machines, die von Zhu and Hastie (2005) entwickelt wurden. I²VM ist ein kernel-basierter, diskriminativer Klassifikator und ist deswegen in der Lage mit komplexen Datenverteilungen umgehen zu können. Desweiteren ist der Klassifikator dünnbesetzt, was ein effizientes Training und Testen ermöglicht, und er ist probabilistisch. Ein zentraler Beitrag dieser Arbeit ist der Nachweis und die Analyse der diskriminativen und rekonstruktiven Modellkomponente von IVM und I²VM. Während diskriminative Klassifikatoren versuchen die Klassen so gut wie möglich zu trennen, streben Klassifikatoren mit rekonstruktiver Komponente danach, möglichst viel Informationen über die Daten zu erhalten um die Verteilung approximieren zu können. Beide Eigenschaften sind notwendig um einen leistungsfähigen inkrementellen Klassifikator zu erhalten. Ein weiterer zentraler Beitrag ist die Formulierung der inkrementellen Lernstrategie für I²VM. Die Strategie enthält das Hinzufügen und Entfernen von Datenpunkten und das Update der aktuellen Modellparameter. Desweiteren können sowohl neue Klassen als auch Merkmale hinzugefügt werden. Die Lernstrategie adaptiert kontinuierlich das Modell, hält es aber gleichzeitig stabil und effizient.<br /> In unseren Experimenten untersuchen wir die Eignung von I²VM für die semantische Segmentierung von Bildern aus einer Bilddatenbank, für die Klassifikation von Landbedeckungen großer Gebiete in überlappten Fernerkundungsdaten und für die Objektverfolgung in Bildfolgen. Wir zeigen, dass I²VM höhere oder kompetitive Klassifikationsgenaugkeiten wie vergleichbare Klassifikatoren erzielen kann. Ein bedeutender Beitrag dieser Arbeit ist, dass die Güte von I²VM unabhängig von der Reihenfolge der Daten ist und dass bereits bearbeitete Daten nicht nochmal für das Lernen in Betracht gezogen werden müssen. Ein weiterer Beitrag besteht darin, dass I²VM in der Lage ist, ohne Verlust an Effizienz, mit langen Bildsequenzen umgehen zu können. Desweiteren liefert I²VM verlässliche a posteriori Wahrscheinlichkeiten, sodass Datenpunkte mit hohen Wahrscheinlichkeiten akkurat klassifiziert werden und Datenpunkte mit niedriger Wahrscheinlichkeit eher falsch klassifiziert sein können.