Tractable Learning for a Class of Global Discriminative Models for Context Sensitive Image Interpretation

Abstract

We propose a class of conditional Markov random fields for context sensitive image interpretation. The proposed class includes multi-class models with affine log-potential functions and with pairwise label interactions that are label-pair-specific, data-dependent and asymmetric. Instances of the proposed class relate observed images to unknown configurations of object class labels through global conditional probability distribution from the exponential family parametrized by unknown parameters that we jointly learn from examples. Unknown label configurations are jointly inferred from the learned global image model. The state-of-the-art models include pairwise label interactions that are label-pair-specific and data-dependent. Our first contribution is to investigate the in the proposed class included and in the literature rarely reported pairwise label interactions that are also asymmetric. State-of-the-art models include log-potential functions parametrized as affine functions or alternatively as popular multi-class logistic regression models for classification. Our second contribution is to show that a model with log-potentials of the former form is a simpler equivalent form of the latter. Parameter learning approaches commonly treat components of a global model independently. Isolated literature on joint parameter learning adopts the in general intractable maximum likelihood principle. Tractable state-of-the-art approaches to joint parameter learning yield satisfactory parameter estimates fast, however, obtained heuristically from approximations with oscillatory behavior. Our third contribution is to identify a consistent approximation in the form of a tractable strongly convex optimization problem. We adopt the convex pseudolikelihood approximation proposed by Julian Besag and combine it with the strongly convex parameter prior distributions. We provide the first partial derivative equations of the pseudolikelihood based learning objective needed to compute the solution with efficient algorithms of convex optimization. Our fourth contribution is to counterbalance reported statements that pseudolikelihood based approaches yield unsatisfactory results by providing state-of-the-art results. Our fifth contribution is to propose a way to compare the performance of models from the subclasses of models like the Potts model which can be learned by adding linear equality constraints to the described optimization problem. In experiments we compare the performance of the data-dependent asymmetric interaction model with the performance of the popular contrast sensitive Potts models. We present application examples of pixel level object class segmentation for interpreting images of street scenes, multi-spectral images of diseased plant leafs and volumetric human knee images from magnetic resonance.

<strong>Effizientes Lernen für eine Klasse von Globalen Diskriminativen Modellen für Kontext Sensitive Bildinterpretation</strong><br /> Wir beschreiben eine Klasse von bedingten Markov Zufallsfeldern für die kontextsensitive Bildinterpretation. Die beschriebene Klasse beinhaltet Modelle mit affinen Log-Potentialfunktionen und mit paarweisen Label Interaktionen, die label-paar-spezifisch, datenabhängig und asymmetrisch sein können. Instanzen der beschriebenen Klasse verknüpfen digitale Bilder und deren semantische Beschreibungen mittels einer globalen bedingten Wahrscheinlichkeitsverteilung. Die unbekannten Parametern der Verteilung werden aus Beispielen automatisch und gemeinsam gelernt. Unbekannte semantische Beschreibungen werden aus dem gelernten globalen statistischen Modell automatisch berechnet. Unser erster Beitrag ist, die asymmetrischen Label Interaktionen zu untersuchen, die in der Literatur selten behandelt werden. Unser zweiter Beitrag ist, es zu zeigen, dass ein Modell mit den Log-Potentialfunktionen in der Form von affinen Funktionen äquivalent zu einem Modell mit den Log-Potentialfunktionen in der Form von Modellen für die logistische Regression für Klassifikation ist. Nur wenige Ansätze für das gemeinsame Lernen der Parameter wenden das im Allgemeinen nicht berechenbare Maximum Likelihood Prinzip an. Die berechenbaren modernen Ansätze für das gemeinsame Lernen der Parameter können schnell zufriedenstellende Parameter Schätzungen liefern. Sie werden jedoch heuristisch aus Approximationen mit einem oszillierenden Verhalten berechnet. Unser dritter Beitrag ist daher, eine konsistente konvergierende Approximation zu identifizieren, die die Form eines berechenbaren stark konvexen Optimierungsproblems hat. Wir wenden die konvexe von Julian Besag vorgeschlagene Pseudolikelihood Approximation an und kombinieren sie mit den stark konvexen Prior Wahrscheinlichkeitsverteilungen. Wir zeigen, dass die Pseudolikelihood basierten Ansätze rechnerisch effizient sind, indem wir vorschlagen, effiziente Methoden der konvexen Optimierung anzuwenden. Unser vierter Beitrag ist, zu zeigen, dass die Pseudolikelihood basierten Lernansätze im Vergleich zum Stand der Forschung kompetitive Ergebnisse liefern. Unser fünfter Beitrag ist, einen Weg vorzuschlagen, die Leistungsfähigkeit der Spezialmodelle, unter anderem das bekannte Potts Modell, zu vergleichen. Die Spezialmodelle können gelernt und verglichen werden, indem das konvexe Optimierungsproblem mit linearen Gleichheitsbedingungen erweitert wird. Wir zeigen dies an Beispielen aus drei Anwendungsbereichen, nämlich der Interpretation von den Bildern von Straßenszenen, von den multi-spektralen Bildern von erkrankten Pflanzenblättern und von den volumetrischen Bildern aus der Magnetresonanztomographie von den menschlichen Knien.