Extraktion von Pflanzenmerkmalen für die automatische Bilderkennung

Traditionelle Pflanzenbestimmung mit Hilfe von Bestimmungsbüchern ist komplex, zeitintensiv und damit für Laien und Expert*innen oft schwierig. Seit mehr als 15 Jahren arbeiten daher Wissenschaftler*innen vor allem aus der Informatik an einer Möglichkeit, Pflanzen anhand von Bildern automatisch zu erkennen. Viele Jahre hat man dabei auf Expert*innen mit Erfahrung in digitaler Bildverarbeitung gesetzt,, die vorrangig  Modelle entwickelt haben, um Bildobjekte und deren Eigenschaften zu extrahieren. So wurden aus Pflanzenbildern  botanische Merkmale wie z. B. Blattformen, Blattränder, Blatttexturen, Blütenformen oder Blütenfarbe extrahiert. Das jeweilige Modell verweist im anschließenden Klassifizierungsschritt auf diese Merkmale. Diese aus Bildern extrahierten Merkmale repräsentieren dabei das, was das Modell “in den Bildern sieht”, wobei die Auswahl der Merkmale jeweils sehr problem- und objektspezifisch ist. Rückblickend erwies sich die manuelle Ableitung dieser Merkmalen für einen Klassifikationsprozess jedoch als sehr subjektiv und arbeitsintensiv. Gleichzeitig erwiesen sich die erzielten Bestimmungsergebnisse als nicht praxistauglich (Wäldchen und Mäder, 2017; Wäldchen et al., 2018).

Abbildung 1: Die Beschreibung der Blüte aus botanischer (links) und aus informationstechnologischer (rechts) Sichtweise

 

Maschinelle Bilderkennung mit Deep Learning

Es fehlte ein Ansatz, welcher selbstständig relevante Merkmale zu unterscheidender Klassen lernen kann ohne eine durch den Menschen kodierte Logik vorauszusetzen. In den letzten fünf Jahren haben tieflernende künstliche neuronale Netze (Deep Learning) und im Bereich Bildverarbeitung speziell Convolutional Neural Networks (CNN) einen dramatischen Durchbruch erzielt. Künstliche neuronale Netze sind informationsverarbeitende Strukturen, deren Aufbau und Funktionsweise vom Nervensystem und speziell dem Gehirn von Wirbeltieren inspiriert sind. Ein neuronales Netz besteht aus einer großen Anzahl informationsverarbeitender Einheiten, den sogenannten Neuronen, welche Informationen in Form von Aktivierungssignalen über gewichtete Verbindungen austauschen. Diese Neuronen sind in Schichten angeordnet, welche man grundlegend in eine Eingabeschicht, eine Ausgabeschicht und eine variable Anzahl dazwischenliegender “Hidden Layers” unterscheidet. Die Eingabeschicht ist für die Erfassung der Rohdaten verantwortlich. Jedes Neuron dieser Schicht speichert Informationen und übergibt sie an die nächste Schicht von Neuronen und so weiter. Während traditionell maximal zwei “Hidden Layers” trainierbar waren, erlauben tieflernende Netzwerke eine Vielzahl von “Hidden Layers” effizient zu trainieren und damit die Leistungsfähigkeit des Netzwerkes dramatisch zu steigern.

Abbildung 2:  Vergleich zwischen biologischen und künstlichen Neuronen und Netzwerken (Wäldchen und Mäder, 2018)

Wenn man dieses Prinzip auf Bildverarbeitungsprobleme anwendet, erlernt das Netzwerk eine Hierarchie von Bildmerkmalen mit zunehmender Komplexität, beginnend mit “Low-Level-Bildkonzepten” (z. B. Ecken und Kanten) in der Nähe der Eingangsschicht bis hin zu “High-Level-Bildkonzepten” (ganze Blüten oder Blätter) in der Nähe der Ausgangsschicht. Im Gegensatz zu den traditionellen, modellbasierten Bilderkennungsverfahren benötigen CNNs keine expliziten und handgefertigten Schritte zur Erkennung und Extraktion von Merkmalen. Welche Konzepte relevant zur Unterscheidung der vorliegenden Klassen sind, lernt das Netzwerk in einem ausgedehnten und komplexen Trainingsprozess. Dafür wird unter anderem eine große Menge repräsentativer und zuverlässiger Trainingsdaten benötigt. Für die Flora Incognita Appwurden vielfältigste Architekturen tieflernender, neuronaler Netze bewertet und eine hierarchische Struktur aus mehreren solcher Netze entworfen. Diese werden, inzwischen mit mehr als zwei Millionen Bilder trainiert.

Literatur:

  • Wäldchen, J., Rzanny, M., Seeland, M. & Mäder, P. (2018). Automated plant species identification – Trends and future directions. PLoS Computational Biology 14 (4). https://doi.org/10.1371/journal.pcbi.1005993
  • Wäldchen J & Mäder P. (2018) Machine learning for image based species identification. Methods in Ecology and Evolution 2018;00:1–10. https://doi.org/10.1111/2041-210X.13075
  • Wäldchen, J. & Mäder, P. (2017): Plant Species Identification Using Computer Vision Techniques: A Systematic Literature Review. Archives of Computational Methods in Engineering. doi:10.1007/s11831-016-9206-z