[Neues Paper veröffentlicht] Deep Learning in der phänologischen Pflanzenforschung: Eine systematische Literaturübersicht

Negin Katal hat gemeinsam mit ihrem Team einen Übersichtsartikel über aktuelle Forschungsansätze welche tiefe Lernverfahren (Deep Learning) in der Pflanzenphänologieforschung verwenden verfasst. Die Veröffentlichung gibt einen Überblick über die wichtigsten Ergebnisse aus 24 ausgewählten, von Experten begutachteten Studien, die in den letzten fünf Jahren (2016-2021) veröffentlicht wurden.

Die Phänologie von Pflanzen befasst sich mit der Veränderung des im Jahreverlauf periodisch wiederkehrenden Entwicklungsstufen von Pflanzen (z.B.: Blüte, Blattaustrieb, Blattfall, etc.). Forschungsarbeiten zur Phänologie haben zunehmend an Bedeutung gewonnen, da Klima-schwankungen und -veränderungen Einfluss auf die Phänologie von Pflanzen nehmen. Eine der größten Herausforderungen dabei ist die Entwicklung von Werkzeugen zur effizienten Analyse großer Datenmengen. Tiefe neuronale Netze können bei der Bildverarbeitung massiv unterstützen, dabei helfen Muster zu erkennen und machen es überhaupt erst möglich große Mengen an Bildmaterial effizient auszuwerten.

„[…]Deep Learning soll vor allem die bisher sehr zeit- und kostenintensiven, direkten phänologischen Messungen und Beobachtungen vereinfachen.“

Unser Artikel beschreibt die verwendeteten Methoden, die nach den untersuchten phänologischen Stadien, dem Vegetationstyp, dem räumlichen Maßstab und der Datenerfassung kategorisiert sind.

Einzelbeobachtungen sind beispielsweise menschliche Beobachtungen von Pflanzen, unter dem Kronendach installierte Kameras oder auch Herbarmaterial welches über Jahrhunderte und rund um den Globus gesammelt wurde.

Oberflächennahe Messungen beispielsweise mit PhenoCams, oberflächennahen Digitalkameras, die knapp über dem Kronendach angebracht sind oder mit Drohnen durchgeführt. Über Satelliten-Fernerkundung werden beispielsweiseIndices wie der Spektrale Vegetationsindex (VI) oder der erweiterten Vegetationsindex (EVI) bestimmt.

Außerdem werden Forschungstrends aufgezeigt und diskutiert sowie  vielversprechende zukünftige Richtungen aufgezeigt. Der Artikel  ist hier frei verfügbar: https://www.frontiersin.org/articles/10.3389/fpls.2022.805738/full

Die wichtigsten Ergebnisse:

Die untersuchten Studien wurden in elf verschiedenen Ländern und in verschiedenen Vegetationstypen (Grasland, Wald, Buschland, landwirtschaftliche Flächen) durchgeführt. Die überwiegende Mehrheit der Primärstudien untersucht phänologische Stadien an einzelnen Individuen. Zehn Studien untersuchten die Phänologie auf regionaler Ebene. Keine einzige Studie arbeitet auf globaler Ebene. Tiefe Lernverfahren sollen in erster Linie die bisher sehr zeit- und kostenintensiven direkten phänologischen Messungen vereinfachen.

Im Allgemeinen sind die wichtigsten phänologischen Stadien das Aufbrechen der Blattknospen, Austrieb der Blätter, Blühbeginn, Erscheinen der Früchte, Seneszenz (Laubfärbung) und das Abwerfen der Blätter. Unter den untersuchten Studien beschäftigte sich mehr als die Hälfte entweder mit den Blattaustrieb oder mit dem Blühbeginn.

Dabei wurden unterschiedliche Methoden verwendet, um Trainingsmaterial für die Lernalgorhitmen zu gewinnen. Zwölf Studien verwendeten Bilder aus digitalen Wiederholungsaufnahmen und analysierten diese. Die Publikation enthält ausführliche Informationen über verschiedenen Arten von digitaler Fotografie, die sich besonders für die Bereitstellung dieser Trainingsdaten eignen.

Darüber hinaus in unserem Paper die Deep-Learning-Methoden, welche beim phänologischen Monitoring eingesetzt werden, kategorisiert, verglichen und diskutiert. Wir haben  festgestellt, dass Klassifizierungs- und Segmentierungsmethoden sich als sehr vorteilhaft erwiesen haben und am häufigsten angewendet werden, insbesondere weil sie mühsame und fehleranfällige manuelle Aufgaben ersetzen oder unterstützen können.

Es gibt unterschiedliche Methoden die Phänologie der Pflanzen zu beobachten.

Zukünftige Trends in der phänologischen Forschung durch den Einsatz von Deep Learning

Methoden des maschinellen Lernens benötigen große Datenmengen, um trainiert zu werden. Daher ist die Erhöhung der absoluten Zahl an gesammelten Daten eine der größten Herausforderungen – insbesondere in Regionen oder Ländern, in denen es bisher keine traditionellen phänologischen Beobachtungsnetze gibt. In dem Papier werden Methoden und Instrumente beschrieben, die sich als wichtige Hebel zur Unterstützung dieser Art von Forschung erweisen werden, zum Beispiel:

Die Installation von Kameras unter dem Kronendach, die automatisch Bilder aufnehmen und über lange Zeiträume hinweg übermitteln.

PhenoCams erweisen sich als neuer und vielversprechender Weg, um die Forschung voranzutreiben: Über indirekte Methoden, welche die Veränderungen in Bildern nachverfolgen, indem sie beispielsweise Veränderung der grünen oder roten Farbkoordinaten aus PhenoCam-Bildern bestimmen und dann dann mittels Algorithmen den Zeitpunkt phänologischer Ereignisse abzuleiten. Wir erwarten, dass in Zukunft viele weitere Studien erscheinen werden, die PhenoCam-Bilder über die bisher berechneten Vegetationsfarbindizes hinaus auswerten.

Citizen Science-Daten aus Pflanzenbestimmungs-Apps wie Flora Incognita erweisen sich als langfristige Quelle für Vegetationsdaten. Diese Bilder sind mit einem Zeitstempel und Standortinformationen versehen und können daher ähnlich wie Herbarmaterial wichtige Informationen, z. B. über Blütezeiten, liefern.

Es wird deutlich, dass Deep-Learning-Methoden in der Phänologieforschung erfolgreich angewendet und genutzt können und die traditionelle Erfassung und Auswertung von Daten verbessern und beschleunige können. Wir, als Forschungsteam, freuen uns darüber, ein Teil davon zu sein und laden Sie herzlich dazu ein, selbst eine wichtige Rolle zu spielen – indem Sie Flora Incognita nutzen, um die Vielfalt und den Wandel der Biodiversität um Sie herum zu beobachten und zu dokumentieren.

Wenn Sie Fragen zu unserer Forschung haben, zögern Sie nicht, uns zu kontaktieren! Sie finden Negin Katal zum Beispiel auf Researchgate und Twitter (@katalnegin).

 

Publikation

Katal, N., Rzanny, M., Mäder, P., & Wäldchen, J. (2022). Deep learning in plant phenological research: A systematic literature review. Frontiers in Plant Science, 13. https://doi.org/10.3389/fpls.2022.805738

Lassen sich Süßgräser über Smartphone-Bilder automatisch bestimmen?

Quecke oder Weidelgras? Gräser gelten als schwer zu bestimmende Arten. Die Quecke (Agropyron repens) wird in Gärten gefürchtet und bekämpft. Das Weidelgras (Lolium perenne) hingegen ist Grundlage vieler Rasenmischungen und ein wertvolles Futtergras. Nur welches ist welches?

In unserer gerade erschienenen Publikation haben wir untersucht ob sich Gräser trotz ihrer großen Ähnlichkeit automatisch erkennen und unterscheiden lassen. Dabei wollten wir wissen welche Perspektiven sich eignen und ob das sogar ohne Blüte möglich ist. Wir haben 31 Arten untersucht und dabei Aufnahmen des Blütenstandes, der Blätter und des Blatthäutchens verwendet. Dabei zeigte sich, dass eine Kombination verschiedener Perspektiven das Ergebnis verbessert. Der Blütenstand lieferte dabei die meiste Information. Sind keine Blüten vorhanden so sind Bilder des Blatthäutchens aus Richtung des Blattes am besten geeignet um die Grasarten zu unterschieden. Alle Bilder wurden mit verschiedenen Smartphones angefertigt.

 

Was lernen wir daraus für Flora Incognita? Auch schwierigere Gruppen lassen sich gut automatisch bestimmen, vorausgesetzt man fotografiert die richtigen Pflanzenteile. Diese neu gewonnenen Erkenntnisse werden in die Weiterentwicklung unserer App einfließen. In unserem Experiment erreichten wir für die 31 Arten eine Genauigkeit von > 96%.  Dabei haben wir auch viele Trainingsbilder gewonnen, die der Verlässlichkeit der Flora Incognita App bei Gräsern zukünftig deutlich verbessern werden.

 

Originalpublikation

Rzanny M, Wittich HC, Mäder P, Deggelmann A, Boho D & Wäldchen J (2022) Image-Based Automated Recognition of 31 Poaceae Species: The Most Relevant Perspectives. Front. Plant Sci. 12:804140. https://doi.org/10.3389/fpls.2021.804140

 

 

 

 

Mit Smartphones den ökologischen Wandel erfassen

Smartphone-Apps zur Pflanzenbestimmung wie „Flora Incognita“ können nicht nur Pflanzenarten erkennen, sie erfassen auch großräumige ökologische Muster. Diese Muster stimmen mit Langzeit-Kartierungen der deutschen Flora erstaunlich gut überein, obwohl sie in kürzester Zeit gewonnen wurden und stark vom Verhalten der App-Nutzer beeinflusst werden. Damit eröffnen sich neue Perspektiven für die schnelle Erfassung von Veränderungen der Biodiversität. Das sind die wesentlichen Erkenntnisse einer Studie, die von einem Forscherteam aus Mitteldeutschland durchgeführt und in der Zeitschrift Ecography veröffentlicht wurde.

Mit Hilfe von Künstlicher Intelligenz können Pflanzenarten heute mit hoher Genauigkeit bestimmt werden. Smartphone-Apps nutzen diese Technologie, um eine unkomplizierte Bestimmung von Pflanzen vor Ort zu ermöglichen. Auch Laien können sich so schnell einen Zugang zur biologischen Vielfalt (Biodiversität) verschaffen. Doch vor dem Hintergrund von Klimawandel, dem Verlust von Lebensräumen und veränderter Landnutzung könnten solche Applikationen noch einen weiteren Nutzen haben: Durch die Erfassung der Standorte der Pflanzenarten entstehen wertvolle Datensätze, die Forschenden Aufschluss darüber geben können, wie sich verschiedene Umweltbedingungen verändern.

Doch wie zuverlässig sind die so gesammelten Informationen – und können sie es mit langfristig angelegten Datensätzen aufnehmen? Genau dieser Frage ist ein Forschungsteam des Deutschen Zentrums für Biodiversitätsforschung (iDiv), des Remote Sensing Center for Earth System Research (RSC4Earth) der Universität Leipzig (UL) und des Helmholtz-Zentrums für Umweltforschung (UFZ), des Max-Planck-Instituts für Biogeochemie (MPI-BGC) und der Technischen Universität Ilmenau gemeinsam nachgegangen. Das Team untersuchte Daten, die zwischen 2018 und 2019 mithilfe der App „Flora Incognita“ in Deutschland erfasst wurden und verglich diese mit der Datenbank FlorKart des Bundesamtes für Naturschutz (BfN). Dabei handelt es sich um eine herkömmliche Langzeit-Kartierung, die mit der Unterstützung von über 5000 Pflanzenexperten über einen Zeitraum von über 70 Jahren erstellt wurde.

App erlaubt Rückschlüsse auf ökologische Muster in Deutschland

Die Forschenden konnten zeigen, dass sich mit den Daten, die in nur zwei Jahren mithilfe der App „Flora Incognita“ gewonnen wurden, ökologische Muster in Deutschland ableiten lassen, die mit einer langfristigen Kartierung der Flora Deutschlands vergleichbar sind. Die Daten spiegelten damit auch wider, welchen Einfluss verschiedene Umweltfaktoren auf die Verbreitung verschiedener Pflanzenarten haben.

Ein direkter Vergleich der beiden Datensätze zeigte jedoch auch, dass die Datensätze aus der App insbesondere dort von denen der herkömmlichen Langzeit-Kartierung abwichen, wo eine geringere Bevölkerungsdichte vorliegt. „Wie viele Daten in einer bestimmten Region mit einer App gesammelt werden, ist natürlich stark davon abhängig, wie viele Smartphone-Nutzende es dort gibt“, sagt Dr. Jana Wäldchen vom MPI-BGC, Mitautorin der Studie und Mitentwicklerin der App. In ländlichen Regionen waren die Abweichungen daher stärker – es sei denn, es handelte sich um beliebte touristische Ziele, wie beispielsweise an der Zugspitze oder auf der Nordsee-Insel Amrum.

Auch die Interessen der Nutzerinnen und Nutzer haben einen Einfluss auf die erfassten Pflanzenarten. „Die mit der App gesammelten Pflanzenobservationen geben das wieder, was die Menschen in der Natur sehen und wofür sie sich interessieren”, sagt Wäldchen. So werden häufige und auffällige Arten öfter bestimmt als die seltenen und unauffälligen Arten. Trotz solcher Besonderheiten hilft die schiere Menge der gesammelten Pflanzenbeobachtungen, bekannte biogeographische Muster zu rekonstruieren. Für ihre Studie konnten die Forschenden auf mehr als 900.000 Observationsdaten zurückgreifen, die während der ersten beiden Jahre seit dem Erscheinen der App entstanden sind.

Automatische Arterkennung birgt große Potentiale

Die Studie zeigt das Potential dieser Art von Datenerfassung für die Biodiversitäts- und Umweltforschung, die schon bald in Strategien zur Langzeit-Kartierung integriert werden könnte. „Wir sind überzeugt, dass die automatische Arterkennung in Zukunft noch viel größere Potentiale hat als bisher angenommen und eine schnelle Erfassung von Änderungen der Biodiversität ermöglichen könnte“, sagt Prof. Miguel Mahecha von der Universität Leipzig, Erstautor und Mitglied des iDiv. Mit einer steigenden Nutzerzahl von Apps wie „Flora Incognita“ könnten Veränderungen der Ökosysteme weltweit in Echtzeit erfasst und analysiert werden.

Die App „Flora Incognita“ wurde gemeinsam von den Gruppen von Dr. Wäldchen am MPI-BGC und von Prof. Patrick Mäder an der TU Ilmenau entwickelt. Sie ist die erste in Deutschland angewandte App zur Pflanzenbestimmung, die tiefe künstliche neuronale Netze (Deep Learning) in diesem Kontext nutzt. Trainiert mit Tausenden von Pflanzenbildern, die von Experten bestimmt wurden, erkennt „Flora Incognita“ mittlerweile über 4800 Pflanzenarten weit über die Landesgrenzen hinaus.

„Bei der Entwicklung von Flora Incognita haben wir festgestellt, dass es einen großen Bedarf und ein großes Interesse an besseren Technologien zur Erfassung von Biodiversitätsdaten gibt. Für uns als Informatiker ist es erfreulich zu sehen, dass die von uns entwickelten Technologien einen wichtigen Beitrag zur Biodiversitätsforschung leisten”, sagt Co-Autor Prof. Patrick Mäder von der TU Ilmenau.

(Kati Kietzmann, iDiv)

Originalpublikation
Miguel D. Mahecha, Michael Rzanny, Guido Kraemer, Patrick Mäder, Marco Seeland, Jana Wäldchen (2021). Crowd-sourced plant occurrence data provide a reliable description of macroecological gradients. Ecography, DOI: 10.1111/ecog.0549

Blütenpollen effizient bestimmen

Ob Pollenflugvorhersage, Honiganalyse oder das Verstehen klimabedingter Veränderungen von Pflanzen-Bestäuber-Interaktionen – die Analyse von Blütenpollen spielt in vielen Forschungsbereichen eine wichtige Rolle. Goldstandard ist dabei nach wie vor die Mikroskopie, die jedoch viel Zeit und Expertise erfordert. Wissenschaftlerinnen und Wissenschaftler des Helmholtz-Zentrums für Umweltforschung (UFZ) und des Deutschen Zentrums für integrative Biodiversitätsforschung (iDiv) haben in Kooperation mit der Technischen Universität (TU) Ilmenau nun ein Verfahren entwickelt, mit dem sie die Pollenanalyse automatisieren können. Ihre Studie ist im Fachmagazin New Phytologist veröffentlicht.

Pollen wird in den Staubblättern einer Blüte produziert und besteht aus vielen winzigen Pollenkörnern, die das männliche Erbgut einer Pflanze für deren Fortpflanzung beherbergen. Die Pollenkörner verfangen sich in den Härchen vorbeistreifender nektarsaugender Insekten und werden so von Blüte zu Blüte transportiert. Dort bleibt er im besten Fall an der klebrigen Narbe derselben Pflanzenart hängen, und es kann zu einer Befruchtung kommen. „Die bestäubenden Insekten machen diesen Pollen-Kurierdienst zwar ganz nebenbei, doch ist er von unschätzbar hohem ökologischen und auch wirtschaftlichen Wert“, sagt Dr. Susanne Dunker, Leiterin der Arbeitsgruppe Bildbasierte Zytometrie im Department Physiologische Diversität an UFZ und iDiv. „Insbesondere vor dem Hintergrund des Klimawandels und dem zunehmenden Verlust von Arten ist es wichtig, diese Pflanzen-Bestäuber-Interaktionen besser zu verstehen.“ Die Pollenanalyse ist dafür ein entscheidendes Instrument.

Pollenkörner haben eine für die jeweilige Pflanzenart charakteristische Form, Oberflächenstruktur und Größe. Um die zwischen 10 und 180 Mikrometer großen Pollenkörner einer Probe zu bestimmen und zu zählen, galt bislang die Mikroskopie als Goldstandard. Die Arbeit am Mikroskop erfordert jedoch eine große Expertise und ist sehr zeitaufwendig. „Zwar gibt es bereits verschiedene Ansätze zur Automatisierung der Pollenanalyse, doch können diese Methoden entweder nah verwandte Arten nicht unterscheiden oder keine quantitativen Aussagen über die Anzahl der in einer Probe enthaltenen Pollenkörner treffen“, sagt die UFZ-Biologin Dunker. Doch genau das ist für viele Fragestellungen in der Forschung, etwa zur Interaktion zwischen Pflanzen und Bestäubern, wichtig.

In ihrer aktuellen Studie hat das Forscherteam  ein neuartiges Automatisierungsverfahren für die Pollenanalyse entwickelt. Dafür kombinierte es den Hochdurchsatz der bildbasierten Durchflusszytometrie, ein Verfahren der Partikelanalyse, mit einer Form der künstlichen Intelligenz (KI), dem sogenannten Deep Learning – und entwarf damit ein hocheffizientes Analyse-Tool, das neben der exakten Artbestimmung auch eine Quantifizierung der in einer Probe enthaltenen Pollenkörner möglich macht. Die bildbasierte Durchflusszytometrie ist ein vorwiegend in der Medizin angewandtes Verfahren zur Analyse von Blutzellen, das nun auch der Pollenanalyse dient. „Eine zu untersuchende Pollenprobe wird zunächst in eine Trägerflüssigkeit gegeben, die dann einen enger werdenden Kanal durchfließt“, erklärt Susanne Dunker dieses Verfahren. „Durch die Verengung, werden die Pollenkörner separiert und wie auf einer Perlenschnur aufgereiht. So wandert jedes Pollenkorn einzeln durch das eingebaute Mikroskop-Element – bis zu 2.000 Pollen pro Sekunde können das sein.“ Zwei normale mikroskopische Bilder werden mit zehn fluoreszenzmikroskopischen Aufnahmen pro Pollen ergänzt. Dabei senden die Pollen, nachdem sie durch Laser mit Licht bestimmter Wellenlängen angeregt wurden, selbst Licht aus. „In welchem Bereich des Farbspektrums und wo genau die Pollen fluoreszieren, ist teilweise sehr spezifisch. Damit erhalten wir weitere Merkmale, die zur Identifizierung der jeweiligen Pflanzenart beitragen können“, sagt Susanne Dunker. Beim Deep learning abstrahiert ein Algorithmus in aufeinanderfolgenden Schritten die ursprünglichen Pixel eines Bildes immer stärker, um letztendlich die für eine Art spezifischen Eigenschaften zu extrahieren. „Die kombinierte Nutzung von mikroskopischen Aufnahmen, Fluoreszenzeigenschaften und Hochdurchsatz gab es in der Pollenanalyse bislang noch nicht – das ist tatsächlich ein absolutes Novum.“ Die Analyse einer wenig komplexen Probe dauert beispielsweise vier Stunden am Mikroskop, mit dem neuen Verfahren sind es nur noch 20 Minuten.

Die in der New Phytologist-Studie untersuchten Pollenproben stammten von 35 Wiesenpflanzenarten, darunter zum Beispiel Schafgarbe, Salbei, Thymian und verschiedene Klee-Arten wie Weiß-, Berg- und Wiesenklee. Insgesamt fertigten die Forscher rund 430.000 Bilder an, die den Grundstock für eine Datenbank bildeten. Diese wurde in Kooperation mit der TU Ilmenau mittels Deep Learning in ein hocheffizientes Werkzeug zur Pollenidentifizierung überführt. In anschließenden Untersuchungen testeten die Forscher die Treffsicherheit ihrer neuen Methode: Aus den 35 Pflanzenarten haben sie unbekannte Pollenproben mit der Datenbank verglichen. „Das Ergebnis war mehr als zufriedenstellend, die Genauigkeit lag bei 96 Prozent“, sagt Susanne Dunker. Dabei konnten sogar Arten, die selbst für Experten am Mikroskop schwer zu unterscheiden sind, sicher identifiziert werden. Die neue Methode ist also nicht nur extrem schnell, sondern auch hochpräzise.

Das neue Verfahren der automatisierten Pollenanalyse wird künftig bei wichtigen Forschungsfragen rund um die Pflanzen-Bestäuber-Interaktionen eine zentrale Rolle spielen. Wie wichtig sind bestimmte Bestäuber wie Biene, Fliege oder Hummel für eine Pflanzenart? Welche Konsequenzen hätte ein Verlust einer bestäubenden Insekten-Art oder einer Pflanze? „Wir sind nun in der Lage, in großem Umfang Pollenproben qualitativ und gleichzeitig quantitativ auszuwerten. Unsere Pollen-Datenbank insektenbestäubter Pflanzen erweitern wir dafür stetig“, sagt Susanne Dunker. Sie will die Datenbank auf mindestens jene 500 Pflanzenarten erweitern, deren Pollen für die Honigbiene als Nahrung relevant sind.

Publikation:
Susanne Dunker, Elena Motivans, Demetra Rakosy, David Boho, Patrick Mäder, Thomas Hornick, Tiffany M. Knight: Pollen analysis using multispectral imaging flow cytometry and deep learning. New Phytologist https://doi.org/10.1111/nph.16882