Deep Learning in der phänologischen Pflanzenforschung: Eine systematische Literaturübersicht

Negin Katal hat gemeinsam mit ihrem Team einen Übersichtsartikel über aktuelle Forschungsansätze welche tiefe Lernverfahren (Deep Learning) in der Pflanzenphänologieforschung verwenden verfasst. Die Veröffentlichung gibt einen Überblick über die wichtigsten Ergebnisse aus 24 ausgewählten, von Experten begutachteten Studien, die in den letzten fünf Jahren (2016-2021) veröffentlicht wurden.

Die Phänologie von Pflanzen befasst sich mit der Veränderung des im Jahreverlauf periodisch wiederkehrenden Entwicklungsstufen von Pflanzen (z.B.: Blüte, Blattaustrieb, Blattfall, etc.). Forschungsarbeiten zur Phänologie haben zunehmend an Bedeutung gewonnen, da Klima-schwankungen und -veränderungen Einfluss auf die Phänologie von Pflanzen nehmen. Eine der größten Herausforderungen dabei ist die Entwicklung von Werkzeugen zur effizienten Analyse großer Datenmengen. Tiefe neuronale Netze können bei der Bildverarbeitung massiv unterstützen, dabei helfen Muster zu erkennen und machen es überhaupt erst möglich große Mengen an Bildmaterial effizient auszuwerten.

„[…]Deep Learning soll vor allem die bisher sehr zeit- und kostenintensiven, direkten phänologischen Messungen und Beobachtungen vereinfachen.“

Unser Artikel beschreibt die verwendeteten Methoden, die nach den untersuchten phänologischen Stadien, dem Vegetationstyp, dem räumlichen Maßstab und der Datenerfassung kategorisiert sind.

Einzelbeobachtungen sind beispielsweise menschliche Beobachtungen von Pflanzen, unter dem Kronendach installierte Kameras oder auch Herbarmaterial welches über Jahrhunderte und rund um den Globus gesammelt wurde.

Oberflächennahe Messungen beispielsweise mit PhenoCams, oberflächennahen Digitalkameras, die knapp über dem Kronendach angebracht sind oder mit Drohnen durchgeführt. Über Satelliten-Fernerkundung werden beispielsweiseIndices wie der Spektrale Vegetationsindex (VI) oder der erweiterten Vegetationsindex (EVI) bestimmt.

Außerdem werden Forschungstrends aufgezeigt und diskutiert sowie  vielversprechende zukünftige Richtungen aufgezeigt.

Die wichtigsten Ergebnisse

Die untersuchten Studien wurden in elf verschiedenen Ländern und in verschiedenen Vegetationstypen (Grasland, Wald, Buschland, landwirtschaftliche Flächen) durchgeführt. Die überwiegende Mehrheit der Primärstudien untersucht phänologische Stadien an einzelnen Individuen. Zehn Studien untersuchten die Phänologie auf regionaler Ebene. Keine einzige Studie arbeitet auf globaler Ebene. Tiefe Lernverfahren sollen in erster Linie die bisher sehr zeit- und kostenintensiven direkten phänologischen Messungen vereinfachen.

Im Allgemeinen sind die wichtigsten phänologischen Stadien das Aufbrechen der Blattknospen, Austrieb der Blätter, Blühbeginn, Erscheinen der Früchte, Seneszenz (Laubfärbung) und das Abwerfen der Blätter. Unter den untersuchten Studien beschäftigte sich mehr als die Hälfte entweder mit den Blattaustrieb oder mit dem Blühbeginn.

Dabei wurden unterschiedliche Methoden verwendet, um Trainingsmaterial für die Lernalgorhitmen zu gewinnen. Zwölf Studien verwendeten Bilder aus digitalen Wiederholungsaufnahmen und analysierten diese. Die Publikation enthält ausführliche Informationen über verschiedenen Arten von digitaler Fotografie, die sich besonders für die Bereitstellung dieser Trainingsdaten eignen.

Darüber hinaus in unserem Paper die Deep-Learning-Methoden, welche beim phänologischen Monitoring eingesetzt werden, kategorisiert, verglichen und diskutiert. Wir haben  festgestellt, dass Klassifizierungs- und Segmentierungsmethoden sich als sehr vorteilhaft erwiesen haben und am häufigsten angewendet werden, insbesondere weil sie mühsame und fehleranfällige manuelle Aufgaben ersetzen oder unterstützen können.

Es gibt unterschiedliche Methoden die Phänologie der Pflanzen zu beobachten.

Zukünftige Trends in der phänologischen Forschung durch den Einsatz von Deep Learning

Methoden des maschinellen Lernens benötigen große Datenmengen, um trainiert zu werden. Daher ist die Erhöhung der absoluten Zahl an gesammelten Daten eine der größten Herausforderungen – insbesondere in Regionen oder Ländern, in denen es bisher keine traditionellen phänologischen Beobachtungsnetze gibt. In dem Papier werden Methoden und Instrumente beschrieben, die sich als wichtige Hebel zur Unterstützung dieser Art von Forschung erweisen werden, zum Beispiel:

Die Installation von Kameras unter dem Kronendach, die automatisch Bilder aufnehmen und über lange Zeiträume hinweg übermitteln.

PhenoCams erweisen sich als neuer und vielversprechender Weg, um die Forschung voranzutreiben: Über indirekte Methoden, welche die Veränderungen in Bildern nachverfolgen, indem sie beispielsweise Veränderung der grünen oder roten Farbkoordinaten aus PhenoCam-Bildern bestimmen und dann dann mittels Algorithmen den Zeitpunkt phänologischer Ereignisse abzuleiten. Wir erwarten, dass in Zukunft viele weitere Studien erscheinen werden, die PhenoCam-Bilder über die bisher berechneten Vegetationsfarbindizes hinaus auswerten.

Citizen Science-Daten aus Pflanzenbestimmungs-Apps wie Flora Incognita erweisen sich als langfristige Quelle für Vegetationsdaten. Diese Bilder sind mit einem Zeitstempel und Standortinformationen versehen und können daher ähnlich wie Herbarmaterial wichtige Informationen, z. B. über Blütezeiten, liefern.

Es wird deutlich, dass Deep-Learning-Methoden in der Phänologieforschung erfolgreich angewendet und genutzt können und die traditionelle Erfassung und Auswertung von Daten verbessern und beschleunige können. Wir, als Forschungsteam, freuen uns darüber, ein Teil davon zu sein und laden Sie herzlich dazu ein, selbst eine wichtige Rolle zu spielen – indem Sie Flora Incognita nutzen, um die Vielfalt und den Wandel der Biodiversität um Sie herum zu beobachten und zu dokumentieren.

Wenn Sie Fragen zu unserer Forschung haben, zögern Sie nicht, uns zu kontaktieren! Sie finden Negin Katal zum Beispiel auf Researchgate und Twitter (@katalnegin).

Publikation

Katal, N., Rzanny, M., Mäder, P., & Wäldchen, J. (2022). Deep learning in plant phenological research: A systematic literature review. Frontiers in Plant Science, 13. https://doi.org/10.3389/fpls.2022.805738

Lassen sich Süßgräser über Smartphone-Bilder automatisch bestimmen?

Quecke oder Weidelgras? Gräser gelten als schwer zu bestimmende Arten. Die Quecke (Agropyron repens) wird in Gärten gefürchtet und bekämpft. Das Weidelgras (Lolium perenne) hingegen ist Grundlage vieler Rasenmischungen und ein wertvolles Futtergras. Nur welches ist welches?

In unserer gerade erschienenen Publikation haben wir untersucht ob sich Gräser trotz ihrer großen Ähnlichkeit automatisch erkennen und unterscheiden lassen. Dabei wollten wir wissen welche Perspektiven sich eignen und ob das sogar ohne Blüte möglich ist. Wir haben 31 Arten untersucht und dabei Aufnahmen des Blütenstandes, der Blätter und des Blatthäutchens verwendet. Dabei zeigte sich, dass eine Kombination verschiedener Perspektiven das Ergebnis verbessert. Der Blütenstand lieferte dabei die meiste Information. Sind keine Blüten vorhanden so sind Bilder des Blatthäutchens aus Richtung des Blattes am besten geeignet um die Grasarten zu unterschieden. Alle Bilder wurden mit verschiedenen Smartphones angefertigt.

 

Was lernen wir daraus für Flora Incognita? Auch schwierigere Gruppen lassen sich gut automatisch bestimmen, vorausgesetzt man fotografiert die richtigen Pflanzenteile. Diese neu gewonnenen Erkenntnisse werden in die Weiterentwicklung unserer App einfließen. In unserem Experiment erreichten wir für die 31 Arten eine Genauigkeit von > 96%.  Dabei haben wir auch viele Trainingsbilder gewonnen, die der Verlässlichkeit der Flora Incognita App bei Gräsern zukünftig deutlich verbessern werden.

 

 

 

Publikation

Rzanny M, Wittich HC, Mäder P, Deggelmann A, Boho D & Wäldchen J (2022) Image-Based Automated Recognition of 31 Poaceae Species: The Most Relevant Perspectives. Front. Plant Sci. 12:804140. https://doi.org/10.3389/fpls.2021.804140

 

 

 

 

Digitales Imkern zum Lernen und Spielen

Mit der App „beeactive“ des Vereins Bienenforschung Würzburg können Kinder und Jugendliche spielend mehr über Bienen und die Biodiversität verschiedener Wildpflanzen in ihrer Umgebung lernen. Das Ziel soll sein, den Natur- und Artenschutz in den Fokus zu rücken und ihr Bewusstsein dafür zu erweitern. Flora Incognita stellt hierbei die automatische Bestimmung der Pflanzenarten als wichtigen Spielinhalt von „beeactive“ zur Verfügung.

Erkunde mit der virtuellen Imkerin Melli Fera spielerisch die Welt des Imkerns!

Stelle Augmented-Reality-Bienenvölker auf und versorge diese mit Nektar und Pollen der (realen) umliegenden Pflanzen! Die Verbindung von beeactive und Flora Incognita macht es möglich, sowohl in das Thema Bienenkunde/Imkern einzutauchen, als auch Deine Artenkenntnis zu erweitern! Je mehr verschiedene Arten und Bienenweiden Du findest, desto besser geht es Deinem Bienenvolk – und wenn genug Nahrung vorhanden ist, kannst Du auch weitere Stöcke aufstellen.

Blühkarte der Region München

Aber beeactive ist mehr: Als Serious Game unterstützt es bei der Erstellung ganz realer, lokaler und regionaler Blühkarten. Diese zeigen Imker:innen auf, welche Tracht in welcher Menge wo verfügbar ist. Hier kannst Du sehen, wie so etwas aussieht: -> Blühkarte  
Filtere nach Nektar- und Pollenangebot oder nach dem Pflanzentyp, oder finde heraus, wie Du ganz konkret das Nahrungsangebot vor Ort für Wild- und Honigbienen verbessern kannst.

Ergänzt wird das Spiel durch vielfältige Informationen über die Ökologie von Honig- und Wildbienen, sowie zu Grundlagen von ökologischen Zusammenhängen. Ein integriertes Quiz ermöglicht eine direkte Anwendung des neuen Wissens und festigt das Gelernte.

Weitere Informationen findest Du auf folgender Webseite: https://beeactive.app/.

 

Die App „beeactive“ wurde von Porf. Tautz und Florian Schimpf entwickelt und aus Mitteln der Bayerischen Sparkassenstiftung finanziert. Sie ist kostenlos im Google Play Store und im App Store von Apple erhältlich.

#Krautschau: Die Pflanzen der Pflasterritzen entdecken

Die Pflanzen in Städten sind wahre Überlebenskünstler – sie können Tritt- und Fahrbelastungen, Hitze, Bodenverdichtung und Verschmutzung trotzen und sind deshalb wertvolle Mikro-Ökosysteme für zahlreiche Insekten und andere Organismen.  Leider werden die Pflanzen, die aus dem Asphalt oder aus den Mauerritzen ragen von vielen Menschen entweder gar nicht oder oft nur als „Unkraut“ wahrgenommen.

Die Stadtbotanik-Aktion #Krautschau wollte mit einen bundesweiten Aktionstag am 17. Juli mehr Bewusstsein für die Präsenz von Wildpflanzen im urbanen Raum und für die Bedeutung von Natur in den Städten schaffen. Die Aktion wurde von Julia Krohmer vom Senckenberg Museum in Frankfurt/Main gemeinsam mit Alexandra-Maria Klein von der Universität Freiburg koordiniert. An der bundesweiten Aktion, die erstmals in dieser Form stattfindet, beteiligten sich etliche weitere Institutionen und Botaniker*innen in mehreren deutschen Städten.

Mit einem Stück Kreide und mit unserer „Flora Incognita“ App  gingen viele Menschen in ihren Heimatstädten auf die Suche nach Pflanzen. Zwischen Mauerritzen, Pflastersteinen und Gehwegen konnten verschiedenste Pflanzenarten entdeckt werden. Nach der erfolgreichen Bestimmung wurden die Pflanzennamen mit der Kreide an die nächstgelegene Häuserwand oder Gehwegplatte geschrieben. Anschließend wurden die Bilder unter den Hashtags #Krautschau und #MehrAlsUnkraut  in den sozialen Netzwerken geteilt – so erhielten die „pflanzlichen Kämpfernaturen“ vor Ort und im Netz Aufmerksamkeit.

#Krautschau ist eine schönes Beispiel wie man auf die pflanzliche Vielfalt aufmerksam machen kann. Und mit unserer App war es auch für botanische Laien möglich, den Pflanzen einen Namen zu geben.

Diese Aktion lässt sich auch wunderbar in den Unterricht integrieren. Auf der Seite des Landesinstituts für Pädagogik und Medien in Saarland stellt dafür  Lehrmaterialen zur Verfügung.

 

Weitere Artikel:

Lehrmaterialen:

Automatische Pflanzenbestimmung mit der Flora Helvetica App

Wir freuen uns über eine erfolgreiche Zusammenarbeit mit dem Haupt Verlag.  Seit der Version 2.3 enthält die Flora Helvetica App eine Funktion zur automatischen bildbasierten Bestimmung der Pflanzen, die im Rahmen des Flora Incognita Projektes zur Verfügung gestellt wird. Somit ist es erstmals möglich mit einer einzigen App die Pflanzen automatisch wie auch manuell mit dem integrierten Bestimmungsschlüssel zu bestimmen.

Weitere Informationen zur Flora Helvetica App finden Sie auf folgender Seite:

https://www.flora-helvetica.ch/app

Mit Smartphones den ökologischen Wandel erfassen

Smartphone-Apps zur Pflanzenbestimmung wie „Flora Incognita“ können nicht nur Pflanzenarten erkennen, sie erfassen auch großräumige ökologische Muster. Diese Muster stimmen mit Langzeit-Kartierungen der deutschen Flora erstaunlich gut überein, obwohl sie in kürzester Zeit gewonnen wurden und stark vom Verhalten der App-Nutzer beeinflusst werden. Damit eröffnen sich neue Perspektiven für die schnelle Erfassung von Veränderungen der Biodiversität. Das sind die wesentlichen Erkenntnisse einer Studie, die von einem Forscherteam aus Mitteldeutschland durchgeführt und in der Zeitschrift Ecography veröffentlicht wurde.

Mit Hilfe von Künstlicher Intelligenz können Pflanzenarten heute mit hoher Genauigkeit bestimmt werden. Smartphone-Apps nutzen diese Technologie, um eine unkomplizierte Bestimmung von Pflanzen vor Ort zu ermöglichen. Auch Laien können sich so schnell einen Zugang zur biologischen Vielfalt (Biodiversität) verschaffen. Doch vor dem Hintergrund von Klimawandel, dem Verlust von Lebensräumen und veränderter Landnutzung könnten solche Applikationen noch einen weiteren Nutzen haben: Durch die Erfassung der Standorte der Pflanzenarten entstehen wertvolle Datensätze, die Forschenden Aufschluss darüber geben können, wie sich verschiedene Umweltbedingungen verändern.

Doch wie zuverlässig sind die so gesammelten Informationen – und können sie es mit langfristig angelegten Datensätzen aufnehmen? Genau dieser Frage ist ein Forschungsteam des Deutschen Zentrums für Biodiversitätsforschung (iDiv), des Remote Sensing Center for Earth System Research (RSC4Earth) der Universität Leipzig (UL) und des Helmholtz-Zentrums für Umweltforschung (UFZ), des Max-Planck-Instituts für Biogeochemie (MPI-BGC) und der Technischen Universität Ilmenau gemeinsam nachgegangen. Das Team untersuchte Daten, die zwischen 2018 und 2019 mithilfe der App „Flora Incognita“ in Deutschland erfasst wurden und verglich diese mit der Datenbank FlorKart des Bundesamtes für Naturschutz (BfN). Dabei handelt es sich um eine herkömmliche Langzeit-Kartierung, die mit der Unterstützung von über 5000 Pflanzenexperten über einen Zeitraum von über 70 Jahren erstellt wurde.

App erlaubt Rückschlüsse auf ökologische Muster in Deutschland

Die Forschenden konnten zeigen, dass sich mit den Daten, die in nur zwei Jahren mithilfe der App „Flora Incognita“ gewonnen wurden, ökologische Muster in Deutschland ableiten lassen, die mit einer langfristigen Kartierung der Flora Deutschlands vergleichbar sind. Die Daten spiegelten damit auch wider, welchen Einfluss verschiedene Umweltfaktoren auf die Verbreitung verschiedener Pflanzenarten haben.

Ein direkter Vergleich der beiden Datensätze zeigte jedoch auch, dass die Datensätze aus der App insbesondere dort von denen der herkömmlichen Langzeit-Kartierung abwichen, wo eine geringere Bevölkerungsdichte vorliegt. „Wie viele Daten in einer bestimmten Region mit einer App gesammelt werden, ist natürlich stark davon abhängig, wie viele Smartphone-Nutzende es dort gibt“, sagt Dr. Jana Wäldchen vom MPI-BGC, Mitautorin der Studie und Mitentwicklerin der App. In ländlichen Regionen waren die Abweichungen daher stärker – es sei denn, es handelte sich um beliebte touristische Ziele, wie beispielsweise an der Zugspitze oder auf der Nordsee-Insel Amrum.

Auch die Interessen der Nutzerinnen und Nutzer haben einen Einfluss auf die erfassten Pflanzenarten. „Die mit der App gesammelten Pflanzenobservationen geben das wieder, was die Menschen in der Natur sehen und wofür sie sich interessieren”, sagt Wäldchen. So werden häufige und auffällige Arten öfter bestimmt als die seltenen und unauffälligen Arten. Trotz solcher Besonderheiten hilft die schiere Menge der gesammelten Pflanzenbeobachtungen, bekannte biogeographische Muster zu rekonstruieren. Für ihre Studie konnten die Forschenden auf mehr als 900.000 Observationsdaten zurückgreifen, die während der ersten beiden Jahre seit dem Erscheinen der App entstanden sind.

Automatische Arterkennung birgt große Potentiale

Die Studie zeigt das Potential dieser Art von Datenerfassung für die Biodiversitäts- und Umweltforschung, die schon bald in Strategien zur Langzeit-Kartierung integriert werden könnte. „Wir sind überzeugt, dass die automatische Arterkennung in Zukunft noch viel größere Potentiale hat als bisher angenommen und eine schnelle Erfassung von Änderungen der Biodiversität ermöglichen könnte“, sagt Prof. Miguel Mahecha von der Universität Leipzig, Erstautor und Mitglied des iDiv. Mit einer steigenden Nutzerzahl von Apps wie „Flora Incognita“ könnten Veränderungen der Ökosysteme weltweit in Echtzeit erfasst und analysiert werden.

Die App „Flora Incognita“ wurde gemeinsam von den Gruppen von Dr. Wäldchen am MPI-BGC und von Prof. Patrick Mäder an der TU Ilmenau entwickelt. Sie ist die erste in Deutschland angewandte App zur Pflanzenbestimmung, die tiefe künstliche neuronale Netze (Deep Learning) in diesem Kontext nutzt. Trainiert mit Tausenden von Pflanzenbildern, die von Experten bestimmt wurden, erkennt „Flora Incognita“ mittlerweile über 4800 Pflanzenarten weit über die Landesgrenzen hinaus.

„Bei der Entwicklung von Flora Incognita haben wir festgestellt, dass es einen großen Bedarf und ein großes Interesse an besseren Technologien zur Erfassung von Biodiversitätsdaten gibt. Für uns als Informatiker ist es erfreulich zu sehen, dass die von uns entwickelten Technologien einen wichtigen Beitrag zur Biodiversitätsforschung leisten”, sagt Co-Autor Prof. Patrick Mäder von der TU Ilmenau.

(Kati Kietzmann, iDiv)

Originalpublikation

Miguel D. Mahecha, Michael Rzanny, Guido Kraemer, Patrick Mäder, Marco Seeland, Jana Wäldchen (2021). Crowd-sourced plant occurrence data provide a reliable description of macroecological gradients. Ecography, DOI: 10.1111/ecog.0549

Kosmos „Was blüht den da“ in unserer Flora Incognita App

„Was blüht denn da?“ – immer mobil dabei!

Alle Käufer:innen der aktuellen Auflage der Bücher „Was blüht denn da? Das Original“ und „Was blüht denn da? Der Fotoband“ vom KOSMOS-Verlag haben die Möglichkeit, die darin abgedruckten Pflanzensteckbriefe auf ihrem Smartphone immer mit dabei zu haben. Nach dem Kauf dieser Bücher erhalten Sie vom KOSMOS-Verlag einen 9-stelligen Code, den Sie unter den Einstellungen in der Flora-Incognita-App in den Zusatzfunktionen aktivieren können.

Nach Eingabe dieses Codes werden bei allen Pflanzen, die im „Was blüht denn da?“ enthalten sind, statt der üblichen Flora-Incognita-Inhalte die entsprechenden Texte und Abbildungen des KOSMOS-Verlags angezeigt. 

Weitere Informationen erhalten Sie direkt vom KOSMOS-Verlag: Zur Webseite des KOSMOS-Verlags