Studie zur Bestimmungsgenauigkeit: Flora Incognita erreicht 98,8 %

Über die Studie

Vor kurzem wurde eine wissenschaftliche Studie veröffentlicht, die in Großbritannien fünf Pflanzenbestimmungs-Apps hinsichtlich ihrer Bestimmungsgenauigkeit testete. Flora Incognita war nicht dabei, aber die für die Untersuchung aufgenommenen und ausgewerteten Bilder wurden mit publiziert. Das bot uns die Gelegenheit, unsere App mit diesem unabhängigen Bilddatensatz zu testen.

Das (erste) Ergebnis

Wir bestimmten die Bilder mit Flora Incognita und verglichen unsere Ergebnisse mit den Artnamen, die die Autor:innen erwarteten. In diesem ersten Durchgang lag Flora Incognita bei mehr als 90 % der Bilder richtig und übertraf damit bereits die anderen Apps. In einem nächsten Schritt wollten wir jedoch herausfinden, warum Flora Incognita bei den restlichen 10 % der Bilder (angeblich) falsche Artnamen liefert. Deswegen haben wir diese fraglichen Bilder in Zusammenarbeit mit externen Botanikern nochmals manuell überprüft. Dabei stellte sich heraus, dass Flora Incognita nur in wenigen Fällen tatsächlich falsch lag.

Gründe für „falsche“ Bestimmung

In den meisten Fällen bestimmte Flora Incognita richtig, und es gab andere Gründe, warum der vorgeschlagene Artname nicht der war, den die Autor:innen erwarteten:
1) Taxonomie. Es gibt mehrere parallel existierende Taxonomien mit manchmal leicht unterschiedlichen Konzepten, die aber alle gültig sind – was in einigen Fällen zu unterschiedlichen Namen oder unterschiedlichen taxonomischen Rängen (Art vs. Unterart) für dieselbe Pflanzenart führt.
2) Bestimmungsfehler. Manchmal war die erwartete Art falsch, und das App-Ergebnis richtig.
3) Biologie. Manchmal ist es nicht möglich, das Ergebnis einer App-Bestimmung als richtig oder falsch zu einzuordnen, da die Art auf dem Bild selbst von Expert:innen nicht mit Sicherheit auf Artniveau bestimmt werden kann.

Fazit
Wir möchten Dich ermutigen, bei einem unerwarteten Bestimmungsergebnis nicht gleich zu sagen: „Die App liegt falsch“. Frage Dich beim nächsten Mal: Kenne ich diese Art unter einem anderen Namen? War das Bild wirklich geeignet, um die Art zu bestimmen? Könnte es nicht doch die Art sein, die die App vorschlägt? Denn in unserer neuen Veröffentlichung zeigen wir, dass Flora Incognita nach einer gründlichen Untersuchung der Fehlerursachen des ersten Durchlaufs 98,8 % der Arten im gesamten Datensatz richtig bestimmt hat.

Hier kannst Du sie lesen (auf Englisch): Rzanny, M., Bebber, A., Wittich, H. C., Fritz, A., Boho, D., Mäder, P., & Wäldchen, J. (2024). More than rapid identification—Free plant identification apps can also be highly accurate. People and Nature, 00, 14. https://doi.org/10.1002/pan3.10676

7 Dinge, die Du noch nicht über Flora Incognita wusstest!

Am 22. November 2024 findet in Jena die Lange Nacht der Wissenschaften statt. Über diese Veranstaltung kannst Du Dich auf der Webseite der LNDW informieren: Lange Nacht der Wissenschaften (LNDW) Jena

Wir möchten Dich zu einem ganz besonderen Vortrag einladen, der 19:00 im Hörsaal des Max-Planck-Instituts für Biogeochemie stattfinden wird:

7 Dinge, die Du noch nicht über Flora Incognita wusstest!

Warum musste Pflanzenbestimmung neu gedacht werden? Wie entwickelt und betreibt man eigentlich eine App? Sind die Bestimmungen überhaupt verlässlich und was sagen uns die Daten über den Klimawandel oder den pH-Wert des Bodens? Diese und andere Fragen möchte das Team um Projektleiterin Dr. Jana Wäldchen in einem Vortrag beantworten. Die Wissenschaftler*innen geben hierbei Einblicke „hinter die Kulissen“ der beliebten Pflanzenbestimmungsapp und stehen im Anschluss von 20-21 Uhr für persönliche Gespräche bereit.

Bis dahin!

Neue Publikation: Erkennt eine Künstliche Intelligenz die Blattform?

Blattform und KI
Die automatische Erkennung von Pflanzenarten mittels künstlicher Intelligenz (KI) basiert maßgeblich auf der Analyse von Blattformen. Wie diese komplexen Strukturen von der KI interpretiert werden, ist jedoch oft schwer nachvollziehbar und stellt eine sogenannte ‚Black Box‘ dar. Insbesondere die hohe Variabilität von Blattformen innerhalb einer Art, wie sie beispielsweise beim heimischen Gold-Hahnenfuß Ranunculus auricomus zu beobachten ist, stellt die KI vor eine Herausforderung.

Geometrische Morphometrie
Um die Leistungsfähigkeit von KI-basierten Erkennungssystemen zu evaluieren und besser zu verstehen, haben wir geometrische Morphometrie als Werkzeug der erklärbaren KI (eXplainable KI oder auch XAI) eingesetzt. Diese Methode ermöglicht eine detaillierte quantitative Beschreibung von Formvariationen und erlaubt so einen direkten Vergleich zwischen den Ergebnissen der KI und einer etablierten morphometrischen Methode.

Experiment
Unser Fokus lag auf der Erkennung regionaler Populationsunterschiede beim Gold-Hahnenfuß. Wir untersuchten, ob die KI in der Lage ist, subtile morphologische Unterschiede zwischen verschiedenen Populationen anhand von einfachen Smartphone-Aufnahmen zu erkennen. Die Ergebnisse zeigen, dass die KI selbst bei komplexen Bildhintergründen zuverlässig charakteristische Merkmale der Blätter identifizieren kann. Die Übereinstimmung mit den Ergebnissen der geometrischen Morphometrie bestätigt die Leistungsfähigkeit der KI und unterstreicht das Potenzial dieser Technologie für die automatisierte Phänotypisierung in der Pflanzenforschung.

Bedeutung dieser Forschung
Unsere Studie liefert wichtige Erkenntnisse für den Einsatz von KI in der Pflanzenbestimmung und eröffnet neue Perspektiven für die Erforschung der biologischen Vielfalt. Die Kombination von KI und modernen morphometrischen Methodenermöglicht eine umfassende Analyse von Pflanzenmerkmalen und trägt so zu einem besseren Verständnis der Evolution und Anpassung von Pflanzen an unterschiedliche Umweltbedingungen bei.

Die Publikation ist ab sofort frei lesbar:
Hodač, L., Karbstein, K., Kösters, L., Rzanny, M., Wittich, H.C., Boho, D., Šubrt, D., Mäder, P. and Wäldchen, J. (2024), Deep learning to capture leaf shape in plant images: Validation by geometric morphometrics. Plant J. https://doi.org/10.1111/tpj.17053

Titelbild: Ranunculus auricomus, Ladislav Hodač