Computer Vision und neuronale Netze helfen bei der Erkennung von Pflanzenkrankheiten

Ein Forschungsteam von Skoltech und der St. Petersburg State University of Aerospace Instrumentation hat ein Papier vorgestellt, in dem es eine alternative Methode zur Erkennung von verfaulten und schimmeligen Äpfeln in der Nacherntephase entwickelt hat, wenn die Früchte gelagert und dann an den Kunden geliefert werden. Ein Computer-Vision-System erkennt verschiedene Defekte in einem frühen Stadium, wenn sie für das menschliche Auge unsichtbar sein können. Der Papier wird in der Zeitschrift veröffentlicht Entropie.

Trotz der allgegenwärtigen Automatisierung wird die Qualität von Obst und Gemüse in der Nacherntephase, insbesondere bei der Sortierung, größtenteils vom Menschen kontrolliert. Bei der Lieferung können Produkte verfallen oder beschädigt werden. Einige Bereiche mit Verfall können übersehen oder übersehen werden, während ein Landwirt nicht immer verfügbar ist, um die Art der Krankheit oder des Schadens zu bestimmen.

Anhand von Äpfeln untersuchte das Team zwei Arten von Defekten: Fäulnis und Schimmel. Wenn beispielsweise Äpfel dicht gepackt sind, stoßen sie aneinander und verfaulen dadurch an diesen Stellen schneller. Schimmel entsteht durch eine radikale Verletzung der Lagerbedingungen oder wenn er bei der Ernte übersehen wurde.

Um Defekte zu erkennen, nutzen Spezialisten Infrarotlicht, dafür sind den Forschern zufolge jedoch multi- und hyperspektrale Geräte nötig, die sehr teuer und nicht immer benutzerfreundlich sind. Ziel der Studie war es, eine Alternative zu diesen Kameras anzubieten, die Deep-Learning-basierte Modelle verwenden, die Infrarotbilder erzeugen können. Die Autoren betonen, dass sie nicht die Absicht hatten, traditionelle Methoden zu ersetzen, sondern lediglich versuchten, einen erschwinglicheren und innovativeren Weg vorzuschlagen.

„Wir haben zwei Arten von neuronalen Netzen eingesetzt: generative kontradiktorische Netze und Faltungs-Neuronale Netze. Ersteres ermöglicht die Umwandlung eines Bildtyps in den anderen. In unserem Fall haben wir Infrarotbilder aus RGB erhalten, also sichtbare Fotos. Aber das reicht für die Erkennung nicht aus.“ „Fehler, weil generative gegnerische Netze Bilder nicht klassifizieren. Hier kommen Faltungs-Neuronale Netze ins Spiel. Sie helfen dabei, Objekte der benötigten Klassen in den Fotos zu erkennen und zu segmentieren“, sagte der Hauptautor der Studie, Nikita Stasenko, ein junger Forschungsingenieur im Agro Center von Skoltech.

Die Experimente umfassten mehrere Phasen. Das Team begann mit der Sammlung und Verarbeitung von Daten aus sichtbaren Bildern. Dazu wählten die Autoren 16 Äpfel aus vier verschiedenen Sorten aus. Die Äpfel wurden unterschiedlich behandelt: ein Apfel ohne Behandlung, ein gründlich gewaschener und abgewischter Apfel, ein mechanisch beschädigter Apfel und ein schockgefrorener Apfel, der unter –20 °C unterkühlt war.

„Als wir Daten sammelten, überprüften wir mehrere Modelle, die auf generativen kontradiktorischen Netzwerken basierten – Pix2Pix, CycleGAN und Pix2PixHD – und verglichen die erzeugten Infrarotbilder mit den Originalbildern. Gemäß den Qualitätsmetriken erwiesen sich die von Pix2PixHD generierten Bilder als solche so nah wie möglich am Original zu sein“, fügte Nikita Stasenko hinzu.

In der zweiten Stufe wurde das Faltungs-Neuronale Netzwerk Mask R-CNN verwendet. In der vorherigen Untersuchung war dieses Modell das effektivste. Um es zu trainieren, sammelte das Team einen weiteren Datensatz aus Infrarotbildern und kommentierte diese: Sie markierten gesunde Äpfel und solche mit Bereichen mit Fäulnis und Schimmel.

Im dritten Schritt verwendeten die Autoren Jetson Nano – ein spezielles eingebettetes System, das den Betrieb trainierter neuronaler Netze ermöglicht. Mit diesem System wird in Zukunft ein echtes Gerät zur Erkennung von Erntefehlern entstehen. Darüber hinaus plant das Team, die Ergebnisse auf andere Pflanzenarten zu übertragen und andere neuronale Modelle zu testen.