Entwicklung eines Bildverarbeitungssystems, das Königsblumen auf Apfelbäumen lokalisieren kann

Ein maschinelles Bildverarbeitungssystem, das in der Lage ist, Blüten des Apfelkönigs innerhalb von Blütenbüscheln auf Bäumen in Obstgärten zu lokalisieren und zu identifizieren, wurde von Forschern der Penn State entwickelt – ein entscheidender früher Schritt in der Entwicklung eines robotergestützten Bestäubungssystems – in einer einzigartigen Studie .

Apfelblüten wachsen in Gruppen von vier bis sechs Blüten, die an Zweigen befestigt sind, und die mittlere Blüte ist als Königsblume bekannt. Diese Blume öffnet sich zuerst in der Traube und bringt normalerweise die größten Früchte hervor. Laut dem Forscher Long He, Assistenzprofessor für Agrar- und Biotechnik, ist es also das Hauptziel eines robotischen Bestäubungssystems.

Die Bestäubung durch Insekten hat sich traditionell auf die Apfelproduktivität verlassen. Es gibt jedoch Hinweise darauf, dass die Bestäubungsdienste, sowohl von domestizierten Honigbienen als auch von wilden Bestäubern, den steigenden Anforderungen nicht gerecht werden, stellte er fest. Aufgrund der Koloniekollapsstörung sterben Honigbienen auf der ganzen Welt mit alarmierender Geschwindigkeit. Infolgedessen benötigen die Erzeuger alternative Bestäubungsmethoden.

Diese Studie ist die neueste, die von Hes Forschungsgruppe am College of Agricultural Sciences durchgeführt wurde, die sich der Entwicklung von Robotersystemen widmet, um arbeitsintensive landwirtschaftliche Aufgaben wie das Sammeln von Pilzen, das Beschneiden von Apfelbäumen und das Ausdünnen grüner Früchte zu erledigen. Das Hauptziel dieses Projekts, erklärte He, sei die Entwicklung eines auf Deep Learning basierenden Sichtsystems, das Königsblumen in Baumkronen präzise identifizieren und lokalisieren könne.

„Wir glauben, dass dieses Ergebnis grundlegende Informationen für ein Roboterbestäubungssystem liefern wird, das zu einer effizienten und reproduzierbaren Bestäubung von Äpfeln führen würde, um den Ertrag hochwertiger Früchte zu maximieren“, sagte er. „In Pennsylvania können wir uns immer noch auf Bienen verlassen, um Apfelkulturen zu bestäuben, aber in anderen Regionen, in denen das Bienensterben schwerwiegender war, brauchen die Erzeuger diese Technologie möglicherweise früher als später.“

Xinyang Mu, Doktorand in der Abteilung für landwirtschaftliche Biotechnik, leitete die Königsblumenstudie. Mu verwendete Mask R-CNN – ein beliebtes Deep-Learning-Computerprogramm, das eine Segmentierung auf Pixelebene durchführt, um Objekte zu erkennen, die teilweise von anderen Objekten verdeckt werden –, um die Königsblumen in einem Bildverarbeitungssystem zu identifizieren und zu lokalisieren.

Um das Mask R-CNN-basierte Erkennungsmodell zu erstellen, hat er Hunderte von Apfelblüten-Cluster-Fotos aufgenommen. Dann entwickelte er einen Segmentierungsalgorithmus für Königsblumen, um die Königsblumen aus diesem Rohdatensatz von Apfelblumenbildern zu identifizieren und zu lokalisieren. Die Forschung wurde am Fruit Research and Extension Center der Penn State, Biglerville, durchgeführt.

Für die Tests wurden die Apfelsorten Gala und Honeycrisp ausgewählt. Die Testbäume wurden 2014 mit Baumabständen von etwa 5 Fuß (Gala) und 6 1/2 Fuß (Honeycrisp) gepflanzt. Diese Bäume wurden in der Baumkronenarchitektur mit einer durchschnittlichen Höhe von etwa 13 Fuß ausgebildet. Das Bilderfassungssystem mit einer Kamera wurde auf einem Nutzfahrzeug montiert, das zwischen Baumreihen manövriert wurde.

Das Training des Bildverarbeitungssystems zur Lokalisierung von Königsblumen sei eine Herausforderung, betonte Mu, da sie die gleiche Größe, Farbe und Form wie die seitlichen Blüten in Trauben haben und die Königsblumen aufgrund ihrer zentralen Position normalerweise von den umgebenden Blumen verdeckt werden.

Um die Anforderungen des Transferlernens für das Masken-R-CNN-Modelltraining zu erfüllen, wurden Rohbilder in zwei vordefinierten Klassen gekennzeichnet: einzelne Blumen und verdeckte Blumen. Um die Genauigkeit zu verbessern, wurde der Trainingsdatensatz mithilfe von Datenerweiterungsansätzen um das Vierfache vergrößert, erklärte Mu.

„Um Königsblumen von Seitenblumen zu unterscheiden, wurde die zentralste Blume innerhalb jeder Blütentraube gezielt oder lokalisiert“, sagte er. „Das Bildverarbeitungssystem lokalisierte die Blütenbüschel automatisch separat, basierend auf einem zweidimensionalen Blütendichte-Mapping-Ansatz. Innerhalb jedes erkannten Blütenbüschels wurde die Blume – oder die Maske – an der am weitesten zentrierten Position als Ziel-Königsblume bestimmt.“

In kürzlich veröffentlichten Ergebnissen in Smarte Agrartechnik, berichteten die Forscher von einem hohen Maß an Genauigkeit bei der Erkennung von Königsblumen, das sich aus dem Algorithmus von Mu ergibt. Verglichen mit Messungen, die von Forschern manuell durchgeführt wurden, um Königsblumen mit dem Auge zu identifizieren – von den Forschern als Ground-Truth-Messungen bezeichnet – variierte die Erkennungsgenauigkeit der maschinellen Bildverarbeitung von Königsblumen zwischen 98,7 % und 65,6 %.