Forscher entwickeln optoelektronische abgestufte Neuronen zur Wahrnehmung dynamischer Bewegung

Die winzigen visuellen Systeme fliegender Insekten haben Forscher der Hong Kong Polytechnic University (PolyU) dazu inspiriert, optoelektronische abgestufte Neuronen zur Wahrnehmung dynamischer Bewegungen zu entwickeln und die Funktionen von Sehsensoren für eine agile Reaktion zu erweitern.

Biologische visuelle Systeme können Bewegungen in einer komplizierten Umgebung effektiv und mit hoher Energieeffizienz wahrnehmen. Insbesondere fliegende Insekten haben eine hohe Flimmerfunktionsfrequenz (FFF) und können Objekte mit hoher Bewegungsgeschwindigkeit wahrnehmen. Diese Inspiration aus der Natur könnte zur Weiterentwicklung von Bildverarbeitungssystemen mit sehr sparsamen Hardware-Ressourcen führen. Ein herkömmliches Bildverarbeitungssystem zur Aktionserkennung umfasst typischerweise komplexe künstliche neuronale Netze wie „räumliche“ und „zeitliche“ Stromberechnungsarchitekturen.

Unter der Leitung von Prof. Yang Chai, stellvertretender Dekan der Fakultät für Naturwissenschaften und Professor in der Abteilung für Angewandte Physik an der PolyU, zeigte das Forschungsteam, dass optoelektronische abgestufte Neuronen eine hohe Informationsübertragungsrate (>1000 Bit/s) erreichen und räumliche und zeitliche Informationen verschmelzen können an sensorischen Terminals. Bezeichnenderweise ermöglicht das Forschungsergebnis die Funktionalitäten, die bei herkömmlichen Bildsensoren nicht verfügbar sind.

Prof. Chai sagte: „Diese Forschung vertieft unser Verständnis von bioinspiriertem Computing grundlegend. Die Studienergebnisse tragen zu möglichen Anwendungen bei autonomen Fahrzeugen bei, die Hochgeschwindigkeitsbewegungen im Straßenverkehr erkennen müssen. Außerdem kann die Technologie für einige Überwachungssysteme verwendet werden.“ .“

Bioinspiriertes In-Sensor-Computing

Bildverarbeitungssysteme bestehen in der Regel aus Hardware mit physikalisch getrennten Bildsensoren und Verarbeitungseinheiten. Allerdings können die meisten Sensoren nur „räumliche“ Frames ausgeben, ohne „zeitliche“ Informationen zu fusionieren. Für die Erkennung akuter Bewegungen müssen „räumliche“ und „zeitliche“ Strominformationen an die Verarbeitungseinheiten übertragen und dort zusammengeführt werden. Diese bioinspirierte Bewegungswahrnehmung im Sensor bietet Fortschritte bei der Bewegungsverarbeitung, die eine rechnerische Herausforderung darstellt, die erhebliche Anforderungen an die Rechenressourcen stellt.

Die PolyU-Forschung „Optoelektronische abgestufte Neuronen für bioinspirierte In-Sensor-Bewegungswahrnehmung“ ist veröffentlicht in Natur-Nanotechnologie. Das Forschungsteam hat sich auf Studien zum In-Sensor-Computing zur Verarbeitung visueller Informationen an sensorischen Terminals konzentriert. In anderen früheren Studien konnte das Team die Kontrastverstärkung statischer Bilder und die visuelle Anpassung an unterschiedliche Lichtintensitäten nachweisen.

Prof. Chai bemerkte: „Wir arbeiten seit Jahren an künstlichem Sehen. Bisher haben wir Sensorarrays nur verwendet, um statische Bilder in verschiedenen Umgebungen wahrzunehmen und deren Eigenschaften zu verbessern. Wir untersuchen außerdem die Frage, ob wir ein Sensorarray zur Wahrnehmung verwenden können.“ dynamische Bewegung. Allerdings können sich sensorische Terminals keine komplizierte Hardware leisten. Deshalb haben wir uns entschieden, die winzigen visuellen Systeme wie die von Fluginsekten zu untersuchen, die dynamische Bewegungen agil wahrnehmen können.“

Fluginsekten wie Drosophila können mit einem winzigen Sehsystem ein sich bewegendes Objekt viel schneller erkennen als ein Mensch. Insbesondere besteht sein visuelles System aus abgestuften Non-Spiking-Neuronen (Retina-Lamina), die eine viel höhere Informationsübertragungsrate (R) haben als die Spike-Neuronen im menschlichen visuellen System. Das winzige Sehsystem von Insekten verringert die Signalübertragungsentfernung zwischen der Netzhaut (Sensor) und dem Gehirn (Recheneinheit) erheblich.

Im Wesentlichen ermöglichen die abgestuften Neuronen eine effiziente Kodierung zeitlicher Informationen an sensorischen Terminals, wodurch die Übertragung zahlreicher Sehdaten durch die Fusionierung raumzeitlicher (räumlicher und zeitlicher) Informationen in einer Recheneinheit reduziert wird. Diese bioinspirierte agile Bewegungswahrnehmung veranlasste das Forschungsteam dazu, künstlich optoelektronische abgestufte Neuronen für die Bewegungswahrnehmung im Sensor zu entwickeln.

Hochpräzise Bewegungserkennung

Eine hochpräzise Bewegungserkennung ist für Maschinenanwendungen wie automatisierte Fahrzeuge und Überwachungssysteme unerlässlich. Die Forschung ergab, dass die Ladungsdynamik flacher Einfangzentren in MoS2-Fototransistoren die Eigenschaften abgestufter Neuronen nachahmt, eine Informationsübertragungsrate von 1.200 Bit s−1 aufweist und zeitliche Lichtinformationen effektiv kodiert.

Durch die Kodierung der raumzeitlichen Informationen und die Einspeisung der komprimierenden Bilder in ein künstliches neuronales Netzwerk erreicht die Genauigkeit der Aktionserkennung 99,2 %, viel höher als die Erkennung, die mit herkömmlichen Bildsensoren erreicht wird (~50 %).

Die Forschung löst eine Herausforderung bei der Bewegungsverarbeitung aus, die erhebliche Rechenressourcen erfordert. Nun ermöglichen die künstlich abgestuften Neuronen die direkte Erfassung und Kodierung der zeitlichen Informationen. Das bioinspirierte Vision-Sensor-Array kann räumlich-zeitliche visuelle Informationen kodieren und die Kontur der Flugbahn anzeigen, wodurch die Wahrnehmung von Bewegung mit begrenzten Hardware-Ressourcen ermöglicht wird.

Die Forschung lässt sich von der agilen Bewegungswahrnehmung der visuellen Systeme von Insekten inspirieren und bringt erhebliche Fortschritte bei der Übertragungsgeschwindigkeit und der intelligenten Verarbeitung integrierter statischer und dynamischer Bewegungen für maschinelle Bildverarbeitungssysteme.