Bioingenieure wenden sich an das Tierreich, um bionische Super-3D-Kameras zu entwickeln

Zwei Bioingenieure der UCLA und ein ehemaliger Postdoktorand haben eine neue Klasse von bionischen 3D-Kamerasystemen entwickelt, die das Multiview-Sehvermögen von Fliegen und die natürliche Sonarerkennung von Fledermäusen nachahmen können, was zu einer multidimensionalen Bildgebung mit außergewöhnlichem Tiefenbereich führt, die auch durch tote Winkel scannen kann.

Angetrieben durch computergestützte Bildverarbeitung kann die Kamera die Größe und Form von Objekten entschlüsseln, die um Ecken oder hinter anderen Gegenständen verborgen sind. Die Technologie könnte in autonome Fahrzeuge oder medizinische Bildgebungswerkzeuge mit Sensorfunktionen integriert werden, die weit über das hinausgehen, was heute als Stand der Technik gilt. Diese Forschung wurde in veröffentlicht Naturkommunikation.

Im Dunkeln können Fledermäuse ein lebendiges Bild ihrer Umgebung visualisieren, indem sie eine Form der Echoortung oder Sonar verwenden. Ihr hochfrequentes Quietschen prallt von ihrer Umgebung ab und wird von ihren Ohren wieder aufgenommen. Die winzigen Unterschiede in der Zeit, die das Echo braucht, um die nachtaktiven Tiere zu erreichen, und die Intensität des Schalls sagen ihnen in Echtzeit, wo sich etwas befindet, was im Weg ist und in welcher Nähe potenzielle Beute ist.

Viele Insekten haben geometrisch geformte Facettenaugen, bei denen jedes „Auge“ aus Hunderten bis Zehntausenden von einzelnen Einheiten für das Sehen zusammengesetzt ist, wodurch es möglich wird, dasselbe aus mehreren Sichtlinien zu sehen. Zum Beispiel geben die bauchigen Facettenaugen von Fliegen ihnen eine nahezu 360-Grad-Sicht, obwohl ihre Augen eine feste Brennweite haben, was es ihnen erschwert, etwas in der Ferne zu sehen, wie zum Beispiel eine in die Höhe gehaltene Fliegenklatsche.

Inspiriert von diesen beiden natürlichen Phänomenen, die in Fliegen und Fledermäusen vorkommen, machte sich das von der UCLA geleitete Team daran, ein leistungsstarkes 3D-Kamerasystem mit fortschrittlichen Fähigkeiten zu entwickeln, das diese Vorteile nutzt, aber auch die Mängel der Natur angeht.

„Während die Idee selbst ausprobiert wurde, war das Sehen über eine Reihe von Entfernungen und um Okklusionen herum eine große Hürde“, sagte Studienleiter Liang Gao, außerordentlicher Professor für Bioingenieurwesen an der UCLA Samueli School of Engineering. „Um dem entgegenzuwirken, haben wir ein neuartiges Computational Imaging Framework entwickelt, das zum ersten Mal die Erfassung eines weiten und tiefen Panoramablicks mit einfacher Optik und einer kleinen Anordnung von Sensoren ermöglicht.“

Das Framework mit der Bezeichnung „Compact Light-field Photography“ oder CLIP ermöglicht es dem Kamerasystem, mit einem erweiterten Tiefenbereich und um Objekte herum zu „sehen“. In Experimenten zeigten die Forscher, dass ihr System versteckte Objekte „sehen“ kann, die von herkömmlichen 3D-Kameras nicht erfasst werden.

Die Forscher verwenden auch eine Art LiDAR oder „Light Detection And Ranging“, bei dem ein Laser die Umgebung scannt, um eine 3D-Karte des Gebiets zu erstellen.

Herkömmliches LiDAR ohne CLIP würde einen hochauflösenden Schnappschuss der Szene machen, aber versteckte Objekte übersehen, ähnlich wie es unser menschliches Auge tun würde.

Unter Verwendung von sieben LiDAR-Kameras mit CLIP nimmt das Array ein Bild der Szene mit niedrigerer Auflösung auf, verarbeitet, was einzelne Kameras sehen, und rekonstruiert dann die kombinierte Szene in hochauflösender 3D-Bildgebung. Die Forscher demonstrierten, dass das Kamerasystem eine komplexe 3D-Szene mit mehreren Objekten abbilden kann, die sich alle in unterschiedlichen Entfernungen befinden.

„Wenn Sie ein Auge bedecken und auf Ihren Laptop-Computer schauen und dahinter eine Kaffeetasse nur leicht versteckt ist, sehen Sie sie möglicherweise nicht, weil der Laptop die Sicht blockiert“, erklärte Gao, der ebenfalls Mitglied der ist Kalifornisches NanoSystems Institute. „Aber wenn Sie beide Augen benutzen, werden Sie feststellen, dass Sie das Objekt besser sehen können. So ungefähr passiert hier, aber stellen Sie sich jetzt vor, Sie sehen den Becher mit dem Facettenauge eines Insekts. Jetzt sind mehrere Ansichten möglich. “

Laut Gao hilft CLIP dem Kamera-Array, auf ähnliche Weise zu verstehen, was verborgen ist. In Kombination mit LiDAR ist das System in der Lage, den Fledermaus-Echolokalisierungseffekt zu erzielen, sodass man ein verborgenes Objekt erkennen kann, indem man feststellt, wie lange es dauert, bis Licht zur Kamera zurückgeworfen wird.

Die Co-Hauptautoren der veröffentlichten Forschungsergebnisse sind Yayao Ma, ein Doktorand für Bioingenieurwesen der UCLA, der Mitglied des Intelligent Optics Laboratory von Gao ist, und Xiaohua Feng – ein ehemaliger UCLA Samueli Postdoc, der in Gaos Labor arbeitet und jetzt wissenschaftlicher Mitarbeiter am Forschungszentrum für Humanoid Sensing im Zhejiang Laboratory in Hangzhou, China.