Neue objektivlose Kamera erstellt 3D-Bilder aus einer einzigen Belichtung

Forscher haben eine Kamera entwickelt, die ein dünnes Mikrolinsenarray und neue Bildverarbeitungsalgorithmen verwendet, um 3D-Informationen über Objekte in einer Szene mit einer einzigen Belichtung zu erfassen. Die Kamera könnte für eine Vielzahl von Anwendungen wie industrielle Teileinspektion, Gestenerkennung und Datenerfassung für 3D-Anzeigesysteme nützlich sein.

„Wir betrachten unsere Kamera als linsenlos, weil sie die in herkömmlichen Kameras verwendeten Massenlinsen durch ein dünnes, leichtes Mikrolinsen-Array aus flexiblem Polymer ersetzt“, sagte der Leiter des Forschungsteams Weijian Yang von der University of California, Davis. „Da jede Mikrolinse Objekte aus verschiedenen Betrachtungswinkeln beobachten kann, kann sie komplexe Bildgebungsaufgaben erfüllen, wie z. B. das Erfassen von 3D-Informationen von Objekten, die teilweise von Objekten verdeckt werden, die sich näher an der Kamera befinden.“

Im Tagebuch Optik Express, Yang und Erstautor Feng Tian, ​​ein Doktorand in Yangs Labor, beschreiben die neue 3D-Kamera. Da die Kamera aus vorhandenen Daten lernt, wie sie eine 3D-Szene digital rekonstruiert, kann sie 3D-Bilder in Echtzeit erstellen.

„Diese 3D-Kamera könnte verwendet werden, um Robotern 3D-Sicht zu geben, was ihnen helfen könnte, im 3D-Raum zu navigieren oder komplexe Aufgaben wie die Manipulation feiner Objekte zu ermöglichen“, sagte Yang. „Es könnte auch verwendet werden, um reichhaltige 3D-Informationen zu erhalten, die Inhalte für 3D-Displays liefern könnten, die in Spielen, Unterhaltung oder vielen anderen Anwendungen verwendet werden.“

Eine Kamera, die lernt

Die neue Kamera entstand aus früheren Arbeiten, in denen die Forscher ein kompaktes Mikroskop entwickelten, das mikroskopische 3D-Strukturen für biomedizinische Anwendungen abbilden kann. „Wir haben das Mikroskop mit einem Mikrolinsen-Array gebaut und dachten, dass ein ähnliches Konzept für die Abbildung makroskopischer Objekte angewendet werden könnte“, sagte Yang.

Die einzelnen Linsen in der neuen Kamera ermöglichen es, Objekte aus verschiedenen Winkeln oder Perspektiven zu sehen, was Tiefeninformationen liefert. Obwohl andere Forschungsgruppen Kameras entwickelt haben, die auf einschichtigen Mikrolinsenarrays basieren, war es aufgrund umfangreicher Kalibrierungsprozesse und langsamer Rekonstruktionsgeschwindigkeiten schwierig, sie praxistauglich zu machen.

Um eine praktischere 3D-Kamera für makroskopische Objekte zu entwickeln, betrachteten die Forscher das Mikrolinsen-Array und den Rekonstruktionsalgorithmus zusammen, anstatt sie einzeln anzugehen. Sie haben das Mikrolinsen-Array kundenspezifisch entworfen und hergestellt, das 37 kleine Linsen enthält, die in einer kreisförmigen Polymerschicht mit einem Durchmesser von nur 12 Millimetern verteilt sind. Der von ihnen entwickelte Rekonstruktionsalgorithmus basiert auf einem hocheffizienten künstlichen neuronalen Netzwerk, das lernt, Informationen aus dem Bild wieder auf die Objekte in einer Szene abzubilden.

„Viele vorhandene neuronale Netze können bestimmte Aufgaben ausführen, aber der zugrunde liegende Mechanismus ist schwer zu erklären und zu verstehen“, sagte Yang. „Unser neuronales Netzwerk basiert auf einem physikalischen Modell der Bildrekonstruktion. Das erleichtert den Lernprozess erheblich und führt zu qualitativ hochwertigen Rekonstruktionen.“

Ist der Lernprozess abgeschlossen, kann es mit sehr hoher Geschwindigkeit Bilder rekonstruieren, die Objekte enthalten, die unterschiedlich weit von der Kamera entfernt sind. Die neue Kamera muss nicht kalibriert werden und kann verwendet werden, um die 3D-Positionen und räumlichen Profile – oder Umrisse – von Objekten abzubilden.

Objekte durchsehen

Nach der Durchführung numerischer Simulationen zur Überprüfung der Kameraleistung führten die Forscher eine 2D-Bildgebung durch, die wahrnehmungsgefällige Ergebnisse zeigte. Anschließend testeten sie die Fähigkeit der Kamera, Objekte in verschiedenen Tiefen in 3D abzubilden. Die resultierende 3D-Rekonstruktion könnte auf verschiedene Tiefen oder Entfernungen neu fokussiert werden. Die Kamera erstellte auch eine Tiefenkarte, die mit der tatsächlichen Objektanordnung übereinstimmte.

„In einer abschließenden Demonstration haben wir gezeigt, dass unsere Kamera Objekte hinter den undurchsichtigen Hindernissen abbilden kann“, sagte Yang. „Nach unserem besten Wissen ist dies die erste Demonstration der Abbildung von Objekten hinter undurchsichtigen Hindernissen mit einer linsenlosen Kamera.“

Die Forscher arbeiten derzeit daran, Artefakte oder Fehler, die in den 3D-Rekonstruktionen auftreten, zu reduzieren und die Algorithmen zu verbessern, um eine noch höhere Qualität und Geschwindigkeit zu erreichen. Sie wollen auch die Gesamtfläche des Geräts miniaturisieren, damit es in ein Mobiltelefon passt, was es tragbarer machen und mehr Anwendungen ermöglichen würde.

„Unsere linsenlose 3D-Kamera verwendet computergestützte Bildgebung, einen neuen Ansatz, der gemeinsam Bildgebungshardware und Objektrekonstruktionsalgorithmen optimiert, um die gewünschten Bildgebungsaufgaben und -qualitäten zu erreichen“, sagte Yang. „Mit der jüngsten Entwicklung kostengünstiger, fortschrittlicher Mikrooptik-Fertigungstechniken sowie Fortschritten beim maschinellen Lernen und bei den Rechenressourcen wird die computergestützte Bildgebung viele neue Bildgebungssysteme mit erweiterter Funktionalität ermöglichen.“