Forscher nutzen Tintenstrahldruck, um eine tragbare multispektrale 3D-Kamera herzustellen

Forscher haben mithilfe des Tintenstrahldrucks eine kompakte multispektrale Version einer Lichtfeldkamera entwickelt. Die handflächengroße Kamera könnte für viele Anwendungen nützlich sein, darunter autonomes Fahren, die Klassifizierung von Recyclingmaterialien und Fernerkundung.

3D-Spektralinformationen können für die Klassifizierung von Objekten und Materialien nützlich sein. Allerdings erfordert die Erfassung von 3D-Raum- und Spektralinformationen einer Szene normalerweise mehrere Geräte oder zeitintensive Scanvorgänge. Die neue Lichtfeldkamera löst diese Herausforderung, indem sie 3D-Informationen und Spektraldaten gleichzeitig in einem einzigen Schnappschuss erfasst.

„Unseres Wissens ist dies die fortschrittlichste und am weitesten integrierte Version einer multispektralen Lichtfeldkamera“, sagte Forschungsteamleiter Uli Lemmer vom Karlsruher Institut für Technologie in Deutschland. „Wir haben sie mit neuen KI-Methoden zur Rekonstruktion der Tiefe und der spektralen Eigenschaften der Szene kombiniert, um ein fortschrittliches Sensorsystem zur Erfassung von 3D-Informationen zu schaffen.“

In der Zeitschrift Optik-Expressdie Forscher Bericht dass die neue Kamera und Bildrekonstruktionsmethoden dazu verwendet werden können, Objekte in einer Szene anhand ihrer spektralen Eigenschaften zu unterscheiden. Durch die Verwendung von Tintenstrahldruck zur Herstellung der wichtigsten optischen Komponenten der Kamera kann diese leicht angepasst oder in großen Mengen hergestellt werden.

„Rekonstruierte 3D-Daten aus Kamerabildern finden breite Anwendung in der virtuellen und erweiterten Realität, in autonomen Autos, der Robotik, Smart-Home-Geräten, der Fernerkundung und anderen Anwendungen“, sagte Michael Heizmann, Mitglied des Forschungsteams.

„Diese neue Technologie könnte es Robotern beispielsweise ermöglichen, besser mit Menschen zu interagieren oder die Genauigkeit bei der Klassifizierung und Trennung von Materialien beim Recycling zu verbessern. Sie könnte möglicherweise auch zur Klassifizierung von gesundem und erkranktem Gewebe eingesetzt werden.“

Mit Tintenstrahldruck Farbe ins Spiel bringen

Lichtfeldkameras, auch plenoptische Kameras genannt, sind spezielle Bildgebungsgeräte, die die Richtung und Intensität von Lichtstrahlen erfassen. Nach der Bildaufnahme werden durch rechnerische Verarbeitung 3D-Bildinformationen aus den erfassten Daten rekonstruiert. Diese Kameras verwenden normalerweise Mikrolinsenarrays, die auf die Pixel eines hochauflösenden Kamerachips ausgerichtet sind.

Um eine multispektrale Lichtfeldkamera zu entwickeln, verwendeten die Forscher Tintenstrahldruck, um einen einzelnen Materialtropfen auf einer Seite ultradünner Objektträger aufzubringen, der jede einzelne Linse bildete. Anschließend druckten sie vollständig ausgerichtete Farbfilterarrays auf die gegenüberliegende Seite der Objektträger. Die resultierende optische Komponente wurde direkt auf einem CMOS-Kamerachip integriert. Das Tintenstrahldruckverfahren ermöglichte eine präzise Ausrichtung der optischen Komponenten, was die Herstellungskomplexität erheblich reduzierte und die Effizienz steigerte.

Da dieser Aufbau Spektral- und Tiefeninformationen erzeugt, die in das Kamerabild eingebunden sind, entwickelten die Forscher Methoden, um die einzelnen Komponenten voneinander zu trennen. Sie fanden heraus, dass ein auf Deep Learning basierender Ansatz am besten funktionierte, um die gewünschten Informationen direkt aus den erfassten Messungen zu extrahieren.

Spektralbasierte Objekterkennung

„Die Herausforderung, eine multispektrale Lichtfeldkamera zu entwickeln, war nur durch die Kombination der jüngsten Fortschritte in den Bereichen Fertigung, Systemdesign und KI-basierte Bildrekonstruktion möglich“, sagte Qiaoshuang Zhang, Erstautor des Papiers. „Diese Arbeit erweitert die Grenzen des Tintenstrahldrucks – einer vielseitigen Methode mit hoher Präzision und industrieller Skalierbarkeit – zur Herstellung photonischer Komponenten.“

Die Forscher testeten die Kamera, indem sie eine Testszene aufnahmen, die mehrfarbige 3D-Objekte in unterschiedlichen Entfernungen enthielt. Der Bildrekonstruktionsalgorithmus wurde an vielen synthetischen und realen multispektralen Bildern trainiert und getestet. Die Ergebnisse zeigen, dass der Kameraprototyp gleichzeitig dreidimensionale räumliche und spektrale Informationen erfassen kann und dass verschiedene Objekte in einem einzigen Schnappschuss anhand ihrer unterschiedlichen spektralen Zusammensetzung und Tiefeninformationen abgebildet und unterschieden werden können.

Nachdem sie diesen ersten Proof of Concept abgeschlossen haben, untersuchen die Forscher nun verschiedene Anwendungen, bei denen eine Lichtfeldkamera mit der Fähigkeit zur Erfassung multispektraler Informationen nützlich sein könnte.