Eine Kamera zur neuronalen Wellenfrontformung überwindet das Problem der Lichtstreuung bei der optischen Bildgebung

Ingenieure der Rice University und der University of Maryland haben eine Full-Motion-Videotechnologie entwickelt, mit der möglicherweise Kameras hergestellt werden könnten, die durch Nebel, Rauch, Schlagregen, trübes Wasser, Haut, Knochen und andere Medien blicken, die Streulicht und undurchsichtige Objekte reflektieren aus Sicht.

„Die Bildgebung durch Streumedien ist derzeit das ‚heilige Gralproblem‘ in der optischen Bildgebung“, sagte Ashok Veeraraghavan von Rice, Mitautor einer Open-Access-Studie, die heute in veröffentlicht wurde Wissenschaftliche Fortschritte. „Streuung macht Licht – das eine geringere Wellenlänge hat und daher eine viel bessere räumliche Auflösung bietet – in vielen, vielen Szenarien unbrauchbar. Wenn man die Effekte der Streuung rückgängig machen kann, dann geht die Bildgebung noch viel weiter.“

Veeraraghavans Labor arbeitete mit der Forschungsgruppe des Maryland-Mitkorrespondenten Christopher Metzler zusammen, um eine Technologie zu entwickeln, die sie NeuWS nannten, eine Abkürzung für „Neural Wavefront Shaping“, die Kerntechnik der Technologie.

„Wenn man Leute, die an autonom fahrenden Fahrzeugen arbeiten, nach den größten Herausforderungen fragt, denen sie gegenüberstehen, werden sie sagen: ‚Schlechtes Wetter. Bei schlechtem Wetter können wir keine guten Bilder machen.‘“, sagte Veeraraghavan. „Sie sagen ‚schlechtes Wetter‘, aber was sie technisch gesehen meinen, ist Lichtstreuung.“

„Wenn man Biologen nach den größten Herausforderungen in der Mikroskopie fragt, werden sie sagen: ‚Wir können tiefes Gewebe nicht in vivo abbilden.‘ Sie sagen „tiefes Gewebe“ und „in vivo“, aber was sie eigentlich meinen, ist, dass Haut und andere Gewebeschichten, durch die sie sehen wollen, Licht streuen. Wenn Sie Unterwasserfotografen nach ihrer größten Herausforderung fragen, werden sie antworten , „Ich kann mir nur Dinge vorstellen, die mir nahe stehen.“ Was sie eigentlich meinen, ist, dass das Licht im Wasser gestreut wird und daher nicht tief genug reicht, um sich auf weit entfernte Dinge konzentrieren zu können. Unter all diesen und anderen Umständen ist die Streuung das eigentliche technische Problem.“

Veeraraghavan sagte, NeuWS könne möglicherweise zur Überwindung der Streuung in diesen und anderen Szenarien eingesetzt werden.

„Dies ist ein großer Fortschritt für uns, wenn es darum geht, dieses Problem auf eine potenziell praktische Weise zu lösen“, sagte er. „Es gibt noch viel zu tun, bevor wir tatsächlich Prototypen in jedem dieser Anwendungsbereiche erstellen können, aber der von uns demonstrierte Ansatz könnte sie durchdringen.“

Konzeptionell basiert NeuWS auf dem Prinzip, dass Lichtwellen komplexe mathematische Größen mit zwei Schlüsseleigenschaften sind, die für jeden gegebenen Ort berechnet werden können. Die erste, die Größe, ist die Energiemenge, die die Welle am Ort trägt, und die zweite ist die Phase, also der Schwingungszustand der Welle am Ort. Metzler und Veeraraghavan sagten, die Messphase sei entscheidend für die Überwindung der Streuung, eine direkte Messung sei jedoch aufgrund der hohen Frequenz des optischen Lichts unpraktisch.

Stattdessen messen sie einfallendes Licht als „Wellenfronten“ – Einzelmessungen, die sowohl Phasen- als auch Intensitätsinformationen enthalten – und nutzen die Backend-Verarbeitung, um Phaseninformationen aus mehreren hundert Wellenfrontmessungen pro Sekunde schnell zu entschlüsseln.

„Die technische Herausforderung besteht darin, eine Möglichkeit zu finden, Phaseninformationen schnell zu messen“, sagte Metzler, Assistenzprofessor für Informatik in Maryland und „Triple Owl“ Rice-Absolvent, der seinen Ph.D., Master- und Bachelor-Abschluss in Elektrotechnik und Computertechnik erworben hat von Rice in den Jahren 2019, 2014 und 2013. Metzler war an der Rice University während der Entwicklung einer früheren Iteration der Wellenfrontverarbeitungstechnologie namens WISH, die Veeraraghavan und Kollegen im Jahr 2020 veröffentlichten.

„WISH ging das gleiche Problem an, aber es funktionierte unter der Annahme, dass alles statisch und schön war“, sagte Veeraraghavan. „In der realen Welt ändern sich die Dinge natürlich ständig.“

Mit NeuWS, sagte er, besteht die Idee nicht nur darin, die Auswirkungen der Streuung rückgängig zu machen, sondern sie auch schnell genug rückgängig zu machen, damit sich das Streumedium selbst während der Messung nicht verändert.

„Anstatt den Zustand der Schwingung selbst zu messen, misst man ihre Korrelation mit bekannten Wellenfronten“, sagte Veeraraghavan. „Man nimmt eine bekannte Wellenfront, interferiert diese mit der unbekannten Wellenfront und misst das von beiden erzeugte Interferenzmuster. Das ist die Korrelation zwischen diesen beiden Wellenfronten.“

Metzler verwendete den Vergleich, den Polarstern nachts durch einen Wolkenschleier zu betrachten. „Wenn ich weiß, wie der Polarstern aussehen soll, und ich erkennen kann, dass er auf eine bestimmte Weise verschwommen ist, dann sagt mir das, wie alles andere verschwommen sein wird.“

Veerarghavan sagte: „Es ist kein Vergleich, es ist eine Korrelation, und wenn man mindestens drei solcher Korrelationen misst, kann man die unbekannte Wellenfront eindeutig wiederherstellen.“

Hochmoderne räumliche Lichtmodulatoren können mehrere Hundert solcher Messungen pro Minute durchführen, und Veeraraghavan, Metzler und Kollegen zeigten, dass sie einen Modulator und ihre Berechnungsmethode verwenden können, um Videos von sich bewegenden Objekten aufzunehmen, die durch dazwischenliegende Streumedien aus dem Blickfeld verdeckt wurden .

„Dies ist der erste Schritt, der Beweis des Prinzips, dass diese Technologie Lichtstreuung in Echtzeit korrigieren kann“, sagte Haiyun Guo von Rice, einer der Hauptautoren der Studie und Doktorand. Student in Veeraraghavans Forschungsgruppe.

In einer Reihe von Experimenten wurde beispielsweise ein Objektträger mit dem gedruckten Bild einer Eule oder einer Schildkröte auf einer Spindel gedreht und von einer Overhead-Kamera gefilmt. Zwischen Kamera und Zielobjektträger wurden lichtstreuende Medien platziert, und die Forscher maßen die Fähigkeit von NeuWS, Lichtstreuung zu korrigieren. Beispiele für Streumedien waren Zwiebelschalen, mit Nagellack beschichtete Objektträger, Hähnchenbrustgewebescheiben und lichtstreuende Filme. Für jedes dieser Experimente zeigten die Experimente, dass NeuWS die Lichtstreuung korrigieren und ein klares Video der sich drehenden Figuren erzeugen konnte.

„Wir haben Algorithmen entwickelt, die es uns ermöglichen, sowohl die Streuung als auch die Szene kontinuierlich abzuschätzen“, sagte Metzler. „Das ermöglicht es uns, dies zu tun, und wir tun es mit einer mathematischen Maschinerie namens neuronale Repräsentation, die es ermöglicht, sowohl effizient als auch schnell zu sein.“

NeuWS moduliert schnell Licht von einfallenden Wellenfronten, um mehrere leicht veränderte Phasenmessungen zu erzeugen. Die veränderten Phasen werden dann direkt in ein neuronales Netzwerk mit 16.000 Parametern eingespeist, das schnell die notwendigen Korrelationen berechnet, um die ursprünglichen Phaseninformationen der Wellenfront wiederherzustellen.

„Die neuronalen Netze machen es schneller, indem sie es uns ermöglichen, Algorithmen zu entwerfen, die weniger Messungen erfordern“, sagte Veeraraghavan.

Metzler sagte: „Das ist tatsächlich das größte Verkaufsargument. Weniger Messungen bedeuten im Grunde, dass wir viel weniger Aufnahmezeit benötigen. Dadurch können wir Videos statt Standbilder aufnehmen.“