Verbesserung von Bildsensoren für maschinelles Sehen

Bildsensoren messen die Lichtintensität, aber Winkel, Spektrum und andere Aspekte des Lichts müssen ebenfalls extrahiert werden, um die maschinelle Bildverarbeitung erheblich voranzubringen.

Im Angewandte Physik Briefeheben Forscher der University of Wisconsin-Madison, der Washington University in St. Louis und OmniVision Technologies die neuesten nanostrukturierten Komponenten hervor, die auf Bildsensorchips integriert sind und höchstwahrscheinlich den größten Einfluss auf die multimodale Bildgebung haben werden.

Die Entwicklungen könnten es autonomen Fahrzeugen ermöglichen, um Ecken statt nur eine gerade Linie zu sehen, biomedizinische Bildgebung, um Anomalien in verschiedenen Gewebetiefen zu erkennen, und Teleskope, um durch interstellaren Staub zu sehen.

„Bildsensoren werden sich allmählich zu den idealen künstlichen Augen von Maschinen entwickeln“, sagte Co-Autor Yurui Qu von der University of Wisconsin-Madison. „Eine Weiterentwicklung, die die bemerkenswerte Leistung bestehender Bildsensoren nutzt, wird wahrscheinlich unmittelbarere Auswirkungen haben.“

Bildsensoren, die Licht in elektrische Signale umwandeln, bestehen aus Millionen von Pixeln auf einem einzigen Chip. Die Herausforderung besteht darin, multifunktionale Komponenten als Teil des Sensors zu kombinieren und zu miniaturisieren.

In ihrer eigenen Arbeit stellten die Forscher einen vielversprechenden Ansatz zur Erfassung von Mehrbandspektren durch die Herstellung eines On-Chip-Spektrometers vor. Sie lagerten photonische Kristallfilter aus Silizium ab direkt auf den Pixeln, um komplexe Wechselwirkungen zwischen einfallendem Licht und dem Sensor zu erzeugen.

Die Pixel unter den Folien erfassen die Verteilung der Lichtenergie, aus der Lichtspektralinformationen abgeleitet werden können. Das Gerät – weniger als ein Hundertstel Quadratzoll groß – ist programmierbar, um verschiedene dynamische Bereiche, Auflösungsstufen und fast jedes Spektralregime von sichtbar bis infrarot abzudecken.

Die Forscher bauten eine Komponente, die Winkelinformationen erkennt, um die Tiefe zu messen und 3D-Formen auf subzellulärer Ebene zu konstruieren. Ihre Arbeit wurde von direktionalen Hörsensoren inspiriert, die in Tieren wie Geckos zu finden sind, deren Köpfe zu klein sind, um zu bestimmen, woher Geräusche kommen, wie es Menschen und andere Tiere können. Stattdessen verwenden sie gekoppelte Trommelfelle, um die Schallrichtung innerhalb einer Größe zu messen, die um Größenordnungen kleiner ist als die entsprechende akustische Wellenlänge.

In ähnlicher Weise wurden Paare von Silizium-Nanodrähten als Resonatoren konstruiert, um die optische Resonanz zu unterstützen. Die in zwei Resonatoren gespeicherte optische Energie ist empfindlich gegenüber dem Einfallswinkel. Der Draht, der dem Licht am nächsten ist, sendet den stärksten Strom. Durch Vergleich der stärksten und schwächsten Ströme beider Drähte kann der Winkel der einfallenden Lichtwellen bestimmt werden.

Millionen dieser Nanodrähte können auf einem 1 Quadratmillimeter großen Chip platziert werden. Die Forschung könnte Fortschritte bei linsenlosen Kameras, Augmented Reality und Robotic Vision unterstützen.

Der Artikel „Multimodal light-sensing pixel arrays“ wurde von Yurui Qu, Soongyu Yi, Lan Yang und Zongfu Yu verfasst. Der Artikel erscheint in Angewandte Physik Briefe am 26. Juli 2022.