Die Synergie traditioneller Techniken und Deep Learning ermöglicht eine hochpräzise Streifenmusteranalyse in einem Einzelbild

Die optische Messtechnik ist als universelle Messtechnik, die Licht als Informationsträger für berührungslose und zerstörungsfreie Messungen nutzt, von grundlegender Bedeutung für die Fertigung, Grundlagenforschung und technische Anwendungen.

Mit der Erfindung des Lasers und des ladungsgekoppelten Geräts (CCD) werden viele optische Messmethoden und -instrumente aufgrund ihrer Vorteile in Bezug auf Genauigkeit und Empfindlichkeit in modernen Herstellungsprozessen, Präzisionspositionierungen und Qualitätsbewertungen eingesetzt , Wiederholgenauigkeit und Geschwindigkeit.

Bei vielen optischen Messtechniken wie Interferometrie, digitaler Holographie und Streifenprojektionsprofilometrie (FPP) steht die Streifenmusteranalyse im Mittelpunkt der Forschung, um die zugrunde liegende Phasenverteilung aus den aufgezeichneten Streifenmustern wiederherzustellen. Die Genauigkeit und Effizienz der Phasenabfrage aus Streifenmustern sind für die dynamische Rekonstruktion verschiedener gewünschter physikalischer Eigenschaften der Objekte (Profil, Abstand, Dehnung usw.) von entscheidender Bedeutung.

Für die auf FPP basierende 3D-Bildgebung mit strukturiertem Licht hat die Forschungsgruppe von Prof. Qian Chen und Chao Zuo an der Nanjing University of Science and Technology den theoretischen Rahmen für Phasenverschiebungsprofilometrie und zeitliche Phasenentfaltung erstellt, um die Anzahl der für eine einzelne Rekonstruktion erforderlichen Streifen zu minimieren entwickelte eine Reihe zusammengesetzter Phasenverschiebungsmethoden für schnelle 3D-Messungen, darunter Bifrequenz-Phasenverschiebung, 2+2-Phasenverschiebung, auf geometrischen Einschränkungen basierende zusammengesetzte Phasenverschiebung und Mikro-Fourier-Transformationsprofilometrie (μFTP).

Diese zusammengesetzten Phasenverschiebungsmethoden reduzieren die Anzahl der pro 3D-Rekonstruktion erforderlichen Streifenmuster von etwa 10 auf fünf, vier, drei oder sogar zwei und ermöglichen so eine Hochgeschwindigkeits-3D-Erfassung mit 10.000 Bildern pro Sekunde.

Dennoch ist die hochpräzise 3D-Rekonstruktion unter Verwendung nur eines einzigen Musters das ultimative Ziel der 3D-Bildgebung mit strukturiertem Licht, das immer weiter verfolgt wird. Der Schlüssel zum Erfolg von FTP liegt jedoch darin, dass die von der Objektoberfläche modulierten hochfrequenten Streifeninformationen im Frequenzbereich gut von der Hintergrundintensität getrennt werden können.

Daher ist die FTP-Technik auf die Messung glatter Oberflächen mit begrenzten Höhenschwankungen beschränkt.

Mit dem explosionsartigen Wachstum der verfügbaren Daten und Rechenressourcen hat Deep Learning als „datengesteuerte“ Technik des maschinellen Lernens in jüngster Zeit beeindruckende Erfolge in zahlreichen Bereichen wie Computer Vision und Computational Imaging erzielt. Deep Learning, das fast alle Aspekte der optischen Messtechnik durchdringt, bietet Lösungen für viele anspruchsvolle Probleme, wie z. B. Streifenentrauschung, Streifenanalyse und digitale holographische Rekonstruktion.

Im Gegensatz zu herkömmlichen Randanalysemethoden konzentrieren sich diese Deep-Learning-Ansätze jedoch hauptsächlich darauf, ein DNN zu trainieren, um eine Bild-zu-Bild-Transformation aus massiven Eingabe- und Ausgabedatenpaaren genau zu identifizieren, wie etwa die physikalischen Gesetze, die die Bilderzeugung bestimmen, oder andere Domänenkenntnisse zur Messung wurden in der aktuellen Deep-Learning-Praxis noch nicht vollständig genutzt.

Folglich hängt die Leistung von Deep-Learning-Ansätzen bei der Lösung komplexer physikalischer Probleme stark von den zugrunde liegenden statistischen Merkmalen im Datensatz ab. Um die Grenzen der Streifenmusteranalyse in Bezug auf Geschwindigkeit, Genauigkeit, Wiederholbarkeit und Verallgemeinerung zu erweitern, wird die Synergie physikbasierter traditioneller Methoden und datengesteuerter Lernansätze zum allgemeinen Trend [Fig. 1(b)].

In einem Veröffentlichung In Optoelektronische FortschritteDie Forschungsgruppe von Prof. Qian Chen und Prof. Chao Zuo an der Nanjing University of Science and Technology berichtete über eine physikinformierte Deep-Learning-Methode für die Streifenmusteranalyse (PI-FPA), die ein leichtes DNN mit einer lerngestützten Fourier-Transformationsprofilometrie integriert (LeFTP)-Modul [Fig. 2]Dies ermöglicht eine genauere und recheneffizientere Single-Shot-Phasenabfrage.

Das Lightweight-Netzwerk verfeinert die Anfangsphase, um die Phasengenauigkeit bei geringem Rechenaufwand im Vergleich zu universellen End-to-End-Bildtransformationsnetzwerken (U-Net und seine Derivate) weiter zu verbessern.

Dynamische 360-Grad-3D-Rekonstruktionsergebnisse eines Werkstückmodells durch verschiedene Streifenanalysemethoden werden in gezeigt [Fig. 3].

Wenn bei der 3-stufigen PS-Methode dynamische Szenen gemessen werden, führt die relative Bewegung zwischen dem Objekt und den nacheinander projizierten phasenverschiebenden Streifenmustern zu Bewegungsartefakten und führt somit zu nicht vernachlässigbaren Fehlern in den 3D-Rekonstruktionsergebnissen.

Für die Einzelbild-Streifenanalyse eignet sich FTP zur dynamischen 3D-Messung, liefert jedoch aufgrund der Spektrumüberlappung grobe 3D-Ergebnisse mit geringer Qualität hinsichtlich Genauigkeit und Auflösung.

U-Net kann die Qualität der 3D-Rekonstruktion weiter verbessern, kann jedoch die Phase des Objekts mit Metallmaterialien nicht zuverlässig abrufen, was im Trainingsdatensatz relativ selten vorkommt und die Wiederherstellung feiner Oberflächen ausschließt. Dieses Experiment zeigt, dass die vorgeschlagene PI-FPA für die hochwertige und effiziente 3D-Modellierung komplexer Strukturteile angewendet werden kann.

Die vorgeschlagene physikbasierte Deep-Learning-Technik für die Streifenmusteranalyse (PI-FPA) lernt nicht nur die inhärenten statistischen Eigenschaften innerhalb des Datensatzes wie herkömmliche neuronale Netze, sondern beherrscht auch die physikalischen Gesetze, die die Bilderzeugung beschreiben, und realisiert eine Einzelbild-Phasenrekonstruktion mit hohe Präzision und hohe Recheneffizienz und zeigt gleichzeitig eine gute Verallgemeinerung auf seltene Proben, die das Netzwerk nie gesehen hat.

Zukünftig wird das Forschungsteam die Phasenwiederherstellungsleistung von PI-FPA für verschiedene Arten von Streifenbildern untersuchen und verwandte Anwendungen der Streifenanalyse in den Bereichen Interferometrie und digitale Holographie in der optischen Messtechnik erforschen, um die Grenzen der Streifenmusteranalyse weiter zu erweitern in Geschwindigkeit, Genauigkeit, Wiederholbarkeit und Verallgemeinerung.