Les chercheurs ont développé une caméra qui utilise un réseau de microlentilles minces et de nouveaux algorithmes de traitement d’image pour capturer des informations 3D sur les objets d’une scène avec une seule exposition. La caméra pourrait être utile pour une variété d’applications telles que l’inspection de pièces industrielles, la reconnaissance de gestes et la collecte de données pour les systèmes d’affichage 3D.
« Nous considérons que notre caméra est sans objectif car elle remplace les lentilles en vrac utilisées dans les caméras conventionnelles par un réseau de microlentilles fines et légères en polymère flexible », a déclaré le chef de l’équipe de recherche Weijian Yang de l’Université de Californie à Davis. « Parce que chaque microlentille peut observer des objets sous différents angles de vue, elle peut accomplir des tâches d’imagerie complexes telles que l’acquisition d’informations 3D à partir d’objets partiellement masqués par des objets plus proches de la caméra. »
Dans la revue Optique Express, Yang et le premier auteur Feng Tian, doctorant dans le laboratoire de Yang, décrivent la nouvelle caméra 3D. Parce que la caméra apprend à partir des données existantes comment reconstruire numériquement une scène 3D, elle peut produire des images 3D en temps réel.
« Cette caméra 3D pourrait être utilisée pour donner aux robots une vision 3D, ce qui pourrait les aider à naviguer dans l’espace 3D ou permettre des tâches complexes telles que la manipulation d’objets fins », a déclaré Yang. « Il pourrait également être utilisé pour acquérir des informations 3D riches qui pourraient fournir du contenu pour les écrans 3D utilisés dans les jeux, les divertissements ou de nombreuses autres applications. »
Une caméra qui apprend
La nouvelle caméra est née de travaux antérieurs dans lesquels les chercheurs ont développé un microscope compact capable d’imager des structures microscopiques 3D pour des applications biomédicales. « Nous avons construit le microscope à l’aide d’un réseau de microlentilles et avons pensé qu’un concept similaire pourrait être appliqué pour l’imagerie d’objets macroscopiques », a déclaré Yang.
Les objectifs individuels de la nouvelle caméra lui permettent de voir des objets sous différents angles ou perspectives, ce qui fournit des informations de profondeur. Bien que d’autres groupes de recherche aient développé des caméras basées sur des réseaux de microlentilles monocouches, il a été difficile de les rendre pratiques en raison des processus d’étalonnage étendus et des vitesses de reconstruction lentes.
Pour créer une caméra 3D plus pratique pour les objets macroscopiques, les chercheurs ont considéré le réseau de microlentilles et l’algorithme de reconstruction ensemble plutôt que de les aborder séparément. Ils ont conçu et fabriqué sur mesure le réseau de microlentilles, qui contient 37 petites lentilles réparties dans une couche circulaire de polymère de seulement 12 millimètres de diamètre. L’algorithme de reconstruction qu’ils ont développé est basé sur un réseau de neurones artificiels très efficace qui apprend à mapper les informations de l’image aux objets d’une scène.
« De nombreux réseaux de neurones existants peuvent effectuer des tâches désignées, mais le mécanisme sous-jacent est difficile à expliquer et à comprendre », a déclaré Yang. « Notre réseau de neurones est basé sur un modèle physique de reconstruction d’image. Cela rend le processus d’apprentissage beaucoup plus facile et se traduit par des reconstructions de haute qualité. »
Une fois le processus d’apprentissage terminé, il peut reconstruire à très grande vitesse des images contenant des objets qui se trouvent à différentes distances de la caméra. La nouvelle caméra n’a pas besoin d’étalonnage et peut être utilisée pour cartographier les emplacements 3D et les profils spatiaux (ou contours) des objets.
Voir à travers les objets
Après avoir effectué des simulations numériques pour vérifier les performances de la caméra, les chercheurs ont réalisé une imagerie 2D qui a montré des résultats perceptiblement agréables. Ils ont ensuite testé la capacité de la caméra à effectuer une imagerie 3D d’objets à différentes profondeurs. La reconstruction 3D résultante pourrait être recentrée à différentes profondeurs ou distances. La caméra a également créé une carte de profondeur qui correspondait à la disposition réelle des objets.
« Dans une dernière démonstration, nous avons montré que notre caméra pouvait imager des objets derrière les obstacles opaques », a déclaré Yang. « Au meilleur de notre connaissance, il s’agit de la première démonstration d’imagerie d’objets derrière des obstacles opaques à l’aide d’une caméra sans objectif. »
Les chercheurs travaillent actuellement à réduire les artefacts, ou erreurs, qui apparaissent dans les reconstructions 3D et à améliorer les algorithmes pour gagner en qualité et en rapidité. Ils souhaitent également miniaturiser l’empreinte globale de l’appareil afin qu’il puisse tenir dans un téléphone portable, ce qui le rendrait plus portable et permettrait plus d’applications.
« Notre caméra 3D sans objectif utilise l’imagerie computationnelle, une approche émergente qui optimise conjointement le matériel d’imagerie et les algorithmes de reconstruction d’objets pour atteindre les tâches d’imagerie et la qualité souhaitées », a déclaré Yang. « Avec le développement récent de techniques de fabrication de micro-optiques avancées à faible coût ainsi que les progrès de l’apprentissage automatique et des ressources informatiques, l’imagerie informatique permettra de nombreux nouveaux systèmes d’imagerie dotés de fonctionnalités avancées. »
Feng Tian et al, caméra 3D sans objectif Learned, Optique Express (2022). DOI : 10.1364/OE.465933