Imagerie « sans objectif » grâce à l’apprentissage automatique avancé pour les solutions de détection d’images de nouvelle génération

Une caméra nécessite généralement un système d’objectif pour capturer une image focalisée, et la caméra à objectif est la solution d’imagerie dominante depuis des siècles. Une caméra à objectif nécessite un système d’objectif complexe pour obtenir une imagerie de haute qualité, lumineuse et sans aberration. Les dernières décennies ont vu une augmentation de la demande d’appareils photo plus petits, plus légers et moins chers. Il existe un besoin évident de caméras de nouvelle génération dotées de fonctionnalités élevées, suffisamment compactes pour être installées n’importe où. Cependant, la miniaturisation de la caméra à objectif est limitée par le système d’objectif et la distance de mise au point requise par les lentilles réfractives.

Les progrès récents de la technologie informatique peuvent simplifier le système de lentilles en remplaçant l’informatique par certaines parties du système optique. L’objectif entier peut être abandonné grâce à l’utilisation de l’informatique de reconstruction d’image, permettant une caméra sans objectif, ultra-mince, légère et peu coûteuse. L’appareil photo sans objectif a récemment gagné en popularité. Mais jusqu’à présent, la technique de reconstruction d’image n’a pas été établie, ce qui entraîne une qualité d’image inadéquate et un temps de calcul fastidieux pour la caméra sans objectif.

Récemment, des chercheurs ont développé une nouvelle méthode de reconstruction d’image qui améliore le temps de calcul et fournit des images de haute qualité. Décrivant la motivation initiale derrière la recherche, un membre central de l’équipe de recherche, le professeur Masahiro Yamaguchi de Tokyo Tech, déclare : « Sans les limitations d’un objectif, l’appareil photo sans objectif pourrait être ultra-miniature, ce qui pourrait permettre de nouvelles applications qui sont au-delà de notre imagination. » Leurs travaux ont été publiés dans Lettres optiques.

Le matériel optique typique de la caméra sans objectif se compose simplement d’un masque fin et d’un capteur d’image. L’image est ensuite reconstruite à l’aide d’un algorithme mathématique. Le masque et le capteur peuvent être fabriqués ensemble dans des processus de fabrication de semi-conducteurs établis pour une production future. Le masque code optiquement la lumière incidente et projette des motifs sur le capteur. Bien que les motifs moulés soient complètement non interprétables à l’œil humain, ils peuvent être décodés avec une connaissance explicite du système optique.

Cependant, le processus de décodage, basé sur la technologie de reconstruction d’image, reste difficile. Les méthodes traditionnelles de décodage basées sur un modèle se rapprochent du processus physique de l’optique sans lentille et reconstruisent l’image en résolvant un problème d’optimisation « convexe ». Cela signifie que le résultat de la reconstruction est sensible aux approximations imparfaites du modèle physique. De plus, le calcul nécessaire à la résolution du problème d’optimisation est chronophage car il nécessite un calcul itératif. L’apprentissage en profondeur pourrait aider à éviter les limites du décodage basé sur un modèle, car il peut apprendre le modèle et décoder l’image par un processus direct non itératif à la place. Cependant, les méthodes d’apprentissage en profondeur existantes pour l’imagerie sans lentille, qui utilisent un réseau neuronal convolutif (CNN), ne peuvent pas produire d’images de haute qualité. Ils sont inefficaces car CNN traite l’image en fonction des relations des pixels « locaux » voisins, alors que les optiques sans lentille transforment les informations locales de la scène en informations « globales » superposées sur tous les pixels du capteur d’image, via une propriété appelée « multiplexage ». « 

L’équipe de recherche de Tokyo Tech étudie cette propriété de multiplexage et a maintenant proposé un nouvel algorithme d’apprentissage automatique dédié à la reconstruction d’images. L’algorithme proposé est basé sur une technique d’apprentissage automatique de pointe appelée Vision Transformer (ViT), qui est meilleure pour le raisonnement global des caractéristiques. La nouveauté de l’algorithme réside dans la structure des blocs de transformateurs à plusieurs étages avec des modules « patchify » superposés. Cela lui permet d’apprendre efficacement les caractéristiques de l’image dans une représentation hiérarchique. Par conséquent, la méthode proposée peut bien traiter la propriété de multiplexage et éviter les limites de l’apprentissage en profondeur conventionnel basé sur CNN, permettant une meilleure reconstruction d’image.

Alors que les méthodes classiques basées sur des modèles nécessitent de longs temps de calcul pour le traitement itératif, la méthode proposée est plus rapide car la reconstruction directe est possible avec un algorithme de traitement sans itération conçu par apprentissage automatique. L’influence des erreurs d’approximation du modèle est également considérablement réduite car le système d’apprentissage automatique apprend le modèle physique. De plus, la méthode proposée basée sur ViT utilise des caractéristiques globales dans l’image et convient au traitement de modèles moulés sur une large zone sur le capteur d’image, tandis que les méthodes de décodage conventionnelles basées sur l’apprentissage automatique apprennent principalement les relations locales par CNN.

En résumé, la méthode proposée résout les limites des méthodes conventionnelles telles que le traitement itératif basé sur la reconstruction d’images et l’apprentissage automatique basé sur CNN avec l’architecture ViT, permettant l’acquisition d’images de haute qualité dans un court laps de temps de calcul. L’équipe de recherche a en outre effectué des expériences optiques – comme indiqué dans leur dernière publication en – qui suggèrent que l’appareil photo sans objectif avec la méthode de reconstruction proposée peut produire des images de haute qualité et visuellement attrayantes tandis que la vitesse de calcul de post-traitement est suffisamment élevée pour de vrai- captation du temps.

« Nous réalisons que la miniaturisation ne devrait pas être le seul avantage de la caméra sans objectif. La caméra sans objectif peut être appliquée à l’imagerie en lumière invisible, dans laquelle l’utilisation d’un objectif est peu pratique, voire impossible. De plus, la dimensionnalité sous-jacente des informations optiques capturées par l’appareil photo sans objectif est supérieur à deux, ce qui rend possible l’imagerie 3D en une seule prise et le recentrage post-capture. Nous explorons d’autres fonctionnalités de l’appareil photo sans objectif. L’objectif ultime d’un appareil photo sans objectif est d’être miniature mais puissant. Nous sommes ravis d’être à la tête de cette nouvelle direction pour les solutions d’imagerie et de détection de nouvelle génération », déclare l’auteur principal de l’étude, M. Xiuxi Pan de Tokyo Tech, tout en parlant de leurs travaux futurs.