Des chercheurs de l’Université du Maryland ont développé une technique capable de reconstruire des images 3D de scènes vues par les yeux d’une personne. Un modèle de réseau neuronal y parvient à partir des reflets oculaires que ces scènes ont laissés sur la rétine.
Il existe un vieux truc d’illusion qui consiste à deviner, par exemple, la carte qu’une personne a vue en observant attentivement son œil. La surprise est grande lorsque l’illusionniste lui dit quelle carte il a vue, s’assurant que l’image de la carte a été retenue dans sa rétine et qu’avec une compétence « magique » spéciale il est possible de la récupérer. Pure fiction.
Mais la technologie peut désormais en faire une réalité : elle permet de voir ce qu’une autre personne observe, même si elle n’est pas en vue d’une caméra, ainsi que de recréer en 3D une scène qui ne s’est reflétée que dans les yeux de quelqu’un.
Nouvelle technique
Il s’agit d’une nouvelle technique de reconstruction 3D développée par une équipe de chercheurs de l’Université du Maryland, qui présente les résultats de leurs travaux dans un article publié sur arXiv. Toute cette technologie est largement expliquée sur votre site internet.
La technique est basée sur le fait que l’œil humain est réfléchissant et que la cornée a à peu près la même géométrie chez tous les adultes en bonne santé.
La technique permet de reconstruire des images 3D à partir des reflets que les objets vus ont laissés dans les yeux, en construisant un modèle de réseau neuronal appelé champs de rayonnement neuronal (NeRF), Expliquer L’octet.
Processus de capture du reflet que les images que nous avons vues laissent dans les yeux. / Hadi Alzayer et al.
caméra unique
Bien que la plupart des applications NeRF nécessitent plusieurs caméras mobiles qui capturent une scène pour générer une représentation 3D, la nouvelle technique ne nécessite qu’une seule caméra fixe et un globe oculaire, ajoute le magazine susmentionné.
Ainsi, à partir de quelques photos du visage d’une personne, les chercheurs peuvent estimer la position et l’orientation de ses yeux, puis lancer des rayons depuis la caméra qui se reflètent sur la cornée et captent la lumière provenant de la scène visualisée.
Avec ces informations, ils peuvent former un champ de rayonnement qui représente la scène en 3D. De cette façon, nous pouvons voir la carte dans le jeu que cette personne a vue. Sans astuce ni carton.
Des défis à résoudre
Cependant, bien que la technologie soit surprenante et prometteuse, elle présente encore quelques défis, comme séparer la texture de l’iris de l’œil de la texture de la scène réfléchie, ou encore affiner l’estimation de la position de l’œil pour améliorer la qualité de la reconstruction. . Pour ce faire, les chercheurs proposent des méthodes basées sur la décomposition de textures et l’optimisation de poses pour améliorer les résultats.
Les chercheurs ont démontré leur technique avec plusieurs expériences sur des scènes synthétiques et réelles, avec des personnes de différentes couleurs d’yeux.
Ils ont même tenté de reconstituer ce qu’aiment certaines célébrités. Miley Cyrus soit Lady Gaga dans leurs vidéoclips, mais avec des résultats moins clairs en raison de la qualité des images.
Applications potentielles
Les chercheurs affirment que leur technique a des applications potentielles dans des domaines tels que la réalité virtuelle, l’art, la médecine ou la sécurité. Peut-être aussi dans l’illusionnisme ?
Par exemple, il pourrait être utilisé pour créer des expériences immersives qui nous permettent de voir le monde sous différents angles, pour générer des œuvres artistiques explorant les possibilités créatives des réflexions oculaires, pour diagnostiquer des maladies oculaires ou cérébrales à partir d’images des yeux, ou pour identifier suspects ou témoins des scènes qu’ils ont vues.
Questions éthiques
Cependant, ils reconnaissent également que leur technique soulève des questions éthiques sur le droit à la vie privée et le consentement des personnes dont les yeux sont utilisés pour voir le monde.
Dans quelle mesure est-il légal d’accéder à ce que d’autres voient sans leur autorisation ? Quels sont les risques de manipulation ou de diffusion d’images sensibles ou compromettantes ? Quelles normes juridiques et morales devraient encadrer ce type de technologie ?
Telles sont quelques-unes des questions que soulève ce projet innovant, qui ouvre de nouvelles possibilités et de nouveaux défis pour la science et la société.
Référence
Voir le monde à travers vos yeux. Hadi Alzayer et coll. arXiv:2306.09348v1 [cs.CV]. DOI :https://doi.org/10.48550/arXiv.2306.09348
(Une première version de cet article a été publiée le 7 juillet 2023.)