Étude révolutionnaire : PlatoNeRF utilise les ombres pour recréer des scènes 3D invisibles

ParisDes chercheurs du MIT et de Meta ont mis au point une nouvelle méthode de vision par ordinateur capable de créer des modèles 3D précis de scènes entières, même des parties cachées. Cette technique utilise les ombres pour détecter ces zones dissimulées à partir d’images prises d’une seule position de caméra.

La technique, appelée PlatoNeRF, exploite le lidar à photon unique et l'apprentissage automatique pour obtenir ses résultats.

Les atouts de PlatoNeRF sont multiples :

• Renforcer la sécurité des véhicules autonomes.
• Rendre les casques AR/VR plus performants en modélisant la géométrie des pièces sans se déplacer.
• Aider les robots d'entrepôt à trouver des articles plus rapidement dans des environnements encombrés.

Les lidars balaient une zone en émettant de la lumière et en mesurant le temps qu'elle met à revenir. Les lidars à photon unique, qui détectent des particules individuelles de lumière, fournissent des informations très détaillées. PlatoNeRF exploite une capacité spéciale de ces lidars.

Lorsqu'un rayon lumineux frappe une surface, une partie est réfléchie directement, mais la plupart se disperse dans diverses directions. PlatoNeRF exploite cette lumière diffusée. Il évalue le temps nécessaire pour que la lumière effectue deux rebonds avant de revenir. Cela permet de collecter davantage de détails sur la scène, y compris la profondeur et les ombres.

Tzofi Klinghoffer, étudiante diplômée du MIT et principale auteure d'un article sur PlatoNeRF, explique que l'idée principale était de combiner le lidar multireflet et l'apprentissage automatique. Cet article, co-écrit par une équipe du MIT et de Meta, sera présenté à la Conférence sur la Vision par Ordinateur et la Reconnaissance de Formes.

Le système utilise 16 lumières pour éclairer une scène et prendre plusieurs photos. Cette technique créé de nouvelles ombres et, selon Klinghoffer, permet de dévoiler des zones cachées grâce à l'utilisation de nombreux faisceaux lumineux.

L'utilisation de lidars avec un réseau neuronal de champ radiatif (NeRF) est très importante. Un NeRF conserve la forme d'une scène dans un réseau de neurones. Cela permet de créer des reconstructions claires et précises des scènes.

PlatoNeRF a été comparé à deux autres méthodes : une utilisant uniquement le lidar et une autre utilisant NeRF avec une image en couleur. La nouvelle méthode a surpassé les deux, surtout avec des capteurs de basse résolution. Cela la rend précieuse pour une application concrète.

PlatoNeRF : performances supérieures avec des capteurs de basse résolution

Les chercheurs prévoient de suivre plus de deux réflexions lumineuses à l'avenir. Ils visent également à intégrer davantage de méthodes d'apprentissage profond. De plus, ils veulent combiner PlatoNeRF avec des images en couleur pour capturer les détails des textures.

Découvrez plus en détail leur travail ici : Reconstruction 3D de la caverne de Platon avec PlatoNeRF et Lidar à deux réflexions.