Investigación revela: PlatoNeRF utiliza sombras para reconstruir escenas 3D ocultas con gran precisión

MadridInvestigadores del MIT y Meta han desarrollado un innovador método de visión por computadora que puede crear modelos 3D precisos de escenas completas, incluyendo las partes ocultas. Esta técnica utiliza las sombras para detectar esas áreas escondidas a partir de imágenes capturadas desde una sola posición de cámara.

La técnica, llamada PlatoNeRF, emplea un lidar de fotón único y aprendizaje automático para obtener sus resultados.

Ventajas del PlatoNeRF incluyen:

• Mejorando la seguridad de los vehículos autónomos.
• Haciendo que los visores AR/VR sean más eficientes al modelar la geometría de la habitación sin necesidad de desplazarse.
• Ayudando a los robots de almacén a encontrar artículos en entornos desordenados de manera más rápida.

Los lidar escanean un área enviando luz y midiendo el tiempo que tarda en regresar. Los lidars de fotón único, que detectan partículas individuales de luz, proporcionan información muy detallada. PlatoNeRF aprovecha una habilidad especial de estos lidars.

Cuando la luz incide en una superficie, una parte se refleja directamente, pero la mayoría se dispersa en diversas direcciones. PlatoNeRF aprovecha esta luz dispersa. Mide el tiempo que tarda la luz en rebotar dos veces y regresar. Esto permite obtener más detalles de la escena, incluyendo profundidad y sombras.

Tzofi Klinghoffer, estudiante graduada del MIT y autora principal de un estudio sobre PlatoNeRF, menciona que su idea principal fue combinar el lidar multireflejo con el aprendizaje automático. El artículo, coescrito por un equipo del MIT y Meta, será presentado en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones.

El sistema utiliza 16 luces para iluminar una escena y tomar varias fotos. Este método genera nuevas sombras, y Klinghoffer dice que ayuda a descubrir áreas ocultas mediante el uso de numerosos haces de luz.

El uso de lidars junto con un campo de radiancia neuronal (NeRF) es crucial. Un NeRF almacena la forma de una escena en una red neuronal, lo que permite crear reconstrucciones claras y precisas de las escenas.

PlatoNeRF se comparó con otros dos métodos: uno que utilizaba solo lidar y otro que empleaba NeRF con una imagen en color. El nuevo método superó a ambos, especialmente con sensores de menor resolución. Esto lo hace especialmente útil para aplicaciones en el mundo real.

Los investigadores tienen la intención de seguir más de dos reflejos de luz en el futuro. También planean utilizar más métodos de aprendizaje profundo. Además, desean combinar PlatoNeRF con imágenes en color para capturar detalles de textura.

Más información sobre su trabajo está disponible aquí: Reconstrucción 3D en la Cueva de Platón con Lidar de Doble Rebote desde una Sola Vista.