Nova técnica: pesquisadores usam sombras para recriar cenários 3D com detalhes ocultos

São PauloPesquisadores do MIT e da Meta desenvolveram uma nova técnica de visão computacional capaz de criar modelos 3D precisos de cenas inteiras, incluindo partes que estão escondidas. Esse método utiliza sombras para identificar essas áreas ocultas a partir de imagens capturadas de apenas uma posição de câmera.

A técnica, denominada PlatoNeRF, utiliza lidar de fóton único e aprendizado de máquina para obter seus resultados.

Vantagens do PlatoNeRF incluem:

• Melhorar a segurança dos veículos autônomos.
• Tornar os headsets de AR/VR mais eficientes ao modelar a geometria do ambiente sem precisar percorrer o espaço.
• Ajudar robôs de armazém a encontrar itens em ambientes desorganizados mais rapidamente.

Lidars escaneiam uma área emitindo luz e medindo o tempo que ela leva para retornar. Lidars de foton único, que detectam partículas individuais de luz, oferecem informações muito detalhadas. PlatoNeRF aproveita uma habilidade especial desses lidars.

Quando a luz atinge uma superfície, parte dela reflete diretamente de volta, mas a maioria se espalha em várias direções. PlatoNeRF utiliza essa luz dispersa. Ele mede o tempo necessário para que a luz rebata duas vezes e retorne. Isso ajuda a obter mais detalhes da cena, incluindo profundidade e sombras.

Tzofi Klinghoffer, estudante de pós-graduação do MIT e autor principal de um artigo sobre o PlatoNeRF, explica que a ideia principal foi combinar lidar multirreflexão e aprendizado de máquina. O artigo, co-autorado por uma equipe do MIT e da Meta, será apresentado na Conferência sobre Visão Computacional e Reconhecimento de Padrões.

O sistema utiliza 16 luzes para iluminar a cena e tirar várias fotos. Esse processo cria novas sombras, e Klinghoffer afirma que ajuda a revelar áreas ocultas ao usar diversos feixes de luz.

Utilizar lidars com um campo de radiância neural (NeRF) é extremamente importante. Um NeRF armazena a forma de uma cena em uma rede neural. Isso facilita a criação de reconstruções claras e precisas das cenas.

PlatoNeRF foi comparado com dois outros métodos: um que utilizava apenas lidar e outro que empregava NeRF com uma imagem colorida. O novo método apresentou um desempenho superior, especialmente com sensores de menor resolução. Isso o torna muito útil para aplicações práticas no mundo real.

Os pesquisadores planejam monitorar mais de dois reflexos de luz no futuro. Eles também pretendem utilizar métodos de aprendizado profundo mais avançados. Além disso, desejam combinar PlatoNeRF com imagens em cores para capturar detalhes texturais.

Mais detalhes sobre o trabalho deles estão disponíveis em: Reconstrução 3D na Caverna de Platão com Lidar de Dois Saltos e Visão Única.