Studio MIT e Meta: ombre ricreano scene 3D nascoste con solo una fotocamera

RomeRicercatori del MIT e di Meta hanno sviluppato un nuovo metodo di visione artificiale capace di creare modelli 3D accurati di intere scene, comprese le parti nascoste alla vista. Questa tecnica sfrutta le ombre per identificare le aree nascoste utilizzando immagini da una sola posizione della fotocamera.

La tecnica chiamata PlatoNeRF sfrutta il lidar a singolo fotone e l'apprendimento automatico per ottenere i suoi risultati.

Vantaggi di PlatoNeRF:

• Migliorare la sicurezza dei veicoli autonomi.
• Rendere più efficienti i visori AR/VR modellando la geometria della stanza senza necessità di spostarsi.
• Agevolare i robot nei magazzini a trovare più rapidamente gli oggetti in ambienti disordinati.

I lidars scandiscono un'area inviando luce e misurando il tempo che impiega a ritornare. I lidars a singolo fotone, che rilevano singole particelle di luce, forniscono informazioni molto dettagliate. PlatoNeRF sfrutta una capacità speciale di questi lidars.

Quando la luce colpisce una superficie, una parte di essa viene riflessa direttamente indietro, ma la maggior parte si disperde in varie direzioni. PlatoNeRF sfrutta questa luce dispersa, misurando il tempo che impiega la luce per rimbalzare due volte e tornare indietro. Questo consente di raccogliere più dettagli sulla scena, come la profondità e le ombre.

Tzofi Klinghoffer, una studentessa laureanda al MIT e autrice principale di un documento su PlatoNeRF, spiega che l'idea centrale del loro lavoro era combinare lidar a rimbalzo multiplo e apprendimento automatico. Il documento, co-firmato da un team del MIT e di Meta, sarà presentato alla Conferenza sulla Visione Artificiale e Riconoscimento dei Modelli.

Il sistema utilizza 16 luci per illuminare la scena e scattare diverse foto. Questo procedimento genera nuove ombre e, secondo Klinghoffer, aiuta a rivelare aree nascoste grazie all'uso di numerosi fasci di luce.

L'utilizzo dei lidar con un campo radiance neurale (NeRF) è di fondamentale importanza. Un NeRF memorizza la forma di una scena in una rete neurale. Questo permette di creare ricostruzioni chiare e precise delle scene.

PlatoNeRF è stato messo a confronto con due altri metodi: uno che utilizzava solo il lidar e l'altro che impiegava NeRF con un'immagine a colori. Il nuovo metodo ha ottenuto risultati migliori rispetto a entrambi, specialmente con sensori a bassa risoluzione. Ciò lo rende molto utile per applicazioni nel mondo reale.

I ricercatori hanno intenzione di osservare più di due riflessi di luce in futuro. Puntano anche a integrare maggiormente i metodi di deep learning. Inoltre, desiderano combinare PlatoNeRF con immagini a colori per catturare i dettagli delle texture.

Maggiori dettagli sul loro lavoro sono disponibili qui: Ricostruzione 3D con PlatoNeRF nella Caverna di Platone tramite Lidar a Singolo Rimbalzo.