Nieuw: Onderzoekers reconstrueren verborgen 3D-scenes met schaduwen via PlatoNeRF-techniek

AmsterdamOnderzoekers van MIT en Meta hebben een nieuwe methode ontwikkeld voor computervisie, waarmee ze nauwkeurige 3D-modellen van volledige scènes kunnen maken, zelfs van delen die niet zichtbaar zijn. Deze techniek maakt gebruik van schaduwen om verborgen gebieden te identificeren met beelden vanaf slechts één camerastandpunt.

PlatoNeRF maakt gebruik van een combinatie van single-photon lidar en machine learning om zijn resultaten te bereiken.

Voordelen van PlatoNeRF zijn onder andere:

• Het verbeteren van de veiligheid van zelfrijdende auto's.
• Efficiëntere AR/VR-headsets maken door de kamerindeling te modelleren zonder te hoeven rondlopen.
• Robotmagazijnen helpen sneller items te vinden in rommelige omgevingen.

Lidars scannen een gebied door licht uit te zenden en te meten hoe lang het duurt om terug te keren. Single-photon lidars, die enkelvoudige lichtdeeltjes detecteren, bieden zeer gedetailleerde informatie. PlatoNeRF benut een bijzondere eigenschap van deze lidars.

Wanneer licht op een oppervlak valt, weerkaatst een deel direct terug, maar het grootste deel verspreidt zich in verschillende richtingen. PlatoNeRF benut dit verspreide licht. Het meet de tijd die het licht nodig heeft om twee keer te weerkaatsen en terug te keren. Dit helpt om meer details van de scène te verzamelen, waaronder diepte en schaduwen.

Tzofi Klinghoffer, een promovenda aan het MIT en hoofdauteur van een studie over PlatoNeRF, legt uit dat hun belangrijkste idee was om multibounce-lidar en machine learning te combineren. Het paper, mede geschreven door een team van MIT en Meta, zal worden gepresenteerd op de Conferentie voor Computer Vision en Pattern Recognition.

Het systeem maakt gebruik van 16 lampen om een scène te verlichten en meerdere foto's te nemen. Volgens Klinghoffer onthult deze methode verborgen gebieden door nieuwe schaduwen te creëren met verschillende lichtstralen.

Het gebruik van lidars in combinatie met een neuraal stralingsveld (NeRF) is van groot belang. Een NeRF slaat de vorm van een scène op in een neuraal netwerk. Dit maakt het mogelijk om duidelijke en nauwkeurige reconstructies van scènes te maken.

PlatoNeRF werd vergeleken met twee andere methoden: eentje die alleen lidar gebruikte en een andere die NeRF met een kleurenafbeelding toepaste. De nieuwe methode presteerde beter dan beide, vooral bij sensoren met lagere resolutie. Dit maakt het zeer bruikbaar voor praktijksituaties.

De onderzoekers zijn van plan om in de toekomst meer dan twee lichtreflecties te volgen. Bovendien willen ze meer gebruik maken van deep-learning technieken. Daarnaast willen ze PlatoNeRF combineren met kleurenbeelden om textuurdetails vast te leggen.

Meer informatie over hun werk vind je hier: PlatoNeRF: 3D-reconstructie in Plato’s Grot via Single-View Twee-Weerkaatsings-Lidar.