Ny studie: forskare använder skuggor för att återskapa dolda 3D-scener

StockholmForskare från MIT och Meta har utvecklat en ny metod inom datorsyn som kan skapa noggranna 3D-modeller av hela scener, inklusive delar som är dolda från sikten. Denna teknik använder skuggor för att identifiera dessa dolda områden med hjälp av bilder från endast en kameravinkel.

Tekniken heter PlatoNeRF och använder enkelfoton-lidar och maskininlärning för att uppnå sina resultat.

Fördelarna med PlatoNeRF innefattar:

• Öka säkerheten för självkörande fordon.
• Förbättra effektiviteten i AR/VR-headset genom att kartlägga rumsgeometri utan att röra sig runt.
• Hjälpa lagerrobotar att snabbare hitta föremål i röriga miljöer.

Lidars skannar ett område genom att sända ut ljus och mäta hur lång tid det tar för ljuset att återvända. Enfoton-lidars, som kan registrera enskilda ljuspartiklar, ger mycket detaljerad information. PlatoNeRF utnyttjar en speciell förmåga hos dessa lidars.

När ljus träffar en yta reflekteras en del rakt tillbaka, men det mesta sprids i olika riktningar. PlatoNeRF utnyttjar det spridda ljuset. Det mäter tiden det tar för ljuset att studsa två gånger och återvända. Detta ger mer information om scenen, inklusive djup och skuggor.

Tzofi Klinghoffer, doktorand vid MIT och huvudförfattare till en artikel om PlatoNeRF, förklarar att deras huvudsakliga idé var att kombinera flermångshopp-lidar med maskininlärning. Artikeln, som har medförfattare från MIT och Meta, kommer att presenteras på konferensen för datorsyn och mönsterigenkänning.

Läs också:

Idag · 01:33

Kan ljudmagi fängsla blinda sinnen? Ny studie.

Systemet använder 16 lampor för att lysa upp en scen och ta flera bilder. Denna metod skapar nya skuggor, och Klinghoffer påpekar att det hjälper till att avslöja dolda områden genom att använda många ljusstrålar.

Att använda lidar tillsammans med ett neuralstrålningsfält (NeRF) är av stor betydelse. Ett NeRF lagrar formgivningen av en scen i ett neuralt nätverk, vilket bidrar till att skapa tydliga och exakta rekonstruktioner av scener.

PlatoNeRF testades mot två andra metoder: en som enbart använde lidar och en annan som använde NeRF med en färgbild. Den nya metoden presterade bättre än båda, särskilt med sensorer av lägre upplösning. Detta gör den användbar i verkliga situationer.

Forskarna planerar att i framtiden följa fler än två ljusreflektioner. De strävar också efter att använda fler djupinlärningsmetoder. Dessutom vill de kombinera PlatoNeRF med färgbilder för att fånga texturdetaljer.

Mer information om deras arbete finns här: PlatoNeRF 3D-rekonstruktion i Platons grotta via enskild vy och tvåstegslidar.