Nowe badania: naukowcy wykorzystują cienie do rekonstrukcji niewidocznych trójwymiarowych scen

WarsawBadacze z MIT i Meta opracowali nową metodę w dziedzinie widzenia komputerowego, która pozwala na stworzenie precyzyjnych modeli 3D całych scen, w tym także ich ukrytych fragmentów. Technika ta wykorzystuje cienie do identyfikacji tych niewidocznych obszarów, bazując na obrazach z jednej pozycji kamery.

Technika nazywa się PlatoNeRF. Wykorzystuje lidar jednofotonowy i uczenie maszynowe do uzyskiwania swoich wyników.

Zalety PlatoNeRF to:

• Zwiększenie bezpieczeństwa pojazdów autonomicznych.
• Udoskonalenie wydajności zestawów AR/VR poprzez modelowanie geometrii pomieszczeń bez konieczności poruszania się po nich.
• Ułatwienie robotom magazynowym szybszego odnajdywania przedmiotów w zagraconych przestrzeniach.

Lidary skanują obszar, wysyłając światło i mierząc czas jego powrotu. Lidary jednofotonowe, które wykrywają pojedyncze cząstki światła, dostarczają bardzo szczegółowych informacji. PlatoNeRF wykorzystuje specjalną zdolność tych lidarów.

Gdy światło pada na powierzchnię, część z niego odbija się prosto z powrotem, ale większość rozprasza się w różnych kierunkach. PlatoNeRF wykorzystuje to rozproszone światło. Mierzy czas, jaki zajmuje światłu odbicie dwukrotne i powrót. Dzięki temu zbiera więcej informacji o scenie, w tym głębię i cienie.

Tzofi Klinghoffer, doktorantka z MIT i główna autorka artykułu dotyczącego PlatoNeRF, wyjaśnia, że ich głównym pomysłem było połączenie technologii lidar z wielokrotnym odbiciem i uczenia maszynowego. Praca ta, współtworzona przez zespół z MIT i Meta, zostanie zaprezentowana na Konferencji dotyczącej Wizji Komputerowej i Rozpoznawania Wzorów.

Zobacz również:

Dzisiaj · 01:33

Czy magia dźwięku oczaruje osoby niewidome?

System wykorzystuje 16 lamp do rozświetlania sceny i wykonywania kilku zdjęć. Ta metoda tworzy nowe cienie, a Klinghoffer podkreśla, że pomaga odkrywać ukryte obszary poprzez użycie wielu wiązek światła.

Wykorzystanie lidarów w połączeniu z neuralnym polem promieniowania (NeRF) jest niezwykle istotne. NeRF przechowuje informacje o kształcie sceny w sieci neuronowej. To pozwala na tworzenie wyraźnych i precyzyjnych rekonstrukcji scen.

PlatoNeRF został przetestowany w porównaniu z dwiema innymi metodami: jedną opartą wyłącznie na lidaru, a drugą wykorzystującą NeRF z obrazem kolorowym. Nowa metoda okazała się lepsza niż obie te metody, zwłaszcza przy czujnikach o niższej rozdzielczości. Czyni to ją przydatną do praktycznego zastosowania w rzeczywistych warunkach.

Naukowcy zamierzają w przyszłości śledzić więcej niż dwa odbicia światła. Planują także zastosować więcej metod głębokiego uczenia się. Dodatkowo chcą połączyć PlatoNeRF z kolorowymi obrazami, aby uchwycić szczegóły tekstury.

Więcej informacji na temat ich pracy można znaleźć tutaj: PlatoNeRF: Odtwarzanie 3D w Jaskini Platona za pomocą jednokątowego lidaru z dwukrotnym odbiciem.