새 연구: 그림자를 사용해 보이지 않는 3D 장면을 재구성한 연구진

SeoulMIT와 메타의 연구자들은 전체 장면의 숨겨진 부분까지도 정확하게 3D 모델로 만들 수 있는 새로운 컴퓨터 비전 기법을 개발했습니다. 이 기술은 단일 카메라 위치에서 촬영한 이미지의 그림자를 활용하여 이러한 숨겨진 영역을 찾습니다.

이 기법은 PlatoNeRF라고 불리며, 단일 광자 라이다와 머신러닝을 활용하여 결과를 얻습니다.

PlatoNeRF의 장점은 다음과 같습니다:

• 자율 주행 차량의 안전성을 향상시키기.
• AR/VR 헤드셋이 방의 구조를 걸어 다니지 않고도 효율적으로 모델링하도록 만들기.
• 창고 로봇이 복잡한 환경에서 물품을 더 빨리 찾을 수 있도록 돕기.

라이다는 빛을 발사하고 그것이 돌아오는 시간을 측정하여 지역을 스캔합니다. 단일 광자 라이다는 단일 빛 입자를 감지하여 매우 세밀한 정보를 제공합니다. PlatoNeRF는 이러한 라이다의 특별한 기능을 활용합니다.

빛이 표면에 닿으면 일부는 곧바로 반사되지만, 대부분은 여러 방향으로 흩어집니다. PlatoNeRF는 이렇게 흩어진 빛을 활용합니다. 빛이 두 번 튕겨 나가 돌아오는 시간을 측정하여 장면의 깊이와 그림자를 포함한 더 많은 세부 정보를 수집합니다.

MIT 대학원생인 조피 클링호퍼가 주저자인 논문에서, 그들의 주요 아이디어는 멀티 바운스 라이다와 머신러닝을 결합하는 것이었다고 설명한다. MIT와 메타의 팀이 공동 저자로 참여한 이 논문은 컴퓨터 비전 및 패턴 인식 회의에서 발표될 예정이다.

더 읽기:

어제 · 오후 10:33

MRI 보고서에서 인공지능, 인간 전문가와 맞먹는다

이 시스템은 장면을 밝히기 위해 16개의 조명을 사용하고 여러 사진을 찍습니다. 이러한 방법은 새로운 그림자를 만들고, 클링호퍼는 이것이 많은 빛을 사용함으로써 숨겨진 영역을 드러내는 데 도움이 된다고 합니다.

신경 방사 필드(NeRF)와 라이더를 사용하는 것은 매우 중요합니다. NeRF는 신경 네트워크를 통해 장면의 형상을 저장합니다. 이는 장면을 명확하고 정밀하게 재구성하는 데 도움을 줍니다.

PlatoNeRF는 두 가지 다른 방법과 비교하여 테스트되었습니다. 하나는 라이다만 사용하는 방법이었고, 다른 하나는 컬러 이미지를 활용한 NeRF 방법이었습니다. 새로운 방법은 두 방법보다 뛰어난 성능을 보여주었으며, 특히 저해상도 센서와 함께 사용할 때 더 효과적이었습니다. 이는 실제 환경에서 유용하게 활용될 수 있음을 의미합니다.

연구진은 앞으로 두 개 이상의 빛 반사를 추적할 계획이다. 또한, 더 많은 딥러닝 기법을 활용할 예정이다. 아울러, PlatoNeRF를 색상 이미지와 결합하여 질감 세부사항을 포착하려고 한다.

그들의 연구에 대한 자세한 정보는 다음 링크에서 확인할 수 있습니다: 단일 뷰 및 이중 반사 라이다를 통한 플라톤의 동굴 내 PlatoNeRF 3D 재구성.