Neue Methode: Forscher rekonstruieren verborgene 3D-Szenen durch Schatten und maschinelles Lernen

BerlinForscher von MIT und Meta haben eine neue Methode der Computer Vision entwickelt, die in der Lage ist, präzise 3D-Modelle ganzer Szenen zu erstellen, selbst von Bereichen, die nicht sichtbar sind. Diese Technik nutzt Schatten, um diese verborgenen Bereiche anhand von Bildern aus nur einer Kameraposition aufzudecken.

Die Methode namens PlatoNeRF kombiniert Einzelphotonen-Lidar mit maschinellem Lernen, um ihre Ergebnisse zu erzielen.

Vorteile von PlatoNeRF sind unter anderem:

• Sicherheit autonomer Fahrzeuge verbessern.
• Effizienz von AR/VR-Headsets steigern, indem die Raumanordnung ohne Herumgehen modelliert wird.
• Lagerroboter schneller in unübersichtlichen Umgebungen Gegenstände finden lassen.

Lidar-Geräte scannen eine Fläche, indem sie Licht aussenden und die Zeit messen, die das Licht benötigt, um zurückzukehren. Einphotonen-Lidars, die einzelne Lichtpartikel erfassen, liefern sehr detaillierte Informationen. PlatoNeRF nutzt eine besondere Eigenschaft dieser Lidars.

Wenn Licht auf eine Oberfläche trifft, wird ein Teil davon direkt zurückreflektiert, aber der Großteil streut in verschiedene Richtungen. PlatoNeRF nutzt dieses gestreute Licht. Es misst die Zeit, die das Licht benötigt, um zweimal zu reflektieren und zurückzukehren. Dies hilft dabei, mehr Details über die Szene zu sammeln, einschließlich Tiefe und Schatten.

Tzofi Klinghoffer, Doktorandin am MIT und Hauptautorin eines Beitrags über PlatoNeRF, erläutert, dass ihre Hauptidee darin bestand, Multibounce-Lidar mit maschinellem Lernen zu kombinieren. Das gemeinsam von einem Team des MIT und Meta verfasste Papier wird auf der Konferenz für Computer Vision und Mustererkennung präsentiert.

Das System verwendet 16 Lichter, um eine Szene aufzuhellen und mehrere Bilder aufzunehmen. Diese Methode erzeugt neue Schatten, und Klinghoffer erklärt, dass sie dabei hilft, verborgene Bereiche freizulegen, indem viele Lichtstrahlen verwendet werden.

Der Einsatz von Lidars in Kombination mit einem neuralen Strahlungsfeld (NeRF) ist von großer Bedeutung. Ein NeRF speichert die Form einer Szene in einem neuronalen Netzwerk, was dabei hilft, klare und präzise Rekonstruktionen von Szenen zu erstellen.

PlatoNeRF wurde im Vergleich zu zwei anderen Methoden getestet: einer, die nur Lidar verwendete, und einer anderen, die NeRF mit einem Farbbild nutzte. Die neue Methode erzielte bessere Ergebnisse als beide anderen, insbesondere bei der Verwendung von Sensoren niedrigerer Auflösung. Dies macht sie nützlich für den praktischen Einsatz.

„Vor etwa 15 Jahren entwickelte unser Team die erste Kamera, die um Ecken sehen kann,“ berichtet Ramesh Raskar, ein Forscher am MIT. „Diese neue Forschung sichert mit nur zwei Lichtreflektionen ein höheres Signal-Rausch-Verhältnis und eine herausragende 3D-Bildqualität.“

Die Forscher planen, in Zukunft mehr als zwei Lichtreflexionen zu verfolgen. Zudem beabsichtigen sie, weitere Deep-Learning-Methoden zu nutzen. Darüber hinaus möchten sie PlatoNeRF mit Farbbildern kombinieren, um Texturdetails besser einzufangen.

Mehr über ihre Arbeit erfahren Sie hier: PlatoNeRF: 3D-Rekonstruktion in Platons Höhle mit Einfachansicht-Zwei-Bounce-Lidar.