新研究: 影を利用して見えない3Dシーンを再現する手法

TokyoMITとMetaの研究者たちは、シーン全体の正確な3Dモデルを作成できる新しいコンピュータービジョン手法を開発しました。この技術は、たった1つのカメラ位置からの画像を用いて、見えない部分を影を使って特定します。

この技術はPlatoNeRFと呼ばれ、単一光子ライダーと機械学習を組み合わせて結果を出します。

PlatoNeRFの利点は次のとおりです。

• 自動運転車の安全性を向上させること。
• AR/VRヘッドセットが部屋の形状を歩かずに効率的に把握できるようにすること。
• 倉庫のロボットが複雑な環境でアイテムをより迅速に見つける支援を行うこと。

ライダーは、光を発射し、その光が戻ってくるまでの時間を測定することで領域をスキャンします。単一光子ライダーは、単一の光の粒子を検知し、非常に詳しい情報を提供します。「PlatoNeRF」は、これらのライダーの特別な能力を活用しています。

光が表面に当たると、一部はまっすぐ反射しますが、大部分はさまざまな方向に散乱します。PlatoNeRFはこの散乱光を利用します。光が2回跳ね返り戻ってくるまでの時間を測定することで、その場面の奥行きや影など、より詳しい情報を収集します。

MITの大学院生であるツォフィ・クリンゴファーは、論文の筆頭著者であり、彼らの主要なアイデアはマルチバウンスライダーと機械学習を組み合わせることだったと説明しています。この論文は、MITとMetaのチームによって共同執筆され、コンピュータビジョンとパターン認識に関する会議で発表される予定です。

関連記事:

昨日 · 20:33

音の魔法: 視覚障がい者向け新たな挑戦

システムはシーンを明るくするために16個のライトを使用し、複数の写真を撮影します。この方法では新たな影を生み出し、クリンゴファー氏は、多くの光線を用いることで隠れた領域を見つけ出すのに役立つと述べています。

ライダーを利用してニューラルラジアンスフィールド（NeRF）を使用することは非常に重要です。NeRFはシーンの形状をニューラルネットワークに保存します。これにより、シーンの鮮明で精密な再現が可能になります。

PlatoNeRFは、2つの異なる手法と比較テストが行われました。一方はリーダーのみを使用した方法、もう一方はカラー画像を用いたNeRFです。新しい手法はどちらよりも優れた性能を示し、特に低解像度センサーとの組み合わせで効果的でした。これにより、実際の環境での応用に役立つことが確認されました。

約15年前、私たちのチームは角の向こう側を見ることができる初のカメラを開発しましたと、MITの研究者ラメシュ・ラスカー氏は述べています。この新しい研究では、2回の光の反射だけで高い信号対雑音比を達成し、優れた3D画像品質を提供します。

研究者たちは将来的に2つ以上の光の反射を追跡することを計画しています。また、より多くのディープラーニング手法を活用することも目指しています。さらに、PlatoNeRFをカラー画像と組み合わせてテクスチャの詳細を捉えようとしています。

彼らの研究の詳細はこちらにあります: 単一視点二重反射ライダーを用いたプラトンの洞窟でのPlatoNeRF 3D再構築。