NeRF(Neural Radiance Fields)はフォトグラメトリと似て非なる技術です。

以前、下記の自分のブログ記事のようにフォトグラメトリを幾つか実験＆遊んでみたのですが

LiDARでスキャンして3Dモデルをアップロードしてみるテスト（ボロボロ…）
LiDARでスキャンして3Dモデルをアップロードするテスト 2
今度はLiDARではなくフォトグラメトリで3Dモデルをアップロードしてみるテスト 3

隙間とかはLiDAR内蔵のスマホ、アプリ、機器で隙間の中も撮影すればいけると思うのですが。
さらにフォトグラメトリでも隙間の証拠？生成元に足りうる動画や静止画を撮れば何とかなるかと思うのですが…

透明、は絶対無理ね…。

透明が無理なのは上記の

今度はLiDARではなくフォトグラメトリで3Dモデルをアップロードしてみるテスト 3

で、ペットボトルを試してみてすぐ分かりました。

あ、あとフォトグラメトリはLiDAR必須じゃないかも？無くても出来るかも…。

で、フォトグラメトリとNeRFの違いですが、下記が一番色々まとまっているかな。
それ以外の情報も非常に興味深いです。

【A.I.映画研究所】街を丸ごと作っちゃうNeRFとは？NeRFとAIの融合【Vol.02】https://vook.vc/n/6042

最も私が注目している技術が「NeRF」です。
NeRFは複数枚の画像や、映像から3Dモデルを生成する技術です。これだけを聞くと「フォトグラメトリでは？」と思う人もいるかも知れませんが、フォトグラメトリとの最大の違いは透明、反射、屈折を再現できる点にあります。つまりライティングの影響を正確に再現できるのでよりリアルな3D空間を作ることができます。

で、今回試してみたNeRFの結果動画と元動画を下記の様に貼っておきます。

元動画

元動画をアプリに放り込んで。そしてサーバ側に送り込んで。NeRFの元データが生成されて。
ブラウザ上でカメラコントロール。

カメラの動きは吐き出せる？ってことで一応吐き出してみたらjsonファイルでした。
（しかもそんなに大きくないファイル）

下記の動画のカメラの動きがjsonで定義出来ている…のはまぁまぁびっくりかな。
でもSVGの立体版、と考えたら容易かも？違うか？

NeRFで生成後の動画

NeRFで注目なのは最初の方でベンチの下を通っていく所とか、最後の方でベンチの木の板の隙間から見える後方が破綻してない事ね

元動画観てもらうと分かる様にベンチの木の板の隙間は細かく撮影していません。
ベンチの下には一応カメラ入れましたが…どうしてもベンチの下くぐるカメラアングル欲しかったので。

そして上記のNeRFの動画、大したこと無いな？とか思われたらアレなんで一応書くとドローンも使ってないのにカメラが上空から俯瞰したりしてる様ね。元動画ではこんな上空から撮影してないので。

そこんとこヨロシク。