先日、神宮外苑でのイベント取材の後に、VR仲間でもあります杉本さんの研究室（Holoeyes株式会社）を訪問してきました。
実は以前からお互いネット上ではよく知っていても、じっくりとサシでお話するのは今回が初めて。
MacやCG、そしてVRの専門的な話は、あっという間に時間が過ぎてしまいます。
 |
 |
話題の中心はイマーシブ映像コンテンツについて。
3D映像を手軽に体験してもらうにはどうしたら良いか？お互いに試してきたアプローチなどについて情報交換。
ちょっとしたデモなら手軽なスマートグラスが良いのかも知れません。
 |
 |
で、ここからが本題！
VisionOS 2をいち早く体験することができました
2D写真のSpatial化がなかなかの精度でビックリです😳
やっている事はだいたい見当がつきます。
AI処理で奥行き情報（depthマップ）を付加してZ軸方向に押し出す感じで、あとは死角となる部分を何となくそれっぽく塗りつぶせば良いでしょう。
ではこの空間写真化は、Meta Questでは体験できないのでしょうか？
実際に試してみました。
Quest 3での空間写真の楽しみ方
どうやらAppleの言う「空間写真」には大きく2種類ああって、ひとつはいわゆるSBSの立体視、そしてもうひとつが今回ご紹介するDepth情報を用いた6D0F写真です。
この日撮影した写真や動画を送っていただき、改めて色々と検証してみました。
| 普通の写真 | ポートレイトモード |
|---|---|
 |
 |
普通の写真の場合
単なる「写真」で撮影したものは、別途何らかの方法で奥行き情報を作らなければなりません。
最近は各種生成AIのサービスが発達しているので、人物であれば割と簡単に立体化してくれます。
使用したサービスは「Marigold Depth Estimation」
huggingface.co
写真をアップロードしたら、ワンクリックで奥行き画像を生成してくれます。
ただこのままでは奥行き情報が逆転してしまうので、画像編集ソフトで白黒反転して下さい。
AIかなり優秀ですね！
ポートレイトモードの場合
従来であればiPhoneのポートレイトモードで撮影した写真をFacebookにアップロードすると「3D」にするボタンがありましたが、あれ？いつの間にか写真の3D化ができなくなっちゃってます？
ちょっと手間ですが、ポートレイトモードで撮影した写真には奥行き情報も記録されていますので、コレを取り出して手動で3D写真にしてみましょう。
使用したのは「i3DPortrait」
ポートレイトモードの写真を読み込むだけで、内包しているDepth画像を抽出して保存できます。
ついでに裸眼立体視画像を作ることも可能です♪（上段：平行法、下段：交差法）
 |
 |
 |
とりあえず無料でも使えますが、課金すると高解像度で保存することができます。（ポチッとな♪）
AI生成よりもキレイなデプス情報が取り出せましたが、AVPの反射を誤認識していたのでレタッチしておきました。
これもFacebook用に白黒反転させます。
Facebookに投稿
生成されたグレースケール画像を保存したら、元の写真のファイル名に「_depth」を付加。
- IMG_XXXX.jpg（元の写真）
- IMG_XXXX_depth.jpg（Depth画像）
元写真と合わせて2枚を同時にFacebookにアップロードすれば無事に立体写真になります。
実はFacebookのこの機能は結構前から実装されているのです。
はい、無事3D写真として投稿できました♪
Meta QuestでVR表示
こうして投稿した空間写真は、QuestのブラウザでFacebookを開いて見ると「VR表示」に切り替えることができます。
「VRで見る」をポチッとな♪
コレで2D写真が立体的な6DoF対応の空間写真になりました！
（Questでは立体物として見えています）
Vision Proよりちょっと手間はかかるし仕上がりもイマイチですけど、空間写真化の手順はザッとこんな感じです。
ちなみにQuestブラウザでFacebookを開いたら、写真タブを開くと投稿した写真が一覧表示されます。
ここで空間写真なら「3D」、360度写真なら「地球儀のようなマーク」が右下に表示されてます。
コレらがVRで表示できる写真ですので、Questのブラウザから僕のプロフィールにも飛んでみて下さい。
https://www.facebook.com/katsunori.takamatsu
おまけ
左右の視差のあるSBS画像から奥行き情報を取得する方法もあります。
VR180の動画からキャプチャーしてゴニョゴニョすれば、SBSが6DoFになりますよ♪
