デジタルツインを活用した体験型コンテンツの展示

イントロダクション

Project PLATEAUが整備を進める3D都市モデルが持つ様々な情報とその有用性については、まだ一般市民に十分認知されるまでには至らず、まちづくりをはじめとした関連する業界での利用に留まることが多いのが現状である。さらなる認知度向上のためには、３D都市モデルへの興味・関心を高めるコンテンツの制作が求められる。

今般、2025年大阪・関西万博において、未来のコミュニティとモビリティ - テーマウィークでのイベントブースにProject PLATEAUが出展することとなった。本機会を、国内だけではなく海外からの来訪者にもProject PLATEAUの取り組みをPRできる好機と考え、Project PLATEAUについてのパネル展示に加え、３D都市モデルを活用した体験コンテンツを開発し出展した。

体験コンテンツの内容と作成方法

1.コンテンツ概要

本コンテンツでは体験者が３D都市モデルを活用したデジタル空間に没入し、リアルとバーチャルを行き来できる体験の開発を行うこととした。

そこで、体験者を”没入”させるためのツールとして、Apple Vision Proのヘッドマウントディスプレイ(以下、HMD)を用いる設計とした。ここで、HMDを用いたコンテンツで没入感を感じるかどうかは、映像そのものももちろん重要であるが、音楽が果たす役割も重要である。体験者が立体的に音楽を感じ取れるように、体験者を囲む配置でスピーカーを4方向に設置した。4方向からの音楽で、没入感を体験者に提供するのみならず、観覧者へもコンテンツを体感してもらうことも目指す。

加えて、HMDだけではなくライド系のコンテンツとすることで、映像、音楽、振動、そして慣性(スピード)の4次元の体験装置として、さらなる没入体験を実現した。

体験者の前には大型のLEDビジョンを設置。これはコンテンツ内の演出を放映するもので、迫力のある映像と音楽が融合したオーディオビジュアルを観覧者も楽しむことができ、体験者以外もProject PLATEAUに興味・関心をもてる接点づくりを試みた。

本編では、PLATEAUの３D都市モデルのデータを用いてレーシングコンテンツを制作するうえでの手法、問題点を確認する。

2.作成方法

映像

コンテンツにおける映像は渋谷と京都の２都市を舞台として作成した。

渋谷においては、スクランブル交差点からスタートとして、渋谷109 - 東急文化村 / 西武百貨店 - センター街 / 明治通り - 宮益坂を走行するルートとした。
京都においては、清水寺 - 花見小路通 - 先斗町通 - 三条大橋を走行するルートとしている。
２都市とも２分ほどの所要時間のコンテンツとしており、この時間は体験者の十分な満足度と、イベントへの出展として回数を実施することを両立できる設計として企図した。

作成は2段階に分けて行った。

まずHMD上で動作するレーシングコンテンツのプロトタイプを開発。ここではPLATEAUの３D都市モデルは使用せず、オリジナル空間のコースを制作。このプロトタイプを基にレーシングコンテンツそのものの体感設計と、1回の体験におけるコンテンツの所要時間を検討した。
その後、実際の体験内容や都市を舞台としたルートの検討を進め、PLATEAUの3D都市モデルを用いたコンテンツを開発。前述のとおり渋谷と京都の３D都市モデルを活用しコンテンツの舞台としている。

映像に用いる３Dデータの作成手法

コンテンツで使用したリアリティのある都市の映像を作成するにあたり、今回は「3Dガウシアン・スプラッティング（3D Gaussian Splatting）（以下、3DGS」）という手法を採用した。

自由視点画像生成技術である3DGSは、限られた視点の画像データを基に3Dモデルを構築し、新しい視点からの画像を生成可能とするレンダリング技術。入力画像を基に数百万のガウス分布を重ね合わせて3Dモデルを表現する手法で、リアルタイムで高品質な3D映像をレンダリングすることを可能にしている。

画像データの取得に当たっての撮影機材は、カメラ「Sony α6400」とレンズ「Super Wide 15mm F4.5」を使用した。またレンズについては、広域撮影が可能で、かつ歪みの出にくい 24mm 程度のレンズを採用している。

■ 渋谷での撮影箇所と枚数

スクランブル交差点 / 渋谷109　1762枚
東急文化村 / 西武百貨店　1474枚
センター街 / 明治通り　1866枚
宮益坂　906枚

■ 京都での撮影箇所と枚数

清水寺　3184枚
花見小路通　1382枚
先斗町通　2634枚
三条大橋　1305枚

3DGSを用いた空間表現の再構成には postshot v0.6.0 を使用し、Splats3 モデルで学習を実施した。

入力画像は3000x2000pxにダウンサンプリングした画像群を使用し、トレーニングは50,000 Steps 、およそ3時間を要した。これにより、空間構造およびテクスチャ情報を保持した三次元モデルを生成した。

なお、生成された３DGSによる三次元モデルは、後工程であるUnity環境へ取り込み可能な形式に変換し、リアルタイム描画が可能な状態で運用している。

映像作成の手順

1. Houdini によるカメラパス作成

まず、Houdini上にPLATEAUの３D都市モデルを配置し、カメラアニメーションを作成した。都市スケールに基づく空間配置の中で移動経路を設計し、最終的な視点移動を決定している。

作成したカメラパスは Alembic（.abc）形式で書き出した。Alembic形式はカメラの位置・回転・アニメーション情報を保持したまま他のソフトウェアへ受け渡すことが可能である。

2. Unity による空間統合およびレンダリング

Unity上では、３DGSにより生成した三次元モデルと PLATEAU の3D都市モデルを同一空間上に配置した。両者の座標およびスケールを調整し、３D都市モデル上に三次元モデルを重畳可能な状態に整合させている。

そこに、Houdiniで作成したカメラパス（Alembic形式）をUnityへインポートし、設計したカメラワークをそのまま再現した。

レンダリングは全天球（Equirectangular）形式で実施し、渋谷および京都の仮想空間内を移動するシーンを360度映像として出力している。

3. ３D都市モデル上でのVFX Graphによる演出

UnityのVFX Graphを使用し、３D都市モデル上にパーティクルエフェクトを構築した。都市のジオメトリの形状情報を基準としてパーティクルを発生・制御するシーンを作成している。

VFX GraphはGPUベースで動作するため、大量パーティクルのリアルタイム描画が可能であり、都市空間と一体化した演出を構成している。

4.Apple Vision Proアプリケーションへの実装

アプリケーション側では、原点に固定されたカメラの周囲に球体メッシュを配置し、レンダリングした全天球映像を球体内側へテクスチャとして貼り付ける方式を採用している。

全天球映像はH.265（HEVC）形式でエンコードした。H.265は高圧縮率かつハードウェアエンコード／デコードに対応しているため、高解像度映像を効率的に扱うことが可能である。

動画ファイルはHMD内のストレージへ保存し、アプリケーション側からパス指定で読み込む構成としている。これにより、アプリケーション本体に動画をバンドルせずに運用でき、容量制限を回避している。

HMD

今回体験に採用したHMDは、Apple Vision ProとMeta Quest 3を比較した結果に基づいて選定した。

まず、解像度とディスプレイの品質を比較した。

Meta Quest 3は液晶ディスプレイ（LCD）であり、解像度は高いが、暗いシーンでは画面全体が白っぽく浮いてしまうことが分かった。また、目を凝らすとドットの網目（スクリーンドア効果）が見えてしまう。
一方、Apple Vision ProはマイクロOLED（有機EL）であり網膜解像度（=片目あたりの画素数）は4Kテレビ以上ある。また、ドットの粒が肉眼では視認できず、CGのテクスチャや文字がまるで印刷物や実物のように見えるというメリットがある。体験者が「ディスプレイを見ている」という感覚を喪失し、体験コンテンツの世界に完全に没入することを可能とする。

また、コンテンツ再生時のスペック面において、Meta Quest 3はモバイル用チップ（Snapdragon）で動いており、スマートフォンよりは高性能だが、たくさんの光の表現や大量のポリゴンを表示するには、軽量化（ポリゴン削減など）の作業が必要となる。

一方、Apple Vision ProはMacBookが搭載するものと同じ M2チップ を搭載している。これはPC端末級の性能で、完全ワイヤレスの単体機でありながらもPCでのVR映像に近い、大量のポリゴン、高解像度のテクスチャをそのまま表現することが可能となる。そのため、制作した映像を「HMDの性能に合わせて画質を落とす」ことをせずとも、複雑なビジュアル制御を行っても処理落ちしにくい状況を達成できる。

結論として、Apple Vision Proを採用し、PC端末級に 匹敵する演算能力と画質を両立することで、没入感の高い体験コンテンツとした。