歴史・文化・営みを継承するメタバース体験の構築

実施事業者	ANA NEO株式会社/JP GAMES株式会社/アクセンチュア株式会社/株式会社TOSE
実施協力	京都市/先斗町まちづくり協議会/祇園新橋景観まちづくり協議会
実施場所	京都府京都市先斗町・鴨川/祇園新橋
実施期間	2023年10月～2023年12月

・・

3D都市モデルを活用した安価かつハイクオリティのメタバースサービスを構築する技術的な方法論を開発。メタバース体験を通じた都市の歴史・文化・体験を継承する手法を確立する。

実証実験の概要

歴史的建造物や街並み、祭礼などの都市における歴史・文化・体験的価値は、歴史文化的な観点のみならず観光資源としても地域の重要な付加価値となっているが、文化継承や認知不足などの課題が持続可能性の懸念となっている。他方、近年急速に普及しつつあるメタバースを活用し、都市の歴史や文化を発信していこうとする取組みが始まっているが、観光消費等の拡大を狙ったメタバースソリューションはグラフィック、インタラクション、スケール、訴求力、市場性等の点で実用的なレベルには至っていない。

今回の実証実験では、都市デジタルツインである3D都市モデルのデータを活用し、現実空間を舞台としたメタバース空間を、コンシューマクオリティで制作するための技術的な方法論の確立を行う。これにより、メタバース空間構築のコストを下げつつ、魅力的なコンテンツを提供することで、観光資源としての価値を高め、都市の歴史・文化・体験を持続
可能なものとすることを目指す。

実現したい価値・目指す世界

メタバースを活用したサービス開発はグローバルに普及しつつあり、地域を主題としたメタバースも複数ローンチされているものの、その多くがランドマークを対象とした限定的な空間再現であったり、空間が抽象的に再現され現実空間と乖離しているケースが多い。また、3DCGのモデリングやロケハン等のコスト面のハードルは依然として高く、サービス開発コストがペイするようなキラーコンテンツは誕生していないのが現状である。他方、地方自治体の文化継承・認知拡大において、訪日外国人含む遠隔地のユーザーに対して、メタバースを用いた歴史文化情報の発信やそこからのマネタイズ等のニーズは高く、コンシューマクオリティのメタバース空間をスケーラブルに構築するための手法が求められている。

今回の実証実験では、3D都市モデルを活用したメタバースの空間構築手法を開発することで、メタバースのコストを低減する手法を開発する。
PLATEAUが提供する3D都市モデル（LOD3）は、あくまで地図情報として整備されているデータであるため、モデルのディテールやテクスチャは一般的なコンシューマサービスのクオリティを担保できない。また、データ容量も膨大であるため、スマホ向けアプリなどでそのまま利用することは難しい。このため、今回の開発手法では写真の解像度で写真のデータ容量のまま3D空間を作成することができるReal in Virtual技術（以下「RIVテク」という。）を採用する。本実証ではRIVテクの空間生成のインプットデータとして、3D都市モデルをベースに構築した3D空間を高画質レンダリング処理したデータを写真の代替データとして活用することで、スマホ環境で活用できるデータ量かつ高クオリティな空間の構築を実現する。これにより、地域を主題とした商用メタバース空間に利用可能な高精度な3D空間を効率的に構築するとともにデータ容量制約や経済性（コスト）を検証することができる。
また、実際にコンシューマ向けメタバースサービスとしてローンチされているANA NEOの「ANA GranWhale」のプラットフォームを利用し、京都市の3D都市モデルを利用したメタバースサービスの提供実験を行う。ここでは、3D都市モデルならではの体験設計や表現の幅を活かし、歴史的な建造物や街並みの価値の発信、歴史的建造物維持へのコミットメント調達等へ寄与する開発・キャンペーンを実行する。この提供実験では、3D都市モデル×メタバースのコンシューマクオリティとして活用可能な品質基準や技術手法を明らかにする。

これらにより、民間事業者が3D都市モデルを活用して地域の魅力を発信するメタバース空間の効率的な構築手法を確立し、都市の歴史・文化・体験の持続的な維持・継承を目指す。

検証や実証に用いた方法・データ・技術・機材

今回の実証実験では、効率的かつ高品質なメタバース空間を構築するため、3D都市モデルを活用し、現場写真を使用する従来のRIVテクとは異なる、3DCGを使用した手法を開発した。また、この手法によりグローバルにローンチされている「ANA GranWhale」上でメタバース空間を構築した。対象エリアは京都の先斗町・祇園新橋・鴨川エリアとし、3D都市モデルとしては建築物モデルLOD3、道路モデルLOD3、都市設備モデルLOD3、植生モデルLOD3を利用した。

今回開発したメタバース空間の構築手法は、①3D都市モデルをベースにコンシューマクオリティを達成するための追加CGモデリング、②モデリングされたCGを使ったメタバース空間の構築の2要素で構成される。

このうち、①の追加CGモデリングについては、まず3D都市モデルをPLATEAU SDK for Unityを使用してFBX形式に変換し、3DアニメーションツールのMayaに取り込んだ上でポリゴン調整、テクスチャ修正を施し、クオリティを向上させた。

具体的にはユーザー体験エリアとなる祇園新橋の巽橋や先斗町の紹介店舗前等においては、メタバース空間内で視点が近距離にあるため、オブジェクトの解像度・再現度が低下しないよう、看板の形状や建物のディテールの微調整のほか、屋根や道路、街路樹などの視覚的なディテールや質感を向上させるためのテクスチャの修正を行っている。また、特定のオブジェクト等が都市景観・構成要素として必要な場合において、それらの新規CGデータの作成も行った。

②のメタバース空間の構築については、アプリ内での空間品質維持およびデータ容量制約の観点からRIVテクを利用することとした。RIVテクは、一眼レフ、RICOH THEATA（360度撮影カメラ）、iPhone(LiDAR付)によって撮影された写真データをベースに3次元の空間をプロシージャルモデリング（手続き型モデル生成）する技術である。従来のRIVテクによる空間構築においては、外観の再現用に現地での写真撮影、コリジョン用に3Dモデルの作成が必要だった。今回開発する手法では、3D都市モデルから構築されたCG空間を使い、CG空間内で仮想カメラによる撮影（天球スナップショット）を行うことで、現地撮影の工数削減と空間からエリアを構築する為の自由な空間の切取りの試行錯誤等、ユーザビリティを向上させるための再撮影が効果的・効率的に進められる。また、コリジョン用の3Dモデルは新たに作成する必要がなくなるため、最小限の加工編集で作成できるようになり、工数削減につながる。その結果、アプリ内で実装可能な品質と容量を両立した空間構築を実現している。

このRIVテクを用いてメタバース空間を構築するために必要な3つのデータは以下の手順で行った。

まず、メタバース空間の見た目のクオリティを左右する画像の取得は、Unity上で3D都市モデル（LOD3）を①の作業でクオリティ向上させたデータを利用してCG空間を再現し、この空間内で撮影（天球のスナップショット取得）を行った。この際、光の表現や被写界深度などの調整を行い、表現の向上を行っている。天球のスナップショット（表示用のデータ）は、撮影時には高品質なEXR形式で出力しPhotoshopで読み込み、軽量なPNG形式に変換・出力する。

次に、シーンの見栄えを決めるためのライティング用データについては、Unity上に構築したCG空間内で露出を変えながら複数の360度のスナップショットを撮影した。この露出の異なるスナップショットをPhotoshopに読み込み合成することで、HDR（High Dynamic Range）形式に変換・出力した。このHDR形式の画像は、IBL（Image-Based Lighting：写真や360度パノラマ画像などの環境マップから照明情報を取得し、CGのリアルな照明表現を実現する技術）のために利用する。

メタバース空間の足場となるコリジョン（衝突判定）用データは、UnityからFBX形式で出力しMayaにてコンテンツに必要な加工を施した（体験エリアを制限するための見えない壁の付与等）。加工後のデータはHoudiniを使い、見た目を変えずにポリゴン数を減らしデータ容量を軽減するためのリダクションを行う。

上記の3つのデータを組み合わせRIVテクによってメタバース空間を生成することで、3D都市モデルを活用した「ANA GranWhale」のワールドを構築した。具体的には、Unreal EngineをベースとしたRIVテクによるメタバース空間の構築を実現する「Pegasus World Kit」を用いて、自動的にコリジョン用データをベースに空間を構築、表示用画像を投影し、ライティング用データによりライティング演出を施しワールドを構築した。

コンテンツ面では、自治体や地元のまちづくり協議会の協力を得て各スポットの情報を収集し、「ANA GranWhale」内のガイド機能を通してテキストや画像の形で旅の魅力をユーザーに案内するコンテンツを開発した。あわせて、歴史的建造物の維持・保全・継承に資するため、歴史学者である磯田道史先生の監修により、ユーザーが京町家について学べる体験も開発した。

「ANA GranWhale」の日本ローンチ直後である2023年12月下旬には、メタバースサービスの体験会を開催するとともに、2024年1月には京都市や先斗町と連携したキャンペーンを実施する中で、ユーザーからコンテンツやユーザビリティに関するフィードバックを受け取り、開発に反映した。また、空間開発の効果検証については、これまでの開発手法と空間品質・開発期間を比較することにより実施した。

検証で得られたデータ・結果・課題

3D都市モデルを活用したメタバース空間の品質を検証するため、「ANA GranWhale」内の通常工程で制作したエリアと3D都市モデルを活用したエリアを比較検証することを目的としたユーザー体験会を開催した。また、3D都市モデルを活用したエリアに特化したキャンペーンも開催し、これらに参加したユーザーのアンケート結果から、3D都市モデルのメタバースサービスの制作における有用性を評価した。

ユーザー体験会（25名参加）では3D都市モデルを活用した京都の先斗町・祇園新橋・鴨川エリアとそれ以外のエリアにおいて「都市空間の再現性に違いを感じたか」との設問に対して、約60％（15/25名）の参加者から「違いを感じない」との回答が得られた。この結果から、3D都市モデルを活用した場合でも通常工程と同程度の空間を再現できたと言える。
次に、「世界観、仮想空間の没入感」について5段階評価で尋ねたところ、通常の工程で制作したエリアにおいては4以上（没入感が高いと感じる）の回答が全体の約40％（10/25名）であったのに対して、3D都市モデルを活用したエリアにおいては4以上の回答が全体の約60％（15/25名）であった。この結果から、3D都市モデルを活用することで、通常よりも高い没入感が得られる3D空間が制作できたと言える。以上のアンケート結果より、3D都市モデルがコンシューマ向けのメタバース空間の構築に有用であると言える。

3D都市モデルを活用したメタバース空間におけるバーチャル旅行サービスについて、サービスの体験前後における対象エリアへの訪問意欲と好感度の変化を確認するため、「先斗町に行ってみたいと思いますか」という設問では、体験前に「訪れたい」と答えた参加者は44%（11/25名）であったのに対して、体験後は64％（16/25名）に増加した。また、「先斗町を友人に薦めたいか」という設問では、体験前に「薦めたい」と答えた参加者は32%（8/25名）であったのに対して、体験後は64％（16/25名）に増加した。

これらの変化の要因としては、参加者の「京都の特徴である街並みが忠実に再現されているだけでなく、ガイドやクイズを通して歴史を学べる」、「リアルで回っている感覚と近く、また普段見ることのできない舞台の上や夜間のライトアップが楽しめる」、「ガイドさんの解説で身に付けた豆知識と共に旅行したくなる」などのコメントを踏まえると、メタバース空間に没入しながらゲーム感覚で対象エリアの理解を深められることや、3D都市モデルの活用による演出やライティングの自由度の高さによってリアルよりも魅力的な空間が提供できていることが挙げられる。

このほか、2024年1月16日～1月31日の期間に開催した先斗町、祇園新橋エリアにおけるバーチャル旅行キャンペーンへの参加者に対するアンケートにより、バーチャル旅行サービスの体験が歴史的建造物の維持・保全・継承に資することを検証した。具体的には、「町家などの歴史的建造物、文化遺産保全に向けたクラウドファンディングや保全に関連したNFTを今後検討していますが、実際に購入できるとなった場合は購入を検討しますか？」との設問について10段階評価で尋ねたところ、6以上の前向きな回答が全体の約42％（77/183名）であった。3D都市モデルを活用したメタバースサービス内のコンテンツは、ユーザーが歴史的建造物への興味、関心、理解を深める一つの手段となるため、地域の歴史、伝統文化の発信や継承においても3D都市モデルの活用余地があると考えられる。

3D都市モデルを活用したメタバース空間の構築効率については、通常工程とは異なり写真データが不要であるため、ロケハン調整や再撮影等にかかる工数を1か月程度削減できた。その一方で、メタバース空間内のオブジェクトの再現度を向上させるために道路や屋根などの細部のテクスチャを再現する工数が2週間程度発生しており、今後社会実装を更に広げていくためには、これらの制作プロセスの自動化等を検討する必要がある。また、メタバース空間の描画パフォーマンスについては、RIVテクを活用することで、より高品質な3DCGを実現しつつ、描画パフォーマンスの向上を実現した。

その他、「ANA GranWhale」アプリについて、データ容量の削減やメタバース内でのプレイサイクルの確立等に向けたUI/UXの改善についても検討が必要であると考えられる。

参加ユーザーからのコメント

ユーザー体験会の参加者

・京都のグラフィックでの再現性が高かったです。年に1回今回の舞台のエリアに行っていますが、非常にリアルだと思いました。
・鴨川のライトアップや川沿いの雰囲気が素敵だった。過去に鴨川に行ったときには川辺まで下りることはなかったので、楽しむことができました。
・祇園新橋エリアの再現性が高く、実際に現地を歩いている感覚と近かった。

キャンペーン

・バーチャルでいろんな体験ができると、さらにリアルな現地への訪問意欲が高まります。
・旅行に行くだけでは味わえない感覚がありました。事前にバーチャルで旅行を楽しむことで、実際に行く時のワクワク感が増す感覚があります。
・馴染みのある場所だからこそ、すごくリアルなことがよくわかり楽しかったです！なかなか行けない離島のバーチャルツアーを体験してみたいし、見たら更に実際行ってみたくなりそうだと思いました！

今後の展望

今回の実証実験では、先斗町及び祇園新橋エリアを対象に3D都市モデルを活用したメタバース空間を制作し、ユーザーがスマホアプリでその空間内を散策できるメタバースサービスを開発した。今回の実証実験を通して、魅力的なメタバースサービスを提供することで当該都市の歴史や文化に魅力を感じる人が増え、リアル旅行の意欲喚起や歴史的建造物の保存への関心の高まりに資することが分かった。

今後は、今回の実証実験で明らかになった制作プロセスの効率化やデータ量の削減、UI/UXの改善等の課題を解決し、他の自治体・事業者がより効率的かつ安価にメタバース空間を構築し、メタバースサービスを提供できる環境を整備していくことが重要である。これにより、バーチャル旅行への参加者、更には国内外からのリアルな旅行者が増加し、全国各地の観光産業をはじめとする地域経済の発展に寄与することができる。また、メタバース体験を通して都市の歴史・文化への関心が高まり、歴史・文化資源の保全や継承につながることも期待される。