都市AR空間とメタバースの連携プラットフォーム

実施事業者	株式会社MESON / 株式会社博報堂DYホールディングス
実施場所	東京都渋谷区　渋谷駅周辺
実施期間	2022年4月〜2023年2月

・・

3D都市モデルを利用したXRコンテンツのマネジメントシステムを開発。ユーザーと事業者が双方向で交流・体験できるAR・メタバース連携空間の構築を目指す。

実証実験の概要

昨今、XRやメタバースを取り巻く市場は急成長しており、今後人々のコミュニケーションの場やエンターテイメントの基盤がXR・メタバース空間へ拡大することが予想される。これに伴い、都市空間におけるデジタルコンテンツを駆使したサービスなどのニーズも高まっていくことが期待され、現実の都市空間とバーチャル空間を接続する技術の開発が必要である。

今回の実証実験では、3D都市モデルを活用することで、都市空間に紐づけられたARコンテンツを提供可能なウェブベースのコンテンツマネジメントシステムを開発する。さらに、これと同期したバーチャル空間をウェブ上で構築することで、現実空間とバーチャル空間が相互にフィードバック可能なメタバース空間を構築する。これにより、物理的距離や時間の制約を超えて誰もが参加・交流のできる都市AR空間とメタバースの連携プラットフォームを提供し、ロケーションへの訪問喚起や都市の魅力向上への貢献を検証する。

実現したい価値・目指す世界

近年、世界市場において「メタバース」というワードが注目を集めているように、VR・ARデバイスの普及や関連コンテンツ市場が著しく成長している。特に人々の活動や交流の場がXRやメタバース空間へと広がり、時間的・金銭的支出がデジタルに広がっていく流れにおいて、現実とバーチャルの双方において都市空間内でデジタルコンテンツを展開することへのビジネスニーズが高まると予想される。

今回の実証実験では、ARとメタバースの事業化に向けたプロトタイプとして、3D都市モデルを位置合わせに利用したXRコンテンツのマネジメントシステムを開発し、現実の都市空間の位置や形状に紐づけてARアートコンテンツを配置可能とする。また、これと同期する形で現実の都市空間を再現したWEBバーチャル空間を構築し、バーチャル空間上でもデジタルアートや関連する購買体験等を提供可能とする。これらにより、ユーザーや企業が様々な目的・時間軸でコンテンツを都市空間に紐づけて提供し、その蓄積が都市の魅力や価値を増幅させるというAR・メタバース連携の実現を目指す。

検証や実証に用いた方法・データ・技術・機材

本実証実験では、現実の都市空間に展開するARコンテンツ及び現実の都市空間をベースとしたメタバース空間に展開するデジタルコンテンツを管理するためのWebベースのコンテンツマネジメントシステム（CMS）を開発した。また、これと連動するiPhone向けのモバイルARアプリケーション及びPCからアクセス可能なWebメタバース環境をあわせて開発した。

このCMSは、MESONが提供するGAUGUIN CMSをベースにしている。GAUGUIN CMSは、XRコンテンツを3Dエディター上で配置することで直感的に空間上の相対位置データと紐付けてXRコンテンツを管理することができる。CMSでは、この機能をベースに、 3D都市モデルを3Dエディター上に配置し、3D都市モデルのもつ座標情報と現実の位置情報をリンクさせる処理を追加した。これにより、3D都市モデルを位置合わせの基準としてCMS上でARコンテンツを配置できる。

モバイルARアプリケーションはFlutterを用いて構築した。この中で、CMS上で配置したARコンテンツ及びその情報をスマホ側へ配信するとともに、ARコンテンツの表示及び3D都市モデルによるコンテンツの遮蔽（オクルージョン）の表現を実現している。スマホのカメラ画像を用いた位置合わせ（VPS）はUnityをベースにGoogleが提供するARCore GeoSpatial APIを用いてスマホアプリに組み込んだ。

Webメタバース環境は、モバイルARアプリケーション向けに構築したUnity部分を移植することで、同様の体験をメタバース空間でも得られるよう開発した。CMSと連携し、CMS上で配置された3D都市モデル及びARコンテンツをウェブ上でVR体験として提供できるものとしている。モバイルARアプリケーションと差異が生じる2D UIは、htmlで構築した。

開発したシステムを用いて、CMS/アプリの活用が想定される事業者にとっての有用性と、アプリを使用して体験に参加するエンドユーザーにとっての有用性を検証した。

検証で得られたデータ・結果・課題

CMSの性能検証では、ARアプリでコンテンツの表示精度と、体験構築にかかる工数の削減効果の検証を行った。渋谷の3D都市モデルをCMSにインポートし、エリア内の複数のスポットでテスト用のコンテンツを配置し、ARアプリ上での表示位置のズレを計測したところ、誤差は1m程度だった。CMS側の3D都市モデル自体の形状・寸法の正確さによる精度と、ARアプリ側のGeoSpatial APIの位置合わせ精度により、高精度でのコンテンツ表示が実現できたと考えられる。精度検証により、都市空間内でキャラクターやアート作品などを建物の形状に合わせて表示することや、店舗や観光スポットなどその街に関する情報をピンポイントで表示するようなユースケースで十分にCMSとARアプリを活用可能な精度が担保されることが確認できた。

また、工数削減効果の算出にあたっては、利用ユーザーとなる事業者にCMS・AR・Webメタバースを提供するために必要なエリア対応におけるカスタム開発工数の測定を行った。測定の結果、3D都市モデルを使った場合、他の3Dマップを使った場合と比較して、約4割の工数削減に繋がることが確認できた。

有用性検証では、XR関連の取組を行う事業者9社にヒアリングを実施した。事業者にIPを活用したイベントやアート鑑賞、街のガイドなどのユースケースを想定したデモコンテンツを体験頂き、プラットフォームの利用意向や、想定されるユースケース、望ましい運用形態を確認した。9社中5社からプラットフォームを活用したいという声を頂いたほか、当初想定していたイベント向けの活用に加え、ユーザーが日常的に使用できる「街のメディア」として活用し、場所の歴史を表示することや、都市のインフラとして避難情報や公共施設の情報などを案内すること等のユースケースアイデアが挙がった。その他、店舗や商業施設での利用を想定して、屋外だけでなく屋内エリアでも活用できるようにしてほしいという機能拡充の要望も寄せられた。

エンドユーザー向けの有用性検証では、将来的にアプリケーションを利用する一般ユーザー層にデモ体験を提供した。街のメディアとして都市の情報提示や来街者同士のコミュニケーションによりどのような価値が生じるかの観点からアンケート・ヒアリングを行った結果、事業者が作成する情報コンテンツや同じ街を訪れたユーザーの投稿により、偶発的に都市の情報に出会えるメディアとして当プラットフォームを活用しうることが示唆された。

一方で、エンドユーザー向けのアプリ環境として構築したモバイルARアプリ及びWebメタバース環境は、普段の生活の中で使用するにはハードルが高いというフィードバックが事業者・エンドユーザーの双方から挙がったことから、アプリのインストールを不要とするなどの導入の容易さの改善や、そのハードルを越える体験・コンテンツの提供をしていくことが課題として考えられる。

参加ユーザーからのコメント

民間事業者より、以下のコメントがあった。

・ARアプリ上での体験のシームレスさに感動した。商業施設でのイベントや販促に活用したい（総合不動産デベロッパー）
・様々な都市でコンテンツ展開できる点に惹かれた。自社のIPのプロモーション企画などで活用してみたい（出版社）
・路面店での自社IP、コラボIPコンテンツを活用した企画に活用したい（アパレル）
・沿線エリアでのアートイベントや広告コンテンツの企画・開発に活用したい（鉄道）

エンドユーザーより、以下のコメントがあった。

・体験として楽しかった。また、普段じっくり街をみることがあまりないので、街を知る機会にもなった（20代女性）
・渋谷自体は来ることがあるが、自分のあまり知らないエリアだったのでスポットに関する発見があった（30代男性）
・SF作品などで構想されていた技術を、1ユーザーとして使えるようになったことが嬉しい（20代女性）

今後の展望

今後は、ロケーションオーナーやコンテンツホルダーの企業と連携しながら、実際の施策を実施する中でプラットフォームとしての提供価値の向上や機能開発を進める。特に、事業者からも活用意向が寄せられたIPコンテンツの活用や、店舗・商業施設での販促などのユースケースで、パブリックな企画として実際にエンドユーザーを集めたイベントを開催することでプロダクトの継続的な改善を行っていく。本実証実験では渋谷エリアを対象としたが、今回構築した仕組みで3D都市モデルが提供されている他都市でも体験構築が可能なため、イベントや施策内容に合わせてアプリケーションの対応エリアを拡充していく。

また、令和2年度のProject PLATEAUのユースケース開発「都市空間におけるAR/VRでのサイバー・フィジカル横断コミュニケーション」で構築した「GIBSON」の技術を活用し、リアルタイムコミュニケーションやアバターコミュニケーションの要素を組み合わせることで、特に親和性が高いと考えられるエンターテイメント・観光系のユースケース向けに没入感の高い体験の構築を進める。3D都市モデルを活用したより没入感の高いバーチャル空間を構築する方法を模索しながら、XRの体験を身近なものとして全国への普及拡大を目指す。