デジタルツインを活用したXRコンテンツ開発プラットフォーム

検証や実証に用いた方法・データ・技術・機材

本実証実験では、実証エリアの様々なデータを閲覧・配信可能な「①デジタルツインシステム」と「②XRコンテンツ・アプリケーション開発支援ツール」（虎ノ門デジタルツイン）を開発した。

「①デジタルツインシステム」については、主にXRコンテンツ・アプリケーション開発者に対して、実証エリアの環境情報や立体的な構造等を視覚的かつ簡単に閲覧するためのWebビューワーである。CesiumJS及びUnityWebGLをベースとして開発した。今回の実証実験では、屋内の3D情報としてはBIMをベースとした3D都市モデルのLOD4建築物モデル、屋外の3D情報としては3D都市モデルのLOD2-3建築物モデル、道路モデル、都市設備モデルなど、その他の関連情報としてはスマートフォンのGPSにより取得するリアルタイムの位置情報（垂直位置情報を含む）や気圧情報、VPS（Visual Positioning System）用に3D点群データを統合したデータが提供されているが、これらのデータを開発者が理解し、簡単に2D・3Dで現地状況を把握可能とするために提供している。

「②XRコンテンツ・アプリケーション開発支援ツール」（虎ノ門デジタルツイン）は、提供する3D都市モデルデータをUnityEditorで簡単に利用し、モバイルアプリケーションの開発を支援するためのUnityのSDK（プラグイン）である。3D都市モデルデータはUnity Asset形式でSDKに同梱した。また、開発者の意見を取り入れながらSDK内でデータ表示のON/OFFやグループ選択が簡易に出来るようオブジェクト設定を行った。

これに加え、SDKでは端末の自己位置推定情報を取得する二つの機能を提供している。一つは、Immersal社が提供するVPS（Visual Positioning System）である、「Immersal SDK」との連携機能である。Immersalはあらかじめ取得した点群マップとモバイルデバイスから取得した画像情報をマッチングさせて端末の自己位置情報を推定するクラウドサービスとなっているが、SDKでは、あらかじめ作成したエリア内のVPSマップ（点群スキャンにより作成）を同梱し、ImmersalのVPSをデフォルトで利用可能とすることにより、開発者はスキャン作業なしでARコンテンツを製作できるようにしている。

もう一つの機能は、端末の垂直位置情報を推定するためのMetCom社の「Pinnacle SDK」との連携機能である。Pinnacleはスマートフォンの気圧センサーから取得された気圧データに基づき端末の高さ情報を推定するクラウドサービスである。SDKでは、前述のVPSマップをパフォーマンスの観点から地上又はフロア階ごとに出し分ける設計としており、Pinnacleから取得した高さ情報を利用して端末の垂直位置を特定することで、当該エリアのVPSマップを読み込むことを可能としている。

本システムのユーザビリティ・有用性の検証のため、ツール及びデータを参加者に提供する方式のハッカソン「TOKYO NODE XR HACKATHON powered by PLATEAU」を開催した。参加者には2か月の開発期間を通じて、ツール及びデータを自由に使ってもらい、コンテンツ開発の経験を通じてデジタルツインの有用性に関するフィードバックを得た。

検証で得られたデータ・結果・課題

「TOKYO NODE XR HACKATHON powered by PLATEAU」には開発者、クリエイター、デザイナーなどXRコンテンツ開発の初級者から上級者まで 107 名が参加し、2か月間の開発期間を経て、28作品のXRコンテンツ・アプリケーションが集まった。

3D都市モデルの利用方法としては、「①ARコンテンツのオクルージョンマスク（遮蔽効果）としての利用」、「②コンテンツ内で表示するVR空間や3DCGとしての利用」、「③屋外における建物位置関係を把握するための地図としての利用」といった利用が主となった。

「①ARコンテンツのオクルージョンマスク（遮蔽効果）としての利用」としては、虎ノ門のビルの間を縫うように巨大なドミノを複数端末で見ることができる「TOKYO DOMINO」といった作品や、カメラで撮影した顔からアバターを生成し、建物壁面や屋上など都市の中を縦横無尽にキャラクターが駆け回る「WaraWara」といった作品が開発された。

「②コンテンツ内で表示するVR空間や3DCGとしての利用」としては、災害発生時の避難経路のシミュレートや、施設設備であの消火器やAEDの位置を確認できる「虎ノ門消防団 ～避難経路を発見し、生き残れ～」といった作品や、都市の中で感覚過敏の方が苦痛を感じる音や光や匂いなどの五感情報をマップ化し、ARでの可視化を可能にした「XR Sensory Map」といった作品が開発された。

「③屋外における建物位置関係を把握するための地図としての利用」としては、現実のゴルフプレイと同様に、実際の虎ノ門ヒルズを中心とした屋内・屋外のコースを歩き回りARのキャラクターとプレイをする「ARプロゴルファー虎！」といった作品や、地下から高層階まで、3次元的な位置を把握しづらい都市の中で、自身の相対的な位置や施設までの距離などをARで可視化した「TORANOMON bird's eye view」といった作品が開発された。

参加者に対するアンケートの結果、本システムの利用により、大規模なエリアを対象としたXRコンテンツ・アプリケーションを短期間で開発できた点について肯定的な回答が広く得られた。特に、今回はじめてVPSに触れる開発者も多く、初期設定や位置調整がなされたSDKの利用により、VPSを利用した開発の技術ハードルが下がったという肯定的な回答が得られた。一方で、VPSに慣れた開発者については、エリア拡充やVPSの精度向上を求める回答が得られた。

システムの点では、遠方からのハッカソン参加者は虎ノ門エリアを頻繁に訪れることが困難であるが、現地を訪れなくてもWEBビューワー上で虎ノ門エリアの屋外・屋内を立体的に確認し、XRコンテンツ・アプリケーションの検討ができたとの回答が得られた。また、屋外の3D都市モデル（LOD3）及びBIMデータをベースとした建築物モデルLOD4の提供については、XRコンテンツ・アプリケーション開発時のオクルージョン・マスク利用が高い精度で簡易に実行できたとの回答が得られた。

その一方で、VPSによる自己位置推定の精度については、対象エリアの時間帯、照明装置、LiDAR機器の種類及び撮影手法等の3Dスキャンの取得方法によりVPSの認識精度が大きく変化することがハッカソン参加者からの報告により確認された。例えば、公共施設、屋外では、月ごとやイベントごとの各種展示物の変更、看板・設備等の移動による景観の変化があり、構築したVPSマップの認識精度が低下することが確認された。このため、景観の変化が激しい場所や設備を対象とする個別のVPSマップを構築し、都市レベルの広域エリアと個別エリアを組み合わせたハイブリッドなVPSマップの構築を行う必要があると考えられる。また、日中と夜間で大きくライティングが変化する場所については、ライティングが変化する時間ごとの個別のVPSマップを構築し、ユーザーの利用時間帯により該当するVPSマップの呼出しを行う必要があると考えられる。さらに、屋外から屋内または屋内から屋外へのシームレスなVPS移行にはコンテンツ内でのシーンの再起動による解決方法では作品のバリュエーションの幅が疎外される可能性があり、施設設備（Bluetooth、Wi-Fiアクセスポイント、ビーコン等）とSDKを組み合わせた解決が必要と考えられる。

施設フロア特定の精度については、スマートフォンデバイスの気圧センサーの個体差による差異があることがハッカソン参加者からの報告により確認された。この点については、取得した気圧情報を各デバイスの気圧センサーの特性に合わせて調整することで、差異を補正することが可能であることが分かった。

XRハッカソンの運用では、参加者同士の交流や知見の共有ができるようDiscordを主体としたコミュニケーションの場を提供したところ、チームごとの進捗共有や、開発における課題の共有・解決などを目的として積極的に活用された。また、その場を活用して参加者からのハッカソン運営に関する要望などを広く収集し、随時改善につなげることができた。これらと並行して、開発検証時の現地訪問、勉強会などチーム内外の参加者とのリアルな交流の場所として、虎ノ門エリアの施設であるTOKYO NODE LABを定期的に開放することで、現地での詳細なローカライズ実証や、開発者同士の交流の中から新たなチームが組成されるなどの成果があった。

参加ユーザーからのコメント

参加者から、システムについて以下のような意見があった。

・3D施設モデルやVPSマップなどの詳細な室内サポートはあまり他で提供されていないので嬉しい（デザイナー）
・予め空間スキャンをする手間が削減でき、スムーズにアプリケーション開発を始められた（開発者）
・ビルの中のVPSの精度が高く、アプリケーション開発が捗った（開発者）
・実際にゲームを作るような感覚で物体を置いていくことで、ARが出来てしまうことに驚いた。アプリケーションの開発スピードがアップした（学生）

参加者から、VPSなどの位置・垂直情報について以下のような意見があった。

・VPSなどの位置・垂直情報の整備がなかったら、そもそもアプリケーション開発ができなかった（デザイナー）
・自分は1年ほど前にVRとARに挑戦したが、敷居の高さと高さ情報を含む正確な位置情報を使うことが困難で諦めたことがあった。今回の実証実験で提供される高さ情報に関しては、その精度や正確性、スピードの向上に驚いている（クリエイター）
・時期によって、ホールなどに展示物が設置されると今まで調整した精度が担保できなくなるので、現場の変化にあわせてVPSマップなどを更新していただけるといいなと思う（開発者）
・広い空間において遠くから物体を眺めるとややずれることがあったが、近くまで寄れば本当にぴったりと床や壁に張り付いているようなAR表現ができて驚いている（学生）
・オフセット値を機種ごとに入れる必要がある時点で、実質使えるものではなく残念（開発者）
・自分の使い方の問題かもしれないが、エスカレーターなどでフロアを移動していると、垂直情報に関してはうまく機能していると感じられないことがある（デザイナー）

参加者から、ハッカソンイベントの運用について以下のような意見があった。

・他の参加者との交流はできるが、現地での作業があまりできないため、解放日を増やして欲しかった（デザイナー）
・現地に出向いてアイデア考えたり検証したりする工程が楽しめた（デザイナー）
・広い空間を使っての開発はワクワクした（クリエイター）
・他のチームのアイデアに触れられたのと、VPSガチ勢の方々からのレクチャーが大変ありがたかった（開発者）
・ディスコードでのコミュニケーションが盛んで、良かった（開発者）
・モチベーションや実力の高い参加者が多く、交流する中で刺激をもらえた（開発者）
・みなさん個性的なアイデアや作品をお持ちで、聞くだけでもワクワクした（学生）
・プロフェッショナルから初心者まで幅広く参加者がいるため、アイデアの幅も広がり面白い（学生）
・タイミングを見て発表や意見交換の場が適切に設定されていたので、常にモチベーションを保ちながら開発できた（学生）

今後の展望

3D都市モデルやBIMによるデジタルツインを活用したXRコンテンツ・アプリケーションの開発や、それらを用いた新しいエリアブランディングの手法への関心が高まっている。その一方で、XRコンテンツの面的な実装を実現するためには自己位置推定のためのVPSや3Dモデルの構築、実施エリアの管理者との交渉などが必要であり、データ作成の工数や新規技術に関する専門的な知識の取得など開発者等に求められる負担は多い。

今回の実証実験では、XRコンテンツ・アプリケーションを開発するために必要な様々な都市データを統合した「虎ノ門デジタルツイン」を構築するとともに、開発者が効率的に虎ノ門エリアの都市データを取得して開発できることを目指したSDKを開発した。その上で、企業、個人の開発者を対象としたハッカソンを実施し、多くのXRコンテンツ・アプリケーションの開発を通じて、広域の都市や個別の施設での効率的な開発に有用であることを検証した。

3D都市モデルや自己位置推定は未だ新しいデータ・技術であり、それらに不慣れな開発者も多く、技術的な課題も残されている。今後、自己位置推定精度の更なる向上をはじめとする今回の実証実験で明らかになった課題の解決を図りつつ、開発に要する知見の共有や本システムの他地域での展開を推進することで、XRコンテンツ・アプリケーション開発を促進することが可能である。

今回の実証実験の成果をモデルに、今後他エリアでも同様の取組みを行う際に、都市における詳細なデータの提供と、開発者のコミュニティの形成・活性化やそれを通じた知見の共有方法を活用することで、開発者が効率的かつ面的にXRコンテンツ・アプリケーションの開発を行うことを支援し、多くの場所で新たな都市体験の創出を生み出すことに寄与する。