3D都市モデルを活用した高精度デジタルツインの構築

検証や実証に用いた方法・データ・技術・機材

今回の実証実験では、スペースデータ社が保有する高精度なデジタルツインデータを自動生成する既存システムに対象エリアの衛星画像や3D都市モデルを都市情報のデータベースとして追加した。これにより、公共測量成果である3D都市モデル位置正確度や都市構造物の精度を維持しつつ、プロシージャルモデリングを用いて高精細なテクスチャの付与や建物のディティールアップ、看板や信号機等の都市設備の追加等を自動付与が可能な高精度デジタルツインデータの自動生成AIへと改修した。

具体的な追加開発機能としては、まず、3D都市モデルを建物ごとの教師データとして取り扱うことを目的として、CityGML形式の3D都市モデルのデータをスペースデータ社で独自に開発したPythonスクリプトを使用して個別の建物ごとにFBX形式に変換した。これは、CityGML形式のデータから建築物モデルの属性情報を建物の3Dデータ毎にカスタムプロパティとして情報を保持することや、3Dモデルを再生成する際に使用したソフトウェアであるHoudniに読み込みやすくするために事前に行った変換であり、3D都市モデルが保有する地物の位置や高さなどの属性情報を地理情報データベースである「統合データベース基盤」に読み込んだ。「統合データベース基盤」はPostgresSQLで地理情報を扱うことが可能な拡張モジュールであるPostGISを利用し、建物1棟ごとに接地面であるフットプリント情報(建物の外周面を平面化した緯度経度のポリゴンデータ)の地理情報をデータベース化している。

この「統合データベース基盤」を使用し、３D都市モデルが属性情報としてもつbldg:lod0RoofEdge（屋根面外周）のデータ（※）とデータベース内の既存のフットプリント情報をPostGISのST_Intersects関数（2つの形状データを重ね合わせた時に交差の発生有無を確認する関数）を使用して突合し、エリア内の各建築物同士を対応付けする処理を行った。

※今回の実証対象エリアである東京23区のデータには接地面外周（フットプリント）の属性情報であるbldg:lod0FootPrintのデータは含まれていないため、今回は屋根面外周（ルーフエッジ）情報のデータを採用した。

次に、3D都市モデルが持つテクスチャの画像データを「機械学習基盤」に読み込み、画像認識処理AIを用いて、3Dモデルの再生成時にプロシージャルモデリングで補完すべき建物の階層や窓の領域などを抽出した。この画像認識処理AIは、セマンティックセグメンテーションタスクという画像内において同様の色や形状の繰り返しを一つの領域として予測するアルゴリズムをベースとしており、読み込んだテクスチャの画像をスペースデータ社で独自に構築した教師データと比較することで側面構造物（窓、扉、壁面等）のデザイン・素材とその領域を予測し、出力された構造情報をレイヤー化して再度テクスチャ画像にデータとして追加している。

これらの処理によって、対象エリアの地図情報や建物の敷地データ、テクスチャ画像の構造などの情報が追加されたデータベースを、 FBX形式のテクスチャ画像やXML形式の地図情報として出力し、3DCGソフトウェアのHoudini上の「3Dモデル生成基盤」に読み込んだ。「3Dモデル生成基盤」ではまちの外観を高精度に再現するために、入力されたデータからロジックベースの機能を活用してテクスチャの再生成、都市設備の自動追加を行った上で3Dモデルの再生成を実現する機能を有する。

具体的には3D都市モデルが持つ建築物モデルのテクスチャに対して画像認識処理AIでレイヤー化したデータを参照しながら近似したデザイン・素材のユニット（壁を構成する最小単位3Dモデル）を敷き詰め建物の3Dモデルを再構成した。また、建物の3Dモデル構造から入り口や屋上付近に任意の点を置き、自動販売機や広告看板の位置など予測することで、自動的に都市設備を追加・設置する処理を行っている。そして、規則的な配置が可能な建物の窓や地上階部分の生成に対してプロシージャルモデリングを活用することで高精度な3Dデジタルツインデータとして新たに再生成し、このデジタルツインデータをゲームエンジンへマップとして入力するために3Dモデルアセット群とアセット配置座標マッピング情報を自動生成する機能を開発した。

今回の実証実験では、これらのデータをコンシューマ向けコンテンツへ適用できるようにするため、ゲームエンジン環境でローポリゴン化（データ軽量化）とゲームに適したテクスチャ・都市設備の再現度を高める処理を実施し、Unreal Engine 5のプロジェクトファイルとして出力した。本実証では、HoudiniとUnreal Engine 5のファイル連携をクラウド上で自動処理可能となるシステム構築した（本実証では工程計画上手動で対応し、将来利用に向けてシステム実装した）。

今回追加開発したシステムにより、オープンデータである3D都市モデルをインプットデータとして地物の位置情報及び2D図形情報、高さを担保しつつ、AIを活用してテクスチャ・都市設備を再現することでコンシューマ向けコンテンツに利用可能な高精度な都市のデジタルツインデータを自動生成する方法を確立した。

検証で得られたデータ・結果・課題

今回の実証実験では、生成したデジタルツインデータの有用性を検証するため、西新宿エリアで作成したデジタルツインデータをUnreal Engine 5.1のプロジェクトファイルとして無償公開した。映像やゲーム開発を行うクリエイターにはスペースデータ社が展開するSaaSプラットフォームである「Open Earth」を用いてデータを提供し、サービス利用者にはゲームプラットフォームであるFortniteを通じて「TOKYO　SHINJUKU　MAP」として提供した。これらのプラットフォームを活用するクリエイター及びサービス利用者のニーズへの適合度や潜在的な利用規模を評価するため、アンケートを通じて、ゲームや映像の背景としての品質やデータとしての使いやすさについて意見を集約した。

データの利用状況については、公開後約1か月間の目標利用人数を過去の同様のサービスを参考にクリエイターが50人、サービス利用者を5,000人と定めていたところ、クリエイター向けのデータは約3,500人（1人で複数回の利用があり、回数としては約6,000回）のダウンロード、サービス利用者は約61,000人であった。このような活発なデータやゲームの利用状況から、フォトリアルな都市デジタルツインデータに対する期待と興味が高まっていることが改めて明らかになった。

他方で、アンケート結果から作成したデータの精細度や容量など、今後の開発方針に対する課題と対策が明らかになった。まず、データの精細度ついては、現状の3D都市モデルや他の3D都市データと比較して、建築物のテクスチャや都市設備の付加の面では高い評価を得た一方で、ローポリンゴン化の一環で軽量化することによる景観劣化やテクスチャの歪みに関して改善を求める意見があった。この劣化や歪みは、データベースに取り込んだ教師データにおいて、影などの影響により現状の画像処理のアルゴリズムでは色や構造を認識することが難しい建築物が存在したことによるものであり、今後は教師データを増やすとともに、事前の機械学習処理によって画像の歪みや影の削除などを実施することで予測精度を向上させる必要がある。

次に、データ容量という観点では、今回の実証実験の対象エリアである西新宿エリアの約2㎞四方を1つのデータとして配布したことで、ローポリンゴン化の処理を行ったものの、容量の大きいデータとなった。その結果、本格的な映像制作やゲーム開発を行うクリエイターが持つハイエンドなPCであれば問題なく動作するが、一般的なゲーミングPCでは動作の遅延が見られるというコメントがあった。この点については、精度の劣化につながるデータ自体の軽量化ではなく、ダウンロードの際に対象エリアを任意に分割可能なUX/UIとすることや、同一のデータ内でもジオメトリを分離して建築物を設置することが必要である。前者については、クリエイターによる利用範囲の指定やダウンロード容量の表示、プレビュー等の画面を整備することで、ダウンロードの利便性を向上させる方法である。後者は、現在のプロジェクトファイルでは建築物などの地物が1つのオブジェクトとして固定されているのに対し、生成時にオブジェクトを分離する処理を追加し、特定のオブジェクトの削除や地物、都市設備を指定したダウンロードが可能な仕様にすることで、より柔軟なデータ利活用を可能にする方法である。

上記の検証結果に加えて、今後の拡張性としては今回の実証実験の対象エリアにおける今後の都市開発による変化への対応や、新しいエリアにおけるデジタルツインの構築に必要な教師データを整備する工数が課題である。3D都市モデルの更新に対してシステムが追随するような仕様への変更や、FBX形式ではなくCityGML形式のデータをそのまま扱えるようにするなど、データ取得や更新部分をプログラム制御によって自動化することで対応範囲を広げていくことが求められる。

このほか、今回作成したデジタルツインデータの地図精度についても評価を実施した。具体的な評価方法として、画像処理や地理情報システム（GIS）の分野で利用されるIoU（Intersection over Union）という指標（2種類のポリゴンデータの重なりを最小値0、最大値1で示し、1に近いほど精度が高いといえる。）を0.6以上とすることを目標とした。IoUが0.6の場合には一定の誤差が生じることとなるが、これは今回のシステムにおいて3D都市モデルの位置や高さを活用しているものの、現在のアルゴリズムでは土地の高低差を考慮していないため、測量データと誤差が生じる可能性が高いことを踏まえたものである。

検証の結果、IoUは0.87となり目標は達成したが、実際の地図データと比較して建築物の消失や場所によって大きな位置ズレの発生が確認された。その要因としては、小さい建築物や外観の形状がアルゴリズムの閾値によって削除されたことや、テクスチャの生成を優先するために建築物の形状が変化したこと、他の建築物との間隔調整などが自動で行われたことが考えられる。今後より地図精度の高い都市デジタルツインデータを生成し、3DCG技術を必要とする他サービスへの展開を加速するため、3D都市モデルのデータ学習方法やデータを生成するための属性情報の優先方法などアルゴリズムの仕組みの改善が必要である。

参加ユーザーからのコメント

・配布されたデータではところどころに景観劣化が見られる。しかし、従来のPLATEAUや他の3D都市データよりも景観劣化が少なく、誰が見てもその場所であることがわかるため非常に利用しやすい。
・看板や、道端の自転車まで再現度高く生成しており、都市景観の背景として非常に使いやすい。今後も精度が上がっていくことを期待している。
・遠くから俯瞰すると綺麗に見えるが、近くで確認すると壁に歪みがあったり、看板が他のオブジェクトにめり込んでいたり異常に小さい家屋が出現していたりするなど商用ゲームとして使用するには、更に高いクオリティが必要。
・データ階層がシンプルなので、ゲームや映像制作が行いやすい。
・道路などがすべて繋がって配置されているので一部だけを利用したい場合には編集が難しかった。
・もっと細かく分割して読み込める方が用途に適したプロジェクトサイズにできる。

今後の展望

今回の実証実験では、3D都市モデルを教師データとして機械学習させた「高精度デジタルツインデータ自動生成AI」を開発した。また、本システムにより構築した西新宿エリアのデジタルツインデータをコンシューマ向けのコンテンツとして配布すると多くの反響があり、この分野に対する期待と興味の高まりを改めて認識する機会となった。さらに、アンケートを通じたフィードバックは、今後の課題を明確にする上で貴重な情報源となった。

本システムの実用化を更に加速させるためには、アルゴリズムの改修によるデジタルツインデータの生成精度の向上はもとより、提供エリアの拡大とデータ活用時の利便性の向上が必要である。特に、提供エリアの拡大を実現するためには、今回活用したプラットフォームに限らず、ゲームエンジンやデータ整備事業者との技術パートナーシップを強化し、最新の3D・AI技術を活用した迅速なデータの更新と拡張が不可欠である。これにより、開発者やクリエイターが、より安価かつ効率的に品質の高い3Dコンテンツを用いてゲームや映像制作に限らず様々なイノベーションを創出することが可能となり、利用者に対して新たなユーザーエクスペリエンスを提供する地理的範囲の拡大が期待できる。

将来的には、3D都市モデルの整備エリアが今後拡大することに合わせて、自動生成AIを活用した高精度なデジタルツインデータを構築し、継続的に公開することを目指す。防災やまちづくり、モビリティなど3DCG技術を必要とする様々なサービスや研究においてデジタルツインデータの活用機会を増やし、デジタルツイン市場におけるプラットフォームとしてPLATEAUの社会的価値を向上させることを志向する。