AIを用いた3D都市モデルの自動更新手法の開発

実施事業者	Symmetry Dimensions Inc. /名古屋鉄道株式会社/中日本航空株式会社/宮城交通株式会社/国際航業株式会社/株式会社パスコ
実施場所	宮城県仙台市
実施期間	2022年12月〜2023年1月

・・

AIを用いた高頻度かつ低コストの3D都市モデル更新手法を開発。デジタルツインの社会実装を促進する。

実証実験の概要

デジタルツインの社会実装及び継続的な活用を進めるためには、日々変化する都市に合わせて、3D都市モデルを鮮度高く更新する手法を開発していく必要がある。

今回の実証実験では、バス等のモビリティに搭載されたLiDAR等で定常的に取得される点群データや、スマートフォン等で市民が日常的に取得できるデータを活用することで、3D都市モデルのデータソースを取得。これに基づき都市の変化点の検出するAI及び3D都市モデルを生成する自動モデリングツールを開発することで、高頻度かつ低コストの3D都市モデル更新を目指す。

実現したい価値・目指す世界

従来、3D都市モデルの更新は航空測量データを用いて都市全体を一気に更新する方法が標準的であった。この方法は、広い範囲を面的に更新できる利点がある反面、多大な時間や費用が必要であり、コストや短周期の更新といった面では課題がある。都市は都心部など一部エリアで頻繁に変化していく一方、あまり変化しないエリアもあるため、変化点のみをピンポイントで抽出してデータ取得と更新を行うことができれば、3D都市モデルの鮮度を効率的に維持することができる。

今回の実証実験では、宮城県仙台市において、公共交通機関であるバスや一般車両に三次元測量を行うためのLiDARを設置し、定常的に高精度の点群データを取得する仕組みを構築。これに加え、LiDAR付きスマートフォンを活用し、市民参加により点群データを収集するためのクラウドソーシング型データ取得を行う。

取得した点群データをもとに、都市の変化点を抽出するため、都市の変化パターンを深層学習させたAIを開発し、既存の3D都市モデルをインプットデータとした変化点の自動検出を可能とするシステムを構築。さらに、このシステムが変化点として検出した箇所の点群データから、新たなLOD3建築物モデルを構築するため、既存のLOD2建築物モデルをベースとしたサーフェス生成、属性情報付与、CityGML符号化等を行う3D都市モデル自動生成システムを構築する。

これらの一連のシステムの開発及びフィジビリティスタディを行うことで、3D都市モデルの高頻度かつ低コストの更新スキームを確立し、デジタルツインの社会実装を加速する。

検証や実証に用いた方法・データ・技術・機材

今回開発した3D都市モデル自動生成システムは、3つのモジュールから構成される。

一つは、入力データを処理するモジュールであり、点群のノイズ除去や地物ごとのセグメント（セマンティックセグメンテーション）を行う。セマンティックセグメンテーション処理では、Open3Dライブラリに含まれる「RandLA-Net」をベースに、Symmetry Dimensions社が開発した仮想空間におけるトレーニングデータ自動生成ツールを活用し、仮想空間で簡易MMS（Velodyne VLP-16 LiDAR Puck）及びiPhone LiDARをシミュレートさせ、約2万4千のトレーニングデータセット及び2千の検証サンプル、合計340GBのデータを自動生成してトレーニングセッションを行った。その成果を学習したセマンティックセグメントアルゴリズムを用いることにより、入力した点群を建築物などの地物単位でセグメントし、移動物体やセンサーに起因するノイズ及びCityGML対象地物以外の除去を行った。また、ノイズリダクション処理では、建物単位で抽出された点群からさらにノイズを除去するため、3D都市モデルのLOD1-2建築物モデルを用いてフットプリント生成を行い、これを建物境界として利用することで、各建物の壁面の近傍に位置する点群データから建物領域外のものを自動除去した。さらに、アラインメント処理では、複数回取得される様々な点群データを合成して、地物ごとの点群データを自動出力した。また、欠損が生じている点群データに対し、LOD2建築物モデルを自動合成・補完を行った。

二つ目は、更新箇所特定モジュールであり、DCPCR（大規模な屋外環境での深層圧縮点群登録）アルゴリズムとICP（反復計算による近接点適合）アルゴリズムを用いた異動判読処理によって過年度の3D都市モデルと新規に取得した点群データの差異検出を行い、更新された建築物（新築・滅失・滅失から新築・増改築）の建物IDの抽出を行った。

三つ目は、3DMesh化モジュールであり、更新建物としてセグメント・アライメントされた点群を用いてサーフェスを自動的に生成する。サーフェスモデル化処理では、iPSR（改良型ポアソン表面再構成）アルゴリズムをベースに、点群データからメッシュの自動作成を行った。また、メッシュ形状に基づく建物窓の自動検出を行いLOD3作成時の補助データとして出力を行った。

3D都市モデル自動生成システムを用いて、公共交通に設置されたMMS及びiPhone LiDARから取得された点群データを入力データとしてサーフェスを生成し、そこから建築物モデルLOD3を作成することで、作成効率等の検証を行った。

検証で得られたデータ・結果・課題

セマンティックセグメンテーション、ノイズリダクション、アラインメントの処理により、都市空間に存在する人・車・植生・壁・フェンス等の13の有効なラベルによるセグメンテーションが可能になった。これにより、従来では困難であった断片的な点群データを入力データとして、建物単位で合成された点群データの出力や、精度の高いノイズデータの除去、地物への属性付与、3D都市モデル作成に必要な地物のみの抽出を行うことができた。

異動判読処理では、エリア内の建物棟数を母数とした正解率は95.4%以上であり、非常に高い精度となった。AIで新築と判定された建築物は適合率が高く、正しく判定されており、目視による判読作業内の一定の省力化に寄与することが判明した。一方で、滅失と滅失後新築では誤判読や判読漏れが多く発生しており、これら分類に対する精度向上が必要と考えられる。判読漏れにはいくつかの傾向があり、仙台駅より南側及び東側、西端部等での地域的偏りがみられた。また、建築物面積が狭小な地物は新築として判読されなかった。

3DMesh化処理は、従来のポアソン表面再構成アルゴリズムでは困難であった法線ベクトルの反復生成及びメッシュ形状の推定による点群データの直線エッジから直線メッシュへの変換が可能になった。作成したサーフェスモデルからLOD3建築物モデルをモデリングする作業では、サーフェスモデル上で建物形状やエッジの位置がはっきり見えるため、必要な点座標を取得し図化することで、従来のMMS点群からのモデリングと比較して13.5時間から9.0時間へ44.4%の大幅な作業時間の短縮となった。また、入力データを処理するモジュールによる自動化処理済の簡易MMS点群を用いたLOD3建築物モデルの作成との比較では、13.5時間から12.0時間へ12.1%の作業時間の短縮となった。このシステムを活用することで、簡易MMSによる点群（点密度200-400点/ms）、地図情報レベル2,500から1,000に可変する測量成果、iPhone LiDARなどのモバイル端末から撮影された点群データなど、公共測量作業規定に準拠しない低コスト・高頻度で取得可能な点群データを用いた3D都市モデルの作成に一定のポテンシャルを有することが判明した。

今後の展望

今回の実証実験では、3D都市モデルの自動更新の実現に向けた、高頻度かつ低コストで恒常的に取得が可能な複数のデータソースを活用したセマンティックセグメンテーション・アラインメント・異動判読・サーフェスモデル化を行うA.I.モデルの有用性を確認することができた。更なる完全自動化を実現するためには、セマンティックセグメンテーションの精度向上のため、より多数の地物ラベリングを用いたニューラルネットワーク構築や、新たなデータソースによる点群データの欠損箇所の補完が必要となる。具体的には、今後整備が進む3D都市モデルのLOD3データによる高精細な形状情報とセマンティクスな属性情報を活用した学習データ生成を行うことで、ラベリング数の増加と精度向上を図れると考えられる。また、今後の実用化が進む自律運航型ドローンを活用し、車両通行が困難な場所や隣接した建物の境界といった、簡易MMSではデータ取得の難しい場所の測量データを使うことで、地上測量と航空測量を組み合わせたより精度の高い3D都市モデル生成が可能になると考えられる。