3D都市モデルとBIMを活用したモビリティ自律運航システム（ドローン）v2.0

検証や実証に用いた方法・データ・技術・機材

今回の実証実験では、ドローン自律運航システムのロバスト性の更なる向上を目的としてLiDARとGNSS（衛星測位システム）による自己位置推定に加え、新たにビジュアルイナーシャルオドメトリによる自己位置測位を活用した自己位置推定システムを構築した。このシステムでは、建築物モデル（LOD2）とBIMモデルを統合した屋内外の3Dマップを環境地図として用い、自己位置推定を行う。

また、ルート設計とドローン監視のためのGCS（※）として、センシンロボティクス社製のGCSアプリ「SENSYN CORE Pilot」を活用した。SENSYN CORE Pilotを用いることで、ユーザビリティを向上させ、運航経路の計画やドローンへの飛行指示をより簡易に入力・実行できる仕組みとした。

これら二つのサブシステムを統合し、ドローン自律運航システムとして構築している。
※Ground Control System：無人航空機を人間が制御するためのシステム

本システムのハードウェア構成としては、ドローンはDJI社製「DJI Matrice 300 RTK」を使用し、ビジュアルイナーシャルオドメトリに利用するカメラはドローン内蔵のFPVカメラを用いた。また、これに搭載するLiDARはOuster社製「OS0-64」を、自己位置推定処理を行うエッジコンピューターはAAEON社製「PICO-WHU4W2-A11-0004」を使用した。

「自己位置推定システム」は、ドローンの飛行状況に応じて複数の自己位置測位情報を統合又は利用する自己位置測位情報を切り替える機能を持つ。LiDARとGNSSを用いた機能（FUSION）は昨年度の開発により実装済みのため、今年度の開発では、これにビジュアルイナーシャルオドメトリを用いた自己位置測位情報を付加する開発を行った。

ビジュアルイナーシャルオドメトリとは、カメラで撮像（データを活用/記録するために画像を取得すること）した画像とIMU（※）の変位からドローンや移動ロボットの姿勢および移動量を算出する技術である。この技術を用いることで、GNSSが利用できない環境下で、LiDARが不得手である均一な特徴点を持つコース（例えば、同じ構造が連続する高層ビルの壁面を垂直方法に移動するケースなど）において自己位置推定の精度を向上させることができる。

今回の実証実験では、ドローン本体の内蔵型前方カメラを用いて1秒間に30枚の画像を撮像し、限られたドローン内のリソースでもリアルタイムな処理が可能なFASTアルゴリズム（画像中から特徴点を検出するアルゴリズムであり、特徴点を検出する際に、画像を細かいエリアに分割し、エリアの処理の必要性を４つのピクセルのデータから先行して判断することで、画像全体の処理を高速に行う）を利用することで撮像した画像の特徴点の変化を移動量に変換している。

FUSIONによってビジュアルイナーシャルオドメトリから取得した移動量、GPS・LiDAR自己位置推定からの位置情報、IMUからの加速度・角速度など各センサーデータによる運動モデル全体の予測を繰り返すことにより測位情報が統合され、各センサー単体よりもロバストで正確な自己位置推定を行うことが可能になる。

これらの処理はドローンに搭載されたエッジコンピューター上で行われ、その結果はROSメッセージを用いて送信される。このため、機体側にUSB接続のLTEドングルを通信デバイスとして搭載した。

システム全体の構築にあたってはロボット・アプリケーションの作成支援のためのライブラリ・ツール群であるROS（Robot Operating System）を利用している。

LiDARとGNSSにビジュアルイナーシャルオドメトリを利用した測位情報を加えることで、それぞれ不得意な領域を補い合うロバストな自己位置測位システムを構築した。
※Inertial Measurement Unit：加速度、角速度など3次元の慣性運動を計測する装置

GCSアプリ「SENSYN CORE Pilot」は、ドローンの飛行ルートの設定と、飛行中のドローン位置の表示や飛行指示を行うためのオペレーティングツールであり、直感的なドローン運航を目的として利用している。本システムでは、「自己位置推定システム」から取得した自己位置測位情報を「SENSYN CORE Pilot」上でリアルタイムに表示しオペレーターの飛行操作を支援するため、地形データ切替え機能、PLATEAU-Terrain対応機能、ROSメッセージ双方向変換機能、非常停止機能を開発。「SENSYN CORE Pilot」とドローンの双方向の通信システムを確立している。

ドローンの自律飛行（自己位置推定）に用いる3Dマップとしては、大阪府堺市堺区の3D都市モデルの建築物モデル（LOD2）に堺市役所立体駐車場のBIMを「FMEを用いたIFCからCityGMLへの変換フォーマット」で変換した建築物モデル（LOD4）をマージし一つのCityGMLファイルにし、Trimeshライブラリを用いCityGMLの表面をサンプリングすることで点群を生成した。また、ドローンの経路計画およびドローン飛行中の機体位置の表示に用いる3Dマップのうち、大阪府堺市堺区の3D都市モデルの建築物モデル（LOD2）は「PLATEAU配信サービス」を利用し、堺市役所立体駐車場の建築物モデル（LOD4）はCesium ionを利用することで、Cesium ion地図上に建築物モデルをそれぞれ表示しドローン経路計画等に利用した。

検証で得られたデータ・結果・課題

本実証実験では、大阪府堺市堺区にて高層建築物が建ち並ぶ堺市役所・堺地方合同庁舎および両建築物間の公道でドローン自律飛行を行った。飛行ルートは、堺地方合同庁舎の屋外（駐車場敷地内）から離陸し、堺市役所敷地内の建物の屋内に着陸するように設計された最大高度約70mの経路である。飛行のスタートからゴールまでの間に複数のウェイポイントを設定することで飛行ルートを作成した。LiDAR 測位、GNSS（衛星測位システム）及びビジュアルイナーシャルオドメトリで得られる自己位置測位のデータを統合又は切り替えながら3D都市モデルを利用した屋外の飛行とBIMモデルを利用した屋内の飛行を連続的に行うルートを設定している。特に飛行ルートの中に約70ｍの建物（堺地方合同庁舎）の壁面を含めることで、LiDARでの自己位置推定のみでは特徴点を捉えることが難しい高高度かつ均一な特徴点を持つ建築物に沿った垂直移動におけるロバスト性を検証した。本実証実験の結果、屋外の離陸地点から屋内の着陸地点までシームレスに自律飛行を達成できた。

また、ビジュアルイナーシャルオドメトリ（VIO）の追加開発による、高高度かつ均一な特徴点を持つ建築物に沿った垂直移動におけるロバスト性の検証は、RTK-GNSSが取得できない状態のドローンを該当建物に沿って垂直に約65mまで上昇する飛行ルートで自律飛行を行った。具体的には、建築物の壁面を連続で撮像し取得された画像の変化をドローンの移動量に変換して自己位置測位を行うことで、LiDARのみでは特徴点を捉えることが難しい条件下においても十分な精度で飛行ができていることを確認した。

そして、これらのシステムのUIの検証として、実際のルート設計方法や飛行シミュレーションを昨年度のシステムと今回開発したシステムで比較し、有用性検証に対するヒアリングをドローンのルート作成や飛行オペレーションを実施する事業者に対して行った。3D都市モデルを使用したドローンの経路計画の作成や、実際の飛行オペレーションの仕様を改修した部分については、UI上で実際の飛行エリアを3Dで可視化しながらルート作成やドローン操作を行える部分ついて利便性の高さを評価する結果を得られた。一方で、都市部でのビルが立ち並ぶエリアのルート設計では、ビル外壁からの距離と地上からの高さを3Dマップ上で意図した位置に指定することへの難しさが判明した。そのため、3Dマップ上での設定だけではなく、飛行する位置や高さなどは手入力可能なパラメーターを併用し、飛行する場所応じて簡易にルート設計が出来ると更なる利便性に繋がることが確認できた。

参加ユーザーからのコメント

ユーザーヒアリングに参加したドローン事業者からのコメント

・昨年度のRvizを使用したユーザーインターフェースと比較して、SENSYN CORE Pilotはドローンの飛行ルート設計や飛行中の操作を直感的に行うことができる
・SENSYN CORE Pilot上でPLATEAUモデルを表示させて地図上から直接ドローンルートを作成できるため利便性が高く、飛行までの工数短縮にもつながる
・ビルが立ち並ぶ空間では、ビルとビル間且つ地上からの高さを意図した場所にウェイポイントを追加する際に慣れが必要だった

今後の展望

本システムでは、昨年度開発した自己位置測位システムにビジュアルイナーシャルオドメトリを利用した測位情報を加えることで、それぞれ不得意な領域を補い合う統合的な自己位置測位システムを構築した。

また、利用者目線で使いやすいGUI を目指し、ドローンの飛行ルートの設定や飛行指示、機体位置を可視化するシステムである「SENSYN CORE Pilot」を開発することで、より直感的なオペレーションを実現できた。

さらなる実用化に向けては、GUIの更なる利便性向上はもとより、都市部における運用を想定し、開始地点から終着地点まで航空輸送と陸上輸送を併用した自律運搬モビリティサービスが想定され、自動運転車両等との連携も必要になる。それにより、例えば都市部における建設工事の資材運搬等による交通渋滞が発生する課題や人手不足などの問題に対して自律運航可能なドローンや無人搬送車両の活用による解決が期待できる。

将来的には、3D都市モデルとBIMを統合したマップを用いた陸空モビリティのオペレーションシステムを開発することで、GPSが入りにくい環境下である都市部や屋外・屋内のシームレスな自律運行や、有人地帯でのドローンの正確で安全な飛行を目指す。