j039-Report

都市の形で問う「PlaGuessr」が優勝!建造物との恋愛やバトルなどハイレベルな作品が爆誕したハッカソン

「PLATEAU Hack Challenge 2023 in Tokyo」レポート

2023年8月26日・27日、PLATEAUを使った新たなサービスやプロダクトの開発にチャレンジするハッカソンイベント「PLATEAU Hack Challenge 2023 in Tokyo」が開催された。

文:
大内 孝子(Ouchi Takako)
編集:
北島 幹雄(Kitashima Mikio)/ASCII STARTUP
撮影:
曽根田 元(Soneda Gen)
Share

1日目の午前中にはチームビルディングとアイデア出し、午後からはハッカソンに入り、2日目の夕方には成果発表会が行われた。この限られた開発時間の中で、「3D都市モデルの活用度」「アイデアと独創性」「完成度」といった点で、各作品が競い合った。

約30名が参加し、2日間のハックで生まれた作品は11点。どのような成果が生まれたのか、受賞作品を軸に見ていこう。

グランプリは、都市推理ゲーム「PlaGuessr」(チーム「PlaGuessr製作委員会」)

グランプリを受賞したのは、都市推理ゲーム「PlaGuessr」だ。

PlaGuessr(チーム「PlaGuessr製作委員会」)
チーム「PlaGuessr製作委員会」

鳥瞰で3Dの都市を観察して、そこが2Dマップ上のどの地点かを推理するゲーム。ストリートビューの画像から場所を推理する「GeoGuessr」(Anton Wallen)の3Dモデル版といえるが、PLATEAUの3D都市モデルの特性を使って、地理的な知識や観察力を競うゲームになっている。

ルールはシンプルで、プレイ画面の左側に表示されるPLATEAUによるイメージから、この都市がどの場所なのかを推測していく。イメージは鳥瞰、あるいは近づいたり離れたりしていく中で推理していくのだが、PLATEAUの建築物モデルのLOD(Level Of Detail:詳細度)を切り替えることにより、プレイヤーに与える情報量を調整することが可能だ。これをうまくヒントとして機能させることで、ゲーム性が高まっている。プレイヤーは正解地点との距離や解答までの速さなどから得点を競う。

3D都市モデルのLODを活用したヒント機能

実装にはUnityを利用。PLATEAU SDK for Unityから3Dデータを取得し、カメラ遷移によりズームアウト、データ表示範囲の拡大を行う。画面右側に表示するマップ内で任意の位置を選択すると、左側に表示される3D表示の座標位置の情報と経緯度で比較し、その距離を計算する。この距離とスタートからの時間によって配点を確定する仕組みだ。

テクスチャの有無やカメラ遷移、ズームアウトにより正解を予想。右側のタブを押してマップを表示し、正解と予想する地点をポイントしてGuessを押すと実際の距離が表示される

今後の展望としては、さまざまな都市への展開や難易度別のステージ、対戦モードなどを考えているという。

プレゼン後の質疑では、メンター兼審査員として参加していた於保俊氏(ホロラボ)から、どのように問題を追加するのかと指摘があった。これに対してまだ具体的には考えられていないということだったが、「PLATEAU LT 04」で発表されたリアルタイムでPLATEAUの3D都市モデルのデータを渡してくれるAPI(ソウ氏)などを将来的に活用できれば、と答えた。

本作品は、都市の情報を利用する新たなコンセプトを提示している点が評価され、グランプリの受賞となった。審査員の内山裕弥氏(国土交通省)は、都市の情報を単なる風景でもなく、構造、建物の集まりとして捉えて、それをゲームの情報として利用しようという点がすばらしいと評価した。ただし、本当に都市の形だけを問題に使う「PlaGuessr」は、「GeoGuessr」よりもゲームとしての難易度が高いのではないかとも述べている。

オーディエンス賞は、建物が戦うARバトルゲーム「ミニチュア観光名所バトルAR」

参加者投票によるオーディエンス賞には「ミニチュア観光名所バトルAR」が選ばれた。

ミニチュア観光名所バトルAR

この作品は、現実世界にある建物(フィギュア)が戦うARバトルゲームだ。PLATEAUの中での建物をもう一度フィギュアという形で現実に持ってきて、さらにARでオブジェクトを表示する。そのARオブジェクトをバトルさせるというもの。

デモでは、3Dプリンターで出力した東京タワー、都庁、コクーンタワー、東京駅のフィギュアにそれぞれのARオブジェクトを融合させ、オブジェクト同士の対決が行われた。こちらはぜひ動画で見てほしいところだが、バトル時のオブジェクトの生物的な動きが秀逸だ。

YouTubeアーカイブ動画 47:37から「ミニチュア観光名所バトルAR」の発表

都庁、コクーンタワー、東京駅のフィギュアからARオブジェクトが出てきて戦う

仕組みとしては、フィギュアの台座に提示している文字(「タワー」「コクーン」などの部分)をマーカーにして、Vuforia StudioでARイメージを表示する。建物のARオブジェクトのモーションは、Blenderで自力で行っている。位置合わせも気合で調整したという。

現状、建物同士の対決ではコリジョンの取得がうまくいかず、HPの消失などバトルゲームに必要な要素までは実現できていない(建物とこれまでに作成していた他のキャラクターの対決では衝突判定が効いている)。

審査員の石丸伸裕氏(OGC CityGML仕様策定WG 副議長)は、ユーザーが自分でモデルを作れるとおもしろいのではないかと述べた。また、同じく審査員のマイケル・ブランセ氏(デジタルハリウッド大学准教授)は、フィギュアコレクターにささるコンテンツだと評価した。内山氏もPLATEAUを使った作品は相当な数を見てきたが、これは新しい価値だと語った。

以降で紹介するのは、当日、急遽設けられた賞の受賞作となる。

レイヴン賞:建物をロボットに装備する「URBANIZED CORE VI FIRES ON PLATEAU」(チーム「さんまの刺身」)

まず、レイヴン賞の「URBANIZED CORE VI  FIRES ON PLATEAU」。「アーマードでコアなゲームをPLATEAUで」というコンセプトで作られた作品だ。

URBANIZED CORE VI  FIRES ON PLATEAU
チーム「さんまの刺身」

某ゲームの自由度を再現すべく、PLATEAUのモデルを使って「ロボットのパーツを自由に変更できるようにすること」、「オープンワールドでロボットを動かすこと」を目標に実装したという。

ロボットは人型で、都市を散策しながら近くの建物を装備して強くなっていく。例えば、東京タワーに近づくと東京タワーを装備できるというように。「都市の建造物ってカッコいいよね」と「ロボットってカッコいいよね」を融合させ、「都市のロボットをカッコよく作る」ことを目指したという。

東京タワーや東京ビッグサイト、都庁、東京駅などをロボットに装備させ、動かしていく

PLATEAUの3D都市モデルを読み込んでUnity上で仮想の街を作成し、UnityのStarterAssetsを用いて配置した人型のモデルに、建物をマウントする機能を実装している。どんな建物であってもあらゆる部位に対しても結合できるよう、このような方式を使ったという。

今後の展開としては、建物を交換する機能や対戦モードの実装のほか、フィールドも充実させたいとのこと。また、PLATEAUの属性情報を用いることで、建物の特性に応じた特殊能力の設定も考えている。たとえば、東京タワーを装備すると電波が発生して時間を止めることができたり、あるいは駅の施設であれば走る能力が上がったりという形だ。さまざまな地域に展開する際、地方の特色のある建物などの面白さを出すこともできる。

建物による特徴づけを予定

於保氏はレイヴン賞の受賞理由を、「今後に期待して」とした。「PLATEAUを使ってロボットを作る」という発想と、それをハッカソンの時間内にプロトタイプにしてきたところが評価された。

デジハリ賞:建物と会話し恋をする「ウィンドウ越しのBuilding Love」(チーム「脂マシマシ」)

デジハリ賞は「ウィンドウ越しのBuilding Love 〜建物と話して、恋をして〜」が受賞。

「ウィンドウ越しのBuilding Love ~建物と話して、恋をして~」
チーム「脂マシマシ」

街中に立ち並ぶ建物がしゃべりだす。その個性に触れて私たちはきっと建物に恋をする――「ビルディング・ラブ」というテーマの作品。「建物と会話ができると面白いだろうな」というアイデアを掘り下げて、AR技術とLLM(Large Language Model)で実現させようというものだ。

スマートフォンのカメラを建物にかざすことで、建物が話し出す。「私はデジタルハリウッド大学です。一緒にデジタルの世界に触れながら新たな可能性を追求しませんか?」

PLATEAUのデータが持つ建物の属性情報をもとに、LLMでそれぞれのキャラクターを生成し、スマートフォンで話しかけて会話が成立するという仕組みだ。ただし、今回、アプリとして作り込むところまではできていない。技術単位での実装はできた(ないしは、うまくいくだろうというところは見えた)が、それらをマージするところがこれからの課題だという。

システムの構成

プレゼン後の質疑で、内山氏からは建物のキャラクターを設定するときに渡すパラメーターを精査することも必要ではないかというアドバイスがあった。現在はすべてのパラメーターをLLMに渡しているが、どこか軸を決めて渡すことで特徴が際立つこともある。また、地域という単位で見ると地域ごとの特性や共通性などが表れるので、都市との会話も可能だということになる。石丸氏も、都市との会話という新しい世界を期待していると述べた。

特に子どもに非常に受けるのではないかとそのコンテンツ性が評価され、デジハリ賞の受賞となった。マイケル氏は、子どもが建物の歴史に興味を持つだろう、とても良いアイデアだと講評を述べた。

CityGML賞:景観から物件検索できる「不動産景観エージェントAI」(チーム「いなり寿司」)

CityGML賞を受賞したのは「不動産景観エージェントAI」、景観などの条件に対して物件検索できるエージェントAIだ。

不動産景観エージェントAI
チーム「いなり寿司」

既存の物件検索が抱える課題のひとつに、文字や2Dの情報が中心で、景色や街の雰囲気がわかりにくいという点がある。たとえば、検索して興味のある物件が出てきたら一つひとつ、周辺の情報をマップ情報やストリートビューなどでチェックすることになる。そこで、好みの物件を景色で見ながら直感的に比較検討できるシステムを作ろうと考えたのだ。

物件検索の流れ
提示された物件から緯度経度、建物IDなどをCesiumに渡すと周囲の状況をCesium上で確認できる

仕組みとしては、まずCesiumベースのアプリでPLATEAU 3DTilesを呼び出して描画し、各物件の景観画像を朝・夕の時間帯で生成し、PLATEAUの属性情報に追加しておく。そして、ユーザーが入力した希望から好みの景色の特徴を取得し、マルチモーダル基盤モデルCLIPを用いてユーザーの好みと各景観画像との類似度スコアを計算し、スコアが高い物件をユーザーに提示する。上位物件については、CLIPで画像キャプションを生成し、キャプションもあわせて提示する。

CityGML賞の受賞は、画像だけではなく3D都市モデルならではの使い方を提案した、PLATEAUの可能性を広げたという点が評価された。石丸氏は、CityGMLが持つ属性情報を活用することで広がっていく可能性を見せた、と講評で述べた。

PLATEAU賞:「属性情報をビジュアライズ化」した、チーム「河野研究所」

CityGMLの「属性情報をビジュアライズ化」して使用しようという試みで、ビルの高さデータから上下するサークルを表示させたり、それぞれの建物の用途に応じて光らせるといった、モデルだけではない表現がされている。

「属性情報をビジュアライズ化」
PLATEAU賞のチーム「河野研究所」には、内山氏から『3D都市モデル PLATEAU 公式ファーストガイド』を贈呈

そのモチベーションは、東京に遊びに来る外国の人に向け、せめて情報空間の中だけでもサイバーパンクな東京を作りたい、見せたいというところにあるそう。これまでもPLATEAUの3D都市モデルデータを使った映像を作ってきたが、いよいよ今回、CityGMLの属性情報の活用にチャレンジしたという。TouchDesignerでCityGMLデータを扱いにくいこともあって苦戦したというが、プレゼンで紹介されたデモ動画ではサイバーな空間が繰り広げられている。

さまざまな属性情報をビジュアライズに活用

ビルに表示しているサークル(輪)はCityGMLから読み出したビルの高さ情報からそのビルを上下する。用途情報として、今「住居」を付与させていれば、住居の場所だけ白い輪になっている。また、その範囲だけ白の光が出ている。また、どの施設かわかるように、IDをビルに付与している。そのビルのIDからすぐ飛べるようになっているが、その際、ビルの高さと面積から「ビルが最も美しく見えるところ」を映すなど、細かな配慮がされている。

内山氏は、単なる都市や建物の情報ではなくポエティックな価値につなげている、PLATEAUに「心を揺さぶるもの」という価値を持ち込んだという点を大きく評価した。TouchDesignerとCityGMLデータの連携も世界で初めてだろうとし、PLATEAUを使った映像コンテンツの先駆者として今後も開発を続けてほしいと講評で述べた。

多様なジャンルに広がったPLATEAUハック

受賞作品以外にも、本当にさまざまな作品が出そろった。

Street Golf(チーム「猿」)

都心のど真ん中でゴルフを思いっきりやりたい。「Street Golf」はそんな思いを実現した作品だ。

参考資料

「Street Golf」

チーム「猿」

ビルの屋上からゴルフボールを飛ばして、ビルの屋上をバウンドしながらゴールを目指すゲームだ。ゲームの醍醐味としてカメラワークを工夫し、新宿のビル群の絶景を堪能しながらゴルフを楽しめるようになっている。また、ゴルフボールがビルのモデルに当たって跳ね返るという表現にもこだわった。今後、バトルゲームモードなど、ゲームとしての作り込みをしていく予定だ。

マイケル氏から、エンターテイメントとして特にバトルモードに期待を寄せているというコメントがあったほか、他の都市に展開できるのかという質問が石丸氏からあった。それについては、データ量の問題もありシーンを切り替えることで可能かもしれないが……とのこと。ただ、実はゲームエンジンの中での3D都市モデルのデータの持たせ方などに関するアイデアがあり、今後、データ量のスリム化を試していくそうだ。

PlateauデータによるLoRa(Meshtastic)通信機最適配置システム(チーム「シゲゾーン」)

「PlateauデータによるLoRa(Meshtastic)通信機最適配置システム」は、LPWAによるオフグリッド通信システムの構築を促進するべく、PLATEAUを使って配置提案を行う。

「PlateauデータによるLoRa(Meshtastic)通信機最適配置システム」
チーム「シゲゾーン」

LPWAデバイスとしてLoRa-Meshtasticを使って、実際にアンテナを配置した場合にどこまで電波が届くかをPLATEAUの3D都市モデルから読み込んで示す。建物が密集した環境での無線通信システムの構築は、電波の反射や回り込みなどの影響で難しいところがある。それを簡易的にシミュレーションできるようにしようというものだ。配置後の理論値に対する差分検証への活用も想定している。

LPWAデバイスをバラマキたい

内山氏からは、実際にPLATEAUで横浜のローカル5Gの基地局配置のシミュレーションを行ったことなどが紹介され、こうした基地局配置の三次元シミュレーションはPLATEAUの活用として実現可能性が高いというコメントがあった。電波の減衰反射解析など専門的なシミュレーションが必要な領域に踏み込まないまでも、簡易的なシミュレーションとしての用途はありそうだとした。

新世紀PLATEAUS(チーム「PLATEAUS調査隊」)

 ゲーミフィケーションを生かした地理情報教育のVRアプリ「新世紀PLATEAUS」。

「スペースコロニーに移住を余儀なくされた人類は、PLATEAUと呼ばれるデータから都市データを仮想量子空間に復元した。調査隊は仮想都市から高精度地理データと地域名産品を発掘する……」というSFストーリー仕立てのVR空間を自ら散策することで、楽しみながら地理を学んでいく。デモでは、東京駅近辺を舞台に都市情報を取得していく様子が紹介された。

新世紀PLATEAUS
チーム「PLATEAUS調査隊」

於保氏はベースとなっているストーリーの面白さを取り上げ、地理の学習といったところをゲーミフィケーションで生かしていく発想はありだとする。また、メンターの藤原貴之氏(日立製作所)も、ストーリーは面白かったが開発が追いついていないところがもったいないとし、限られた時間の中で、VR部分の実装に時間を割くより、ストーリーで登場していた「高精度地理データ」や「地域名産品」を発掘する過程を作るほうがよかったのではないかとコメントを寄せた。

デジタルツインコミュニケーション(チーム「もーり」)

AR空間内のユーザーとVR空間内のユーザーが、地図上の同じロケーションで空間を共有して交流できるアプリ。

デジタルツインコミュニケーション

道案内や観光案内、あるいは工事現場など、現地に実際にいる人とVRで見ている人で場所を共有し、コミュニケーションが必要な場合などの用途を想定している。VR側(PLATEAU)、AR側(Geospatial API)の位置情報の共有まで実装できたが、WebRTCによるコミュニケーション部分の実装は断念。今後も開発を続ける予定だ。

チーム「もーり」

内山氏は、デジタル空間に閉じたものと考えがちなメタバースやデジタルツインも、やはり現実とのインタラクションは重要になる、その意味でこうしたソリューションは実現性が高いとする。特に、現実空間とサイバー空間のインタラクションのつなぎにPLATEAUを使ってるところを評価した。

3DXトイレ(Ex) (チーム「台風は夏の思い出」)

トイレ情報を3D都市モデル上で可視化することで、外出中にトイレを探したり、トイレの空きを待ったりするストレスを解消する、「3DXトイレ(Ex)」。

3DXトイレ(Ex) 

トイレの側に焦熱センサとドアの開閉をチェックするデバイスを設置することでトイレの空き情報を取得し、空いていれば緑、誰かが入っていれば赤として3D空間上に表示する。ユーザーはその情報を参照してトイレに行くことができる。また、トイレにいる人に向け「早く出て」というアクションを送ることもできる。

チーム「台風は夏の思い出」

石丸氏から、建物の中でトイレを正確にマッピングする方法について質問があり、現状は高さ情報と延床面積から必要なトイレの数を算出しているが、将来的にはBIMモデルとの連携を考えているとのこと。石丸氏は、センサーの情報の取得はIoTのソリューションとして容易に想像できるが、逆に実世界に対して関与する部分、デジタルとのインタラクションがある点が面白いと述べた。

アイデアが冴えたPLATEAUハッカソン

年々、技術力、実装力の向上は目覚ましいものがあるが、今回、特に感じられるのはさまざまな分野・方面へのアイデアの広がりだ。メンターとして2日間参加していた星野裕之氏(otuA Inc.)は、技術レベルとアイデアという意味でも非常にバランスがよかったと語った。

作る側からの視点で、星野氏、そして簗瀬洋平氏(ユニティ・テクノロジーズ・ジャパン)が注目作品として挙げていたのが、ゲームのレベルデザインにLODを用いているなどゲームにおけるPLATEAU活用の可能性を感じさせる「PlaGuesser」だ。簗瀬氏は、「PLATEAUゲームジャム」としてPLATEAU活用のイベントを行うと、また異なる属性の参加者が加わっておもしろいのではないかと述べた。

otuA Inc. 星野裕之氏
ユニティ・テクノロジーズ・ジャパン株式会社 簗瀬洋平氏

また、マイケル氏は「STREET GOLF」、「ミニチュア観光名所バトルAR」を気になった作品として挙げた。もちろん、他のいずれの作品も2日間で作ったとは思えないと称賛した。

デジタルハリウッド大学 准教授 マイケル ブランセ氏

今回、生成AIやLLMなど、新たな、そして幅広い知識を取り入れたハックが行われていたことも着目すべきだろう。於保氏は、総評として次のように述べた。

「どのチームもとても面白い発想と高い完成度で、率直な感想はすごいなというところです。プロダクトのバリエーションも非常に広くて楽しめました。特に、ゲームからハードウェア、IoT系が2つもあった点は驚きです。『PLATEAUデータによるLoRa通信機最適配置システム』は、LoRa自体の面白さもありPLATEAUの用途として非常に面白いと思いました。今回、特に印象的だったのが、みなさん、生成AIをよく使っていたこと。サービスに組み込む方も多かったですし、コード書くときに手伝ってもらっている人が多くて、ひとつの変化なのだと思いました。」

株式会社ホロラボ 於保俊氏

IoT系の作品にはメンターとして参加した藤原氏(日立製作所)も反応していた。ハードウェアデバイスと組み合わせて実空間と連携できるという点で実践的で非常に面白いと、気になった作品としてPLATEAUデータによる「LoRa通信機最適配置システム」、「3DXトイレ(Ex)」を挙げた。

株式会社日立製作所 藤原貴之氏

審査員の石丸氏は「CityGML3.0」のリリースにもふれ、次のように講評を述べた。

「CityGMLの属性情報を使っているチームも多く、個人的に非常にうれしかったです。特に、CityGML賞とさせていただいた『不動産景観エージェントAI』と『3Dxトイレ(Ex)』。これからCityGMLを使ってどんどん拡張していってほしいです。CityGMLの仕様も10年ぶりにバージョンアップして3.0が発行され、PLATEAUの都市も増えていくと思います。こうしたデータを活用して、新しいアプリケーション、新しい世界を創っていってください。世界最先端の活動ですので、ぜひ継続してもらいたいです。」

OGC CityGML仕様策定WG 副議長 石丸伸裕氏

また、主にGIS分野のメンターとして参加していた久納敏矢氏(MIERUNE)は、気になった作品として、QGISを活用していた河野研究所の作品を挙げた。ビジュアライゼーションへの活用という点もうれしかったと述べている。

株式会社MIERUNE 久納敏矢氏

そして、今回のハッカソンでも多くのチームが活用していたPLATEAU SDKだが、その開発者としてメンターとしてオンラインで参加していた鈴木智貴氏(シナスタジア)は、今回、さまざまな作品を通して、自分が普段見ているモデルの見え方が大きく変わる刺激的な体験だったと感想を寄せてくれた。

内山氏は、今回の「PLATEAU Hack Challenge 2023 in Tokyo」を次のように振り返った。

「全般的に、いずれも素晴らしかったです。技術力も上がっているし、PLATEAUを扱うナレッジやツールといったものがどんどん増えていっているので、こういったハイレベルな作品が生まれているのではないかなと思います。ぜひ、みなさん、ここで培った知識や仲間のネットワークをこのあとも使っていただいて、事業を行うもよし、会社に持って帰ってプロジェクトを立ち上げるもよし。継続してPLATEAUを触っていってもらいたいと思います。」

国土交通省 総合政策局/都市局 IT戦略企画調整官 内山裕弥氏

参考資料

PLATEAU
PLATEAU NEXT