食農、AIダンサー、車椅子でも通れるルート、地域猫などさまざまなコンセプトが登場

「Engineer Driven Day（EDD）」は、「エンジニアシティ福岡（EFC）」が2022年から開催しているハッカソンコンテスト。「構想からモノづくりまでを一気通貫で行う」というもので、参加者はキックオフイベント、メンタリングイベント、ハッカソンなどのイベントを経て、コンセプトを形にすることを目指す。今回のハッカソンは、Project PLATEAUとタッグを組んだ形で行われた。

当日、会場には約50名が集結し、16チームが成果発表会に臨んだ。ここでは、PLATEAUの活用が期待される5作品について、当日サポーターを務めた米田将氏、国土交通省 椿優里氏からのコメントとともに紹介する。

さらに、ハッカソン中に米田将氏が作成した「PLATEAUデータをアバターと一緒に与えて、廃墟の風景にするソフト」を紹介しよう。

畑 -habit-

食や農（菜園）の情報を発信したり、収集するSNSツール。LINE公式アカウントとしての運用を想定し、QA対応や情報発信のほか、農園・菜園情報マップ機能を搭載する。ゴールは「農の日常化」、すなわち農業を身近なものにすること。「食農」というと幅広い分野だが、子どものいる家庭、あるいは家庭菜園を楽しむ30～40代をターゲットとしたSNSアプリにアイデアを絞り、チームで分担し実装を進めていった。

主な機能は3つ。

LINE上で動作する「LIFF（LINE Front-end Framework）」アプリとしてNuxt.jsで実装し、QA機能はFasiAPIを介しOpenAIにつなぐ形を考えているという。

サポーターからは、「農業に関する情報を発信するサービスなので、屋上農園という観点でPLATEAUを利用できそう」、「農地付近は建物データを利用するケースは少ないかもしれないが、物流の面で使えるかもしれない」といったPLATEAUの活用を期待するコメントが上がった。

Divers Map

車椅子やベビーカーの利用者、高齢者などさまざまな人が「通りづらい道」を避けて通れるルートを共有するWebアプリ。制作メンバーに車椅子利用者が加わった学生チームによる発案・開発だ。誰でも簡単に「この道なら通りやすい」という情報を投稿・閲覧できる。

GPSで位置情報を取得して経路を表示すると実際には道がない場所や路地裏が表示されてしまうこともあるため、あえて手動で経路を指定して投稿できるようにしているという。点字ブロックの自動判別とルートへの反映も機能として盛り込む。

こちらについてはサポーターからは「PLATEAUには建物以外にも、道路や樹木などの情報もある。それらを使うことで精度の向上や自動化に使える可能性がある」とコメントがあった。

最強AIダンサー

生成AIを使ってさまざまな音楽からダンスの振り付けを生み出すという作品。既存のダンスのモーションを学習させたモデルを使って、熟練したダンサーが行ってきた"振り付け"を自動生成する。応用先としてはアニメーション制作の現場などで、モーション作成におけるプロセスでの省力化が期待できる。

音声ファイル（WAV）からOpenAIの「Jukebox」（GPTベースの音楽生成モデル）により音楽の特徴量を抽出。Transformerベースの拡散モデル「EDGE」の学習済みモデルを使って、その特徴量から振り付けのシーケンスを推定し、3D人体モデリング「SMPL（Skinned Multi-Personal Linear model）」として生成。FBXファイルとしてUnityに読み込み、キャラクターに適用する。なお、3DモデルはYoutube でも人気のずんだもんの公式人型モデルを使用している。

サポーターも、3Dモデルのキャラにダンスをさせる際に「ステージとしてPLATEAUを使っては」とコメント。さらに、たとえば東京ならモダンなダンス、京都や奈良なら和風なダンスというように、都市の属性データをAIに与えて都市の情報を加味したオリジナルダンスの可能性も考えられるというアイデアも出された。

クソゲー大全（仮）

「クソゲーが楽しめる」というプラットホーム。とにかくUnityでゲームを作ってみたいとチャレンジしたテーマ。タイトルは「大全」としているが、今回は物理エンジンを使ったテトリスを作成した。

通常のテトリスと違うのは、物理エンジンを入れており、ブロックを消した後、重力で残りのブロックが落ちてくるところだという。ランキング機能もある。

「ブロックをPLATEAUの建物データにすると面白いかもしれない」とサポーターもコメント。また、「属性データごとに落ちる速度や回転速度が変わるといった使い方ができそうだ」とのアイデアも上がった。

地域ねこ活動の参加・活動を支援するプラットフォーム

昨今、野良猫を減らすことを目的に、飼い主がいない猫を地域で管理・世話する「地域猫活動」が各地で行われている。その活動を支援し、参加するためのプラットフォームだ。チームごとに地域猫の管理情報（猫の数や去勢手術の状況など）を一元管理できるほか、チャット機能で画像や位置情報の共有も可能だ。活動に興味のある人に支援や参加のきっかけを提供できるよう、チームの検索機能も搭載するという。

開発ツールとしてモバイルアプリ用のフレームワーク「Flutter」を使用。バックエンドは「Firebase」だ。

メンバー全員がアプリ開発未経験からスタートしたチームだが、本ハッカソン当日だけでなく、EDDとしてのキックオフやメンタリングイベントなどをチェックポイントとすることで、定期的にチームでコミュニケーションを取りながら開発を続けて、最終的に動くものを作ることができたという。

サポーターからは「PLATEAUを使って猫の目撃場所や猫にとって危険な場所を共有する機能などが考えられるだろう」とのアドバイスがあった。

PLATEAUのデータをアバターと一緒に与えて、廃墟の風景にするソフト

最後に、「こうした活用の仕方もある」という例として、米田氏が作った「PLATEAUのデータをアバターと一緒に与えて、廃墟の風景にするソフト」を紹介する。

「Stable Diffusion」などの学習済みデータを活用して新たなデータを生み出せる”生成AI”による画像作成では、構図やアングルの指定が難しい。生成AIの利用にあたってユーザーが入力する指示や質問（プロンプト）の場合、「アップ」であるとか「望遠」、「俯瞰」といったあいまいな指定は表現しにくい。例えば、右下に人物を配置したいと思って「Place the girl at the bottom right」と指定しても、なかなか思うような構図の画像が生成できない。そこで、米田氏は「PLATEAUで作った構図」とプロンプトを生成AIに与えてはどうかと考えたという。

「PLATEAU SDK for Unity」で好きな都市をUnityにインポートし、アバターを任意の場所に配置する。Unityのカメラ設定で撮りたい画角を指定し、撮影。撮影した画像を生成AIに渡して、イメージした構図で生成しようというものだ。

PLATEAUのような実在する建物等の3Dデータを活用することで、AIによるイラスト表現の幅が広がり、理想に近い画像作成ができる可能性が提示された。生成AIとPLATEAUとの組み合わせは新鮮、かつ実用的だ。おそらく、生成AI以外にも、「こんな活用の仕方があったのか」という組み合わせのアイデアはまだまだありそうだ。

ハッカソンが開催された会場は、“エンジニアフレンドリーシティ福岡”によるコワーキングスペース「Engineer Cafe」。築100年以上の国指定重要文化財となっている赤煉瓦文化館にある。そんな趣のある会場で、若く、学生を中心とする参加者は熱くハッカソンに取り組んだ。

本イベントではPLATEAU活用のヒントがたくさん生まれた。今後も3D都市モデルを活用し、今回発表された作品の発展形や、新たなアプリ、サービスが開発されることに期待したい。