大阪・福岡・鹿児島・出雲のエンジニアたちが集結 多様なアプリやゲームが生まれた4拠点同時開催ハッカソン
「PLATEAU XR ＆ デジタルツイン ハッカソン2024」レポート
「PLATEAU XR ＆ デジタルツイン ハッカソン2024」が2024年10月6日と13日に、大阪・福岡・鹿児島・出雲の4拠点で同時開催された。初日の6日にハンズオンとチームビルディング、中間発表が行われ、13日に成果発表が行われた。1週間でどのようなアイデアが生まれ、作品として形になったのだろうか。受賞作を中心に各作品を見ていこう。
- 文:
- 大内 孝子（Ouchi Takako）
- 編集:
- 北島 幹雄（Kitashima Mikio）／ASCII STARTUP
4つのコミュニティがタッグを組んだハッカソンイベント
今回のハッカソンは、「大阪駆動開発」（大阪）、「福岡XR部」（福岡）、「XR Meetup Kagoshima」（鹿児島）、「出雲駆動開発」（出雲）という4つのコミュニティが実行委員会を組織して共同で主催を務めた。いずれも各地でITやXR技術に興味を持つエンジニアたちが集うコミュニティだ。今回は各会場をオンラインでつないで実施された。
審査員は、Project PLATEAU ADVOCATE 2024として活動する3名、常名隆司氏、株式会社シナスタジアの鈴木智貴氏、ユニティ・テクノロジーズ・ジャパン株式会社の高橋忍氏が務めた。成果発表は、各チーム持ち時間3分、質疑2分の5分間。12チームがプレゼンテーションに臨んだ。
最優秀賞は、ビルが自らの属性情報を語る「TALKING BUILDING」
最優秀賞を受賞したのは、チームGの「TALKING BUILDING」（福岡会場）。PLATEAUの属性情報とChatGPTのRealtime API（低遅延で音声入出力をサポートとする対話API）を組み合わせ、ビルが自らの属性情報を語るというコンテンツだ。
「TALKING BUILDING」はiOS、Androidのアプリとして実装され、アプリ内で建物をタップすると自らの属性情報を音声で伝えてくれるというもの。建物ごとに話す声色やキャラクター的な性格の違いも出している。
こだわった点として、属性情報をもとに声色を変えたところや、話してるときにビルに表示する目や口のアニメーションを動かしたところなどを挙げた。
仕組みとしては、Unityをベースに作成しており、タップされた建物の属性情報をPLATEAUのデータから取得し、その情報をもとにプロンプトを作成してRealtime APIに投げ、ChatGPTの返信を取得するという形になっているという。
制作してみての今後の課題としては、Realtime APIの費用の高さ（今回の開発に約20ドルかかったという）と使用回数制限の厳しさ（1key1日100回）を挙げた。また、PLATEAU SDK-Toolkits for Unity AR Extensionsについては、仕組みとして事前に場所を指定してからでないとモデルのセットアップができなかったとして、「どこの場所でも試せるようにできたらうれしい」と述べた。
発表後の質疑では、高橋氏から「PLATEAUの属性情報をそのまま話させるだけでなく、その建物がテナントであればセール情報であったり、飲食店であればランチ情報であったり、ビジネス展開できそうな内容を込めてはどうか」というアドバイスがあった。
常名氏は「各審査員が最高得点を付けた」とのエピソードを披露。授賞理由として「ビルの目や口、その動き、棒読みではない声色の違いも良い」といった完成度の高さを挙げたほか、「この作品をきっかけに、PLATEAUの属性情報を『こんなふうにも使えそうだ』、『この先こんなふうに展開できるかもしれない』など審査員みんなが将来像を思い描けた」と感想を述べた。
オーディエンス賞は、島根と鳥取が大阪を取り合う陣取りゲーム「島根っ化計画 VS 鳥取ビジョン」
参加者の投票で選ばれたオーディエンス賞を受賞したのは、チームI（出雲会場）の「島根っ化計画 VS 鳥取ビジョン」。PLATEAUで作った大阪の街を舞台に島根チームと鳥取チームに分かれ、建物にステッカーを張ることで自分の陣地を拡大していくというエンタメコンテンツだ。Unityで開発したVRアプリで、動作デバイスはQuest3。
プレイヤーはスタンプガンで建物にステッカーを発射。建物に貼り付けたステッカーの数が体積比で一定割合を超えると、その建物を「占領」したと判定される。島根が占領すると建物の表面が「コメ」に変わり、鳥取が占領すると建物の表面が「砂」に変わる。
アピールポイントは、マルチプレイ対応、建物の形状に合わせたスタンプの描写（角に合わせて曲がる、など）。また、占領化を判定するしきい値を体積比としたことによるゲームの難しさ（面白さにつながる）を挙げた。今後の展望として、占領の度合いに応じて野生動物が出てきたり、周囲に木が生える、砂が飛び散るなどのエフェクト、メタバースサービスへの対応を考えているという。
常名氏は、「（既存ゲームに対する）オマージュ作品としては『塗りつぶし』を競うものがこれまで多かったが、この作品ではそれをご当地スタンプを押すことに置き換えるなどしたことで独自色を出し、オマージュっぽさを払拭できた良い例だと思う」とコメントした。
また、本作品には高橋氏からSHINOBU工房賞も贈られた。選定理由として高橋氏が挙げたのは、VRアプリとしての完成度の高さだ。高橋氏は、「いろんな人に体験してもらいながら、さらに作品としてのオリジナリティを高め、驚くようなアプリに仕上げてほしい」とメッセージを送った。
ゴネンゴ賞は屋上で会議ができる「屋上会議w」
ゴネンゴ賞を受賞したのはチームB（大阪会場）の「屋上会議w」。プラットフォーム「Microsoft Mesh」を使ったメタバース遠隔会議アプリだ。いつもの会議や打ち合わせを「普段できないところでやってみたい」というところから、「屋上ならスタイリッシュな会議ができるかも」との発想で生まれたという。メタバース空間の開発はUnityで行った。
屋上という特徴を生かして日の出や日の入りなど時間帯の変化を反映した表現が可能となっているほか、PLATEAUの活用としては、「この場所どこかな？」と気になったときに、メタバース空間内のキャラクターが教えてくれる機能がある。Azure OpenAI Serviceを使用して、ChatGPTに質問を投げるとPLATEAUの属性情報を解析して表示してくれる。
また、会議の悩みのひとつである「会議を時間通りに終わらせたい」ときに押せる「Emergencyボタン」を搭載。ボタンを押すと水が流れてきて、会議が終わらないと会議室が水没するという仕掛けになっている。
今回、PLATEAUのデータが「Microsoft Mesh」に乗るかどうかのチャレンジでもあったというが、ポリゴンのデータ量といった部分で難しさを感じたという。今後、メタバース空間における実際の都市情報を使ったビジネスアプリとして、使用するデータの種類やサイズをいかに使い勝手のいい形に持っていくか工夫していきたい、と語った。
常名氏は「アイデアがおもしろく、デモの完成度も高かったのがすばらしい」、鈴木氏は「楽しいコンテンツになっているが、もう少しPLATEAUらしさがほしい」とコメントした。
ホログラム賞は、梅田スカイビルにプロジェクションマッピングを行う「ジグラートMR」
ホログラム賞はチームC（大阪会場）の「ジグラートMR」。梅田スカイビルへ映像を投影するプロジェクションマッピングのVRアプリだ。”だんグラ”＋Androidアプリで構成している。開発はUnityで行っている。
苦労した点として、建物へのプロジェクションマッピングの動画貼り付けやピント調整、環境構築、Androidアプリへのデプロイを挙げた。今後の展望として、冬や春などほかの季節、別の観光スポット（たとえば住吉大社やなんばパークスなど）への投影にチャレンジしたいと語った。
高橋氏からは、「アイデアやコンセプトがとてもいい」と述べたうえで、改善点としてUnityを使った開発における細かなアドバイスを送った。また、PLATEAU SDK-Toolkits for UnityのRendering Toolkitを使うだけで夜景にしたり天候を変えたりもできるので、「ぜひ活用してどんどんブラッシュアップしていってほしい」と述べた。
声を主体としたVRアプリ「Echolocation-PLATEAU」がマイスターギルド賞、monoDuki賞を受賞
「Echolocation-PLATEAU」
マイスターギルド賞、monoDuki賞を受賞したのはチームF（福岡会場）の「Echolocation-PLATEAU」。同作品は、声（身体）とPLATEAUの属性情報を結び付け、声で都市を可視化するというアプリだ。開発のモチベーションは声を主体としたVRアプリを作りたいということから。
Unityで開発したVRアプリで、動作デバイスはQuest2。Quest2のマイクで音声を取得し、音声データに応じて都市モデルの可視・不可視を切り替えている。
母音の属性情報は「A：建物の高さ」「I：建築年」「U：建築構造」「E：浸水リスク」「O：地上階数」に対応する形となっているが、選択した都市においてはほとんどの建築物の建築年が不明であること、母音の「I」と「U」が判定しにくいこと、判定しやすい声の高さなど、声による制御の難しさがあったという。
高橋氏からは、「技術検証を目指すのか、エンタメを目指すのか？基礎ができたところで、あとはその先の用途を考え、『捨てるところは捨てる。残すところは残す』と作り込んでいったら、もっとおもしろくなる」というアドバイスがあった。
水上バイクやドローンで都市を走行するゲームや都市の成長シミュレーションほか多様な作品が登場
惜しくも受賞は逃したが、他の作品もユニークなものが多かった。各チームの作品を紹介しよう。
水上バイクで水没した都市を走行する「AquaCityRide」
大阪会場のチームAが発表したのは、PLATEAUの3D都市モデルで作成したフィールドを水上バイクで走行するVRアプリ「AquaCityRide」。開発はUnreal Engine、動作デバイスはQuest2および3だ。
目指したのは、Unreal EngineとPLATEAUを活用して見栄えのするVRコンテンツを作成することと、PLATEAU以外の情報を利用したデジタルツイン要素としてJAXAの海面上昇シミュレーション結果を水面に反映すること。しかし、今回は海面上昇シミュレーションの結果はうまく活用できず、代わりにUnrealEngine の Ｗaterシステムを使って水面を作成したという。
街の未来をPLATEAUで再現する「XR City Simulator」
大阪会場のチームDが発表したのは、街の未来をPLATEAUでシミュレートする「XR City Simulator」。まちづくりシミュレーションゲームのように、街が成長していく様子を、PLATEAUを通じてリアルタイムに疑似体験できるというものだ。今回は大阪のうめきた（大阪駅北地区）周辺を舞台に作成し、ビルだけでなく、街中を車両や人が動く様子も再現した。
今後の展望としては、スマホを利用して現地に行くと建物の情報などが表示されるARアプリやスタンプラリーを企画したり、ディストピア的な未来の街並みを仮想世界で表現したり、といったことを構想しているという。
街中の建物や物を穴に吸い込んでいくゲーム「hole.plateau」
福岡会場のチームEが発表したのは「hole.plateau」。裸眼立体視ディスプレイ「LookingGlass」対応のカジュアルゲームだ。福岡の街をPLATEAU SDKで生成し、PLATEAU SDK Toolkits for UnityのSandbox Toolkitで街中に車や自転車、人などさまざまなオブジェクトを配置している。その福岡のステージを舞台に、プレイヤーは「穴」を操作して街中のオブジェクトを吸い込んでいく。
今回はまずはPLATEAU SDKとPLATEAU SDK Toolkitsを使ってみること、LookingGlass対応コンテンツを作ってみることに主眼をおいたという。実際に作成した感想として、LookingGlassよりもスマホのAR機能を利用して机の上などで遊ぶのがおもしろそうだとし、今後またハッカソンなどを通じて挑戦していきたいと述べた。
ビルの間を飛ぶドローンの操縦シミュレーション体験を提供「ドローン操縦シミュレーション」
「ドローン操縦シミュレーション」
出雲会場のチームHが発表したのは、東京駅周辺の3D都市モデルを使った「ドローン操縦シミュレーション」。街中のビルの間をドローンですり抜ける操縦シミュレーションをユーザーに体験してもらおうというものだ。エンタメ、教育、防災など、幅広いシーンで活用できるとしている。
開発はUnity 6、OpenXR対応のVRアプリ。PLATEAUの3D都市モデルを使って実際の都市の建物と地形を再現し、ユーザーはキーボードやVRコントローラーでドローンを操作する。指定されたチェックポイントをすべて通過するとステージクリアとなるほか、一定の時間内にルートを飛行するタイムアタックやオブジェクトに衝突すると所持金（体力）が減っていくなどのゲーム要素を盛り込んでいる。
「monoDuki合同会社のvaleちゃんを使おう」
鹿児島会場のチームJは、メンバー全員がUnityとPLATEAUの初心者だったこともあり、今回はPLATEAUのデータを使ってみようというコンセプトでチャレンジ。ハンズオンで学んだ「UnityでPLATEAUのデータを表示する」ことに、各自が自分のPCで取り組んだ。
さらに3D都市モデル内に、鹿児島会場の協力会社であるmonoDuki合同会社のキャラクター「valeちゃん」やUnity Technologies Japanの「Unityちゃん」を表示させることにも挑戦。無事にメンバー全員が表示に成功し、発表では各自の成果を示した。
「充電スポット valeちゃん探し in 天神編」
同じ鹿児島会場からチームKは、「充電スポット valeちゃん探し in 天神編」を発表。Unreal Editor for Fortniteを使った探索アプリだ。福岡の天神駅周辺エリアの3D都市モデルをUnreal Editor for Fortnite上にインポートして街並みを作成、プレイヤーはこの街を探索し、充電スポットでもある「valeちゃん」の居場所を見つけるというもの。
当初の目標では、この場所を現実の街にあるカフェの位置と連動させようと考えていたが、今回はそこまで対応できなかったとのこと。今後また手を動かしながら改善していきたいとした。
剣を武器にビルを破壊していく「ダモクレスの剣」
大阪会場のチームLは「ダモクレスの剣」を発表。Unityを使って開発し、Quest2対応のVRゲームとして企画したもの。ゲームがスタートするとダモクレスの剣が現れ、その剣を使ってビルを破壊していく。今回の発表では、企画の世界観やコンセプト、設定などの紹介が主となった。今後は、グラフィックや演出のグレードアップのほか、音声を認識して武器を変えるなどの詳細の作り込み、音楽の追加などを行っていきたいと述べた。
「PLATEAU AWARDに出すところまでが、PLATEAUのハッカソン」
最後に審査員の全体講評を紹介する。
高橋氏：ハッカソンで何かを作ることは、短編動画を作ることに似ています。まずキーになる技術を決め、その技術で何をするのかを決める。そしてストーリーを作り、プラスアルファの要素、もしくはゴールを決めます。たとえば最優秀賞の「TALKING BUILDING」の場合、キーになる技術は「話す」ことでした。これを「ビルを使ってやろう」とのことで、ビルが自分の情報を話すというストーリーがあり、加えて、目や口が動くというプラスアルファの要素も付いていた。全部がそろっていたわけです。何かを作るときには手をいっぱいに広げすぎないで、まずキーになる技術を決め、その技術でできることで短いストーリーを作り、完結させる。そんなことを意識すると、完成度の高い作品を作れると思います。これからも期待しています。ありがとうございました。
鈴木氏：PLATEAUのハッカソンで1週間という長期にわたるものは、今回初めて拝見しました。内容としては新しい技術も多く、VRゴーグルを活用したり、AR、XR、さらにはAIまで使ったりということで、本当に迫力のあるアイデアがたくさん出ていて感動しました。まさに今この時代の技術という感じがして、大変おもしろかったです。また、参加したみなさんは初心者から上級者までいらっしゃいます。初心者の方々も、このハッカソンをきっかけに勉強を続けていただき、よりすばらしい技術者になっていただけたらうれしいです。
常名氏：みなさん、1週間おつかれさまでした。賞をとれた方もとれなかった方も、ハッカソンで何をやったかをブログに書いてください。そして、PLATEAUのハッカソンの場合、PLATEAU AWARDに出すところまでがハッカソンです。ぜひ、ここで終わらずに、この先も駆け抜けていただきたい。我々は全力でサポートするので、ぜひチャレンジを続けていただきたいと思います。
