GenéLive!:リズムゲームの譜面制作をAIで加速
KLab株式会社(本社:東京都港区、代表取締役社長:森田英克、以下「KLab」)と九州大学 情報基盤研究開発センター 附属汎オミクス計測・計算科学センター(所在地:福岡県春日市、センター長:小野謙二、以下「九州大学」) は、共同研究中の「機械学習(AI)を用いたリズムアクションゲームの譜面制作支援システム」を高度化する新技術を研究開発し、またその共著論文が、人工知能分野の権威ある国際学会「AAAI-23」に採択され、2023年2月にワシントンDCで開催される学会で発表されることをお知らせいたします。
【画像:https://kyodonewsprwire.jp/img/202212261678-O2-gE0MM89C】
採択論文「GenéLive! Generating Rhythm Actions in Love Live!」について
近年、人工知能(AI)は目覚ましい発展を遂げ、社会のあらゆる場面で活用が広まっています。KLabと九州大学は、ゲーム産業におけるAI活用の可能性を開拓するため、2021年3月より共同研究を進めてまいりました(※1)。本共同研究は、KLabが独自に研究開発を進めてきた譜面制作支援システムについて、譜面生成に用いる機械学習アルゴリズムを高度化することで、より楽曲にマッチした魅力的な譜面を生成できるようにすることを目的としたものです。
共同研究を通して、九州大学のスパコンをも活用した最先端の学術的成果をゲーム業界に普及させるとともに、学生がゲーム産業の現場で使われるリアルな機械学習に触れられる機会を提供してきました。
リズムアクションゲームは、音楽に合わせて画面に流れる譜面をタイミングよく打ちこむゲームです。ユーザーのみなさまに常に新しいゲーム体験を提供するためには、魅力的な譜面をいかにして短い周期でお届けするかが重要となります。この論文で提案した深層生成モデル”GenéLive!”は、音の立ち上がり、拍や小節、といった様々な時間スケールの音声パターンを抽出できます。
これにより、似たフレーズの繰り返しに対しては似た譜面パターンを繰り返したり、Bメロからサビに切り替わるところで譜面パターンを変えたりといった、楽曲の特徴を捉えた譜面を生成できるようになりました。
GenéLive!を導入した譜面制作支援ツールによって、KLabでは譜面制作に要する時間が半分になり、1か月の配信楽曲数を倍増させることができました。オープンデータでの評価実験コードと訓練済みモデルは世界に公開しています(※2)。
※1:2021年3月1日発表「KLab × 九州大学 機械学習を用いたリズムアクションゲームの譜面制作支援システムの高度化に向けた共同研究を開始」
https://www.klab.com/jp/press/release/2021/0301/klab_3.html
※2:https://github.com/KLab/AAAI-23.6040
・AAAI-23について
本論文は2023年2月7日から14日にかけてアメリカ、ワシントンDCで開催されるAAAI-23(※3)において発表予定です。AAAIはアメリカ人工知能学会(Association for the Advancement of Artificial Intelligence)の年次大会で、人工知能分野において最も権威ある国際学会の1つです。世界最先端のAI研究者が集う、競争が激しい学会としても知られ、本年は世界中から8,777本の論文が投稿され、19.6%にあたる1,721本が採択されました。
※3:AAAI-23
https://aaai.org/Conferences/AAAI-23/
【採択された共著論文】
GenéLive! Generating Rhythm Actions in Love Live!
https://doi.org/10.48550/arXiv.2202.12823
【著者】
高田 敦史(KLab)、山崎 大地(Y's LLC.)、劉 立坤(九州大学)、吉田 雄大(KLab)、ガンバト・ニャムフー(KLab)、下斗米 貴之(KLab)、山元 大賀(九州大学(当時))、櫻井 大督(九州大学)、濱田 直希(KLab)
【画像:https://kyodonewsprwire.jp/img/202212261678-O1-i8KjfR4Q】
深層生成モデル”GenéLive!”により、譜面制作に要する時間の50%短縮を実現
研究者コメント
九州大学コメント
スパコンが社会に貢献した好例と言えると思います。今回の共同研究は単なる民間企業支援ではありません。AAAIでの発表や論文化によって、世界全体に対して、今回の音楽AIのアプローチが現実の経済活動を促進することを示すことができました。音楽AIはまだまだ発展途上であり、この技術を元にして、ゲーム音楽業界全体の経済活動を促進できたら幸いです。
特に今回は九州大学情報基盤研究開発センターのスパコンシステムである ITO (URL: https://www.cc.kyushu-u.ac.jp/scp/) の64基のGPUを活用することで、民間単独では難しい、精緻な研究や、評価を行うことができました。
それから、本学の教育機会としても意義があります。特に、学生に実社会でのAI活用の経験を積ませることができました。海外の企業から声がかかる優秀な学生も現れ、大いに貢献してくれたと思います。
また海外からの人材が大学、企業の双方にいたチームであったことも、国際的な視点を意識して研究開発を進められたことに貢献したと言えます。
KLabコメント
今回の共同研究で開発した技術は、アップテンポなロックからゆったりとしたバラードまで様々なジャンルやテンポの楽曲に対して、曲調にあわせた譜面を生成できるようにしたものです。実際のライブイベントでファンの皆様が行うような「合いの手」を再現した譜面が生成されたことに驚き、AIがまるでファンの一人になったかのように感じました。AAAIへの採択によって、この技術が人工知能の学術研究にも貢献できたことが大変嬉しいです。九州大学の皆様や、KLab社内メンバーによる積極的なアイディアや議論のおかげです。ありがとうございます。
KLabと九州大学は、今後も本共同研究により、生成モデルに関する最新の学術的知見を導入した制作支援システムの構築を目指します。
※記載された会社名、製品名、サービス名は各社の商標または登録商標です。
九州大学について
名称:九州大学 情報基盤研究開発センター 附属汎オミクス計測・計算科学センター
代表者:センター長 小野謙二
所在地:〒816-8580 福岡県春日市春日公園6-1
URL:http://clam.cc.kyushu-u.ac.jp/ja
KLab(クラブ)株式会社
社名:KLab株式会社(英文名:KLab Inc.)
代表者:代表取締役社長 森田英克
設立:2000年8月1日
資本金:53億6364万円(2022年11月末現在)
株式公開:東京証券取引所・第一部(3656)
本社所在地:〒106-6122 東京都港区六本木6-10-1 六本木ヒルズ森タワー
事業内容:モバイルオンラインゲームの企画・開発・運用
URL:http://www.klab.com/jp
「徳川家康の末裔」31歳ギャル芸人「ねぇまぢ緊急事態」電車で着席し「お願いだから申告しよ」
【阪神】初満塁弾前川右京に岡田監督「大きいよなあ。今が定位置取る過程じゃないか」/一問一答
テレ朝・林美沙希アナ、"絶対領域"のぞくニーハイゴルフコーデ姿に反響「可愛すぎです」
角野卓造「近藤春菜じゃねーよ」まさかの登場に徳光和夫が笑い崩れる
”パパ活不倫”辞職の宮沢博行氏「なぜバレたのか?」に言及「本名も相手にはバラしてない」
三上悠亜、ハメられた過去激白「東京の遊び方がよろしくない人に…」
【ソフトバンク】交流戦V逃すも小久保監督は前向き「優勝の可能性まできたのは想定外」一問一答
ボブ・サップに勝った150キロラガーマン、自宅に空き巣でブチギレ「今度はバチバチに…」
【梅雨時期】高齢者が心と体の不調をうまく乗り切るポイント3つ
石川梨華、結婚式に辻希美プロデュースブランドの洋服で出席「りかちゃん 大切な日に…」辻感激
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
真島なおみ、黒ブラジャー透けるセクシー教師姿にフォロワーもん絶「生徒がムラムラする」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
「徳川家康の末裔」31歳ギャル芸人「ねぇまぢ緊急事態」電車で着席し「お願いだから申告しよ」
【阪神】初満塁弾前川右京に岡田監督「大きいよなあ。今が定位置取る過程じゃないか」/一問一答
角野卓造「近藤春菜じゃねーよ」まさかの登場に徳光和夫が笑い崩れる
テレ朝・林美沙希アナ、"絶対領域"のぞくニーハイゴルフコーデ姿に反響「可愛すぎです」
”パパ活不倫”辞職の宮沢博行氏「なぜバレたのか?」に言及「本名も相手にはバラしてない」
三上悠亜、ハメられた過去激白「東京の遊び方がよろしくない人に…」
【ソフトバンク】交流戦V逃すも小久保監督は前向き「優勝の可能性まできたのは想定外」一問一答
ボブ・サップに勝った150キロラガーマン、自宅に空き巣でブチギレ「今度はバチバチに…」
【梅雨時期】高齢者が心と体の不調をうまく乗り切るポイント3つ
石川梨華、結婚式に辻希美プロデュースブランドの洋服で出席「りかちゃん 大切な日に…」辻感激