金沢工業大学情報工学科OBの鈴木大志さんが学部4年次に取り組んだ研究が情報処理学会論文誌に採録。
金沢工業大学情報工学科OBの鈴木大志さんが学部4年次のプロジェクトデザインIII(卒業研究。研究指導教員:情報工学科中沢実教授、鷹合大輔准教授)で取り組んだリアルタイム音質変換手法の研究内容の一部が情報処理学会論文誌(Journal)に採録され、2024年2月号に掲載されました。当論文は、厳しい査読結果からアクセプト(掲載許可)されたもので、金沢工業大学における学部4年次の学生の研究水準の高さが評価されたといえます。
【鈴木大志さんについて】
鈴木大志さんは金沢工業大学の併設校である国際高等専門学校グローバル情報学科4年生、5年生の2年間、金沢工業大学AIラボにて大学生とともに深層学習をはじめとする機械学習や音声処理に関するAIスタートアッププロジェクトに参加しました。
2020年に国際高専を卒業後、金沢工業大学情報工学科3年次に編入した後も、AIラボで一貫して音質変換を如何に高精度且つリアルタイムに実現するかについて研究に取り組んできました。
そして学部4年次のプロジェクトデザインIIIでは、深層学習を専門とする中沢実教授と、信号処理を専門とする鷹合大輔准教授の指導のもとで、今回論文誌に掲載された「AutoVCを用いたゼロショットリアルタイム声質変換手法の実装と評価」に取り組んできました。
【画像:https://kyodonewsprwire.jp/img/202402156603-O2-S1r6xD29】
鈴木大志さんは国際高専在学中から金沢工業大学AIラボの一員として大学生と一緒に研究に取り組んだ
(写真右から2番目)
【鈴木大志さんの研究の概要について】
声質変換は、ある話者の声質を別の話者の声質に変換する技術で、応用先としてはアバターを使ったオンライン会議やボーカロイド、ボイスチャット、電話などでの使用があげられます。
身近な例でいえば、スマートフォンを使った電話も、実は本人そのものの声ではなく、本人に近い合成音声が使われています。
近年、深層学習を用いた声質変換技術の発展により、ある人物の声を、発話内容を変えずに別の人物の声質に高精度で変換することが可能となってきました。
こうした音声変換手法は扱う人数に応じて
(1) One-to-One
(2) Many-to-Many
(3) Any-to-Any
に大きく区分できます。
(1) は、特定の人物Aの声質を特定の人物Bの声質に変換する方式で、学習にはAとBの2人の声質が使われます。
(2)は、学習に用いる人物を複数人でき、手法によってはその双方向を変換できる方式ですが、学習に用いていない声質への変換はできません。
(3)は、学習に目標の声質の音声が含まれているかにかかわらず変換できる方式としてAutoVCがあり、学習用のデータになかった未知の対象を、テキストなどの補助的な情報を用いて予測する”ゼロショット”声質変換法と呼ばれます。
ゼロショット声質変換法では,多くの場合、
(1) 入力話者音声をメルスペクトログラムに変換し、
(2) 入力話者のメルスペクトログラムを出力話者のものに変換。
(3) 出力話者のメルスペクトログラムで音声信号を生成する。
という手順を踏みます。
この声質変換に要する時間が入力音声よりも短ければリアルタイム声質変換が可能ですが、(2) と(3) の両方で深層学習モデルを使うためGPUを使った演算量が増加し,それがリアルタイム声質変換の実現を困難にしていました。
この解決策として鈴木さんが提案したのは、音声の特徴量を「スペクトル包絡」、「基本周波数」、「非周期性指標」の3 つとし、深層学習モデルはスペクトル包絡の変換にのみ適用することで演算量を削減する方法でした。
【画像:https://kyodonewsprwire.jp/img/202402156603-O1-Mj1MIS46】
深層学習モデルをスペクトル包絡の変換にのみ適用することで GPUの演算量を削減し、リアルタイム変換を可能とした
深層学習モデルはAutoVC の構造をベースとして、前処理と後処理部分を変更したものを用いました。実験により、音声信号1 秒あたりの処理に要する時間はGPU 環境では0.2 秒以下となり、リアルタイム声質変換可能であることが示されました。
さらに従来のAutoVC と比べても品質が改善できていることもMOS(Mean Opinion Score)による評価結果から示されました。
※メルスペクトログラム
音響特徴量の一部。音声の周波数をフーリエ変換したスペクトログラムで、人間の音声知覚の特徴を考慮したものを特にメルスペクトログラム(mel spectrogram)と呼ぶ。
※スペクトル包絡
スペクトルの曲線族すべてに接している曲線を包絡線(ほうらくせん)と呼び、包絡線の表す山や谷などを「包絡」という。
※GPU
特定の 3D レンダリング・タスクの高速化などに特化したプロセッサー。グラフィックスとゲームに使われるほか、汎用的な並列プロセッサーとして、生成AIなどにも使用されている。
論文名:「AutoVCを用いたゼロショットリアルタイム声質変換手法の実装と評価」
執筆者:鈴木大志 鷹合大輔 中沢実
情報処理学会論文誌 Vol.65 No.2 529-537(Feb.2024) 発行年2024-02-15
天皇杯・筑波大J1首位の町田ゼルビアにジャイキリ!黒田監督「マナーに苦言」もJリーグファンに一蹴される
H2SITE、英国の「アンモジェン・プロジェクト」に向けて燃料電池用純度の水素を製造する最も効率的なアンモニア・クラッカーを建設
【6月13日生まれの著名人】山田邦子、森口博子、乾貴美子、市川実日子、加賀美セイラら
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
クエクテル、新たに5つのWi-FiおよびBluetoothモジュールを追加し、短距離通信に革命をもたらす
SixTONES京本大我の電話帳は驚異の登録者数「親とかマネジャーとか飲食店込みで…」に騒然
島崎遥香、LINEの連絡先消したい超大物の実名明かす 電話帳の合理的「断捨離」法も公開
【オリックス】日本Sのリベンジや!7連勝で交流戦2位 5番の「仕事」紅林弘太郎59打席ぶり適時打
長毛赤ちゃん猫の『生後2か月〜8か月』まとめてみたら…圧倒的に"成長した姿"が尊すぎると82万再生の大反響「毎秒かわいい」の声
【日本ハム】清宮幸太郎が1軍昇格後初安打「もっと貪欲にいい打席を増やしたい」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
安住紳一郎アナが絶縁宣言「口を利かない」言われたタレントは反省?「やり直したい…局長」
真田広之の元妻女優、次男の写真に反響「お父さんそっくり」「一瞬驚きました」
「松本人志飲み会」セクシー女優「ギャル」「すっぴん」ダブル公開で「どっち好き?」投げかける
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
佐々木希、初主演ドラマでウェディングドレス姿を披露で絶賛の嵐「プリンセスすぎる」
吉田羊「旦那さまとパチリ。」薬指に指輪を着けた左手が2つ…並んだ写真投稿
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
天皇杯・筑波大J1首位の町田ゼルビアにジャイキリ!黒田監督「マナーに苦言」もJリーグファンに一蹴される
H2SITE、英国の「アンモジェン・プロジェクト」に向けて燃料電池用純度の水素を製造する最も効率的なアンモニア・クラッカーを建設
【6月13日生まれの著名人】山田邦子、森口博子、乾貴美子、市川実日子、加賀美セイラら
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
クエクテル、新たに5つのWi-FiおよびBluetoothモジュールを追加し、短距離通信に革命をもたらす
SixTONES京本大我の電話帳は驚異の登録者数「親とかマネジャーとか飲食店込みで…」に騒然
【オリックス】日本Sのリベンジや!7連勝で交流戦2位 5番の「仕事」紅林弘太郎59打席ぶり適時打
長毛赤ちゃん猫の『生後2か月〜8か月』まとめてみたら…圧倒的に"成長した姿"が尊すぎると82万再生の大反響「毎秒かわいい」の声
島崎遥香、LINEの連絡先消したい超大物の実名明かす 電話帳の合理的「断捨離」法も公開
【日本ハム】清宮幸太郎が1軍昇格後初安打「もっと貪欲にいい打席を増やしたい」