自動並列化深層学習ミドルウェアRaNNC(ランク)をオープンソースで公開
2021年3月31日
国立研究開発法人情報通信研究機構(NICT)
国立大学法人東京大学
ポイント
■ 自動並列化深層学習ミドルウェアRaNNCを開発、オープンソースで公開開始
■ 高度な知識と大きな作業コストを要する大規模ニューラルネットワークの学習が飛躍的に簡単に
■ 深層学習の大規模化を容易にし、多様なAIシステムの更なる性能向上が期待される
国立研究開発法人情報通信研究機構(NICT、理事長: 徳田 英幸)と国立大学法人東京大学(総長: 五神 真)は、自動並列化深層学習ミドルウェアRaNNC(Rapid Neural Net Connector)を開発し、2021年3月31日に公開を開始しました。近年、大規模化が進んだ深層学習におけるニューラルネットワークの学習では、複雑なネットワークの定義を書き換え、GPUのメモリに収まるように人手で分割する必要がありました。今回公開するRaNNCは、ニューラルネットワークを自動的に分割することにより、複数のGPUを用いた並列学習を容易に実現します。大規模ニューラルネットワークの定義を書き換えずに分割を自動化できるソフトウェアは、世界にも例がありません。
RaNNCのソースコードはGitHubに公開されます(URL: https://github.com/nict-wisdom/rannc)。ライセンスはMITライセンスであり、ダウンロードしていただければ、商用目的を含め、無償でご利用いただけます。
背景
近年の研究で、深層学習において、ニューラルネットワークの大規模化が大幅な性能向上をもたらすことが知られるようになり、これまでにない大規模なニューラルネットワークが次々に提案されています。深層学習では、計算の高速化のためGPUを用いることが一般的ですが、2020年に提案されたGPT-3規模のニューラルネットワークの学習には、数千枚のGPUが必要とされています。このような大規模ニューラルネットワークによる深層学習の高性能化には、大量のGPUを効率よく使用できる、大規模ニューラルネットワークの並列計算の技術が重要になります。
従来の大規模ニューラルネットワークの学習では、GPUのメモリに収まるようにニューラルネットワークを分割するため、複雑なニューラルネットワークの定義を大幅に書き換える必要がありました。しかし、これには高度な知識と大きな作業コストを要するため、これまで大規模ニューラルネットワークの学習を実施できる組織はごく限られていました。
今回の成果
今回公開するRaNNCは、大規模ニューラルネットワークの学習を容易にするためのミドルウェアで、NICTデータ駆動知能システム研究センターと東京大学情報基盤センターとの共同研究によって開発されました。
【画像:https://kyodonewsprwire.jp/img/202103313104-O1-6F39F7Ty】
RaNNCは、代表的な深層学習ソフトウェアであるPyTorchのために記述された既存のニューラルネットワークの定義を与えられると、実行速度を最適化しつつ、各々のGPUのメモリに収まるように、自動的にニューラルネットワークを分割した上で、データ並列・モデル並列のハイブリッドによって、複数のGPUを使い並列に学習を行います(図1参照)。開発者がニューラルネットワークの定義を書き換えて分割できるようにする必要がないため、大規模ニューラルネットワークの学習が飛躍的に容易になります。また、既存ソフトウェアのMegatron-LMやMesh-TensorFlowは、BERT等の特定のタイプのニューラルネットワークにしか使用できないという制限がありますが、RaNNCは適用できるニューラルネットワークの種類に基本的に制限がないという点で優れています。
NICTの計算機環境における比較実験では、RaNNCはMegatron-LMより約5倍の規模のニューラルネットワークの学習が可能な一方、同一の規模のニューラルネットワークでは、ほぼ同等の学習速度を実現しています。なお、この成果は、並列分散処理分野におけるトップレベルの国際会議であるIPDPS(IEEE International Parallel and Distributed Processing Symposium)に採択されています。また、RaNNCの概要は、GPU テクノロジカンファレンス(GTC)(2021年4月12-16日開催)で発表予定です。
NICTデータ駆動知能システム研究センターでは、これまで収集してきた高品質な日本語テキスト約350 GBを学習データとし、RaNNCを用いて、BERTを約50億パラメータ(原論文の15倍)に大規模化したニューラルネットワークを学習しています。こうした規模のニューラルネットワークを、ネットワークの定義を書き換えて分割できるようにする手間なしに、自動分割し、並列で学習させるソフトウェアは、我々の知る限り世界にも例がありません。
RaNNCのソースコードは、GitHubに公開されます。ライセンスはMITライセンスのため、ダウンロードしていただければ、商用目的を含め、無償でご利用いただけます。(URL: https://github.com/nict-wisdom/rannc)
今後の展望
NICTデータ駆動知能システム研究センターでは、大規模Web情報分析システムWISDOM X、高齢者介護用マルチモーダル音声対話システムMICSUS、次世代音声対話システムWEKDA、対災害情報分析システムDISAANA、災害状況要約システムD-SUMMなど多数のシステムを開発し、一般公開や民間企業へのライセンスを行っています。これらのシステムでは様々なニューラルネットワークが使用されていますが、RaNNCを用いて学習された、より大規模ニューラルネットワークをこれらのシステムで利用することで、更なる性能向上が期待されます。
また、RaNNCはオープンソースソフトウェアとしてMITライセンスで一般公開されるため、深層学習を用いたシステムを開発する多くの組織で、大規模なニューラルネットワークの学習が可能になり、様々な技術や製品、サービスの開発が幅広く促進されることが期待されます。
各機関の役割分担
・NICT: RaNNC全体の開発、動作検証、評価
・東京大学: RaNNCの高速化
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
大分妻子殺害の被告、身勝手な動機 遺族は傍聴席の柵越え憤慨
東京・品川の住宅で母子4人死亡、首や胸に刃物の傷 父は煙吸い込む
自称「カトパン」似の100キロ女芸人、ブラトップ姿でダンス「躍動する脂肪、頼りない足首」
【ヤクルト】今季ワースト5連敗 高津監督バッサリ「解説しようがない」高橋奎二5回途中4失点
植村あかり4冊目の写真集発売「夢のような1冊」6月の卒コンへ「曲数は“23”にしたい」
【阪神】大山悠輔2戦連続V打点もその後好機に凡退反省「追加点取れるチャンスいっぱいあった」
【阪神】岡田監督「やられるパターンやけどな」1万試合目「岡田の野球」で貯金今季最多の7に
父は元広島投手、19歳美女タレントが始球式登板に感謝 九里亜蓮とのツーショットも公開
【阪神】森下翔太「見ながら追えた」大飛球フェンスギリギリ好捕「大山さんにつなぐ意識」で犠飛
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
吉住、なぜかR-1グランプリの大爆笑ネタが炎上させられてしまう事態に
藤田ニコル「初めてした日」ゆうちゃみ「体位とかも全部」親に明かしたギャル的「性事情」に騒然
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
俳優の中尾彬さんが死去、81歳 幅広く活躍 トレードマークは「ねじねじ」 妻は池波志乃
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
大分妻子殺害の被告、身勝手な動機 遺族は傍聴席の柵越え憤慨
東京・品川の住宅で母子4人死亡、首や胸に刃物の傷 父は煙吸い込む
自称「カトパン」似の100キロ女芸人、ブラトップ姿でダンス「躍動する脂肪、頼りない足首」
【ヤクルト】今季ワースト5連敗 高津監督バッサリ「解説しようがない」高橋奎二5回途中4失点
植村あかり4冊目の写真集発売「夢のような1冊」6月の卒コンへ「曲数は“23”にしたい」
【阪神】大山悠輔2戦連続V打点もその後好機に凡退反省「追加点取れるチャンスいっぱいあった」
【阪神】岡田監督「やられるパターンやけどな」1万試合目「岡田の野球」で貯金今季最多の7に
父は元広島投手、19歳美女タレントが始球式登板に感謝 九里亜蓮とのツーショットも公開
【阪神】森下翔太「見ながら追えた」大飛球フェンスギリギリ好捕「大山さんにつなぐ意識」で犠飛