自動並列化深層学習ミドルウェアRaNNC(ランク)をオープンソースで公開
2021年3月31日
国立研究開発法人情報通信研究機構(NICT)
国立大学法人東京大学
ポイント
■ 自動並列化深層学習ミドルウェアRaNNCを開発、オープンソースで公開開始
■ 高度な知識と大きな作業コストを要する大規模ニューラルネットワークの学習が飛躍的に簡単に
■ 深層学習の大規模化を容易にし、多様なAIシステムの更なる性能向上が期待される
国立研究開発法人情報通信研究機構(NICT、理事長: 徳田 英幸)と国立大学法人東京大学(総長: 五神 真)は、自動並列化深層学習ミドルウェアRaNNC(Rapid Neural Net Connector)を開発し、2021年3月31日に公開を開始しました。近年、大規模化が進んだ深層学習におけるニューラルネットワークの学習では、複雑なネットワークの定義を書き換え、GPUのメモリに収まるように人手で分割する必要がありました。今回公開するRaNNCは、ニューラルネットワークを自動的に分割することにより、複数のGPUを用いた並列学習を容易に実現します。大規模ニューラルネットワークの定義を書き換えずに分割を自動化できるソフトウェアは、世界にも例がありません。
RaNNCのソースコードはGitHubに公開されます(URL: https://github.com/nict-wisdom/rannc)。ライセンスはMITライセンスであり、ダウンロードしていただければ、商用目的を含め、無償でご利用いただけます。
背景
近年の研究で、深層学習において、ニューラルネットワークの大規模化が大幅な性能向上をもたらすことが知られるようになり、これまでにない大規模なニューラルネットワークが次々に提案されています。深層学習では、計算の高速化のためGPUを用いることが一般的ですが、2020年に提案されたGPT-3規模のニューラルネットワークの学習には、数千枚のGPUが必要とされています。このような大規模ニューラルネットワークによる深層学習の高性能化には、大量のGPUを効率よく使用できる、大規模ニューラルネットワークの並列計算の技術が重要になります。
従来の大規模ニューラルネットワークの学習では、GPUのメモリに収まるようにニューラルネットワークを分割するため、複雑なニューラルネットワークの定義を大幅に書き換える必要がありました。しかし、これには高度な知識と大きな作業コストを要するため、これまで大規模ニューラルネットワークの学習を実施できる組織はごく限られていました。
今回の成果
今回公開するRaNNCは、大規模ニューラルネットワークの学習を容易にするためのミドルウェアで、NICTデータ駆動知能システム研究センターと東京大学情報基盤センターとの共同研究によって開発されました。
【画像:https://kyodonewsprwire.jp/img/202103313104-O1-6F39F7Ty】
RaNNCは、代表的な深層学習ソフトウェアであるPyTorchのために記述された既存のニューラルネットワークの定義を与えられると、実行速度を最適化しつつ、各々のGPUのメモリに収まるように、自動的にニューラルネットワークを分割した上で、データ並列・モデル並列のハイブリッドによって、複数のGPUを使い並列に学習を行います(図1参照)。開発者がニューラルネットワークの定義を書き換えて分割できるようにする必要がないため、大規模ニューラルネットワークの学習が飛躍的に容易になります。また、既存ソフトウェアのMegatron-LMやMesh-TensorFlowは、BERT等の特定のタイプのニューラルネットワークにしか使用できないという制限がありますが、RaNNCは適用できるニューラルネットワークの種類に基本的に制限がないという点で優れています。
NICTの計算機環境における比較実験では、RaNNCはMegatron-LMより約5倍の規模のニューラルネットワークの学習が可能な一方、同一の規模のニューラルネットワークでは、ほぼ同等の学習速度を実現しています。なお、この成果は、並列分散処理分野におけるトップレベルの国際会議であるIPDPS(IEEE International Parallel and Distributed Processing Symposium)に採択されています。また、RaNNCの概要は、GPU テクノロジカンファレンス(GTC)(2021年4月12-16日開催)で発表予定です。
NICTデータ駆動知能システム研究センターでは、これまで収集してきた高品質な日本語テキスト約350 GBを学習データとし、RaNNCを用いて、BERTを約50億パラメータ(原論文の15倍)に大規模化したニューラルネットワークを学習しています。こうした規模のニューラルネットワークを、ネットワークの定義を書き換えて分割できるようにする手間なしに、自動分割し、並列で学習させるソフトウェアは、我々の知る限り世界にも例がありません。
RaNNCのソースコードは、GitHubに公開されます。ライセンスはMITライセンスのため、ダウンロードしていただければ、商用目的を含め、無償でご利用いただけます。(URL: https://github.com/nict-wisdom/rannc)
今後の展望
NICTデータ駆動知能システム研究センターでは、大規模Web情報分析システムWISDOM X、高齢者介護用マルチモーダル音声対話システムMICSUS、次世代音声対話システムWEKDA、対災害情報分析システムDISAANA、災害状況要約システムD-SUMMなど多数のシステムを開発し、一般公開や民間企業へのライセンスを行っています。これらのシステムでは様々なニューラルネットワークが使用されていますが、RaNNCを用いて学習された、より大規模ニューラルネットワークをこれらのシステムで利用することで、更なる性能向上が期待されます。
また、RaNNCはオープンソースソフトウェアとしてMITライセンスで一般公開されるため、深層学習を用いたシステムを開発する多くの組織で、大規模なニューラルネットワークの学習が可能になり、様々な技術や製品、サービスの開発が幅広く促進されることが期待されます。
各機関の役割分担
・NICT: RaNNC全体の開発、動作検証、評価
・東京大学: RaNNCの高速化
トランプ氏が「げす野郎」と呼ぶ元腹心 不倫口止め裁判で証言へ
ダルビッシュ有が今季最多101球で7回2安打7K無失点 勝てば節目の日米200勝へリーチ
ロバーツ監督「13連戦の半ばだし休養日とらせるつもりだった」大谷翔平ベンチスタートの経緯語る
シリーズ王道の「猿の惑星 キングダム」 オリジナル第1作で見たあの景色が
ダルビッシュが初回から快投 日米通算199勝目の権利 5回2死でパーフェクト途切れるも
【阪神】「日曜日の男」才木浩人「母の日」にチーム生き返らせる初完封「勝ちました~」感謝叫ぶ
立大の昨夏甲子園準V左腕・田中優飛がデビュー、仙台育英時代のチームメートに触発
ダルビッシュが5回2死までパーフェクトピッチング続けるも初安打許す 後続打ち取り白星権利
【とっておきメモ】阪神才木浩人の直球に隠された緻密な回転軸「腕の振りをイメージしやすい」
原菜乃華がフジ「世にも奇妙な物語」でGP帯ドラマ初主演「小さい頃から何度もオーディションに」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
曙と熱愛した相原勇(52)の現在が衝撃的すぎると話題に
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
55歳森口博子「だっちゅーの」鮮やかビキニ姿披露にX歓喜「破壊力ハンパない」「スゴすぎ」
「ふてほど」25歳女優“薔薇ブラ”でポロリ寸前?過激衣装に「見えちゃう」「刺激強すぎ」
大物炎上系ユーチューバー”衝撃の預金残高”公開「すげぇ」「エグい」驚きの声
水原一平容疑者 最高刑「懲役33年」トレンド入り 「人生詰んだ」「稀代の詐欺師」の声
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
深夜のファミリーマート徘徊、必ず入っている「フエラムネのミニチュアおもちゃ付」を探し求めた結果……
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
ガーシー、佐野ひなこの暴露を示唆でネット騒然「ファンだったのに」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
トランプ氏が「げす野郎」と呼ぶ元腹心 不倫口止め裁判で証言へ
ダルビッシュ有が今季最多101球で7回2安打7K無失点 勝てば節目の日米200勝へリーチ
ロバーツ監督「13連戦の半ばだし休養日とらせるつもりだった」大谷翔平ベンチスタートの経緯語る
シリーズ王道の「猿の惑星 キングダム」 オリジナル第1作で見たあの景色が
ダルビッシュが初回から快投 日米通算199勝目の権利 5回2死でパーフェクト途切れるも
【阪神】「日曜日の男」才木浩人「母の日」にチーム生き返らせる初完封「勝ちました~」感謝叫ぶ
立大の昨夏甲子園準V左腕・田中優飛がデビュー、仙台育英時代のチームメートに触発
ダルビッシュが5回2死までパーフェクトピッチング続けるも初安打許す 後続打ち取り白星権利
【とっておきメモ】阪神才木浩人の直球に隠された緻密な回転軸「腕の振りをイメージしやすい」
原菜乃華がフジ「世にも奇妙な物語」でGP帯ドラマ初主演「小さい頃から何度もオーディションに」