自動並列化深層学習ミドルウェアRaNNC(ランク)をオープンソースで公開
2021年3月31日
国立研究開発法人情報通信研究機構(NICT)
国立大学法人東京大学
ポイント
■ 自動並列化深層学習ミドルウェアRaNNCを開発、オープンソースで公開開始
■ 高度な知識と大きな作業コストを要する大規模ニューラルネットワークの学習が飛躍的に簡単に
■ 深層学習の大規模化を容易にし、多様なAIシステムの更なる性能向上が期待される
国立研究開発法人情報通信研究機構(NICT、理事長: 徳田 英幸)と国立大学法人東京大学(総長: 五神 真)は、自動並列化深層学習ミドルウェアRaNNC(Rapid Neural Net Connector)を開発し、2021年3月31日に公開を開始しました。近年、大規模化が進んだ深層学習におけるニューラルネットワークの学習では、複雑なネットワークの定義を書き換え、GPUのメモリに収まるように人手で分割する必要がありました。今回公開するRaNNCは、ニューラルネットワークを自動的に分割することにより、複数のGPUを用いた並列学習を容易に実現します。大規模ニューラルネットワークの定義を書き換えずに分割を自動化できるソフトウェアは、世界にも例がありません。
RaNNCのソースコードはGitHubに公開されます(URL: https://github.com/nict-wisdom/rannc)。ライセンスはMITライセンスであり、ダウンロードしていただければ、商用目的を含め、無償でご利用いただけます。
背景
近年の研究で、深層学習において、ニューラルネットワークの大規模化が大幅な性能向上をもたらすことが知られるようになり、これまでにない大規模なニューラルネットワークが次々に提案されています。深層学習では、計算の高速化のためGPUを用いることが一般的ですが、2020年に提案されたGPT-3規模のニューラルネットワークの学習には、数千枚のGPUが必要とされています。このような大規模ニューラルネットワークによる深層学習の高性能化には、大量のGPUを効率よく使用できる、大規模ニューラルネットワークの並列計算の技術が重要になります。
従来の大規模ニューラルネットワークの学習では、GPUのメモリに収まるようにニューラルネットワークを分割するため、複雑なニューラルネットワークの定義を大幅に書き換える必要がありました。しかし、これには高度な知識と大きな作業コストを要するため、これまで大規模ニューラルネットワークの学習を実施できる組織はごく限られていました。
今回の成果
今回公開するRaNNCは、大規模ニューラルネットワークの学習を容易にするためのミドルウェアで、NICTデータ駆動知能システム研究センターと東京大学情報基盤センターとの共同研究によって開発されました。
【画像:https://kyodonewsprwire.jp/img/202103313104-O1-6F39F7Ty】
RaNNCは、代表的な深層学習ソフトウェアであるPyTorchのために記述された既存のニューラルネットワークの定義を与えられると、実行速度を最適化しつつ、各々のGPUのメモリに収まるように、自動的にニューラルネットワークを分割した上で、データ並列・モデル並列のハイブリッドによって、複数のGPUを使い並列に学習を行います(図1参照)。開発者がニューラルネットワークの定義を書き換えて分割できるようにする必要がないため、大規模ニューラルネットワークの学習が飛躍的に容易になります。また、既存ソフトウェアのMegatron-LMやMesh-TensorFlowは、BERT等の特定のタイプのニューラルネットワークにしか使用できないという制限がありますが、RaNNCは適用できるニューラルネットワークの種類に基本的に制限がないという点で優れています。
NICTの計算機環境における比較実験では、RaNNCはMegatron-LMより約5倍の規模のニューラルネットワークの学習が可能な一方、同一の規模のニューラルネットワークでは、ほぼ同等の学習速度を実現しています。なお、この成果は、並列分散処理分野におけるトップレベルの国際会議であるIPDPS(IEEE International Parallel and Distributed Processing Symposium)に採択されています。また、RaNNCの概要は、GPU テクノロジカンファレンス(GTC)(2021年4月12-16日開催)で発表予定です。
NICTデータ駆動知能システム研究センターでは、これまで収集してきた高品質な日本語テキスト約350 GBを学習データとし、RaNNCを用いて、BERTを約50億パラメータ(原論文の15倍)に大規模化したニューラルネットワークを学習しています。こうした規模のニューラルネットワークを、ネットワークの定義を書き換えて分割できるようにする手間なしに、自動分割し、並列で学習させるソフトウェアは、我々の知る限り世界にも例がありません。
RaNNCのソースコードは、GitHubに公開されます。ライセンスはMITライセンスのため、ダウンロードしていただければ、商用目的を含め、無償でご利用いただけます。(URL: https://github.com/nict-wisdom/rannc)
今後の展望
NICTデータ駆動知能システム研究センターでは、大規模Web情報分析システムWISDOM X、高齢者介護用マルチモーダル音声対話システムMICSUS、次世代音声対話システムWEKDA、対災害情報分析システムDISAANA、災害状況要約システムD-SUMMなど多数のシステムを開発し、一般公開や民間企業へのライセンスを行っています。これらのシステムでは様々なニューラルネットワークが使用されていますが、RaNNCを用いて学習された、より大規模ニューラルネットワークをこれらのシステムで利用することで、更なる性能向上が期待されます。
また、RaNNCはオープンソースソフトウェアとしてMITライセンスで一般公開されるため、深層学習を用いたシステムを開発する多くの組織で、大規模なニューラルネットワークの学習が可能になり、様々な技術や製品、サービスの開発が幅広く促進されることが期待されます。
各機関の役割分担
・NICT: RaNNC全体の開発、動作検証、評価
・東京大学: RaNNCの高速化
吉住、なぜかR-1グランプリの大爆笑ネタが炎上させられてしまう事態に
綾瀬はるかものまねタレント、カナダへ留学を報告 16年前の写真公開し「元々が似てる」の声
Power Integrations は、1.2 kV ~ 2.3 kV の 「新しい デュアル」IGBT モジュール用のシングルボード プラグアンドプレイ ゲート ドライバを発表
宇野実彩子、沖縄旅行写真が大反響「全部可愛い」「旦那さんも一緒ですかー?」夫はNEWS小山
【ロッテ】初回5得点の猛攻で西武戦7連勝「この流れをキープして頑張っていきたい」吉井監督
【西武」6連敗で借金15 今井達也初回5失点 松井稼頭央監督「次に生かしてもらいたい」
【中日】12球団最多今季5度目の引き分け「点が取れない中で投手陣が粘ってくれた」立浪監督
【広島】新井監督「2人だけの秘密」岡田監督から「巨人3タテする秘訣」聞かれる/一問一答
【巨人】今季4度目引き分け「ピッチャーは責められません。チャンスで打てないだけで」阿部監督
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
吉野家が「マスク外し強要疑惑」でプチ炎上、店員さんに聞いてみると……
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
マンション刺殺、被害者は19歳大学生の女性 大阪・枚方
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
藤田ニコル「脱ぐ予定なかったのですが気づいたらノリノリで…」ヒョウ柄水着姿に大反響
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
吉住、なぜかR-1グランプリの大爆笑ネタが炎上させられてしまう事態に
綾瀬はるかものまねタレント、カナダへ留学を報告 16年前の写真公開し「元々が似てる」の声
Power Integrations は、1.2 kV ~ 2.3 kV の 「新しい デュアル」IGBT モジュール用のシングルボード プラグアンドプレイ ゲート ドライバを発表
宇野実彩子、沖縄旅行写真が大反響「全部可愛い」「旦那さんも一緒ですかー?」夫はNEWS小山
【ロッテ】初回5得点の猛攻で西武戦7連勝「この流れをキープして頑張っていきたい」吉井監督
【西武」6連敗で借金15 今井達也初回5失点 松井稼頭央監督「次に生かしてもらいたい」
【広島】新井監督「2人だけの秘密」岡田監督から「巨人3タテする秘訣」聞かれる/一問一答
【中日】12球団最多今季5度目の引き分け「点が取れない中で投手陣が粘ってくれた」立浪監督
【巨人】今季4度目引き分け「ピッチャーは責められません。チャンスで打てないだけで」阿部監督
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた