自動並列化深層学習ミドルウェアRaNNCがPyTorch Annual Hackathon 2021においてFirst Place(第1位)を受賞
国立研究開発法人情報通信研究機構(NICT)
国立大学法人東京大学
国立研究開発法人情報通信研究機構(NICT、理事長: 徳田 英幸)データ駆動知能システム研究センター(DIRECT)と国立大学法人東京大学(総長: 藤井 輝夫)情報基盤センターが共同で開発した自動並列化深層学習ミドルウェアRaNNC(ランク、Rapid Neural Network Connector)が、PyTorch Annual Hackathon 2021において、First Place(第1位、PyTorch Developer Tools &Libraries部門)を受賞しました。
PyTorch Annual Hackathonは、世界中で広く使用される深層学習の代表的ソフトウェアPyTorchに関する成果を競うイベントとして、PyTorchの開発元であるFacebookが公式に開催する唯一のイベントであり、世界中から数多くの参加者を集めています。今回受賞したミドルウェアRaNNCは、PyTorchの従来機能では困難であった大規模ニューラルネットワークの学習を、飛躍的に簡単化するものです。RaNNCはオープンソースで一般公開されており、ダウンロードしていただくことで、商用目的を含め無償でご利用いただけます。
【画像:https://kyodonewsprwire.jp/img/202112064480-O5-lpL4oz0j】
PyTorch Annual Hackathonは、深層学習で使うニューラルネットワークを記述するためのフレームワークであるPyTorchを使用したソフトウェアや機械学習モデルを開発するイベントです。PyTorchに関する成果を競うイベントとして、PyTorchの開発元であるFacebookが公式に開催する唯一のものであり、2019年から年に1度開催されています。今年は世界各国から1,947人が参加し、65件の応募がありました。
RaNNCは、大規模なニューラルネットワークを自動で分割し、複数のGPUを用いた並列処理によって高速に学習するためのミドルウェアです。大規模ニューラルネットワークの学習では、学習パラメータがGPUメモリに収まらないため、ニューラルネットワークを分割して複数のGPU上で並列処理する必要があります。そのため、従来は、ニューラルネットワークの分割や、並列処理の速度を考慮したニューラルネットワークの記述を人手で行う必要があり、多くの手間と専門知識が必要とされました。一方、RaNNCは、単一のGPUを使用することを想定した、並列化を考慮しないニューラルネットワーク記述を与えると、GPUメモリに収まり、かつ並列処理によって高い学習速度が得られるようにニューラルネットワークを自動で分割するため、大規模ニューラルネットワークの学習を大幅に容易化できます。
RaNNCは2021年3月から一般公開されていますが、PyTorch Annual Hackathon 2021への応募に当たって、新機能を追加しました。具体的には、大規模ニューラルネットワーク学習に必要となるGPUメモリを削減するため、学習パラメータの多くをより大きなメインメモリに配置しておき、GPUを用いた計算が必要となるタイミングで、必要なデータのみをGPUのメモリに移す機能を実現しました。これにより、より小さなGPUメモリで、大規模ニューラルネットワークの学習が可能となりました。
RaNNCは情報通信研究機構と東京大学の共同研究として開発されました。受賞の対象者は以下のとおりです。
【表:https://kyodonewsprwire.jp/prwfile/release/M101990/202112064480/_prw_PT1fl_744S6WO5.png】
これまでにRaNNCを用いて、1,000億パラメータ規模のニューラルネットワークの学習の自動並列化が実現できています。従来、こうした規模のニューラルネットワークの学習は、元々は並列化を考慮せずに記述されたニューラルネットワークの記述を、専門の技術者が大幅に改変することで実現されており、その改変のコストは大きなものでした。一方RaNNCは、並列化を一切考慮せず、単一のGPUを使用する想定で記述されたニューラルネットワークの学習を、自動的に並列化し、高速な学習を実現できています。これによって、並列処理向けのニューラルネットワークの記述の改変が不要となり、より低コスト・短時間で大規模なニューラルネットワークの並列での学習を可能にします。
また、大規模ニューラルネットワーク学習のための主要な既存ソフトウェアは、Transformer等、特定の種類のニューラルネットワークにしか適用できない一方で、RaNNCは基本的にニューラルネットワークの種類を選ばず適用可能であるという特長があります。
RaNNCは、ソースコードや利用例と共に、GitHubで公開されています(URL: https://github.com/nict-wisdom/rannc)。ライセンスはMITライセンスとしており、商用目的を含め、無償で利用できます。
大谷翔平「2番DH」ロッキーズ初登板の山本由伸を援護できるか 相手先発は右腕クワントリル
ロースステーキやハラミステーキが税込1000円!コスパ最強なステーキハウス店オープン!
レモンサワー60分550円で飲み放題!焼肉がたらふく食べれる焼肉屋オープン
パリ五輪水球男子 吉川晃司が監督のドリームチームと14日壮行試合「この対戦から刺激をもらって」
トランプ氏、元不倫相手への「口止め料」裁判有罪評決後の24時間で寄付金82億円集める
ドジャース・カーショー「いい感じだね」ライブBPを実施 左肩手術から復帰を目指す
3種のミント香るクーリングミスト!「john masters organics」夏季限定発売
【3日の虎に翼】裁判官として雇ってもらうため司法省に来た寅子、人事課にいたのは桂場だった
焼肉が3058円から食べ放題!定番から希少部位まで味わえる人気焼肉専門店が新装開店
長塚京三「多分、天職」仏映画デビューから俳優人生50年、78歳今もスタイリッシュで格好良い
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
大原櫻子、ガーシー暴露後初のSNS投稿に賛否の声「イメージ最悪になった」
「暴露します」松本人志飲み会参加セクシー女優「衝撃作」発売「言えなくてずっと溜めてた」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
浜崎あゆみ、子供の写真公開に疑いの声止まず「よそのお宅の子供?」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
漫才師の今くるよさん死去 膵がんのため
大谷翔平被弾投手が悪態ついて退場処分!次打者フリーマンと対戦中に判定巡り塁審と口論
金正恩の妹・金与正関連のネタ投稿がTwitterで大量に出回る
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
大原櫻子、ガーシー暴露後初のSNS投稿に賛否の声「イメージ最悪になった」
大谷翔平「2番DH」ロッキーズ初登板の山本由伸を援護できるか 相手先発は右腕クワントリル
ロースステーキやハラミステーキが税込1000円!コスパ最強なステーキハウス店オープン!
レモンサワー60分550円で飲み放題!焼肉がたらふく食べれる焼肉屋オープン
パリ五輪水球男子 吉川晃司が監督のドリームチームと14日壮行試合「この対戦から刺激をもらって」
トランプ氏、元不倫相手への「口止め料」裁判有罪評決後の24時間で寄付金82億円集める
ドジャース・カーショー「いい感じだね」ライブBPを実施 左肩手術から復帰を目指す
3種のミント香るクーリングミスト!「john masters organics」夏季限定発売
【3日の虎に翼】裁判官として雇ってもらうため司法省に来た寅子、人事課にいたのは桂場だった
焼肉が3058円から食べ放題!定番から希少部位まで味わえる人気焼肉専門店が新装開店
長塚京三「多分、天職」仏映画デビューから俳優人生50年、78歳今もスタイリッシュで格好良い