自動並列化深層学習ミドルウェアRaNNCがPyTorch Annual Hackathon 2021においてFirst Place(第1位)を受賞
国立研究開発法人情報通信研究機構(NICT)
国立大学法人東京大学
国立研究開発法人情報通信研究機構(NICT、理事長: 徳田 英幸)データ駆動知能システム研究センター(DIRECT)と国立大学法人東京大学(総長: 藤井 輝夫)情報基盤センターが共同で開発した自動並列化深層学習ミドルウェアRaNNC(ランク、Rapid Neural Network Connector)が、PyTorch Annual Hackathon 2021において、First Place(第1位、PyTorch Developer Tools &Libraries部門)を受賞しました。
PyTorch Annual Hackathonは、世界中で広く使用される深層学習の代表的ソフトウェアPyTorchに関する成果を競うイベントとして、PyTorchの開発元であるFacebookが公式に開催する唯一のイベントであり、世界中から数多くの参加者を集めています。今回受賞したミドルウェアRaNNCは、PyTorchの従来機能では困難であった大規模ニューラルネットワークの学習を、飛躍的に簡単化するものです。RaNNCはオープンソースで一般公開されており、ダウンロードしていただくことで、商用目的を含め無償でご利用いただけます。
【画像:https://kyodonewsprwire.jp/img/202112064480-O5-lpL4oz0j】
PyTorch Annual Hackathonは、深層学習で使うニューラルネットワークを記述するためのフレームワークであるPyTorchを使用したソフトウェアや機械学習モデルを開発するイベントです。PyTorchに関する成果を競うイベントとして、PyTorchの開発元であるFacebookが公式に開催する唯一のものであり、2019年から年に1度開催されています。今年は世界各国から1,947人が参加し、65件の応募がありました。
RaNNCは、大規模なニューラルネットワークを自動で分割し、複数のGPUを用いた並列処理によって高速に学習するためのミドルウェアです。大規模ニューラルネットワークの学習では、学習パラメータがGPUメモリに収まらないため、ニューラルネットワークを分割して複数のGPU上で並列処理する必要があります。そのため、従来は、ニューラルネットワークの分割や、並列処理の速度を考慮したニューラルネットワークの記述を人手で行う必要があり、多くの手間と専門知識が必要とされました。一方、RaNNCは、単一のGPUを使用することを想定した、並列化を考慮しないニューラルネットワーク記述を与えると、GPUメモリに収まり、かつ並列処理によって高い学習速度が得られるようにニューラルネットワークを自動で分割するため、大規模ニューラルネットワークの学習を大幅に容易化できます。
RaNNCは2021年3月から一般公開されていますが、PyTorch Annual Hackathon 2021への応募に当たって、新機能を追加しました。具体的には、大規模ニューラルネットワーク学習に必要となるGPUメモリを削減するため、学習パラメータの多くをより大きなメインメモリに配置しておき、GPUを用いた計算が必要となるタイミングで、必要なデータのみをGPUのメモリに移す機能を実現しました。これにより、より小さなGPUメモリで、大規模ニューラルネットワークの学習が可能となりました。
RaNNCは情報通信研究機構と東京大学の共同研究として開発されました。受賞の対象者は以下のとおりです。
【表:https://kyodonewsprwire.jp/prwfile/release/M101990/202112064480/_prw_PT1fl_744S6WO5.png】
これまでにRaNNCを用いて、1,000億パラメータ規模のニューラルネットワークの学習の自動並列化が実現できています。従来、こうした規模のニューラルネットワークの学習は、元々は並列化を考慮せずに記述されたニューラルネットワークの記述を、専門の技術者が大幅に改変することで実現されており、その改変のコストは大きなものでした。一方RaNNCは、並列化を一切考慮せず、単一のGPUを使用する想定で記述されたニューラルネットワークの学習を、自動的に並列化し、高速な学習を実現できています。これによって、並列処理向けのニューラルネットワークの記述の改変が不要となり、より低コスト・短時間で大規模なニューラルネットワークの並列での学習を可能にします。
また、大規模ニューラルネットワーク学習のための主要な既存ソフトウェアは、Transformer等、特定の種類のニューラルネットワークにしか適用できない一方で、RaNNCは基本的にニューラルネットワークの種類を選ばず適用可能であるという特長があります。
RaNNCは、ソースコードや利用例と共に、GitHubで公開されています(URL: https://github.com/nict-wisdom/rannc)。ライセンスはMITライセンスとしており、商用目的を含め、無償で利用できます。
高市早苗氏、総務会長の打診を固辞 「閣僚も受けるつもりない」
明石家さんま、犬散歩中の小泉進次郎氏夫妻に声かけたら「ブワーッてSP出てきて…」警護に驚き
ブライトン三笘、フル出場も得点ならずチェルシーに敗れる FWパーマー史上初の前半だけで4発
フライブルク堂安律、2試合連続ゴールはVARで取り消し 昇格組のザンクトパウリに3失点敗戦
「青汁劇場?」三崎優太氏が暴走、金策電話完了→ヤケで女買う「人間失格、どうせ終わるんだし」
明石家さんま、石破茂新総裁に「もうちょっと、はよしゃべれ!」バラエティーでの“出会い“語る
【広島】2位町田との天王山を2-0で制し「シーズンダブル」達成 15年以来の優勝へ1歩前進
Number_i岸優太 29歳誕生日ジャストにメンバーからのメール報告 ファンもほっこり
Rソシエダード久保建英がバレンシア戦で先制ゴール 6試合ぶり今季2点目
へずまりゅう「打倒粗品」宣言の「M-1」予選出場辞退発表 数日前には活動休止を1日で撤回
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
ダンプ松本(61)の現在が色々と崩壊、衝撃的なブログ内容も
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
東国原英夫氏、総選挙「下手すると支持率70%になる」人物を実名告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
松本人志飲み会参加セクシー女優、さらなる誹謗中傷メッセージ公開「私は強くない…もう無理」
兵庫・斎藤知事「正直ずっと苦しかった」 進退は「だいぶ固まった」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ヒロシ&キーボーの山田喜代子容疑者 万引きで逮捕
多部未華子(30)結婚の裏事情あまりにも恐ろしすぎると話題に!
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
ダンプ松本(61)の現在が色々と崩壊、衝撃的なブログ内容も
高市早苗氏、総務会長の打診を固辞 「閣僚も受けるつもりない」
明石家さんま、犬散歩中の小泉進次郎氏夫妻に声かけたら「ブワーッてSP出てきて…」警護に驚き
ブライトン三笘、フル出場も得点ならずチェルシーに敗れる FWパーマー史上初の前半だけで4発
フライブルク堂安律、2試合連続ゴールはVARで取り消し 昇格組のザンクトパウリに3失点敗戦
「青汁劇場?」三崎優太氏が暴走、金策電話完了→ヤケで女買う「人間失格、どうせ終わるんだし」
明石家さんま、石破茂新総裁に「もうちょっと、はよしゃべれ!」バラエティーでの“出会い“語る
【広島】2位町田との天王山を2-0で制し「シーズンダブル」達成 15年以来の優勝へ1歩前進
Number_i岸優太 29歳誕生日ジャストにメンバーからのメール報告 ファンもほっこり
Rソシエダード久保建英がバレンシア戦で先制ゴール 6試合ぶり今季2点目
へずまりゅう「打倒粗品」宣言の「M-1」予選出場辞退発表 数日前には活動休止を1日で撤回