1エクサフロップのAI演算と120ペタフロップの高密度演算を実現するAndromedaは、これまでで最大級のAIスーパーコンピュータであり、極めてシンプルに利用が可能

カリフォルニア州サニーベール--(BUSINESS WIRE)--（ビジネスワイヤ） -- 2022年11月14日 - 人工知能(AI)コンピューティングの高速化のパイオニアであるCerebras Systemsは、本日、1,350万コアのAIスーパーコンピュータ「Andromeda」を発表し、商業および学術研究向けに販売を開始しました。16台のCerebras CS-2システムで構成され、Cerebras MemoryXおよびSwarmXテクノロジーを活用したAndromedaは、16ビット半精度で1エクサフロップ以上のAIコンピューティングと120ペタフロップの高密度コンピューティングを実現します。また、大規模な言語モデルのワークロードにおいて、単純なデータ並列処理のみで完璧に近いリニアスケーリングを実証した唯一のAIスーパーコンピュータです。



1,350万以上のAI最適化コンピュート・コアと18,176個の第3世代AMD EPYC™プロセッサーを備えたAndromedaは、1,953個のNvidia A100 GPUよりも多くのコア、そして、870万コアを有する世界最大のスーパーコンピューターFrontierの1.6倍のコアを搭載しています。GPT-3、GPT-J、GPT-NeoXなどのGPTクラスの大規模言語モデルにおいて、単純なデータ並列処理により、ほぼ完璧なスケーラビリティを実現することができます。

完璧に近いスケーリングとは、CS-2を追加使用すればするほど、学習時間がほぼ完璧な割合で短縮されることを意味します。これは、GPUでは不可能な、非常に大きなシーケンス長を持つ大規模な言語モデルも含みます。実際、GPUでは不可能な作業は、Andromedaの最初のユーザーの1人が実証しており、GPT-Jで25億と250億のパラメータで、長い配列長--MSLは10,240でほぼ完璧なスケーリングを達成しました。このユーザーは、2,000台のNvidia A100クラスタであるPolarisで同じ作業を行おうとしましたが、GPUメモリとメモリバンド幅の制限により、GPUは作業を行うことができませんでした。

Andromedaへのアクセスは現在可能で、顧客や学術研究者はすでに実際のワークロードを実行し、以下のような主要なAIスーパーコンピュータの並外れた能力から価値を引き出しています:

  • アルゴンヌ国立研究所:「Cerebrasの研究者と協力して、アルゴンヌのチームは遺伝子変換に関する先駆的な研究を完成させました。この研究は、ACM Gordon Bell Special Prize for HPC-Based COVID-19 Researchのファイナリストに選ばれています。GPT3-XLを使用して、COVID-19ゲノム全体をシーケンスウィンドウに入れ、Andromedaは1、2、4、8、16ノードで長いシーケンス長(MSL 10K)の独自の遺伝子ワークロードを、ほぼ完璧な線形スケーリングで走らせたのです。リニアスケーリングは、大規模クラスタに最も求められる特性の1つですが、Cerebras Andromedaは、16台のCS-2システムで、1台のCS-2と比較して15.87倍のスループットと、それに匹敵するトレーニング時間の短縮を達成しました。Andromedaは、AIアクセラレータの性能に新たな水準を設定します」と、アルゴンヌ国立研究所のリック・スティーブンス副所長は述べています。
  • JasperAI:「Jasperは大規模な言語モデルを使って、マーケティング、広告、書籍などのコピーを書いています。私たちのモデルを使用して、感動的なコンテンツやアイデアを生成している85,000人以上のお客様がいます。 大規模で増え続ける顧客ベースを踏まえ、各顧客とそのユースケースにフィットしたモデルのテストとスケーリングを模索しています。複雑な新しいAIシステムを作成し、それを粒度を上げてお客様に提供することは、私たちのインフラに多くのことを要求しています。次のモデルの設計と最適化において、Cerebrasと提携し、従来の分散コンピューティングや並列プログラミングの痛みを伴わないAndromedaの性能とほぼ完璧なスケーリングを活用できることに興奮しています」と、JasperAIのCEOであるDave Rogenmoserは述べています。
  • AMD:「AMDは、広範なAIへの道を開き、企業の新たな効率性と俊敏性の能力を引き出す技術に投資しています。Cerebras Andromeda AIスーパーコンピューターとAMD EPYC搭載サーバーによるデータ前処理パイプラインを組み合わせることで、研究者の手により多くの能力を与え、より速く、より深いAI能力をサポートします」と、AMDのソフトウェア＆システム事業開発部門コーポレート・バイスプレジデントのKumaran Sivaは述べています
  • ケンブリッジ大学: 「Cerebrasが大学院生にこれほど大きなクラスターを無償で提供したことは、並外れたことです。Andromedaは、1350万個のAIコアと、最大規模の言語モデルに対してほぼ完璧な線形スケーリングを実現し、分散計算や並列プログラミングの苦痛を伴わないのです。これはMLの大学院生にとって夢です」と、英国ケンブリッジ大学の博士課程に在籍するMateo Espinosa氏は述べています。

Andromedaの最大規模の自然言語処理モデルに対するほぼ完璧なスケーリングは、業界最大かつ最もパワフルなプロセッサである第2世代のCerebras Wafer Scale Engine（WSE-2）、CerebrasのMemoryXおよびSwarm Xテクノロジーによって実現されています。 MemoryXは、CS-2 1台で数兆個のパラメータ・モデルをサポートすることを可能にします。SwarmXテクノロジーは、MemoryXをCS-2のクラスターにリンクさせます。これらの業界をリードする技術により、Cerebrasの大規模クラスターは、現代のAI研究に使用されている従来のクラスターを悩ませる2つの大きな課題、すなわち並列プログラミングの複雑さと分散コンピューティングによる性能低下を回避することが可能になっています。

Andromedaを駆動する16台のCS-2は、厳格なデータ並列モードで動作し、シンプルで簡単なモデル配布と、1台から16台までのCS-2のシングルキーストロークスケーリングが可能です。実際、AndromedaへのAIジョブの送信は、Jupyterノートブックから素早く簡単に行うことができ、ユーザーは数回のキーストロークで1つのモデルから別のモデルへ切り替えることが可能です。Andromedaの16台のCS-2は、コードに変更を加えることなく、3日程度で構築され、その後すぐに16台すべてのシステムでワークロードがリニアに拡張されました。また、CS-2の心臓部であるCerebras WSE-2プロセッサは、GPUの1,000倍のメモリバンド幅を持っているため、構造化および非構造化スパース、さらに静的および動的スパースを利用することが可能です。これらは、GPUを含む他のハードウェアアクセラレータでは不可能なことです。その結果、Cerebrasは90%を超えるスパースで、最先端の精度でモデルを学習させることができるのです。

Andromedaは複数のユーザーで同時に使用することができます。ユーザーは、AndromedaのCS-2を何台使用するかを数秒で簡単に指定することができます。つまり、1人のユーザーが1つのジョブを行うために16台のCS-2スーパーコンピュータクラスタとして利用することも、16人のユーザーが16種類のジョブを行うために16台のCS-2システムを利用することも、その中間の組み合わせで利用することも可能なのです。

Andromedaは、カリフォルニア州サンタクララにある、高性能データセンターの代表格であるColovoreの16ラックに配備されています。16台のCS-2システムには、合計1350万個のAI最適化コアが搭載されており、284個の64コアAMD第3世代EPYCプロセッサーが供給されています。MemoryXパラメータ・ストレージ・ソリューションを16台のCS-2に接続するSwarmXファブリックは、96.8テラビット以上の帯域幅を提供します。勾配累積(gradient accumulation)により、Andromedaはあらゆるバッチサイズに対応することが可能です。

Cerebras Andromedaスーパーコンピュータの詳細については、www.cerebras.net/andromeda をご覧ください。

Cerebras Systemsについて

Cerebras Systemsは、先駆的なコンピューターアーキテクト、コンピューター科学者、ディープラーニングの研究者、あらゆるタイプのエンジニアが集まり、新しいクラスのコンピューターシステムを構築するために集まったチームです。そのシステムは、AIを加速させ、AI作業の未来を永遠に変えるという唯一の目的のために設計されており、お客様がディープラーニング作業を桁違いに加速させることを可能にします。

本記者発表文の公式バージョンはオリジナル言語版です。翻訳言語版は、読者の便宜を図る目的で提供されたものであり、法的効力を持ちません。翻訳言語版を資料としてご利用になる際には、法的効力を有する唯一のバージョンであるオリジナル言語版と照らし合わせて頂くようお願い致します。


Contacts

メディア担当:
Kim Ziesemer
Email: pr@zmcommunications.com

情報提供元： ビジネスワイヤ
記事名：「 Cerebrasが大規模言語モデルのリニアスケーリングをほぼ完璧に実現する1350万コアのAIスーパーコンピュータ「Andromeda」を発表 」