予測可能な定額制、ソリューションまでの時間の短縮、これまでにない柔軟性と使いやすさで、顧客はGPUでは不可能なシーケンス長のトレーニングやトレーニングしたウェイトの保持が可能に
カリフォルニア州サンディエゴおよびサニーベール--(BUSINESS WIRE)--（ビジネスワイヤ）- 人工知能(AI)コンピューティングの高速化のパイオニアであるCerebras Systemsと、自律走行車、NLP、コンピュータービジョンのワークフロー向け深層学習インフラソリューションを提供するCirrascale Cloud Services®は本日、Cerebras AI Model Studioを提供することを発表します。Cerebras Cloud @ Cirrascaleでホストされるこの新サービスにより、顧客はGPT-J、GPT-3、GPT-NeoXなどのGenerative Transformer（GPT）クラスのモデルを、新たに発表したAIスパコンAndromedaを含む業界トップクラスのCerebrasウェハースクラスター上でトレーニングすることが可能になります。
従来のクラウドプロバイダーは、大量のGPU間のレイテンシーを保証できないため、大規模な言語モデルの処理に苦労しています。レイテンシーが変動すると、大規模なAIモデルをGPUに分散させる際に複雑で時間がかかる課題が発生し、学習時間の振れ幅が大きくなります。Cerebras AI Model Studioは、これらの課題を克服しています。セットアップは迅速かつ簡単で、専用CS-2のクラスタが確定的なレイテンシーを保証し、クラスタはデータ並列化のみに依存するため、分散計算の作業は必要ありません。
大規模言語モデル(LLM)の学習は、困難かつ高価です。数十億のパラメータを持つモデルの学習には、GPUのクラスタと分散プログラミングやハイブリッドデータモデル並列処理の経験を持つエンジニアのチームが必要で、数ヶ月を要します。これは数百万ドルの投資であり、多くの企業には余裕がありません。
Model | Parameters (B) | Tokens to train to Chinchilla point (B) | Cerebras AI Model Studio days to train | Cerebras AI Model Studio price to train | ||||
GPT-3 XL | 1.3 | 26 | 0.4 | $2,500 | ||||
GPT-J | 6 | 120 | 8 | $45,000 | ||||
GPT-3 6.7B | 6.7 | 134 | 11 | $40,000 | ||||
T-5 11B | 11 | 34* | 9 | $60,000 | ||||
GPT-3 13B | 13 | 260 | 39 | $150,000 | ||||
GPT-NeoX | 20 | 400 | 47 | $525,000 | ||||
GPT 70B | 70 | 1,400 | 85 | $2,500,000 | ||||
GPT 175B | 175 | 3,500 | Call for quote | Call for quote |
*トークン数はT5論文の原文参照。Chinchillaのスケーリング法則は非適用。
Cerebras AI Model Studioは、従来のクラウドプロバイダーの半分のコストで、数行のコードでGPTクラスのモデルをトレーニングする機能をユーザーに提供します。ユーザーは、13億パラメータから最大1750億パラメータまでの最先端のGPTクラスモデルを選択でき、A100に比べて8倍の時間短縮でトレーニングを完了させることができます。
「Cerebrasの新しいAI Model Studioは、Cirrascaleとのパートナーシップを拡大し、当社の強力なCS-2クラスター上で数十億パラメータのNLPモデルへのアクセスを、予測可能で競争力のあるモデル・アズ・ア・サービス価格でお客様に提供することにより、AIの民主化をさらに進めます」と、Cerebras SystemsのCEO兼共同創業者のAndrew Feldmanは述べ、更に「Cerebrasのミッションは、深層学習へのアクセスを拡大し、AIワークロードのパフォーマンスを急速に加速させることです。Cerebras AI Model Studioは、データセットをロードしてスクリプトを実行するだけで、これを容易かつ至極単純に実現します」と、コメントしています。
Cerebras AI Model Studioは、GPUでは不可能な作業を、世界で初めて完璧に近いリニアスケール性能で可能にしたCerebras Wafer-Scale Clusterへのクラウド・アクセスをユーザーに提供します。ユーザーは、最大16ノードのCerebras Wafer-Scale Clusterにアクセスし、最大50,000トークンという長いシーケンス長を使用してモデルをトレーニングすることができ、Cerebrasユーザーのみが利用できる機能で、刺激的な研究の新しい可能性を切り開くことが可能です。
Cirrascale Cloud ServicesのCEOであるPJ Goは、「企業や研究機関のお客様に、GPT クラスのモデルを 1 日もかからずにトレーニングできるCS-2アクセラレータを簡単かつ安価に提供できることを大変喜ばしく思っています」また、「私たちは、開発業務や分散プログラミングの必要性を排除し、10億から200億パラメータまで、プッシュボタンでモデルを拡張できる、非常にシンプルなプロセスを実現しました」と、述べています。
Cerebras Cloud @ Cirrascaleは、すべてのコンポーネントがAI作業用に最適化されており、他のどのソリューションよりも少ないスペースと消費電力でより高いコンピュート性能を実現します。AIからHPCまで、ワークロードに応じて、レガシーの代替品と比較して数百倍から数千倍のパフォーマンスを実現しますが、使用するスペースと電力はほんのわずかです。Cerebras Cloudは、他のどのデータセンターAIソリューションよりも高い計算密度、高速メモリ、広帯域インターコネクトにより、高速で柔軟なトレーニングと低レイテンシーのデータセンター推論を可能にするよう設計されています。
Cerebras AI Model Studioは本日提供を開始します。期間限定で、ユーザーは2日間の無料試用評価実行に申し込むことができます。 お客様は、https://cirrascale.com/cerebras/からCerebras AI Model Studioのご利用を開始できます。詳細については、https://www.cerebras.net/product-cloud/ にてご確認下さい。
Cirrascale Cloud Servicesについて
Cirrascale Cloud Servicesは、ディープラーニングのワークフローを可能にするパブリックおよびプライベートな専用クラウドソリューションのプレミアプロバイダーです。同社は、大規模なディープラーニング事業者、サービスプロバイダー、HPCユーザー向けに、クラウドベースのインフラストラクチャーソリューションを提供しています。Cirrascale Cloud Servicesとそのユニークなクラウドオファリングの詳細については、www.cirrascale.comをご覧いただくか、(888) 942-3800にお電話ください。
Cerebras Systemsについて
Cerebras Systemsは、先駆的なコンピューターアーキテクト、コンピューター科学者、ディープラーニングの研究者、あらゆるタイプのエンジニアが集まり、新しいクラスのコンピューターシステムを構築するために集まったチームです。そのシステムは、AIを加速させ、AI作業の未来を永遠に変えるという唯一の目的のために設計されており、お客様がディープラーニング作業を桁違いに加速させることを可能にします。
Cirrascale Cloud Services、CirrascaleおよびCirrascaleのロゴは、Cirrascale Cloud Services LLCの商標または登録商標です。
本記者発表文の公式バージョンはオリジナル言語版です。翻訳言語版は、読者の便宜を図る目的で提供されたものであり、法的効力を持ちません。翻訳言語版を資料としてご利用になる際には、法的効力を有する唯一のバージョンであるオリジナル言語版と照らし合わせて頂くようお願い致します。
Contacts
Kim Ziesemer
Email: pr@zmcommunications.com
