オルツ、軽量かつ高精度を実現した軽量型大規模言語モデル「LHTM-OPT」を発表
2023年10月19日
株式会社オルツ
P.A.I.®️(パーソナル人工知能)をはじめ、AIクローン技術でつくり出すパーソナルAIの開発および実用化を行う株式会社オルツ(本社:東京都港区、代表取締役:米倉 千貴、以下、オルツ)は、小規模GPUマシンで実用的な、パラメータ数が最適化された新たな大規模言語モデル「LHTM-OPT(ラートム・オプト)」を開発し、日本語商用プライベートLLM(大規模言語モデル)として最高性能を記録したことを発表いたします。
※国内最高・最高性能:
「Rakuda」LLMベンチマークによる評価で、国内の大規模言語モデルの中での比較として国内トップ性能を達成。
(2023年10月19日時点。自社調べ)
【画像:https://kyodonewsprwire.jp/img/202310181288-O1-dJWq25NY】
大規模パラメータの大規模言語モデルは膨大な計算リソースとエネルギーを必要とするため、環境に対する負荷の増大が懸念されています。そのため、現在は軽量でありながら大規模モデルと同等の精度を実現するための小規模パラメータモデルの研究が活発化しています。このアプローチは、大規模言語モデルから重要な知識を抽出して、新たに有用なモデルを開発することから「知識蒸留」と表現されており、計算リソースの削減やエネルギー効率の向上に寄与する試みです。オルツは、このような社会課題を解決する生成AI開発に積極的かついち早く取り組みはじめ、小規模パラメータモデルである「LHTM-OPT」の開発に成功しました。
当社が提供する大規模言語モデル「LHTM-2」(https://alt.ai/news/news-1892/)は、パラメータ数が膨大で調整の自由度が非常に高く設定されています。それに対して、「LHTM-OPT」は、そのパラメータを小規模GPUマシンでも実行可能であり、実用に最適化された軽量型モデルです。
「LHTM-OPT」の開発にあたり、当社はオープンデータの学習だけでなく、当社独自の指示データや対話データのデータセットを作成し、精度を改善してまいりました。そして、YuzuAIグループが出した日本語LLMを評価するRakudaベンチマーク(https://yuzuai.jp/benchmark)では、「LHTM-OPT」の評価スコアが1152になり、2023年10月19日時点で日本国内で最高レベルに達しました。また、日本語言語理解ベンチマーク「JGLUE(Japanese General Language Understanding Evaluation)」8タスク平均においても、商用モデルとして国内最高スコア 56.12を記録しました(「LHTM-OPT」のJGLUE 主要4タスク平均のスコアは 75.08になっています)。10Bパラメータ未満においてそれぞれのスコアを実現できたことは、グローバルレベルにおける当社の技術力の高さを示しているものと考えております。今後も継続して様々なベンチマークで評価を行い、モデルをブラッシュアップすることで「LHTM-OPT」の性能と汎用性を向上させ続けるとともに、本モデルを基盤として自動質問応答、議事録自動要約、情報抽出、会話理解、予測分析のデータ整理・作成などの高度な処理が必要な問題に対応可能な多くのアプリケーションを実装していきます。
【画像:https://kyodonewsprwire.jp/img/202310181288-O2-4vL8JB5g】
<軽量版大規模言語モデルが高精度を実現した意義とクライアントへの価値提供可能性>
●意義:軽量かつ高精度を実現する国内最高レベルの「知的蒸留」技術
今回の「知的蒸留」を含めた学習と評価過程において、当社はデータ企画から作成、GPUリソースの評価・確保、学習プロセス最適化など一貫した企画・技術開発・運用を実践しています。その結果として、軽量かつ高精度なモデルを実現することで、より実践的な生成AIプロダクトの基盤構築に対するオルツ技術の高い品質を証明しています。
●提供価値:カスタマイズ容易性
当社のクライアントは、今回開発した軽量かつ高精度なモデルを専門分野でファインチューニング可能です。金融や製薬、製造、不動産など様々な分野固有の情報をベースにカスタマイズすることで、パラメータ数が圧倒的に多いLLMと同等の回答精度を保持しながら専門性を持たせることが可能になります。
●提供価値:GPUコストの節約
当社のクライアントは、大規模言語モデルを基盤としたサービスを構築する際に課題となるランニングコストについても最適化されます。軽量かつ高精度なモデルを運用することで、継続して活用する際のコスト対効果を最大化することが可能になります。
当社は、世界水準の技術で "アジアにおけるOpenAI” の地位確立を目指すとともに、顧客へ最高品質のソリューションを提供することで、日本企業の労働生産性向上に資する取組みを推進して参ります。
LLMを活用したプロジェクトについては、以下のアライアンス窓口にお問い合わせください。
▶LHTM-2/LHTM-OPT/GPT など大規模言語処理ソリューションに関するお問い合わせ先
https://alt.ai/aiprojects/gpt/
■株式会社オルツについて
2014年11月に設立されたオルツは、P.A.I.®️(パーソナル人工知能)、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」ベンチャー企業です。また、AIの対話エンジンの開発から生まれた音声認識テクノロジーを活用した「AI GIJIROKU」などのSaaSプロダクトを開発・提供しています。2023年9月までの累計調達額は80億円超に達しています。
https://alt.ai/
<報道関係者からのお問い合わせ先>
株式会社オルツ 広報 西澤
e-mail:press@alt.ai
<アライアンスに関するお問い合わせ先>
株式会社オルツでは、IT・金融・建設・物流・メディア・製造・小売・サービス業など、
ジャンルを問わずAIソリューションの提供および支援を行っております。
お気軽にお問い合わせください。
株式会社オルツ AI Solutions事業部 浅井
e-mail:gptsolutions@alt.ai
橋本マナミ臨月ショット公開「最後のマタニティライフも楽しみます」大きく膨らんだお腹披露
「謝罪行脚と説明をなぜ水卜アナにやらせるのか」疑問の声多数 日テレ今年も24時間テレビ放送
火将ロシエル「梅雨明け求ム」とビキニ姿披露「相変わらずのスタイルの良さ」「超かわいい」の声
テレ東池谷実悠アナ、祖父母からオシャレ穴空きワンピを指摘「東京の人はおしゃれねー。なんて」
28日開始TBS新金ドラ「笑うマトリョーシカ」水川あさみ&曽田陵介の新聞記者役ショット公開
宇賀なつみ「お誕生日がうれしいのは、周りにいてくれる人達、応援してくださる皆さんのおかげ」
「ウイニング競馬」冨田有紀アナ、美浦トレセンで恒例うどん写真に「イメージ出来上がってます」
工藤静香「かなり重宝します」とレシピ公開「発想力、創造力が素晴らしすぎ」「おいしそう」
休養から復帰の後呂有紗アナ「懐かしZIP!時代のコンビ」杉原凜アナとバン犬を手に2ショット
「ひまそらあかね」が突如トレンド入り!都知事選に出馬した暇空茜って一体どんな人?本物なの?
都知事選掲示板にヌードポスター ひろゆき氏「世も末」 SNSで批判噴出
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
ダルビッシュ妻・山本聖子さん、車運転中に“まさか”の出来事「ミラー越しに後ろを覗くと…」
女性の裸に近い姿のポスター掲示 警視庁が都知事選候補者に警告
イケメンだから許される!堀北真希と山本耕史の「馴れ初め」が映画化希望するレベル
バキ童こと春とヒコーキのぐんぴぃが有吉の壁に登場!「笑いが止まらん」「地上波ゴールデンは草」
高橋洋子「生成AI」理由の出演辞退に反響「アニメと真面目に向き合っている」「勇気ある決断」
日テレ水卜麻美アナの謝罪「個人に責任ない、謝り方ある」56歳元TBSアナ「24時間」めぐり私見
広瀬アリス「そりゃ売れるわ」友人・伊藤沙莉の人柄明かす「ただ仕草とか反応が全部おっさん」
「虎に翼」母・はるが…伊藤沙莉の演技力に反響「必死の説得」「映さない」「きれいに泣かない」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
都知事選掲示板にヌードポスター ひろゆき氏「世も末」 SNSで批判噴出
松本人志飲み会参加セクシー女優「警察に相談しに行きました」報告「さすがにこれは酷すぎる」
現役女子大生グラドル、セクシー女優転身「私の全てを見ていただけると思います」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
『こんなに可愛かった赤ちゃん犬が…』完全に想定外な『まさかの成長』が面白過ぎると82万再生「爆笑したw」「柴らしさ全開で好き」と絶賛
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
イケメンだから許される!堀北真希と山本耕史の「馴れ初め」が映画化希望するレベル
橋本マナミ臨月ショット公開「最後のマタニティライフも楽しみます」大きく膨らんだお腹披露
「謝罪行脚と説明をなぜ水卜アナにやらせるのか」疑問の声多数 日テレ今年も24時間テレビ放送
火将ロシエル「梅雨明け求ム」とビキニ姿披露「相変わらずのスタイルの良さ」「超かわいい」の声
テレ東池谷実悠アナ、祖父母からオシャレ穴空きワンピを指摘「東京の人はおしゃれねー。なんて」
28日開始TBS新金ドラ「笑うマトリョーシカ」水川あさみ&曽田陵介の新聞記者役ショット公開
宇賀なつみ「お誕生日がうれしいのは、周りにいてくれる人達、応援してくださる皆さんのおかげ」
「ウイニング競馬」冨田有紀アナ、美浦トレセンで恒例うどん写真に「イメージ出来上がってます」
工藤静香「かなり重宝します」とレシピ公開「発想力、創造力が素晴らしすぎ」「おいしそう」
休養から復帰の後呂有紗アナ「懐かしZIP!時代のコンビ」杉原凜アナとバン犬を手に2ショット
「ひまそらあかね」が突如トレンド入り!都知事選に出馬した暇空茜って一体どんな人?本物なの?