オルツ、軽量かつ高精度を実現した軽量型大規模言語モデル「LHTM-OPT」を発表
2023年10月19日
株式会社オルツ
P.A.I.®️(パーソナル人工知能)をはじめ、AIクローン技術でつくり出すパーソナルAIの開発および実用化を行う株式会社オルツ(本社:東京都港区、代表取締役:米倉 千貴、以下、オルツ)は、小規模GPUマシンで実用的な、パラメータ数が最適化された新たな大規模言語モデル「LHTM-OPT(ラートム・オプト)」を開発し、日本語商用プライベートLLM(大規模言語モデル)として最高性能を記録したことを発表いたします。
※国内最高・最高性能:
「Rakuda」LLMベンチマークによる評価で、国内の大規模言語モデルの中での比較として国内トップ性能を達成。
(2023年10月19日時点。自社調べ)
【画像:https://kyodonewsprwire.jp/img/202310181288-O1-dJWq25NY】
大規模パラメータの大規模言語モデルは膨大な計算リソースとエネルギーを必要とするため、環境に対する負荷の増大が懸念されています。そのため、現在は軽量でありながら大規模モデルと同等の精度を実現するための小規模パラメータモデルの研究が活発化しています。このアプローチは、大規模言語モデルから重要な知識を抽出して、新たに有用なモデルを開発することから「知識蒸留」と表現されており、計算リソースの削減やエネルギー効率の向上に寄与する試みです。オルツは、このような社会課題を解決する生成AI開発に積極的かついち早く取り組みはじめ、小規模パラメータモデルである「LHTM-OPT」の開発に成功しました。
当社が提供する大規模言語モデル「LHTM-2」(https://alt.ai/news/news-1892/)は、パラメータ数が膨大で調整の自由度が非常に高く設定されています。それに対して、「LHTM-OPT」は、そのパラメータを小規模GPUマシンでも実行可能であり、実用に最適化された軽量型モデルです。
「LHTM-OPT」の開発にあたり、当社はオープンデータの学習だけでなく、当社独自の指示データや対話データのデータセットを作成し、精度を改善してまいりました。そして、YuzuAIグループが出した日本語LLMを評価するRakudaベンチマーク(https://yuzuai.jp/benchmark)では、「LHTM-OPT」の評価スコアが1152になり、2023年10月19日時点で日本国内で最高レベルに達しました。また、日本語言語理解ベンチマーク「JGLUE(Japanese General Language Understanding Evaluation)」8タスク平均においても、商用モデルとして国内最高スコア 56.12を記録しました(「LHTM-OPT」のJGLUE 主要4タスク平均のスコアは 75.08になっています)。10Bパラメータ未満においてそれぞれのスコアを実現できたことは、グローバルレベルにおける当社の技術力の高さを示しているものと考えております。今後も継続して様々なベンチマークで評価を行い、モデルをブラッシュアップすることで「LHTM-OPT」の性能と汎用性を向上させ続けるとともに、本モデルを基盤として自動質問応答、議事録自動要約、情報抽出、会話理解、予測分析のデータ整理・作成などの高度な処理が必要な問題に対応可能な多くのアプリケーションを実装していきます。
【画像:https://kyodonewsprwire.jp/img/202310181288-O2-4vL8JB5g】
<軽量版大規模言語モデルが高精度を実現した意義とクライアントへの価値提供可能性>
●意義:軽量かつ高精度を実現する国内最高レベルの「知的蒸留」技術
今回の「知的蒸留」を含めた学習と評価過程において、当社はデータ企画から作成、GPUリソースの評価・確保、学習プロセス最適化など一貫した企画・技術開発・運用を実践しています。その結果として、軽量かつ高精度なモデルを実現することで、より実践的な生成AIプロダクトの基盤構築に対するオルツ技術の高い品質を証明しています。
●提供価値:カスタマイズ容易性
当社のクライアントは、今回開発した軽量かつ高精度なモデルを専門分野でファインチューニング可能です。金融や製薬、製造、不動産など様々な分野固有の情報をベースにカスタマイズすることで、パラメータ数が圧倒的に多いLLMと同等の回答精度を保持しながら専門性を持たせることが可能になります。
●提供価値:GPUコストの節約
当社のクライアントは、大規模言語モデルを基盤としたサービスを構築する際に課題となるランニングコストについても最適化されます。軽量かつ高精度なモデルを運用することで、継続して活用する際のコスト対効果を最大化することが可能になります。
当社は、世界水準の技術で "アジアにおけるOpenAI” の地位確立を目指すとともに、顧客へ最高品質のソリューションを提供することで、日本企業の労働生産性向上に資する取組みを推進して参ります。
LLMを活用したプロジェクトについては、以下のアライアンス窓口にお問い合わせください。
▶LHTM-2/LHTM-OPT/GPT など大規模言語処理ソリューションに関するお問い合わせ先
https://alt.ai/aiprojects/gpt/
■株式会社オルツについて
2014年11月に設立されたオルツは、P.A.I.®️(パーソナル人工知能)、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」ベンチャー企業です。また、AIの対話エンジンの開発から生まれた音声認識テクノロジーを活用した「AI GIJIROKU」などのSaaSプロダクトを開発・提供しています。2023年9月までの累計調達額は80億円超に達しています。
https://alt.ai/
<報道関係者からのお問い合わせ先>
株式会社オルツ 広報 西澤
e-mail:press@alt.ai
<アライアンスに関するお問い合わせ先>
株式会社オルツでは、IT・金融・建設・物流・メディア・製造・小売・サービス業など、
ジャンルを問わずAIソリューションの提供および支援を行っております。
お気軽にお問い合わせください。
株式会社オルツ AI Solutions事業部 浅井
e-mail:gptsolutions@alt.ai
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
マギー、ビキニ姿で引き締まった美ボディー披露「マーメイドか女神様」「神に近い美しさ」
20代にしか…47歳ほしのあき、鎖骨全開”可愛すぎ”動画に驚き テレビ出演予定質問にも回答
岡村隆史、黒谷友香と“交際秒読み”だった「チューした?」の質問に…
堀江貴文氏、15歳ゆたぼんにぴしゃり「文章読めるようになれよ」
黒谷友香、岡村隆史との「ただならぬ過去」交際の可能性は「50%ぐらい」だった
【阪神】2年ぶりの最大7点差逆転負け…近本満塁弾など生まれるも8回に3被弾で4失点
【阪神】岩崎優、8回に蝦名、筒香に1発浴び逆転許す 最大7点差のリードが1点ビハインドに
金髪似合う59歳山口智子、近づく還暦に「ひとまわりして生まれ変わる」 浜田雅功と大阪街ロケ
43歳人気芸人、遠征先で”大人のサイト”閲覧し衝撃恐怖体験 突然写真撮られ”脅迫”
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
「ふてほど」25歳女優“薔薇ブラ”でポロリ寸前?過激衣装に「見えちゃう」「刺激強すぎ」
55歳森口博子「だっちゅーの」鮮やかビキニ姿披露にX歓喜「破壊力ハンパない」「スゴすぎ」
大物炎上系ユーチューバー”衝撃の預金残高”公開「すげぇ」「エグい」驚きの声
水原一平容疑者 最高刑「懲役33年」トレンド入り 「人生詰んだ」「稀代の詐欺師」の声
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
水原一平容疑者、歯科治療で大谷翔平から930万円だまし取ったことも判明
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
深夜のファミリーマート徘徊、必ず入っている「フエラムネのミニチュアおもちゃ付」を探し求めた結果……
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
ガーシー、佐野ひなこの暴露を示唆でネット騒然「ファンだったのに」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
マギー、ビキニ姿で引き締まった美ボディー披露「マーメイドか女神様」「神に近い美しさ」
20代にしか…47歳ほしのあき、鎖骨全開”可愛すぎ”動画に驚き テレビ出演予定質問にも回答
岡村隆史、黒谷友香と“交際秒読み”だった「チューした?」の質問に…
堀江貴文氏、15歳ゆたぼんにぴしゃり「文章読めるようになれよ」
黒谷友香、岡村隆史との「ただならぬ過去」交際の可能性は「50%ぐらい」だった
【阪神】2年ぶりの最大7点差逆転負け…近本満塁弾など生まれるも8回に3被弾で4失点
【阪神】岩崎優、8回に蝦名、筒香に1発浴び逆転許す 最大7点差のリードが1点ビハインドに
金髪似合う59歳山口智子、近づく還暦に「ひとまわりして生まれ変わる」 浜田雅功と大阪街ロケ
43歳人気芸人、遠征先で”大人のサイト”閲覧し衝撃恐怖体験 突然写真撮られ”脅迫”