オルツ、LLMハルシネーションの自動評価エンジンを開発
2024年5月9日
株式会社オルツ
P.A.I.®️(パーソナル人工知能)をはじめ、AIクローン技術でつくり出すパーソナルAIの開発および実用化を行う株式会社オルツ(本社:東京都港区、代表取締役:米倉 千貴、以下、オルツ)は、2024年5月9日に、大規模言語モデル(LLM)におけるハルシネーションをスコアリングする手法の開発に成功したことを発表いたします。
【画像:https://kyodonewsprwire.jp/img/202405080490-O1-38u55sYN】
「ハルシネーション」とは、LLMがまるで幻覚を見ているかのように、正当性がなく、事実に基づかない虚偽の回答をしてしまう現象です。このようにLLMが誤った情報を出力することは、企業や個人にとって深刻な信頼問題を引き起こす可能性があるだけでなく、LLMの今後の応用にも大きな障壁となっています。
オルツでは、以前から独自の大規模言語モデルを開発・提供しており、この開発の経験を活かし、ハルシネーション問題を解決する研究開発を続けてまいりました。この度、ハルシネーションを解決する方法の一つとして、ハルシネーションが発生するか否かを判定し、その発生確率(ハルシネーション・スコア)を自動的に評価できる手法を独自に発明し、「ハルシネーション自動評価エンジン」を開発いたしました。
本開発における実験では、本「ハルシネーション自動評価エンジン」は、JcommonsenseQAデータセットから作成した擬似評価セットにおいて72%の正解率でハルシネーションの判定を実現しました。本エンジンは、オルツが独自に開発してきた軽量型大規模言語モデル「LHTM-OPT」だけではなく、GPT-3.5、Llama2など、様々なLLMのハルシネーションのスコアリングが可能になります。
また、本エンジンは、一貫性を重視してハルシネーションの評価を行います。具体的には、同じ入力データに基づいて複数の生成プロセスを行い、これらの結果を比較します。このアプローチにより、生成された内容における不一致や矛盾を特定し、それに基づいて「ハルシネーション」、すなわち、学習データや事実に基づかない不正確な生成物が生じているかどうかを確率的に評価します。
「ハルシネーション自動評価エンジン」は、当社の「alt developer」のAPIサービスを通じて提供を開始いたしました。(alt Developer:https://developer.alt.ai/api-doc.html#tag/LHTM-OPT/operation/lhtm-opt-completion)
本件ならびにLLMを活用したプロジェクトについては、以下のアライアンス窓口にお問い合わせください。
>ハルシネーションスコア計測アプリケーション デモ動画<
【動画:https://www.youtube.com/watch?v=-_k-SDIPje4】
(https://youtu.be/-_k-SDIPje4)
▶LHTM-2/LHTM-OPT/GPT など大規模言語処理ソリューションに関するお問い合わせ先
https://alt.ai/aiprojects/gpt/
■株式会社オルツについて
2014年11月に設立されたオルツは、P.A.I.®️(パーソナル人工知能)、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」ベンチャー企業です。生成AI、独自開発LLM及び音声認識技術をはじめとするAI要素技術を豊富に保有し、それらを活用した多くのAI Productsを開発・提供しています。2024年4月までの累計調達額は約100億円超に達しています。
https://alt.ai/
<報道関係者からのお問い合わせ先>
株式会社オルツ 広報 西澤
e-mail:press@alt.ai
<アライアンスに関するお問い合わせ先>
株式会社オルツでは、IT・金融・建設・物流・メディア・製造・小売・サービス業など、
ジャンルを問わずAIソリューションの提供および支援を行っております。
お気軽にお問い合わせください。
株式会社オルツ AI Solutions事業部 浅井
e-mail:gptsolutions@alt.ai
山本舞香、元カレが18歳で事故死と告白 芸能活動続けるきっかけ…新MC番組で故郷訪れ回想
和田アキ子「アッコにおまかせ!」放送開始40周年、自身ものまねMr.シャチホコ駆けつけ感激
【東京メトロ】10/23に上場!乗車証・かき揚げなどの株主優待が魅力 10/8~11に抽選申込を忘れずに
前田敦子、ウーロン割で乾杯「普段は全然飲まないです」 家メシでは「Uberとか…」
NHKの29歳職員が建造物侵入の疑いで逮捕 タクシー会社の営業所に無断で侵入
上沼恵美子「しゃべっていることが全部、ウソ」 羽賀研二容疑者から壁ドンで“誠意”伝えられた
「踊る大捜査線2」で恩田刑事に命を守られた女の子は…「神木くんと!」「後のAKB48とは」
牛丼が10/9から「13年ぶり」に100円引き 人気の牛すき鍋膳が再登場 ・新商品牛カレー鍋膳を発売(15まで)
〝円満〟とはいかぬ河村・名古屋市長の辞職 議会と最後の対決へ
「安住紳一郎の日曜天国」代役の女性声優が冠特番「声が作りきれてない…」本音告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
FIFAが韓国協会に警告文 W杯本大会出場できない可能性も 洪明甫監督選任に関して政府が干渉
石破内閣の記念写真を加工して掲載か 首相官邸ホームページ
上田晋也「家に来た=性行為OK?」論争で40歳女性タレントから「間違ってます」で議論白熱
ISが誘拐の「奴隷」女性 ガザ地区から10年ぶりに救出
中川翔子「次から次に何回も何回も…いいかげんにしてほしい」悪質投稿に怒り「警察に出します」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ダンプ松本(61)の現在が色々と崩壊、衝撃的なブログ内容も
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、橋本環奈と片寄涼太を暴露するも片寄の好感度が上がったワケ
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
山本舞香、元カレが18歳で事故死と告白 芸能活動続けるきっかけ…新MC番組で故郷訪れ回想
和田アキ子「アッコにおまかせ!」放送開始40周年、自身ものまねMr.シャチホコ駆けつけ感激
前田敦子、ウーロン割で乾杯「普段は全然飲まないです」 家メシでは「Uberとか…」
【東京メトロ】10/23に上場!乗車証・かき揚げなどの株主優待が魅力 10/8~11に抽選申込を忘れずに
NHKの29歳職員が建造物侵入の疑いで逮捕 タクシー会社の営業所に無断で侵入
「踊る大捜査線2」で恩田刑事に命を守られた女の子は…「神木くんと!」「後のAKB48とは」
上沼恵美子「しゃべっていることが全部、ウソ」 羽賀研二容疑者から壁ドンで“誠意”伝えられた
牛丼が10/9から「13年ぶり」に100円引き 人気の牛すき鍋膳が再登場 ・新商品牛カレー鍋膳を発売(15まで)
〝円満〟とはいかぬ河村・名古屋市長の辞職 議会と最後の対決へ
「安住紳一郎の日曜天国」代役の女性声優が冠特番「声が作りきれてない…」本音告白