オルツ、LLMハルシネーションの自動評価エンジンを開発
2024年5月9日
株式会社オルツ
P.A.I.®️(パーソナル人工知能)をはじめ、AIクローン技術でつくり出すパーソナルAIの開発および実用化を行う株式会社オルツ(本社:東京都港区、代表取締役:米倉 千貴、以下、オルツ)は、2024年5月9日に、大規模言語モデル(LLM)におけるハルシネーションをスコアリングする手法の開発に成功したことを発表いたします。
【画像:https://kyodonewsprwire.jp/img/202405080490-O1-38u55sYN】
「ハルシネーション」とは、LLMがまるで幻覚を見ているかのように、正当性がなく、事実に基づかない虚偽の回答をしてしまう現象です。このようにLLMが誤った情報を出力することは、企業や個人にとって深刻な信頼問題を引き起こす可能性があるだけでなく、LLMの今後の応用にも大きな障壁となっています。
オルツでは、以前から独自の大規模言語モデルを開発・提供しており、この開発の経験を活かし、ハルシネーション問題を解決する研究開発を続けてまいりました。この度、ハルシネーションを解決する方法の一つとして、ハルシネーションが発生するか否かを判定し、その発生確率(ハルシネーション・スコア)を自動的に評価できる手法を独自に発明し、「ハルシネーション自動評価エンジン」を開発いたしました。
本開発における実験では、本「ハルシネーション自動評価エンジン」は、JcommonsenseQAデータセットから作成した擬似評価セットにおいて72%の正解率でハルシネーションの判定を実現しました。本エンジンは、オルツが独自に開発してきた軽量型大規模言語モデル「LHTM-OPT」だけではなく、GPT-3.5、Llama2など、様々なLLMのハルシネーションのスコアリングが可能になります。
また、本エンジンは、一貫性を重視してハルシネーションの評価を行います。具体的には、同じ入力データに基づいて複数の生成プロセスを行い、これらの結果を比較します。このアプローチにより、生成された内容における不一致や矛盾を特定し、それに基づいて「ハルシネーション」、すなわち、学習データや事実に基づかない不正確な生成物が生じているかどうかを確率的に評価します。
「ハルシネーション自動評価エンジン」は、当社の「alt developer」のAPIサービスを通じて提供を開始いたしました。(alt Developer:https://developer.alt.ai/api-doc.html#tag/LHTM-OPT/operation/lhtm-opt-completion)
本件ならびにLLMを活用したプロジェクトについては、以下のアライアンス窓口にお問い合わせください。
>ハルシネーションスコア計測アプリケーション デモ動画<
【動画:https://www.youtube.com/watch?v=-_k-SDIPje4】
(https://youtu.be/-_k-SDIPje4)
▶LHTM-2/LHTM-OPT/GPT など大規模言語処理ソリューションに関するお問い合わせ先
https://alt.ai/aiprojects/gpt/
■株式会社オルツについて
2014年11月に設立されたオルツは、P.A.I.®️(パーソナル人工知能)、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」ベンチャー企業です。生成AI、独自開発LLM及び音声認識技術をはじめとするAI要素技術を豊富に保有し、それらを活用した多くのAI Productsを開発・提供しています。2024年4月までの累計調達額は約100億円超に達しています。
https://alt.ai/
<報道関係者からのお問い合わせ先>
株式会社オルツ 広報 西澤
e-mail:press@alt.ai
<アライアンスに関するお問い合わせ先>
株式会社オルツでは、IT・金融・建設・物流・メディア・製造・小売・サービス業など、
ジャンルを問わずAIソリューションの提供および支援を行っております。
お気軽にお問い合わせください。
株式会社オルツ AI Solutions事業部 浅井
e-mail:gptsolutions@alt.ai
ドジャース山本由伸2回28球で降板 アクシデントか?
在日コリアン芸人・マルセ太郎 没後23年、4世がたどったルーツ
7勝目挙げた今永昇太が爆笑会見 ド派手ガッツポーズの心境は「もうおなかが減っていた」
礼儀正しい「ご飯待ちトリオ」の猫 完璧なフォーメーションに「芸術的」の声
米超大物夫妻が狭いエコノミー席で来日 乗り合わせた乗客のSNS投稿に世間も驚き
【森林環境税】を解説 今年度より創設され年額1000円 お得な納付方法も紹介
「タイタニック」英女優がディカプリオとの「船首キスシーン」振り返る
転売ヤーが湧く「未来のレモンサワー」が品薄で手に入らない!なんとか見つけたコンビニは……
節税目的の相続税対策を実施する前に知っておくべき基礎知識 節税効果の低いものやトラブルでかえって損になることも
今永昇太、本拠地ロッカーの新ネームプレート「マイク・イマナガ2世」が話題 命名の理由とは?
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
ドジャース山本由伸2回28球で降板 アクシデントか?
在日コリアン芸人・マルセ太郎 没後23年、4世がたどったルーツ
7勝目挙げた今永昇太が爆笑会見 ド派手ガッツポーズの心境は「もうおなかが減っていた」
礼儀正しい「ご飯待ちトリオ」の猫 完璧なフォーメーションに「芸術的」の声
米超大物夫妻が狭いエコノミー席で来日 乗り合わせた乗客のSNS投稿に世間も驚き
【森林環境税】を解説 今年度より創設され年額1000円 お得な納付方法も紹介
「タイタニック」英女優がディカプリオとの「船首キスシーン」振り返る
転売ヤーが湧く「未来のレモンサワー」が品薄で手に入らない!なんとか見つけたコンビニは……
節税目的の相続税対策を実施する前に知っておくべき基礎知識 節税効果の低いものやトラブルでかえって損になることも
今永昇太、本拠地ロッカーの新ネームプレート「マイク・イマナガ2世」が話題 命名の理由とは?