メタデータ、社内知識等を学習して回答する対話サーバ“ChatBrid”を言語能力の高いClaude3と接続し提供開始
- 2024年04月25日 16:30:00
- マネー
- Dream News
メタデータ株式会社(所在地:東京都文京区;代表取締役社長:野村直之)は、社内知識やローカル情報を学習し生成AIで回答を生成する対話APIサーバ“ChatBrid” https://metadata.co.jp/services/chatbrid.htmlを、高度な言語能力をもつClaude3と接続し2024年4月25日、提供開始しました。精度の数値評価だけでは表せない、より人間的で分かり易い文体、文章レトリック、味わいといった日本語の生成能力が、大規模な社内マニュアルを搭載したRAG(Retrieval Augmented Generation)を通しても実証されています。今後、GPT4他との使い分け、プロンプト合成の仕組みの最適化等の技術的課題を解決し、拡がった選択肢のメリットを顧客価値として訴求してまいります。
■背景
ハイブリッド型チャットボットとして2023年4月18日に初版をリリースしたChatBrid(https://metadata.co.jp/services/chatbrid.html) は、その後、多ジャンルの数百本以上のマニュアル類を取り込んで自動的にジャンル間をスイッチングする高精度大規模RAGエンジンとして進化を遂げました。ハイブリッド(HyBrid)の“Brid”から、ChatGPTなどのLLMがもつ一般知識の世界と、社内知識、専門知識、ローカル知識との間を橋渡しする“Bridge”の“Brid”へと由来名を変更。さらに、質問文と類似、関連している度合いの根拠を、単語や意味の重なり具合で示すビジュアル類似検索や、ワードクラウド付き単語ランキング等を搭載。これらによって、知識デバッグ能力を高め、評価機能入りWebアプリのChatBrid(https://metadata.co.jp/services/chatbrid.html) を標準パッケージとしています。→※。
メタデータ野村社長がジャストシステム在籍時に仲間と共に開発した類似検索エンジンConceptBase日本語版高精度化の数百の工夫を一部記した博士論文(2002年3月) を仕様に取り込んでいます(この意味で理学博士から俗称‘RAG博士’に進化)。他のRAGベンダOpenAI社等のベクトル化API使っているベンダ比で1~2桁、ハルシネーション発生率を低下させるのに成功しています。
※→シナリオ主導の対話向けにはmiiboを引き続き併用しています。
■Claude3の登場により生成文の分かり易さ、自然さが飛躍
GPT4のリリースから約1年が経過した2024年3月、OpenAIの技術者が退職して興したAnthropic社から、多くの精度評価テストでGPT4を上回るClaude3が公開されました。ある言語学者から、「Claude3の出力はもはや文学的」とさえ表現されたほど、数値に現れない、高品位な出力が評価されています。
一方、知識の構造・内容をうまく整備、改良したRAGでは、GPT3.5以前に比べて遠く離れた記述間の依存関係も「理解」するGPT4を用いることにより、既に十分に実用的な高精度を実現していました。そして、社内知識のように淡々と情報を伝えるような応用では、これ以上大きな改善は無いのではと予想する向きもありました。ChatBrid(https://metadata.co.jp/services/chatbrid.html)のようなRAGを通すと、一定レベル以上のLLMの能力の違いは吸収され、社内知識を淡々と語るだけになるかとの仮説があったためです。しかし、この予想はClaude3によって覆されました。正解内容が含まれていれば「〇」とする精度の数値だけでは評価できない、文章の品位、分かり易さといった違いが、次の例のように、顕著に表れたのです。
■ ChatBrid: GPT4 vs Claude3 比較例
当メタデータ社の社内規定類を全て取り込んだChatBrid(https://metadata.co.jp/services/chatbrid.html)で、職務発明関連の質問をしてみます。GPT4を呼んだときとClaude3を呼んだときの回答を下記に引用します:
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage1】
どちらも、職務発明規定の記載通りの内容であり、精度的にはどちらも「〇」、正解です。しかし、GPT4の回答には、定義、根拠、手続き内容が混在した分かり難い要約文となっており、個々の記述とその個々の根拠の対応関係も明示されていません。Claude3の回答は「どうすれば」良いか?の質問に対して、6つのステップに分けて分かり易く表現され、1つ1つの「なぜ?」に対して、個々の根拠をピンポイントで明示しています。まとめとして新人さん、転職者さんに迅速な行動を促す1文でしめくくるなど、親切丁寧なベテラン管理職の領域に達しているといえるでしょう。
次は、就業規則から、自然言語処理の辞書作りなど業務上必要なNG語発言はセクハラとしない、とする規定の噂を確かめようとした社員からの質問です。実際にそのような発言者が間違いなく保護されるかを気にしてか、条文を丸ごと引用せよ、と求めています。
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage2】
こんどは、「条文を丸ごと引用せよ」との指示にGPT4は答えられなかったので、間違いではないけれども不十分、という意味で、「△」との判定となります。そして、Claude3では、「オーソドックスでない」という、就業規則第14条への評価が妥当であり、「特殊」と評して質問者に賛意を示しています。さらに、いくらこの条文があっても、不必要なほど多くの回数や、大げさな言い方でNG用語を発するなどの事と次第によっては、ハラスメントと判断される可能性を指摘し、会社側、従業員双方を想定して「適切な運用」を求めています。この注意喚起は誠に妥当であり、条文制定者の想定を超えた適切な付言として、また、もっぱら規則の文章だけに頼る人間回答者を超えた名回答として、高く評価されるべきものといえるでしょう。
■ Claude3の日本語RAG応用で得られた知見
この他、GPT3.5 vs GPT4の違い以上に、Claude3 vs GPT4影プロンプト類のチューニング、最適化の方向性が異なることがわかりました。いまのところ次の特徴を観測しています:
・GPT4比で大量の知識を搭載可能
・マークダウン形式等で表現された知識粒度のバラつきに強い
・論理的に矛盾する記述を解決するのはGPT4と同様、難しい
・微妙な表現、文体の使い分けに長けており、相手(User)の訊き方を分析して、その人向けに分かり易く回答できやすい
・長大な文脈を踏まえることができるので、RAGの仕組み、運用方法次第では、対話相手の過去の発言、そこに垣間見える性格、特性、趣味や好みなどを回答中に具体的に指摘したりもできそう
・画像の理解も新次元の高精度、高能力になっているので、組織図や業務フローなどの図表にある種のプロンプトを補うことにより、図表の文章化を不要にできる可能性がある
配信元企業:メタデータ株式会社
プレスリリース詳細へ
ドリームニューストップへ
【申告忘れは厳禁】無申告加算税の罰則は年々強化されている 詳細と対策について
天使梨桜、「たまらん」「美しすぎるお尻」フェチに刺さる"ハイレグ競泳水着"でファンを悩殺
須田亜香里 インスタでよゐこ有野晋哉カメラマンの水着グラビア撮影裏側を公開
13歳で女優目指して渡米の藤本ルナ アメリカではダンスだけ 中国で詠春拳学んでアクション
市原隼人、学生時代は「給食のために学校に通っていた子供でした」主演映画舞台あいさつ
「明らかなファウルの笛が吹かれなかった」ラスパルマス戦終盤から出場の久保建英を地元紙寸評
なかやまきんに君、ハリウッド映画主演美人女優と2ショ「筋肉美と究極美」「衣装が情報量過多」
“本音”で絆深めた和歌山大2連覇 練習中マウンド付近で緊急ミーティングも
【巨人】今季2度目サヨナラ勝ち 吉川尚輝が延長10回に中前適時打で決着「勝ったことが一番」
小林旭がモンゴル観光大使「重要な役割を任されてドキドキ」観光イベントでミニライブ披露
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
今田美緒(23)ブレイク前の恥ずかしい映像が流出、けしからんと話題に
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元なでしこタレント、引退の仰天理由明かしスタジオ悲鳴 きっかけはXの投稿だった
水原一平容疑者が胴元側に支払ったお金、カジノを通じ現金化されていた
蟹江敬三さん長男が子役・若山耀人容疑者の逮捕に嘆息「ここまでの転落人生は稀に見る悪例」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
深夜のファミリーマート徘徊、必ず入っている「フエラムネのミニチュアおもちゃ付」を探し求めた結果……
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
群馬県草津町冤罪事件、フリーライターの男に懲役1年の求刑がここまで話題にならない理由
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
【申告忘れは厳禁】無申告加算税の罰則は年々強化されている 詳細と対策について
【U23日本代表】エースの意地を見せた細谷真大「自分を信じてやれた結果」レイソルで結果を
天使梨桜、「たまらん」「美しすぎるお尻」フェチに刺さる"ハイレグ競泳水着"でファンを悩殺
なかやまきんに君、ハリウッド映画主演美人女優と2ショ「筋肉美と究極美」「衣装が情報量過多」
【U23日本代表】山本昌邦ND、危機感乗り越え8大会連続五輪切符評価、選手登録リスト作成へ
13歳で女優目指して渡米の藤本ルナ アメリカではダンスだけ 中国で詠春拳学んでアクション
須田亜香里 インスタでよゐこ有野晋哉カメラマンの水着グラビア撮影裏側を公開
市原隼人、学生時代は「給食のために学校に通っていた子供でした」主演映画舞台あいさつ
「明らかなファウルの笛が吹かれなかった」ラスパルマス戦終盤から出場の久保建英を地元紙寸評
“本音”で絆深めた和歌山大2連覇 練習中マウンド付近で緊急ミーティングも