メタデータ、社内知識等を学習して回答する対話サーバ“ChatBrid”を言語能力の高いClaude3と接続し提供開始
- 2024年04月25日 16:30:00
- マネー
- Dream News
メタデータ株式会社(所在地:東京都文京区;代表取締役社長:野村直之)は、社内知識やローカル情報を学習し生成AIで回答を生成する対話APIサーバ“ChatBrid” https://metadata.co.jp/services/chatbrid.htmlを、高度な言語能力をもつClaude3と接続し2024年4月25日、提供開始しました。精度の数値評価だけでは表せない、より人間的で分かり易い文体、文章レトリック、味わいといった日本語の生成能力が、大規模な社内マニュアルを搭載したRAG(Retrieval Augmented Generation)を通しても実証されています。今後、GPT4他との使い分け、プロンプト合成の仕組みの最適化等の技術的課題を解決し、拡がった選択肢のメリットを顧客価値として訴求してまいります。
■背景
ハイブリッド型チャットボットとして2023年4月18日に初版をリリースしたChatBrid(https://metadata.co.jp/services/chatbrid.html) は、その後、多ジャンルの数百本以上のマニュアル類を取り込んで自動的にジャンル間をスイッチングする高精度大規模RAGエンジンとして進化を遂げました。ハイブリッド(HyBrid)の“Brid”から、ChatGPTなどのLLMがもつ一般知識の世界と、社内知識、専門知識、ローカル知識との間を橋渡しする“Bridge”の“Brid”へと由来名を変更。さらに、質問文と類似、関連している度合いの根拠を、単語や意味の重なり具合で示すビジュアル類似検索や、ワードクラウド付き単語ランキング等を搭載。これらによって、知識デバッグ能力を高め、評価機能入りWebアプリのChatBrid(https://metadata.co.jp/services/chatbrid.html) を標準パッケージとしています。→※。
メタデータ野村社長がジャストシステム在籍時に仲間と共に開発した類似検索エンジンConceptBase日本語版高精度化の数百の工夫を一部記した博士論文(2002年3月) を仕様に取り込んでいます(この意味で理学博士から俗称‘RAG博士’に進化)。他のRAGベンダOpenAI社等のベクトル化API使っているベンダ比で1~2桁、ハルシネーション発生率を低下させるのに成功しています。
※→シナリオ主導の対話向けにはmiiboを引き続き併用しています。
■Claude3の登場により生成文の分かり易さ、自然さが飛躍
GPT4のリリースから約1年が経過した2024年3月、OpenAIの技術者が退職して興したAnthropic社から、多くの精度評価テストでGPT4を上回るClaude3が公開されました。ある言語学者から、「Claude3の出力はもはや文学的」とさえ表現されたほど、数値に現れない、高品位な出力が評価されています。
一方、知識の構造・内容をうまく整備、改良したRAGでは、GPT3.5以前に比べて遠く離れた記述間の依存関係も「理解」するGPT4を用いることにより、既に十分に実用的な高精度を実現していました。そして、社内知識のように淡々と情報を伝えるような応用では、これ以上大きな改善は無いのではと予想する向きもありました。ChatBrid(https://metadata.co.jp/services/chatbrid.html)のようなRAGを通すと、一定レベル以上のLLMの能力の違いは吸収され、社内知識を淡々と語るだけになるかとの仮説があったためです。しかし、この予想はClaude3によって覆されました。正解内容が含まれていれば「〇」とする精度の数値だけでは評価できない、文章の品位、分かり易さといった違いが、次の例のように、顕著に表れたのです。
■ ChatBrid: GPT4 vs Claude3 比較例
当メタデータ社の社内規定類を全て取り込んだChatBrid(https://metadata.co.jp/services/chatbrid.html)で、職務発明関連の質問をしてみます。GPT4を呼んだときとClaude3を呼んだときの回答を下記に引用します:
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage1】
どちらも、職務発明規定の記載通りの内容であり、精度的にはどちらも「〇」、正解です。しかし、GPT4の回答には、定義、根拠、手続き内容が混在した分かり難い要約文となっており、個々の記述とその個々の根拠の対応関係も明示されていません。Claude3の回答は「どうすれば」良いか?の質問に対して、6つのステップに分けて分かり易く表現され、1つ1つの「なぜ?」に対して、個々の根拠をピンポイントで明示しています。まとめとして新人さん、転職者さんに迅速な行動を促す1文でしめくくるなど、親切丁寧なベテラン管理職の領域に達しているといえるでしょう。
次は、就業規則から、自然言語処理の辞書作りなど業務上必要なNG語発言はセクハラとしない、とする規定の噂を確かめようとした社員からの質問です。実際にそのような発言者が間違いなく保護されるかを気にしてか、条文を丸ごと引用せよ、と求めています。
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage2】
こんどは、「条文を丸ごと引用せよ」との指示にGPT4は答えられなかったので、間違いではないけれども不十分、という意味で、「△」との判定となります。そして、Claude3では、「オーソドックスでない」という、就業規則第14条への評価が妥当であり、「特殊」と評して質問者に賛意を示しています。さらに、いくらこの条文があっても、不必要なほど多くの回数や、大げさな言い方でNG用語を発するなどの事と次第によっては、ハラスメントと判断される可能性を指摘し、会社側、従業員双方を想定して「適切な運用」を求めています。この注意喚起は誠に妥当であり、条文制定者の想定を超えた適切な付言として、また、もっぱら規則の文章だけに頼る人間回答者を超えた名回答として、高く評価されるべきものといえるでしょう。
■ Claude3の日本語RAG応用で得られた知見
この他、GPT3.5 vs GPT4の違い以上に、Claude3 vs GPT4影プロンプト類のチューニング、最適化の方向性が異なることがわかりました。いまのところ次の特徴を観測しています:
・GPT4比で大量の知識を搭載可能
・マークダウン形式等で表現された知識粒度のバラつきに強い
・論理的に矛盾する記述を解決するのはGPT4と同様、難しい
・微妙な表現、文体の使い分けに長けており、相手(User)の訊き方を分析して、その人向けに分かり易く回答できやすい
・長大な文脈を踏まえることができるので、RAGの仕組み、運用方法次第では、対話相手の過去の発言、そこに垣間見える性格、特性、趣味や好みなどを回答中に具体的に指摘したりもできそう
・画像の理解も新次元の高精度、高能力になっているので、組織図や業務フローなどの図表にある種のプロンプトを補うことにより、図表の文章化を不要にできる可能性がある
配信元企業:メタデータ株式会社
プレスリリース詳細へ
ドリームニューストップへ
女子プロレスラー井上貴子、元櫻坂46の1期生が親戚だと明かす「似てる」「姉妹みたい」
miwa「34歳に見えない!かわいい!」最新ショット 15日が誕生日
浅田舞「知的でセクシー」メガネ姿の鏡越し自撮りショット&「見返り美人」な振り返る姿披露
カブス今永昇太が7勝目 7回4安打1失点好投 鈴木誠也は3打数2安打
大谷翔平「2番DH」で今季9勝右腕ルーゴと対戦 山本由伸は7勝目を目指し先発
元櫻坂のフジ原田葵アナが同局アナ5人で制服ショット 元日向坂齊藤京子との1枚も公開
高橋克典、型破りなサラリーマンから特命係長経て「大岡越前」 時代劇と向き合い新しい発見も
川島海荷「ママになってもパワフル」 第1子出産の團遥香と2ショット
モデルmegbaby「気付いたらお尻出てたり」初写真集に笑顔「美しく見えればなんでもOK」
AI、人気歌姫とのコラボに「まさかこんな日が来るなんて…」感激 「最高ー」「奇跡」フォロワーも反応
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
女子プロレスラー井上貴子、元櫻坂46の1期生が親戚だと明かす「似てる」「姉妹みたい」
miwa「34歳に見えない!かわいい!」最新ショット 15日が誕生日
浅田舞「知的でセクシー」メガネ姿の鏡越し自撮りショット&「見返り美人」な振り返る姿披露
カブス今永昇太が7勝目 7回4安打1失点好投 鈴木誠也は3打数2安打
大谷翔平「2番DH」で今季9勝右腕ルーゴと対戦 山本由伸は7勝目を目指し先発
元櫻坂のフジ原田葵アナが同局アナ5人で制服ショット 元日向坂齊藤京子との1枚も公開
高橋克典、型破りなサラリーマンから特命係長経て「大岡越前」 時代劇と向き合い新しい発見も
川島海荷「ママになってもパワフル」 第1子出産の團遥香と2ショット
モデルmegbaby「気付いたらお尻出てたり」初写真集に笑顔「美しく見えればなんでもOK」
AI、人気歌姫とのコラボに「まさかこんな日が来るなんて…」感激 「最高ー」「奇跡」フォロワーも反応