メタデータ、社内知識等を学習して回答する対話サーバ“ChatBrid”を言語能力の高いClaude3と接続し提供開始
- 2024年04月25日 16:30:00
- マネー
- Dream News
- コメント
メタデータ株式会社(所在地:東京都文京区;代表取締役社長:野村直之)は、社内知識やローカル情報を学習し生成AIで回答を生成する対話APIサーバ“ChatBrid” https://metadata.co.jp/services/chatbrid.htmlを、高度な言語能力をもつClaude3と接続し2024年4月25日、提供開始しました。精度の数値評価だけでは表せない、より人間的で分かり易い文体、文章レトリック、味わいといった日本語の生成能力が、大規模な社内マニュアルを搭載したRAG(Retrieval Augmented Generation)を通しても実証されています。今後、GPT4他との使い分け、プロンプト合成の仕組みの最適化等の技術的課題を解決し、拡がった選択肢のメリットを顧客価値として訴求してまいります。
■背景
ハイブリッド型チャットボットとして2023年4月18日に初版をリリースしたChatBrid(https://metadata.co.jp/services/chatbrid.html) は、その後、多ジャンルの数百本以上のマニュアル類を取り込んで自動的にジャンル間をスイッチングする高精度大規模RAGエンジンとして進化を遂げました。ハイブリッド(HyBrid)の“Brid”から、ChatGPTなどのLLMがもつ一般知識の世界と、社内知識、専門知識、ローカル知識との間を橋渡しする“Bridge”の“Brid”へと由来名を変更。さらに、質問文と類似、関連している度合いの根拠を、単語や意味の重なり具合で示すビジュアル類似検索や、ワードクラウド付き単語ランキング等を搭載。これらによって、知識デバッグ能力を高め、評価機能入りWebアプリのChatBrid(https://metadata.co.jp/services/chatbrid.html) を標準パッケージとしています。→※。
メタデータ野村社長がジャストシステム在籍時に仲間と共に開発した類似検索エンジンConceptBase日本語版高精度化の数百の工夫を一部記した博士論文(2002年3月) を仕様に取り込んでいます(この意味で理学博士から俗称‘RAG博士’に進化)。他のRAGベンダOpenAI社等のベクトル化API使っているベンダ比で1~2桁、ハルシネーション発生率を低下させるのに成功しています。
※→シナリオ主導の対話向けにはmiiboを引き続き併用しています。
■Claude3の登場により生成文の分かり易さ、自然さが飛躍
GPT4のリリースから約1年が経過した2024年3月、OpenAIの技術者が退職して興したAnthropic社から、多くの精度評価テストでGPT4を上回るClaude3が公開されました。ある言語学者から、「Claude3の出力はもはや文学的」とさえ表現されたほど、数値に現れない、高品位な出力が評価されています。
一方、知識の構造・内容をうまく整備、改良したRAGでは、GPT3.5以前に比べて遠く離れた記述間の依存関係も「理解」するGPT4を用いることにより、既に十分に実用的な高精度を実現していました。そして、社内知識のように淡々と情報を伝えるような応用では、これ以上大きな改善は無いのではと予想する向きもありました。ChatBrid(https://metadata.co.jp/services/chatbrid.html)のようなRAGを通すと、一定レベル以上のLLMの能力の違いは吸収され、社内知識を淡々と語るだけになるかとの仮説があったためです。しかし、この予想はClaude3によって覆されました。正解内容が含まれていれば「〇」とする精度の数値だけでは評価できない、文章の品位、分かり易さといった違いが、次の例のように、顕著に表れたのです。
■ ChatBrid: GPT4 vs Claude3 比較例
当メタデータ社の社内規定類を全て取り込んだChatBrid(https://metadata.co.jp/services/chatbrid.html)で、職務発明関連の質問をしてみます。GPT4を呼んだときとClaude3を呼んだときの回答を下記に引用します:
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage1】
どちらも、職務発明規定の記載通りの内容であり、精度的にはどちらも「〇」、正解です。しかし、GPT4の回答には、定義、根拠、手続き内容が混在した分かり難い要約文となっており、個々の記述とその個々の根拠の対応関係も明示されていません。Claude3の回答は「どうすれば」良いか?の質問に対して、6つのステップに分けて分かり易く表現され、1つ1つの「なぜ?」に対して、個々の根拠をピンポイントで明示しています。まとめとして新人さん、転職者さんに迅速な行動を促す1文でしめくくるなど、親切丁寧なベテラン管理職の領域に達しているといえるでしょう。
次は、就業規則から、自然言語処理の辞書作りなど業務上必要なNG語発言はセクハラとしない、とする規定の噂を確かめようとした社員からの質問です。実際にそのような発言者が間違いなく保護されるかを気にしてか、条文を丸ごと引用せよ、と求めています。
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage2】
こんどは、「条文を丸ごと引用せよ」との指示にGPT4は答えられなかったので、間違いではないけれども不十分、という意味で、「△」との判定となります。そして、Claude3では、「オーソドックスでない」という、就業規則第14条への評価が妥当であり、「特殊」と評して質問者に賛意を示しています。さらに、いくらこの条文があっても、不必要なほど多くの回数や、大げさな言い方でNG用語を発するなどの事と次第によっては、ハラスメントと判断される可能性を指摘し、会社側、従業員双方を想定して「適切な運用」を求めています。この注意喚起は誠に妥当であり、条文制定者の想定を超えた適切な付言として、また、もっぱら規則の文章だけに頼る人間回答者を超えた名回答として、高く評価されるべきものといえるでしょう。
■ Claude3の日本語RAG応用で得られた知見
この他、GPT3.5 vs GPT4の違い以上に、Claude3 vs GPT4影プロンプト類のチューニング、最適化の方向性が異なることがわかりました。いまのところ次の特徴を観測しています:
・GPT4比で大量の知識を搭載可能
・マークダウン形式等で表現された知識粒度のバラつきに強い
・論理的に矛盾する記述を解決するのはGPT4と同様、難しい
・微妙な表現、文体の使い分けに長けており、相手(User)の訊き方を分析して、その人向けに分かり易く回答できやすい
・長大な文脈を踏まえることができるので、RAGの仕組み、運用方法次第では、対話相手の過去の発言、そこに垣間見える性格、特性、趣味や好みなどを回答中に具体的に指摘したりもできそう
・画像の理解も新次元の高精度、高能力になっているので、組織図や業務フローなどの図表にある種のプロンプトを補うことにより、図表の文章化を不要にできる可能性がある
配信元企業:メタデータ株式会社
プレスリリース詳細へ
ドリームニューストップへ
引退中居正広のラスト地上波登場は皮肉にも「サヨナラ」だった
宮司愛海アナ「番組として判断」フジ「イット」で非公開の社員説明会を中継リポート
ひろゆき氏、引退発表の中居正広にXで言及「世界の果てに置いていかれるパターンかと思ってた」
中居正広に「引退するからお咎めなしではない」松田公太元氏が指摘「巨万の富得たのだから」
日テレ女性アナ、中居正広に「誠実な姿勢を見せて頂きたい」と訴え「示談成立しているとはいえ」
ソニーがBDディスクやMD等一部記録メディアの生産終了を発表 後継機種もなし
堀江貴文氏、古市憲寿氏の「日枝さんら一掃」訴えに私見「これが一番大事」「そんなに怖いのか」
中居正広 公式サイトでも報告「37年間、ありがとうございました。さようなら...」/全文
フジ・メディアHD、第三者委員会設置を決議 中居正広の女性トラブル問題受け
【ソフトバンク】上茶谷大河いきなりブルペン入りし捕手を座らせ41球「いい感じで投げられた」
中居正広に「引退するからお咎めなしではない」松田公太元氏が指摘「巨万の富得たのだから」
GACKT「とにかく気分が悪い」“人生初”に驚きと心配の声
「騎乗位してました?」NHK大河「べらぼう」で女性が息を荒く…3話も「攻めてる」の声
紀藤正樹弁護士、フジ顧問菊間千乃弁護士の“ある発言”に「このコメントはすべきでない」と指摘
中居正広問題で元MBS女性アナ「接待はしません」上司に守られた過去告白 タレントの誘い「ある」
中居正広、引退発表 事務所「のんびりなかい」も廃業を発表
元モー娘。道重さゆみ芸能界引退を発表
フジ37歳男性アナ、生放送で涙の叫び「13年1度も辞めたいと思ったことない、好きな会社を…」
「このばか者が」イチロー氏が1票足りず満票を逃したことに米ベテラン記者からも疑問噴出
故・木村花さんの母響子さん、中居正広問題でフジテレビに訴え「今からでもいい…」
多部未華子(30)結婚の裏事情あまりにも恐ろしすぎると話題に!
吉田沙保里、大久保嘉人との不倫疑惑を一蹴するも冷ややかな声
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
中居正広、公式サイトでコメントを発表
米津玄師、顔出し最新ショットに「カッコよすぎる」「整形なら大成功」の声
元SPEED、新垣仁絵(40)の現在が衝撃的すぎると話題に
中居正広は謝罪声明で「口にしてはならないことを言っている、信じられない」73歳落語家が指摘
【おすすめアニメ50選】完結済み!定番から最新作まで!
引退中居正広のラスト地上波登場は皮肉にも「サヨナラ」だった
ひろゆき氏、引退発表の中居正広にXで言及「世界の果てに置いていかれるパターンかと思ってた」
宮司愛海アナ「番組として判断」フジ「イット」で非公開の社員説明会を中継リポート
中居正広に「引退するからお咎めなしではない」松田公太元氏が指摘「巨万の富得たのだから」
日テレ女性アナ、中居正広に「誠実な姿勢を見せて頂きたい」と訴え「示談成立しているとはいえ」
ソニーがBDディスクやMD等一部記録メディアの生産終了を発表 後継機種もなし
堀江貴文氏、古市憲寿氏の「日枝さんら一掃」訴えに私見「これが一番大事」「そんなに怖いのか」
中居正広 公式サイトでも報告「37年間、ありがとうございました。さようなら...」/全文
フジ・メディアHD、第三者委員会設置を決議 中居正広の女性トラブル問題受け
【ソフトバンク】上茶谷大河いきなりブルペン入りし捕手を座らせ41球「いい感じで投げられた」