starthome-logo 無料ゲーム
starthome-logo

メタデータ、LLM APIの障害時に他LLMに切り替わるRAGシステムChatBridBCPを開発

メタデータ株式会社は、AIサービスの安定稼働を支援する「ChatBridBCP」を開発しました。この新システムは、OpenAIを含む大規模言語モデル（LLM）のサービス停止時に、他のLLMに自動切り替えを行い、サービスの継続を可能にします。2024年12月12日に発生したOpenAIのAPI障害により、多くの企業が事業継続計画（BCP）の重要性を再認識。「ChatBridBCP」はこの問題への解決策を提供し、AIサービスの中断リスクを最小限に抑えることを目的としています。本システムは、クラウド版からオンプレミス版への切り替え機能を備えており、停電やネットワーク障害時でもスムーズに切り替えが可能です。さらに、オンプレミス環境で個人情報を保護しながら高精度な回答を提供し、安全性と信頼性の向上に寄与します。2025年1月9日から11日にかけて東京ビッグサイトで開催される「TOKYO DIGICONX」では、この新技術の詳細が紹介される予定です。

メタデータ株式会社（所在地：東京都文京区；代表取締役社長：野村直之）は、AIサービスの安定稼働を実現するため、RAGシステム「ChatBrid」の進化版となる「ChatBridBCP」を開発しました。本システムは、OpenAI社をはじめとするLLM APIやオンプレミスLLMが停止した際に、別のLLMに自動的に切り替えてサービスを継続する技術を搭載しています。
　日本時間2024年12月12日に発生したOpenAI社APIの大規模障害は、多くの企業にBCP（事業継続計画）の必要性を改めて認識させました。「ChatBridBCP」は、この課題に対する有効な解決策を提供します。ChaBridBCPの概要について、2025/1/9-11に東京ビッグサイトで開催される「TOKYO DIGICONX」AIカテゴリーNo.61（小間A-07）のメタデータ社ブースにて披露いたします。

■ ChatBridBCPの特徴
高度なRAG技術
ChatBridBCPのベースとなったChatBridは、独自の自然言語処理技術を活用し、数百本以上のマニュアルを統合・最適化することで、90％を超える回答精度を実現しています。これにより、専門知識や内部情報を活用した効率的なサポートが可能です。

柔軟な切り替え機能
本システムは、クラウド版LLMからオンプレミス版LLM、さらには他のクラウド版LLMへの切り替えを柔軟に行えます。これにより、停電やネットワーク障害といったインシデント時でも、AIサービスを中断することなく継続可能です。

■ 実際の利用シーンと導入効果
安全性と信頼性の向上
オンプレミス環境での運用をサポートし、部外秘情報や個人情報を保護しながら高精度な回答を提供します。また、インターネット接続が制限された環境でも、シームレスな切り替えにより業務を支援します。

BCPへの貢献
本システムChatBridBCPを導入することで、AIサービスの中断リスクを最小限に抑え、企業の信頼性向上に寄与します。
※ 日本時間の12/12未明に生じたOpenAI社サービスの全面ダウンは、Chat APIを組み込んで社内知識サポートや、顧客サポートAIを構築したサービスの全面ダウンを招きました。ChatBridを提供する当社も、ローカル（オンプレミス）で高精度に動作するLLMを採用した顧客ばかりではなかったため、原因究明と対策、謝罪に追われました。究極の対策として急遽開発したのが、ChaBridBCPです。

ChatBridBCPは、OpenAI社他のLLM APIや、オンプレミス版LLMの動作中断時に、自動的に別のLLMに切り替えてAIサービスを継続することができます。インターネット経由で使うクラウド版LLMからオンプレミス版LLMへの切り替えも、その逆にオンプレミス版LLMからクラウド版LLMへの切り替えも出来るし、クラウド版LLMから別のクラウド版LLMの切り替え、オンプレミス版LLMから別のオンプレミス版LLMへの切り替えも可能。後者では、停電等のインシデント対策で自社領域ながら別拠点のネットワークを敷設していれば、そこのLLMに切り替えるというBCP施策によりAIサービスの中断を防ぐことができます。

■ システム構成
下図に、上述の自動切換えイメージを示します。左側が定常時に稼働中のLLMを表します。定常時にオンプレミス版LLMが稼働中に、設定したタイムアウト時間、例えば2分間を越えてLLMからレスポンスが返ってこなくなった際に、自動的に、右側のクラウド版、ないし、別のオンプレミス版LLMに切り替わることを示しています。また、下段のように、定常時にクラウド版LLMが稼働中に、設定したタイムアウト時間、例えば2分間を越えてLLMからレスポンスが返ってこなくなった際に、自動的に、右側の別のクラウド版、ないし、オンプレミス版LLMに切り替わることを示します。12/12のOpenAI社のサービス全面ダウンの際に必要とされたのは後者のパターンです。

【画像 https://www.dreamnews.jp/?action_Image=1&p=0000311460&id=bodyimage1】


ChatBridBCPがあれば、別のクラウド版サービス、例えば、Google社やAnthropic社、あるいはAzureなどのLLMに自動的に切り替わったり、オンプレミス版LLMに切り替わることで、ビジネス継続性を維持することができました。

■ChatBridBCPのご相談会　「TOKYO DIGICONX」2025/1/9～11
ChatBridBCPについては、2025/1/9から1/11に東京ビッグサイトで開催される「TOKYO DIGICONX」AIカテゴリーNo.61（小間A-07）のご来場者に詳細にご説明いたします。ご相談いただけば、様々な想定インシデントや、社内ネットワーク、クラウドの利用状況や利用についての社内規定、セキュリティガイドラインに沿って、どのようなスタンバイ、切り替え体制が望ましいかアドバイスいたします。

・概要ならびにご登録：https://xr-meta-biz.tokyo/
・日時：2025年1月9日（木） ～11日（土）10:00～18:00
・会場：東京ビッグサイト　南展示棟　３・４ホール
・ブースご説明（詳細）：https://xr-meta-biz.tokyo/exhibitor/1838/





配信元企業：メタデータ株式会社
プレスリリース詳細へ

ドリームニューストップへ
    アクセスランキング

    1. 渡辺麻友 (26)、引退の本当の理由が恐ろしすぎると話題に

    2. トイレットペーパーで便座を拭いてはいけない理由　TOTOに聞いた

    3. 三上悠亜、紙パンツ写真への批判に反論「ヌード写真集おいときます」ファン称賛「返しが秀逸」

    4. 吉田沙保里、大久保嘉人との不倫疑惑を一蹴するも冷ややかな声

    5. 小林麻耶改め國光真耶「事実無根にもほどがある」誹謗中傷に法的措置検討

    6. 小柳ルミ子、47歳で発売のヘアヌード写真集の未公開写真などを披露「色っぽい」「妖精みたい」

    7. 「ブチ切れ!」令和ロマンにM－1連覇吹き飛ぶ激怒案件が発生、緊急動画で「駄目だぞ！」

    8. ドジャースがテオスカー・ヘルナンデスと３年1023億円で再契約　後払いと４年目オプションも

    9. ガスワンのCMに出演中の女性、長澤まさみに似て可愛いと話題に

    10. 二階堂ふみが結婚！？お相手が衝撃的過ぎてネット民「マジか・・・」

    1. 多部未華子（30）結婚の裏事情あまりにも恐ろしすぎると話題に！

    2. 二階堂ふみが結婚！？お相手が衝撃的過ぎてネット民「マジか・・・」

    3. 浜崎あゆみ、バスト丸見えの投稿にネット騒然「巨乳すぎて不自然」

    4. クロちゃんを騙した「レイちゃま（小林レイミ）」の現在が別人すぎると話題に

    5. 渡辺麻友 (26)、引退の本当の理由が恐ろしすぎると話題に

    6. 千円札に込めた奇跡！明石家さんまが30年間大切にした「ラブレター」に感涙

    7. 高橋ジョージ「やっぱりお縄だよ」新曲の印税引き出したら銀行の態度が…その後に残高見て仰天

    8. 「わっぜか音がしっせえよ　あたいは今朝ん台風か思っせえよ」 アルティメット鹿児島弁アニキが『Twitter』で話題に

    9. まるで別人？浜崎あゆみのFNS歌謡祭での姿に驚きの声

    10. グラビア界「1000年に１人の逸材」AVデビューでトレンド入り　初写真集も圧巻ボディー披露

    Tips

    1. ゲーミングPCとしても使えるマウスのパソコン！各ブランドの違いやおすすめPCのご紹介

    2. PCを購入する前に知っておきたい豆知識。国内メーカーと海外メーカーはどっちがおすすめ？

    3. 初めてゲーミングPCを購入する人におすすめのブランド3選

    4. Windows10サポート終了間近！PC買い替えのベストタイミングと選び方

    5. VLOOKUP関数の次はこれ！MATCH関数とINDIRECT関数を活用した2つの条件で検索する方法

    game_banner
    おすすめ

    1. Hey！Say！JUMP「遊園地に遊びに来た感覚」東京ドーム公演初日　年越しまたぎ４日間熱狂

    2. チェジュ航空機事故、179名の死亡確認　ブラックボックス回収

    3. Hey！Say！JUMP「今、魅せられるJUMPが詰まったライブに」／各メンバーコメント

    4. 小日向ななせ、肩ひも外れこぼれ落ちそうなHカップバストにファン大興奮

    5. 【紅白リハ】緑黄色社会「僕らはいきものだから」披露　初アリーナツアーなど活躍の１年締める

    6. 今日29日　広く真冬並みの寒さ　31日夜～1日は寒い年越しへ

    7. 日本初のラボグロウンダイヤモンドジュエリーブランド「SHINCA」　Holiday Collection 2024 好評発売中

    8. 【高校サッカー】大津エース山下景司「びっくりした」福井商の奇策６バック粉砕、まずは１ゴール

    9. 保田圭、涙ながらに「服部幸應WELL　TASETE」最終回を発表「先生、寂しい。会いたい」

    10. 大谷翔平のチームメートが「水原騒動」に口を開く「一平が話し始めて…」当初は大谷へ疑問の目

    Starthome

    StartHomeカテゴリー

    Copyright 2024
    ©KINGSOFT JAPAN INC. ALL RIGHTS RESERVED.