メタデータ、LLM APIの障害時に他LLMに切り替わるRAGシステムChatBridBCPを開発

メタデータ株式会社（所在地：東京都文京区；代表取締役社長：野村直之）は、AIサービスの安定稼働を実現するため、RAGシステム「ChatBrid」の進化版となる「ChatBridBCP」を開発しました。本システムは、OpenAI社をはじめとするLLM APIやオンプレミスLLMが停止した際に、別のLLMに自動的に切り替えてサービスを継続する技術を搭載しています。
　日本時間2024年12月12日に発生したOpenAI社APIの大規模障害は、多くの企業にBCP（事業継続計画）の必要性を改めて認識させました。「ChatBridBCP」は、この課題に対する有効な解決策を提供します。ChaBridBCPの概要について、2025/1/9-11に東京ビッグサイトで開催される「TOKYO DIGICONX」AIカテゴリーNo.61（小間A-07）のメタデータ社ブースにて披露いたします。

■ ChatBridBCPの特徴
高度なRAG技術
ChatBridBCPのベースとなったChatBridは、独自の自然言語処理技術を活用し、数百本以上のマニュアルを統合・最適化することで、90％を超える回答精度を実現しています。これにより、専門知識や内部情報を活用した効率的なサポートが可能です。

柔軟な切り替え機能
本システムは、クラウド版LLMからオンプレミス版LLM、さらには他のクラウド版LLMへの切り替えを柔軟に行えます。これにより、停電やネットワーク障害といったインシデント時でも、AIサービスを中断することなく継続可能です。

■ 実際の利用シーンと導入効果
安全性と信頼性の向上
オンプレミス環境での運用をサポートし、部外秘情報や個人情報を保護しながら高精度な回答を提供します。また、インターネット接続が制限された環境でも、シームレスな切り替えにより業務を支援します。

BCPへの貢献
本システムChatBridBCPを導入することで、AIサービスの中断リスクを最小限に抑え、企業の信頼性向上に寄与します。
※ 日本時間の12/12未明に生じたOpenAI社サービスの全面ダウンは、Chat APIを組み込んで社内知識サポートや、顧客サポートAIを構築したサービスの全面ダウンを招きました。ChatBridを提供する当社も、ローカル（オンプレミス）で高精度に動作するLLMを採用した顧客ばかりではなかったため、原因究明と対策、謝罪に追われました。究極の対策として急遽開発したのが、ChaBridBCPです。

ChatBridBCPは、OpenAI社他のLLM APIや、オンプレミス版LLMの動作中断時に、自動的に別のLLMに切り替えてAIサービスを継続することができます。インターネット経由で使うクラウド版LLMからオンプレミス版LLMへの切り替えも、その逆にオンプレミス版LLMからクラウド版LLMへの切り替えも出来るし、クラウド版LLMから別のクラウド版LLMの切り替え、オンプレミス版LLMから別のオンプレミス版LLMへの切り替えも可能。後者では、停電等のインシデント対策で自社領域ながら別拠点のネットワークを敷設していれば、そこのLLMに切り替えるというBCP施策によりAIサービスの中断を防ぐことができます。

■ システム構成
下図に、上述の自動切換えイメージを示します。左側が定常時に稼働中のLLMを表します。定常時にオンプレミス版LLMが稼働中に、設定したタイムアウト時間、例えば2分間を越えてLLMからレスポンスが返ってこなくなった際に、自動的に、右側のクラウド版、ないし、別のオンプレミス版LLMに切り替わることを示しています。また、下段のように、定常時にクラウド版LLMが稼働中に、設定したタイムアウト時間、例えば2分間を越えてLLMからレスポンスが返ってこなくなった際に、自動的に、右側の別のクラウド版、ないし、オンプレミス版LLMに切り替わることを示します。12/12のOpenAI社のサービス全面ダウンの際に必要とされたのは後者のパターンです。

【画像 https://www.dreamnews.jp/?action_Image=1&p=0000311460&id=bodyimage1】


ChatBridBCPがあれば、別のクラウド版サービス、例えば、Google社やAnthropic社、あるいはAzureなどのLLMに自動的に切り替わったり、オンプレミス版LLMに切り替わることで、ビジネス継続性を維持することができました。

■ChatBridBCPのご相談会　「TOKYO DIGICONX」2025/1/9～11
ChatBridBCPについては、2025/1/9から1/11に東京ビッグサイトで開催される「TOKYO DIGICONX」AIカテゴリーNo.61（小間A-07）のご来場者に詳細にご説明いたします。ご相談いただけば、様々な想定インシデントや、社内ネットワーク、クラウドの利用状況や利用についての社内規定、セキュリティガイドラインに沿って、どのようなスタンバイ、切り替え体制が望ましいかアドバイスいたします。

・概要ならびにご登録：https://xr-meta-biz.tokyo/
・日時：2025年1月9日（木） ～11日（土）10:00～18:00
・会場：東京ビッグサイト　南展示棟　３・４ホール
・ブースご説明（詳細）：https://xr-meta-biz.tokyo/exhibitor/1838/





配信元企業：メタデータ株式会社
プレスリリース詳細へ

ドリームニューストップへ