■ 背景 ～テキスト中心RAGの限界と、実務知識の実態
企業や研究現場で扱われる知識の多くは、文章だけでなく、
・図表・グラフ
・写真・スクリーンショット
・UI画面、設計図、手書きメモ
・PDF内のイラストや構造図
といった非テキスト情報を含むマルチモーダルな形態で存在しています。
一方、従来のRAGや検索システムはテキスト類似度に依存しており、重要な情報の欠落や誤解釈が避けられないという課題がありました。
人間の認知や思考は本来、視覚・言語・空間認識を統合したマルチモーダル思考で行われます。ChatBridはこの人間本来の知的活動様式に近づけることを目指し、KM（ナレッジマネジメント）基盤の進化を進めてきました。
https://metadata.co.jp/services/chatbrid.html
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000337182&id=bodyimage1】
■ 新機能の概要：ChatBridのマルチモーダル対応
今回追加されるマルチモーダル対応により、ChatBridは以下を実現します。
1. マルチモーダルRAG（画像・図表×テキスト統合検索）
・画像・図表・グラフ・イラストを含む資料をそのままデータセット化
・テキスト特徴量と画像特徴量を統合した類似検索
・テキストと画像・図表等の間の対応を含む文脈理解に基づく統合的な回答生成
・RAGの知識レコードをランキングする際にテキストと画像・図表等との重みを調整可
2. 元のテキスト部分のランキングの高精度・大容量を保持しつつマルチモーダル化
・他のマルチモーダルRAGの一部のように全てを画像ベクトル化してテキスト検索の精度を大きく落とすことがない
・テキストのベクトル化結果は従来のChatBridと同じくTB級にスケール可能な大容量対応
■ 想定活用分野の例
・製造・保全・品質保証
画像による異常報告 → 過去トラブルの画像類似検索と原因推定
・医療・介護・ヘルスケア
医用画像＋記録文書を統合し、類似症例や知見を提示
・ホワイトカラー業務・研究開発
会議写真・Excel図表・手書き資料を含む知識活用による生産性向上
配信元企業：メタデータ株式会社
プレスリリース詳細へ
ドリームニューストップへ
