ブレインパッド、生成AIプロダクトの品質保証の取り組み事例が「AI品質マネジメントイニシアティブ」の公開資料に掲載

ブレインパッド、生成AIプロダクトの品質保証の取り組み事例が「AI品質マネジメントイニシアティブ」の公開資料に掲載
－ベリサーブと共同で構築した品質保証の枠組みを、産総研関連コンソーシアムが紹介－

　株式会社ブレインパッドは、株式会社ベリサーブ（本社：東京都千代田区、代表取締役社長鴫原忠大、以下：ベリサーブ）と共同で構築した、生成AI組み込み型SaaSの品質保証に関する取り組みが、国立研究開発法人産業技術総合研究所（産総研）デジタルアーキテクチャ研究センター（DARC）が運営する「AI品質マネジメントイニシアティブ（AIQMI）」の公開するワーキンググループ2（WG2）のウェブページに課題解決事例として掲載されたことをお知らせします。
　本事例は、2025年5月に産総研が公開した「生成AI品質マネジメントガイドライン第1版」（*1）を元に、生成AIの品質基準を策定した取り組み（*2）を、実際のプロダクト開発プロセスへ適用する過程としてあらためて整理したものです。

AI品質マネジメントイニシアティブ（AIQMI）ワーキンググループ2 ウェブページ：
https://aiqm-initiative.cons.aist.go.jp/wg2.html

本事例「生成AI組み込み型SaaSにおけるテスト評価の実践」表紙

本事例の概要

　生成AIを組み込んだSaaSでは、ハルシネーションやバイアスなど、従来のシステムテストでは想定されなかった品質リスクが新たに生じます。本事例では、AI検索とレコメンドを融合したサービス「Rtoaster GenAI（アールトースター・ジェンエーアイ）」を題材に、品質保証の枠組みを次の3点を中心に整理しました。

① 責任範囲の明確化
　生成AIの挙動は「LLM提供者」「SaaS事業者」「利用ユーザー」の三者の関与によって決まるため、まず責任範囲を明確に分解します。ブレインパッドがSaaS事業者として担う責務（プロンプト設計・RAGの品質・ガードレール設計等）を整理し、責務範囲についての評価を説明可能にしました。

② 評価指標の体系化
　テキスト入力・出力を行う生成AIアプリケーション（T2T型）全般に適用できる観点を整理した「テスト観点基盤モデル」（*3）を起点に、「生成テキストの品質」「セキュリティ」「タスク固有の指標」「法令・規制への準拠」の4つの大分類で評価指標を体系化しました。

③ 5ステップの品質基準策定プロセスと運用モニタリング
　指標選定・重み付け・閾値決定・評価実施・運用モニタリングの5ステップで品質基準を策定しました。リリース後もモデル更新や参照ナレッジの更新等のメタ情報と評価スコアを紐づけて継続的に記録し、品質変動の要因を切り分けられる体制を構築しています。

株式会社ブレインパッドエグゼクティブフェロー山崎清仁コメント

　私たちブレインパッドは「息を吸うようにデータが活用される社会をつくる」というビジョンを掲げ、企業のデータ／AI活用を内側から支える伴走支援に取り組んでまいりました。生成AIの真価も、一部の専門家だけが使いこなす特別な技術としてではなく、現場の一人ひとりが安心して使える状態になって初めて発揮されると考えています。
　掲載資料の元となった取り組みでは、産総研から発行された「生成AI品質マネジメントガイドライン」を拠り所としながら、ベリサーブの協力のもと、責任範囲の明確化から評価指標の体系化、運用時のモニタリングまでを、自分たちの手で一つひとつ具体化してきました。品質を「勘」ではなく「ものさし」で語れる仕組みへと落とし込むこの取り組みを、公的機関に関連する枠組みのなかで一つの実装解として取り上げていただけたことを、大変光栄に思います。
　生成AIプロダクトの品質保証は、業界全体で向き合うべき課題です。今回得た知見を「Rtoaster GenAI」にとどめず他のプロダクトへも展開しながら、生成AIプロダクトが業界全体として健全に発展するよう、これからも取り組んでまいります。

サイト内AI検索「Rtoaster GenAI」について

　「Rtoaster GenAI」は、生成AIを活用し、AI検索とレコメンドを融合したサービスです。感覚的なキーワードで検索しても商品がヒットしない、いわゆる「検索結果0件」による離脱は、ECサイトなどwebサイトにとって大きな機会損失となっています。「Rtoaster GenAI」は、入力されたキーワードから見出しの文章を自動生成し、自動拡張された商品情報から該当するものをカテゴリとしてまとめて表示することで、まるで店員に相談するように商品を探せるユーザー体験を実現します。通常のサイト内検索で該当する商品が0件だった場合に、検索結果ページへAI検索の結果を自動的に表示する使い方もでき、ユーザーの離脱を防ぎ購買へと促します。
　また、従来のキーワード検索では拾いきれなかったユーザーの潜在的なニーズや本音を検索ログとして収集・蓄積できるため、顧客理解を深め、MD（マーチャンダイジング）や新たな企画立案にも活用いただけます。最短1週間での導入が可能です。
https://www.brainpad.co.jp/rtoaster/genai/

（*1）産総研「生成AIを用いたシステムのリスク低減と信頼性向上のために－生成AI品質マネジメントガイドライン第1版を発行－」（2025年5月26日付） https://www.aist.go.jp/aist_j/press_release/pr2025/pr20250526/pr20250526.html
（*2）株式会社ブレインパッド・株式会社ベリサーブ「生成AIプロダクトの品質基準を策定、新製品『Rtoaster GenAI』へ搭載」（2025年7月16日付）
https://www.brainpad.co.jp/news/2025/07/16/23671
（*3）テスト観点基盤モデルとは、株式会社ベリサーブ松木晋祐氏が提唱する、テキスト入力・出力を行うT2T型の生成AIアプリケーションの評価観点を体系化したモデルです。
松木晋祐「生成AIアプリケーションのテスト観点基盤モデル：T2T（Text to Text）」（2025年2月16日付）https://note.com/_snsk/n/n1450f1018962