生成AIをビジネス活用するための鍵とは？

ビジネスにおける生成AIのドメイン特化

ChatGPTのように一般ユーザーが利用できるLLMサービスの基盤モデルは、法律や医療などのドメインに特化していないため、専門知識を要するタスクには対応できません。そのためビジネス活用においては、特定ドメインに特化したLLMが必要となります。

ドメイン特化型LLMの具体的な活用例としては以下のようなものがあります。

■人材業界に特化：ChatGPTを利用し360万件以上の転職口コミ情報を要約するシステムを開発
転職口コミサイト『転職会議』、ChatGPTのAIを活用した企業口コミの要約情報を提供開始

■旅行業界に特化：ChatGPTを利用した外国人観光客向けの多言語AIチャットボット開発
訪日外国人や越境EC事業者をサポート！Chat-GPT (GPT-3) をインバウンド施設、越境EC向けにAI学習させた「多言語チャットコマース」のサービス提供を開始

■自動車業界に特化：会話による音楽再生・訪問先の情報提供可能なChatGPT搭載自動車の開発
メルセデス・ベンツ、アメリカでChatGPTを車に試験搭載

これらのドメイン特化型LLMの活用は、業務効率化だけでなく、顧客満足度の向上、新たなビジネス機会の創出、そして競争上の優位性確保にも大きく貢献します。

また、ドメイン特化を達成する手法としては様々な方法が研究および提案されています。

ビジネス活用を成功させるための課題

KPIに基づく評価基準の設定の難しさ

ドメインに特化したLLMを成功させるためには、複数のKPIを基にした多面的な評価が欠かせません。QAチャットボットを例にとると、回答の精度や速度だけでなく、ユーザー満足度や倫理面、バイアスへの考慮なども必要です。

多方面への考慮が必要となってくるため、専門家、エンドユーザー、ビジネスリーダーなど各ステークホルダーの認識や意見のすり合わせも必要となります。Sun et al. (2024) では、LLMの信頼性を評価する観点を8つに分類し、それをさらに細分化しながら評価方法について考察しています（詳しくは次回の記事で）。このように、様々な観点による評価の必要性がLLMのビジネス活用における大きな課題となっています。

評価用データセットの作成コスト

ドメインに応じたLLMの学習や評価には、高品質なデータセットが不可欠です。まず、ドメイン固有の言語パターン、専門用語、文脈やニュアンスを含んだ文章を収集する必要があります。データを収集した後、評価用データセットとして用いるには、正解データの作成が必要になります。LLMの場合、翻訳や要約タスクなど、唯一無二の正解データを作成するのが難しいタスクがほとんどです。高品質な正解データを用意するには、そのドメインに特化した専門家や複数人による正解データの作成が必要なため、工数の掛かる作業となります。

反復テストと調整

一般的な機械学習モデルの活用や分析モデルの活用と同様に、ドメイン特化したLLMの活用においても性能改善のための反復的なテストや評価、及びその結果を受けたモデル改善が必要となります。

一方で、自然言語の性質上LLMの入出力に対する定量的な評価は難しく、機械学習の一般的な定量的評価指標（Precision, Recall, F1スコアなど）だけでは評価しきれないことがあります。Liu et al. (2008) によれば、定量的評価指標の結果と人間の好みの相関関係は低いことが指摘されています。またLLMの評価用ベンチマークが多数公開されているものの、汎用的なデータセットが多く、実際のビジネスではより特定タスクに絞られたデータセットが必要になります。そのため、最終的には専門家による人力評価が必要になることが多く、性能改善のために高品質な反復テストを行うには多大なコストや工数が掛かることが大きな課題となっています。

ビジネス水準で使うために必要な評価アプローチ

ここまで述べてきたように、ドメイン特化型LLMの活用はビジネスにおける競争上の優位性確保の大きなチャンスとなり得る一方で、多くの課題も残されており、特に評価部分において莫大なコストが掛かりがちです。

シンプルなLLMの評価方法としてROUGEやBLEUといった古典的なマッチングベースの評価などがあります。ところが、どの手法も単語レベルでのPrecisionやRecallといった正解との差分に焦点を当てた評価しかできないため、ビジネス上の判断で用いるのは難しいでしょう。Chang et al. (2023) でも紹介がある通り、近年はLLM評価用ベンチマークも数多く提案されています。しかし、Rakuda ベンチマークでも指摘がある通り日本語専用のベンチマークが少ない問題に加え、実際のビジネスで使うデータと近い分布のデータセットでの評価ではないため、ベンチマークによる評価結果をビジネス上で過度に信用するのは危険です。

最近では、コストを掛けずに出来るだけ高品質な評価を得る方法として、LLMによる出力の自動評価機能の構築が多く提案されています。

評価指標、ベンチマーク、LLMによる自動評価など具体的な評価方法は次回以降の記事でご紹介します。

Kocmi and Federmann (2023) や Zheng et al. (2023)など複数の研究によれば、専門家による評価とLLMによる自動評価の間には高い相関性があることが明らかとなっています。とはいえ、そのほとんどは特定のベンチマークによる検証のみが行われていることが多いため、ビジネスで活用する際のデータセットでも同様に高品質の結果が得られるとは限りません。実際にビジネスでLLMを活用する場面では業種・業務ごとの細かいレベルで工夫が必要になるでしょう。

LLMによる自動評価技術がドメイン特化に強いとはいえ、業種、企業、業務レベルの細かい粒度まで対応しているとは言えません。実際には各業界・業種・企業ごとに評価するタスクや評価観点の重要性は異なります。単純にLLMに自動評価させるだけではなく、提案手法を参考にしながらも業務環境にあったプロンプトへの書き換えや評価観点の優先順位付けなど、より実用的な視点でLLMを評価する姿勢が重要になるでしょう。

まとめ

LLMのビジネス活用においては、特定ドメインへの特化が必要でした。社内チャットボット、カスタマーサポート、文章自動生成ツールなどへの適用により、業務効率化や顧客満足度の向上が期待できます。しかし、これらの成功はLLMの信頼性が担保されていることが前提です。LLMの各タスクにおける評価指標やベンチマークが数多く提案されているものの、どのような評価方法もこれまで紹介した信頼性のごく一部しかカバーすることができません。また新たな評価方法としてLLMによる自動評価なども提案されており、LLMの出力を改めてLLMに問いただすことで様々な観点を考慮することができます。一方で、実際のビジネスでLLMによる自動評価を適用するにはKPI（評価観点）の設定やそれに応じたLLMプロンプトの調整、結果の解釈やそれに応じたモデルの改善などが必要であり、多くの工数が必要です。

LLMの信頼性の評価は非常に複雑で難しく、KPIに基づいた評価指標の設定と、様々な観点からの評価サイクルの確立が不可欠です。LLMのビジネス活用に向けて抑えておくべきポイントに注意を払いながら、安全に利用していく必要があります。次回のブログでは、LLMの信頼性を担保するために必要な様々な評価観点についてご紹介します。

• 関連記事
  • 生成AI（ジェネレーティブAI）とは？ChatGPTとの違いや仕組み・種類・活用事例 | DOORS DX
  • LLM(大規模言語モデル)とは？生成AIとの違いや活用事例・課題 | DOORS DX
  • 社内文書に特化したChatGPT　ファインチューニング実践編
  • 生成AI・LLMをビジネス適用するための検討ポイントおよびユースケース | DOORS DX
  • Domain Specialization as the Key to Make Large Language Models…
  • GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り – Platinum Data Blog by BrainPad
  • プロンプトエンジニアリングの基本と応用 – Platinum Data Blog by BrainPad
  • https://platform.openai.com/docs/guides/prompt-engineering
  • プロンプトエンジニアリング手法 外部データ接続・RAG編 – Platinum Data Blog by BrainPad
  • ざっくりわかるRLHF（人間からのフィードバックを用いた強化学習） – Platinum Data Blog by BrainPad
  • 大規模言語モデル(LLM)のエンジン：データセットの解説 – Platinum Data Blog by BrainPad
  • LLMを効率的に再学習する手法(PEFT)を解説 – Platinum Data Blog by BrainPad