銀行業務での適応領域を探索。りそな×ブレインパッドのLLM共同研究プロジェクトで見えてきた世界観とは？

当初はChatGPTと対話して答えをもらうイメージしかなかった

DOORS編集部（以下、DOORS）　2023年8月からLLMの共同研究プロジェクトに取り組んでいるとうかがっています。プロジェクト発足の背景を教えてください。

りそなホールディングス・大西雅巳氏（以下、大西氏）　2022年11月にChatGPTが公開されて以来、LLMという新しい技術が話題に上がるようになりました。このLLMの技術を現行業務にどう活用するかについて経営陣から意見を求められましたし、私たちとしても新しいチャレンジをしていかなければならないという問題意識がありました。ブレインパッドさんも同様の問題意識を持っていたようで、どちらが先に声をかけたということもなく、ある意味自然に同じ方向に向かって研究を開始した流れでした。

ブレインパッド・中道亮介（以下、中道）　ちょうど同じタイミングだったと記憶しています。あるミーティングで私たちから「LLMに関する取り組みを始めませんか」とご提案しようと準備していました。そこにりそな様から「LLMについて何か取り組みを開始したい」とのお話があり、プロジェクト発足に至りました。

私たちが提案しようと思った理由は3つありました。1つ目はブレインパッド内部でLLMの技術知見がかなり蓄積されていて、データ分析業界内でもトップクラスとの自信を持っていたことです。2023年2月ぐらいから社内に数十人規模の調査研究プロジェクトが立ち上がっていて、これまでにオウンドメディアに50本ぐらいの技術記事を掲載しています。

2つ目は、汎用的なChatGPTやファインチューニング（LLMに未学習のデータを追加学習させて新たな知識を追加すること）とは違う「業務特化型」のLLM活用方法があると考えていたことです。それがりそな様の社内活用にハマると確信していました。

3つ目は、新しい技術を適用するには、まず使ってみることが大事だということです。「小さく攻める」と私たちはよく言うのですが、どんな形でもよいので1歩目を踏むことが肝心です。そのために背中を押したいという強い思いがあり、提案させていただきました。    

DOORS　あくまで外部の人間の見解として、銀行業務は膨大な文書を扱うので、LLMとは親和性が高いイメージがあります。りそな様内部ではどのような活用イメージが当初あったのでしょう。

りそなホールディングス・佐野春樹氏（以下、佐野氏）　LLMというよりはChatGPTのような文章を入れるとAIが答えを返してくるという対話型インターフェースのイメージがありました。それ自体画期的だなと思ったのですが、ではそれを業務にどう使えるのか。たとえば何か業務上で調べたいことがあれば聞いてみるというのはわかりやすかったのですが、その先に何があるのかは正直明確ではありませんでした。

大西氏　そうですね。どういう形でりそなの中で活用するかについてはぼんやりしていて、かなり研究が必要という思いがありました。そこにブレインパッドさんから「業務特化型」の使い方があると聞きました。これはユーザーにプロンプトを直接入力させるのではなく、インターフェース部分を業務に特化した形に加工するやり方です。「なるほど、それであればいろいろと考える余地が広がるな」と思えてきたのです。

中道　LLMにはプロンプトを渡して回答を受け取るだけのAPIがあります。ユーザーはアプリにExcelリストを投入するだけなど、ユーザーにLLMを意識させずに業務の一部として組み込んでいく活用方法を考えています。それを私たちは「業務特化型」と呼んでいます。    

りそなホールディングス・寺田洋介氏（以下、寺田氏）　大西さんや佐野さんと同様のイメージで、社内ルールや法令をチャットで聞けば答えが返ってくるようなものを考えていたのだと思います。社内はもちろん他の金融機関でも同様のイメージしかない人がほとんどではないでしょうか。ですから私も業務特化型の方法があると聞いて、できそうなことの範囲がかなり広がった思いでした。

「小さく攻める」という方針を決め、入念な準備をし、スタートダッシュした

DOORS　実際に共同研究プロジェクトが開始されたのは2023年8月でした。開始までにどのような準備をされたのでしょうか。

佐野氏　開始前の2023年5月頃、当初は、中道さん、大西さんといったリーダーレイヤーと私をはじめとした企画メンバーで話を進めました。中道さんから、業務特化型でこういうことができるとレクチャーしてもらい、具体的な課題を検討し始めた段階でデータサイエンティストの寺田さんが合流しました。同じタイミングでブレインパッドさんの他のメンバーにも参加してもらって、研究プロジェクトが始まったという流れです。

中道　最初に2段階で進めることを提案させていただきました。1段階目で活動方針をディスカッションして決め、その後に準備期間を設け、2段階目で取り組みを開始するといったものでした。

DOORS　1段階目ですり合わせた方針の内容について教えてください。

中道　LLM活用の立場・知識向上・利用環境・制約・活用場面など、LLMにおける検討観点をリーダーレイヤーにインプットし、それぞれの方針についてディスカッションしていきました。

その中で、「小さく攻める」ということを強く意識しました。新しい技術なので、見方によっては全く使えないということになり、導入にまで至らないケースも想定していました。なので、まずは価値をしっかり理解いただくことが重要と考え、リーダーレイヤーの理解度を上げていくことに注力し、りそな様が注力すべきビジネス価値の発揮領域について話し合いました。

まずは、LLMの活用者としてDS部がどういう立場になるかを決めました。活用者の立場には、プラットフォーマーとサービス提供者、ユーザーの3つがあります。

プラットフォーマーとは、OpenAI社のようにLLMのモデルを展開して提供していくプレーヤーを指します。私からはプラットフォーマーではなくサービス提供者に絞りませんかと提案しました。実は大西さんや佐野さんからファインチューニングも考えているという話がありましたが、それだと長い期間が必要で、ビジネス価値が実際に出ない可能性もあります。なので、モデルを作成して提供するプラットフォーマーではなく、まずは既存モデルを利用してビジネス価値を出すサービス提供者に絞る方針をとることで合意しました。あとは利用環境やコスト面での制約、活用テーマの方向性などもろもろの課題を挙げていって、それぞれどういう方向性で進めるかをすり合わせました。    

ブレインパッド・木村真也（以下、木村）　リーダーレイヤーがすり合わせをしている間、ブレインパッド内部では並行して、私を中心にリテラシーの向上に努めていました。そもそもLLMはどのように使えるのかという調査から始まり、技術的なキャッチアップのメニューを作ったり、LLM活用ツールの簡易的なものを作って実物を見られるようにしたりしました。またりそな様に適用するにあたってどんなテーマがあるかをブレインパッド内で先立って考えました。プロジェクトが始まるまでに、ブレインパッドのチーム内ではLLMの活用例が50個ほど挙がっている状態になっていました。

中道　木村さんの助走のおかげで、プロジェクトではスタートダッシュをかけることができました。LLMに関する技術的知見に関しては自信があると先ほど申し上げましたが、その知見を木村さんが現場の業務にフィットするような形に準備してくれたことがプロジェクトの大きな成功要因だったと思います。

大西氏　2023年3月の時点で、りそな側の経営陣から「生成AIにどう取り組むのか」といった質問が矢のように飛び交うようになっていて、私たちも早く着手しないといけないという危機感を持っていました。またDS部は発足当初から「早く結果を出さないといけない」という考えでしたので、「小さく攻める」という中道さんの提案はしっくりくるものでした。

中道　1段階目のディスカッションを経て、2段階目ではりそな様のデータサイエンティストに対し、LLMを活用して業務適用を検討できる人材に育成する方針で進むことになりました。

大西氏　その1人目として、寺田さんをアサインすることにしました。その理由として、彼は研究要素の強い案件の経験が多いのです。たとえば行動経済学を金融データと掛け合わせたらどうなるかといったある意味マニアックなテーマに取り組んだこともあります。そんな彼にぴったりの研究課題だと考えたのです。

外部の人間からは出てこないようなアイデアを引き出すには？

DOORS　共同研究プロジェクトそのものの内容を伺います。まずプロジェクトで実施した勉強会の参加人数とメンバー構成を教えてください。

ブレインパッド・岡田侑季（以下、岡田）　勉強会は2回開催しました。第1回は生成AIとLLMの概要について、第2回はプロンプトエンジニアリングについてでした。どちらも30名程度の参加があり、リーダー層、メンバー層の方も幅広く参加いただきました。（本稿後、11月に3回目を開催）    

佐野氏　参加メンバーはDS部のみで、2023年8月当時の部員数は40数名でしたから、ほとんどの部員が参加したことになります。DS部では普段から定期的にデータサイエンスに関する勉強会を実施しており、その一環として参加者を募りましたが、LLMへの関心度は高かったようです。

DOORS　DS部のデータサイエンティストのみが対象だったのですか。

佐野氏　DS部には私のように企画中心のメンバーもいまして、データサイエンティスト以外も参加していました。

DOORS　勉強会以外のプロジェクトの内容について教えてください。

岡田　大きく2つありました。「業務適用に向けた検討」と「業務適用者の知識向上」の2つを実施しました。業務適用に向けた検討では、テーマを洗い出し、その中から選定したテーマの検討を進めました。

中道　りそな様と一緒にテーマを考えるところから始めて、そのテーマを実現したらどんな効果があるかをディスカッションしました。業務の理解が深いりそな様から業務的な発想をいただき、それに対して壁打ち的に「こういう活用もできますよ」とか「こういう課題がありますよ」と返すことによってりそな様側の知見が向上するように進めて行きました。

岡田　ブレインパッド内部だけのものとりそな様と共同で行ったものとで合計4回のアイデア出しのミーティングをし、その結果100を超えるテーマが出てきました。最初はよくある議事録作成といったものでしたが、進めていくうちにりそな様の持つデータだからこそできる高度なテーマが次々と出てくるようになりました。これが中道さんの言う「知見の向上」だと思います。

DOORS　岡田さんがりそな様ならではと感じたテーマの一例を教えてください。

岡田　たくさんありすぎてどれを挙げればよいか悩ましいところです。寺田さんが挙げたテーマで言うと、LLMでeラーニングの問題を作るというのがありました。過去問題から類似問題を生成するだけでなく、商品情報が載っている業務連絡の内容から商品についての理解度を高める新しいeラーニングの問題が生成できるのではないかという案が出ました。こういうのは私たち外部の人間からは出てこないアイデアだと大変印象に残っています。寺田さんからは何かありますか。

寺田氏　弊社の営業担当の交渉履歴やCRMのデータを使ってeラーニングのロールプレイング用問題を作るというアイデアが出ていましたよね。銀行ではルール変更や新商品知識の獲得、あるいは各種法令対応などかなりの頻度でeラーニングを受講する場面があります。その都度コンプライアンス部門や商品開発部署などが問題を手作りしているので、すぐに現場に喜んでもらえる活用例だと考えました。　

DOORS　それはAIならではのeラーニングという感じがしますね。生成AIとCRMやSFAと掛け合わせるといった発想は、私たち外部の人間からはなかなか出てこないと思います。ブレインパッド側では、このようなアイデアを引き出すための工夫はしたのですか。

岡田　事前準備の中で、ブレインパッドが手掛けたLLM関連のユースケースを木村さんがまとめてくれました。ユースケースごとにパネルを用意してユースケースから考えたことが     アイデアを引き出すトリガーになったと思います。

木村　LLMでできることを生成や翻訳、検索、推論など8つのユースケースに分類して、それぞれのユースケースをパネルという形で用意し、それを基にアイデア出しを進めていました。ちなみにブレインパッド内部でもこのパネルを使ってアイデア出しをしました。

DOORS　eラーニングでの問題生成を検討するにあたっての難しさはどういった部分が考えられるでしょうか。

中道　問題文作成の指示の仕方と問題の正しさをどうやって判定するかが難しいと思います。問題の種類だけを取っても、○×式もあれば選択式もあり、選択式の場合でも正解が複数あるとか、意地悪な問題だと1つも正解がないというのも考えられます。どういう問題を作るかの指示通りに問題文が作成されるか、また、作成された問題文や正解が正しく作られているかを自動で判断できるか、などが難しい観点かと思います。    

DOORS　銀行業界だとコンプライアンスやセキュリティー関連のハードルがとても高いと思うのですが、そのあたりをどのように乗り越えた、あるいは乗り越えようとしているのでしょうか。

佐野氏　お客さまの情報をそっくりそのまま出すようなことはやはり難しいと思います。しかしそのような情報を必ず使わないと良いLLM活用ができないわけではありません。社内規定やWebで見つかる一般的な公開情報だけでもさまざまなことができます。まずハードルの低い情報をベースにできることの中から、実現性の高いことにトライしていくという方針で取り組めばよいのです。

中道　そうですね。コンプライアンスやセキュリティーに関しては、今後はりそな様内部の合意を含めて話を進めていく必要があるというお話は当然させていただいています。その中ですぐに突破できることもあれば、なかなか難しいことも出てくると思います。難しい部分に合わせてすべてのチャレンジを止めることはもったいないため、すぐ突破できるところから価値のある活用を進めていければと考えています。    

システム的な機能追加をしなくてもLLMで柔軟な対応ができる

DOORS　 eラーニングの話が出ましたが、その他、業務適用領域について現在考えていることを、差し支えない範囲で具体的な例をいくつか教えていただけるでしょうか。

寺田氏　「チャットBI」という、対話形式でBI（Business Intelligence）を利用できるようにする構想があります。

DOORS　チャットBIについて、もう少し詳しく教えてください。

寺田氏　背景としてはBIツールが普及してきており、ダッシュボードも複数構築されていることがあります。そうなると自分の知りたい情報がどのダッシュボードにあるのか、背景への理解や知識が不足しているとわからなくなることがあるんですね。それをチャットで補うというアイデアです。

中道　たとえば売上グラフを見ていると、突然一時的に売上が増えているタイミングが見つかることがあります。当然理由を知りたいと思うわけですが、ダッシュボードを探し回っても理由がよくわからない。現場からは理由がわかる機能を開発してほしいという要望が出ることになるわけですが、LLMを活用すれば開発しなくても対応できるかもしれないのです。

岡田　既存ダッシュボードに機能追加すべき要望もあれば、そこまでには至らないけれど現場としては欲しいという要望も多数あります。それにすべて対応するのは工数的にもコスト的にも無理ですが、チャットBIがあることでカスタマイズしなくても柔軟に機能が追加できます。現場にとってもシステム提供側にとってもメリットのあるWin-Winのソリューションだと思うのです。

中道　ダッシュボードを見ながら会議をしているときに「ここ、なんで売上が増えているの？」と聞かれたとして、準備していなかったら即答できません。そんなときにチャットBIを使えば、会議がスムーズになりますよね。

DOORS　なるほど。LLMなので必ずしも正解が返ってくるとは限りませんが、確からしい回答は返ってくる。あとはそれをどう判断して使うかということですね。

中道　確からしさをどうやって証明していくかは、今後の検討課題です。他にも課題はたくさんありそうですが、実現に近づいてきている感触はあります。

DOORS　「急に売上が増えているけど、なぜ？」といったような例であれば、業務がわかっている方同士なら納得のいく答えかどうかはある程度判別がつくと思います。ですから、まずは”もっともらしい答え”が返ってくるレベルを目指すのでしょうけれど、それだけでもずいぶん助かるのではないでしょうか。

これまでの取り組みの延長で今後出てくる新技術にも対応できると確信

DOORS　LLMはAIに関する専門知識がない方でもある程度使えるところが画期的ということで今注目浴びているわけで、その特質を生かして業務で広く使ってほしい気持ちで取り組んでいると思うのです。そのためにDS部が担っていく役割や意義、逆にビジネス部門に期待することは何でしょうか。

大西氏　新しい技術をビジネスの現場に適用していくための支援をするというのが私たちの変わらないミッションです。その意味では、新しい技術が加わっただけという認識です。ただ当初は使い方がよくわからなかったのが、「業務特化型」という示唆をもらったことが大きいと感じています。

プロンプトエンジニアリングだと通常業務をこなしている人に新しい能力を求めることになりますが、業務特化型であれば通常業務の範囲内で活用してもらえます。アプリを提供するイメージですよね。現場ユーザーから見たら負荷の小さなサービスを提供して、実際のビジネス現場で役立ててもらうというのは、まさに私たちの役割そのものです。今後もそのような役割を担い続けたいと考えています。

そのためには、システム部門の協力を得てセキュリティーやアクセシビリティ、可用性等に問題がない環境を構築し、一方でビジネス部門と連携する――そういったシステムとビジネスの橋渡しを、これまでと同様にやっていかなければなりません。

ビジネス部門と連携する上で期待することもこれまでと同じです。実際にどのような課題がビジネスの現場にはあって、どういう技術があればその課題を解決できて、ビジネス価値の向上や効率化につながるかといったことについて、一緒に考えながら進めさせてもらえることを願っています。

DOORS　もう何年ぐらいDXに取り組んで来られたのですか。

大西氏　部門になってから2年半経ちます（編集注：前身のデータサイエンス室からは、2019年4月の発足から約4年半）。これまでのデータサイエンスにおける取り組みの経験があるからこそ、これからのプロジェクトも円滑に進む感触がありました。

中道　これまでのAI活用よりもスムーズに進む部分もあると思っています。これまでのAI活用においては、ビジネス部門のデータを学習して活用するため、データの準備が非常に重要な要素となっていました。しかしLLMに関しては、すでに世の中にある自然言語文を学習した状態でモデルとして提供されているので、学習用のデータ準備が不要で活用の幅がかなり大きいと思っています。

これまでは、「こういうデータの制約があるのでこうします。あるいはこれはできません」といった説明が必要でした。これからは、「こういう業務を置き換えたい」という発想をもらえれば、「では、こういうやり方ができます」といったやり取りが中心になります。より業務に近い発想が重要になってくるため、りそな様での活用に大いに期待しているところです。    

DOORS　こうした変化の中で、おそらくブレインパッドの支援の内容も大きく変わってくるのではないでしょうか。

中道　変わらないところと変わるところがあると思っていまして、これまで通りしっかりと技術支援をすることでデータの価値を高めていく部分はずっと残るはずです。一方で支援する技術要素は大きく変わりますし、ビジネスや業務への適用範囲が広がる上に、これまで以上にもっと難しい課題が解決できるようになると考えています。そういったことを踏まえて、私たちの取り組み姿勢も変わらないといけません。

DOORS　DS部の役割や意義という面で補足はありますか。

中道　新しい技術とビジネスの現場をつなぐことに価値があると思っています。大西さんが言われたとおり、今回のプロジェクトでLLMであってもこれまでの延長線上でやれるとわかったことで、今後次々と登場してくる新技術に対しても、ビジネス部門に技術を意識させずにAIを適応していくことの重要を再認識できました。これは非常に大きい手応えではないかと思います。

寺田氏　新しい技術を現場の人たちが知らず知らずのうちに使えている状態に持っていくのが、私たちが会社から求められていることだと思っています。

プロンプトをChatGPTに投げると答えが返ってくると聞くと、ずいぶん簡単なことのように思えるのですが、現行業務で定型的に行っていることに正確に当てはめようとすると、実は面倒が多いわけです。プロンプトを考えること自体も面倒ですし、前回と今回で同じプロンプトを投げたのに答えが違うといったときにその原因を考えるのも面倒です。

一見簡単そうに見えて、実は現場の負荷が大きいのがプロンプトエンジニアリングです。その負荷を最小限、もっと言えばゼロにするためには、ユーザーはプロンプトのやり取りをしているつもりではなく、裏側でプロンプトがやり取りされている――こういう状態にするのが私たちの役割であり、それをこれまで以上に素早く達成していくことが求められるのだろうと思っています。

業務における適用範囲もChatGPTのプロンプトをやり取りする対話型のインターフェースしか知らない状態のときはもっと狭く考えていました。しかし裏側でAPIを使えばユーザーインターフェースを簡素化できるとわかったことで、適用できる業務についてのアイデアも幅が広がりました。技術的な視野が広がったので、業務側の課題を現場と一緒に解決していくことに今後注力しなければと思っています。

DOORS　LLMの取り組みを始める前に、経営層からLLMで何ができるのかという問いかけがあったというお話でした。今なら何と答えるのでしょうか。

寺田氏　具体例はすでに述べたとおりですが、端的に答えるなら「今までよりも高度なことがもっと簡単にできるようになりました」と言いますね。それが一番のポイントです。

DOORS　なるほど。ブレインパッド側は、今回のプロジェクトの成果は何だと思いましたか。

中道　寺田さんの今の発言がまさに成果だと感じています。ChatGPTではない使い方でLLMを活用する価値が伝わり、本当にうれしく感じます。寺田さんのようにLLMの技術も価値も理解し、ビジネス適用を推進している人材を、私たちは「LLM活用人材」と呼んでいます。そのような人材が育成可能だという実感が得られたことに非常に大きな手応えを感じています。

あとは「業務特化型」の価値をりそな様に共感いただき、実際に有効な方式だという確信を持てたのも大きな成果です。    

今後は共同で他社にもサービスを提供していきたい

DOORS　最後に、LLMに関して今後どのようなスキルを持った人材が必要になるかを聞かせてください。

大西氏　まだまだ新しい技術ですので、現時点で必要なスキルを定義しすぎるのもまずいかなと思っています。ただ現在想定している範囲で言うと、現場のユーザーがすでに持っている業務知識の中で使っていける状態を作っていくことが大切だと考えています。そうなれば、自然とスケールしていき、次々と効果が生まれていきます。したがって、そのような状態を作れる人材が必要だと考えています。

DOORS　佐野さんはいかがですか。

佐野氏　ビジネス所管部門からは困っていることをとにかく投げてもらって、それを解決する方法がたまたまLLMだったとなるのが一番だと思います。できることは飛躍的に広がったので、多少難しいボールもぜひ投げてもらいたいですね。

寺田氏　現場のユーザーにとって簡単になった分、私たちデータサイエンティストはプロンプトエンジニアリングだけでは不十分で、そこにプラスアルファの技術としてAPI等を使いこなせるようにならないといけない。ChatGPTを使いこなすことはもちろん、もう少し深いところまで使えるようになる必要があるなと感じています。

中道　今の寺田さんの発言が、まさに「LLM活用人材」の発言だと思います。プロンプトをそのまま使わせるという形ではなく、業務を理解している人がLLMを使ってビジネス価値を出すためにはどうするのが最善かを検討してこそ価値が出ると感じています。

DOORS　りそな様ではこれまでデータサイエンスに取り組んでこられたからこそ、その延長線上で対応できているのだと思います。逆に今まで取り組んでこられなかった会社も多いと思うのですが、そのような会社が今からLLMに取り組むにはどうしたらよいのでしょうか。

大西氏　LLMが出てきた当初は、ITインフラの話だと私は思っていました。ChatGPTをツールと捉えて、PCやインターネットのように「導入したので使ってください」というやり方になるのかなと考えていたのです。しかし結局は業務部署側に技術を求めず、私たちのような技術的背景を持った人間が、ビジネスの課題を解決するためにどういうやり方で提供するかを考えないといけませんでした。それがこれまでの延長線ということでして、インフラとして導入するだけでは効果を出せる人は限定されてしまうのではないかと思います。しかし逆に、こうした技術をうまく利用することができれば、そのような会社でも一気に変革を遂げられるチャンスがあるともいえます。

DOORS　そうするとLLMをインフラとして導入するだけではなく、並行してデータサイエンスに取り組み、ユーザーの負荷を減らすことを第一に考えていくべきということですね。

大西氏　そのとおりではないかと思います。

DOORS　ここまでのりそな様の話を受けて、ブレインパッド側の展望もいろいろと広がったと思うのですが。

中道　これまでどおり中からデータサイエンスの部分を支えつつ、LLM活用人材を増やすことやLLM活用部分も引き続き協力させていただきたいと思っています。今後ますますスピードアップが求められますので、私たちからは障壁になっていることを指摘したり、逆に急ぐと危ないところでブレーキを踏んだりといったことを確実に行っていきたいです。ブレーキを踏むと言っても止めてしまってはいけないので、速度を落としながらも着実に進めていくイメージで協力していきたいと考えています。

DOORS　りそな様以外のLLM導入を考えている会社にはどんなサポートが可能でしょうか。

中道　LLMをどう使えばよいかという、いわば「汎用的」なご相談が多いのですが、少しもったいないと感じています。ビジネス効果を出すためにどうすればよいかを主軸として考えてもらえるように誘導しながら、LLMを織り交ぜた提案をすることで私たちの価値を上げていきたいと考えています。LLM活用人材を育成することに価値を感じるお客さまに対しては、さまざまなご支援が可能になったと思っています。

またりそな様とは2022年2月に資本業務提携契約を結ばせていただいています。りそな様と共同でりそな様のお客さまにサービスを提供することもぜひ進めていけたらと願っています。

DOORS　本日はお忙しい中、貴重なお話をありがとうございました。りそな様とは、引き続きご支援をさせていただきつつ、共同でのビジネスもさらに展開させていただければと存じます。今後ともよろしくお願いいたします。