現場業務で人手が不足し、ノウハウの共有や技能伝承が加速度的に進まなくなっているといった問題が、さまざまな業界で起こっています。「熟練作業者のノウハウ」が属人化しており、データ化されて継承できるカタチになっていないことがその一因です。たとえば、みなさんは次のような課題を抱えてはいないでしょうか？
- 日々の業務記録が無く、後からチェックすることや業務改善につなげることができない
- マニュアルが存在せず、人員交代のたびに作業品質が変わってしまう
- スキルアップに役立つ共有アセットがなく、個人個人の経験・場数がモノを言う状況になっている
これらを打開するため、顧客に寄り添ったデータ活用のプロフェッショナル集団として豊富な実績を有するブレインパッド、AIエージェント事業に特化したブレインパッドの子会社 BrainPad AAA、ソフトウェアとハードウェアを統合したテクノロジーを提供するFairyDevices の3社が一体となって、「作業動画解析AIエージェント」(仮称) を提供します。
さまざまな産業現場の個々のプロジェクト・組織を横断的に管理・支援することで、特定の分野に閉じないマルチモーダルAI※の知見を流通させるとともに、現場に寄り添ったAIエージェントの普及を推進します。
※マルチモーダルAIとは、画像や動画、音声、テキストといった複数の異種データを一度に処理できるAI技術のこと。
-
作業動画解析AIエージェントとは？
「作業動画解析AIエージェント」は、ブレインパッドが設計しBrainPad AAAが開発した、現場のさまざまな動画を解析するAIエージェントで、Fairy Devicesの首掛け型ウェアラブルデバイス「THINKLET」と連携します。
技術者や作業員が、自身の日常作業を「THINKLET」を装着して行うだけで、デバイスが記録する音声や映像、各種センサーデータなど複数の形式にまたがる情報をマルチモーダル解析が可能なAIエージェントが処理し、作業に関する報告書や、手順書・マニュアルなどを自動生成できます。
-
アウトプットイメージ
「THINKLET」にて撮影・蓄積した動画データを作業動画解析AIエージェントが工程分析し、報告書やマニュアルを自動作成します。動画に映っているものから「どのような作業が行われているのか」を自動検出するだけでなく、事前にAIエージェントに学習させた内容や、各種センサによって取得される音声・位置情報・加速度などのデータを活用することで、アウトプットのさらなる精度向上や高度化も可能です。
また、作成された報告書/マニュアルは、解析基盤上での修正・加筆や、解析された工程ごとに該当箇所を動画再生して見返すことなどもできます。これらのアウトプットは、作業の脱属人化や手順の言語化、現行作業のワークフローの改善に有効です。
-
THINKLETの特長
Fairy Devicesは、マルチモーダルAI技術を活用して現場業務のデジタルトランスフォーメーション（DX）を支援する研究開発企業で、ソフトウェアとハードウェアを統合したテクノロジーを提供しています。主力製品であるウェアラブルデバイスの「THINKLET」は、AIにとって適切な学習・解析データを収集し、AIとの円滑なコミュニケーションを行うために開発されました。
人間工学に基づいた軽量のハンズフリーデザインであり、頭に付けるタイプのウェアラブルカメラやスマートグラスに比べて、現場作業者の負担が少なく、モバイル回線を通じてクラウドから全ての操作を制御可能であるのに加え、画角が安定し産業現場の騒音環境でも利用可能であることが大きな特長です。同社のAI技術を活用した製品は南極をはじめ世界中の現場で活用され、評価を得ています。本ソリューションには、Fairy Devicesがこれまで培ってきたマルチモーダルデータ（動画像／音声／GPS／各種センサーなど）やエッジデータの処理、ネットワークを介したデバイスのリアルタイム制御、そして「人と機械が円滑にコミュニケーションするための各種AI技術」が提供されます。今後、こうしたマルチモーダルAIを「THINKLET」の既存ユーザに追加することも構想しています。
-
想定ユースケース
「作業動画解析AIエージェント」は、報告書/マニュアルの作成だけでなく、作業の改善余地の抽出や現場で見落とした異常の検知、作業後に異常が発見された際の原因特定などにも利用できるよう、順次機能拡張も予定しています。
これまでは獲得が困難だった作業者視点での知覚情報やノウハウを取得でき、従前からスマートファクトリー化等で進められてきた機器側のセンサーデータと掛け合わせて、人と機械のOT（オペレーショナルテクノロジー）データを構築できます。これにより、現場全体を把握したAIの高度な判断と作業者の物理的な問題解決能力を融合させた、オペレーショナルエクセレンスを実現します。
具体的な想定ユースケース例は以下の通りです。
