AI Agentの台頭でデータエンジニア(DE)・データサイエンティスト(DS)業務はどう変わるのか

AI Agentは今、何ができるのか──Genie Codeを例に

Q&A型からタスク委譲型へ

従来のAIアシスタントは、ユーザーがSQLクエリの生成やコード説明を依頼すると結果を返し、次の指示を待つ「Q&A型」の動作でした。

一方、Genie Codeのような現行のAIエージェントは「タスク委譲型」です。「不正検知パイプラインをMedallion Architectureで構築して」といった高レベルの指示を受けると、自動でステップを分解し、テーブル発見・コード生成・実行・検証まで自律的に完遂します。Unity Catalogに深く統合されており、テーブルのセマンティクス・リネージ・アクセスポリシーをコンテキストとして理解した上で動作するのが特徴です。

バイブコーディング (Vibe Coding)とは、こうしたAI Agentに対して自然言語で意図や目的を伝え、コード生成・実行・検証をエージェントに委譲する開発手法です。従来のコーディングでは、エンジニアが一行ずつコードを書いていたのに対して、バイブコーディングでは「何を作りたいか」を言語化する能力が重要になります。

この「Q&A型→タスク委譲型」への転換は、DE・DS双方の業務に直接的な影響を及ぼします。以下にて、具体的にどのような業務が自動化されるのかを解説していきます。

AI Agentにより自動化されるデータエンジニア(DE)業務

表1

参考リンク：https://docs.databricks.com/aws/en/ldp/de-agent

AI Agentにより自動化されるデータサイエンティスト(DS)業務

表2

参考リンク：https://docs.databricks.com/aws/en/notebooks/ds-agent

重要なポイントは、自動化されるのは「手を動かす実装作業」であり、「何を作るか」という意思決定ではないという点です。パイプラインの構築自体はエージェントが実行できますが、「どのERPのデータを、どの粒度で、どのタイミングで取り込むか」という業務要件の判断は、引き続き人間の責務として残ります。

AI Agent導入後にデータエンジニア(DE)・データサイエンティスト(DS)が専念すべきビジネス判断・設計業務

ここまでに解説したAI Agentによる自動化の対応範囲を踏まえると、DE・DSの業務フォーカスは「実装」から「設計・判断」へとシフトします。ここからは、主要な業務カテゴリごとにAI Agent導入前後の業務変革・変化について解説していきます。

データエンジニア(DE)業務のBefore / After

DEの業務は、バイブコーディングの普及により、定型的なパイプライン実装・障害対応・品質チェックの多くが自動化されます。一方で、「何を・なぜ作るか」のビジネス判断と設計は、引き続きヒトに残る核心的な責務です。

参考リンク：
https://www.databricks.com/blog/what-is-data-engineering
https://docs.databricks.com/aws/en/ldp/de-agent

従って、着手の優先順位は「パイプライン構築」と「障害対応」から自動化を進めるのが現実的です。定型的なジョブは、エージェントの精度も比較的安定しやすい領域です。また、サンドボックス環境で一度検証させ、その結果の人間による承認を経て、本番環境へ適用させるHuman-in-the-Loop方式を採用することも有効です。一方、組織固有のポリシーに大きく依存するタスクや権限勾配の高いジョブ実行は、エージェントへの委譲を慎重かつ段階的に進める必要があります。

データサイエンティスト(DS)業務のBefore / After

DSの業務でも同様に、データ準備・モデル開発のルーティン作業はAIが代替します。ヒトに残る価値は、「何を予測すべきか」「その結果をどうビジネスに活かすか」を判断するドメイン固有の知識と洞察力です。

参考リンク：
https://datascience-pm.com/wp-content/uploads/2024/12/CRISP-DM-for-Data-Science-2025.pdf
https://docs.databricks.com/aws/en/notebooks/ds-agent
https://docs.databricks.com/aws/en/dashboards/manage/dashboard-agent
https://docs.databricks.com/aws/en/mlflow3/genai/getting-started/genie-code

DS業務において特に注目すべきは、「モデル運用・監視」カテゴリの質的変化です。従来はドリフト検知や再学習パイプラインの運用といったMLOpsが中心でしたが、AI Agent導入後は「エージェントの出力品質をどう定義・評価・改善するか」という、より高度な設計業務を含むAgentOpsへとシフトします。

AI Agent時代に求められる5つの新たな業務スキル

ここまでは「既存の業務がどう変わるか」を解説してきました。しかし、AI Agent導入の影響はそれだけではありません。コーディングエージェントの普及により、DE・DS双方に従来存在しなかった新たな業務が生まれています。

参考リンク：
https://docs.databricks.com/aws/en/genie/best-practices
https://docs.databricks.com/aws/en/genie-code/skills
https://docs.databricks.com/aws/en/mlflow3/genai/eval-monitor/concepts/scorers

この5つの新業務の中で、最も早期に組織として取り組むべきはコンテキストエンジニアリングです。

コンテキストエンジニアリングとは、AI Agentが正確かつ効率的に業務を遂行するために必要な「前提知識」──メタデータ、セマンティック定義、ビジネスルール、評価基準──を構造化し、エージェントに提供可能な形で設計・管理する取り組みです。

プロンプトエンジニアリングが一回の指示を最適化する行為であるのに対して、コンテキストエンジニアリングは組織全体のAI基盤の品質を底上げする継続的な取り組みです。

エージェントの精度はコンテキストの品質に直接依存するため、ここが不十分だと他の全てが機能しません。逆に言えば、コンテキストの整備なしにAI Agentを導入しても、期待した精度は得られないでしょう。

まとめ

AI時代におけるDE・DSの役割変化は、技術的実装から戦略的判断・設計業務への移行として整理できます。

• DEが専念するのは：「何を・なぜ作るか」のビジネス判断──変換ロジックの設計、ガバナンスポリシーの策定、コスト対パフォーマンスのトレードオフ判断
• DSが専念するのは：「何を予測すべきか」「結果をどうビジネスに活かすか」──問題設定、精度の十分性判断、KPI設計、ステークホルダーへの示唆出し
• DE・DS共通で新たに担うのは：AIへの指示設計（コンテキストエンジニアリング）、出力品質の評価・管理、エージェントとの協働プロセス設計

変革を成功させる最重要要因は、技術変化を脅威ではなく機会として捉え、メンバーとともに新しい価値創出の方法を探求し続ける姿勢です。

FAQ

Q1: AI導入によってDE・DSの人員削減は必要になりますか？

人員削減ではなく、より高付加価値業務への移行による組織価値向上の観点で捉えることが重要です。定型作業の自動化により生まれたリソースを、戦略的な設計・判断業務や新しい価値創出領域に振り向けることで、組織全体の生産性と市場価値を向上させることができます。

Q2: 従来の技術スキルは無駄になってしまうのでしょうか？

従来の技術スキルは無駄になりません。むしろ、技術的基盤知識があることで、AI生成されたコードやソリューションの適切性を判断し、ビジネス要件に合わせてカスタマイズする能力が向上します。技術理解を土台として、戦略的思考や設計判断といったより高次の能力に発展させることが、AI時代のデータプロフェッショナルに求められる姿です。

Q3: コンテキストエンジニアリングとは具体的に何をすることですか？

AI Agentが正確に業務を遂行するために必要な「前提知識」を構造化し、提供する作業です。具体的には、データカタログのメタデータ整備（テーブル名・カラムの説明、PK/FK関係の定義）、ビジネス用語とSQL式の対応付け（例えば、「売上」＝純売上なのか、総売上なのか）、エージェントが参照するベンチマーク質問の作成などが含まれます。

Q4: どの業務から自動化に着手すべきですか？

業務定義が明確、かつ、定型度が高く、エージェントの精度が検証しやすい領域から始めることを推奨します。

Q5: この変化はDatabricks環境だけの話ですか？

本記事ではDatabricksのGenie Codeを中心に解説しましたが、この変化はAI/LLMを取り巻く共通の潮流です。Snowflakeでは「CoCo (Cortex Code)」、Google Cloudでは「Gemini Enterprise Agent Platform (旧Vertex AI)」を通じてエージェント開発基盤が整備されています。

Q6: 既にAI Agentを導入していますが、期待した精度が出ません。何が原因でしょうか？

多くのケースで原因となるのは、コンテキスト（メタデータ・セマンティック定義・ビジネスルール）の不足です。汎用AIの性能は飛躍的に向上していますが、エンタープライズ環境では与えられたコンテキストの範囲内でしか推論できないため、テーブルの説明不足、曖昧なビジネス用語の定義、類似データの競合などにより、精度が低下します。