データ組織ゼロから投資を得るまでの軌跡と未来図 〜AIの前にやるべきこと〜

データ組織ゼロから投資を得るまでの軌跡と未来図 〜AIの前にやるべきこと〜

この記事は、2025年11月6日の「Data Engineering Summit」 での登壇内容「データ組織ゼロから投資を得るまでの軌跡と未来図」 をQiita用にまとめたものです。

はじめに

本日の内容は、生成AI時代のデータ基盤構築というテーマ に対し、その「AI-Ready」のさらに手前、「AI-ReadyになるためのReady」といった位置づけの話です。

以下のような課題感を持つ方への勇気になれば幸いです。

  • 「AI活用が叫ばれてるけど、データ基盤ない！」
  • 「社内にデータ活用・管理チームがないが、やりたい！」

この記事では、データ基盤・データ組織がない状態から、どのようにボトムアップで社内にデータ活用を広め、データ整備に対する投資をもらったか の一つの事例を紹介します。

Agenda

  1. 1歩目： データ組織・基盤「ゼロ」からのデータが見れる状態へ
  2. 2歩目： 暗中模索の行脚。データ活用の総量を増やす
  3. 3歩目： 技術的負債解消のため、データ基盤再構築の投資獲得とさらなる成長のための整備
  4. 現状の課題解決のための新データ基盤
  5. 未来へ向けて： 活用拡大のためのディメンショナルモデリング導入とその後

【1歩目】データ組織・基盤「ゼロ」からのスタート

入社と2つの「見れない」問題

入社当時、私は「DevOpsエンジニア」としてプロセス課題の解決を期待されていました。組織課題のヒアリングを進める中で、「顧客に喜ばれる、価値のある機能とは？」という言葉が気になりました。

当時、社内には2つの「見れない」問題がありました。

  • 1. 開発（製品企画・開発）側の問題
    • 新機能開発が優先され、既存機能の価値評価プロセスが回っていなかった。
    • 特殊契約の顧客もおり、データアクセスが（権限的・インフラ的に）困難だった。
  • 2. ビジネス（CS・販促）側の問題
    • 顧客の機能利用状況を把握できず、製品をより活用してもらうための作戦立てが困難だった。

最初のアクション：課題解決 × 基盤導入PoC

この「確実にヤバいデータ課題の解決」 と「データ基盤の導入(PoC)」 を同時に進めることが重要だと考えました。

開発チームとCS・販促チームという複数部署がデータを見る前提だったため、単発のバッチ処理開発ではなく、データサイロを打破できるデータ基盤（Snowflake） が誕生しました。

1歩目のまとめ： まずは目の前の「データが見れない」課題を解決するために、データ基盤の導入（PoC）を同時に推進した。

【2歩目】暗中模索の行脚 (データ活用の総量を増やす)

“刺さらない”データ活用サンプル

データが見えるようになった（1歩目）後、今度は「データ活用の総量を増やす」 フェーズに入りました。

取得したデータを元に「こういうのがあったらいいのでは？」と、開発フェーズや営業・顧客管理フェーズのパイプラインを可視化するサンプルをひたすら作りました。

しかし...。 作ったダッシュボードのサンプルが、全くもって“刺さらない”。

当時は「ななめ1on1」という制度を活用し、ほとんどの部の部長とMTGを行い、活用の営業をしました。

「データ駆動型」から「レポート駆動型」へ

なぜ刺さらなかったのか。当時を振り返ると、『アジャイル データモデリング』 にある「データ駆動型分析」 の状態に陥っていたのだと思います。

  • データ駆動型分析（当時の私）
    • 「システムを作れば、きっとユーザーは来る」
    • 業務データソースを分析して要件を定めるが、ユーザーの意見が先ではないため、優先順位やスコープを判断できず、時間と費用がかかる。
  • レポート駆動型分析（目指すべき姿）
    • ユーザーがレポートに何を求めているかを読み解く。
    • ステークホルダーが抱える緊急度の高いレポート要件に集中し、効率的に開発を進める。

足で稼いだ先に見えたもの

盲目的に刺さらないレポートを作成し、発信し続けていた のは非効率でしたが、その結果、「本江さん、データやってくれるんだって？」 という認知が広がり、データの悩みや解決したいことを相談してくれる人が出てきました。

この暗中模索の行脚のおかげで、「レポート駆動型分析」の案件が舞い込むようになったのです。

結果として、各部署（プロダクト企画、開発、事業企画、マーケティング、経営層）でデータ活用が実現し、Snowflakeのユーザー数は2年間で約250ユーザー増加しました。

2歩目のまとめ： データ活用の総量を増やすため、鶏（データ駆動）と卵（レポート駆動）は気にせず、とにかく足で稼いで認知を拡大し、案件を獲得した。

【3歩目】技術的負債と投資獲得

迫り来る「技術的負債」という魔境

データ活用が進む一方、PoC期間に最短で活用を目指した結果、既存のアセットに頼り切った「魔境」が完成していました。

  • 役割分掌やデータ格納粒度がバラバラ。
  • 生データを格納しておらず、再集計・再実行に他チームとの調整が必要。
  • ドメイン知識、抽出、加工、提供など、全フェーズで属人化が発生。
  • 顧客数・アクセスも順調に増加し、将来的に本番負荷が懸念される。

「さすがにやばい。データ活用を続ける阻害要因じゃん…」

投資獲得のロジック

この技術的負債を解消し、SnowflakeのPoCを終了して本導入する ため、投資獲得に向けた情報まとめを行いました。

ポイントは、「今までの貢献度」 vs 「新基盤のコスト」 を明確にすることです。

1. いままで推進してきたデータ活用の貢献度 提供・運用装着されたダッシュボードが、どれくらいの価値を生んでいるかを月額換算しました。

  • 考慮項目: 閲覧人数、意思決定への利用、業務停止時の損失
  • 例:
    • XXXXXXXX（XXXXXXXX可視化）: XXX万円以上/月
    • XXXXXXX（役職者）（機能評価・投資判断）: XX万円/月
    • XXXXXX（役員）（XXXXXXXXXXXダッシュボード）: XX万円/月

2. 新基盤の運用コスト（とメリット） インフラコスト増だけでなく、新基盤によって「作業がどれだけ効率化されるか」も月額効果として算出しました。

  • セキュリティ・ガバナンス改善: （要件定義効率化） → XX万円/月
  • システム性能・安定性UP: （復旧作業効率化） → X.XX万円/月
  • データ活用・拡張性UP: （要件定義・分析業務効率化） → 合計 XXX万円/月
  • 開発・運用効率UP: （依頼対応効率化） → XX万円/月

この結果、新基盤構築後のイニシャルコスト に対し、ランニング価値（データ活用価値 - インフラコスト + 作業効率化価値） が十分あることを示し、投資を獲得しました。

3歩目のまとめ： 活用（2歩目）で得た信頼と実績を「価値換算」し、技術的負債の解消（整備）のための投資を獲得した。

【第4章】新データ基盤のアーキテクチャ

投資を獲得し、再構築した新データ基盤の概要です。

主な改善ポイント：

  • 本番環境の分離
    • 製品DBからfluentbitやCSV出力を経由し、S3へ転送。集計時に本番環境は叩かない構成に。
  • RAWデータ（生データ）の保持
    • S3 (extruct) → Snowflake (RAW) に生データを _loaded_at と body (JSON) で保持。
    • これにより、データ分析チーム内での再集計・再実行が容易になりました。
  • ELTとオーケストレーション
    • データソース（Salesforce, Marketo, GitLab, RedMine等） はS3やAppFlow 経由でSnowflakeのRAW層へ。
    • RAW → WAREHOUSE → MART への変換・加工は Airflow (Python, SQL) で管理。
    • 同様の処理・リポジトリで管理することで、属人化の排除を狙っています。
  • BI（アウトプット）
    • MART層のデータをTableau で可視化、または各種ユースケース に利用。

泥臭い現実（ぼやき）

もちろん、この移行は大変でした…（助けてくれた皆様、ありがとうございます）

  • 法務との確認、個人情報保護法の学習（保護士になりました）
  • Snowflakeの規約やりとり
  • 予算管理
  • AppFlowでMarketo同期バグを踏む（最近直ったらしい）
  • SaaS毎、データソース毎に異なる課題（全件取得 vs 差分取得）

【第5章】未来へ向けて

新データ基盤が構築できた今、主戦場を再度「データ活用の総量を増やす」 ことに戻していきます。

ディメンショナルモデリングの導入

次のステップとして、「WAREHOUSE層」と「MART層」の整備、つまりディメンショナルモデリングの追加・改善 に注力しています。

  • なぜやるか？
    • データ活用の総量を増やし、AI BI や自然言語分析（Snowflake MCP） など、将来の「まだ見ぬビジネス貢献」 に備えるため。
  • どうやってるか？
    • データ経験者（0人→3人） で、『アジャイル データモデリング』輪読会 を実施（1周読了）。
    • データモデリングのUnit Test的な仕組み や、Snowflake MCPでの即時フィードバック を模索中。

未来への動き：「足」と「技術」の両輪

これからのデータ活用は「足と技術で稼ぐ」 必要があります。 データ活用を増やすため、「足」と「技術」の両方を大事にできるチームを作っていきたいと考えています。

  • 足（ビジネス・プロセス）
    • ステークホルダーを理解し、緊急・重要な課題に集中する。
    • （成果物はレポートとは限らない。データモデル、MLロジック、AIツールかもしれない）
  • 技術（課題解決の手段）
    • dbt, データカタログ, 非構造化データ, 機械学習, セマンティックレイヤー...
    • 永遠にやることがありそうです。

まとめ：ゼロから投資獲得までの3ステップ

私たちが歩んだ2年半 の軌跡は、以下の3ステップの繰り返しでした。

  1. 1歩目：データが見れる状態へ
    • 課題解決とデータ基盤導入(PoC)をセットで進める。
  2. 2歩目：データ活用の総量を増やす
    • 「足で稼ぎ」、仲間（相談者）を増やす。
  3. 3歩目：将来のための投資の獲得
    • 活用（2歩目）の実績を「価値換算」し、技術的負債解消と成長のための整備（投資）につなげる。

そして今、新基盤（整備） を手に入れ、再び「2n歩目：データ活用の総量を増やす」 フェーズに戻っています。

さいごに

よく「データ活用文化の浸透はトップダウンが大事」 と言われますが、ボトムアップでもやれることはあります。

データは、新規事業 、既存事業改善 、プロセス改善 といった「攻め」 から、ガバナンス やインフラ運用 といった「守り」 まで、とんでもない広さのビジネスエリアに関与します。

「データやってる」 ということは、自分の意思でなにかを好転させる機会が無限にある ということです。

いま孤独に戦ってる方 、ぜひ1歩踏み出してみてください。 仲間は近くにいると思います。

Privacy Policy
© 2020 ~ Yuto Hongo