「データエンジニアって、具体的に何をしてるの？」
SIerで働いていた頃、データエンジニアの仕事内容がまったくイメージできませんでした。「データ基盤を作る」と言われても、毎日何をしているのかが見えなかった。
事業会社のデータエンジニアとして働き始めて2年。この記事では、データエンジニアの仕事内容を整理した上で、私の実際の1日のスケジュールを公開します。
データエンジニアの仕事内容とは
データエンジニアの仕事を一言でいうと、社内のデータを「使える状態」にすることです。散らばったデータを集めて、整理して、分析チームやビジネス部門が使えるようにする。これがデータエンジニアの本質的な役割です。
具体的には、以下の5つの業務が中心になります。
| 業務領域 | 具体的な内容 | 使用ツール例 |
|---|---|---|
| データ収集・連携 | 社内外のデータソースからデータを自動取得 | Fivetran, HVR, API連携 |
| データ変換・加工 | 分析しやすい形にデータを変換 | dbt, SQL, Python |
| データ基盤の設計・構築 | DWH・データレイクの設計と運用 | Snowflake, BigQuery |
| データ品質管理 | データの正確性・鮮度・整合性を担保 | dbt tests, Great Expectations |
| 権限管理・ガバナンス | 誰がどのデータにアクセスできるか管理 | Snowflake RBAC, データカタログ |
他のエンジニア職種との違い
「エンジニア」と名のつく仕事はたくさんありますが、データエンジニアはかなり毛色が違います。
| 職種 | 主な仕事 | 主なアウトプット |
|---|---|---|
| データエンジニア | データ基盤の構築・運用 | データパイプライン、DWH |
| システムエンジニア（SE） | 業務システムの設計・開発 | 設計書、業務アプリ |
| インフラエンジニア | サーバー・ネットワーク構築 | インフラ環境 |
| データサイエンティスト | データ分析・機械学習 | 分析レポート、MLモデル |
SEやインフラエンジニアは「システムを動かす」のが仕事ですが、データエンジニアは「データを流す」のが仕事です。そしてデータサイエンティストが分析する「素材」を用意するのがデータエンジニア。料理で例えるなら、データエンジニアは食材の仕入れと下ごしらえ担当です。
1日の業務割合
私の場合、1日の業務割合はだいたいこんな感じです。
| 業務 | 割合 | 補足 |
|---|---|---|
| 開発（SQL/Python/dbt） | 40% | メインの時間 |
| ミーティング・相談対応 | 20% | アナリスト・マーケターとの連携 |
| パイプライン監視・障害対応 | 15% | 朝一の稼働確認含む |
| ガバナンス・権限管理 | 10% | 地味だけど重要 |
| 技術調査・学習 | 15% | 新ツール検証など |
SIer時代はドキュメント作成が業務の50%近くを占めていましたが、事業会社では開発に集中できる時間が圧倒的に多いです。
1日のタイムライン
9:00 – 出社・パイプラインの稼働確認
朝一番の仕事は、前夜に走ったETLパイプラインの稼働確認です。
Fivetranの同期ステータス、HVRのレプリケーション状況をダッシュボードでチェックします。エラーが出ていたら原因を調査して対応。ほとんどの日は問題なく完了していますが、ソースシステム側の変更（カラム追加やデータ型変更）でエラーになることが月に数回あります。
SIerでいう「朝一のジョブ確認」と本質は同じです。ただし、SIerでは障害連絡票を書いて上長に報告して承認をもらって…という手順が必要でしたが、事業会社では「直して、Slackで報告して、完了」です。
9:30 – チームの朝会（15分）
データチームの朝会に参加します。各メンバーが「昨日やったこと」「今日やること」「困っていること」を共有するスクラム形式です。
SIerの進捗会議とは雰囲気が全然違います。資料準備は不要で、口頭で1〜2分話すだけ。形式的な報告ではなく、チーム間の連携を取るための場です。
10:00 – データモデリング・開発作業
ここが1日のメインの時間です。
新しいデータソースの取り込み設計をしたり、既存のデータモデルを改修したり、SQLやPythonでの開発作業を行います。
たとえば「マーケティング部門が新しい広告プラットフォームのデータを分析したい」という依頼が来たら、そのデータソースのAPI仕様を調べて、Fivetranでの取り込み設定を行い、Snowflake上でのテーブル設計をして、変換ロジックを書きます。
SIerとの大きな違いは、設計から実装までを一人で一貫してやれること。設計書を書いてレビューに出して承認を待って…という工程がなく、「設計して、作って、テストして、デプロイ」を自分のペースで進められます。
12:00 – 昼休み
リモートワークの日は自宅で昼食。出社日は社食。SIerの客先常駐時代と比べると、昼休みの自由度が全然違います。
13:00 – ステークホルダーとの打ち合わせ
午後はアナリストやマーケターとの打ち合わせが入ることが多いです。
「この分析をしたいんだけど、データはある？」「この指標の定義を変えたい」「新しいダッシュボードを作りたい」といった相談を受けて、データエンジニアとしてどう対応するかを議論します。
SIerでの「要件定義」に近いですが、社内の人が相手なのでコミュニケーションが圧倒的に楽です。顧客折衝の緊張感はなく、「一緒にいいものを作ろう」という協力関係で進みます。
14:00 – 権限管理・ガバナンス業務
Snowflakeの権限管理やデータガバナンスの業務を行います。
新しいユーザーのアクセス権設定、ロールの見直し、データアクセスポリシーの更新など。地味ですが、470テーブル・18スキーマの環境では重要な仕事です。
SIerでの「セキュリティ設計」「権限管理」の経験がそのまま活きる領域です。
15:00 – コードレビュー・ドキュメント整備
チームメンバーのプルリクエストをレビューしたり、技術ドキュメントを更新したりします。
dbtのモデル変更やSnowflakeの設定変更はGitHub経由でのプルリクエストで管理しているので、レビューは重要なプロセスです。
SIerでの設計書レビューと似ていますが、コードベースなので曖昧さが少なく、レビューの効率が高いです。
16:00 – 技術調査・学習
新しいツールの検証や技術調査の時間を取れるのも、事業会社の魅力です。
「Databricksへの移行を検討しよう」「新しいデータ品質ツールを試してみよう」といった技術選定に関われます。SIerでは「お客様が使っている技術」に縛られますが、事業会社では自分たちで技術スタックを選べます。
17:30 – 翌日の準備・退勤
明日のタスクを整理して退勤。残業は月10〜20時間程度で、SIer時代の半分以下になりました。
日常的に使うツール・技術スタック
データエンジニアが毎日触るツールをカテゴリ別にまとめます。
| カテゴリ | ツール | 用途 |
|---|---|---|
| DWH | Snowflake | データの保管・分析基盤 |
| データ連携 | Fivetran, HVR | 外部データソースの自動取り込み |
| データ変換 | dbt | SQLベースのデータモデリング |
| オーケストレーション | Airflow | パイプラインの実行管理 |
| バージョン管理 | GitHub | コードレビュー、CI/CD |
| コミュニケーション | Slack | チーム連携、障害通知 |
| BI | Looker, Tableau | ダッシュボード（アナリストが主に利用） |
SIer出身者にとって朗報なのは、SQLの知識がそのまま活きること。Snowflakeの操作もdbtのモデル定義も、ベースはSQLです。RDBの設計経験がある人は、データモデリングにもスムーズに入れます。
SIerとの1日の違い
意思決定のスピード。 SIerでは設計変更に承認フローが必要でしたが、事業会社ではチーム内で合意すればすぐ実行できます。
ドキュメントの量。 SIerでは作業量の半分がドキュメント作成でしたが、事業会社ではコードがドキュメントを兼ねます。dbt docsやREADMEで十分で、Excel方眼紙の設計書はありません。
技術の幅。 SIerでは1つのプロジェクトで1つの技術スタックに閉じていましたが、事業会社ではSnowflake、Fivetran、HVR、Python、SQLと複数のツールを横断的に扱います。
ユーザーとの距離。 SIerでは「作って納品して終わり」でしたが、事業会社では自分が作ったものを毎日使ってもらえます。「このテーブル便利」と言われた瞬間のやりがいは、SIerでは味わえなかったものです。
こんな人にデータエンジニアは向いている
SQLが好きな人、設計が好きな人、技術選定に関わりたい人、ユーザーの近くで働きたい人。これらに一つでも当てはまるなら、データエンジニアは良い選択肢です。
逆に、大規模プロジェクトの管理や顧客折衝がしたい人は、SIerの方が向いているかもしれません。
転職を考えているなら、まずはIT特化のエージェントに「データエンジニアの具体的な業務内容」を聞いてみてください。求人票だけではわからないリアルな業務イメージを教えてもらえます。
▼ 関連記事
※この記事にはアフィリエイトリンクが含まれています。筆者が実際に利用したサービスのみ紹介しています。
コメント