Python データエンジニア｜データ活用基盤のETL/データパイプライン開発

仕事内容

大手企業向けのデータ活用基盤移行プロジェクトにおいて、dbt を用いたETL/ELT開発を担当いただきます。 主なミッションは、既存の Informatica で構築された処理を、Databricks 環境で動作する dbt ベースのデータパイプラインへリプレースすることです。 具体的には、要件整理・変換ロジックの再設計、dbt モデルの実装・テスト、データ品質の担保、運用を見据えたパイプライン整備を行います。Databricks 上での開発経験や PySpark を用いた分散処理の知見がある方は歓迎します。 就業形態は原則リモートですが、状況により都内23区内でのオンサイト対応をお願いする場合があります。

スキルタグ

必須スキル

・ETL またはデータパイプラインの設計・実装経験 ・Python を用いた業務開発経験（3年以上） ・SQL を用いた業務経験（3年以上）

歓迎スキル

・dbt を用いたモデリング/開発経験 ・Databricks の利用経験、または関連資格の保有 ・Informatica からの移行（リプレース）経験 ・データカタログ整備・運用の経験 ・Apache Spark / PySpark 等の分散処理経験 ・データエンジニアとしての実務経験（3年以上）

開発環境

・主要技術: Python, SQL, dbt, Databricks, Apache Spark(PySpark) ・データ基盤: Databricks Lakehouse ・その他: Git 等のソース管理、タスク/ジョブスケジューラ、データ品質/テストツール

勤務日数

週5日

勤務曜日:月・火・水・木・金

勤務時間

36000〜68400（休憩60分）

残業:あり

登録面談方法

オンライン

就業開始時期

即日

契約期間

長期(3ヶ月以上)

更新あり

募集人数

3人

勤務形態

一部リモート可