Python システムエンジニア(SE)｜データ活用を推進するデータレイク・ETL基盤開発

仕事内容

＼案件のポイント／ ★データ活用のコアとなる「データレイク・ETL基盤」の設計開発！ AWSやAzureといった主要なクラウド環境下で、膨大なデータを効率的に統合・クレンジングするETL/ELT処理をPythonで開発する、データエンジニアリングの最前線となる打席です。 ★クラウド ✕ Python ✕ モダンデータテクノロジーの経験が積める！ 必須のPython（ETL/ELT）スキルに加え、注目度の極めて高い Databricks on Azure や Data Factory、Databricks Unity Catalog など、モダンなデータプラットフォームの知見・スキルを存分に発揮、また身につけることができます。 【業務内容】 AWSまたはAzureのクラウド環境下において、Pythonを用いたデータレイク向けのETL/ELT処理の基本設計から開発、総合試験、および一部運用・保守業務を担当いただきます。 ■ETL/ELT処理の設計・開発 システム間データ連携やデータ分析基盤（データレイク）への格納に向け、Pythonを用いたデータ抽出・変換・ロード（ETL/ELT）プログラムの基本設計および開発 ■パイプライン・API構築 Azure環境におけるData Factoryを用いたデータパイプライン処理の設計構築、およびAPI Managementやロジックアプリを使用したデータ連携用APIの開発・検証 ■データベース・メタデータ管理 Amazon Aurora、DynamoDB、またはDatabricks Unity Catalogを用いたデータ構造の定義、データ操作、および整合性検証 ■テストおよび運用保守 結合テスト・総合テスト仕様書の作成、検証データの準備とテスト実行、カットオーバー後の維持管理・チューニング対応 【作業工程】 基本設計 ～ プログラミング ～ システムテスト 【役割・ポジション】 システムエンジニア（SE） ／ メンバー

スキルタグ

必須スキル

⑴Python を用いた ETL / ELT処理 の設計・開発・テストの実務経験 ⑵リレーショナルデータベース（SQL）またはNoSQLにおけるデータ操作・開発の基本知識

歓迎スキル

⑴Databricks（Databricks on Azure、Unity Catalog等）を用いた実務経験、または強い学習意欲 ⑵AWS（Aurora, DynamoDB等）または Azure（Data Factory, API Management等）のクラウド構築・操作経験

開発環境

【言語】 Python 【DB】 Amazon Dynamo DB、Amazon Aurora 【ツール】 Git 【クラウド】 Azure 【ミドルウェア】 ,Paas 【DWH】 ,Databricks Unity Catalog

勤務日数

週5日

勤務曜日:月・火・水・木・金

休日・休暇:土日祝休み

勤務時間

08:45〜17:30（休憩60分）

残業:あり　月10〜15時間程度

登録面談方法

オンライン

就業開始時期

即日

契約期間

長期(3ヶ月以上)

更新あり

募集人数

1人

勤務形態

常駐

現場の雰囲気

服装は男性：スーツ、女性：ビジネスカジュアルです。