Python システムエンジニア(SE)｜大規模データ連携システム開発

仕事内容

Python＋SQL＋AWSを組み合わせ、データ処理・データ連携システムを開発するお仕事です。 大量データを扱うため、一般的なpandas中心の処理ではなく、PySparkによる分散処理をメインに使用します。 「Python開発経験はあるけれど、今後クラウドやデータ基盤にも強くなりたい」という方にピッタリの案件です。 【業務詳細】 ・AWS上に構築されたデータ連携基盤に対する開発支援 ・Python（PySpark）を使用したデータ加工・変換処理の開発 ・大量データを対象としたETLジョブの設計・実装 ・SQLを使用したデータ抽出、加工、集計、検証 ・AWS Glue上で実行するジョブやデータ連携処理の開発 ・基本設計書などの設計資料をもとにした詳細設計・実装 ・テスト仕様に沿った単体／結合テスト、データ検証 ・処理結果やエラー発生時のログ確認、原因調査・改修 ・既存ジョブの仕様確認や処理内容の調査・改善 ・大量データを効率よく処理するためのPySparkコードの最適化 【身に付くスキル】 ・Python／PySparkによる大規模データ処理 ・AWS Glueを中心としたAWSデータ基盤 ・ETL／ELTの設計・開発知識 ・SQLによるデータ操作・検証 ・データパイプラインの設計・構築経験 ・クラウド環境におけるデータエンジニアリング 【開発環境】 ・AWS：Glue、S3等 ・言語：Python、PySpark ・DB／データ操作：SQL ・データ処理：Apache Spark ・関連技術：ETL／ELT、データ連携基盤 ・その他：Databricksなど 【作業工程】 基本設計 ～ 詳細設計 ～ プログラミング 【役割・ポジション】 システムエンジニア（SE） ／ メンバー

職種

スキルタグ

必須スキル

・Pythonを使用した開発経験 ・SQLを使用した開発／データ操作経験 ・AWSの基本的な知識・利用経験 ＼ここがポイント！／ ★ Python経験を活かしてデータエンジニアへ！AWS×PySpark×SQL／博多＋リモート併用 ＼活かせる経験／ ・PythonによるWeb／業務システム・バッチ開発 ・SQLを利用したデータ操作・データベース開発 ・AWSサービスを利用した開発・運用経験 ・Apache Spark／PySparkを利用したデータ処理 ・ETL／ELTやデータ連携システムの開発経験

歓迎スキル

・PySpark／Apache Sparkの実務経験 ・AWS Glueの開発経験 ・ETL／ELTツールの利用経験 ・データ連携システムの開発経験 ・データ分析基盤／データ基盤の構築経験 ・Databricksの利用経験 ・Amazon S3などAWS各種サービスの利用経験 ・大量データを扱うバッチ処理・データ加工経験

開発環境

【言語】 Python、SQL, 【ツール】 Databricks,Apache Spark、PySpark 【クラウド】 AWS,Glue、S3

勤務日数

週5日

勤務曜日:月・火・水・木・金

休日・休暇:土日祝休み

勤務時間

09:00〜18:00（休憩60分）

残業:あり　月5〜15時間程度

登録面談方法

オンライン

就業開始時期

即日

契約期間

長期(3ヶ月以上)

更新あり

募集人数

1人

リモート

一部リモート可

現場の雰囲気

服装は私服勤務可です。

担当のコメント

＼ここがおすすめ！／ ・Python経験を「データエンジニアリング」に広げられる ・AWS Glue＋PySparkという市場価値の高い技術に携われる ・大量データを扱うため、通常のPython開発とは異なる経験が積める ・基本設計～テストまで幅広い工程を経験できる ・博多勤務＋リモート併用で働きやすい ・今後需要が見込まれるクラウド×データ基盤のスキルを伸ばせる ＼担当者コメント／ PythonやSQLでの開発経験がある方であれば、AWS GlueやPySparkの実務経験がまだなくても十分にご活躍いただけるお仕事です。「大量データを扱う開発に挑戦してみたい」「データエンジニアの分野に興味がある」という方にぴったりの案件です。まずは今お持ちのスキルを教えていただければ、案件との相性をご一緒に確認させていただきますので、お気軽にご応募ください。 上記給与は目安となり、スキル見合いとなります。 給与・勤務開始日など、お気軽にご相談ください。