Sparkの派遣求人・仕事一覧

AWSでのインフラ設計構築経験、Python等の開発スキルを活かし、大手通信企業の大規模データ分析基盤の保守開発を担うサブリーダーのポジションです。新技術の導入にも継続的に挑戦しています。

求人の必須スキル

・AWS等のクラウドを用いたインフラ設計・構築・運用の実務経験 ・サブリーダー相当のリード経験、またはAWS設計構築のエキスパートとしての実績 ・Python/Node.js/Java/Goいずれかによる汎用プログラミング経験 ※ご提案時は各スキルの可否を〇/×で明記ください

Python、Java、Node.jsいずれかでのAPI開発、およびETL/データパイプラインの設計経験を活かせるバックエンド・データ基盤開発の業務です。道路インフラの大量データを扱うプラットフォーム構築に携わり、社会貢献性の高いプロジェクトでご活躍いただけます。

求人の必須スキル

必須（技術）: - Python / Java / Node.js のいずれかでの実務開発経験 - REST APIの設計・開発経験 - SQLおよびRDBの実務経験 - Gitを用いたチーム開発経験 必須（データ系）: - ETL／データパイプラインの設計経験 - 大量データ処理の実務経験

PythonとSQLでの3年以上のETL開発経験を活かせる案件です。dbtとDatabricksを用い、既存データ基盤をモダンな環境へ移行します。変換ロジックの再設計からdbtモデルの実装まで、データパイプライン開発全般を担当いただきます。

求人の必須スキル

・ETL またはデータパイプラインの設計・実装経験 ・Python を用いた業務開発経験（3年以上） ・SQL を用いた業務経験（3年以上）

大手4社が共同出資して設立した国内最大級の購買データを活用している広告代理店で、 BIエンジニア業務をお任せします。 【お任せする業務】 (1) データ抽出作業 社内依頼票（Backlog等のチケット）に基づく 仕様要件の確認 要件に沿ったSQL クエリの作成・実行 抽出結果の CSV / Excel 整形、集計表作成 抽出結果の妥当性チェック（件数・欠損・異常値の確認） (2) クエリ開発 仕様に沿った抽出クエリの開発 既存クエリのパラメータ化・汎用化 繰り返し発生する抽出の テンプレート化・スキル化(できれば) (3) 他者クエリのレビュー 他メンバーが書いたクエリの ロジックと結果のレビュー JOIN 条件、NULL 処理、パーティション指定、重複除去などの観点で確認 改善提案・修正依頼のフィードバック (4) 抽出結果の加工・確認 ピボット集計、前年比・構成比の算出 依頼者への納品前の 二重チェック（数字の整合性・定義のズレ） 必要に応じた簡単なグラフ化（Excel／スプレッドシート） 【開発環境】 データ基盤：Databricks（SQL Warehouse、Spark、Delta Lake、Unity Catalog） 言語：Spark SQL（ANSI SQL に準拠） その他 ：Excel、Google スプレッドシート、Git（GitHub）、Slack、Backlog、MS Teams

求人の必須スキル

・SQLの実務経験

日本最大級ECモール中心にインターネット関連サービス事業を展開している企業で、 下記業務をお任せします。 【担当業務】 内製広告配信システムに展開されている推論パイプラインの開発 ・推論モデルの組み込み、既存コンポーネントの改修（設計、実装、テスト） ・要件をもとにコンポーネント横断（バッチ、DAG、サーバー）で開発を担当 ・関係メンバーとの調整、トラブル発生時の調査、本番パイプラインの運用補助など

求人の必須スキル

・データパイプライン構築: DAGを用いたデータフローの設計・実装経験。運用性の高い設計ができること ・アプリケーション開発: GoまたはPythonを用いた本番環境での開発経験（設計、実装、テスト、CI/CDの整備） ・分散データ処理: 分散処理フレームワーク（Apache Spark等）を用いた大規模バッチ処理の構築・運用経験 ・データ品質監視: 本番環境におけるデータ品質の可視化・監視体制の構築経験（ダッシュボード構築、アラート設計等）