Sparkの派遣求人・仕事一覧

日本最大級ECモール中心にインターネット関連サービス事業を展開している企業で、 下記業務をお任せします。 【担当業務】 内製広告配信システムに展開されている推論パイプラインの開発 ・推論モデルの組み込み、既存コンポーネントの改修（設計、実装、テスト） ・要件をもとにコンポーネント横断（バッチ、DAG、サーバー）で開発を担当 ・関係メンバーとの調整、トラブル発生時の調査、本番パイプラインの運用補助など

求人の必須スキル

・データパイプライン構築: DAGを用いたデータフローの設計・実装経験。運用性の高い設計ができること ・アプリケーション開発: GoまたはPythonを用いた本番環境での開発経験（設計、実装、テスト、CI/CDの整備） ・分散データ処理: 分散処理フレームワーク（Apache Spark等）を用いた大規模バッチ処理の構築・運用経験 ・データ品質監視: 本番環境におけるデータ品質の可視化・監視体制の構築経験（ダッシュボード構築、アラート設計等）

大手4社が共同出資して設立した国内最大級の購買データを活用している広告代理店で、 BIエンジニア業務をお任せします。 【お任せする業務】 (1) データ抽出作業 社内依頼票（Backlog等のチケット）に基づく 仕様要件の確認 要件に沿ったSQL クエリの作成・実行 抽出結果の CSV / Excel 整形、集計表作成 抽出結果の妥当性チェック（件数・欠損・異常値の確認） (2) クエリ開発 仕様に沿った抽出クエリの開発 既存クエリのパラメータ化・汎用化 繰り返し発生する抽出の テンプレート化・スキル化(できれば) (3) 他者クエリのレビュー 他メンバーが書いたクエリの ロジックと結果のレビュー JOIN 条件、NULL 処理、パーティション指定、重複除去などの観点で確認 改善提案・修正依頼のフィードバック (4) 抽出結果の加工・確認 ピボット集計、前年比・構成比の算出 依頼者への納品前の 二重チェック（数字の整合性・定義のズレ） 必要に応じた簡単なグラフ化（Excel／スプレッドシート） 【開発環境】 データ基盤：Databricks（SQL Warehouse、Spark、Delta Lake、Unity Catalog） 言語：Spark SQL（ANSI SQL に準拠） その他 ：Excel、Google スプレッドシート、Git（GitHub）、Slack、Backlog、MS Teams

求人の必須スキル

・SQLの実務経験