環境＞ －クラウド：AWS（ECS/Glue/RDS/S3/Lambda など）/Databricks －データ処理基盤：Apache Spark/AWS Glue －DB：Amazon RDS（Aurora MySQL）/DynamoDB...
／Python ミドルウェア：PostgreSQL／Spark／GNU／Fluentd／Elasticsearch／Docker／Terraform インフラ：AWS（Aurora／ECS／Fargate／Kinesis／Lambda...
】・ビッグデータ処理技術（Hadoop、Sparkなど）の経験・データ可視化ツール（Tableau、Power BIなど）の使用経験・クラウド環境（Azure、AWS、GCP）でのデータ分析経験・Gitlab、Jira、Confluenceの使...
／Tailwind／Storybook／Jest／Testing Library／NestJS／TypeORM 配信バックエンド・ETLジョブ：Go／Gin／Scala／Python ミドルウェア：PostgreSQL／Spark／GNU...
to GKN Automotive. We need people of different backgrounds, with different skills and perspectives to spark originality...
タ処理パイプラインの構築（SQL、Spark、Pandasなど） ・ビジネスサイドとの要件定義・設計フェーズへの参画 ■主な取引先：※全体の9割が直案件 エイベックス / 三菱電機 /トラストバンク / キヤノンマーケティングジャパン / ユニクロ / パナ...
の大量データ処理を実現する各種システムの設計、構築、運用をお任せします。 メインとなる業務はデータ基盤システムの運用で、日々増えていくデータを蓄積し、バッチ処理や機械学習、分析者が使っているデータ基盤の運用を行います。現在はIceberg、Trino、Spark/Hadoopを使...用していますが、新しいサービス、技術があればそれらの検証、導入に関わることもできます。 ■業務内容 ※基本的には内製しております。 ・データ基盤（Iceberg、Trino、Spark/Hadoop）の設計、構築、運用 ・デー...
orchestration tools (Airflow, Dagster, Prefect) Experience with Spark, Hadoop, or large-scale data processing frameworks...
タ分析関連システム開発経験 ・AWS等のクラウドサービスをバックエンドとした開発経験 ・DataLake/DWH/DataMartの設計および開発経験 ・HadoopやSpark等の分散処理アーキテクチャを利用した開発経験...
・Datadogなどを用いたシステム監視、メトリクス収集、障害検知・対応 ・データ処理パイプラインの構築（SQL、Spark、Pandasなど） ・ビジネスサイドとの要件定義・設計フェーズへの参画 ■主な取引先：※全体の9割が直案件 エイ...