Data Infrastructure Engineer
orchestration tools (Airflow, Dagster, Prefect) Experience with Spark, Hadoop, or large-scale data processing frameworks...
orchestration tools (Airflow, Dagster, Prefect) Experience with Spark, Hadoop, or large-scale data processing frameworks...
タ分析関連システム開発経験 ・AWS等のクラウドサービスをバックエンドとした開発経験 ・DataLake/DWH/DataMartの設計および開発経験 ・HadoopやSpark等の分散処理アーキテクチャを利用した開発経験...
の大量データ処理を実現する各種システムの設計、構築、運用をお任せします。 メインとなる業務はデータ基盤システムの運用で、日々増えていくデータを蓄積し、バッチ処理や機械学習、分析者が使っているデータ基盤の運用を行います。現在はIceberg、Trino、Spark/Hadoopを使...用していますが、新しいサービス、技術があればそれらの検証、導入に関わることもできます。 ■業務内容 ※基本的には内製しております。 ・データ基盤(Iceberg、Trino、Spark/Hadoop)の設計、構築、運用 ・デー...
・Datadogなどを用いたシステム監視、メトリクス収集、障害検知・対応 ・データ処理パイプラインの構築(SQL、Spark、Pandasなど) ・ビジネスサイドとの要件定義・設計フェーズへの参画 ■主な取引先:※全体の9割が直案件 エイ...
、Sparkなどを用いた大規模データ処理の開発・運用経験 DWH(Hive、Redshiftなど)を用いたデータモデリングおよびデータ開発・運用経験 あると望ましい経験/スキル KafkaやPulsarなど...
)またはSQLを用いたデータ処理経験 ・AWS(S3/IAM/Glue/Lambdaなど)の利用経験 以下の経験をお持ちの方は歓迎します。 ・SparkまたはDatabricksを用いた開発経験 ・ETL/ELTパイ...
機関向けのデータ基盤およびAI活用基盤構築プロジェクトにおける、設計・開発・運用支援の実行 ・データ収集・加工・集計・クレンジングなど、分析・AI活用に向けたデータ整備処理の実装 ・PythonやSQL、Spark、Airflowなど...
いただく工程はご経験やご希望に合った内容へアサインが可能です。 ビッグデータ抽出/活用/収集システムの開発(Java、Python、GitBucket、Jenkins、AWS、Hadoop、Apache Spark) 変更の範囲:会社の定める業務 【チーム/組織構成】 <転勤> 無...
車会社コネクテットカープロジェクト 【言語】 Java、C# 【DB】 MySQL 【サーバ】 Apache Spark、Apache 【フレームワーク】 Spring Boot、.NET 【クラウド】 Azure ◆大手損保保険契約サイトリプレイス 【言語...
and services that are innovative and spark enthusiasm. In short, Bosch creates technology that is “Invented for life...