Nexoris est un cabinet de conseil dédié depuis 2010 aux consultants Indépendants du secteur IT & Financier intervenant dans les transformations métiers et SI de nos clients.
Le poste
Notre client bancaire recherche un consultant Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS.
Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.
Tâches et activités de la mission :
- Récupérer les données issues de sources externes
- Utiliser la puissance du datalake pour le traitement des données
- Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels
- Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake
- Développer en respectant les règles d’architecture définies
- Développer et documenter les user stories avec l’assistance du Product Owner
- Produire les scripts de déploiement
- Prioriser les corrections des anomalies
- Assister les équipes d’exploitation
- Participer à la mise en œuvre de la chaîne de delivery continue
- Automatiser les tests fonctionnels
Profil recherché
Développeur Data / Data Engineer-5 ans dans des rôles similaires
- Plateforme et environnement GCP (indispensable)
- Environnement GKE
- Développement d'API REST
- Stockage : HDFS / GCS
- Traitement : Maîtrise indispensable de l’écosystème Spark, Scala très apprécié, et si possible Kafka
- Planification : Airflow / Composer
- Méthodologies : Scrum, Kanban, Git
- DWH : SQL, BigQuery, BigTable
- Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
Expérience en développement dans un environnement Scrum / Kanban
Sensibilité et information sur les évolutions technologiques des piles logicielles utilisées
La maitrise de l'anglais est un plus
Longue mission
50 % de télétravail
