Data Engineer Senior GCP

Devoteam

Intégré(e) dans les équipes DF Supply le/la consultant(e) aura pour mission de concevoir, développer et maintenir des solutions de traitement de données massives en utilisant les technologies Big Data et les outils GCP. Il/elle sera responsable de la mise en place et de l’optimisation des pipelines de données, de l’analyse des performances et de l’amélioration continue des solutions existantes.

COMPÉTENCES PROFESSIONNELLES:

• Maîtriser les technologies Cloud de Google Cloud Platform (GCP) pour la gestion des données, l’orchestration et le déploiement des solutions Big Data.
• Avoir une expertise approfondie de BigQuery et BigTable pour le stockage, la manipulation et l’analyse de données à grande échelle.
• Maîtriser les langages de programmation Scala ou Java pour le développement de solutions Big Data, avec une expérience significative dans l’un des deux.
• Avoir une expérience pratique avec l’écosystème Hadoop et ses outils associés comme Spark et Apache Kafka pour le traitement distribué de données.
• Etre capable de concevoir et d’implémenter des pipelines de données complexes en utilisant des outils comme Apache Kafka et Avro pour la gestion des flux de données.
• Maîtriser les concepts de base de Kafka pour la conception et la mise en œuvre de systèmes de messagerie distribués.
• Avoir une bonne compréhension des bases de données NoSQL, notamment Cassandra et BigTable, pour le stockage et la récupération de données non structurées.
• Avoir une expérience avec les moteurs de recherche comme Elastic Search pour la recherche et l’analyse de données textuelles.
• Maîtriser les outils de CI/CD et les pratiques de développement logiciel pour l’automatisation du déploiement et de l’intégration continue.
• Avoir une expérience pratique avec les outils de déploiement et d’orchestration comme Jenkins, GitLab, Kubernetes, Docker et Ansible.
• Etre capable de travailler avec Docker pour la création et la gestion des conteneurs d’applications.
• Avoir une excellente communication écrite et orale, avec la capacité de produire des livrables et des reportings de haute qualité.
• Avoir un esprit d’analyse et d’amélioration continue, avec la capacité d’évaluer le code et ses impacts, ainsi que de remettre en question les solutions existantes pour les améliorer.
• Avoir la capacité de prendre du recul et d’évaluer les problématiques avec objectivité, en proposant des solutions d’amélioration.
• Avoir un esprit d’équipe et la capacité de collaborer efficacement avec les membres de l’équipe pour atteindre des objectifs communs.
• Maîtriser les concepts d’Agilité (Scrum, Sprint Planning, Backlog ).

PROFIL RECHERCHÉ :

• Diplôm(e) d un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente
• Expérience de plus de 7 ans en GCP
• Une expérience dans le secteur du commerce de détail ou de la grande distribution serait un plus.