Exemple de description pour le poste de Développeur/Développeuse Big Data
Description de poste
Vous êtes passionné(e) de programmation ? Vous adorez tester des nouvelles technologies ? Vous êtes à la recherche d'un nouveau défi pour exprimer tout votre talent ? Ce poste pourrait être fait pour vous.
Chez [Entreprise X], nous sommes à la recherche d'un(e) Développeur/Développeuse Big Data qui aime résoudre des problèmes complexes dans tout le spectre des technologies. Vous contribuerez au bon fonctionnement de notre infrastructure technologique afin que l'entreprise atteigne ses objectifs commerciaux.
Objectifs du poste
- Développer et déployer des pipelines pour extraire, transformer et charger des données dans un produit d'information
- Travailler sur l'intégration, le stockage, le traitement et l'analyse de vastes ensembles de données
- Créer des services en ligne adaptés et très performants, destinés à tracer les données
- Concevoir des designs détaillés à partir de demandes techniques et fonctionnelles compelxes
- Collaborer constructivement avec le Data Scientist
Responsabilités quotidiennes et mensuelles
- Développer et entretenir des pipelines de données en implémentant des processus ETL
- Être responsable du développement et de l'implémentation Hadoop
- Travailler en étroite collaboration avec une équipe de science des Données pour implémenter des pipelines d'analyses de données
- Aider à définir les politiques de gouvernance des données et contribuer aux process de contrôle des versions de données
- Garantir la sécurité et la confidentialité des données. Proposer des normes et montrer les bonnes pratiques
- Analyser de nombreux data stores et identifier leur potentiel
Compétences et qualifications requises
- Expérience avec Python, Spark et Hive
- Compréhension du stockage de données et des techniques de modélisation de données
- Connaissance des outils d'analyse et de visualisation (Tableau et R) parmi toute l'industrie
- Excellentes compétences en ingénierie de données sur la plateforme Azure Cloud
- Frameworks de stream processing comme Kafka
- Excellentes connaissances de Java, Linux, SQL et autres langages
- Bonnes capacités interpersonnelles et caractère positif
Compétences et qualifications souhaitées
- Diplôme en informatique, mathématiques ou ingénierie
- Expérience en méthodologie ETL d'extraction de données (Extraction-Transformation-Chargement) dans des solutions ETL appliquées aux entreprises à l'aide de l'outil Data Stage