Data engineer

IEF2I

Voir des formations similaires

Public admis

Salarié en poste

Demandeur d'emploi

Entreprise

Étudiant

Modalités

En présentiel

Durée

Nous contacter

Prix

Nous contacter

Niveau visé

Niveau > BAC + 5

Localité

En présentiel

Découvrez les localités disponibles pour suivre cette formation en présentiel.

Objectifs

Les technologies Big Data sont en plein essor et les emplois, qui en découlent, croissent également. Les entreprises ont besoin d'une structure informatique solide pour stocker leurs données. Dans ce cadre le Data Engineer ou l'Ingénieur Data occupe un rôle substantiel, et ce quelque soit le secteur d'activité ou la taille de l'organisation. De fait, le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives et au déploiement de solutions d'Intelligence Artificielle. Le Data Engineer a pour mission de mettre en place la collecte et la mise à disposition des données au sein de l'entreprise. Il est également en charge d'industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bord, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent.

Programme

Analyser les besoins en matière d'infrastructures de données adaptés au projet d'intelligence artificielle : - Introduction à l'intelligence artificielle et au traitement des données - Collecte et analyse des exigences du projet en matière d'infrastructure de données - Identification et évaluation des solutions de stockage de données (Hadoop, Spark, Cassandra, MongoDB, etc.) - Évaluation des technologies de traitement de données en temps réel et des techniques d'analyse de données (Apache Storm, Apache Flink, Apache Kafka, etc.) - Développement de plans de projet pour la mise en place de l'infrastructure de données Piloter le projet de développement de l'infrastructure de données massives : Élaboration de plans de projet pour la mise en place de l'infrastructure de données - Évaluation et sélection de technologies de traitement et de stockage de données (Hadoop, Spark, Cassandra, MongoDB, etc.) - Conception des architectures Big Data valorisant les données - Pilotage de la maintenance de l'architecture de données massives - Utilisation d'outils de gestion de projet et de collaboration Concevoir les architectures Big Data valorisant les données : - Techniques avancées de traitement de données en temps réel (Apache Storm, Apache Flink, Apache Kafka, etc.) - Introduction à Python et à l'écosystème Big Data - Traitement de données en utilisant des bibliothèques Python telles que Pandas et NumPy - Mise en oeuvre de la transformation de données à grande échelle à l'aide de PySpark - Création d'API Web pour l'interaction avec les données Piloter la maintenance de l'architecture de données massives : - Sécurité et confidentialité des données - Gestion de la qualité des données - Formation continue sur les technologies émergentes - Utilisation de bibliothèques d'apprentissage automatique telles que scikit-learn pour l'analyse et la prédiction de données - Stage pratique en entreprise pour appliquer les compétences acquises

Cette formation est temporairement suspendue.

Voici des formations similaires :