Charger et analyser des données Big Data avec Microsoft HD Insight

La formation en résumé

Cette formation porte sur le déploiement et l’exploitation de clusters Microsoft HDInsight pour charger, traiter et analyser des données Big Data. Elle vise à permettre aux participants de gérer les accès et le dépannage, de mettre en œuvre des traitements batch et ETL avec Spark, et d’analyser des données avec Spark SQL, Hive et Phoenix. Le parcours aborde également le traitement des flux et les solutions de traitement en temps réel avec Storm, Kafka et HBase.

Le programme

• Découvrir la Big Data, Hadoop, MapReduce et HDInsight ; déployer et gérer les clusters, notamment les accès aux ressources.


• Charger les données, choisir les outils et espaces de stockage adaptés, puis dépanner HDInsight à partir des journaux et outils de diagnostic.


• Mettre en œuvre des traitements batch et concevoir des solutions ETL avec Spark ; réaliser des analyses exploratoires et des requêtes avec Spark SQL.


• Analyser les données avec Hive et Phoenix, notamment au moyen de requêtes interactives.


• Traiter les flux et développer des solutions en temps réel avec Kafka, HBase, Storm et Spark Streaming.

Les compétences visées

• Déployer des clusters HDInsight et gérer les autorisations d’accès aux ressources.


• Charger des données dans HDInsight et diagnostiquer les incidents à partir des journaux.


• Concevoir des traitements batch et ETL avec Spark et analyser les données avec Spark SQL, Hive ou Phoenix.


• Mettre en œuvre des traitements de flux et développer des solutions Big Data en temps réel avec les outils abordés.

À qui s’adresse cette formation ?

La formation s’adresse aux architectes de données, aux Data Scientists et aux développeurs. Elle concerne des professionnels amenés à déployer ou exploiter des environnements HDInsight et à concevoir des traitements et analyses de données Big Data. Les sujets abordés mobilisent notamment des outils de l’écosystème Hadoop et Azure, ainsi que Spark, Hive, Kafka, HBase et Storm.

Éléments de méthodologie

La pédagogie associe des apports théoriques à des exercices pratiques. Les participants disposent d’un poste de travail et d’un support pédagogique. Le travail en petit groupe permet un suivi individualisé de la progression.