Big Data recolte et analyse de donnees volumineuses module Spark

Cegefos

Public admis

Salarié en poste

Demandeur d'emploi

Entreprise

Étudiant

Modalités

En ligne

Durée

Nous contacter

Prix

Nous contacter

Localité

En ligne

Vous pouvez suivre cette formation depuis chez vous ou depuis n’importe quel endroit à distance.

Objectifs

• Comprendre le besoin de Spark dans le traitement des données
• Comprendre l'architecture Spark et comment elle distribue des calculs aux nœuds du cluster
• Familiarisez-vous avec l'installation / configuration / mise en page de Spark
• Utilisez Spark pour des opérations interactives et ponctuelles
• Utilisez Dataset / DataFrame / Spark SQL pour traiter efficacement les données structurées
• Comprendre les notions de base des RDD (Resilient Distributed Datasets) et le partitionnement, le pipelining et les calculs de données
• Comprendre la mise en cache des données de Spark et son utilisation
• Comprendre les implications et les optimisations de performance lors de l'utilisation de Spark
• Familiarisez-vous avec Spark Graph Processing et l'apprentissage par machine Spark ML

Programme

Jour 1
Comprendre les fondamentaux de Spark et du développement Scala

* Scala Ramp up
* Introduction à Spark
* RDDs et Spark Architecture

Jour 2
Savoir créer une application spark et utilisez Dataset/ DataFrame/ Spark SQL pour traiter efficacement les données structurées

* DataSets/ DataFrames et Spark SQL
* Création d'application Spark
* Spark Streaming

Jour 3
Optimisation de Spark et utilisation des outils associés
* Caractéristiques de performance et optimisation
* (Facultatif): Aperçu de Spark GraphX
* (Facultatif): Apercu MLLib