Spark Python

####Jour 1 : Découverte de Spark, premières opérations

- Comprendre dans quels cas utiliser et ne pas utiliser Spark
- Appréhender le fonctionnement global de Spark et du calcul distribué
- Découvrir le principe de lazy evaluation
- Utiliser les transformations de base : `map`, `flatmap`, `filter`, `groupby`, `join`
- Connaître les actions de base : `save`, `collect`, `count`, `show`
- Lire, transformer et sauvegarder des dataframes en mode batch

***Mises en pratique*** :
- *Configurer un environnement de développement big data*
- *Analyser des données de transport aérien avec les fonctions de base Spark*


####Jour 2 : Spark streaming

- Découvrir les cas d'application de traitements temps réel
- Transposer les principes des opération batch au traitement de données en temps réel (streaming)
- Transformer des données avec une latence faible (~1 seconde)
- Gérer les cas spécifiques aux cas d'usage en temps réel :
- Late data
- Triggers
- Agrégation par fenêtre

***Mises en pratique*** :
- *Créer un flux de données streaming*
- *Traiter des données IoT (internet of things) d'un capteur d'ouverture/fermeture de porte, et des données financières d'achat et vente d'action en temps réel*
- *Sauvegarder des données dans AWS*

####Jour 3 : Optimisation, déploiement et Spark ML

- Optimisation, déploiement et Spark ML
- Optimiser des jobs Spark grâce à des bonnes pratiques
- Économiser des coûts de ressources en évitant les anti-patterns
- Comprendre l'utilité de Spark dans l'intelligence artificielle
- Utiliser les fonctions machine learning de Spark (Spark MLlib) :
- `Estimator`
- `Transformer`
- `Pipeline`
- Les différentes approches pour déployer une application Spark


***Mises en pratique*** :
- *Développer une pipeline de machine learning pour prédire la survie des passagers du Titanic*
- *Prédire le churn de clients d'une entreprise*
- *Déployer une application Spark sur AWS*