Spark

S'initier à Apache Spark

- Présenter Apache Spark et ses caractéristiques clés

- Examiner l'historique et l'évolution de Spark

- Décrire l'architecture de base de Spark et ses composants

- Comparer Spark avec d'autres systèmes de traitement de données

- Illustrer les cas d'utilisation courants de Spark dans différentes industries

- Expliquer l'écosystème Spark et ses projets connexes

Comprendre le traitement de données batch avec Spark

- Comprendre les concepts du traitement de données batch

- Manipuler les données avec les Resilient Distributed Datasets (RDD)

- Effectuer des opérations de transformation et d'action sur les RDD

- Utiliser Spark SQL pour le traitement de données structurées

- Optimiser les performances du traitement de données batch

- Intégrer des sources de données externes avec Spark

Explorer le traitement en temps réel avec Spark Streaming

- Découvrir le traitement en temps réel avec Spark Streaming

- Créer des flux de données en continu avec DStreams

- Utiliser les opérations de fenêtrage pour l'analyse en temps réel

- Gérer les fenêtres glissantes et temporelles

- Intégrer des sources de données en streaming

- Appliquer des pratiques de conception pour le traitement en temps réel avec Spark

Découvrir le traitement de graphes avec Spark GraphX

- Introduire le traitement de graphes avec Spark GraphX

- Représenter et manipuler les graphes avec GraphX

- Réaliser des calculs de graphes et explorer les algorithmes courants

- Utiliser GraphFrames pour l'analyse de graphes

- Examiner des applications pratiques du traitement de graphes dans divers domaines

- Optimiser les performances pour le traitement de graphes

Pratiquer l'apprentissage automatique avec Spark MLlib

- Présenter l'apprentissage automatique avec Spark MLlib

- Préparer et transformer les données pour l'apprentissage automatique

- Entraîner des modèles de régression, de classification et de clustering

- Utiliser des pipelines pour créer des flux de travail d'apprentissage automatique

- Évaluer et ajuster les modèles en utilisant des métriques de performance

- Intégrer des algorithmes d'apprentissage profond avec Spark

Intégrer et déployer des applications Spark

- Intégrer Spark avec des systèmes de stockage et de traitement de données

- Utiliser des outils de gestion de clusters pour déployer Spark

- Créer des applications Spark autonomes et distribuées

- Optimiser les ressources et configurer le cluster

- Surveiller et gérer les performances des applications Spark

- Déployer des applications Spark sur des environnements cloud