Kafka

Ambient it

Public admis

Salarié en poste

Demandeur d'emploi

Entreprise

Étudiant

Modalités

En ligne

Durée

Nous contacter

Prix

2376 €

Localité

En ligne

Vous pouvez suivre cette formation depuis chez vous ou depuis n’importe quel endroit à distance.

Objectifs

Comprendre l'architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients
Publier et récupérer des données vers un cluster Kafka
Utiliser les outils et les API permettant l'interaction avec un cluster Kafka
Sécuriser les données à destination et en provenance d'un cluster Kafka
Créer vos propres Consumers et Producers
Implémenter un consumer mutli-thread
Utiliser un proxy REST
Stocker des données Avro dans Kafka avec le Schema Registry
Ingestion de données avec Kafka Connect

Programme

Introduction
Historique et complexité des systèmes
Le traitement en temps réel : une importance business
Kafka : une plateforme de données de flux

Les fondamentaux
Un aperçu de kafka et efficacité
Producers
Brokers
Consumers
Utilisation de zookeeper

Installation & administration
Installation et options avancés
Considération matérielle (hardware)
Administrer kafka

Architecture
Fichiers journaux de kafka
Réplication et fiabilité
Chemins d'écriture et de lecture de kafka
Partitions, consumer groups et scalability

Développer avec kafka
Utiliser maven pour la gestion de projet
Accéder par programmation à kafka
Écrire un producer in java
Utiliser rest api pour écrire un producer
Écrire un consumer en java
Utiliser rest api pour écrire un consumer

Développement avancé avec kafka
Créer un consumer multi-thread
Gestion des offsets
Consumer rebalancing (rééquilibrage)
Gestion manuelle des offsets (commits)
Partitionnement des données
Message durability : gestion de la durée des messages

Schema management
Introduction à avro
Avro schemas
Utilisation du schema registry

Kafka connect : data movement
Cas d'utilisation de kafka connect
Les bases de kafka connect
Modes : standalone and distributed
Configuration du mode distribué
Tracking offsets
Connector configuration
Comparaison d'utilisation avec des options avancées

Kafka streams
Cas d'utilisation de kafka streams
Kafka streams : les fondamentaux fundamentals
Étude d'une application et usage de kafka streams