A l’issue de la formation, l’apprenant sera capable de :
Être capable de comprendre le fonctionnement de Kafka
Acquérir les bonnes pratiques de distribution de messages
Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
- BDD & Décisionnel
- Décisionnel
Formation Big Data – L’écosystème centralisé de streaming avec Kafka
Objectifs
Prérequis
Connaissance de l’écosystème Hadoop
Avoir des bases en programmation d’un langage objet (Java, Scala ou Python)
Cette formation ne peut être financée que dans le cadre d’un projet d’entreprise (prise en charge entreprise ou OPCO). Les dossiers à financement personnel et CPF ne sont pas pris en compte.
Public
Chefs de projet, développeurs souhaitant mettre en oeuvre Kafka pour la distribution de messages
Dernière mise à jour
Bon à savoir
Evaluez votre niveau
Formations modulables
Travaux pratiques
Les Modules
de formation
Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
Présentation de l’architecture et du rôle de chaque composant : broker, producer, consumer
Liaison avec Zookeeper
Préconisations d’installation et prérequis
Travaux pratiques : installation et lancement de Zookeeper et du Kafka-server
Création d’un topic simple
Mise en oeuvre d’une chaîne de base
Visualisation des messages avec Kafka-console-consumer
Étude de la configuration du broker
Travaux pratiques : création d’une configuration multi-broker, démarrage de plusieurs noeuds
Conception d’applications avec Kafka
Principe de fonctionnement
Travaux pratiques : développement de prototypes de Python, Java, Scala
Couplage avec SparkStreaming en mode batch, en mode continu
Facteur de réplication
Partitions
Travaux pratiques : tests de haute disponibilité dans une configuration multi-noeuds
Présentation des fonctionnalités : intégration de données d’origines multiples, modes de fonctionnement (standalone ou distribué)
Types de connecteurs
Travaux pratiques : configuration de connecteurs, ingestion de données, création d’une chaîne de transformation
Chiffrement SSL et authentification SASL
Sécurisation de l’infrastructure : Zookeeper, proxy Rest
Mise en oeuvre de Kafka-tool
Gestion des logs
Détection de pannes : méthodes et outils
Benchmarks