Formation Confluent Developer Skills for Apache Kafka®

KAFKADEV
Durée : 3 jours
Tarif : 2300 € HT

96%

Taux de satisfaction clients
(sur 1512 évaluations du 19/05/21 au 23/10/24)

Voir les avis

Objectifs

A l’issue de la formation le participant sera capable de :
Écrire aux producteurs et aux consommateurs pour envoyer et lire des données à Kafka

Intégrer Kafka à des systèmes externes à l’aide de Kafka Connect

Écrire des applications de streaming avec Kafka Streams & ksqlDB

Intégrer une application cliente Kafka avec Confluent Cloud

Prérequis

Les participants doivent être familiarisés avec le développement d’applications professionnelles en Java (de préférence), C# ou Python.

De plus, une connaissance pratique de l’architecture Apache Kafka est requise pour ce cours.
Un entretien en amont avec notre expert permet de prendre en compte le profil de chaque participant (niveau, objectifs et résultats attendus, contexte professionnel, enjeux…) et d’adapter le contenu de la formation si besoin.

Cette formation ne peut être financée que dans le cadre d’un projet d’entreprise (prise en charge entreprise ou OPCO). Les dossiers à financement personnel et CPF ne sont pas pris en compte.

Public

Ce cours est conçu pour les développeurs d’applications, les développeurs ETL (extraction, transformation et chargement) et les data scientists qui ont besoin d’interagir avec les clusters Kafka en tant que source ou destination de données.

Formation(s) associée(s)

Dernière mise à jour

Programme mis à jour le 24 octobre 2024

Cette formation vous intéresse ? Contactez-nous

Bon à savoir

Evaluez votre niveau

Pour vous aider à bien choisir votre formation, nous vous proposons soit un entretien avec le formateur soit un test d’évaluation. Cela vous assurera que vous disposez des connaissances nécessaires pour suivre la formation dans des conditions optimales.

Formations modulables

Toutes nos formations sont disponibles en présentiel comme en distanciel, en mode coaching individuel ou en groupe de 3 à 6 participants maximum.

Travaux pratiques

Nos formations comprennent de nombreux travaux pratiques pour un meilleur apprentissage (60 % de pratique). Nous proposons également de travailler sur vos données pour une meilleure expérience.

Télécharger la fiche de cette formation

Les Modules
de formation

Module1

Décisions de conception

Répertorier les moyens d’éviter les messages volumineux

Décider quand utiliser ksqlDB vs Kafka Streams vs Kafka Connect SMT

Expliquer les différences et les compromis entre les garanties de traitement

Traiter les décisions qui découlent du partitionnement basé sur les clés

Authentifier une application cliente avec un cluster Kafka sécurisé

Module2

Produire des messages pour Kafka

Esquisser l’architecture de haut niveau d’un producteur Kafka

Illustrer le partitionnement basé sur les clés

Expliquer la différence entre acks=0, acks=1 et acks=all

Configurer delivery.timeout.ms pour contrôler le comportement des nouvelles tentatives

Créer un fichier producer.properties personnalisé

Ajuster le débit et la latence à l’aide du traitement par lots

Créer un producteur avec Confluent REST Proxy

Module3

Consommer des messages de Kafka

Illustrer comment les groupes de consommateurs et les partitions offrent une évolutivité et une tolérance aux pannes

Accorder les consommateurs pour éviter les rééquilibrages excessifs

Expliquer la différence entre les stratégies d’attribution de partition “range” et “round robin”

Créer un fichier consumer.properties personnalisé

Utiliser l’API Consumer pour gérer les offsets

Ajuster les requêtes fetch

Créer un consommateur avec Confluent REST Proxy

Module4

Gestion des schémas dans Apache Kafka®

Décrire les schémas Kafka et leur fonctionnement

Utiliser le Confluent Schema Registry pour guider l’évolution du schéma

Écrire et lire des messages à l’aide de Kafka compatible avec les schémas

Module5

Traitement de flux avec Kafka Streams

Comparer KStreams à KTables

Créer un fichier streams.properties personnalisé

Expliquer ce qu’est le co-partitionnement et pourquoi il est important

Ecrire une application utilisant le Streams DSL (Domain-SpecificLanguage)
Pipelines de données avec Kafka Connect

Expliquer la motivation de Kafka Connect

Liste des connecteurs couramment utilisés

Expliquer les différences entre le mode autonome et le mode distribué

Configurer et utiliser Kafka Connect

Module6

Applications de streaming d’événements avec ksqlDB

Utiliser ksqlDB pour filtrer et transformer un flux

Ecrire une requête ksqlDB qui joint deux flux ou un flux et une table

Écrire une requête ksqlDB qui agrège les valeurs par clé et fenêtre de temps

Rédiger des requêtes Push et Pull et expliquer les différences entre elles

Créer un connecteur avec ksqlDB

Module7

Fondamentaux d’Apache Kafka®

Expliquer la valeur d’une plate-forme de diffusion d’événements distribués

Expliquer comment l’abstraction de « journal » permet une plate-forme de diffusion d’événements distribuée

Expliquer les concepts de base de : Brokers, Topics, Partitions et Segments, Records (également appelés messages, événements), politiques de rétention, producteurs, consommateurs et sérialisation, réplication, Kafka Connect

Module8

Décisions de conception

Répertorier les moyens d’éviter les messages volumineux

Décider quand utiliser ksqlDB vs Kafka Streams vs Kafka Connect SMT

Expliquer les différences et les compromis entre les garanties de traitement

Traiter les décisions qui découlent du partitionnement basé sur les clés

Authentifier une application cliente avec un cluster Kafka sécurisé

Laboratoire 04a : Création d’un producteur Kafka (Java)

Les participants créent un producteur Kafka en utilisant Java.

Laboratoire 04b : Création d’un producteur Kafka (Node JS)

Ce laboratoire implique la création d’un producteur Kafka en utilisant Node.js.

Laboratoire 04c : Création d’un consommateur Kafka

Les participants créent un consommateur Kafka pour récupérer des données.

Laboratoire 05a : Accès aux données précédentes en Java

Ce laboratoire explore l’accès aux données précédentes en utilisant Java.

Laboratoire 05b : Gestion des décalages des consommateurs dans le code – Java.

Les participants apprennent à gérer les décalages des consommateurs dans le code Java.

Laboratoire 06 : Utilisation de Kafka avec Avro

Les participants explorent l’utilisation de Kafka avec le format de sérialisation Avro.

Laboratoire 07a : Utilisation de Kafka Connect

Ce laboratoire implique l’utilisation de Kafka Connect pour créer des connexions avec d’autres systèmes.

Laboratoire 07b : Utilisation du connecteur Syslog

Les participants apprennent à utiliser le connecteur Syslog avec Kafka Connect.

Laboratoire 07c : Utilisation de Kafka Connect avec MQTT

Ce laboratoire explore l’utilisation de Kafka Connect avec le protocole MQTT.

Laboratoire 07d : Facultatif – Utilisation du proxy MQTT Confluent

Les participants ont la possibilité d’explorer l’utilisation du proxy MQTT Confluent.

Laboratoire 08 : Création d’une application Kafka Streams

Ce laboratoire guide les participants dans la création d’une application utilisant Kafka Streams.

Laboratoire 09 : Utilisation de Confluent KSQL

Les participants apprennent à utiliser Confluent KSQL pour le traitement de flux.

Laboratoire 10 : Rédaction d’un microservice

Ce laboratoire met en pratique la rédaction d’un microservice dans l’environnement Kafka.

Laboratoire 11 : Connexion Kafka avec ELK

Ce laboratoire met en pratique la communication kafka avec ELK.

Les prochaines
sessions de formation

Sur demande

Vous souhaitez organiser cette formation à une date spécifique ?Contactez-nous en remplissant le formulaire ci-dessous

25 novembre 2024

20 janvier 2025

24 mars 2025

19 mai 2025

Cette formation vous intéresse ? Contactez-nous !

Nom*

Prénom*

Entreprise (facultatif)

Téléphone

E-mail*

Votre message*

Les données personnelles collectées sont destinées à Access IT Company et utilisées pour traiter votre demande et, lorsque vous ne vous y êtes pas opposé, vous communiquer nos offres commerciales. Les données obligatoires vous sont signalées sur le formulaire par un astérisque. L’accès aux données est strictement limité par Access IT Company aux collaborateurs en charge du traitement de votre demande. Conformément au Règlement européen n°2016/679/UE du 27 avril 2016 sur la protection des données personnelles et à la loi « informatique et libertés » du 6 janvier 1978 modifiée, vous bénéficiez d’un droit d’accès, de rectification, d’effacement, de portabilité et de limitation du traitement des donnés vous concernant ainsi que du droit de communiquer des directives sur le sort de vos données après votre mort. Vous avez également la possibilité de vous opposer au traitement des données vous concernant. Vous pouvez exercer vos droits en contactant le DPO à l’adresse suivante : [email protected] ou à l’adresse postale suivante 2, Allée Lavoisier, 59650 Villeneuve d’Ascq. Pour plus d’informations sur le traitement de vos données personnelles par Access IT Company, veuillez consulter notre politique de confidentialité disponible sur notre site internet à l’adresse suivante : https://formation.access-it.fr/politique-de-confidentialite/