A l’issue de la formation le participant sera capable de :
• Découvrir les fonctionnalités d’Apache Airflow
• Savoir concevoir, planifier et monitorer ses workflows
• Connaître le fonctionnement interne de Airflow
• Savoir comment scaler Airflow afin de gérer un nombre conséquent de pipelines
• Connaître les best practices et limitations de Airflow
- Nos Nouvelles Formations
- Développement
Formation Apache Airflow
Objectifs
Prérequis
Un entretien en amont avec notre expert permet de prendre en compte le profil de chaque participant
(niveau, objectifs et résultats attendus, contexte professionnel, enjeux…) et d’adapter le contenu de la formation si besoin.
Cette formation ne peut être financée que dans le cadre d’un projet d’entreprise (prise en charge entreprise ou OPCO).
Les dossiers à financement personnel et CPF ne sont pas pris en compte.
Public
Ingénieur Big data
Développeur
Tech Lead
Architecte Technique
Dernière mise à jour
Programme mis à jour le 02 avril 2025
Bon à savoir
Evaluez votre niveau
Pour vous aider à bien choisir votre formation, nous vous proposons soit un entretien avec le formateur soit un test d’évaluation. Cela vous assurera que vous disposez des connaissances nécessaires pour suivre la formation dans des conditions optimales.
Sessions garanties
La majorité de nos sessions proposées en distanciel sont garanties. Elles peuvent être enregistrées à la demande.
Travaux pratiques
Nos formations comprennent de nombreux travaux pratiques pour un meilleur apprentissage (60 % de pratique). Nous proposons également de travailler sur vos données pour une meilleure expérience.
Les Modules
de formation
Module1
Introduction et Fondamentaux
• Découverte d’Apache Airflow :
Pourquoi l’utiliser et pour quels besoins.
Les concurrents d’Airflow.
L’architecture d’Airflow.
Lab : Comprendre le fonctionnement d’Airflow et comment les workflows sont planifiés, comment l’installer
Découverte de la CLI et HTTP REST API.
Module2
Coder son premier Workflow et Concepts de base
• Coder son premier Workflow avec Airflow :
Définir ce qu’est un DAG (Directed Acyclic Graph).
Lab : Coder le premier DAG.
Les différents types d’opérateurs.
Lab : Ajout des trois principaux opérateurs dans notre DAG.
Les dépendances entre opérateurs et la bitshift composition.
Lab : Définition de l’ordre d’exécution des tâches dans notre DAG.
Fonctionnement du planificateur
Définition d’un Workflow.
Découverte des bonnes pratiques
Lab : Coder le premier DAG.
Les différents types d’opérateurs.
Lab : Ajout des trois principaux opérateurs dans notre DAG.
Les dépendances entre opérateurs et la bitshift composition.
Lab : Définition de l’ordre d’exécution des tâches dans notre DAG.
Fonctionnement du planificateur
Définition d’un Workflow.
Découverte des bonnes pratiques
Module3
Exécuteurs, Concepts dynamiques et Providers
• Exécuteurs et leurs backend :
Les différents exécuteurs et backend.
Leurs avantages et faiblesses.
Lab : Configurer un LocalExcutor et run un DAG.
Lab : Configurer un CeleryExecutor et run un DAG.
• Les concepts dynamiques d’Airflow :
Minimiser les patterns répétitifs d’un DAG avec les SubDags.
Lab : Simplifier un DAG avec les SubDags.
Les XCOMS.
Lab : Échanger des données en utilisant les XCOMS.
Comment exécuter différentes tâches en fonction de critères dynamiques.
Lab : Créer nos premières tâches conditionnelles.
Contrôler les tâches contenu dans un DAG avec les SLAs.
Lab : Définition des SLAs pour nos tâches.
Les airflow variables.
Lab : utiliser les variables depuis notre DAG.
Les airflow connections.
Lab : utiliser les connections depuis notre DAG.
Jinja Templating, Macros et Variables.
Les Pools.
• Les Airflow providers pour interagir avec le reste du monde :
Les providers existant et leur installation.
Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu.
Personnaliser un opérateur existant.
Lab : Installer un provider et en personnaliser un opérateur.
Module4
Administration et sécurité, config des logs
Sécuriser Airflow.
La création d’utilisateurs et l’authentification.
Lab : Revue des différents moyens d’authentification.
Découverte du RBAC (Role-based Access Control).
Lab : Création de différents utilisateurs et rôles.
Découverte du système de log et sa configuration.
Lab : Configuration des logs.
La création d’utilisateurs et l’authentification.
Lab : Revue des différents moyens d’authentification.
Découverte du RBAC (Role-based Access Control).
Lab : Création de différents utilisateurs et rôles.
Découverte du système de log et sa configuration.
Lab : Configuration des logs.
Lab : Monitorer Airflow et metrics à surveiller.
Les prochaines
sessions de formation
Sur demande
Vous souhaitez organiser cette formation à une date spécifique ?Contactez-nous en remplissant le formulaire ci-dessous
26 mai 2025
15 juillet 2025
01 septembre 2025
20 octobre 2025
