A l’issue de la formation, l’apprenant sera capable de :
– Déployer des clusters HDInsight
– Charger des données dans HDInsight
– Dépanner HDInsight
– Mettre en place des solutions batch
– Concevoir des solutions Batch ETL pour le Big Data avec Spark
– Analyser les données avec Spark SQL, Hive et Phoenix
– Implémenter Spark Streaming en utilisant l’API DStream
– Développer des solutions de traitement Big Data en temps réel avec Apache Storm
– Construire des solutions qui utilisent Kafka et HBase
- BDD & Décisionnel
- Décisionnel
Formation Microsoft 20775 – Réaliser de l’ingénierie de données avec Microsoft HD Insight
Objectifs
Certification
MCSE Data Management and Analytics
Prérequis
Disposer d’une connaissance des méthodes statistiques communes et des meilleures pratiques d’analyse de données
Connaissances de base du système d’exploitation Microsoft Windows et de ses fonctionnalités principales
Connaissance pratique des bases de données relationnelles
Cette formation ne peut être financée que dans le cadre d’un projet d’entreprise (prise en charge entreprise ou OPCO). Les dossiers à financement personnel et CPF ne sont pas pris en compte.
Public
Ingénieurs de données, architectes de données, Data Scientist et les développeurs de données qui envisagent d’implémenter de grands workflows d’ingénierie de données sur HDInsight.
Dernière mise à jour
Bon à savoir
Evaluez votre niveau
Sessions garanties
La majorité de nos sessions proposées en distanciel sont garanties. Elles peuvent être enregistrées à la demande.
Travaux pratiques
Les Modules
de formation
Qu’est ce que le Big Data
Introduction à Hadoop
Travailler avec la fonction MapReduce
Présentation de HDInsight
Identification des types de cluster HDInsight
Gérer les clusters HDInsight en utilisant le portail Azure
Gérer les clusters HDInsight en utilisant Azure PowerShell
Clusters non liés à un domaine
Configuration de clusters HDInsight connectés au domaine
Gestion des clusters HDInsight connectés au domaine
Stockage des données pour le traitement HDInsight
Utilisation des outils de chargement de données
Maximiser la valeur des données stockées
Analyse des logs HDInsight
logs YARN
Heap dumps (décharge)
Operations Management Suite
Stockage Apache Hive
Requêtes de données HDInsight utilisant Hive and Pig
Mise en oeuvre HDInsight
Qu’est-ce que Spark ?
ETL avec Spark
Performance Spark
Implémentation de requêtes itératives et interactives
Effectuer une analyse de données exploratoire
Mettre en place des requêtes interactives pour le Big Data avec Hive interactive
Effectuer une analyse de données exploratoire à l’aide de Hive
Effectuer un traitement interactif en utilisant Apache Phoenix
Analyse de flux
Processus de diffusion des données à partir de l’analyse des flux
Gestion des travaux d’analyse de flux
Construction et déploiement d’un cluster Kafka
Publication, consommation et traitement des données à l’aide du cluster Kafka
Utilisation de HBase pour stocker et requêter des données
Persistance des données à long terme
Transmission des données avec Storm
Création de topologies Storm
Configuration d’Apache Storm
Utilisation de Spark Streaming
Création d’applications Spark Streaming structurées
Persistance et visualisation
Une attestation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation sera remise au stagiaire à l’issue de sa formation
Lors des formations en présentiel, nous mettons à disposition tout le matériel de formation nécessaire :
1 PC et 1 support de cours par participant + 1 PC animateur + 1 vidéo projecteur + 1 paperboard.
Les postes sont équipés de l’environnement (logiciel et matériel) recommandé par les éditeurs.
Chaque poste est connecté à internet à notre serveur.
En amont de la formation,
un audit (entretien physique ou téléphonique) préalable nous permet de déterminer et fixer la meilleure approche pédagogique pour atteindre une qualité de formation optimale.
Chaque participant reçoit :
– Le programme de la journée et du module
– Un support de formation
– Un suivi de formation et des échanges entre le formateur et les participants sont proposés
Durant la formation, le participant est amené à mettre en pratique les éléments du cours par la réalisation de travaux pratiques réalisés sur PC.
La validation des acquis du stagiaire est faite par le formateur à la fin de chaque atelier. Cette validation individuelle est possible du fait du faible nombre de participants par session de formation (6 personnes maximum).
A la fin de la formation, le stagiaire a donc atteint les objectifs fixés par la formation.
Une évaluation de fin de stage est également remplie par le stagiaire à la fin de la formation (évaluation de la formation, du formateur, du centre de formation)
Le contrôle de la présence des stagiaires sera assuré par la vérification de l’assiduité des participants. Le stagiaire signera une feuille de présence par demi-journée de formation. Celle-ci sera également signée par le formateur