A l'issue de cette formation, vous serez capable de :

• Identifier les apports et possibilités offertes par les analytics modernes Cloud-native
• Utiliser des composants de Synapse Studio individuellement et de façon intégrée
• Créer des pipelines de traitement de bout en bout
• Réaliser des traitements avancés en batch et/ou en streaming avec Spark
• Expérimenter des modèles de Machine Learning avec SynapseML
• Intégrer avec Power BI à des fins de visualisation des résultats.

Jour 1

Introduction

• Caractéristiques et valeur ajoutée des analytics Big Data modernes : exemples
• Data Warehouse vs Data Lake vs Data lakehouse
• Apports des offres intégrées Cloud-native
• Rappel des frameworks MLOps et AIOps et des outils sous-jacents (Git, CI/CD)
• Pourquoi Azure Synapse Analytics : une expérience des Data Analytics unifiée et scalable
• Composants de Synapse Analytics
• Modèle de traitement des données de Synapse : stockage, ingestion, transformation, orchestration
• Notion de pipeline de traitement des données
• L'espace de travail de Synapse Analytics

Exemples de travaux pratiques (à titre indicatif)

• Connexion au portail Azure, création d'un espace de travail Synapse Analytics à partir d'un template et exécution d'un premier pipeline de traitement de données

Explorer l'environnement intégré Synapse Studio

• Créer un espace de travail sur-mesure
• Explorer des fonctionnalités de l'interface du studio : Data Hub, Develop Hub, Integrate Hub, Monitor Hub, Manage Hub
• Visualisation : intégration de Synapse Analytics avec Power BI

Exemples de travaux pratiques (à titre indicatif)

• Configurer l'espace de travail et du Git, test avec un pipeline batch et streaming, visualisation des résultats dans Power BI

Jour 2

Ingestion et orchestration des données avec Synapse Pipelines

• Composants de Synapse Pipelines : activités, pipelines, services liés, Datasets d'intégration
• Ingestion des données : types d'activités et configuration détaillée
• Runtimes d'intégration : Azure IR, Self-hosted IR, avantages et inconvénients
• Orchestration des données : activités (notebook, Spark job definition, SQL pool stored procedure, Data Flow)
• Orchestration des données : activités externes (notebooks Databricks, fichiers .jar, fichiers Python, fonctions Azure, pipelines et batch jobs Azure ML, commandes Azure Data Explorer)
• L'orchestration flexible avec le contrôle dynamique des propriétés des activités
• Contrôle du flux d'exécution : dépendances entre activités, contrôle des activités, résultats des activités
• Activités de contrôle de flux (If, Switch, Until, forEach)
• Créer des runs de pipelines : déclencheurs, API REST, Azure PowerShell, SDK .NET ou Python

Exemple de travaux pratiques (à titre indicatif)

• Créer un pipeline complexe avec contrôle du flux de données

Jour 3

Traitements batch et streaming avec Apache Spark

• Rappels sur Apache Spark : clusters, calcul parallèle, RDD, session, Data Lake / lakehouse
• Avantages d'utilisation de Spark dans Synapse Analytics
• Notion de Spark pool, configuration d'un Spark pool dans Synapse Analytics
• Rappel sur l'environnement des notebooks
• Exemple de transformation des données avec :
• Python
• C#
• Exemple de Data Engineering avec du Low Code
• Package Microsoft Spark Utilities : présentation et exemple d'utilisation

Exemple de travaux pratiques (à titre indicatif)

• Création d'un pipeline complexe incluant des traitements avec Spark

Le Machine Learning avec le framework unifié SynapseML

• Préparer et explorer des données
• Construire et entraîner des modèles
• Déploiement et scoring des modèles

Exemples de travaux pratiques (à titre indicatif)

• Développement, déploiement et scoring de modèle avec Synapse Spark ML