Orchestrate BigQuery Workloads using Dataform

• Comprendre les composants de Dataform core.
• Créer des tables et des vues dans BigQuery à l’aide de Dataform.
• Documenter les tables et les vues BigQuery.
• Comprendre les paramètres de sécurité BigQuery à l’aide de Dataform.
• Utiliser des assertions pour valider les données dans les workflows Dataform.
• Exécuter les workflows Dataform SQL de manière automatisée.

Dataform est un service permettant aux analystes de données de développer, tester, contrôler les versions et planifier des workflows SQL complexes pour la transformation des données dans BigQuery.

Dans ce cours, vous explorerez les composants du noyau Dataform, apprendrez à définir des tables et des dépendances dans SQLX, à documenter les tables et les vues BigQuery, à comprendre les paramètres de sécurité BigQuery et à les gérer avec Dataform, à écrire des assertions, à exécuter des workflows SQL et à explorer d’autres cas d’utilisation avancés.

Module 01 : Composants Dataform Core

Sujets

• Workflow SQL
• Référentiels et espaces de travail
• Fichiers et dossiers par défaut
• Graphes compilés

Objectifs

• Comprendre les composants de Dataform Core

Module 02 : Définitions de tables et dépendances

Sujets

• Déclarer une source de données.
• Créer une table.
• Créer une table incrémentielle.
• Définir les options de partitionnement et de clustering.
• Créer une table vide.
• Créer une table BigLake externe.
• Créer des vues et des vues matérialisées.
• Définir les dépendances.

Objectifs

• Créez des tables et des vues dans BigQuery à l’aide de Dataform.

Module 03 : Documenter les tables et les vues BigQuery

Sujets

• Utilisez des descriptions de colonnes.
• Utilisez des constantes JavaScript définies globalement.
• Ajoutez des étiquettes.

Objectifs

• Documentez les tables et les vues BigQuery.

Activités

• Lab : Créer des workflows SQL avec des dépendances dans Dataform

Module 04 : Paramètres de sécurité BigQuery

Sujets

• Accès aux jeux de données IAM et aux tables/vues
• Sécurité au niveau des colonnes
• Sécurité au niveau des lignes

Objectifs

• Comprendre les paramètres de sécurité de BigQuery à l’aide de Dataform.

Module 05 : Assertions

Sujets

• Utiliser des assertions intégrées.
• Créer des assertions manuelles.

Objectifs

• Utiliser des assertions pour valider les données dans les flux de travail Dataform.

Activités

• Lab : Utilisation des assertions et des paramètres de sécurité BigQuery dans Dataform

Module 06 : Exécutions de workflow SQL

Sujets

• Cycle de vie du code Dataform.
• Ce qui se passe pendant la compilation.
• Personnaliser et planifier les résultats de la compilation.
• Exécuter des workflows (interface utilisateur, Cloud Scheduler, Cloud Composer).
• Journalisation et surveillance.

Objectifs

• Exécutez les flux de travail Dataform SQL de manière automatisée.

Activités

• Lab : automatiser et surveiller les exécutions de workflow SQL dans Dataform

Module 07 : Cas d’utilisation avancés

Sujets

• Créez une table BigLake après le téléchargement de fichier à l’aide de fonctions Cloud Run.
• Créez un pipeline de Machine Learning avec BigQuery ML.
• Travaillez avec des dimensions à évolution lente de type 2.

Objectifs

• Découvrez des cas d’utilisation supplémentaires pour Dataform.

Activités

• Lab : Créer une table BigLake avec Dataform à l’aide de fonctions Cloud Run