A l'issue de cette formation, vous serez capable de :

• Décrire la puissance de BigQuery pour réaliser des analytiques
• Concevoir des tables optimisées (partitionnement)
• Exécuter des requêtes optimales pour maîtriser les coûts
• Utiliser BigQuery avec Google Storage, Looker Studio, Bigtable
• Développer avec BigQuery et Python
• Collaborer en tant qu’équipe pour développer rapidement des data stories.

Jour 1

Introduction

• Qu'est-ce que Google BigQuery: un moteur SQL serverless et distribué
• Possibilités de BigQuery
• Architecture de BigQuery
• Intégration avec Google Cloud Platform
• Structure des coûts et bonnes pratiques de maîtrise des coûts
• Sécurité et compliance

Exemples de travaux pratiques (à titre indicatif)

• Analyse et visualisation d'un premier jeu de données avec BigQuery

Travailler avec BigQuery

• Opérations CRUD
• Autres opérations : EXCEPT, REPLACE, sous-requêtes avec WITH, agrégation, HAVING, DISTINCT, jointures...
• Sauvegarder et partager des requêtes

Exemples de travaux pratiques (à titre indicatif)

• Requêtes diverses sur de multiples jeux de données

Types de données, fonctions, opérateurs

• Types numériques et fonctions
• Travailler avec le type booléen
• Fonctions sur chaînes de caractères
• Travailler avec :
• Les Timestamp
• Des coordonnées spatiales
• Les données JSON

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique sur des jeux de données

Jour 2

Scripting Bash avec BigQuery

• Créer des jeux de données et tables
• Exécuter des requêtes
• Objets BigQuery

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique

Optimiser la performance et les coûts

• La performance dans BigQuery
• Partitionner les tables pour diviser les coûts et délais
• Mesurer et dépanner les problèmes de performance
• Améliorer le temps d'exécution des requêtes
• Optimiser l'accès aux données et leur stockage
• Cas particulier des requêtes en lots (batch queries) et des chargements de fichiers

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique à travers un comparatif de performance de données partitionnées vs non-partitionnées

Chargement, visualisation, et collaboration dans BigQuery

• Sourcing des données
• Spécifier un schéma de donnée
• Copier dans une nouvelle table
• Data management : DDL et DML
• Charger des données efficacement
• Requêtes fédérées
• Sources de données externes
• Requêtes SQL sur des données hébergées dans Cloud Bigtable
• Utilisation de drivers JDBC / ODBC
• Transferts et exports
• Visualisation des données, création de tableaux de bord avec Looker Studio
• Utiliser Dataflow pour lire/écrire dans BigQuery
• Travailler avec des données locales (on-premises) et méthodes de migration
• Travailler en équipe avec les data canvas

Exemples de travaux pratiques (à titre indicatif)

• Création et requête de tables à partir de données dans GCS, Bigtable, MySQL

Jour 3

Requêtage avancé

• Réutilisation des requêtes, paramétrage, UDF
• SQL avancé
• Fonctions statistiques

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique

Développer avec BigQuery

• Développer de façon programmatique
• Accéder à BigQuery via l'API REST
• Manipulation des données
• Utiliser Google Cloud Client Library
• Requêtage avec ces librairies
• Accéder à BigQuery avec des outils de data science (Jupyter, R, Cloud Dataflow)
• Incorporation de données dans Google Slides à partir de BigQuery

Exemples de travaux pratiques (à titre indicatif)

• Exécution et planification de programmes en Python intégrant des requêtes sur BigQuery

Jour 4

Machine learning avec BigQuery

• Qu'est-ce que le machine learning
• Construire un modèle de régression et de classification
• Personnaliser BigQuery ML

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique

Administrer et sécuriser BigQuery

• Sécurité de l'infrastructure
• IAM
• Administrer BigQuery
• Disponibilité, récupération après panne, chiffrement
• Conformité réglementaire

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique