A l'issue de cette formation, vous serez capable de :

• Identifier les avantages et contraintes technologiques, réglementaires et organisationnelles d'un projet Big Data
• Rédiger la charte d'un projet Big Data
• Planifier un projet Big Data et choisir une méthodologie (Agile / traditionnelle / hybride)
• Identifier les ressources du projet et choisir une plateforme (On-Premise, Cloud ou hybride, SaaS vs PaaS vs FaaS)
• Exécuter un projet Big Data du développement au déploiement / monitoring
• Adopter une démarche d'amélioration continue.

Jour 1

Caractéristiques des projets Big Data

• Comparaison entre un projet classique et un projet Big Data
• Impact de l'avènement du Cloud
• Services modernes d'analytiques Big Data sur le Cloud
• Databricks
• Azure ML
• Microsoft Fabric
• Amazon Sagemaker
• Google Cloud AI
• Impact de l'avènement de l'Intelligence Artificielle (IA) et des LLM
• Nouvelles technologies de stockage : du Data Warehouse au Data Lake et au lakehouse
• Offres lakehouse du marché Databricks, Delta Lake, Apache Hudi, Apache Iceberg
• Analyse des caractéristiques et retours d'expériences sur des projets mis en échec en Big Data
• Processus d'exploration de données et l'apport de la Data Science et de l'IA
• Démarche d'organisation de projets Big Data

Cadrage des projets Big Data

• Cadrage métiers
• Identification de nouvelles sources de données
• Cartographie des différentes entités impliquées dans la collecte de la donnée et leurs types
• Définition des besoins technologiques
• Estimation budgétaire et planification pour le Big Data

Management de projets Big Data

• Phases des projets Big Data
• Approche Agile pour le Big Data
• Avantages de la conteneurisation et solutions technologiques associées
• Approches DataOps et MLOps
• Livrables des projets Big Data
• Mesure de la performance
• Conformité réglementaire et intégration de la gouvernance des données dans les processus du projet

Processus et composantes du projet

• Alternatives de développement (Agile vs traditionnel vs hybride)
• Alternatives de plateformes Big Data (On-Premise vs Cloud vs hybride)
• Alternatives technologiques (Open Source vs propriétaire, "make or buy")
• Sélection des composantes de la solution finale du projet
• Vérification de la cohérence des choix

Jour 2

Risques du projet Big Data

• Risques métiers liés au cadrage du scope
• Risques stratégiques et manque de sponsoring
• Les KPI : Time To Market vs Time To Live vs Return On Investment
• La maturité des solutions du marché
• La jungle des produits et l'immaturité des solutions
• Jeunes talents vs maturité projets

Compétences et organisation des projets Big Data

• Les compétences de l'équipe projets
• Collaboration entre experts métiers, statisticiens, Data Analysts, Data Scientists et informaticiens
• Outils du manager de projets Big Data
• Déploiement et mise en production des résultats de "test and learn"

Déploiement d'un livrable Big Data

• Utilisation de pipelines DataOps ou MLOps résilients basés sur des conteneurs
• Monitoring du livrable en environnement de production, surveillance du "model drift" et du "Data drift" et corrections

Exemples de travaux pratiques (à titre indicatif)

• Conception d'un mini-projet Big Data de la rédaction de la charte jusqu'au déploiement