Deep learning - niveau avancé : maîtriser les fondamentaux

• Assimiler et comprendre les fondamentaux du Deep Learning, ses origines et son évolution à partir du Machine Learning
• Maîtriser les composants principaux du Deep Learning tels que les réseaux de neurones simples, convolutifs et récursifs
• Apprendre à mettre en œuvre des modèles plus avancés de Deep Learning comme les auto-encodeurs, les GANs et l'apprentissage par renforcement
• Comprendre et appliquer les principes théoriques et pratiques d'architecture et de convergence des réseaux de neurones
• Savoir mettre en place une méthodologie adéquate pour l'implémentation de réseaux de neurones en identifiant les atouts et les contraintes de ces outils.

1. INTRODUCTION À L'IA, MACHINE LEARNING ET DEEP LEARNING

• Présentation de l'histoire, des concepts de base et des applications de l'intelligence artificielle
• Compréhension de l'intelligence collective : Connaissances agrégées partagées par de nombreux agents virtuels
• Explication de l'algorithme génétique : Développer une population d'agents virtuels par sélection
• Introduction à l'apprentissage automatique : Type de tâche, type d'action et exemples d'algorithmes
• Distinction entre apprentissage automatique et apprentissage profond

2. CONCEPTS FONDAMENTAUX D'UN RÉSEAU DE NEURONES

• Rappel de base en mathématiques
• Présentation des architectures de réseau neuronal, des fonctions d'activation et du poids d'activation
• Formation d'un réseau de neurones : Fonctions de coût, rétropropagation, descente de gradient stochastique...
• Modélisation d'un réseau de neurones : Modélisation des données d'entrée et de sortie selon le type de problème

3. CROISSANCE DES DONNÉES ET RÉGULARISATION DU RÉSEAU DE NEURONES

• Comment équilibrer le jeu de données ?
• Généralisation des résultats des réseaux de neurones
• Initialisation et régularisation du réseau de neurones : Régularisation L1/L2, normalisation batch
• Présentation des algorithmes d'optimisation et de convergence

4. OUTILS USUELS MACHINE LEARNING ET DEEP LEARNING

• Outils de gestion de donnée : Apache Spark, Apache Hadoop
• Outils Machine Learning usuels : Numpy, Scipy, Sci-kit
• Frameworks DL haut niveau : PyTorch, Keras, Lasagne
• Frameworks DL bas niveau : Theano, Torch, Caffe, Tensorflow

5. CONVOLUTIONAL NEURAL NETWORKS (CNN)

• Principes fondamentaux et applications des CNN
• Fonctionnement fondamental d'un CNN : couche convolutionnelle, utilisation d'un kernel, padding et stride
• Architectures CNN ayant porté l'état de l'art en classification d'images : LeNet, VGG Networks, Network in Network
• Utilisation d'un modèle d'attention
• Application à un cas de figure de classification usuel (texte ou image)

6. RECURRENT NEURAL NETWORKS (RNN)

• Présentation des RNNs : principes fondamentaux et applications
• Caractéristiques de base des RNN : activations cachées, rétropropagation dans le temps, versions dépliées
• Développement pour GRU (Gated Recurrent Units) et LSTM (Long Short Term Memory)
• Problèmes de convergence et gradients de fuite
• Types d'architecture classique : prévision de séries temporelles, classification

7. MODÈLES GÉNÉRATIONNELS : VAE ET GAN

• Présentation des modèles générationnels Variational AutoEncoder (VAE) et Generative Adversarial Networks (GAN)
• Auto-encoder : réduction de dimensionnalité et génération limitée
• Variational AutoEncoder : modèle générationnel et approximation de la distribution d'une donnée
• Définition et utilisation de l'espace latent
• Fondamentaux du Generative Adversarial Networks. Convergence d'un GAN et difficultés rencontrées

8. DEEP REINFORCEMENT LEARNING

• Reinforcement Learning
• Utilisation d'un réseau de neurones pour appréhender la fonction d'état
• Deep Q Learning : experience replay et application au contrôle d'un jeu vidéo
• Optimisations de la politique d'apprentissage. On-policy et off- policy. Actor critic architecture. A3C