Deep learning et réseaux de neurones : maîtrisez les fondamentaux

• Appliquer les principes de base du Machine Learning et comprendre son évolution vers le Deep Learning
• Analyser et mettre en œuvre les différentes architectures de réseaux de neurones existantes
• Élaborer une méthodologie efficace pour la mise en place de réseaux de neurones, tout en reconnaissant les forces et limites de ces outils
• Identifier et utiliser les composants essentiels du Deep Learning, tels que les réseaux de neurones simples, convolutifs et récursifs
• Explorer et maîtriser l'utilisation de modèles plus avancés tels que les auto-encodeurs, les GANs et l'apprentissage par renforcement.

1. INTRODUCTION IA, MACHINE LEARNING ET DEEP LEARNING

• Historique, concepts de base et applications de l'Intelligence Artificielle
• Intelligence collective : agréger une connaissance partagée par de nombreux agents virtuels
• Algorithmes génétiques : faire évoluer une population d'agents virtuels par sélection
• Machine Learning usuel : définition
• Types de tâches : Supervised Learning, Unsupervised Learning, Reinforcement Learning
• Types d'actions : classification, régression, clustering, estimation de densité, réduction de dimensionalité
• Exemples d'algorithmes Machine Learning : régression linéaire, Naive Bayes, Random Tree
• Machine Learning versus Deep Learning : pourquoi le ML reste aujourd'hui l'état de l'art (Random Forests & XGBoosts) ?

2. CONCEPTS FONDAMENTAUX D'UN RÉSEAU DE NEURONES

• Rappel de bases mathématiques
• Le réseau de neurones : architecture, fonctions d'activation et de pondération des activations précédentes
• L'apprentissage d'un réseau de neurones : fonctions de coût, back-propagation, stochastic gradient descent
• Modélisation d'un réseau de neurones : modélisation des données d'entrée et de sortie selon le type de problème
• Appréhender une fonction par un réseau de neurones. Appréhender une distribution par un réseau de neurones
• Data Augmentation : comment équilibrer un dataset ?
• Généralisation des résultats d'un réseau de neurones
• Initialisations et régularisations d'un réseau de neurones : L1/L2 Regularization, Batch Normalization
• Optimisations et algorithmes de convergence

3. OUTILS USUELS MACHINE LEARNING ET DEEP LEARNING

• Outils de gestion de donnée : Apache Spark, Apache Hadoop
• Outils Machine Learning usuel : Numpy, Scipy, Sci-kit
• Frameworks DL haut niveau : PyTorch, Keras, Lasagne
• Frameworks DL bas niveau : Theano, Torch, Caffe, Tensorflow

4. CONVOLUTIONAL NEURAL NETWORKS (CNN)

• Présentation des CNNs : principes fondamentaux et applications
• Fonctionnement fondamental d'un CNN : couche convolutionnelle, utilisation d'un kernel, padding et stride
• Architectures CNN ayant porté l'état de l'art en classification d'images : LeNet, VGG Networks, Network in Network
• Utilisation d'un modèle d'attention
• Application à un cas de figure de classification usuel (texte ou image)
• CNNs pour la génération : super-résolution, segmentation pixel à pixel
• Principales stratégies d'augmentation des Feature Maps pour la génération d'une image

5. RECURRENT NEURAL NETWORKS (RNN)

• Présentation des RNNs : principes fondamentaux et applications
• Fonctionnement fondamental du RNN : hidden activation, back propagation through time, unfolded version
• Évolutions vers les GRU (Gated Recurrent Units) et LSTM (Long Short Term Memory)
• Problèmes de convergence et vanishing gradient
• Types d'architectures classiques : prédiction d'une série temporelle, classification
• Architecture de type RNN Encoder Decoder. Utilisation d'un modèle d'attention
• Applications NLP : word/character encoding, traduction
• Applications vidéo : prédiction de la prochaine image générée d'une séquence vidéo

6. MODÈLES GÉNÉRATIONNELS : VAE ET GAN

• Présentation des modèles générationnels Variational AutoEncoder (VAE) et Generative Adversarial Networks (GAN)
• Auto-encoder : réduction de dimensionnalité et génération limitée
• Variational AutoEncoder : modèle générationnel et approximation de la distribution d'une donnée
• Définition et utilisation de l'espace latent. Reparameterization trick
• Fondamentaux du Generative Adversarial Networks
• Convergence d'un GAN et difficultés rencontrées
• Convergence améliorée : Wasserstein GAN, BeGAN. Earth Moving Distance
• Applications de génération d'images ou de photographies, génération de texte, super résolution

7. DEEP REINFORCEMENT LEARNING

• Reinforcement Learning
• Utilisation d'un réseau de neurones pour appréhender la fonction d'état
• Deep Q Learning : experience replay et application au contrôle d'un jeu vidéo
• Optimisations de la politique d'apprentissage. On-policy et off-policy. Actor critic architecture. A3C
• Applications : contrôle d'un jeu vidéo simple ou d'un système numérique