A l'issue de cette formation, vous serez capable de :

• Définir les exigences fonctionnelles et non-fonctionnelles de votre modèle, ainsi que les tests
• Comparer les différents modèles open source du marché selon les principales métriques
• Explorer les différentes alternatives pour entraîner votre modèle : from scratch, transfer learning, prompting, distillation, RLHF, mixture of experts, LoRA et PEFT
• Spécifier et chiffrer les alternatives architecturales locales capables d'héberger votre modèle
• Déployer et surveiller votre modèle en production, et optimiser vos inférences.

Jour 1 - Matin

Introduction

• Dernières avancées dans la production de modèles d'IA
• Planification d'applications IA : les grands jalons
• IA closed source vs IA open source : comparatif des avantages et inconvénients
• Ingénierie des coûts
• Modèles open source :
• Polyvalents (Mistral/Mixtral, Llama, Falcon)
• Légers (Phi-3, Gemma, TinyLlama)
• Spécialisés (CodeLlama, Meditron)
• Exigences matérielles pour chaque type de modèle (mémoire, CPU/GPU/multi-GPU/cluster/cloud privé, réseautage)
• Ingénierie d'Intelligences Artificielles : des LLM aux modèles fondateurs et écosystèmes d’IA
• Ingénierie des datasets :
• Traitement
• Enrichissement
• Augmentation
• Synthèse des données
• Les trois couches de la stack IA

Exemples de travaux pratiques (à titre indicatif)

• A partir d'une étude de cas : recueil des besoins, étude de faisabilité, estimation du budget et des ressources, sélection d’une solution, implémentation de l'application IA, tests

Jour 1 - Après-midi

Les modèles fondateurs

• Qu'est-ce qu'un modèle fondateur, exemples
• Processus de création d'un modèle fondateur
• Données d'apprentissage
• Modélisation : architecture du modèle, taille du modèle
• Alternatives d’entrainement :
• From scratch
• Transfer learning
• Prompting
• Distillation
• RLHF
• Mixture of experts
• LoRA
• PEFT Affinage (fine tuning)
• Echantillonnage (stratégies, test time compute, sorties structurées)
• Infrastructures pour les LLM :
• Ollama
• LM Studio
• llama.cpp
• vLLM
• Unsloth
• Hugging Face
• Hub Space
• Optimisation des LLM :
• Quantization
• LoRA
• Fully sharded data parallel–quantized LoRA
• Défis et solutions dans la mise en production des LLM et LCM

Exemples de travaux pratiques (à titre indicatif)

• Réimplémentation du modèle open source Llama
• Amélioration du modèle avec la quantization et LoRA
• Déploiement, inférence, et surveillance