A l'issue de cette formation, vous serez capable de :

• Maîtriser les concepts avancés de l'IA moderne (LLM, modèles fondateurs, agents, RAG)
• Construire des applications à base d'IA avec des modèles fondateurs
• Evaluer les modèles produits à l'aide de différentes méthodologies prouvées (perplexité, modèles juges, évaluation comparative)
• Utiliser des approches alternatives comme les RAG et les agents intelligents
• Mettre en oeuvre des améliorations (latence, contexte, surveillance et observabilité, orchestration de pipelines).

Jour 1 - Matin

Introduction

• Définir l'IA
• Fondations et histoire de l'IA
• Les marchés de l'IA
• Dernières avancées dans la production de modèles d'IA
• Nouveaux cas d'usage de l'IA
• Nouveaux métiers de l'IA
• Ingénieur IA : nouveau rôle et nouvelles compétences
• L'ingénierie d'Intelligences Artificielles : des LLM aux modèles fondateurs et écosystèmes d'IA
• L'ingénierie des datasets :
• Traitement
• Enrichissement
• Augmentation
• Synthèse des données
• Les trois couches de la stack IA
• Planification d'applications IA : les grands jalons
• IA closed source vs IA open source : comparatif des avantages et inconvénients

Exemple de travaux pratiques (à titre indicatif)

• Démonstration de la construction d'une application IA à base de LLM à partir d'un cas d'usage

Jour 1 - Après-midi

Les modèles fondateurs

• Qu'est-ce qu'un modèle fondateur, exemples
• Processus de création d'un modèle fondateur
• Données d'apprentissage
• Modélisation :
• Architecture du modèle
• Taille du modèle
• Alternatives d'entrainement :
• From scratch
• Transfer learning
• Prompting
• Distillation
• RLHF
• Mixture of experts
• LoRA
• PEFT
• Affinage (fine tuning)
• Echantillonnage :
• Stratégies
• Test time compute
• Sorties structurées
• Optimisation des LLM:
• Quantization
• LoRA
• Fully sharded data parallel–quantized LoRA

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique du processus de création d'un modèle fondateur à travers un exemple

Jour 2 - Matin

Evaluation des modèles fondateurs

• Défis de l'évaluation de modèles
• Métriques d'évaluation de modèles :
• Entropy
• Cross entropy
• Bits par caractère
• Bits par octet
• Evaluation exacte :
• Functional correctness
• Similarity measurements
• Encodage vectoriel
• Modèles juges :
• Définition
• Avantages et limites
• Critères d'évaluation (capabilité spécifique au domaine, cut, latence...)
• Conception du pipeline d'évaluation des modèles
• Trier les modèles avec l'évaluation comparative

Exemple de travaux pratiques (à titre indicatif)

• Mise en oeuvre d'un pipeline d'évaluation de modèles, et sélection du meilleur modèle

Jour 2 - Après-midi

Ingénierie de prompt

• Introduction au prompting
• Apprentissage en contexte
• System prompt vs user prompt
• Longueur et efficacité du contexte
• Meilleures pratiques de prompting
• Ingénierie de prompt défensive :
• Ingénierie inverse
• Jailbreaking
• Injection de prompt
• Attaques de prompt

Exemples de travaux pratiques (à titre indicatif)

• Exercice de prompting
• Exercice d'ingénierie de prompt défensive

Jour 3 - Matin

RAG et agents

• Exploitation du savoir externe avec les RAG
• Frameworks de RAG :
• LangChain
• LlamaIndex
• RAG vs fine-tuning vs prompting
• RAG :
• Architecture
• Algorithme
• Optimisation
• Bases de données vectorielles pour RAG
• Agents intelligents :
• Outils, planification
• Gestion des modes d'échec
• Evaluation
• Standardiser les écosystèmes d'IA avec le protocole MCP (Model Context Protocol)
• Importance de la mémoire

Exemple de travaux pratiques (à titre indicatif)

• Mise en oeuvre d'une architecture IA composable avec le protocole MCP

Jour 3 - Après-midi

Affinage des modèles

• Avantages et inconvénients de l'affinage
• Eviter les goulots d’étranglement de la mémoire :
• Rétro-propagation et paramètres entraînables
• Représentations numériques
• Quantization

Exemple de travaux pratiques (à titre indicatif)

• Exercice sur l'affinage de modèle, analyse coût / bénéfice

Optimisation de l'inférence et du serving

• Métriques de performance de l'inférence
• Optimisation du modèle vs optimisation de l'inférence
• Optimiser l'architecture :
• Augmenter le contexte
• Ajouter un routeur/une passerelle
• Ajouter un cache
• Ajouter des patterns d'agents
• Surveillance et observabilité
• Orchestration de pipelines d'IA
• Récupérer le feedback utilisateur

Exemple de travaux pratiques (à titre indicatif)

• Optimisation de l'inférence et du serving à partir d'exemples