A l’issue de cette formation, vous serez capable de :

• Reconnaître les nouveautés et avantages pratiques de Kafka 4.0
• Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multi-locataires
• Publier et récupérer des données vers un cluster Kafka 4.0
• Créer vos propres Consumers et Producers
• Ecrire des applications de streaming avec Kafka Streams.

Jour 1 - Matin

Apache Kafka, les fondamentaux

• Plateforme de diffusion d'évènements distribuée
• L'abstraction des logs dans la diffusion d'évènements distribués
• Brokers, topics, partitions et segments
• Enregistrements (alias messages, événements)
• Politiques de rétention
• Producteurs, consommateurs et sérialisation
• La réplication
• Présentation des API Kafka (Producer Consumer, Streams, Connect, Admin)
• Les nouveautés de Kafka 4.0
• Impact du passage de Zookeeper à KRaft
• Stratégie de migration vers Kafka 4.0 et points à surveiller

Exemples de travaux pratiques (à titre indicatif)

• Démonstration d'un pipeline de traitement en temps réel avec Kafka 4.0

Installation et architecture

• Installation et options avancées
• Considérations matérielles (hardware)
• Fichiers journaux de Kafka
• Réplication et fiabilité
• Chemins d'écriture et de lecture de Kafka
• Partitions, consumer groups et scalability
• Alternatives architecturales, avantages et inconvénients de chacune
• Meilleures pratiques architecturales

Exemples de travaux pratiques (à titre indicatif)

• Installation et configuration de Kafka 4.0
• Prise en main de Kafka 4.0 à travers des exemples

Jour 1 - Après-midi

Producers sous Kafka

• L'architecture d'un Producers Kafka
• Le partitionnement basé sur les clés
• Kafka Acks
• Configuration des paramètres
• Créer un fichier "producer.properties" personnalisé
• Utilisation du Batching

Exemple de travaux pratiques (à titre indicatif)

• Utilisation de l'API Producer sur des exemples

Jour 2 - Matin

Consumers sous Kafka

• Les partitions et leurs rôles dans l'évolutivité et la tolérance aux pannes
• Configuration des consumers
• Créer un fichier "consumer.properties" personnalisé
• Utiliser l'API du consommateur pour gérer les décalages
• Optimiser les requêtes de récupération

Exemples de travaux pratiques (à titre indicatif)

• Utilisation de l'API Producer sur des exemples

Gestion des schémas dans Kafka

• Introduction à Avro
• Les schémas Avro
• Utilisation du Schema Registry

Exemple de travaux pratiques (à titre indicatif)

• Définition d'un schéma Avro, enregistrement dans Schema Registry, et production de messages Avro

Jour 2 - Après-midi

Kafka Streams

• Les motivations pour Kafka Streams
• Les fondamentaux de Kafka Streams
• Exploration d'une application Kafka Streams

Kafka Connect

• Les connecteurs couramment utilisés
• Expliquer les différences entre le mode autonome et le mode distribué

Exemples de travaux pratiques (à titre indicatif)

• Configurer et utiliser Kafka Connect
• Développement d'un connecteur simple
• Produire des données à Kafka et les consommer en temps réel
• Création d'une application Kafka Streams pour effectuer des traitements en temps réel