Formation Apache Kafka DotnetCore (ORSYS)

3 Téléchargements

Objectifs pédagogiques de cette formation :

Comprendre les principes de communications inter-applications :
Présentation des architectures réactives (Event Driven), MESH, des protocoles et formats d’échange modernes (gRPC, Parquet), et des approches Choregraphy vs Orchestration pour illustrer la structuration des échanges entre services distribués.
Appréhender l’architecture de Kafka :
Étude approfondie de Kafka : brokers, topics, partitions, producteurs, consommateurs, modèle Pub/Sub, résilience via la réplication, configuration des performances (taille des messages, partitionnement), stockage disque, gestion de la chronologie et des versions.
Mettre en œuvre ksqlDB :
Utilisation de ksqlDB pour effectuer des traitements en temps réel sur les flux Kafka via SQL : filtrage, agrégation, transformation, création de flux KStream et de tables KTable, routage dynamique des messages.
Travailler en sécurité avec Kafka :
Introduction à la sécurité dans Kafka : gestion des ACLs, DLQ (Dead Letter Queue) pour les erreurs de traitement, politiques de rétention (compactage vs suppression), gestion des duplications avec acquittements, et surveillance via Prometheus et Grafana.
Explorer les outils et extensions avancés de l’écosystème Kafka :
- Kafka Flow : Outil orienté .NET basé sur les bibliothèques Confluent, facilitant la gestion typée des messages, l’utilisation de middlewares, et l’enrichissement des headers pour un traitement contextualisé.
- DataGen (via Kafka Connect) : Génération automatisée de données pour les environnements de test ou de démonstration. Utilisé pour simuler des producteurs Kafka.
- Kafka Connect : Intégration simplifiée avec des sources et cibles de données variées (via plugins comme Debezium pour les bases relationnelles).
- Outils associés : LogStash, Telegraf, FluentD, Apache Nifi (no-code/low-code), permettant une collecte, un enrichissement et une diffusion avancés des données.
- Monitoring et supervision : Utilisation combinée de Prometheus (collecte de métriques), Grafana (visualisation), et ElasticSearch (logs et traçabilité).