Cette recette aborde la représentation d'un broker de message dans DataGalaxy afin de disposer d’une solution de documentation robuste pour la gestion des évènements.
Pour comprendre notre approche, nous prenons comme exemple Kafka.
Regardons un schéma de fonctionnement simplifié de Kafka. Nous pouvons observer la présence de producteurs de message (qui vont pousser l’information vers Kafka) et celle de consommateurs de message (qui vont tirer l’information de Kafka)
On peut donc considérer Kakfa comme un hub de données et c'est pourquoi nous utilisons le dictionnaire pour représenter Kafka. Pour cela :
- Les messages étant souvent au format JSON, nous recommandons d'utiliser des bases NoSQL
- Les topics seront représentés par des répertoires
- Les messages seront alors représentés par des fichiers
Il est bien sur possible de gérer les versions des messages en intégrant une numérotation dans les noms des fichiers.
On pourra alors identifier les publications des producteurs et les récupérations des consommateurs grâce à des traitements de données. Ainsi il sera possible d'identifier
- Tous les consommateurs d'une publication
- Tous les producteurs utilisés par un consommateur. *
Cela fonctionnera de la même manière pour d'autres broker de message : Rabbit MQ, Red