"La qualité des données est basée sur la façon dont elles répondent aux exigences des consommateurs de données. Les métadonnées définissent ce que les données représentent. La qualité des données consiste à répondre aux attentes. Les métadonnées sont un moyen essentiel de clarifier les attentes." DMBOK.
Le catalogue des métadonnées est donc un outil essentiel pour mettre en lumière la qualité des données. Cela passe généralement par 3 étapes :
- Définir la qualité de données
- Représenter ces indicateurs
- Documenter les processus de mises en qualité
Définir la qualité des données
Si on se réfère au DMBOK, il existe plusieurs types de dimensions permettant de définir la qualité d'une donnée :
Les dimensions objectives
Il s'agit des dimensions pouvant être calculés :
- Exhaustivité : La proportion de données stockées par rapport au potentiel de 100 %.
- Unicité : Aucune instance d'entité (chose) ne sera enregistrée plus d'une fois en fonction de la façon dont cette chose est identifiée.
- Opportunité : Le degré selon lequel les données représentent la réalité à partir du point requis dans le temps.
- Validité : Les données sont valides si elles sont conformes à la syntaxe (format, type, plage) de leur définition.
- Précision : Le degré selon lequel les données décrivent correctement l'objet ou l'événement du 'monde réel' qui est décrit.
- Cohérence : L'absence de différence, lors de la comparaison de deux ou plusieurs représentations d'une chose par rapport à une définition.
Les dimensions subjectives
Les dimensions subjectives sont celles qui dépendent de l'appréciation des utilisateurs au moment de la consommation : Utilisabilité, Stabilité, Flexibilité, de valeur et de confiance.
Nous pouvons rajouter un troisième type de dimensions : celles représentant le contexte. Une donnée peut être essentielle dans un cas de figure et beaucoup moins dans un autre. Par exemple, une date de naissance erronée est importante d'un point de vue marketing (campagne) mais pas pour la facturation
Représenter ces indicateurs
Dans DataGalaxy, vous pouvez séparer les aspects fonctionnels et techniques de la qualité des données :
L'aspect fonctionnel
Il représente les exigences à remplir pour que les utilisateurs métiers soient en mesure d'exploiter les données en toute confiance. Pour documenter cet aspect nous recommandons d'utiliser le glossaire, vous pourrez ainsi :
- Décrire les données dont vous disposez
- Les rattacher à des exigences de gestion le cas échéant,
- Soit en utilisant des attributs dédiés,
- Soit en les rattachant à des objets du glossaire permettant de supporter ces exigences.
On pourra ainsi préciser qu'il existe un terme métier "date de naissance" rattaché au concept "client" et que, peu importe le système sous jacent, la date de naissance ne peut être antérieure au 01/01/1900.
Avec l'exemple ci dessous, la notion de nomenclature est utilisée pour représenter les exigences fonctionnelles.
L'aspect technique
Il pourra porter toutes les mesures que l'on peut calculer pour un champ d'une base de données. On pourra ainsi préciser pour chaque champ d'une base de données sa qualité selon les dimensions décrites ci dessus et suivre leur évolution dans le temps grâce aux indicateurs de type time series.
La liaison
Entre ces deux points de vue, le lineage permettra de mettre en lumière les différentes sources et le niveau de réputation de celles ci grâce, par exemple, aux goldens links.
Les processus de mises en qualité
Une fois ces étapes passées on pourra s'atteler à représenter les processus de mises en qualité. Cela se passe dans le module des traitements. En effet, un processus de mise en qualité :
- récupère des données d'une source A
- Les transforme : respect d'un format par exemple
- Les charge dans un conteneur de "qualité" : table différente, autre système...
Ces processus pourront être
- Préfixé : ainsi ils pourront être facilement identifiés dès le linéage
- Lié à l'application permettant d'effectuer ces processus de mises en qualité
Prochaines étapes
Comme le rappel le DMBOK, un catalogue des données est essentiel dans la mise en lumière des projets de qualité : depuis la définition des exigences de gestions jusqu'a la restitution des bases de confiance. Il est possible d'aller plus loin en utilisant la notion de processus. En définissant les données consommées par processus métier, il sera ainsi possible d'identifier
- En amont : les processus générant des données incorrectes et donc d'identifier les remédiations possibles
- En aval : tout risque d'utilisation de données de mauvaises qualité et donc leurs impacts potentiels.