L'objectif de cet article est d'expliciter le concept de l'import de données : quel est son fonctionnement ? Quelles données peuvent être importées ? Qui peut le faire ? Quels sont les impacts sur les autres fonctionnalités que propose DataGalaxy ?
À quoi sert l'import de données ?
Un des objectifs principaux de DataGalaxy est de proposer une vision cohérente et exhaustive des données disponibles dans le périmètre étudié. Or :
- L'importance du volume de données à traiter rend bien souvent complexe et chronophage une approche unitaire de renseignement des données. En effet, qui pourrait être sûr d'avoir renseigné toutes les tables et champs d'une base surtout quand celle-ci en contient plus de 10000 ?
- La préexistence de fichiers de cartographie impose de pouvoir récupérer facilement ces documents.
Dans ce contexte, deux éléments d'appropriation nous semblent clés :
- La facilité de renseignement de la solution en masse.
- La capacité à capitaliser rapidement sur les travaux préexistants.
DataGalaxy propose donc les capacités d'import suivantes :
- L'import de fichiers CSV de métadonnées.
- Un connecteur Desktop qui permet de construire ces fichiers CSV ou de gérer l'import directement via API ; pour plus de détails sur cette capacité, consulter cet article.
- Un connecteur Online qui permet de remonter les métadonnées de vos sources directement depuis la plateforme ; pour plus de détails sur cette capacité, consulter cet article
- L'import d'éléments dans le Glossaire depuis une source de données du Dictionnaire DataGalaxy, pour plus de détails sur cette capacité consulter cet article.
Comment fonctionne l'import ?
L'import va permettre de créer ou de mettre à jour des informations. Il ne peut pas supprimer des objets.
La mise à jour des données fonctionne en mode incrémental :
- Le nom technique fait office de clé.
- Les champs suivants ne seront mis à jour que si il y a des valeurs : résumé et description.
- Si le champ est mappé à l'import, les autres champs seront chargés (en mode écrase / remplace).
L'outil permet d'exporter toutes les données. Dans le cadre d'une stratégie d'import, cela peut accorder une certaine souplesse :
- Obtention d'un masque de saisie.
- Récupération des éléments renseignés pour modification en masse. (Note : cette fonction est disponible nativement sur la plateforme.)
Cela impose de porter une attention particulière lors du chargement : n'ai-je pas supprimé des valeurs que je voulais conserver par exemple.
Où puis-je importer des données ?
Tous les modules de DataGalaxy sont configurés pour pouvoir importer des données.
Les articles suivants permettent de préciser les modalités d'import via fichier CSV par module :
- Importer des objets et des liens dans le Glossaire depuis un fichier CSV
- Importer des objets et des liens dans les Usages depuis un fichier CSV
- Importer des traitements depuis un fichier CSV
- Importer des objets dans le Dictionnaire depuis un fichier CSV
Pour comprendre plus précisément le concept de module, vous pouvez consulter cet article.
Qui peut importer des données ?
D'un point de vue outil :
- Seuls les utilisateurs bénéficiant d'un licence Data Steward sont éligibles pour pouvoir importer des données dans DataGalaxy. (Pour connaitre les différentes licences proposées par DataGalaxy, vous pouvez consulter cet article.)
- La possibilité d'importer des données dépendra également de vos habilitations au niveau du workspace. Il faut avoir un niveau d'administrateur au niveau du module dans lequel on souhaite importer des données. Pour le dictionnaire, il est possible d'autoriser base par base les imports de données
Pour comprendre le fonctionnement des habilitations, consultez cet article.
D'un point de vue fonctionnel : l'ergonomie des imports de données permet de s'adresser à tous les types de profils. De plus, les imports étant réalisés workspace par workspace, il n'y a pas de risque systémique.
Néanmoins, de par les impacts importants de ces imports, il est préférable de les réserver à un profil averti. Non seulement des données pourraient être écrasées par inadvertance, mais se pose aussi la question de la modification d'objets pour lesquels l'utilisateur n'est pas le plus compétent. Une bonne pratique est d'identifier les responsabilités par module au sein d'un même workspace :
- Des profils plutôt fonctionnels pour gérer les imports du glossaire. Des profils plus IT pourront accompagner pour la mise en relation avec les champs de base.
- Des profils administrateurs pour une gestion unitaire des bases (chaque référent de base a les autorisations pour gérer sa base).
- Des profils administrateurs ETL pour les traitements.
- Des profils MOA pour l'administration des usages.
Comment l'import de données impacte le paramétrage des écrans ?
La fiche objet est paramétrée au niveau clientspace. C'est donc à ce niveau que sont référencés tous les attributs pour un terme métier, une base, ...
Ainsi le business terme pourra être composé des champs description, résumé, période de validité, steward & owner.
Au niveau du workspace, on parle d'écrans, c'est à dire une représentation des attributs nécessaires pour un objet donné sur ce workspace.
Ainsi le business terme pourra être composé sur le workspace uniquement des champs description, résumé, période de validité, steward & owner.
Cela signifie que :
- Les workspaces d'un clientspace n'auront pas forcément les mêmes écrans pour leurs objets.
- Les formulaires d'import seront différents : seuls les champs affichés dans les écrans seront importés.