Introduction
Le connecteur permet d'importer les métadonnées de vos systèmes de stockage existants dans la plateforme DataGalaxy. Dans cet article, nous vous expliquons comment configurer ces imports par type de source, et quelles métadonnées seront importées dans la plateforme.
Pour mettre en application les éléments présentés dans cet article, il vous faudra télécharger le connecteur et les plugins associés (voir cet article)
Le fonctionnement du connecteur en mode interface graphique est expliqué en détail dans cet article
Le cas échéant, des articles de documentation spécifiques à chaque technologie et plugin peuvent être disponibles afin de détailler leurs particularités.
Importer des métadonnées dans une source de type relationnelle (base de données)
Le tableau suivant détaille les objets pris en compte dans vos systèmes sources et les objets DataGalaxy correspondants
| Système source | Objet DataGalaxy | Commentaires |
|---|---|---|
| Schéma | Modèle (Conteneur) | |
| Table | Table (Structure) | Les commentaires sont remontés dans le champ Commentaire technique de DataGalaxy |
| Vue | Vue | Les commentaires sont remontés dans le champ Commentaire technique de DataGalaxy |
| Colonne | Colonne | Le nom, le type de données (taille et précision), la description, l'ordre sont remontés lorsqu'ils sont disponibles. Les commentaires sont remontés dans le champ Commentaire technique de DataGalaxy |
| Clé primaire | Clé primaire | Ces informations seront utilisées pour relier les tables dans les diagrammes DataGalaxy |
| Clé étrangère | Clé étrangère |
L'import de métadonnées à partir d'une base de données fonctionne de façon générique, quelque soit la technologie du système source. Elle s'appuie sur l'utilisation d'un driver JDBC spécifique à chaque technologie. Ci contre un exemple de formulaire de connexion pour la technologie AzureSQL : 
Ce formulaire peut être différent suivant la technologie du plugin utilisé.
Le mode avancé permet de voir et modifier l'URL JDBC qui est générée en arrière plan de ce formulaire. Vous pouvez l'activer pour ajouter des paramètres qui ne seraient pas exposées par défaut, ou la copier afin de la réutiliser en mode JDBC avancé (voir plus loin).
L'écran suivant liste les tables et vues identifiées sur la connexion paramétrée, et permet de limiter si besoin le périmètre de votre export :
Importer des métadonnées dans une source de type non relationnelle (système de fichiers et datalake)
Le tableau suivant détaille les objets pris en compte dans vos systèmes sources et les objets DataGalaxy correspondants
| Système source | Objet DataGalaxy | Commentaires |
|---|---|---|
| Répertoire | Dossier (Conteneur) | |
| Fichier | Fichier (Structure) | Les fichiers peuvent être regroupés en définissant des masques lorsque l'option vous est proposée (voir plus loin) |
| Champ (fichier CSV uniquement) | Champ | Actuellement seuls les fichiers CSV sont parcourus, et les types de colonnes remontent en tant que chaînes de caractères par défaut. |
Outre les information de connexion spécifiques à chaque technologie, l'écran de connexion vous permet de définir des masques qui seront utilisés pour filtrer et/ou grouper les fichiers identifiés:
Le bouton Ajouter un nouveau masque apporte des informations supplémentaires sur la syntaxe à utiliser :
Les masques ajoutés et les options de filtrage et de regroupement sont enregistrés dans les fichiers de connexion
L'écran suivant liste les fichiers identifiés et vous permet de sélectionner un sous-ensemble si vous souhaitez limiter le périmètre de l'import
Les masques ne sont pas appliqués à l'affichage de cet écran
Dans cet exemple, nous pouvons définir les masques suivants afin d'avoir un regroupement des fichiers :
- /Allemagne/Berlin/berlin{XX}.json
- /Espagne/Madrid/madrid{XX}.json
- /France/Paris/paris{XX}.json
- /Italie/Rome/rome{XX}.json
- /Megapack{X}/Pack{Y}/Huge{XX}.csv
- /Megapack{X}/Pack{Y}/Huge{X}.csv
Un masque est un ensemble de caractères entre {} qui va remplacer le nombre exact de caractères dans le nom des fichiers. L'objectif étant de remplacer des chaînes répétitives.
Releases
| Date | Plugin version | DataGalaxy release | Desktop connector version (minimum) | Description |
| 26/07/2024 | 5.0.1 | v3.62.0 | 5.0.3 | Migrated from java 11 to java 17 |