Cet article explique comment utiliser le connecteur Azure Data Lake Services Gen2 pour DataGalaxy.
Ce connecteur est disponible dans les modes suivants :
| Mode Desktop ✅ | Mode SaaS Online ✅ |
Périmètre du connecteur
Le connecteur permet d'importer les métadonnées suivantes à partir d'Azure Data Lake Services Gen2 (ADLS Gen2) :
- L'ensemble des répertoires du datalake
- L'ensemble des fichiers présents dans le datalake
- Les champs présents dans les fichiers de type CSV
Les objets récupérés et leurs correspondances dans DataGalaxy sont détaillés dans le tableau suivant :
Objet ADSLGen2 | Objet DataGalaxy | Commentaires |
| Répertoire | Répertoire (Conteneur) | |
| Fichier | Fichier (Structure) | |
| Champ | Champ | La définition des colonnes est importée si le fichier traité est un fichier CSV (séparateur ";") |
Configuration d'une connexion
Le connecteur ADLS Gen2 exploite les API REST Azure Data Lake Store (https://docs.microsoft.com/en-us/rest/api/storageservices/data-lake-storage-gen2) et nécessite de configurer un compte de service utilisé disposant des droits suivants :
- API autorisées (à définir lors l'inscription de l'application) : Azure Storage (user_impersonation )
- Attribution de rôle (à définir au niveau du compte de stockage) : Lecteur des données Blob du stockage
Vous pouvez éventuellement définir des restrictions supplémentaires à l'aide des ACL pour limiter les ressources auxquelles le compte de service aura accès.
Les informations suivantes sont demandées pour configurer une connexion :
| Paramètre | Obligatoire | Description |
| Compte de stockage | Oui | Nom du compte de stockage |
| Id tenant | Oui | Identifiant du tenant Azure |
| Id client | Oui | Identifiant du compte de service client Azure |
| Secret client | Oui | Secret du client |
| Nom du conteneur | Oui | Nom du conteneur du filesystem |
| Point de terminaison custom | Non | Point de terminaison custom (valeur par défaut dfs.core.windows.net en mode hiérarchique, blob.core.windows.neten mode Blob) |
| Type de route API | Non | 3 modes, Automatique, Hiérarchique et Blob. En mode Automatique le premier sera testé, puis le second |
| Chemin | Non | Chemin racine à parcourir |
| Masque | Non | Les masques permettent de définir des stratégies de regroupement et de filtrage des dossiers et des fichiers en fonction de modèle de nommage. Exemple : /datasource/{YYYYMMDD}/file_{YYYYMM}_{zz}.csv Les masques doivent être des chemins absolus à partir de la racine et chaque caractère est important, il peut donc être nécessaire de définir plusieurs masques pour couvrir tous vos cas. Plus d'informations sur ce paramétrage sont disponibles lors de l'exécution du connecteur. |
Exécution du connecteur
Pour créer une connexion via le connecteur Online, les points d'entrées sont les suivants :
- Depuis le bouton Importer du widget "Raccourcis" présent sur l'écran d'accueil d'un espace client ou d'un espace de travail
- Depuis le bouton Importer d'un des modules lorsque celui-ci est vide
- Depuis le bouton Importer du menu contextuel d'un des modules, à droite des vues filtrées
- Depuis le bouton Ajouter une connexion dans l'onglet Connecteur disponible dans l'écran de réglage d'un espace de travail
Vous pouvez éventuellement filtrer (par module, type de connecteur ou en utilisant la barre de recherche), puis cliquer sur la technologie souhaitée : 
Il faut ensuite compléter le formulaire de connexion à l'aide des informations décrites précédemment pour réaliser un import. Pour plus de détails sur les étapes d'exécution du connecteur Online, vous pouvez consultez l'article suivant : [HowTo] Exécution du Connecteur Online.
Cette technologie est également disponible via le connecteur Desktop, vous trouverez plus d'informations sur ce mode opératoire ici : [How to] Mode opératoire du connecteur.
Releases
| Date | Plugin Version | DataGalaxy release | Desktop Connector version (minimum) | Description |
| 19/12/2024 | 4.1.0 | 5.3.6 | Addition of the possibility to set a custom endpoint | |
| 23/08/2024 | 4.0.2 | v3.69.0 | 5.2.3 | Updated the logger to show more information when using verbose mode |
| 14/08/2024 | 4.0.1 | v3.67.0 | 5.0.4 | CVE fixes |
| 30/07/2024 | 4.0.0 | v3.63.0 | 5.0.4 | Migrated from java 11 to java 17 + CVE fixes |