⚠️ Le connecteur DataGalaxy ADLS Gen1 sera retiré de la liste des connecteurs supportés fin juin 2026. Il ne sera plus disponible dans votre plateforme.
Si vous utilisez le plugin ADLS Gen1 du connecteur Desktop, vous pouvez continuer à l'utiliser sous votre entière responsabilité. Cependant il ne sera plus mis à jour (y compris concernant les vulnérabilités) et l'équipe support ne pourra vous aider si vous rencontrez des difficultés.
Cet article explique comment utiliser le connecteur Azure Data Lake Services Gen1 pour DataGalaxy
Ce connecteur est disponible dans les modes suivants :
| Mode Desktop ✅ | Mode SaaS Online ❌ |
Présentation du connecteur
Les objets récupérés et leurs correspondances dans DataGalaxy sont détaillés dans le tableau suivant :
Objet ADLSGen1 | Objet DataGalaxy | Commentaires |
| Répertoire | Répertoire (Conteneur) | |
| Fichier | Fichier (Structure) | |
| Champ | Champ | La définition des colonnes est importée si le fichier traité est un fichier CSV (séparateur ";") |
Etape 1 : Installation
- Télécharger le connecteur DataGalaxy depuis le portail (voir ici)
- Extraire l'archive du connecteur dans le répertoire de votre choix
- Télécharger le plug-in depuis le portail et le copier dans le répertoire /lib du connecteur
Etape 2 : Exécution du connecteur ADLS Gen1
- Après avoir démarré le connecteur, accéder aux connecteurs du Dictionnaire :
- S'il a été correctement installé, le plug-in ALDS Gen1 apparaît dans la liste
- Les informations suivantes sont demandées :
| Paramètre | Obligatoire | Description |
| Nom du cluster | Oui | Nom du cluster |
| Id tenant | Oui | Identifiant du tenant Azure |
| Id client | Oui | Identifiant du compte de service client Azure |
| Secret client | Oui | Secret du client |
| Chemin | Non | Chemin racine à parcourir |
| Mode rapide | Non | Option à privilégier pour un datalake volumineux. Dans ce mode, le connecteur ne calcule pas de résumé préalable avant import, et les colonnes des fichiers CSV présents dans le datalake ne sont pas remontées dans DataGalaxy |
| Inclure uniquement les répertoire (filtre) | Non | Le connecteur ne recense pas les fichiers contenus dans les répertoires |
| Profondeur (filtre) | Non | Limite la profondeur des répertoires à parcourir à N niveaux de sous dossiers. Tous les sous répertoires sont parcourus lorsque ce paramètre est égal à 0. |
| Masque | Non | Les masques permettent de définir des stratégies de regroupement et de filtrage des dossiers et des fichiers en fonction de modèle de nommage. Exemple : /datasource/{YYYYMMDD}/file_{YYYYMM}_{zz}.csv Les masques doivent être des chemins absolus à partir de la racine et chaque caractère est important, il peut donc être nécessaire de définir plusieurs masques pour couvrir tous vos cas. Plus d'informations sur ce paramétrage sont disponibles lors de l'exécution du connecteur. |
Une fois ces informations renseignées, vous devez tester la connexion pour pouvoir lancer la procédure d'import.
Plus d'informations sur le mode opératoire du connecteur disponibles ici
Informations techniques
Le compte de service utilisé doit être configuré pour disposer des droits suivants :
- API autorisées (à définir lors l'inscription de l'application) : Azure Data Lake
- Attribution de rôle (à définir au niveau du compte de stockage) : Lecteur
Vous pouvez éventuellement définir des restrictions supplémentaires à l'aide des ACL pour limiter les ressources auxquelles le compte de service aura accès.
Le connecteur ADLS Gen1 exploite les API REST Azure Data Lake Store Gen1 (https://docs.microsoft.com/fr-fr/rest/api/datalakestore/)
Releases
| Date | Plugin Version | DataGalaxy release | Desktop Connector version (minimum) | Description |
| 23/08/2024 | 4.0.1 | v3.69.0 | 5.2.3 | Updated the logger to show more information when using verbose mode |
| 06/08/2024 | 4.0.0 | v3.65.0 | 5.0.5 | Migrated from java 11 to java 17 + CVE fixes |