Cet article explique le fonctionnement du connecteur Azure Data Factory (ADF) pour DataGalaxy.
Ce connecteur est disponible en preview, vous pouvez demander le plugin du connecteur desktop via un ticket support. Le mode preview signifie que le connecteur n'a pas été encore testé en conditions réelles dans un environnement représentatif de ce que pourraient utiliser nos clients, nous ouvrons donc le connecteur au test afin de recueillir vos retours et apporter les ajustements nécessaires avant sa sortie officielle.
Présentation du connecteur
Le connecteur ADF a pour objectif de remonter le lineage autour des factories ADF. Dans le cadre de cette preview, les activités prises en charge sont les Data flows et les activités de copie de fichiers. Suivant le paramétrage de ces activités dans ADF, le lineage pourra remonter à la colonne ou à la table.
Ce connecteur fonctionne en mode URN, ce qui signifie qu'il créera ou reliera les objets du dictionnaire dans leur propre technologie , sans la couche d'abstraction Dataset proposée par ADF. Seuls les objets du module Traitements seront créés sous la technologie ADF dans DataGalaxy.
Le tableau suivant détaille les objets et les attributs récupérés, ainsi que leurs correspondances dans DataGalaxy :
| Objet ADF | Module DataGalaxy | Objet DataGalaxy | Attributs DataGalaxy | Commentaires |
| Factory | Traitements | Flux | ||
| Data flow | Traitements | Traitement | ||
| Copy activity | Traitements | Traitement | ||
| Table/Vue | Dictionnaire | Table/Vue | Dans leur propre technologie | |
| Colonne | Dictionnaire | Colonne | Dans leur propre technologie | |
| Dossier | Dictionnaire | Dossier | Dans leur propre technologie | |
| Fichier | Dictionnaire | Fichier | Dans leur propre technologie |
Limitations connues de la version preview
Technologies supportées
Les technologies de stockage de données supportées dans le cadre de cette preview sont :
- Azure Data Lake Gen2
- Azure SQL
- MySQL
Si vous utilisez d'autres technologies de stockage, cela nécessitera des évolutions du connecteur.
Analyse syntaxique des composants ADF
- Les Datasets définis en mode Legacy avec une connection string ne sont pas supportés
Bugs connus de la version preview
Si vous utilisez des datasets sur Azure Data Lake Gen2, vous pourriez rencontrer une erreur à l'import. Le contournement est de créer au préalable une nouvelle technologie dans votre plateforme DataGalaxy, avec le code adls2.
Etape 1 : Installation
- Télécharger le connecteur DataGalaxy depuis le portail (voir ici)
- Extraire l'archive du connecteur dans le répertoire de votre choix
- Déposer le plug-in ADF dans le répertoire /lib du connecteur
Etape 2 : Exécution du connecteur ADF
- Après avoir démarré le connecteur, accéder aux connecteurs de type Dictionnaire ou Traitement
- S'il a été correctement installé, le plug-in ADF apparaît dans la liste
Les informations suivantes sont demandées :
| Paramètre | Obligatoire | Description |
| Subscription ID | Oui | Souscription Azure |
| Tenant ID | Oui | Tenant Entra ID |
| Resource group name | Oui | Nom du resource group contenant les factories |
| Client ID | Oui | Identifiant Client Entra ID |
| Client secret | Oui | Secret Client Entra ID |
| API Version | Oui | Actuellement 2018-06-01 |
Informations techniques
Le connecteur ADF s'appuie sur l'API REST Azure.
Releases
| Date | Plugin Version | DataGalaxy release | Desktop Connector version (minimum) | Description |
| 15/11/2024 | 0.0.1a9 preview | N/A | 5.0.4 | Adding support of Copy activities |
| 30/07/2024 | 0.0.1a9 preview | N/A | 5.0.4 | First preview version |