Cet article explique comment utiliser le connecteur Amazon S3 pour DataGalaxy.
Ce connecteur est disponible dans les modes suivants :
| Mode Desktop ✅ | Mode SaaS Online ✅ |
Périmètre du connecteur
Le connecteur permet d'importer les métadonnées suivantes à partir d'un DataLake Amazon AWS S3 :
- L'ensemble des répertoires du datalake
- L'ensemble des fichiers présents dans le datalake
- Les champs présents dans les fichiers de type CSV
Les objets récupérés et leurs correspondances dans DataGalaxy sont détaillés dans le tableau suivant :
Objet AWS S3 | Objet DataGalaxy | Commentaires |
| Répertoire | Répertoire (Conteneur) | |
| Fichier | Fichier (Structure) | |
| Champ | Champ | La définition des colonnes est importée si le fichier traité est un fichier CSV (séparateur ";") |
Configuration d'une connexion
Le connecteur Amazon AWS S3 exploite les API REST exposées par AWS : https://docs.aws.amazon.com/AmazonS3/latest/API/Welcome.html
La connexion à une ressource Amazon AWS S3 nécessite la création d'un compte de service préalable. Ce compte de service devra disposer des droits de lecture sur la ressource S3 (stratégie AmazonS3ReadOnlyAccess) ciblée par le connecteur. La procédure de génération d'une clé d'accès et d'un secret associés au compte de service est disponible ici.
Pour le connecteur Desktop, pour ne pas avoir à gérer de secrets IAM, vous pouvez utiliser les modes d'authentification par profil d'instance (si vous hébergez le connecteur sur AWS EC2) ou par Web Identity Token (différentes configurations possibles selon où le connecteur est hébergé, par exemple fournir les variables d'environnement AWS_WEB_IDENTITY_TOKEN_FILE et AWS_ROLE_ARN).
Les informations suivantes sont demandées pour configurer une connexion :
| Paramètre | Obligatoire | Description |
| Nom du bucket | Oui | Nom du bucket |
| Filtrer l'arborescence (préfixe) | Non | |
| Authentification | Oui | L'authentification peut être réalisée soit avec une clef d'accès (clé et secret), soit en utilisant le profil d'instance Amazon EC2 sur lequel s'exécute le connecteur, soit en utilisant les informations d'identification des jetons d'identité Web de l'environnement ou du conteneur (Working with AWS Credentials). |
| Region | Oui | Identifiant de la région |
| Point de terminaison VPC | Non (Connecteur Desktop uniquement) | Identifiant du point de terminaison VPC à utiliser pour communiquer avec la ressource AWS (exemple de valeur : vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com) |
| Rôle IAM (ARN) | Non (Connecteur Desktop uniquement) | Surcharge le rôle à utiliser pour accéder à la ressource. Le rôle spécifié doit être au format ARN (Amazon Ressource Name) : arn:partition:service:region:account:resource |
| Access Key | Oui (lorsque Basic Credential est sélectionné pour le connecteur Desktop) | Identifiant de la clef d’accès de l'utilisateur |
| Secret Key | Oui (lorsque Basic Credential est sélectionné pour le connecteur Desktop) | Secret de la clef d’accès de l'utilisateur |
| STS Token | Non (Connecteur Desktop uniquement) | AWS Security Token Service |
| Masque | Non | Les masques permettent de définir des stratégies de regroupement et de filtrage des dossiers et des fichiers en fonction de modèle de nommage. Exemple : /datasource/{YYYYMMDD}/file_{YYYYMM}_{zz}.csv Les masques doivent être des chemins absolus à partir de la racine et chaque caractère est important, il peut donc être nécessaire de définir plusieurs masques pour couvrir tous vos cas. Plus d'informations sur ce paramétrage sont disponibles lors de l'exécution du connecteur. |
Exécution du connecteur
Pour créer une connexion via le connecteur Online, les points d'entrées sont les suivants :
- Depuis le bouton Importer du widget "Raccourcis" présent sur l'écran d'accueil d'un espace client ou d'un espace de travail
- Depuis le bouton Importer d'un des modules lorsque celui-ci est vide
- Depuis le bouton Importer du menu contextuel d'un des modules, à droite des vues filtrées
- Depuis le bouton Ajouter une connexion dans l'onglet Connecteur disponible dans l'écran de réglage d'un espace de travail
Vous pouvez éventuellement filtrer (par module, type de connecteur ou en utilisant la barre de recherche), puis cliquer sur la technologie souhaitée : 
Il faut ensuite compléter le formulaire de connexion à l'aide des informations de connexion décrites précédemment pour réaliser un import. Pour plus de détails sur les étapes d'exécution du connecteur Online, vous pouvez consultez l'article suivant : [HowTo] Exécution du Connecteur Online.
Cette technologie est également disponible via le connecteur Desktop, vous trouverez plus d'informations sur ce mode opératoire ici : [How to] Mode opératoire du connecteur.
Exécuter le connecteur en ligne de commande (CLI)
Pour exécuter la connexion via la ligne de commande, assurez-vous que la valeur de l'option --password respecte le bon format en fonction de votre configuration :
- Avec un jeton STS :
--password "{\"password\":\"secretKeyValue\",\"sts-token\":\"stsTokenValue\"}"- Sans jeton STS :
--password "secretKeyValue"
Releases
Date | Plugin | DataGalaxy | Desktop Connector | Description |
| 14/01/2026 | 4.0.4 | v3.298.5 | 5.15.4 | CVE fixes |
| 25/09/2024 | 4.0.2 | v3.78.0 | 5.2.11 |
|
| 25/09/2024 | 4.0.2 | v3.78.0 | 5.2.11 |
|
16/07/2024 | 4.0.1 | v3.59.0 | 5.0.1 | Migrated from java 11 to java 17 |
