Créer un ticket Mes tickets
Bienvenue
Connexion  S'inscrire

Connecteur Amazon AWS Glue

Cet article explique comment utiliser le connecteur Amazon Glue pour DataGalaxy.

Ce connecteur est disponible dans les modes suivants :

Mode DesktopMode SaaS Online ✅

Périmètre du connecteur

Le connecteur vous permet d'importer les métadonnées suivantes à partir d'Amazon Glue dans une source de type Relationnelle:

  • L'ensemble des bases d'Amazon Glue 
  • Le contenu des bases : tables, partitions et colonnes

Le tableau suivant détaille les objets et les attributs récupérés, ainsi que leurs correspondances dans DataGalaxy : 

Objet AWS Glue
Objet DataGalaxy
Commentaires
Base de donnéesSchéma (conteneur)
TablesTable (Structure)
ColonnesColonne (champ)
PartitionColonne (champ)Les clés de partitions sont représentées en tant que colonne, l'information "Partition" est indiquée dans le champ commentaire technique de la colonne dans ce cas.

Configuration d'une connexion

Le connecteur Amazon AWS Glue exploite les API REST exposées par les services web d'Amazon.

La procédure de génération d'une clé d'accès et d'un secret associé à un utilisateur est disponible ici.

Pour le connecteur Desktop, pour ne pas avoir à gérer de secrets IAM, vous pouvez utiliser les modes d'authentification par profil d'instance (si vous hébergez le connecteur sur AWS EC2) ou par Web Identity Token (différentes configurations possibles selon où le connecteur est hébergé, par exemple fournir les variables d'environnement AWS_WEB_IDENTITY_TOKEN_FILE et AWS_ROLE_ARN).

Les informations suivantes sont demandées pour configurer une connexion :

ParamètreObligatoireDescription
DatabaseNonPermet de filtrer sur une base de données Glue
AuthentificationOuiL'authentification peut être réalisée soit avec une clef d'accès (clé et secret), soit en utilisant le profil d'instance Amazon EC2 sur lequel s'exécute le connecteur, soit en utilisant les informations d'identification des jetons d'identité Web de l'environnement ou du conteneur  (Working with AWS Credentials).
Pour le connecteur Online, l'authentification est disponible uniquement via la clé d'accès.
RegionOuiIdentifiant de la région
Point de terminaison VPCNonIdentifiant du point de terminaison VPC à utiliser pour communiquer avec la ressource AWS (exemple de valeur : vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com)
Rôle IAM (ARN)NonSurcharge le rôle à utiliser pour accéder à la ressource. Le rôle spécifié doit être au format ARN (Amazon Ressource Name) : arn:partition:service:region:account:resource
Access KeyOui pour le mode authentification par clef d'accèsAccess Key AWS
Secret KeyOui pour le mode authentification par clef d'accès Secret Key AWS
STS TokenNonAWS Security Token Service

Exécution du connecteur

Pour créer une connexion à Amazon Glue via le connecteur Online, les points d'entrées sont les suivants : 

  • Depuis le bouton Importer du widget "Raccourcis" présent sur l'écran d'accueil d'un espace client ou d'un espace de travail 
  • Depuis le bouton Importer d'un des modules lorsque celui-ci est vide
  • Depuis le bouton Importer du menu contextuel d'un des modules, à droite des vues filtrées
  • Depuis le bouton Ajouter une connexion dans l'onglet Connecteur disponible dans l'écran de réglage d'un espace de travail

Vous pouvez éventuellement filtrer (par module, type de connecteur ou en utilisant la barre de recherche), puis cliquer sur la technologie souhaitée : 

Il faut ensuite compléter le formulaire de connexion à l'aide des informations de connexion décrites précédemment pour réaliser un import. Pour plus de détails sur les étapes d'exécution du connecteur Online, vous pouvez consultez l'article suivant : [HowTo] Exécution du Connecteur Online

Cette technologie est également disponible via le connecteur Desktop, vous trouverez plus d'informations sur ce mode opératoire ici : [How to] Mode opératoire du connecteur.

Exécuter le connecteur en ligne de commande (CLI)

Pour exécuter la connexion via la ligne de commande, assurez-vous que la valeur de l'option --password respecte le bon format en fonction de votre configuration :

  • Avec un jeton STS :
--password "{\"password\":\"secretKeyValue\",\"sts-token\":\"stsTokenValue\"}"
  • Sans jeton STS :
--password "secretKeyValue"

Releases

Date

Plugin
Version

DataGalaxy
release

Desktop Connector
version (minimum)

Description

18/06/20264.0.5v3.358.05.16.1Fixed some security vulnerabilities
19/09/20244.0.2v3.77.05.2.11Fixed a bug where online connections were systematically failing

16/07/2024

4.0.1

v3.59.0

5.0.1

Migrated from java 11 to java 17


Cette réponse a-t-elle été utile ? Oui Non

Envoyer vos commentaires
Désolés de n'avoir pu vous être utile. Aidez-nous à améliorer cet article en nous faisant part de vos commentaires.