Activer la passerelle Hadoop pour prendre en charge la haute disponibilité des nœuds nommés

Hadoop Gateway peut prendre en charge la haute disponibilité du nœud de nom de Hadoop à partir de MicroStrategy 10.10 et versions ultérieures. Il n’est plus nécessaire de rechercher des fichiers avec WebHDFS Hadoop. Les informations du catalogue HDFS sont extraites via Hadoop Gateway plutôt que WebHDFS.

Parcourir HDFS via Hadoop Gateway

Contactez votre administrateur Hadoop pour obtenir le service de noms pour Hadoop Namenode High Availability, l'adresse IP de Hadoop Namenode et le numéro de port HDFS avant de commencer les étapes ci-dessous.

1. Dans la boîte de dialogue Se connecter à Hadoop, cliquez sur Changement de connexion.

   

2. Dans la boîte de dialogue Source de données, activez la case à cocher Modifier la chaîne de connexion.

   

3. Pour un seul Namenode :

   Assurez-vous que l'adresse IP/l'hôte Hadoop Namenode et le port HDFS sont correctement configurés dans la chaîne de connexion, comme indiqué dans l'exemple ci-dessus.

   Pour la haute disponibilité du nœud de nom Hadoop :

   Ajouter l'attribut hadoopNameService et la balise nameservice à la fin de la chaîne de connexion.

   Par exemple, si la balise Haute disponibilité est nameservice1 la chaîne de connexion doit apparaître comme suit :

   hadoopName=10.242.109.2;hdfsPort=8020;

   BDEIP=10.242.109.10;BDEPORT=10109;hadoopNameService=nameservice1;

4. Cliquez sur OK.

Sécurité

Hadoop Gateway expose l'interface du protocole HTTP pour l'exploration de HDFS à partir de MicroStrategy 2021 et HTTPS n'est pas pris en charge.

Parcourir HDFS via Hadoop Gateway peut prendre en charge le cluster authentifié par Kerberos. Un nom principal Kerberos distinct pour Intelligence Server n’est plus requis. Une fois que Hadoop Gateway est configuré dans un cluster authentifié par Kerberos et lancé avec succès, Intelligence Server peut parcourir HDFS via Hadoop Gateway automatiquement. Tout le contrôle d’accès sera géré par Hadoop Gateway.

Hadoop Gateway doit être déployé sur un nœud proxy dans un cluster qui utilise l’authentification Kerberos. Un cluster sécurisé ne peut pas être exploré si Hadoop Gateway est déployé à l’extérieur du cluster.

Résolution des problèmes

• L'exploration HDFS est effectuée par Hadoop Gateway plutôt que par Intelligence Server. Assurez-vous que Hadoop Gateway est lancé avant l'exploration.
• Hadoop Gateway expose une API HTTP RESTful sur port 4020 pour la navigation HDFS, le port doit donc être ouvert sur la machine qui déploie Hadoop Gateway.
• Si les deux hadoopName et hadoopNameService sont fournis dans la chaîne de connexion. Hadoop Gateway utilisera hadoopNameService valeur par défaut pour accéder au cluster.
• Tous les noms d’attributs et toutes les valeurs d’attributs sont sensibles à la casse dans la chaîne de connexion.