Hadoop Gateway für Namenode High Availability aktivieren

In MicroStrategy 10.10 und höher bietet Hadoop Gateway Unterstützung für Namenode High Availability. Es ist nicht mehr notwendig, Dateien mit Hadoop WebHDFS zu durchsuchen. Die HDFS-Kataloginformationen werden über Hadoop Gateway statt über WebHDFS abgerufen.

Durchsuchen von HDFS über Hadoop Gateway

Wenden Sie sich an Ihren Hadoop-Administrator, um den Nameservice für Hadoop Namenode High Availability, die Hadoop Namenode-IP-Adresse und die HDFS-Port-Nummer zu erhalten, bevor Sie die folgenden Schritte ausführen.

1. Klicken Sie im Dialogfeld Zu Hadoop verbinden auf Verbindung ändern.

   

2. Aktivieren Sie im Dialogfeld Datenquelle das Kontrollkästchen Verbindungszeichenkette bearbeiten.

   

3. Für einen einzelnen Namenode:

   Stellen Sie sicher, dass Hadoop Namenode IP/Host und HDFS-Port in der Verbindungszeichenfolge korrekt konfiguriert sind, wie im obigen Beispiel gezeigt.

   Für Hadoop High Namenode High Availability:

   Attribut hinzufügen hadoopNameService und den Tag nameservice ans Ende der Verbindungszeichenfolge.

   Wenn das Tag für hohe Verfügbarkeit beispielsweise nameservice1 die Verbindungszeichenfolge sollte wie folgt aussehen:

   hadoopName=10.242.109.2;hdfsPort=8020;

   BDEIP=10.242.109.10;BDEPORT=10109;hadoopNameService=nameservice1;

4. Klicken Sie auf OK.

Security

Hadoop Gateway stellt die HTTP-Protokollschnittstelle für HDFS-Suchvorgänge zur Verfügung (ab MicroStrategy 2021). HTTPS wird nicht unterstützt.

HDFS-Suchvorgänge über Hadoop Gateway unterstützen mit Kerberos authentifizierte Cluster. Ein separater Kerberos-Prinzipalname für Intelligence Server ist nicht mehr erforderlich. Nachdem Hadoop Gateway in einem mit Kerberos authentifizierten Cluster konfiguriert und erfolgreich gestartet wurde, ist Intelligence Server automatisch in der Lage, HDFS über Hadoop Gateway zu durchsuchen. Die gesamte Zugriffssteuerung erfolgt über Hadoop Gateway.

Hadoop Gateway muss in einem Proxyknoten in einem Cluster mit Kerberos-Authentifizierung bereitgestellt werden. Gesicherte Cluster können nicht durchsucht werden, Hadoop Gateway außerhalb des Clusters eingerichtet wurde.

Problembehebung

• HDFS-Suchvorgänge werden über Hadoop Gateway statt über Intelligence Server ausgeführt. Stellen Sie sicher, dass Hadoop Gateway vor dem Suchvorgang gestartet wird.
• Hadoop Gateway stellt eine HTTP RESTful API auf port 4020 für HDFS-Browsing, daher muss der Port auf dem Computer geöffnet sein, auf dem das Hadoop-Gateway bereitgestellt wird.
• Wenn beide hadoopName und hadoopNameService werden in der Verbindungszeichenfolge bereitgestellt. Hadoop Gateway verwendet hadoopNameService Wert standardmäßig für den Zugriff auf das Cluster.
• All Attributnamen and -werte in der Verbindungszeichenkette beachten die Groß-/Kleinschreibung.