MicroStrategy ONE

Aktivieren Sie Hadoop Gateway zur Unterstützung von Nameode High Availability

In MicroStrategy 10.10 und höher bietet Hadoop Gateway Unterstützung für Namenode High Availability. Es ist nicht mehr notwendig, Dateien mit Hadoop WebHDFS zu durchsuchen. Die HDFS-Kataloginformationen werden über Hadoop Gateway statt über WebHDFS abgerufen.

Durchsuchen von HDFS über Hadoop Gateway

Wenden Sie sich an Ihren Hadoop-Administrator, um den Nameservice für Hadoop Nameode High Availability, die Hadoop-Nameode-IP-Adresse und die HDFS-Port-Nummer zu beziehen, bevor Sie mit den folgenden Schritten beginnen.

  1. Klicken Sie im Dialogfeld Zu Hadoop verbinden auf Verbindung ändern.

  2. Aktivieren Sie im Dialogfeld Datenquelle das Kontrollkästchen Verbindungszeichenkette bearbeiten.

  3. Für einen einzelnen Namenode:

    Stellen Sie sicher, dass der Hadoop-Nameode-IP / Host- und HDFS-Port in der Verbindungszeichenfolge korrekt konfiguriert ist, wie dies im vorangegangenen Beispiel gezeigt wird.

    Für Hadoop High Namenode High Availability:

    Fügen Sie das Attribut hadoopNameService und das Nameservice-Tag an das Ende der Verbindungszeichenkette an.

    Beispiel: Wenn das High Availiabilty-Tag nameservice1 lautet, sollte die Verbindungszeichenkette folgendermaßen aussehen:

    hadoopName = 10.242.109.2; hdfsPort = 8020;

    BDEIP=10.242.109.10;BDEPORT=10109;hadoopNameService=nameservice1;

  4. Klicken Sie auf OK.

Security

Hadoop Gateway stellt die HTTP-Protokollschnittstelle für HDFS-Suchvorgänge zur Verfügung (ab MicroStrategy ONE). HTTPS wird nicht unterstützt.

HDFS-Suchvorgänge über Hadoop Gateway unterstützen mit Kerberos authentifizierte Cluster. Ein separater Kerberos-Prinzipalname für Intelligence Server ist nicht mehr erforderlich. Nachdem Hadoop Gateway in einem mit Kerberos authentifizierten Cluster konfiguriert und erfolgreich gestartet wurde, ist Intelligence Server automatisch in der Lage, HDFS über Hadoop Gateway zu durchsuchen. Die gesamte Zugriffssteuerung erfolgt über Hadoop Gateway.

Hadoop Gateway muss in einem Proxyknoten in einem Cluster mit Kerberos-Authentifizierung bereitgestellt werden. Gesicherte Cluster können nicht durchsucht werden, Hadoop Gateway außerhalb des Clusters eingerichtet wurde.

Problembehebung

  • HDFS-Suchvorgänge werden über Hadoop Gateway statt über Intelligence Server ausgeführt. Stellen Sie sicher, dass Hadoop Gateway vor dem Suchvorgang gestartet wird.
  • Hadoop Gateway stellt für HDFS-Suchvorgänge eine HTTP RESTful API auf Port 4020 zur Verfügung. Dieser Port muss daher auf dem Computer, auf dem Hadoop Gateway eingerichtet wird, geöffnet sein.
  • Wenn die Verbindungszeichenkette sowohl hadoopName als auch hadoopNameService enthält, Nutzt Hadoop Gateway für den Zugriff auf den Cluster standardmäßig den Wert hadoopNameService.
  • All Attributnamen and -werte in der Verbindungszeichenkette beachten die Groß-/Kleinschreibung.