Einführung in das MicroStrategy Hadoop Gateway

Annahmen

• Dieses Dokument ist nur anspruchsberechtigt für Strategy MicroStrategy Hadoop Gateway 10.11 und spätere Versionen. Frühere Versionen werden nicht vollständig abgedeckt.
• Die Versionsnummern von Intelligence Server und MicroStrategy Hadoop Gateway müssen identisch sein. Andernfalls können die Datendateien möglicherweise nicht erfolgreich importiert werden.
• Siehe die Zertifizierungs-Dossier für eine Liste zertifizierter Gateways.

• Beginnend mit Strategy 10.11, MicroStrategy Hadoop Gateway wird gestartet mit Spark-Submit.

  Die Anwendung erkennt Hadoop- und Java-Abhängigkeiten und löst sie automatisch auf. Strategy bietet auch eine automatische Bereitstellung über MicroStrategy Hadoop Gateway Manager. Siehe MicroStrategy Community für weitere Einzelheiten.

Einführung

MicroStrategy Hadoop Gateway ist eine neue Datenverarbeitungs-Engine, die in eingeführt wurde Strategy 10.6, die in einer Spark-Umgebung installiert werden kann. Dieser native Konnektor ermöglicht die Analyse von Daten in Hadoop und bietet eine parallele Hochgeschwindigkeits-Datenübertragung zwischen dem Hadoop Distributed File System (HDFS) und dem MicroStrategy Intelligence Server.

MicroStrategy Hadoop Gateway ist ein nativer Konnektor, der auf Basis von Spark 1.6.x erstellt wurde. Sie können eine oder mehrere Datendateien aus Hadoop HDFS auswählen und in den MicroStrategy Intelligence Server laden. Datendateien können entweder als In-Memory-Cube oder als Live Connect-Cube veröffentlicht werden.

MicroStrategy Hadoop Gateway unterstützt drei Betriebsmodi:

• YARN-Client
• Standalone (HDP-Cluster unterstützt kein Standalone)
• Lokal

Im YARN-Clientmodus wird der Treiber im Clientprozess ausgeführt und der Anwendungsmaster wird nur zum Anfordern von Ressourcen von YARN verwendet. Für die Ausführung in diesem Modus muss der YARN-Dienst auf Ihrem Hadoop-Cluster aktiviert sein.

Im eigenständigen Modus verwendet MicroStrategy Hadoop Gateway Spark Master zum Koordinieren der Datenverarbeitung.

Im lokalen Modus wird keine Anwendung in den Spark-Knoten bereitgestellt. Die gesamte Datenverarbeitung wird auf dem MicroStrategy Hadoop Gateway-Host ausgeführt. Diese Modalität ist zum Testen und zur Fehlerbehebung vorgesehen.

Weitere Themen

Überlegungen zur Umgebung

Anleitung zum Bereitstellen des MicroStrategy Hadoop Gateway

Anleitung zum Starten von MicroStrategy Hadoop Gateway

Anleitung zum Registrieren des MicroStrategy Hadoop Gateway

Problembehebung

Bekannte Probleme

Häufig gestellte Fragen (FAQ)