Häufig gestellte Fragen (FAQ)

Mithilfe der folgenden Tabelle können Sie die empfohlenen Einstellungen basierend auf der Anzahl der Arbeitsknoten, des RAM und der virtuellen Kerne in jedem Knoten sowie der Anzahl der jedem Arbeitsknoten zuzuweisenden Executoren berechnen.

Ja, MicroStrategy Hadoop Gateway unterstützt die Freigabe von Clusterressourcen, während sich der Dienst im Leerlauf befindet. Sie müssen die MicroStrategy Hadoop Gateway-Executoren und -Kerne als dynamisch zugewiesen konfigurieren, um dieses Verhalten zu aktivieren. Ändern Sie die Konfigurationsdatei des MicroStrategy Hadoop Gateway < Installationspfad für das MicroStrategy Hadoop Gateway>/conf/hgos-spark.properties, und kommentieren Sie den Abschnitt zur dynamischen Zuordnung aus.

Ja, MicroStrategy Hadoop Gateway unterstützt seitdem Live Connect Cube Strategy 10.9. Zur Aktivierung ist keine zusätzliche Konfiguration erforderlich.

Die Mindestvoraussetzung für das MicroStrategy Hadoop Gateway beträgt 256 MB Festplattenspeicher und 2 GB Arbeitsspeicher.

MicroStrategy Hadoop Gateway startet keine zusätzlichen Prozesse auf einem NameNode oder DataNode. MicroStrategy Hadoop Gateway übermittelt den Auftrag nur an Spark.

Die DataNode-Speicherauslastung hängt von der Anzahl ab, die vom Kunden für das Attribut der Datei festgelegt wurde Spark.Executor.Memory in der Konfigurationsdatei (standardmäßig 1 GB). In der Zwischenzeit wird die Speichernutzung des NameNode nicht wesentlich beeinträchtigt.

Beim Start von MicroStrategy Hadoop Gateway werden einige JAR-Dateien zu HDFS in hochgeladen hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging. Standardmäßig sind die Dateien in SparkStaging werden automatisch gelöscht, sobald der MicroStrategy Hadoop Gateway-Dienst heruntergefahren wird.

Die Gesamtgröße der JAR-Dateien wird 256 MB nicht überschreiten.

Nein, das MicroStrategy Hadoop Gateway aktualisiert das Kerberos-Prinzipal-Ticket nicht automatisch. Sie müssen sie aktualisieren, indem Sie ausführen kinit -Befehl oder beim Erstellen eines Cron-Jobs, um das Ticket planmäßig zu aktualisieren.

Eine Schablone für kinit_cron.sh:

function setup_kerberos() {
        echo "klist:"
        klist
 
echo "KRB5CCNAME env:"
        export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
        echo $KRB5CCNAME
 
        echo "kinit"
        kinit -kt  $keytab_path $principal_name -l 1d5h -r 2d -f
 
        echo "klist"
        klist
}
setup_kerberos

Um einen Cron-Job einzuplanen, führen Sie Folgendes aus:

root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.sh

Ja, MicroStrategy Hadoop Gateway unterstützt HDFS ACL von Apache Sentry und es ist keine zusätzliche Konfiguration erforderlich. Im Video unten sehen Sie, wie MicroStrategy Hadoop Gateway mit Apache Sentry funktioniert.

Nein. MicroStrategy Hadoop Gateway basiert auf Spark 1.6 und kann nur in einer Spark 1.6-Umgebung bereitgestellt werden. Wir arbeiten an der Veröffentlichung von MicroStrategy Hadoop Gateway auf Spark 2.