Strategy ONE
Ab MicroStrategy 2021 Update 4 wird Hadoop Gateway nicht mehr unterstützt.
Häufig gestellte Fragen (FAQ)
Mithilfe der folgenden Tabelle können Sie die empfohlenen Einstellungen basierend auf der Anzahl der Arbeitsknoten, des RAM und der virtuellen Kerne in jedem Knoten sowie der Anzahl der jedem Arbeitsknoten zuzuweisenden Executoren berechnen.
| Empfohlene Leistungsparameter für den YARN-Clientmodus | |||||
|---|---|---|---|---|---|
|
ID |
Artikel |
Parameter |
Formel |
Wert |
Beschreibung |
|
C1 |
Anzahl der Knoten |
|
|
2 |
Verfügbar in Ihrer Hardware |
|
C2 |
RAM pro Knoten (GB) |
|
|
380 |
Verfügbar in Ihrer Hardware |
|
C3 |
VCores pro Knoten |
|
|
40 |
Verfügbar in Ihrer Hardware |
|
C4 |
Gesamtzahl der VCores |
|
C1 × C3 |
80 |
|
|
S1 |
Zugewiesene Testamentsvollstrecker |
|
S1 = S2 × C1 |
48 |
|
|
S2 |
Executoren pro Knoten |
spark.executor.cores |
|
6 |
Anzahl der Executors, die jedem Worker-Knoten zugewiesen werden sollen |
|
S3 |
Maximaler Speicher pro Executor (GB) |
|
S3 = C2/S2 |
63 |
|
|
H1 |
Gemeinkosten (GB) |
|
H1 = S3 x 0,07 |
4 |
Vom Betriebssystem verwendeter Overhead-Speicher. Der Standardwert beträgt 0,07 × Spark.Executor.Memory |
|
H2 |
Anzahl der Testamentsvollstrecker |
spark.executor.instance |
H2 = S1 - 1 |
47 |
Gesamtzahl der im Cluster erstellten Executoren. Ein Knoten muss einen Executor für AM belegen. |
|
H3 |
Speicher pro Executor (GB) |
spark.executor.speicher |
H3 = S3 - H1 |
59 |
Das Ausführen von Executoren mit zu viel Speicher führt häufig zu übermäßigen Verzögerungen bei der Garbage Collection. 64 GB sind eine grobe Schätzung und eine gute Obergrenze für einen einzelnen Executor. |
|
H4 |
Kerne pro Executor |
|
H4 = (C3 / S2) - 1 |
6 |
Lassen Sie 1 Kern für Systemprozesse frei |
Ja, MicroStrategy Hadoop Gateway unterstützt die Freigabe von Clusterressourcen, während sich der Dienst im Leerlauf befindet. Sie müssen die MicroStrategy Hadoop Gateway-Executoren und -Kerne als dynamisch zugewiesen konfigurieren, um dieses Verhalten zu aktivieren. Ändern Sie die Konfigurationsdatei des MicroStrategy Hadoop Gateway < Installationspfad für das MicroStrategy Hadoop Gateway>/conf/hgos-spark.properties, und kommentieren Sie den Abschnitt zur dynamischen Zuordnung aus.
Ja, MicroStrategy Hadoop Gateway unterstützt seitdem Live Connect Cube Strategy 10.9. Zur Aktivierung ist keine zusätzliche Konfiguration erforderlich.
Die Mindestvoraussetzung für das MicroStrategy Hadoop Gateway beträgt 256 MB Festplattenspeicher und 2 GB Arbeitsspeicher.
MicroStrategy Hadoop Gateway startet keine zusätzlichen Prozesse auf einem NameNode oder DataNode. MicroStrategy Hadoop Gateway übermittelt den Auftrag nur an Spark.
Die DataNode-Speicherauslastung hängt von der Anzahl ab, die vom Kunden für das Attribut der Datei festgelegt wurde Spark.Executor.Memory in der Konfigurationsdatei (standardmäßig 1 GB). In der Zwischenzeit wird die Speichernutzung des NameNode nicht wesentlich beeinträchtigt.
Beim Start von MicroStrategy Hadoop Gateway werden einige JAR-Dateien zu HDFS in hochgeladen hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging. Standardmäßig sind die Dateien in SparkStaging werden automatisch gelöscht, sobald der MicroStrategy Hadoop Gateway-Dienst heruntergefahren wird.
Die Gesamtgröße der JAR-Dateien wird 256 MB nicht überschreiten.
Nein, das MicroStrategy Hadoop Gateway aktualisiert das Kerberos-Prinzipal-Ticket nicht automatisch. Sie müssen sie aktualisieren, indem Sie ausführen kinit -Befehl oder beim Erstellen eines Cron-Jobs, um das Ticket planmäßig zu aktualisieren.
Eine Schablone für kinit_cron.sh:
function setup_kerberos() {
echo "klist:"
klist
echo "KRB5CCNAME env:"
export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
echo $KRB5CCNAME
echo "kinit"
kinit -kt $keytab_path $principal_name -l 1d5h -r 2d -f
echo "klist"
klist
}
setup_kerberos
Um einen Cron-Job einzuplanen, führen Sie Folgendes aus:
root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.sh
Ja, MicroStrategy Hadoop Gateway unterstützt HDFS ACL von Apache Sentry und es ist keine zusätzliche Konfiguration erforderlich. Im Video unten sehen Sie, wie MicroStrategy Hadoop Gateway mit Apache Sentry funktioniert.
Nein. MicroStrategy Hadoop Gateway basiert auf Spark 1.6 und kann nur in einer Spark 1.6-Umgebung bereitgestellt werden. Wir arbeiten an der Veröffentlichung von MicroStrategy Hadoop Gateway auf Spark 2.
Weitere Themen
Einführung in das MicroStrategy Hadoop Gateway
Anleitung zum Bereitstellen des MicroStrategy Hadoop Gateway
Anleitung zum Starten von MicroStrategy Hadoop Gateway
