MicroStrategy ONE
A partire da MicroStrategy 2021 Update 4, Hadoop Gateway non è più supportato.
Domande frequenti
La tabella seguente aiuta a calcolare le impostazioni consigliate in base al numero di nodi funzionanti, RAM e core virtuali in ciascun nodo e al numero di esecutori da allocare su ciascun nodo di lavoro.
| Parametri prestazionali consigliati per la modalità client YARN | |||||
|---|---|---|---|---|---|
|
ID |
Articolo |
Parametro |
Formula |
Valore |
Descrizione |
|
C1 |
Numero di nodi |
|
|
2 |
Disponibile nel tuo hardware |
|
C2 |
RAM per nodo (GB) |
|
|
380 |
Disponibile nel tuo hardware |
|
C3 |
VCore per nodo |
|
|
40 |
Disponibile nel tuo hardware |
|
C4 |
Numero totale di VCore |
|
C1×C3 |
80 |
|
|
S1 |
Esecutori assegnati |
|
S1 = S2 × C1 |
48 |
|
|
S2 |
Esecutori per nodo |
spark.executor.cores |
|
6 |
Numero di esecutori da allocare su ciascun nodo di lavoro |
|
S3 |
Memoria massima per esecutore (GB) |
|
S3 = C2/S2 |
63 |
|
|
H1 |
Spese generali (GB) |
|
H1 = S3x0,07 |
4 |
Memoria in eccesso utilizzata dal sistema operativo. Il valore predefinito è 0,07 × spark.executor.memory |
|
H2 |
Numero di esecutore testamentario |
spark.executor.istanza |
H2 = S1-1 |
47 |
Numero totale di esecutori creati nel cluster. Un nodo deve occupare un esecutore per AM. |
|
H3 |
Memoria per esecutore (GB) |
spark.executor.memory |
H3 = S3-H1 |
59 |
L'esecuzione di esecutori con troppa memoria spesso comporta ritardi eccessivi nella raccolta dei rifiuti. 64 GB sono una stima approssimativa di un buon limite superiore per un singolo esecutore. |
|
H4 |
Core per esecutore |
|
H4 = (C3/S2) - 1 |
6 |
Lascia 1 core per i processi di sistema |
Sì, MicroStrategy Hadoop Gateway supporta il rilascio di risorse cluster quando il servizio è inattivo. Per abilitare questo comportamento, sarà necessario configurare gli executor e i core di MicroStrategy Hadoop Gateway come allocati dinamicamente. Modificare il file di configurazione di MicroStrategy Hadoop Gateway < Percorso di installazione di MicroStrategy Hadoop Gateway>/conf/hgos-spark.properties e rimuovere il commento dalla sezione di allocazione dinamica.
Sì, dal momento che MicroStrategy Hadoop Gateway supporta Live Connect Cube MicroStrategy 10.9. Non è richiesta alcuna configurazione aggiuntiva per abilitarlo.
Il requisito minimo per MicroStrategy Hadoop Gateway è 256 MB di spazio su disco e 2 GB di memoria.
MicroStrategy Hadoop Gateway non avvia alcun processo aggiuntivo su un NameNode o un DataNode. MicroStrategy Hadoop Gateway ha appena inviato il processo a Spark.
L'utilizzo della memoria del DataNode dipende dal numero impostato dal cliente nel file di attributo spark.executor.memory nel file di configurazione (per impostazione predefinita è 1 GB). Nel frattempo, l'utilizzo della memoria del NameNode non sarà influenzato in modo significativo.
All'avvio di MicroStrategy Hadoop Gateway, alcuni file JAR verranno caricati su HDFS in hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging. Per impostazione predefinita, i file in sparkStaging verrà eliminato automaticamente alla chiusura del servizio MicroStrategy Hadoop Gateway.
La dimensione totale dei file JAR non sarà superiore a 256 MB.
No, MicroStrategy Hadoop Gateway non aggiornerà automaticamente il ticket principale Kerberos. Sarà necessario aggiornarlo eseguendo il kinit o creando un processo cron per aggiornare il ticket nei tempi previsti.
Un modello per kinit_cron.sh:
function setup_kerberos() {
echo "klist:"
klist
echo "KRB5CCNAME env:"
export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
echo $KRB5CCNAME
echo "kinit"
kinit -kt $keytab_path $principal_name -l 1d5h -r 2d -f
echo "klist"
klist
}
setup_kerberosPer pianificare un processo cron, esegui:
root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.shSì, MicroStrategy Hadoop Gateway supporta HDFS ACL di Apache Sentry e non è richiesta alcuna configurazione aggiuntiva. Nel video seguente viene illustrata l'interazione tra MicroStrategy Hadoop Gateway e Apache Sentry.
N. MicroStrategy Hadoop Gateway è basato su Spark 1.6 ed è idoneo per la distribuzione solo in un ambiente Spark 1.6. È in corso il rilascio di MicroStrategy Hadoop Gateway su Spark 2.
Argomenti correlati
Introduzione a MicroStrategy Hadoop Gateway
Come distribuire MicroStrategy Hadoop Gateway
Come avviare MicroStrategy Hadoop Gateway