Strategy ONE
Começando em MicroStrategy Atualização 4 de 2021, Hadoop Gateway não é mais suportado.
Perguntas frequentes
A tabela abaixo ajuda a calcular as configurações recomendadas com base no número de nós de trabalho, RAM e núcleos virtuais em cada nó e no número de executores a serem alocados em cada nó de trabalho.
| Parâmetros de desempenho recomendados para o modo cliente YARN | |||||
|---|---|---|---|---|---|
|
Código |
Item |
Parâmetro |
Fórmula |
Valor |
Descrição |
|
C1 |
Número de nó |
|
|
2 |
Disponível em seu hardware |
|
C2 |
RAM por nó (GB) |
|
|
380 |
Disponível em seu hardware |
|
C3 |
VCores por nó |
|
|
40 |
Disponível em seu hardware |
|
C4 |
Número total de VCores |
|
C1 × C3 |
80 |
|
|
S1 |
Executores alocados |
|
S1 = S2 × C1 |
48 |
|
|
S2 |
Executores por nó |
spark.executor.cores |
|
6 |
Número de executores a serem alocados em cada nó de trabalho |
|
S3 |
Memória máxima por executor (GB) |
|
S3 = C2/S2 |
63 |
|
|
H1 |
Despesas gerais (GB) |
|
H1 = S3 x 0,07 |
4 |
Memória complementar usada pelo sistema operacional. O padrão é 0,07 × spark.executor.memory |
|
H2 |
Número de executor |
spark.executor.instance |
H2 = S1 - 1 |
47 |
Número total de executores criados no cluster. Um nó precisa ocupar um executor para AM. |
|
H3 |
Memória por executor (GB) |
spark.executor.memory |
H3 = S3 - H1 |
59 |
A execução de executores com muita memória geralmente resulta em atrasos excessivos na coleta de lixo. 64 GB é uma estimativa aproximada de um bom limite superior para um único executor. |
|
H4 |
Núcleos por executor |
|
H4 = (C3/S2) - 1 |
6 |
Deixe 1 núcleo para processos do sistema |
Sim, MicroStrategy Hadoop Gateway oferece suporte à liberação de recursos de cluster enquanto o serviço está ocioso. Você terá que configurar o MicroStrategy Hadoop Gateway executores e núcleos alocados dinamicamente para permitir esse comportamento. Modifique o MicroStrategy Hadoop Gateway arquivo de configuração <MicroStrategy Hadoop Gateway caminho de instalação>/conf/hgos-spark.propertiese remova o comentário da seção de alocação dinâmica.
Sim, MicroStrategy Hadoop Gateway suporta Live Connect Cube desde Strategy 10.9. Não há nenhuma configuração extra necessária para habilitá-lo.
O requisito mínimo para o MicroStrategy Hadoop Gateway tem 256 MB de espaço em disco e 2 GB de memória.
MicroStrategy Hadoop Gateway não iniciará nenhum processo extra em um NameNode ou DataNode. MicroStrategy Hadoop Gateway apenas envia o trabalho para o Spark.
O uso de memória do DataNode depende do número definido pelo cliente para atribuir o arquivo spark.executor.memory no arquivo de configuração (por padrão, é 1 GB). Enquanto isso, o uso de memória do NameNode não será significativamente afetado.
Quando MicroStrategy Hadoop Gateway iniciar, alguns arquivos JAR serão carregados no HDFS para hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging. Por padrão, os arquivos em sparkStaging será excluído automaticamente uma vez MicroStrategy Hadoop Gateway o serviço está encerrado.
O tamanho total dos arquivos JAR não será maior que 256 MB.
Não, MicroStrategy Hadoop Gateway não atualizará o ticket principal do Kerberos automaticamente. Você terá que atualizá-lo executando o Kinit comando ou criando um cron job para atualizar o ticket dentro do cronograma.
Um modelo para kinit_cron.sh:
function setup_kerberos() {
echo "klist:"
klist
echo "KRB5CCNAME env:"
export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
echo $KRB5CCNAME
echo "kinit"
kinit -kt $keytab_path $principal_name -l 1d5h -r 2d -f
echo "klist"
klist
}
setup_kerberos
Para agendar um cron job, execute:
root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.sh
Sim, MicroStrategy Hadoop Gateway suporta HDFS ACL do Apache Sentry e nenhuma configuração extra é necessária. Veja no vídeo abaixo como MicroStrategy Hadoop Gateway funciona com Apache Sentry.
Não. MicroStrategy Hadoop Gateway é construído no Spark 1.6 e qualificado apenas para implantação em um ambiente Spark 1.6. Estamos trabalhando para liberar MicroStrategy Hadoop Gateway no Spark 2.
Tópicos relacionados
Introdução ao MicroStrategy Hadoop Gateway
Considerações sobre o ambiente
Como implantar o MicroStrategy Hadoop Gateway
Como iniciar o MicroStrategy Hadoop Gateway
