Perguntas frequentes

A tabela abaixo ajuda a calcular as configurações recomendadas com base no número de nós de trabalho, RAM e núcleos virtuais em cada nó e no número de executores a serem alocados em cada nó de trabalho.

Sim, MicroStrategy Hadoop Gateway oferece suporte à liberação de recursos de cluster enquanto o serviço está ocioso. Você terá que configurar o MicroStrategy Hadoop Gateway executores e núcleos alocados dinamicamente para permitir esse comportamento. Modifique o MicroStrategy Hadoop Gateway arquivo de configuração <MicroStrategy Hadoop Gateway caminho de instalação>/conf/hgos-spark.propertiese remova o comentário da seção de alocação dinâmica.

Sim, MicroStrategy Hadoop Gateway suporta Live Connect Cube desde Strategy 10.9. Não há nenhuma configuração extra necessária para habilitá-lo.

O requisito mínimo para o MicroStrategy Hadoop Gateway tem 256 MB de espaço em disco e 2 GB de memória.

MicroStrategy Hadoop Gateway não iniciará nenhum processo extra em um NameNode ou DataNode. MicroStrategy Hadoop Gateway apenas envia o trabalho para o Spark.

O uso de memória do DataNode depende do número definido pelo cliente para atribuir o arquivo spark.executor.memory no arquivo de configuração (por padrão, é 1 GB). Enquanto isso, o uso de memória do NameNode não será significativamente afetado.

Quando MicroStrategy Hadoop Gateway iniciar, alguns arquivos JAR serão carregados no HDFS para hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging. Por padrão, os arquivos em sparkStaging será excluído automaticamente uma vez MicroStrategy Hadoop Gateway o serviço está encerrado.

O tamanho total dos arquivos JAR não será maior que 256 MB.

Não, MicroStrategy Hadoop Gateway não atualizará o ticket principal do Kerberos automaticamente. Você terá que atualizá-lo executando o Kinit comando ou criando um cron job para atualizar o ticket dentro do cronograma.

Um modelo para kinit_cron.sh:

function setup_kerberos() {
        echo "klist:"
        klist
 
echo "KRB5CCNAME env:"
        export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
        echo $KRB5CCNAME
 
        echo "kinit"
        kinit -kt  $keytab_path $principal_name -l 1d5h -r 2d -f
 
        echo "klist"
        klist
}
setup_kerberos

Para agendar um cron job, execute:

root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.sh

Sim, MicroStrategy Hadoop Gateway suporta HDFS ACL do Apache Sentry e nenhuma configuração extra é necessária. Veja no vídeo abaixo como MicroStrategy Hadoop Gateway funciona com Apache Sentry.

Não. MicroStrategy Hadoop Gateway é construído no Spark 1.6 e qualificado apenas para implantação em um ambiente Spark 1.6. Estamos trabalhando para liberar MicroStrategy Hadoop Gateway no Spark 2.