Preguntas frecuentes

La siguiente tabla ayuda a calcular la configuración recomendada en función de la cantidad de nodos de trabajo, RAM y núcleos virtuales en cada nodo, y la cantidad de ejecutores que se asignarán en cada nodo de trabajo.

Sí, MicroStrategy Hadoop Gateway admite la liberación de recursos de clúster mientras el servicio está inactivo. Para habilitar este comportamiento, deberá configurar los núcleos y los ejecutores de la puerta de enlace de MicroStrategy Hadoop como asignados dinámicamente. Modifique el archivo de configuración de la puerta de enlace de MicroStrategy Hadoop < Ruta de instalación de MicroStrategy Hadoop Gateway>/conf/hgos-spark.properties y elimine los comentarios de la sección de asignación dinámica.

Sí, MicroStrategy Hadoop Gateway es compatible con el cubo de conexión en vivo desde Strategy 10.9. No se requiere ninguna configuración adicional para habilitarlo.

Los requisitos mínimos para la puerta de enlace de MicroStrategy Hadoop son 256 MB de espacio en disco y 2 GB de memoria.

MicroStrategy Hadoop Gateway no iniciará ningún proceso extra en un NameNode o DataNode. MicroStrategy Hadoop Gateway acaba de enviar el trabajo a Spark.

El uso de la memoria del Nodo de Datos depende del número establecido por el cliente para el archivo de atributos spark.executor.memory en el archivo de configuración (por defecto, 1 GB). Mientras tanto, el uso de la memoria de NameNode no se verá afectado significativamente.

Cuando se inicia MicroStrategy Hadoop Gateway, algunos archivos JAR se cargan en HDFS para hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging. Por defecto, los archivos de sparkStaging se eliminará automáticamente una vez que se cierre el servicio MicroStrategy Hadoop Gateway.

El tamaño total de los archivos JAR no superará los 256 MB.

No, MicroStrategy Hadoop Gateway no actualizará el ticket de principal de Kerberos automáticamente. Tendrá que actualizarlo ejecutando la kinit o creando un trabajo cron para actualizar el ticket según la planificación.

Una plantilla para kinit_cron.sh:

function setup_kerberos() {
        echo "klist:"
        klist
 
echo "KRB5CCNAME env:"
        export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
        echo $KRB5CCNAME
 
        echo "kinit"
        kinit -kt  $keytab_path $principal_name -l 1d5h -r 2d -f
 
        echo "klist"
        klist
}
setup_kerberos

Para programar un trabajo cron, ejecute:

root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.sh

Sí, MicroStrategy Hadoop Gateway es compatible con HDFS ACL de Apache Sentry y no requiere configuración adicional. En el vídeo a continuación se muestra cómo funciona MicroStrategy Hadoop Gateway con Apache Sentry.

No. MicroStrategy Hadoop Gateway se basa en Spark 1.6 y solo es apto para implementarse en un entorno de Spark 1.6. Estamos trabajando para lanzar MicroStrategy Hadoop Gateway en Spark 2.