Strategy ONE
A partir de MicroStrategy 2021 Actualización 4, Hadoop Gateway ya no es compatible.
Introducción a MicroStrategy Hadoop Gateway
Suposiciones
- Este documento solo es apto para Strategy MicroStrategy Hadoop Gateway 10.11 y versiones posteriores. Las versiones anteriores no están completamente cubiertas.
- Los números de versión de Intelligence Server y la puerta de enlace de MicroStrategy Hadoop deben ser idénticos. De lo contrario, es posible que los archivos de datos no se importen correctamente.
- Ver la Panel de certificación para obtener una lista de las puertas de enlace certificadas.
-
Empezando por Strategy 10.11, MicroStrategy Hadoop Gateway se lanzará con spark-submit.
La aplicación detecta dependencias de Hadoop y Java y las resuelve automáticamente. Strategy también proporciona implementación automática a través de MicroStrategy Hadoop Gateway Manager. Hacer referencia a MicroStrategy Community para obtener más detalles.
Introducción
MicroStrategy Hadoop Gateway es un nuevo motor de procesamiento de datos que se presentó en Strategy 10.6, que se puede instalar en un entorno de Spark. Este conector nativo permite el análisis de datos en Hadoop y proporciona una transferencia de datos paralela de alta velocidad entre el sistema de archivos distribuido (HDFS) de Hadoop y MicroStrategy Intelligence Server.
MicroStrategy Hadoop Gateway es un conector nativo creado en base a Spark 1.6.x. Puede elegir uno o más archivos de datos de Hadoop HDFS y cargarlos en MicroStrategy Intelligence Server. Los archivos de datos se pueden publicar como In-Memory Cube o Live Connect Cube.
MicroStrategy Hadoop Gateway admite tres modos de funcionamiento:
- cliente de hilo
- Independiente (el clúster HDP no es compatible con el modo independiente)
- Local
En el modo cliente de YARN, el controlador se ejecuta en el proceso del cliente y la aplicación maestra solo se usa para solicitar recursos de YARN. La ejecución en este modo requiere que el servicio YARN esté habilitado en su clúster de Hadoop.
En el modo independiente, MicroStrategy Hadoop Gateway utiliza Spark Master para coordinar el procesamiento de datos.
En modo local, no se implementa ninguna aplicación en los nodos Spark. Todo el procesamiento de datos se ejecuta en el host de MicroStrategy Hadoop Gateway. Esta modalidad está destinada a pruebas y resolución de problemas.
Temas relacionados
Consideraciones sobre el entorno
Instrucciones para implementar la puerta de enlace de MicroStrategy Hadoop
Instrucciones para iniciar MicroStrategy Hadoop Gateway
Instrucciones para registrar la puerta de enlace de MicroStrategy Hadoop