MicroStrategy ONE

Habilitar Hadoop Gateway para admitir la alta disponibilidad de NameNode

A partir de MicroStrategy 10.10, Hadoop Gateway admite la alta disponibilidad de NameNode de Hadoop. Ya no es necesario explorar archivos con WebHDFS de Hadoop. La información del catálogo de HDFS se recupera a través de Hadoop Gateway en lugar de WebHDFS.

Explorar HDFS a través de Hadoop Gateway

Póngase en contacto con el administrador de Hadoop para obtener elservicio de nombres para Hadoop Namenode High Availability, la dirección IP de Hadoop Namenode y el número de puerto HDFS antes de iniciar los siguientes pasos.

  1. En el cuadro de diálogo Conectar con Hadoop, haga clic en Cambiar conexión.

  2. En el cuadro de diálogo Origen de datos, active la casilla de verificación Editar cadena de conexión.

  3. Para un solo NameNode:

    Asegúrese de que Hadoop Namenode IP / Host y el puerto HDFS están configurados correctamente en la cadena de conexión, como se muestra en el ejemplo anterior.

    Para la alta disponibilidad de NameNode de Hadoop:

    Agregue el atributo hadoopNameService y la etiqueta de nombre de servicio al final de la cadena de conexión.

    Por ejemplo, si la etiqueta de alta disponibilidad es nameservice1, la cadena de conexión debe tener el siguiente aspecto:

    hadoopName=10.242.109.2;hdfsPort=8020;

    BDEIP=10.242.109.10;BDEPORT=10109;hadoopNameService=nameservice1;

  4. Haga clic en Aceptar.

Seguridad

A partir de MicroStrategy ONE, Hadoop Gateway permite el acceso a una interfaz de protocolo HTTP que permite explorar HDFS. HTTPS deja de ser compatible.

La exploración de HDFS a través de Hadoop Gateway admite clústeres verificados con Kerberos. Ya no se necesita un nombre principal Kerberos aparte para Intelligence Server. Una vez que Hadoop Gateway esté configurado en un clúster verificado con Kerberos y se haya iniciado correctamente, Intelligence Server podrá explorar HDFS a través de Hadoop Gateway automáticamente. Hadoop Gateway se encargará de todo el control de acceso.

Hadoop Gateway debe estar implementado en un nodo de proxy en un clúster que use verificación de identidad Kerberos. Un clúster protegido no se puede explorar si Hadoop Gateway está implementado fuera del clúster.

Solución de problemas

  • Hadoop Gateway se encarga de la exploración de HDFS, y no Intelligence Server. Asegúrese de que Hadoop Gateway se ha iniciado antes de proceder a la exploración.
  • Hadoop Gateway permite el acceso a una API de RESTful HTTP en el port 4020 para la exploración de HDFS, de modo que ese número de puerto debe estar abierto en el equipo donde Hadoop Gateway esté implementado.
  • Si se ha especificado un hadoopName y un hadoopNameService en la cadena de conexión. Hadoop Gateway usará el valor de hadoopNameService por defecto para acceder al clúster.
  • En todos los valores y nombres de atributo de la cadena de conexión se distinguen mayúsculas de minúsculas.