Considerações sobre o ambiente

Segurança no acesso aos dados (autenticação)

O acesso aos serviços de cluster pode ser controlado por uma implementação Kerberos compatível (Kerberos MIT, Active Directory). Em um ambiente Kerberos, o MicroStrategy Hadoop Gateway pode se identificar como principal do Kerberos e ter acesso aos serviços necessários: HDFS, Gerenciador Spark.

Hadoop como modo Edge ou proxy do cluster

Recomendamos o MicroStrategy Hadoop Gateway host para fazer parte do cluster Hadoop para obter benefícios de segurança, administração e desempenho. Um nó Edge ou Proxy está localizado física ou logicamente no cluster e contém o mesmo conjunto de bibliotecas.

Do ponto de vista administrativo, qualquer atualização no cluster library versão incluirá o nó Edge ou Proxy. Beneficia o desempenho, pois a velocidade de transferência de dados deve ser maior. Melhora a segurança, pois o nó pode ser restrito às mesmas regras e autenticação.

Modo de alta disponibilidade em HDFS e YARN Cluster Services

Seguindo as práticas recomendadas, o cluster pode ter implementado o modo de alta disponibilidade (HA) nos serviços. Um nó de servidor pode ser definido como Ativo e habilitado, enquanto um nó adicional pode ser definido como Standby para substituir o Ativo a qualquer momento. Um ambiente de alta disponibilidade usaria um conjunto diferente de propriedades ao se referir a esses serviços. Revise seu ambiente e certifique-se de que ele seja executado no modo HA.

Requisitos do sistema e configurações suportadas

Os requisitos de sistema para um MicroStrategy Hadoop Gateway são iguais aos de um cluster Spark. A versão do Spark compatível é 1.6.x. Versão de distribuição suportada para MicroStrategy Hadoop Gateway é Cloudera Data Hub 5.10 ou superior e Hortonworks 2.4 ou superior.

Para ambientes Cluster com mecanismo de autenticação padrão, o MicroStrategy Hadoop Gateway pode ser operado no modo Local, cliente YARN e Spark Standalone. Para ambientes com autenticação Kerberos habilitada, o MicroStrategy Hadoop Gateway só pode ser operado no modo cliente YARN.

O seguinte é necessário em um cluster Hadoop:

• Você deve ter um ambiente Hadoop instalado em servidores Unix/Linux.

  O Cluster Hadoop deve ter pelo menos o serviço HDFS instalado. Outros serviços que podem ser instalados incluem Hive, Hue, Oozie e ZooKeeper.

• MicroStrategy Hadoop Gateway suporta o modo de alta disponibilidade do NameNode e do YARN Resource Manager.

  Para ativar a alta disponibilidade do NameNode, consulte Como navegar no sistema de arquivos distribuídos do Hadoop e visualizar arquivos. Nenhuma configuração extra é necessária para alta disponibilidade do YARN Resource Manager. É tratado automaticamente.

• Se você estiver usando o MicroStrategy Hadoop Gateway no modo cliente YARN, o cluster Hadoop deve ter os serviços YARN e Spark instalados.
• Se você estiver usando MicroStrategy Hadoop Gateway no modo Spark Standalone, o cluster Hadoop deve ter o serviço Spark (Standalone) instalado.
  • Parâmetros de conectividade com o Spark master (por exemplo faísca://SparkMasterNode:7077)
  • O Cloudera Manager não permite que este serviço seja instalado se o cluster tiver o Kerberos habilitado.
• Para fins de solução de problemas:
  • Acesso ao site independente do Spark http://SparkMasterNode:18080
  • Acesso ao site do Spark History Server http://SparkHistoryServerNode:18088
  • Acesso ao site do monitor de recursos YARN http://YARNResourceManagerNode:8088

• Certifique-se de que o serviço Spark esteja instalado e configurado corretamente. MicroStrategy Hadoop Gateway A versão 10.11 e posteriores serão lançadas com a metodologia spark-submit para evitar problemas de conformidade e compatibilidade do ambiente de cluster.

Portas usadas por MicroStrategy Hadoop Gateway

De	Para: Porta padrão de serviço	Explicação
Intelligence Server	MicroStrategy Hadoop Gateway Porta hospedeira 30004	Enviando comandos do Intelligence Server para MicroStrategy Hadoop Gateway para buscar dados. O número da porta é configurável em MicroStrategy Hadoop Gateway arquivo de configuração: /conf/hgos-spark.properties.
Intelligence Server	MicroStrategy Hadoop Gateway Porta Anfitriã 4020	Porta usada pelo Intelligence Server para navegar no HDFS via MicroStrategy Hadoop Gateway Serviço RESTful. O número da porta é configurável em MicroStrategy Hadoop Gateway arquivo de configuração: /conf/hgos-spark.properties.
MicroStrategy Hadoop Gateway	Porta NameNode HDFS 8020	O número da porta padrão é: 8020. Entre em contato com os administradores do cluster para obter o número da porta específico.
HDFS (todos os nós do cluster Hadoop)	Porta do Servidor de Inteligência 30241	Usado para enviar o conjunto de resultados da consulta de MicroStrategy Hadoop Gateway Accione nós de trabalho do aplicativo para o Intelligence Server. O número da porta é configurável no registro do SO onde o Intelligence Server está instalado. Chave do registro: HKEY_LOCAL_MACHINE/SOFTWARE/Wow6432Node/MicroStrategy/Servidor DSS/Castor/DSPort Arquivo de registro no Linux: MSIReg.reg
MicroStrategy Hadoop Gateway	Porta 8032 do Gerenciador de Recursos YARN	Conectividade YARN
MicroStrategy Hadoop Gateway	Porta de faísca 4040	Conectividade Spark
MicroStrategy Hadoop Gateway	Porta Kerberos KDC 88	Para autenticar MicroStrategy Hadoop Gateway para acessar outros serviços (como HDFS).

Se a autenticação Kerberos estiver habilitada

Para saber mais sobre a instalação do Kerberos, consulte: Como instalar o serviço de autenticação do Kerberos.

Consulte os links a seguir sobre como ativar a autenticação Kerberos em Cloudera CDH e Hortonworks HDP conjunto.

Você precisará de um principal Kerberos (ou SPN no Active Directory) para autenticar seu MicroStrategy Hadoop Gateway processo.

MicroStrategy Hadoop Gateway deve ser executado com uma conta de usuário Linux válida vinculada a um principal Kerberos. Poderia ter qualquer nome, mas por convenção nos referiremos a ele como hgos/<HadoopGatewayHostFQDN>@REALM_NAME. Como qualquer outra conta de cluster, esta conta deve ser capaz de efetuar login em todas as máquinas do cluster.

Esta conta deve ter permissão para efetuar login no HDFS com privilégios de gravação em seu diretório inicial (por exemplo hdfs://NameNode:8020/user/hgos).

Os nós do cluster devem ter bibliotecas necessárias para funcionar como um cliente Kerberos (estes podem ser os pacotes estação de trabalho krb5, cliente openldap).

Se o modo de alta disponibilidade estiver ativado

Identifique o nameservice do serviço HDFS.

O seguinte é necessário em um MicroStrategy Hadoop Gateway máquina de motorista:

• HostOS: Linux (recomendado: CentOS-7).
• O host que fará parte do cluster CDH como um nó proxy ou nó do trabalhador.
• Java Runtime Environment versão 1.7 ou 1.8 (última subversão disponível) instalada.
• A conta Linux deve ter privilégios de gravação e execução na pasta de instalação.
• A conta do sistema operacional deve ter uma pasta de usuário atribuída no HDFS e privilégios de leitura/gravação (por exemplo hdfs://<HDFSNameNode:8020> /do utilizador/<Principal name>/) (um diretório temporário .sparkStaging Será criado).
• Parâmetros de conectividade, endereço IP e porta para conexão do Intelligence Server.
• Para registros detalhados, substitua o log4j.properties arquivo com a versão mais avançada disponível na seção de solução de problemas.

Se a autenticação Kerberos estiver habilitada

• O host deve ter instalado bibliotecas de cliente Kerberos (como estação de trabalho krb5) e permitir comandos Kerberos como Kinit ou lista de cliques.
• O Java Runtime Environment deve ter as bibliotecas Java Cryptography Extension para suportar criptografia aes-256. Existem bibliotecas disponíveis em Site da Oracle. O pacote Java JCE contém duas bibliotecas JAR. Use-os e substitua-os no diretório <JRE_HOME>/lib/segurança (Se o JDK estiver instalado em vez do JRE, deverá ser <JDK_Home>/jre/lib/segurança. Mantenha um backup de suas bibliotecas originais).

Para o host do Intelligence Server, atualize as regras de firewall e de rede para permitir a conectividade na porta 30241 a partir de nós de trabalho do cluster.

Tópicos relacionados

Introdução ao MicroStrategy Hadoop Gateway

Como implantar o MicroStrategy Hadoop Gateway

Como iniciar o MicroStrategy Hadoop Gateway

Como registrar o MicroStrategy Hadoop Gateway

Solução de problemas

Problemas conhecidos

Perguntas frequentes