Adicionar um nó Kafka adicional a um cluster Kafka existente pós-instalação

Após a conclusão da instalação inicial do Platform Analytics, diversos nós que contêm Telemetry Server(s) podem ser adicionados para criar Telemetry Servers agrupados em clusters. O ambiente agrupado em clusters assegura que, se um nó de telemetria for desativado, há uma cópia disponível do log de telemetria em outro nó.

Para adicionar manualmente um novo nó do Kafka a um cluster existente do Kafka em um ambiente do Linux, realize as etapas a seguir:

1. Desativar serviços
2. Instalar o Telemetry Server
3. Configurar o Kafka
4. Reiniciar serviços

Diversos serviços foram renomeados na versão 2019 do MicroStrategy. Visto que este guia exige a modificação dos arquivos subjacentes, ele usa o nome original dos serviços.

Desativar serviços

Antes de configurar os novos nós do Kafka, certifique-se de que o Intelligence Server Producer, Apache ZooKepper, Apache Kafka e o Platform Analytics Consumer e Producer estão desativados. Se você já tiver mais de um nó cluster, desative os serviços em todos os nós.

1. No Command Manager, desative o Intelligence Server Producer executando:

   Copiar

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   Esta operação não afeta a funcionalidade padrão do MicroStrategy Intelligence Server.

2. No diretório do Platform Analytics, localizado em /opt/MicroStrategy/PlatformAnalytics, abra a pasta bin.
3. Execute os seguintes comandos:
   Copiar

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. No diretório do Kafka, localizado em /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, abra a pasta bin.
5. Execute os seguintes comandos:
   Copiar

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Instalar o Telemetry Server

1. Abra o Assistente de Instalação da MicroStrategy no(s) nó(s) ao(s) qual(is) você deseja adicionar mais servidores Kafka.
2. Avance as etapas do Assistente.
3. Quando for solicitado que você selecione os recursos que deseja instalar, selecione Telemetry Server.

   O MicroStrategy Command Manager é instalado por padrão.

Configurar o Kafka

Realize as etapas seguintes para todos os nós, inclusive aqueles já existentes no cluster.

1. Abrir o server.properties arquivo localizado em /opt/ MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/config.
2. Modifique o arquivo:
   1. Definir o broker.id a um valor exclusivo para cada nó.

      Não alterar o broker.id no seu nó principal (a máquina configurada durante a configuração de nó individual). Ele deve permanecer no valor padrão e ser chamado pelos outros nós.

   2. Definir offsets.topic.replication.factor= e transaction.state.log.replication.factor= ao número de nós no cluster.
   3. Definir zookeeper.connect= a uma lista separada por vírgula de <IP address:2181> para todos os nós no cluster.
   4. Adicionar advertised.host.name=<the IP address for this node> no final do arquivo.
3. Salve o arquivo.
4. Abrir o zookeeper.properties arquivo encontrado no mesmo diretório.
5. Adicione as seguintes propriedades ao final do zookeeper.properties arquivo:
   • initLimit=5
   • syncLimit=2

   • server.X= <IP address of the node>:2888:3888

     Substitua X pelo broker.id do nó referenciado. Uma entrada separada deve ser realizada para cada nó do cluster.

     Por exemplo:

     Copiar

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. Crie um arquivo de texto chamado myid contendo somente o broker.id do nó.

   Se o seu broker.id=1, inserir 1.

7. Salve o arquivo no diretório do ZooKeeper que está localizado em /opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper.

Reiniciar serviços

Após a conclusão da instalação e configuração em todos os nós do Kafka que estão no cluster, reinicie o Intelligence Server Producer, Apache ZooKeeper, Apache Kafka e Platform Analytics Consumer e Producer.

Ao reiniciar os serviços, é importante observar que todas as alterações nos arquivos de configuração devem ser concluídas. Por exemplo, se você estiver adicionando dois nós extras do Kafka e ainda tiver um nó que já existe, a configuração e a instalação devem ser concluídas em todos os três nós antes de reiniciar qualquer um dos serviços.

Além disso, alguns serviços são mutualmente dependentes, então eles devem ser iniciados na ordem seguinte:

Apache Zookeeper

1. No diretório do Kafka, encontrado em /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, abra a pasta bin.
2. Inicie o ZooKeeper em todos os nós executando:
   Copiar

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. Na mesma pasta, inicie o Kafka em todos os nós executando:
   Copiar

   ./kafka-server-start.sh -daemon ../config/server.properties

Intelligence Server Producer

1. Abra o Command Manager e execute o seguinte script:
   Copiar

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   Substituir o hostname e port com a nova configuração de cluster do Telemetry Server para o ambiente Platform Analytics.

2. Reinicie o Intelligence Server.

   Se houver um cluster de Intelligence Servers, todos os nós devem ser reiniciados.

Platform Analytics Consumer

Realize as etapas a seguir apenas em seu nó principal. O nó principal é o nó em que o Platform Analytics Consumer é executado.

1. Abrir o PAConsumerConfig.yaml arquivo localizado no diretório /opt/ MicroStrategy/PlatformAnalytics/conf.
2. Modifique o arquivo:
   1. Definir kafkaTopicNumberOfReplicas: ao número de nós no cluster.
   2. Definir zookeeperConnection: <ipAddress:2181> para todos os nós no cluster.
   3. Definir bootstrap.servers: <ipAddress:9092> para todos os nós no cluster.
3. Salve o arquivo.
4. No diretório do Platform Analytics, localizado em /opt/MicroStrategy/PlatformAnalytics, abra a pasta bin.
5. Execute o comando:
   Copiar

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

Solução de problemas

Se não for possível iniciar o Apache ZooKeeper, certifique-se de que o Kafka está totalmente configurado.

1. Abra a pasta de logs do Kafka localizada em /opt/MicroStrategy/MessagingServices/Kafka/tmp.
2. Abrir o meta.properties arquivo e garanta o broker.id é o mesmo que aparece em server.properties. Se forem diferentes, talvez seja por isso que o Apache ZooKeeper não está sendo iniciado.
3. Se não houver telemetria nos tópicos do Kafka, verifique se as estatísticas estão ativadas para os projetos do Platform Analytics executando o seguinte comando no Command Manager:
   Copiar

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. Se o comando retornar False, execute:

   Copiar

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS deve estar sempre habilitado. Selecione o tipo de estatística avançada necessário alterando o parâmetro depois dele para true/false. Ver Listar declaração de propriedades estatísticas do Platform Analytics para obter mais informações sobre estatísticas básicas e avançadas.