Aggiungere un nodo Kafka aggiuntivo a un cluster Kafka esistente dopo l'installazione

Una volta completata l'installazione iniziale di Platform Analytics, è possibile aggiungere nodi multipli contenenti server di telemetria per creare server di telemetria raggruppati. L'ambiente raggruppato assicura che, anche se un nodo di telemetria non è attivo, è comunque disponibile una copia del log di telemetria su un altro nodo.

Per aggiungere manualmente un nuovo nodo Kafka a un cluster Kafka esistente in un ambiente Linux, eseguire i seguenti passaggi:

1. Disattivazione dei servizi;
2. Installazione del server di telemetria;
3. Configurazione di Kafka;
4. Riavvio dei servizi.

Molti servizi hanno un nuovo nome nella versione di MicroStrategy 2019. Poiché la presente guida richiede di modificare i file sottostanti, usare il nome originale del servizio.

Disattivazione dei servizi;

Prima di configurare i nuovi nodi Kafka, assicurarsi che siano disattivati Producer di Intelligence Server, Apache ZooKeeper, Apache Kafka, Consumer e Producer di Platform Analytics. Se sono presenti più nodi in un cluster, disattivare i servizi su tutti i nodi.

1. In Command Manager, disattivare Producer di Intelligence Server eseguendo:

   Copia

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   Questa operazione non influisce sulla funzione standard di MicroStrategy Intelligence Server.

2. Nella cartella Platform Analytics, che si trova in /opt/MicroStrategy/PlatformAnalytics, aprire la cartella cestino.
3. Eseguire i seguenti comandi:
   Copia

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. Nella cartella Kafka, che si trova in /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, aprire la cartella cestino.
5. Eseguire i seguenti comandi:
   Copia

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Installazione del server di telemetria;

1. Aprire la procedura guidata di MicroStrategy sul/i nodo/i a cui si desiderano aggiungere i server Kafka.
2. Seguire la procedura guidata.
3. Quando viene richiesto di selezionare le funzioni che si desiderano installare, selezionare Server di telemetria.

   In base alle impostazioni predefinite, MicroStrategy Command Manager è già installato.

Configurazione di Kafka;

Eseguire i seguenti passaggi per tutti i nodi, anche quelli già esistenti nel cluster.

1. Aprire il server.properties Il file si trova in /opt/ MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/config.
2. Modificare il file:
   1. Impostare il broker.id a un valore univoco per ogni nodo.

      Non modificare broker.id nel nodo principale (il computer configurato durante la configurazione del nodo singolo). Dovrebbe mantenere il valore predefinito e ad esso devono fare riferimento altri nodi.

   2. Impostato offsets.topic.replication.factor= e transaction.state.log.replication.factor= al numero di nodi nel cluster.
   3. Impostato zookeeper.connect= in un elenco separato da virgole di <IP address:2181> per tutti i nodi del cluster.
   4. Aggiungi advertised.host.name=<the IP address for this node> alla fine del file.
3. Salvare il file.
4. Aprire il zookeeper.properties file trovato nella stessa directory.
5. Aggiungere le seguenti proprietà alla fine di zookeeper.properties file:
   • initLimit=5
   • syncLimit=2

   • server.X= <IP address of the node>:2888:3888

     Sostituire X con il broker.id del nodo di riferimento. Creare una voce separata per ciascun nodo nel cluster.

     Ad esempio:

     Copia

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. Crea un file di testo chiamato myid contenente solo broker.id del nodo.

   Se il tuo broker.id=1, Invio 1.

7. Salvare il file nella cartella ZooKeeper che si trova in /opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper.

Riavviare i servizi

Una volta completate l'installazione e la configurazione su tutti i nodi Kafka nel cluster, riavviare Producer di Intelligence Server, Apache ZooKeeper, Apache Kafka, Consumer e Platform di Analytics Producer.

Quando si riavviano i servizi, è importante notare che occorre innanzitutto completare tutte le modifiche del file di configurazione. Ad esempio, se si aggiungono due nodi Kafka a quello esistente, allora occorrerebbe completare l'installazione e la configurazione su tutti e tre i nodi prima di riavviare qualunque servizio.

Inoltre, alcuni servizi dipendono da altri, quindi occorrerebbe avviare i servizi nel seguente ordine:

Apache ZooKeeper

1. Nella cartella Kafka, che si trova al percorso /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, aprire la cartella cestino.
2. Avviare ZooKeeper su tutti i nodi in esecuzione:
   Copia

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. Nella stessa cartella, avviare Kafka su tutti i nodi eseguendo:
   Copia

   ./kafka-server-start.sh -daemon ../config/server.properties

Producer di Intelligence Server

1. Aprire Command Manager ed eseguire il seguente script:
   Copia

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   Sostituire hostname e port con la nuova configurazione del cluster del server di telemetria per l'ambiente Platform Analytics.

2. Riavviare Intelligence Server.

   Riavviare tutti i nodi se è disponibile un cluster di Intelligence Server.

Consumer di Platform Analytics

Eseguire soltanto i seguenti passaggi sul nodo principale. Il nodo principale esegue Consumer di Platform Analytics.

1. Aprire il PAConsumerConfig.yaml che si trova nella directory /opt/ MicroStrategy/PlatformAnalytics/conf.
2. Modificare il file:
   1. Impostato kafkaTopicNumberOfReplicas: al numero di nodi nel cluster.
   2. Impostato zookeeperConnection: <ipAddress:2181> per tutti i nodi del cluster.
   3. Impostato bootstrap.servers: <ipAddress:9092> per tutti i nodi del cluster.
3. Salvare il file.
4. Nella cartella Platform Analytics, che si trova in /opt/MicroStrategy/PlatformAnalytics, aprire la cartella cestino.
5. Eseguire il comando:
   Copia

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

Risoluzione dei problemi

Se non è possibile avviare Apache ZooKeeper, assicurarsi che Kafka sia configurato.

1. Aprire la cartella dei log Kafka che si trova in /opt/MicroStrategy/MessagingServices/Kafka/tmp.
2. Aprire il meta.properties file e assicurarsi che broker.id è lo stesso di server.properties. Se non sono uguali, potrebbe essere questa la causa del mancato avvio di Apache ZooKeeper.
3. Se non è presente la telemetria negli argomenti Kafka, controllare se le statistiche per i progetti Platform Analytics sono attive eseguendo il seguente comando in Command Manager:
   Copia

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. Se il comando restituisce il valore false, eseguire:

   Copia

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS deve essere sempre abilitato. Selezionare il tipo di statistiche avanzate necessarie modificando il parametro successivo in true/false. Vedere Elenca istruzione proprietà proprietà statistiche Platform Analytics per ulteriori informazioni sulle statistiche di base e avanzate.