Ajouter un nœud Kafka supplémentaire à une installation Post de cluster Kafka existante

Une fois l'installation initiale de Platform Analytics terminée, vous pouvez ajouter plusieurs nœuds contenant des serveurs Telemetry Server afin de les regrouper en cluster. L'environnement en cluster permet de s'assurer qu'en cas de panne d'un nœud de télémétrie, une copie du journal de télémétrie reste disponible sur un autre nœud.

Pour ajouter manuellement un nouveau nœud Kafka à un cluster Kafka existant dans un environnement Linux, vous devez :

1. Désactiver les services
2. Installer le serveur Telemetry Server
3. Configurer Kafka
4. Redémarrer les services

Plusieurs services ont été renommés dans la version 2019 de MicroStrategy. Ce guide nécessite de modifier les fichiers sous-jacents et utilise donc les noms de service d'origine.

Désactiver les services

Avant de configurer les nouveaux nœuds Kafka, assurez-vous que Intelligence Server Producer, Apache ZooKeeper, Apache Kafka, Platform Analytics Consumer et Producer sont désactivés. Si votre cluster contient déjà plusieurs nœuds, désactivez ces services sur tous les nœuds.

1. Dans Command Manager, désactivez le serveur Intelligence Server en exécutant la commande suivante :

   Copier

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   Cette opération n'a aucune répercussion sur la fonctionnalité standard de MicroStrategy Intelligence Server.

2. Dans le répertoire Platform Analytics, situé dans /opt/MicroStrategy/PlatformAnalytics, ouvrez le dossier bin.
3. Exécutez les commandes suivantes :
   Copier

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. Dans le répertoire Kafka, situé dans /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, ouvrez le dossier bin.
5. Exécutez les commandes suivantes :
   Copier

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Installer le serveur Telemetry Server

1. Ouvrez l'assistant d'installation MicroStrategy sur le ou les nœuds sur lesquels vous souhaitez ajouter des serveurs Kafka.
2. Suivez les étapes de l'assistant.
3. Lorsque l'assistant vous invite à sélectionner les fonctionnalités que vous souhaitez installer, choisissez Telemetry Server.

   MicroStrategy Command Manager est installé par défaut.

Configurer Kafka

Effectuez les opérations suivantes pour tous les nœuds, y compris les nœuds déjà existants dans le cluster.

1. Ouvrir le server.properties Fichier situé dans /opt/ MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/config.
2. Modifiez le fichier comme suit :
   1. Définir la broker.id à une valeur unique pour chaque nœud.

      Ne modifiez pas broker.id sur votre nœud principal (l'ordinateur configuré lors de l'installation d'un nœud unique). Vous devez conserver sa valeur par défaut et les autres nœuds doivent y faire référence.

   2. Ensemble offsets.topic.replication.factor= et transaction.state.log.replication.factor= au nombre de nœuds dans votre cluster.
   3. Ensemble zookeeper.connect= à une liste séparée par une virgule <IP address:2181> pour tous les nœuds du cluster.
   4. Ajouter advertised.host.name=<the IP address for this node> à la fin du fichier.
3. Enregistrez le fichier.
4. Ouvrir le zookeeper.properties fichier trouvé dans le même répertoire.
5. Ajouter les propriétés suivantes à la fin de zookeeper.properties fichier :
   • initLimit=5
   • syncLimit=2

   • server.X= <IP address of the node>:2888:3888

     Remplacez X par la valeur broker.id du nœud correspondant. Vous devez créer une entrée distincte pour chaque nœud du cluster.

     Par exemple :

     Copier

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. Créez un fichier texte appelé myid contenant uniquement broker.id du nœud.

   Si votre broker.id=1, saisissez 1.

7. Enregistrez le fichier dans le répertoire ZooKeeper situé dans /opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper.

Redémarrer les services

Une fois l'installation et la configuration sur tous les nœuds Kafka du cluster terminées, redémarrez Intelligence Server Producer, Apache ZooKeeper, Apache Kafka, Platform Analytics Consumer et Producer.

Important : vous devez terminer toutes les modifications à apporter au fichier de configuration avant de redémarrer les services. Par exemple, si vous ajoutez deux nœuds Kafka en plus d'un nœud existant, vous devez terminer l'installation et la configuration sur les trois nœuds avant de redémarrer les services.

En outre, certains services dépendent les uns des autres. Ils doivent donc être démarrés dans l'ordre suivant :

Apache ZooKeeper

1. Dans le répertoire Kafka, situé dans /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, ouvrez le dossier bin.
2. Démarrez ZooKeeper sur tous les nœuds en exécutant la commande suivante :
   Copier

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. Dans le même dossier, démarrez Kafka sur tous les nœuds en exécutant la commande suivante :
   Copier

   ./kafka-server-start.sh -daemon ../config/server.properties

Intelligence Server Producer

1. Ouvrez Command Manager et exécutez le script suivant :
   Copier

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   Remplacer hostname et port avec la nouvelle configuration de cluster Telemetry Server pour l'environnement Platform Analytics.

2. Redémarrez le serveur Intelligence Server.

   Si vous possédez un cluster de serveurs Intelligence Server, vous devez redémarrer tous les nœuds.

Platform Analytics Consumer

Effectuez les opérations suivantes dans votre nœud principal uniquement. Le nœud principal est le nœud sur lequel Platform Analytics Consumer s'exécute.

1. Ouvrir le PAConsumerConfig.yaml fichier situé dans le répertoire /opt/ MicroStrategy/PlatformAnalytics/conf.
2. Modifiez le fichier comme suit :
   1. Ensemble kafkaTopicNumberOfReplicas: au nombre de nœuds dans le cluster.
   2. Ensemble zookeeperConnection: <ipAddress:2181> pour tous les nœuds du cluster.
   3. Ensemble bootstrap.servers: <ipAddress:9092> pour tous les nœuds du cluster.
3. Enregistrez le fichier.
4. Dans le répertoire Platform Analytics, situé dans /opt/MicroStrategy/PlatformAnalytics, ouvrez le dossier bin.
5. Exécutez la commande suivante :
   Copier

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

Résolution des problèmes

Si vous ne parvenez pas à démarrer Apache ZooKeeper, vérifiez que Kafka est entièrement configuré.

1. Ouvrez le dossier kafka-logs situé dans /opt/MicroStrategy/MessagingServices/Kafka/tmp.
2. Ouvrir le meta.properties fichier et s'assurer que broker.id est le même qu'il apparaît dans server.properties. Si les deux valeurs sont différentes, cela peut expliquer pourquoi Apache ZooKeeper ne démarre pas.
3. Si les rubriques Kafka ne contiennent pas de données de télémétrie, exécutez la commande suivante dans Command Manager pour vérifier si les statistiques sont activées pour les projets Platform Analytics :
   Copier

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. Si la commande renvoie False, exécutez :

   Copier

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS doit toujours être activé. Sélectionnez le type de statistiques avancées dont vous avez besoin en modifiant le paramètre après pour true/false. Voir Répertorier l'instruction des propriétés des statistiques Platform Analytics pour plus d'informations sur les statistiques basiques et avancées.