Fügen Sie einem vorhandenen Kafka-Cluster nach der Installation einen weiteren Kafka-Knoten hinzu

Nach Abschluss der erstmaligen Installation von Platform Analytics können mehrere Knoten mit Telemetry Servern hinzugefügt werden, um gebündelte Telemetry Server zu erstellen. Die gebündelte Umgebung stellt sicher, dass eine Kopie des Telemetrieprotokolls auf einem anderen Knoten verfügbar ist, wenn ein Telemetrieknoten ausfällt.

Um einen neuen Kafka-Knoten manuell zu einem vorhandenen Kafka-Cluster in einer Linux-Umgebung hinzuzufügen, führen Sie die folgenden Aufgaben durch:

1. Services deaktivieren
2. Telemetry Server installieren
3. Kafka konfigurieren
4. Services neu starten

In der MicroStrategy 2019-Release wurden mehrere Services umbenannt. Da für dieses Handbuch die Änderung der zugrunde liegenden Dateien erforderlich ist, wird der ursprüngliche Servicename verwendet.

Services deaktivieren

Stellen Sie vor dem Konfigurieren neuer Kafka-Knoten sicher, dass Intelligence Server Producer, Apache ZooKepper, Apache Kafka sowie Platform Analytics Consumer und Producer deaktiviert sind. Wenn Sie bereits mehr als einen Knoten im Cluster haben, deaktivieren Sie die Services auf allen Knoten.

1. Deaktivieren Sie im Command Manager den Intelligence Server Producer durch Ausführen von:

   Kopieren

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   Dieser Vorgang hat keinen Einfluss auf die standardmäßige MicroStrategy Intelligence Server-Funktionalität.

2. Öffnen Sie im Platform Analytics-Verzeichnis unter /opt/MicroStrategy/PlatformAnalytics den Ordner bin.
3. Führen Sie die folgenden Befehle aus:
   Kopieren

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. Öffnen Sie im Kafka-Verzeichnis unter /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/ den Ordner bin.
5. Führen Sie die folgenden Befehle aus:
   Kopieren

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Telemetry Server installieren

1. Öffnen Sie den MicroStrategy-Installationsassistenten auf den Knoten, zu denen Sie zusätzliche Kafka-Server hinzufügen möchten.
2. Gehen Sie Schritt für Schritt durch den Assistenten.
3. Wenn Sie zur Auswahl der Funktionen aufgefordert werden, die Sie installieren möchten, wählen Sie Telemetry Server aus.

   MicroStrategy Command Manager ist standardmäßig installiert.

Kafka konfigurieren

Führen Sie die folgenden Schritte für alle Knoten aus, auch für diese, die bereits im Cluster vorhanden sind.

1. Öffnen Sie den server.properties Datei in /opt/ MicroStrategy/MessagingServices/Kfka/kafka_2.11-1.1.0/config.
2. Ändern Sie die Datei folgendermaßen:
   1. Legen Sie den fest broker.id auf einen eindeutigen Wert für jeden Knoten.

      Ändern Sie nicht broker.id auf Ihrem Hauptknoten (der Computer, der während der Einrichtung eines einzelnen Knotens konfiguriert wurde). Übernehmen Sie den Standardwert. Auf diesen Wert sollen die anderen Knoten verweisen.

   2. Festgelegt offsets.topic.replication.factor= und transaction.state.log.replication.factor= der Anzahl der Knoten in Ihrem Cluster.
   3. Festgelegt zookeeper.connect= in eine durch Kommas getrennte Liste von <IP address:2181> für alle Knoten im Cluster.
   4. Hinzufügen advertised.host.name=<the IP address for this node> am Ende der Datei.
3. Speichern Sie die Datei.
4. Öffnen Sie den zookeeper.properties Datei im gleichen Verzeichnis gefunden.
5. Fügen Sie die folgenden Eigenschaften am Ende von hinzu zookeeper.properties Datei:
   • initLimit=5
   • syncLimit=2

   • server.X= <IP address of the node>:2888:3888

     Ersetzen Sie X mit der broker.id des Knotens, auf den verwiesen wird. Für jeden Knoten im Cluster muss ein eigener Eintrag durchgeführt werden.

     Zum Beispiel:

     Kopieren

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. Erstellen Sie eine Textdatei mit dem Namen myid enthält nur die broker.id des Knotens.

   Wenn Ihr broker.id=1, eingeben 1.

7. Speichern Sie die Datei im ZooKeeper-Verzeichnis unter /opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper.

Dienste neu starten

Starten Sie Intelligence Server Producer, Apache ZooKeeper, Apache Kafka, Platform Analytics Consumer und Producer nach Abschluss der Installation und Konfiguration auf allen Kafka-Knoten im Cluster neu.

Beachten Sie beim Neustart der Services, dass zunächst alle Änderungen in den Konfigurationsdateien vorgenommen werden müssen. Wenn Sie zwei zusätzliche Kafka-Knoten hinzufügen und bereits über einen vorhandenen Knoten verfügen, sollten Installation und Konfiguration auf allen drei Knoten durchgeführt werden, bevor die Services neu gestartet werden.

Zudem sind einige Services voneinander abhängig, sodass diese in der folgenden Reihenfolge gestartet werden sollten:

Apache Zookeeper

1. Öffnen Sie im Kafka-Verzeichnis unter /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/ den Ordner bin.
2. Starten Sie ZooKeeper auf allen Knoten, indem Sie folgenden Befehl ausführen:
   Kopieren

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. Starten Sie Kafka im selben Ordner auf allen Knoten, indem Sie folgenden Befehl ausführen:
   Kopieren

   ./kafka-server-start.sh -daemon ../config/server.properties

Intelligence Server Producer

1. Öffnen Sie Command Manager und führen Sie das folgende Skript aus:
   Kopieren

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   Ersetzen Sie den hostname und port mit der neuen Telemetry Server-Cluster-Konfiguration für die Platform Analytics-Umgebung.

2. Starten Sie den Intelligence Server neu.

   Bei einem Cluster aus Intelligence Servern müssen alle Knoten neu gestartet werden.

Platform Analytics Consumer

Führen Sie nur die folgenden Schritte auf Ihrem Hauptknoten aus. Der Hauptknoten führt Platform Analytics Consumer aus.

1. Öffnen Sie den PAConsumerConfig.yaml -Datei im Verzeichnis /opt/ MicroStrategy/PlattformAnalytics/conf.
2. Ändern Sie die Datei folgendermaßen:
   1. Festgelegt kafkaTopicNumberOfReplicas: der Anzahl der Knoten im Cluster entspricht.
   2. Festgelegt zookeeperConnection: <ipAddress:2181> für alle Knoten im Cluster.
   3. Festgelegt bootstrap.servers: <ipAddress:9092> für alle Knoten im Cluster.
3. Speichern Sie die Datei.
4. Öffnen Sie im Platform Analytics-Verzeichnis unter /opt/MicroStrategy/PlatformAnalytics den Ordner bin.
5. Führen Sie folgenden Befehl aus:
   Kopieren

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

Problembehebung

Wenn Apache ZooKeeper nicht gestartet werden kann, stellen Sie sicher, dass Kafka vollständig konfiguriert ist.

1. Öffnen Sie den Ordner „kafka-logs“ unter /opt/MicroStrategy/MessagingServices/Kafka/tmp.
2. Öffnen Sie den meta.properties Datei und stellen Sie sicher, dass broker.id ist dieselbe wie in angezeigt server.properties. Wenn ein Unterschied besteht, kann dies der Grund sein, warum Apache ZooKeeper nicht gestartet wird.
3. Wenn keine Telemetrie in den Kafka-Themen vorhanden ist, überprüfen Sie, ob Statistiken für Platform Analytics-Projekte aktiviert sind, indem Sie den folgenden Befehl in Command Manager ausführen:
   Kopieren

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. Wenn der Befehl False zurückgibt, führen Sie folgenden Befehl aus:

   Kopieren

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS muss immer aktiviert sein. Wählen Sie aus, welche Art von erweiterten Statistiken benötigt werden, indem Sie den Parameter danach in ändern true/false. Siehe List Platform Analytics Statistikeigenschaften-Anweisung für weitere Informationen über grundlegende und erweiterte Statistiken.