Añadir un nodo Kafka adicional a un clúster Kafka existente después de la instalación

Después de completar la instalación inicial de Platform Analytics, pueden agregarse varios nodos con servidores de Telemetría con el fin de crear servidores de Telemetría agrupados. El entorno agrupado garantiza que, si un nodo de telemetría cae, hay una copia del registro de telemetría disponible en otro nodo.

Para agregar manualmente un nodo Kafka nuevo a un clúster Kafka existente en un entorno de Linux, lleve a cabo los siguientes pasos:

1. Desactivar los servicios
2. Instalar el servidor de Telemetría
3. Configurar Kafka
4. Reiniciar los servicios

En la versión de MicroStrategy 2019 se han renombrado varios servicios. Puesto que esta guía aún requiere modificaciones en los archivos subyacentes, se utiliza el nombre del servicio original.

Desactivar los servicios

Antes de configurar los nodos Kafka nuevos, asegúrese de que están desactivados el productor de Intelligence Server, Apache ZooKeeper, Apache Kafka y el consumidor y el productor de Platform Analytics. Si ya tiene más de un nodo en el clúster, desactive los servicios de todos los nodos.

1. En Command Manager, desactive el productor de Intelligence Server ejecutando el siguiente comando:

   Copiar

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   Esta operación no afecta a la funcionalidad estándar de MicroStrategy Intelligence Server.

2. En el directorio de Platform Analytics, ubicado en /opt/MicroStrategy/PlatformAnalytics, abra la carpeta bin.
3. Ejecute los siguientes comandos:
   Copiar

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. En el directorio de Kafka, ubicado en /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, abra la carpeta bin.
5. Ejecute los siguientes comandos:
   Copiar

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Instalar el servidor de Telemetría

1. Abra el asistente de instalación de MicroStrategy en el nodo al que desea agregar los servidores Kafka adicionales.
2. Siga el asistente.
3. Cuando se le pida seleccionar los elementos que desea instalar, seleccione Servidor de Telemetría.

   MicroStrategy Command Manager se instala por defecto.

Configurar Kafka

Realice los siguientes pasos en todos los nodos, incluidos aquellos que ya están en el clúster.

1. Abrir la server.properties ubicado en /opt/ MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/config.
2. Modifique el archivo:
   1. Configure el broker.id a un valor único para cada nodo.

      No cambie el broker.id en el nodo principal (el equipo configurado durante la configuración de un solo nodo). Debe permanecer con el valor por defecto y el resto de nodos deben hacerle referencia.

   2. Definir offsets.topic.replication.factor= y transaction.state.log.replication.factor= al número de nodos del clúster.
   3. Definir zookeeper.connect= a una lista separada por comas de <IP address:2181> para todos los nodos del clúster.
   4. Agregar advertised.host.name=<the IP address for this node> al final del archivo.
3. Guarde el archivo.
4. Abrir la zookeeper.properties encontrado en el mismo directorio.
5. Añada las siguientes propiedades al final del zookeeper.properties archivo:
   • initLimit=5
   • syncLimit=2

   • server.X= <IP address of the node>:2888:3888

     Sustituya la X con el broker.id del nodo al que se hace referencia. Debe crear una entrada independiente para cada nodo del clúster.

     Por ejemplo:

     Copiar

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. Cree un archivo de texto llamado myid que contiene solo el broker.id del nodo.

   Si su broker.id=1, entrar 1.

7. Guarde el archivo en el directorio de ZooKeeper ubicado en /opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper.

Reiniciar servicios

Después de que se complete la instalación y la configuración de todos los nodos Kafka del clúster, reinicie el productor de Intelligence Server, Apache ZooKeeper y Apache Kafka, así como el consumidor y el productor de Platform Analytics.

Al reiniciar los servicios, es importante tener en cuenta que todos los cambios del archivo de configuración deben completarse primero. Por ejemplo, si añade dos nodos Kafka adicionales además del nodo existente, la instalación y la configuración deben realizarse en los tres nodos antes de reiniciar cualquiera de los servicios.

Además, algunos servicios dependen entre sí, de manera que deben iniciarse en el siguiente orden:

Apache ZooKeeper

1. En el directorio de Kafka, ubicado en /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, abra la carpeta bin.
2. Abra ZooKeeper en todos los nodos ejecutando:
   Copiar

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. En la misma carpeta, abra Kafka en todos los nodos ejecutando:
   Copiar

   ./kafka-server-start.sh -daemon ../config/server.properties

Productor de Intelligence Server

1. Abra Command Manager y ejecute el siguiente script:
   Copiar

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   Reemplazar el hostname y port con la nueva configuración de clúster del servidor de Telemetría para el entorno de Platform Analytics.

2. Reinicie el Intelligence Server.

   Si hay un clúster de los servidores Intelligence Server, todos los nodos deberán reiniciarse.

Consumidor de Platform Analytics

Realice los siguientes pasos únicamente en el nodo principal. El nodo principal es el nodo que ejecuta el consumidor de Platform Analytics.

1. Abrir la PAConsumerConfig.yaml ubicado en el directorio /opt/ MicroStrategy/PlatformAnalytics/conf.
2. Modifique el archivo:
   1. Definir kafkaTopicNumberOfReplicas: al número de nodos del clúster.
   2. Definir zookeeperConnection: <ipAddress:2181> para todos los nodos del clúster.
   3. Definir bootstrap.servers: <ipAddress:9092> para todos los nodos del clúster.
3. Guarde el archivo.
4. En el directorio de Platform Analytics, ubicado en /opt/MicroStrategy/PlatformAnalytics, abra la carpeta bin.
5. Ejecute el comando:
   Copiar

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

Solución de problemas

Si no es posible iniciar Apache ZooKeeper, asegúrese de que Kafka sigue configurado por completo.

1. Abra la carpeta kafka-logs, ubicada en /opt/MicroStrategy/MessagingServices/Kafka/tmp.
2. Abrir la meta.properties presente el archivo y asegúrese de que broker.id es igual que como aparece en server.properties. Si son diferentes, puede que sea el motivo por el que Apache ZooKeeper no se inicia.
3. Si no hay telemetría en los temas de Kafka, compruebe si las estadísticas están habilitadas para los proyectos de Platform Analytics ejecutando el siguiente comando en Command Manager:
   Copiar

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. Si el comando devuelve Falso, ejecute:

   Copiar

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS debe estar siempre habilitado. Seleccione qué tipo de estadísticas avanzadas necesita cambiando el parámetro que sigue a true/false. Ver Instrucción Listar propiedades de estadísticas de Platform Analytics para obtener más información acerca de las estadísticas básicas y las avanzadas.