Strategy ONE

Configurer une architecture à haut débit ou avancée

Cette rubrique explique comment configurer une architecture à haut débit à l'aide d'un cluster de nœuds Kafka (serveurs Telemetry Server). Un magasin Telemetry Store (Platform Analytics) peut uniquement consommer les données d'un nœud Kafka ou d'un cluster Kakfa.

Tous les nœuds Kafka doivent être dans le cluster et plusieurs clusters Kafka ne sont pas pris en charge.

Démarrez avec les sujets suivants :

1.1. Installer les composants

2.2. Configurer Telemetry Server

3.3. Redémarrer les services nécessaires

4.4. Configurer le consommateur Platform Analytics

1. Installer les composants

Commencez par installer les composants sur les environnements correspondants.

  1. Choisissez les composants suivants pour les machines 1, 2 et 3 dans l'assistant d'installation :

    • MicroStrategy Intelligence

    • MicroStrategy Telemetry Server

    • Choisissez Créez un cluster... tout en créant un environnement en cluster pour la télémétrie et fournir les adresses des autres nœuds ou machines sur lesquelles vous avez installé ou allez installer la télémétrie. Répétez cette opération pour les machines 1, 2 et 3.

  2. Choisissez les composants suivants pour les machines 4 et 5 dans l'assistant d'installation :

    • MicroStrategy Intelligence

    • MicroStrategy Telemetry Server

  3. Après l'installation, désactivez le serveur MicroStrategy Telemetry Server (services Kafka et Zookeeper).

  4. Choisissez les composants suivants pour l'ordinateur 6 dans l'assistant d'installation :

    • Platform Analytics

    • Pendant l'installation des composants, vous devez saisir les informations de connexion au référentiel (ordinateur 7).

  5. Installez le référentiel Platform Analytics sur la machine 7. Vous pouvez choisir un référentiel MicroStrategy prêt à l'emploi ou opter pour votre propre instance de Serveur de base de données PostgreSQL, fourni par votre organisation.

  6. Pour les déploiements Windows, continuez avec Modifications spécifiques à Windows pour créer le service Platform Analytics, sinon allez à 2. Configurer Telemetry Server pour les déploiements Linux.

Modifications spécifiques à Windows pour créer le service Platform Analytics

Sur les machines Windows, vous devez recréer le service Platform Analytics pour éviter toute panne du service.

  1. Allez dans Services.

    1. Arrêtez le consommateur Analytics de la plateforme MicroStrategy .

    2. Arrêtez le cache en MicroStrategy de Platform Analytics.

  2. Supprimez le service Consommateur d'analyse de la plateforme MicroStrategy .

    1. Lancez une invite de commande Windows avec des privilèges administratifs.

    2. Exécutez la commande suivante :

      Copier 
      sc delete MSTR_PlatformAnalyticsConsumer

    3. Fermez les services.

  3. Recréez le service Platform Analytics Consumer.

    1. Accédez au répertoire Platform Analytics.

    2. Ouvrir MSTR_PlatformAnalyticsConsumer.config pour modifier.

    3. Supprimer --DependesOn =Redis pour supprimer les services dépendants (Kafka et Zookeeper).

  4. Lancez une invite de commande Windows avec des privilèges administratifs.

    1. Accédez au répertoire Platform Analytics.

    2. Exécutez la commande suivante :

      Copier 
      PlatformAnalyticsConsumer.exe install MSTR_PlatformAnalyticsConsumer --Config PlatformAnalyticsConsumer_config.txt

  5. Allez dans Services.

    1. Démarrez l'instance Consommateur d'analyse de la plateforme MicroStrategy .

    2. Actualisez Service Manager si nécessaire.

2. Configurer Telemetry Server

Effectuez les étapes suivantes ci-dessous pour tout Nœuds de serveur de télémétrie. Cet exemple utilise les machines 1, 2 et 3.

Modifier serveur.properties

  1. Ouvrir server.properties pour modifier.

    Emplacement de Windows :

    C:\Program Files (x86)\MicroStrategy\Messaging Services\Kafka\kafka_x.x.xx\config

    Emplacement Linux :

    /opt/MicroStrategy/MessagingServices/Kafka/kafka_x.x.x./config

  2. Sous ##### Server Basics ####, fournissez un ID de courtier unique à chaque ordinateur Telemetry Server dans l'ordre préféré de basculement du nœud.

    Dans cet exemple :

    Machine 1 : broker.id=1
    Machine 2 : broker.id=2
    Machine 3 : broker.id=3

    Copier 
    # Set the broker id to a unique value for each node. 
    # Do not change it on the machine configured during single node set up, i.e. your main node. It should be left at the default value and referred to by the other nodes.
    # For example,

    broker.id=1

  3. Sous ##### Internal Topic Settings ####, définissez à la fois les décalages et les facteurs d'état de transaction en fonction du nombre de nœuds dans le cluster. Dans cet exemple, c'est 3.

    Copier 
    # offsets.topic.replication.factor= set to the number of nodes in your cluster
    # transaction.state.log.replication.factor= set to the number of nodes in your cluster
    # For example,

    offsets.topic.replication.factor=3
    transaction.state.log.replication.factor=3

  4. Sous ##### Zookeeper #####, ajoutez toutes les adresses IP des nœuds de serveur Telemetry ou tous les FQDN pour zookeeper.connect paramètre. L'ordre des nœuds doit correspondre à l'ID du courtier paramètre à l'étape 2.

    Copier 
    # Set zookeeper.connect= to a comma separated list of <IP address:2181> for all nodes in the cluster.
    # For example, 

    zookeeper.connect=10.27.18.73:2181,10.27.18.224:2181,10.27.36.168:2181

Modifier zookeeper.properties

  1. Ouvrir zookeeper.properties pour modifier.

    Emplacement de Windows :

    C:\Program Files (x86)\MicroStrategy\Messaging Services\Kafka\kafka_x.x.xx\config

    Emplacement Linux :

    /opt/MicroStrategy/MessagingServices/Kafka/kafka_x.x.x./config

  2. Ajouter de nouvelles lignes à la fin du fichier avec server.node_id=ip:2888:3888. Dans cet exemple, il y a trois nouvelles lignes pour chaque nœud.

    Copier 
    # To allow Zookeeper to work with the other nodes in your cluster, add the following properties to the end of the zookeeper.properties file.
    # initLimit=5
    # syncLimit=2
    # server.X= <IP address of the node>:2888:3888
    # When adding this property, replace X above with the broker.id for the node being referenced. A separate entry must be made for each node in the cluster.
    # For example,

    initLimit=5
    syncLimit=2
    server.0=10.27.18.73:2888:3888
    server.1=10.27.18.224:2888:3888
    server.2=10.27.36.168:2888:3888

Modifier mon ID

  1. Ouvrir myid pour modifier. Si ce fichier n'existe pas, vous devez en créer un.

    Emplacement de Windows :

    C:\Program Files (x86)\MicroStrategy\Messaging Services\tmp\zookeeper

    Emplacement Linux :

    /opt/MicroStrategy/MessagingServices/tmp/zookeeper

  2. Confirmer que myid fichier ne non ont une extension cachée. Dans l'explorateur de fichiers, allez sur Affichage > Afficher > Extensions de nom de fichier pour afficher les extensions. Si votre fichier a une extension, supprimez-la.

  3. Assurez-vous que broker.id pour chaque nœud correspond les valeurs que vous avez définies dans server.properties.

    Copier 
    # Make sure the broker.id is the same as it appears in server.properties.
    # For example,

    broker.id=1

3. Redémarrer les services nécessaires

Après avoir mis à jour les configurations pour Kafka et Zookeeper sur tous les nœuds du cluster, vous devez redémarrer les services, y compris le serveur Intelligence.

Important : vous devez terminer toutes les modifications à apporter au fichier de configuration avant de redémarrer les services. Par exemple, si vous ajoutez deux nœuds Kafka supplémentaires et que vous en avez déjà un, l'installation et la configuration doivent être terminées sur les trois nœuds avant de redémarrer les services.

De plus, certains services sont dépendants les uns des autres. Ils doivent donc démarrer dans l'ordre indiqué ci-dessous. Le fait de ne pas démarrer dans cet ordre peut entraîner des incohérences dans les services.

  1. Démarrez Zookeeper et Kafka sur le nœud principal avant de démarrer les autres nœuds.

  2. Démarrez Zookeeper sur les nœuds restants.

  3. Démarrez Kafka sur les nœuds restants.

4. Configurer le consommateur Platform Analytics

Effectuez les étapes suivantes sur le nœud sur lequel vous exécutez Platform Analytics Consumer. Dans cet exemple, il s'agit de la machine 6.

  1. Ouvrir PAConsumerConfig.yaml pour modifier.

    Emplacement de Windows :

    C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf

    Emplacement Linux :

    /opt/MicroStrategy/Platform Analytics/conf

  2. Ajoutez toutes les adresses IP des nœuds de télémétrie au fichier, en utilisant le format suivant :

    zookeeperConnection:IP1:port,IP2:port,IP3:port

    bootstrap.servers: IP1:port,IP2:port,IP3:port

    Copier 
    # Set kafkaTopicNumberOfReplicas: number of nodes in cluster
    # Set zookeeperConnection: <ipAddress:2181> for all nodes in cluster
    # Set bootstrap.servers: <ipAddress:9092> for all nodes in cluster
    # For example,

    kafkaTopicNumberOfReplicas: 3
    zooKeeperConnection: 10.27.18.73:2181,10.27.18.224:2181
    bootstrap.servers: 10.27.18.73:9092,10.27.18.224:9092

  3. Assurez-vous que kafkaTopicNumberOfReplicas Le paramètre correspond au nombre de nœuds du serveur Telemetry Server. Dans cet exemple, ce serait 3.

  4. Redémarrez les services suivants :

    • Consommateur d’analyse de plateforme MicroStrategy

    • Cache en MicroStrategy de Platform Analytics