Kafka ノードを既存の Kafka クラスターに追加 (インストール終了後)

Platform Analytics のインストール終了後、Telemetry Server を組み込んだ複数のノードを追加して、クラスター化 Telemetry Server を構築できます。クラスター化環境にすると、あるテレメトリー ノードが停止しても、他のノードに残っているテレメトリー ログのコピーが使えることになります。

新しい Kafka ノードを既存の Kafka クラスターに、手動で追加する手順 (Linux 環境の場合) を以下に示します。

1. サービスの無効化
2. Telemetry Server のインストール
3. Kafka の設定
4. サービスの再起動

MicroStrategy 2019 リリースでは、サービス名をいくつか変更しました。このガイドでは、サービスの基盤となるファイルを修正する必要があるので、従来のサービス名を使って説明します。

サービスの無効化

新規 Kafka ノードの設定に当たり、Intelligence Server Producer、Apache ZooKeeper、Apache Kafka、Platform Analytics Consumer / Producer をすべて無効にしておく必要があります。クラスターに組み込み済みのノードがある場合、その全ノードについて、サービスを無効にしてください。

1. Command Manager で次のように実行し、Intelligence Server Producer を無効にします。

   コピー

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   この操作により、MicroStrategy Intelligence Server の標準的な機能に影響が及ぶことはありません。

2. Platform Analytics ディレクトリ (/opt/MicroStrategy/PlatformAnalytics) 以下の bin フォルダーに移動します。
3. 次のコマンドを実行します。
   コピー

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. Kafka ディレクトリ (/opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0) 以下の bin フォルダーに移動します。
5. 次のコマンドを実行します。
   コピー

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Telemetry Server のインストール

1. Kafka Server を追加しようとするノード上で、MicroStrategy Installation Wizard を起動します。
2. ウィザードの指示に従って進めてください。
3. 途中、インストールするフィーチャーを選択するよう求められるので、Telemetry Server を指定します。

   MicroStrategy Command Manager ははじめからインストール対象に含まれています。

Kafka の設定

全ノード (クラスターに組み込み済みのものを含む) について、以下のように操作してください。

1. を開く server.properties ファイルは、/opt/ MicroStrategy/MossagingServices/Kafka/kafka_2.11-1.1.0/config にあります。
2. このファイルを次のように修正してください。
   1. 設定: broker.id 最大化することができます

      変更しない broker.id メイン ノード (単一ノード セットアップ時に構成されたマシン) で構いませんデフォルト値のままにしておき、他のノードから参照するようにします。

   2. 設定 offsets.topic.replication.factor= および transaction.state.log.replication.factor= クラスター ノード数にします
   3. 設定 zookeeper.connect= のカンマ区切りリストに <IP address:2181> 対象はクラスター内のすべてのノードです
   4. 追加 advertised.host.name=<the IP address for this node> ファイルの最後に。
3. ファイルを保存します。
4. を開く zookeeper.properties ファイルが同じディレクトリにある場合。
5. 次のプロパティを zookeeper.properties ファイル:
   • initLimit=5
   • syncLimit=2

   • server.X= <IP address of the node>:2888:3888

     「X」の部分は該当するノードの broker.id で置き換えます。クラスターに属する各ノードについて、それぞれ記述してください。

     次にその例を示します。

     コピー

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. というテキスト ファイルを作成 myid 次の のみを含む broker.id ノードのです

   場合 broker.id=1、入力 1。

7. ファイルを ZooKeeper ディレクトリ (/opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper) 以下に保存します。

サービスを再起動

クラスターに属する Kafka ノードすべてでインストールと設定が完了した後、Intelligence Server Producer、Apache ZooKeeper、Apache Kafka、Platform Analytics Consumer / Producer を再起動します。

実際に再起動する前に、設定ファイルの変更をすべて済ませておいてください。たとえば、既存の 1 ノードに加え、さらに 2 つの Kafka ノードを追加する場合、3 つのノードすべてについてインストール、設定を終えてから、サービスを再起動することになります。

他のサービスに依存しているものもあるので、以下に示す順序で起動してください。

Apache Zookeeper

1. Kafka ディレクトリ (/opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0) 以下の bin フォルダーに移動します。
2. 次のコマンドで、全ノード上の ZooKeeper を起動してください。
   コピー

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. 同じフォルダーから、次のコマンドで全ノード上の Kafka を起動します。
   コピー

   ./kafka-server-start.sh -daemon ../config/server.properties

Intelligence Server Producer

1. Command Manager を開き、次のスクリプトを実行します。
   コピー

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   次と置き換え hostname および port Platform Analytics 環境用の新しい Telemetry Server クラスター構成に統合されます

2. Intelligence Server を再起動します。

   Intelligence Server のクラスターがある場合、全ノードを再起動する必要があります。

Platform Analytics Consumer

主ノード上のみで、次のように操作してください。主ノードとは、Platform Analytics Consumer を実行しているノードのことです。

1. を開く PAConsumerConfig.yaml ファイルは、/opt/ MicroStrategy/PlatformAnalytics/conf ディレクトリにあります。
2. このファイルを次のように修正してください。
   1. 設定 kafkaTopicNumberOfReplicas: 簡単に設定できます
   2. 設定 zookeeperConnection: <ipAddress:2181> 対象はクラスター内のすべてのノードです
   3. 設定 bootstrap.servers: <ipAddress:9092> 対象はクラスター内のすべてのノードです
3. ファイルを保存します。
4. Platform Analytics ディレクトリ (/opt/MicroStrategy/PlatformAnalytics) 以下の bin フォルダーに移動します。
5. 次のコマンドを実行します。
   コピー

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

トラブルシューティング

Apache ZooKeeper を起動できない場合、Kafka の設定を確認してください。

1. /opt/MicroStrategy/MessagingServices/Kafka/tmp 以下の kafka-logs フォルダーに移動します。
2. を開く meta.properties ファイルを作成し、 broker.id は、に表示されているものと同じです server.properties。違っていれば、おそらくそれが、Apache ZooKeeper が起動しない原因です。
3. Kafka トピックスにテレメトリーがない場合、Platform Analytics プロジェクトの統計が有効になっているか確認します。Command Manager で次のコマンドを実行してください。
   コピー

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. このコマンドが False を返した場合は次のコマンドを実行します。

   コピー

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS 常に有効にする必要があります。必要な高度な統計を選択するには、パラメーターの後のパラメーターを true/false。基本統計と上級統計の詳細については、「Platform Analytics の統計プロパティ ステートメントのリスト」を参照してください。