Kafka ノードを既存の Kafka クラスターに追加 (インストール終了後)

Platform Analytics のインストール終了後、Telemetry Server を組み込んだ複数のノードを追加して、クラスター化 Telemetry Server を構築できます。クラスター化環境にすると、あるテレメトリー ノードが停止しても、他のノードに残っているテレメトリー ログのコピーが使えることになります。

新しい Kafka ノードを既存の Kafka クラスターに、手動で追加する手順 (Linux 環境の場合) を以下に示します。

1. サービスの無効化
2. Telemetry Server のインストール
3. Kafka の構成
4. サービスの再起動

MicroStrategy 2019 リリースでは、サービス名をいくつか変更しました。このガイドでは基礎となるファイルを変更する必要があるため、オリジナルサービス名。

サービスの無効化

新規 Kafka ノードの設定に当たり、Intelligence Server Producer、Apache ZooKeeper、Apache Kafka、Platform Analytics Consumer / Producer をすべて無効にしておく必要があります。クラスターに組み込み済みのノードがある場合、その全ノードについて、サービスを無効にしてください。

1. Command Manager で次のように実行し、Intelligence Server Producer を無効にします。

   コピー

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   この操作により、MicroStrategy Intelligence Server の標準的な機能に影響が及ぶことはありません。

2. /opt/MicroStrategy/PlatformAnalyticsにあるPlatform Analyticsディレクトリで、ビンフォルダ。
3. 次のコマンドを実行します。
   コピー

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/にあるKafkaディレクトリで、ビンフォルダ。
5. 次のコマンドを実行します。
   コピー

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Telemetry Server のインストール

1. Kafka Server を追加しようとするノード上で、MicroStrategy Installation Wizard を起動します。
2. ウィザードの指示に従って進めてください。
3. インストールする機能を選択するよう求められたら、テレメトリサーバー。

   MicroStrategy Command Manager はデフォルトでインストールされます。

Kafka の構成

全ノード (クラスターに組み込み済みのものを含む) について、以下のように操作してください。

1. 開くサーバーのプロパティファイルは /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/config にあります。
2. ファイルを変更します:
   1. 設定するブローカーID各ノードに固有の値を設定します。

      変更しないでくださいブローカーIDメイン ノード (単一ノードのセットアップ中に構成されたマシン) で。デフォルト値のままにしておき、他のノードから参照するようにします。

   2. セットオフセット.トピック.レプリケーション.係数=そしてトランザクション状態ログレプリケーション係数=クラスター内のノードの数。
   3. セット動物園の飼育係.接続=カンマ区切りのリストに<IPアドレス:2181>クラスター内のすべてのノードに対して。
   4. 追加宣伝されたホスト名=<このノードのIPアドレス>ファイルの末尾に。
3. ファイルを保存します。
4. 開く動物園の飼育係のプロパティ同じディレクトリにファイルが見つかりました。
5. 次のプロパティを末尾に追加します。動物園の飼育係のプロパティファイル：
   • 初期化制限=5
   • 同期制限=2

   • サーバー.X=<ノードのIPアドレス>:2888:3888

     X を参照されているノードの broker.id に置き換えます。クラスターに属する各ノードについて、それぞれ記述してください。

     例えば：

     コピー

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. というテキストファイルを作成しますマイイドのみを含むブローカーIDノードの。

   もしあなたのブローカーID=1、 入力1。

7. ファイルを ZooKeeper ディレクトリ (/opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper) 以下に保存します。

サービスの再起動

クラスターに属する Kafka ノードすべてでインストールと設定が完了した後、Intelligence Server Producer、Apache ZooKeeper、Apache Kafka、Platform Analytics Consumer / Producer を再起動します。

実際に再起動する前に、設定ファイルの変更をすべて済ませておいてください。たとえば、既存の 1 ノードに加え、さらに 2 つの Kafka ノードを追加する場合、3 つのノードすべてについてインストール、設定を終えてから、サービスを再起動することになります。

他のサービスに依存しているものもあるので、以下に示す順序で起動してください。

Apache Zookeeper

1. /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/にあるKafkaディレクトリで、ビンフォルダ。
2. 次のコマンドで、全ノード上の ZooKeeper を起動してください。
   コピー

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. 同じフォルダーから、次のコマンドで全ノード上の Kafka を起動します。
   コピー

   ./kafka-server-start.sh -daemon ../config/server.properties

Intelligence Server Producer

1. コマンド マネージャーを開き、次のスクリプトを実行します。
   コピー

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   交換するホスト名そしてポート Platform Analytics 環境用の新しい Telemetry Server クラスター構成を使用します。

2. Intelligence Server を再起動します。

   Intelligence Server のクラスターがある場合は、すべてのノードを再起動する必要があります。

Platform Analytics Consumer

主ノード上のみで、次のように操作してください。主ノードとは、Platform Analytics Consumer を実行しているノードのことです。

1. 開くPAコンシューマ構成.yaml /opt/MicroStrategy/PlatformAnalytics/conf ディレクトリにあるファイル。
2. ファイルを変更します:
   1. セットkafkaトピックのレプリカ数:クラスター内のノードの数。
   2. セット動物園飼育員接続:< ipアドレス:2181>クラスター内のすべてのノードに対して。
   3. セットブートストラップサーバー:< ipアドレス:9092>クラスター内のすべてのノードに対して。
3. ファイルを保存します。
4. /opt/MicroStrategy/PlatformAnalyticsにあるPlatform Analyticsディレクトリで、ビンフォルダ。
5. 次のコマンドを実行します。
   コピー

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

トラブルシューティング

Apache ZooKeeper を起動できない場合、Kafka の設定を確認してください。

1. /opt/MicroStrategy/MessagingServices/Kafka/tmp 以下の kafka-logs フォルダーに移動します。
2. 開くメタプロパティファイルを確認し、ブローカーIDは、サーバーのプロパティ。違っていれば、おそらくそれが、Apache ZooKeeper が起動しない原因です。
3. Kafka トピックスにテレメトリーがない場合、Platform Analytics プロジェクトの統計が有効になっているか確認します。Command Manager で次のコマンドを実行してください。
   コピー

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. コマンドが返された場合間違い、 走る：

   コピー

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   基本統計常に有効にする必要があります。どのような高度な統計情報が必要かを選択するには、その後のパラメータを変更します。真偽。見るプラットフォーム分析統計プロパティステートメントの一覧基本統計と高度な統計の詳細については、こちらをご覧ください。