설치 후 기존 Kafka 클러스터에 추가 Kafka 노드 추가

Platform Analytics 초기 설치가 완료되면 Telemetry Server를 포함하는 여러 노드를 추가하여 클러스터된 Telemetry Server를 생성할 수 있습니다. 클러스터된 환경에서는 원격 측정 노드가 다운된 경우 다른 노드의 원격 측정 노드의 복사본을 이용할 수 있습니다.

Linux 환경에서 기존의 Kafka 클러스터에 새로운 Kafka 노드를 수동으로 추가하려면 다음 단계를 수행합니다.

1. 서비스 비활성화
2. Telemetry Server 설치
3. Kafka 구성
4. 서비스 다시 시작

MicroStrategy 2019 릴리스에서는 여러 서비스의 이름이 바뀌었습니다. 이 안내서에서는 기본 파일을 수정해야 하기 때문에 원래 서비스 이름을 사용합니다.

서비스 비활성화

새로운 Kafka 노드를 구성하기 전에, Intelligence Server Producer, Apache ZooKepper, Apache Kafka, Platform Analytics Consumer 및 Producer가 비활성화되었는지 확인합니다. 클러스터에 이미 두 개 이상의 노드가 있는 경우, 모든 노드에서 서비스를 비활성화합니다.

1. Command Manager에서 다음을 실행하여 Intelligence Server Producer를 비활성화합니다.

   복사

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   이 작업은 표준 MicroStrategy Intelligence Server 기능에 영향을 미치지 않습니다.

2. /opt/MicroStrategy/PlatformAnalytics에 있는 Platform Analytics 디렉터리에서 bin 폴더를 엽니다.
3. 다음 명령을 실행합니다.
   복사

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/에 있는 Kafka 디렉터리에서 bin 폴더를 엽니다.
5. 다음 명령을 실행합니다.
   복사

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Telemetry Server 설치

1. Kafka Server를 더 추가할 노드에서 MicroStrategy Installation Wizard를 엽니다.
2. 마법사의 지시에 따라 단계를 수행합니다.
3. 설치할 기능을 선택하라는 메시지가 표시되면 Telemetry Server를 선택합니다.

   MicroStrategy Command Manager는 기본적으로 설치되어 있습니다.

Kafka 구성

클러스터에 이미 존재하는 노드를 포함하여 모든 노드에 대해 다음 단계를 수행합니다.

1. 열기 server.properties 파일을 /pt/ MicroStrategy/Messing Services/kafka/kafka_2.11-1.1.0/config에 있습니다.
2. 파일을 다음과 같이 수정합니다.
   1. 설정 broker.id 을(를) 각 노드의 고유 값으로 변경합니다.

      변경 안 함 broker.id 주 노드(단일 노드 설정 중에 구성된 시스템)에서 확인합니다. 기본값으로 유지하여 다른 노드에서 참조해야 합니다.

   2. 설정 offsets.topic.replication.factor= 및 transaction.state.log.replication.factor= 클러스터의 노드 수로 변경할 수 있습니다.
   3. 설정 zookeeper.connect= 쉼표로 구분된 목록에 <IP address:2181> 클러스터의 모든 노드에 대해 .
   4. 추가 advertised.host.name=<the IP address for this node> .
3. 파일을 저장합니다.
4. 열기 zookeeper.properties 같은 디렉터리에서 개의 파일을 찾았습니다.
5. 다음 속성을 의 끝에 추가합니다. zookeeper.properties 파일:
   • initLimit=5
   • syncLimit=2

   • server.X= <IP address of the node>:2888:3888

     X를 참조되는 노드의 broker.id로 대체합니다. 클러스터의 노드 각각에 대해 별도의 항목을 만들어야 합니다.

     예:

     복사

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. 이라는 텍스트 파일을 만듭니다. myid 만 포함 broker.id 노드의.

   경우 broker.id=1, 입력 1.

7. /opt/MicroStrategy/MessagingServices/Kafka/tmp/zookeeper에 있는 ZooKeeper 디렉터리에 파일을 저장합니다.

서비스 다시 시작

클러스터의 모든 Kafka 노드에서 설치 및 구성을 완료한 후 Intelligence Server Producer, Apache ZooKepper, Apache Kafka, Platform Analytics Consumer 및 Producer를 다시 시작합니다.

서비스를 다시 시작할 때에는 모든 구성 파일 변경을 먼저 완료하는 것이 중요합니다. 예를 들어 기존의 노드 하나에 Kafka 노드를 두 개 더 추가할 경우, 서비스를 다시 시작하기 전에 세 노드 모두에서 설치 및 구성을 완료해야 합니다.

또한, 일부 서비스는 상호 의존적이므로 다음 순서로 서비스를 시작해야 합니다.

Apache Zookeeper

1. /opt/MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/에 있는 Kafka 디렉터리에서 bin 폴더를 엽니다.
2. 다음을 실행하여 모든 노드에서 ZooKeeper를 시작합니다.
   복사

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. 동일한 폴더에서 다음을 실행하여 모든 노드에서 Kafka를 시작합니다.
   복사

   ./kafka-server-start.sh -daemon ../config/server.properties

Intelligence Server Producer

1. Command Manager를 열고 다음 스크립트를 실행합니다.
   복사

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   교체 hostname 및 port Platform Analytics 환경을 위한 새 Telemetry Server 클러스터 구성으로 을(를) 사용하십시오.

2. Intelligence Server를 다시 시작합니다.

   Intelligence Server 클러스터가 있다면 모든 노드를 다시 시작해야 합니다.

Platform Analytics Consumer

기본 노드에서 다음 단계만 수행하십시오. 기본 노드는 Platform Analytics Consumer를 실행하는 노드입니다.

1. 열기 PAConsumerConfig.yaml /pt/ MicroStrategy/PpatformAnalytics/conf 디렉터리에 있는 파일을 만듭니다.
2. 파일을 다음과 같이 수정합니다.
   1. 설정 kafkaTopicNumberOfReplicas: 클러스터의 노드 수로 확장합니다.
   2. 설정 zookeeperConnection: <ipAddress:2181> 클러스터의 모든 노드에 대해 .
   3. 설정 bootstrap.servers: <ipAddress:9092> 클러스터의 모든 노드에 대해 .
3. 파일을 저장합니다.
4. /opt/MicroStrategy/PlatformAnalytics에 있는 Platform Analytics 디렉터리에서 bin 폴더를 엽니다.
5. 다음 명령을 실행합니다.
   복사

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

문제 해결

Apache ZooKeeper를 시작할 수 없는 경우 Kafka가 완전히 구성되었는지 확인합니다.

1. /opt/MicroStrategy/MessagingServices/Kafka/tmp에 있는 kafka-logs 폴더를 엽니다.
2. 열기 meta.properties 파일을 만들고 broker.id 은(는) 에 표시되는 것과 동일합니다. server.properties. 차이가 있는 경우 이로 인해 Apache ZooKeeper가 시작되지 않을 수 있습니다.
3. Kafka 항목에 원격 측정이 없는 경우 Command Manager에서 다음 명령을 실행하여 Platform Analytics 프로젝트에 대해 통계가 활성화되어 있는지 확인합니다.
   복사

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. 이 명령이 False를 반환할 경우 다음을 실행합니다.

   복사

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS 이(가) 항상 활성화되어야 합니다. 이후의 매개 변수를 으로 변경하여 어떤 고급 통계가 필요한지 선택하십시오. true/false. 참조 Platform Analytics 통계 속성 문 나열기본 통계 및 고급 통계에 대한 자세한 내용은 을(를) 참조하십시오.