설치 후 기존 Kafka 클러스터에 추가 Kafka 노드 추가

Platform Analytics 초기 설치가 완료되면 Telemetry Server를 포함하는 여러 노드를 추가하여 클러스터된 Telemetry Server를 생성할 수 있습니다. 클러스터된 환경에서는 원격 측정 노드가 다운된 경우 다른 노드의 원격 측정 노드의 복사본을 이용할 수 있습니다.

Linux 환경에서 기존의 Kafka 클러스터에 새로운 Kafka 노드를 수동으로 추가하려면 다음 단계를 수행합니다.

1. 서비스 비활성화
2. Telemetry Server 설치
3. Kafka 구성
4. 서비스 다시 시작

여러 서비스의 이름이 다음에서 변경되었습니다. MicroStrategy 2019년 출시. 이 안내서에서는 기본 파일을 수정해야 하기 때문에 원래 서비스 이름을 사용합니다.

서비스 비활성화

새로운 Kafka 노드를 구성하기 전에, Intelligence Server Producer, Apache ZooKepper, Apache Kafka, Platform Analytics Consumer 및 Producer가 비활성화되었는지 확인합니다. 클러스터에 이미 두 개 이상의 노드가 있는 경우, 모든 노드에서 서비스를 비활성화합니다.

1. Command Manager에서 다음을 실행하여 Intelligence Server Producer를 비활성화합니다.

   복사

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES FALSE;

   이 작업은 표준에 영향을 미치지 않습니다. MicroStrategy Intelligence Server 기능.

2. Platform Analytics 디렉터리(/opt/에 있음)MicroStrategy/PlatformAnalytics, 다음을 엽니다. 큰 상자 폴더.
3. 다음 명령을 실행합니다.
   복사

   ./platform-analytics-consumer.sh stop
   ./platform-analytics-usher-lookup-producer.sh stop

4. /opt/에 있는 Kafka 디렉터리에서MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, 다음을 엽니다. 큰 상자 폴더.
5. 다음 명령을 실행합니다.
   복사

   ./kafka-server-stop.sh
   ./zookeeper-server-stop.sh

Telemetry Server 설치

1. 열기 MicroStrategy 추가 Kafka 서버를 추가하려는 노드의 설치 마법사입니다.
2. 마법사의 지시에 따라 단계를 수행합니다.
3. 설치할 기능을 선택하라는 메시지가 표시되면 Telemetry Server를 선택합니다.

   MicroStrategy Command Manager 기본적으로 설치됩니다.

Kafka 구성

클러스터에 이미 존재하는 노드를 포함하여 모든 노드에 대해 다음 단계를 수행합니다.

1. 열기 서버.속성 /opt/에 있는 파일MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/config.
2. 파일을 다음과 같이 수정합니다.
   1. broker.id를 각 노드에 대해 고유한 값으로 설정합니다.

      기본 노드(단일 노드 설정 중 구성된 시스템)의 broker.id는 변경하지 마십시오. 기본값으로 유지하여 다른 노드에서 참조해야 합니다.

   2. offsets.topic.replication.factor=와 transaction.state.log.replication.factor=를 클러스터에 있는 노드의 수로 설정합니다.
   3. 클러스터의 모든 노드에 대하여 zookeeper.connect=를 <IP 주소:2181>의 쉼표로 구분된 목록으로 설정합니다.
   4. 파일 끝에 advertised.host.name=<이 노드의 IP 주소>를 추가합니다.
3. 파일을 저장합니다.
4. 동일한 디렉터리에 있는 zookeeper.properties 파일을 엽니다.
5. zookeeper.properties 파일 끝에 다음 속성을 추가합니다.
   • initLimit=5
   • syncLimit=2

   • server.X= <노드의 IP 주소>:2888:3888

     X를 참조되는 노드의 broker.id로 대체합니다. 클러스터의 노드 각각에 대해 별도의 항목을 만들어야 합니다.

     예:

     복사

     initLimit=5
     syncLimit=2
     server.0=10.27.18.73:2888:3888
     server.1=10.27.18.224:2888:3888

6. 해당 노드의 broker.id만 포함하는 myid라는 이름의 텍스트 파일을 만듭니다.

   broker.id=1인 경우 1을 입력합니다.

7. /opt/에 있는 ZooKeeper 디렉터리에 파일을 저장합니다.MicroStrategy/MessagingServices/Kafka/tmp/zookeeper.

서비스 다시 시작

클러스터의 모든 Kafka 노드에서 설치 및 구성을 완료한 후 Intelligence Server Producer, Apache ZooKepper, Apache Kafka, Platform Analytics Consumer 및 Producer를 다시 시작합니다.

서비스를 다시 시작할 때에는 모든 구성 파일 변경을 먼저 완료하는 것이 중요합니다. 예를 들어 기존의 노드 하나에 Kafka 노드를 두 개 더 추가할 경우, 서비스를 다시 시작하기 전에 세 노드 모두에서 설치 및 구성을 완료해야 합니다.

또한, 일부 서비스는 상호 의존적이므로 다음 순서로 서비스를 시작해야 합니다.

Apache Zookeeper

1. Kafka 디렉터리의 /opt/에 있습니다.MicroStrategy/MessagingServices/Kafka/kafka_2.11-1.1.0/, 다음을 엽니다. 큰 상자 폴더.
2. 다음을 실행하여 모든 노드에서 ZooKeeper를 시작합니다.
   복사

   ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

Apache Kafka

1. 동일한 폴더에서 다음을 실행하여 모든 노드에서 Kafka를 시작합니다.
   복사

   ./kafka-server-start.sh -daemon ../config/server.properties

Intelligence Server Producer

1. Command Manager를 열고 다음 스크립트를 실행합니다.
   복사

   ALTER SERVER CONFIGURATION ENABLEMESSAGINGSERVICES TRUE CONFIGUREMESSAGINGSERVICES "bootstrap.servers:10.27.16.225:9092,10.27.19.34:9092/batch.num.messages:5000/queue.buffering.max.ms:2000";

   호스트이름과 포트를 Platform Analytics 환경을 위한 새로운 Telemetry Server 클러스터 구성으로 대체합니다.

2. Intelligence Server를 다시 시작합니다.

   Intelligence Server 클러스터가 있다면 모든 노드를 다시 시작해야 합니다.

Platform Analytics Consumer

기본 노드에서 다음 단계만 수행하십시오. 기본 노드는 Platform Analytics Consumer를 실행하는 노드입니다.

1. 열기 PAConsumerConfig.yaml /opt/에 있는 파일MicroStrategy/PlatformAnalytics/conf 디렉터리.
2. 파일을 다음과 같이 수정합니다.
   1. kafkaTopicNumberOfReplicas:을 클러스터의 노드 수로 설정합니다.
   2. 세트 사육사연결: <ipAddress:2181> 클러스터의 모든 노드에 대해.
   3. 세트 bootstrap.서버: <ipAddress:9092> 클러스터의 모든 노드에 대해.
3. 파일을 저장합니다.
4. Platform Analytics 디렉터리(/opt/에 있음)MicroStrategy/PlatformAnalytics, 다음을 엽니다. 큰 상자 폴더.
5. 다음 명령을 실행합니다.
   복사

   ./platform-analytics-consumer.sh start
   ./platform-analytics-usher-lookup-producer.sh start

문제 해결

Apache ZooKeeper를 시작할 수 없는 경우 Kafka가 완전히 구성되었는지 확인합니다.

1. /opt/에 있는 kafka-logs 폴더를 엽니다.MicroStrategy/MessagingServices/Kafka/tmp.
2. meta.properties 파일을 열고 broker.id가 server.properties에 표시된 것과 동일한지 확인합니다. 차이가 있는 경우 이로 인해 Apache ZooKeeper가 시작되지 않을 수 있습니다.
3. Kafka 항목에 원격 측정이 없는 경우 Command Manager에서 다음 명령을 실행하여 Platform Analytics 프로젝트에 대해 통계가 활성화되어 있는지 확인합니다.
   복사

   LIST ALL PROPERTIES FOR PASTATISTICS IN PROJECT "Platform Analytics";

4. 이 명령이 False를 반환할 경우 다음을 실행합니다.

   복사

   ALTER PASTATISTICS BASICSTATS ENABLED DETAILEDREPJOBS TRUE DETAILEDDOCJOBS TRUE JOBSQL TRUE COLUMNSTABLES TRUE IN PROJECT "Platform Analytics";

   BASICSTATS는 항상 활성화 상태여야 합니다. 그 뒤의 매개 변수를 true/false로 변경하여 어떤 종류의 고급 통계가 필요한지 선택합니다. 보다 플랫폼 분석 통계 속성 설명 나열 기본 통계와 고급 통계에 대한 자세한 내용은