MicroStrategy ONE
PAConsumerConfig.yaml 파일을 사용한 Platform Analytics 구성
Platform Analytics는 텔레메트리 저장소(이전의 Platform Analytics 소비자) 및 ID 텔레메트리 공급자(이전의 Usher 메타데이터 공급자)에 대한 모든 구성 매개 변수를 PAConsumerConfig.yaml 개 파일. Platform Analytics 아키텍처 참조에 대한 자세한 내용은 Platform Analytics 아키텍처 및 서비스를 참조하십시오.
YAML 파일 구조는 릴리스마다 새로운 구성 매개 변수나 Telemetry Server 항목으로 업데이트됩니다. 수정 가능한 모든 값은 업그레이드 후에도 유지되기 때문에 사용자 지정된 매개 변수는 손실되지 않습니다. 그러나 새로 추가된 모든 필드는 업그레이드 후에 기본값으로 설정됩니다.
YAML 파일은 MicroStrategy설치 마법사를 사용하여 Platform Analytics가 설치된 시스템에 있습니다.
기본 경로는 다음과 같습니다.
- Linux: /opt/MicroStrategy/PlatformAnalytics/Conf
- Windows: C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf
YAML 파일 읽는 법
YAML 파일에서는 중첩된 값을 표현하기 위해 들여쓰기가 사용됩니다. 예:
parentConfig:
numberOfConsumers: 1
pollTimeoutMillisec: 1000
kafkaProperties:
bootstrap.servers: "10.27.17.167:9092"YAML은 key: value . 콜론 뒤에는 공백 하나가 필요합니다.
YAML 기능에 대한 자세한 내용은 Learn YAML in Y minutes(Y분 만에 YAML 알아보기)를 참조하십시오.
PAConsumerConfig.yaml 사양
해당 PAConsumerConfig 파일은 다음 부분으로 구성됩니다.
- paParentConfig: 전반에 걸쳐 Telemetry Server(kafka) 및 Telemetry Manager(Zokeeper)에 대한 공통 구성 TopicsGroups
- paEtlConfig: 데이터 처리를 수행할 텔레메트리 저장소(플랫폼 분석 소비자)의 구성입니다.
- usherServerConfig: ID 메타데이터 정보를 수집하기 위해 Identity Server 데이터베이스에 연결하기 위한 연결 구성 매개 변수입니다.
- paTopicsGroupList: Telemetry Server 목록 TopicsGroups 및 개 구성입니다.
각 topicsGroup 에서 설정을 상속합니다. defaultConfig 및 parentConfig. 각 topicsGroup 은(는) 상속한 특정 설정을 무시할 수도 있습니다.
아래는 샘플입니다. PAConsumerConfig.yaml 개 파일. 최신 버전은 설치된 파일을 참조하십시오.
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword:
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
beaconDedup: true
locationDedup: true
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd:
whPort: 3306
whDb: platform_analytics_wh
whClientCertificateKeyStore:
whClientCertificateKeyStoreType:
whClientCertificateKeyStorePassword:
whTrustCertificateKeyStore:
whTrustCertificateKeyStoreType:
whTrustCertificateKeyStorePassword:
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey:
googleApiClientId:
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLog상위 구성 설정
해당 paParentConfig 설정은 Telemetry Server(kafka) 및 Telemetry Manager(Zokeeper)에 대한 공통 구성입니다. TopicsGroups. 예:
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
다음은 두 가지에 대해 정의된 설정입니다. paParentConfig 및 topicsGroup 구성, defaultConfig .
| 이름 | 기본값 | 설명 |
|---|---|---|
| consumerGroupSuffix | ~ (NULL 값) |
이 필드는 프로덕션 환경에서 데이터를 테스트하거나 복구하는데 사용됩니다. 다음에 추가됨 topicsGroup 이름은 실제 소비자 그룹 ID를 구성합니다( group.id). 이 필드는 주요 용도는 새로운 소비자 그룹 ID를 생성하기 위해 속성을 변경하는 것입니다. 새로운 소비자 그룹 ID를 생성하면 Telemetry Server 항목에 남아 있는 모든 레코드가 다시 처리됩니다. 예를 들어, Platform Analytics Warehouse(PA WH)를 다시 채우려면 PA 사용자 지정 설치 프로그램을 사용하여 PA WH를 다시 초기화한 후 이 속성을 고유 문자열로 수정하면 됩니다. 이 고유 문자열은 동일 환경에서 이전에 사용되지 않은 문자열이어야 합니다. 내부에 타임스탬프를 포함하는 전략이 권장됩니다. 예 reProcess_in adjusted_log_johndoe_1330111282018 |
| overrideKafkaOffsets | true |
경우 true, 은(는) 데이터베이스의 주제 파티션 오프셋 값을 사용하여 시작 시 지정된 소비자 그룹에 대한 Kafka 오프셋을 설정합니다. 경우 false, 은(는) Kafka에 저장된 오프셋 값을 사용합니다. 이 구성을 기본값으로 유지하는 것이 좋습니다. |
| kafkaTopicNumberOfReplicas | 1 또는 Telemetry Server 수 |
이것은 모든 Telemetry Server 항목에 대해 구성된 복제 요소입니다. Telemetry Server 클러스터가 설치되었는지 또는 단일 노드인지에 따라 Platform Analytics를 설치하는 동안 설정됩니다. Kafka의 실패 허용 오차를 활용하려면 클러스터된 Telemetry Server 노드의 수와 이 값이 일치해야 합니다. |
| kafkaTopicsDoNotCreateList | 빈 문자열 | 아래의 주제 목록 topicsGroupList 이는 시작 시 텔레메트리 저장소(플랫폼 분석 소비자)에 의해 생성되지 않습니다. 이 필드는 수정할 수 없습니다. |
| zooKeeperConnection | 127.0.0.1:2181 또는 미리 구성된 Zookeeper 클러스터 쿼럼 |
쉼표로 구분된 Telemetry Manager(Zookeeper) 클러스터 구성. 예: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3 기본 포트는 2181이며, Platform Analytics 설치 중에 설정됩니다. |
| ignoreUsherTopics | false |
이 값은 Identity Server가 설치 여부에 따라 Platform Analytics를 설치하는 동안 설정됩니다. false Identity Server가 설치 및 구성된 경우 true Identity Server가 설치되지 않은 경우입니다. |
| bootstrap.servers | 127.0.0.1:9092 또는 미리 구성된 Kafka 중개 쿼럼 |
쉼표로 구분되는 Telemetry Server(Kafka) 클러스터 구성(예: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3) 기본 포트는 9092로, Platform Analytics를 설치하는 동안 설정됩니다. |
PAEtlConfig 설정
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword: ~
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
currentFactDataKeepDays: 180
beaconDedup: true
locationDedup: true
whDbType: postgresql
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd: r9oJP5d6
whPort: 3306
whDb: platform_analytics_wh
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey: ~
googleApiClientId: ~
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup다음은 에 정의된 설정입니다. paEtlConfig, 함께 defaultConfig .
| 이름 | 기본값 | 설명 |
|---|---|---|
| redisServer | 127.0.0.1 |
Telemetry Cache(Redis 서버)에 대한 정규화된 도메인 이름(FQDN) 또는 IP. 최고의 성능을 얻으려면 로컬 Telemetry Cache 인스턴스를 사용합니다. |
| redisPort | 6379 |
Telemetry Cache(Redis 서버)용 포트. 기본 값 6379으로, 설치 중에 설정됩니다. |
| redisPassword | 빈 문자열 |
암호 인증이 활성화된 경우 Telemetry Cache(Redis 서버)에 연결하기 위한 암호. 기본적으로 암호 인증은 활성화되어 있지 않습니다. |
| scheduleHour | 5 |
Platform Analytics 일별 EDL이 시작되도록 지정된 시간입니다. 기본값 |
| scheduleMin | 2 | Platform Analytics Daily ETL이 실행되도록 예약된 시간의 분. 기본값 2 은(는) 예약된 시간 2분을 의미합니다. |
| viewCutoffRangeInDays | 14 |
다시 게시하는 동안 Platform Analytics Cube의 테이블 보기가 메모리에 유지하는 데이터의 일수. 예를 들어 기본값 14일은 테이블 보기와 Platform Analytics Cube가 마지막 연속 14일 동안의 데이터를 포함한다는 의미입니다. Platform Analytics 프로젝트 스키마에서 반환된 데이터는 제한되지 않습니다. 자세한 내용은 Platform Analytics 큐브에 대하여 메모리 내부에서 반환된 데이터의 양 수정을 참조하십시오. |
| currentFactDataKeepDays | 180 |
Platform Analytics 리포지토리의 현재 팩트 테이블이 보유할 데이터 일 수입니다. PostgreSQL 웨어하우스의 경우 데이터량이 매우 클 수 있는 일부 팩트 테이블에 대한 기록 테이블을 생성합니다. Access_트랜잭션과 유사, 팩트_SQL_stats. 기록 테이블 이름은 접두어 "history_"로 시작합니다. 예를 들어, 180일 기본값은 현재 팩트 테이블에 지난 180일의 데이터가 포함됨을 의미합니다. 다른 모든 데이터는 기록 팩트 테이블에 저장됩니다. |
| beaconDedup | true |
MicroStrategy Badge 비콘 추적 데이터의 중복 제거를 켤지 여부를 결정하는 플래그. 경우 true인 경우, Telemetry Store ETLS는 모든 조건이 충족되는 경우 중복 비콘 작업을 제거합니다. 동일 사용자의 로그 동일 비콘과의 상호 작용 180초 내 이 플래그를 켜면 과도한 데이터 수집 없이 분석을 위한 최소 유효 데이터 포인트를 유지할 수 있습니다. |
| locationDedup | true |
MicroStrategy Badge 위치 추적 데이터의 중복 제거를 켤지 여부를 결정하는 플래그. 경우 true, Telemetry Store ETLS는 모든 조건이 충족되는 경우 중복 위치 추적 작업을 제거합니다. 동일 사용자의 로그 60초 이내 이 플래그를 켜면 과도한 데이터 수집 없이 분석을 위한 최소 유효 데이터 포인트를 유지할 수 있습니다. |
|
whDbType |
PostgreSQL |
Platform Analytics 저장소로 사용된 기본 데이터베이스 유형입니다. MicroStrategy 2020 부터 기본 데이터베이스는 " PostgreSQL" 이지만 "mySQL" 데이터베이스 유형도 지원할 수 있습니다. |
| whHost | 설치를 통해 사전 구성됨 | Telemetry Store가 리포팅을 위해 데이터를 저장하는 Platform Analytics 저장소의 정규화된 도메인 이름(FQDN) 또는 IP. |
| whUser | 설치를 통해 사전 구성됨 | Telemetry Store가 리포팅을 위해 데이터를 저장하는 Platform Analytics 저장소에 연결하기 위해 사용되는 사용자 이름. |
| whPasswd | 설치를 통해 사전 구성됨 | Telemetry Store가 리포팅을 위해 데이터를 저장하는 Platform Analytics 저장소에 연결하기 위해 사용되는 사용자 암호. |
| whPort | 3306 |
연결할 MySQL 데이터베이스 서버의 포트. Platform Analytics 저장소(MySQL Server Database)용 포트. 기본값은 설치 중에 설정되는 3306입니다. |
| whDb | platform_analytics_wh |
Platform Analytics 웨어하우스의 데이터베이스. 이 항목은 변경해서는 안 됩니다. |
|
pgWhHost |
localhost |
Platform Analytics 저장소에 사용된 PostgreSQL 데이터베이스의 FQDN(정규화된 도메인 이름) 또는 IP입니다. Platform Analytics를 설치한 시스템에 PostgreSQL Server를 설치하므로 기본값은 "localhost"입니다. |
|
pgWhUser |
mstr_ta |
Telemetry Store가 리포팅을 위해 데이터를 저장할 Platform Analytics 저장소에 연결하는 데 사용되는 PostgreSQL 데이터베이스 사용자 이름입니다. |
|
pgWhPasswd |
설치를 통해 사전 구성됨 |
Telemetry Store가 리포팅을 위해 데이터를 저장할 플랫폼 분석 저장소에 연결하는 데 사용되는 사용자의 PostgreSQL 데이터베이스 암호입니다. 이 암호는 설치 중에 암호화됩니다. 암호화되지 않은 암호는 (Windows: C:\Pro그램 파일 (x86)\ 공통 파일\ MicroStrategy\ 또는 Linux: ./install/Repository/) |
|
pgWhPort |
5432 |
연결할 PostgreSQL 데이터베이스 서버의 포트입니다. Platform Analytics 저장소( PostgreSQL Server 데이터베이스)의 포트입니다. 기본값은 설치 중에 설정되는 5432입니다. |
|
pgWhDb |
platform_analytics_wh |
Platform Analytics 웨어하우스의 데이터베이스. 이 항목은 변경해서는 안 됩니다. |
| pgWhSSLcert | 빈 문자열 | 향후 SSL 인증 지원용. |
| pgWhSSLkey | 빈 문자열 | 향후 SSL 인증 지원용. |
| pgWhSSLrootcert | 빈 문자열 | 향후 SSL 인증 지원용. |
| pgWhSSLmode | 빈 문자열 | 향후 SSL 인증 지원용. |
| geoLocationTopic | Mstr.PlatformAnalytics.Geolocation |
MicroStrategy Badge 모바일 앱의 위치 데이터 지오코딩 처리를 위한 Telemetry Server(Kafka) 항목. 이 항목은 변경해서는 안 됩니다. |
| kafkaHealthCheckTopic | mstr-pa-health-check |
상태 점검에 사용되는 Telemetry Serve (Kafka) 항목. 이 항목은 변경해서는 안 됩니다. |
| usherProducerKeys |
SourceProvisionBadgePhone SourceProvisionOrganization SourceEnvironmentVariables SourceOrganization SourceOrganizationBadge SourceBadgeAdminRole SourceBadge SourceGateway SourceGatewayHierarchyAndDef SourceBeacon SourceDevice |
이 항목은 변경해서는 안 됩니다. |
| logging | True | Google 지오코딩 API 사용 로깅 활성화 여부를 결정하는 플래그. |
| alerting | True | Google 지오코딩 API 사용 로깅 활성화 여부를 결정하는 플래그. |
| googleApiKey | 빈 문자열 |
비즈니스 할당량으로 Google 지오코딩 API 호출을 가능하게 하는 비즈니스 키. |
| googleApiClientId | 빈 문자열 | 비즈니스 할당량으로 Google 지오코딩 API 호출을 가능하게 하는 비즈니스 키. |
| businessQuota | 100000 | 개발자 또는 비즈니스 키 없이 Google 지오코딩 API 호출을 할 수 있는 일일 할당량. |
| callLimit | 1000 | 내부 전용입니다. |
| sleepTimeQuery | 5 |
위치 데이터 처리를 위한 Google 지오코딩 API 호출 간에 일시 중지할 시간(초). 이 항목은 변경해서는 안 됩니다. |
| usherLookupTopic | Mstr.PlatformAnalytics.UsherLookup |
Usher 서버 메타데이터 정보 원격 측정에 사용되는 Kafka 항목. 이 항목은 변경해서는 안 됩니다. |
UsherServerConfig 설정
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:다음은 에 정의된 설정입니다. usherServerConfig, 함께 defaultConfig .
| 이름 | 기본값 | 설명 |
|---|---|---|
| usherServerMysqlAesKeyPath | 설치를 통해 사전 구성됨 | 암호 해독에 사용되는 AES 키 파일 경로 |
| usherServerUrl | 설치를 통해 사전 구성됨 | Usher Server 메타 정보 데이터베이스에 연결하기 위한 JDBC 연결 URL. |
| usherServerUser | 설치를 통해 사전 구성됨 | Usher Server 메타 정보 데이터베이스에 연결하기 위한 사용자 이름. |
| usherServerPassword | 설치를 통해 사전 구성됨 | Usher Server 메타 정보 데이터베이스에 연결하기 위한 암호. |
PAT픽 그룹 목록 설정
에서만 정의되는 다음 설정은 topicsGroup 레벨, 아닌 ParentConfig.
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLog다음은 에 정의된 설정입니다. paTopicsGroupList.
| 이름 | 설명 |
|---|---|
| name | 의 이름 topicsGroup. 모든 중에서 고유해야 함 topicsGroup 이름 |
| numberOfConsumers | 이 에 할당된 소비자 프로세스 수 topicsGroup 소비자 그룹을 구성할 때 |
| usherFlag | true 이 경우 topicGroup 은(는) Usher 관련입니다. |
| topics | 의 소비자가 topicsGroup 구독합니다. |