MicroStrategy ONE
PAConsumerConfig.yaml 파일을 사용한 Platform Analytics 구성
Platform Analytics는 Telemetry Store(이전의 Platform Analytics 소비자) 및 Identity Telemetry 생산자(이전의 Platform Analytics Consumer)에 대한 모든 구성 매개변수를 저장합니다. Usher 메타데이터 생산자) PAConsumerConfig.yaml 파일. Platform Analytics 아키텍처 참조에 대한 자세한 내용은 Platform Analytics 아키텍처 및 서비스를 참조하십시오.
YAML 파일 구조는 릴리스마다 새로운 구성 매개 변수나 Telemetry Server 항목으로 업데이트됩니다. 수정 가능한 모든 값은 업그레이드 후에도 유지되기 때문에 사용자 지정된 매개 변수는 손실되지 않습니다. 그러나 새로 추가된 모든 필드는 업그레이드 후에 기본값으로 설정됩니다.
YAML 파일은 MicroStrategy설치 마법사를 사용하여 Platform Analytics가 설치된 시스템에 있습니다.
기본 경로는 다음과 같습니다.
- Linux: /고르다/MicroStrategy/플랫폼분석/Conf
- Windows: C:\프로그램 파일(x86)\MicroStrategy\플랫폼 분석\conf
YAML 파일 읽는 법
YAML 파일에서는 중첩된 값을 표현하기 위해 들여쓰기가 사용됩니다. 예:
parentConfig:
numberOfConsumers: 1
pollTimeoutMillisec: 1000
kafkaProperties:
bootstrap.servers: "10.27.17.167:9092"YAML은 key: value 표기법을 사용합니다. 콜론 뒤에는 공백 하나가 필요합니다.
YAML 기능에 대한 자세한 내용은 Learn YAML in Y minutes(Y분 만에 YAML 알아보기)를 참조하십시오.
PAConsumerConfig.yaml 사양
PAConsumerConfig 파일은 다음과 같은 부분으로 구성됩니다.
- paParentConfig: TopicsGroups 전체의 Telemetry Server(Kafka) 및 Telemetry Manager(Zookeeper)에 대한 일반 구성
- paEtlConfig: 데이터 처리를 수행하기 위한 Telemetry Store(Platform Analytics Consumer) 구성입니다.
- usherServerConfig: Identity 메타데이터 정보를 수집하기 위해 Identity Server 데이터베이스에 연결하기 위한 연결 구성 매개변수입니다.
- paTopicsGroupList: 텔레메트리 서버 목록 주제그룹 그리고 그들의 구성.
각 topicsGroup은 defaultConfig 및 parentConfig의 설정을 상속합니다. 각 topicsGroup은 상속하는 특정 설정을 덮어쓸 수도 있습니다.
아래는 샘플 PAConsumerConfig.yaml 파일입니다. 최신 버전은 설치된 파일을 참조하십시오.
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword:
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
beaconDedup: true
locationDedup: true
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd:
whPort: 3306
whDb: platform_analytics_wh
whClientCertificateKeyStore:
whClientCertificateKeyStoreType:
whClientCertificateKeyStorePassword:
whTrustCertificateKeyStore:
whTrustCertificateKeyStoreType:
whTrustCertificateKeyStorePassword:
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey:
googleApiClientId:
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLogpaParentConfig 설정
paParentConfig 설정은 TopicsGroups 전체의 Telemetry Server(Kafka) 및 Telemetry Manager(Zookeeper)에 대한 일반 구성입니다. 예:
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
아래는 각 설정에 대한 defaultConfig 값과 함께 paParentConfig 및 topicsGroup 구성 모두에 대해 정의된 설정입니다.
| 이름 | 기본값 | 설명 |
|---|---|---|
| 소비자그룹접미사 | ~(Null 값) |
이 필드는 프로덕션 환경에서 데이터를 테스트하거나 복구하는데 사용됩니다. topicsGroup 이름에 추가되어 실제 소비자 그룹 ID(group.id라고도 함)를 구성합니다. 이 필드는 주요 용도는 새로운 소비자 그룹 ID를 생성하기 위해 속성을 변경하는 것입니다. 새로운 소비자 그룹 ID를 생성하면 Telemetry Server 항목에 남아 있는 모든 레코드가 다시 처리됩니다. 예를 들어, Platform Analytics Warehouse(PA WH)를 다시 채우려면 PA 사용자 지정 설치 프로그램을 사용하여 PA WH를 다시 초기화한 후 이 속성을 고유 문자열로 수정하면 됩니다. 이 고유 문자열은 동일 환경에서 이전에 사용되지 않은 문자열이어야 합니다. 내부에 타임스탬프를 포함하는 전략이 권장됩니다. 예 reprocess_incorrect_log_johndoe_1330111282018 |
| 재정의KafkaOffsets | 진실 |
true인 경우 데이터베이스의 항목-파티션 오프셋 값을 사용하여 시작 시 제공된 소비자 그룹에 대한 Kafka 오프셋이 설정됩니다. false인 경우 Kafka에 저장된 오프셋 값이 사용됩니다. 이 구성을 기본값으로 유지하는 것이 좋습니다. |
| 두개골주제NumberOfReplicas | 1 또는 Telemetry Server의 수 |
이것은 모든 Telemetry Server 항목에 대해 구성된 복제 요소입니다. Telemetry Server 클러스터가 설치되었는지 또는 단일 노드인지에 따라 Platform Analytics를 설치하는 동안 설정됩니다. Kafka의 실패 허용 오차를 활용하려면 클러스터된 Telemetry Server 노드의 수와 이 값이 일치해야 합니다. |
| 두개골주제DoNotCreateList | 빈 문자열 | 시작 시 Telemetry Store (Platform Analytics Consumer)로 생성되지 않는 topicsGroupList 아래의 항목 목록. 이 필드는 수정할 수 없습니다. |
| 동물원키퍼연결 | 127.0.0.1:2181 또는 사전 구성된 Zookeeper 클러스터 쿼럼 |
쉼표로 구분된 Telemetry Manager(Zookeeper) 클러스터 구성. 예: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3 기본 포트는 2181로, Platform Analytics를 설치하는 동안 설정됩니다. |
| UsherTopics 무시 | false |
이 값은 Identity Server가 설치 여부에 따라 Platform Analytics를 설치하는 동안 설정됩니다. Identity Server가 설치 및 구성된 경우 false, Identity Server가 설치되지 않은 경우 true |
| bootstrap.서버 | 127.0.0.1:9092 또는 사전 구성된 Kafka 브로커 쿼럼 |
쉼표로 구분되는 Telemetry Server(Kafka) 클러스터 구성(예: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3) 기본 포트는 9092로, Platform Analytics를 설치하는 동안 설정됩니다. |
paEtlConfig 설정
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword: ~
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
currentFactDataKeepDays: 180
beaconDedup: true
locationDedup: true
whDbType: postgresql
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd: r9oJP5d6
whPort: 3306
whDb: platform_analytics_wh
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey: ~
googleApiClientId: ~
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup아래는 각 설정의 defaultConfig 값과 함께 paEtlConfig에 대해 정의된 설정입니다.
| 이름 | 기본값 | 설명 |
|---|---|---|
| 반환서버 | 127.0.0.1 |
Telemetry Cache(Redis 서버)에 대한 정규화된 도메인 이름(FQDN) 또는 IP. 최고의 성능을 얻으려면 로컬 Telemetry Cache 인스턴스를 사용합니다. |
| redis포트 | 6379 |
Telemetry Cache(Redis 서버)용 포트. 기본 값 6379으로, 설치 중에 설정됩니다. |
| redis비밀번호 | 빈 문자열 |
암호 인증이 활성화된 경우 Telemetry Cache(Redis 서버)에 연결하기 위한 암호. 기본적으로 암호 인증은 활성화되어 있지 않습니다. |
| 일정시간 | 5 |
Platform Analytics 일일 ETL이 시작되도록 지정된 시간입니다. 기본값 |
| 최소 일정 | 2 | Platform Analytics Daily ETL이 실행되도록 예약된 시간의 분. 기본 값 2는 예약된 시간 후 2분을 나타냅니다. |
| viewCutoffRangeInDays | 14 |
다시 게시하는 동안 Platform Analytics Cube의 테이블 보기가 메모리에 유지하는 데이터의 일수. 예를 들어 기본값 14일은 테이블 보기와 Platform Analytics Cube가 마지막 연속 14일 동안의 데이터를 포함한다는 의미입니다. Platform Analytics 프로젝트 스키마에서 반환된 데이터는 제한되지 않습니다. 자세한 내용은 Platform Analytics 큐브에 대하여 메모리 내부에서 반환된 데이터의 양 수정을 참조하십시오. |
| currentFactDataKeep일수 | 180 |
Platform Analytics 저장소의 현재 팩트 테이블이 보유할 데이터의 일수입니다. PostgreSQL 웨어하우스의 경우 데이터 양이 매우 클 수 있는 일부 팩트 테이블에 대한 기록 테이블을 생성합니다. access_transactions,fact_sql_stats와 같습니다. 기록 테이블의 이름은 "historical_" 접두사로 시작됩니다. 예를 들어, 180일 기본값은 현재 팩트 테이블에 마지막 롤링 180일의 데이터가 포함된다는 의미입니다. 그리고 다른 모든 데이터는 역사적 사실 테이블에 저장됩니다. |
| 비컨Dedup | 진실 |
중복 제거 여부를 결정하는 플래그 MicroStrategy 배지 비콘 추적 데이터가 켜져 있습니다. true인 경우 Telemetry Store ETL은 아래의 모든 조건이 충족되는 경우 모든 중복 비콘 작업을 제거합니다. 동일 사용자의 로그 동일 비콘과의 상호 작용 180초 이내 이 플래그를 켜면 과도한 데이터 수집 없이 분석을 위한 최소 유효 데이터 포인트를 유지할 수 있습니다. |
| 위치 중복 제거 | 진실 |
중복 제거 여부를 결정하는 플래그 MicroStrategy 배지 위치 추적 데이터가 켜져 있습니다. true인 경우 Telemetry Store ETL은 아래의 모든 조건이 충족되는 경우 모든 중복 위치 추적 작업을 제거합니다. 동일 사용자의 로그 60초 이내 이 플래그를 켜면 과도한 데이터 수집 없이 분석을 위한 최소 유효 데이터 포인트를 유지할 수 있습니다. |
|
whDb 유형 |
포스트그레SQL |
Platform Analytics 저장소로 사용된 기본 데이터베이스 유형입니다. 으로 시작하는 MicroStrategy 2020에서는 기본 데이터베이스는 "postgresql"이지만 데이터베이스 유형 "mysql"도 지원할 수 있습니다. |
| whHost | 설치를 통해 사전 구성됨 | Telemetry Store가 리포팅을 위해 데이터를 저장하는 Platform Analytics 저장소의 정규화된 도메인 이름(FQDN) 또는 IP. |
| wh사용자 | 설치를 통해 사전 구성됨 | Telemetry Store가 리포팅을 위해 데이터를 저장하는 Platform Analytics 저장소에 연결하기 위해 사용되는 사용자 이름. |
| whPasswd | 설치를 통해 사전 구성됨 | Telemetry Store가 리포팅을 위해 데이터를 저장하는 Platform Analytics 저장소에 연결하기 위해 사용되는 사용자 암호. |
| whPort | 3306 |
연결할 MySQL 데이터베이스 서버의 포트. Platform Analytics 저장소(MySQL Server Database)용 포트. 기본 값 3306으로, 설치 중에 설정됩니다. |
| whDb | platform_analytics_wh |
Platform Analytics 웨어하우스의 데이터베이스. 이 항목은 변경해서는 안 됩니다. |
|
pgWhHost |
로컬호스트 |
Platform Analytics 저장소에 사용된 PostgreSQL 데이터베이스의 정규화된 도메인 이름(FQDN) 또는 IP입니다. Platform Analytics를 설치한 시스템에 PostgreSQL Server를 설치하므로 기본값은 "localhost"입니다. |
|
pgWh사용자 |
mstr_pa |
Telemetry Store가 보고용 데이터를 저장할 Platform Analytics 저장소에 연결하는 데 사용되는 PostgreSQL 데이터베이스 사용자 이름입니다. |
|
pgWhPasswd |
설치를 통해 사전 구성됨 |
Telemetry Store가 보고용 데이터를 저장할 Platform Analytics 저장소에 연결하는 데 사용되는 사용자의 PostgreSQL 데이터베이스 비밀번호입니다. 이 비밀번호는 설치 중에 암호화됩니다. (Windows: C:\Program Files (x86)\Common Files\MicroStrategy\ 또는 리눅스: ./설치/저장소/) |
|
pgWh포트 |
5432 |
연결할 PostgreSQL 데이터베이스 서버의 포트입니다. Platform Analytics Repository(PostgreSQL Server 데이터베이스)용 포트입니다. 기본 값 5432으로, 설치 중에 설정됩니다. |
|
pgWhDb |
platform_analytics_wh |
Platform Analytics 웨어하우스의 데이터베이스. 이 항목은 변경해서는 안 됩니다. |
| pgWhSSLcert | 빈 문자열 | 향후 SSL 인증 지원용. |
| pgWhSSL키 | 빈 문자열 | 향후 SSL 인증 지원용. |
| pgWhSSLrootcert | 빈 문자열 | 향후 SSL 인증 지원용. |
| pgWhSSL 모드 | 빈 문자열 | 향후 SSL 인증 지원용. |
| 지리위치주제 | Mstr.PlatformAnalytics.Geolocation |
위치 데이터 지오코딩 처리를 위한 Telemetry Server(Kafka) 항목 MicroStrategy 배지 모바일 앱. 이 항목은 변경해서는 안 됩니다. |
| kafkaHealthCheck주제 | mstr-pa-상태-검사 |
상태 점검에 사용되는 Telemetry Serve (Kafka) 항목. 이 항목은 변경해서는 안 됩니다. |
| 어셔프로듀서키 |
SourceProvisionBadgePhone SourceProvisionOrganization SourceEnvironmentVariables SourceOrganization SourceOrganizationBadge SourceBadgeAdminRole SourceBadge SourceGateway SourceGatewayHierarchyAndDef SourceBeacon SourceDevice |
이 항목은 변경해서는 안 됩니다. |
| 벌채 반출 | 참 | Google 지오코딩 API 사용 로깅 활성화 여부를 결정하는 플래그. |
| 경고 | 참 | Google 지오코딩 API 사용 로깅 활성화 여부를 결정하는 플래그. |
| googleApi키 | 빈 문자열 |
비즈니스 할당량으로 Google 지오코딩 API 호출을 가능하게 하는 비즈니스 키. |
| googleApi클라이언트 ID | 빈 문자열 | 비즈니스 할당량으로 Google 지오코딩 API 호출을 가능하게 하는 비즈니스 키. |
| 비즈니스 할당량 | 100000 | 개발자 또는 비즈니스 키 없이 Google 지오코딩 API 호출을 할 수 있는 일일 할당량. |
| 통화 한도 | 1000 | 내부 전용입니다. |
| sleepTime쿼리 | 5 |
위치 데이터 처리를 위한 Google 지오코딩 API 호출 간에 일시 중지할 시간(초). 이 항목은 변경해서는 안 됩니다. |
| usher조회주제 | Mstr.PlatformAnalytics.UsherLookup |
Kafka 주제는 다음에 사용됩니다. Usher 서버 메타데이터 정보 원격 측정. 이 항목은 변경해서는 안 됩니다. |
usherServerConfig:
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:아래는 각 설정에 대한 defaultConfig 값과 함께 usherServerConfig에 대해 정의된 설정입니다.
| 이름 | 기본값 | 설명 |
|---|---|---|
| usherServerMysqlAesKeyPath | 설치를 통해 사전 구성됨 | 암호 해독에 사용되는 AES 키 파일 경로 |
| usherServerUrl | 설치를 통해 사전 구성됨 | Usher Server 메타 정보 데이터베이스에 연결하기 위한 JDBC 연결 URL. |
| usherServer사용자 | 설치를 통해 사전 구성됨 | Usher Server 메타 정보 데이터베이스에 연결하기 위한 사용자 이름. |
| 어셔서버비밀번호 | 설치를 통해 사전 구성됨 | Usher Server 메타 정보 데이터베이스에 연결하기 위한 암호. |
paTopicsGroupList 설정
다음 설정은 topicsGroup 레벨에서만 정의되고 ParentConfig에서는 정의되지 않습니다.
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLog아래는 paTopicsGroupList에 대해 정의된 설정입니다.
| 이름 | 설명 |
|---|---|
| 이름 | topicsGroup에 대한 이름. 모든 topicsGroup 이름 중에서 고유해야 합니다. |
| 소비자 수 | 소비자 그룹 형성 시 이 topicsGroup에 할당된 소비자 프로세스의 수. |
| 어셔플래그 | 이 topicGroup이 Usher와 관련되어 있으면 true. |
| 주제 | topicsGroup의 소비자가 구독하는 Kafka 항목 목록. |