MicroStrategy ONE

Configurazione di Platform Analytics usando il file PAConsumerConfig.yaml

Platform Analytics archivia tutti i parametri di configurazione per l'archivio di telemetria (in precedenza Platform Analytics consumer) e il produttore della telemetria Identity (in precedenza Usher Metadata Producer) nel file PAConsumerConfig.yaml file. Per ulteriori informazioni sui riferimenti architettonici di Platform Analytics, vedere Architettura e servizi di Platform Analytics.

La struttura del file .yaml è aggiornata a ogni versione con nuovi parametri di configurazione o argomenti del server di telemetria. Tutti i valori modificabili vengono mantenuti dopo un aggiornamento, per non perdere i parametri personalizzati. Ad ogni modo, tutti i campi aggiunti di recente prendono le impostazioni predefinite dopo un aggiornamento.

Il file .yaml si trova sulla macchina dove Platform Analytics è stato installato usando la procedura guidata di installazione di MicroStrategy.

Il percorso predefinito è:

  • Linux: /opt/MicroStrategy/PlatformAnalytics/Conf
  • Windows: C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf

Come leggere un file .yaml

In un file .yaml, si usa l'indentazione per esprimere i valori annidati. Ad esempio:

Copia 
parentConfig:
  numberOfConsumers: 1
  pollTimeoutMillisec: 1000
  kafkaProperties:
    bootstrap.servers: "10.27.17.167:9092"

YAML utilizza key: value notazione. Dopo i due punti occorre un solo spazio vuoto.

Per ulteriori letture sulla funzione del file .yaml, vedere Scopri YAML in pochi minuti.

PAConsumerConfig.yaml Specifications

Il/La PAConsumerConfig Il file è composto dalle parti seguenti:

  • paParentConfig: Configurazioni comuni per Server di telemetria (Kafka) e Gestore telemetria (Zookeeper). TopicsGroups
  • paEtlConfig: Configurazione che consente all'archivio di telemetria (consumatore di Platform Analytics) di eseguire l'elaborazione dei dati.
  • usherServerConfig: Parametri di configurazione della connettività per la connessione al database del server di identità e per raccogliere informazioni sui metadati di identità.
  • paTopicsGroupList: Elenco di server di telemetria TopicsGroups e la loro configurazione.

Ciascuno topicsGroup eredita le impostazioni da defaultConfig e parentConfig. Ciascuno topicsGroup può anche sovrascrivere le impostazioni specifiche ereditate.

Di seguito è riportato un esempio PAConsumerConfig.yaml file. Fare riferimento al file installato per la versione più recente.

Copia 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

paEtlConfig:
  redisConnection: 
    redisServer: 127.0.0.1
    redisPort: 6379
    redisPassword:
  dailyETLConfiguration:
    scheduleHour: 5
    scheduleMin: 2
  viewCutoffRangeInDays: 14
  beaconDedup: true
  locationDedup: true
  warehouseDbConnection:
    whHost: 127.0.0.1
    whUser: root
    whPasswd:
    whPort: 3306
    whDb: platform_analytics_wh
    whClientCertificateKeyStore:
    whClientCertificateKeyStoreType:
    whClientCertificateKeyStorePassword:
    whTrustCertificateKeyStore:
    whTrustCertificateKeyStoreType:
    whTrustCertificateKeyStorePassword:
  pgWarehouseDbConnection:
    pgWhHost: localhost
    pgWhUser: mstr_pa
    pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
    pgWhPort: 5432
    pgWhDb: platform_analytics_wh
    pgWhSSLcert: ~
    pgWhSSLkey: ~
    pgWhSSLrootcert: ~
    pgWhSSLmode: ~
  geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
  kafkaHealthCheckTopic: mstr-pa-health-check
  usherProducerKeys:
    - SourceProvisionBadgePhone
    - SourceProvisionOrganization
    - SourceEnvironmentVariables
    - SourceOrganization
    - SourceOrganizationBadge
    - SourceBadgeAdminRole
    - SourceBadge
    - SourceGateway
    - SourceGatewayHierarchyAndDef
    - SourceBeacon
    - SourceDevice
  googleAPIConfig:
    googleApiKey:
    googleApiClientId:
    businessQuota: 100000
    freeQuota: 2500
    sleepTimeQuery: 5
  usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Impostazioni padreConfig

Il/La paParentConfig sono configurazioni comuni per il Server di telemetria (Kafka) e il Gestore telemetria (Zookeeper). TopicsGroups. Ad esempio:

Copia 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

Di seguito sono riportate le impostazioni definite per entrambi paParentConfig e topicsGroup configurazione, insieme a defaultConfig valori per ogni impostazione.

Nome Impostazione predefinita Descrizione
consumerGroupSuffix ~ (valore null)

Questo campo viene usato per testare e recuperare i dati in un ambiente di produzione. Aggiunto a topicsGroup name costituisce l'ID effettivo del gruppo di consumatori (denominato anche group.id).

Questo campo è fondamentale per cambiare la proprietà in modo da generare un nuovo ID del gruppo consumer. Generando un nuovo ID del gruppo consumer, vengono rielaborati tutti i record rimanenti negli argomenti del server di telemetria.

Ad esempio, per ripopolare Platform Analytics Warehouse (PA WH), è possibile modificare questa proprietà rendendola una stringa unica dopo aver rinizializzato PA WH con l'uso del file di installazione di PA personalizzato. La stringa unica non dovrebbe essere già stata usata nello stesso ambiente. È consigliabile includervi data e ora.

Ad esempio, 

reprocess_incorrect_log_johndoe_1330111282018
overrideKafkaOffsets true

Se true, utilizza i valori di offset della partizione di argomenti nel database per impostare gli offset Kafka per un determinato gruppo di consumatori all'avvio.

Se false, utilizza valori di offset archiviati in Kafka.

Si consiglia di mantenere la configurazione predefinita.
kafkaTopicNumberOfReplicas 1 o numero di server di telemetria

È il fattore di replica configurato per tutti gli argomenti del server di telemetria. Questo valore viene impostato durante l'installazione di Platform Analytics in base al fatto che sia installato un cluster dei server di telemetria su un nodo singolo.

Questo valore dovrebbe corrispondere al numero di nodi del server di telemetria raggruppati per approfittare della tolleranza degli errori di Kafka.

kafkaTopicsDoNotCreateList stringa vuota Elenco di argomenti in topicsGroupList che non verrà creato dall'archivio di telemetria (consumatore di Platform Analytics) all'avvio. Questo campo non dovrebbe essere modificato.
zooKeeperConnection 127.0.0.1:2181 o quorum del cluster Zookeeper preconfigurato

La configurazione del cluster della gestione della telemetria (ZooKeeper) separato da virgole.

Ad esempio: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3

La porta predefinita è 2181, impostata durante l'installazione di Platform Analytics.

ignoreUsherTopics false

Questo valore è impostato durante l'installazione di Platform Analytics in base all'avvenuta o non avvenuta installazione di Identity Server.

false se Identity Server è installato e configurato;

true se Identity Server non è installato.

bootstrap.servers 127.0.0.1:9092 o quorum del broker Kafka preconfigurato

La configurazione del cluster del server di telemetria (Kafka) separato da virgole (per es., FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3).

La porta predefinita è 9092, impostata durante l'installazione di Platform Analytics.

Impostazioni paEtlConfig

Copia 
paEtlConfig:
    redisConnection:
        redisServer: 127.0.0.1
        redisPort: 6379
        redisPassword: ~
    dailyETLConfiguration:
        scheduleHour: 5
        scheduleMin: 2
    viewCutoffRangeInDays: 14
    currentFactDataKeepDays: 180
    beaconDedup: true
    locationDedup: true 
    whDbType: postgresql
    warehouseDbConnection:
        whHost: 127.0.0.1
        whUser: root
        whPasswd: r9oJP5d6
        whPort: 3306
        whDb: platform_analytics_wh
    pgWarehouseDbConnection:
        pgWhHost: localhost
        pgWhUser: mstr_pa
        pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
        pgWhPort: 5432
        pgWhDb: platform_analytics_wh
        pgWhSSLcert: ~
        pgWhSSLkey: ~
        pgWhSSLrootcert: ~
        pgWhSSLmode: ~
    geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
    kafkaHealthCheckTopic: mstr-pa-health-check
    usherProducerKeys:
        - SourceProvisionBadgePhone
        - SourceProvisionOrganization
        - SourceEnvironmentVariables
        - SourceOrganization
        - SourceOrganizationBadge
        - SourceBadgeAdminRole
        - SourceBadge
        - SourceGateway
        - SourceGatewayHierarchyAndDef
        - SourceBeacon
        - SourceDevice
    googleAPIConfig:
        googleApiKey: ~
        googleApiClientId: ~ 
        businessQuota: 100000
        freeQuota: 2500
        sleepTimeQuery: 5
    usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

Di seguito sono riportate le impostazioni definite per paEtlConfig, insieme a defaultConfig valori per ogni impostazione.

Nome Impostazione predefinita Descrizione
redisServer 127.0.0.1

Il nome di dominio completo (FQDN) o l'IP per la cache di telemetria (Redis server).

Per ottenere migliori prestazioni, utilizzare un'istanza cache di telemetria locale.

redisPort 6379

La porta per la cache di telemetria (Redis server).

La porta predefinita è 6379, impostata durante l'installazione.

redisPassword stringa vuota

La password per connettersi alla cache di telemetria (Redis server) se l'autenticazione della password è attivata.

In base alle impostazioni predefinite, l'autenticazione della password non è attivata.

scheduleHour 5

L'ora specificata di inizio dell'ETL quotidiano di Platform Analytics. Il valore predefinito 5 indica le 05:00 UTC.
scheduleMin 2 Il minuto dell'ora pianificata per l'esecuzione dell'ETL giornaliero di Platform Analytics. Il valore predefinito 2 indica 2 minuti dopo l'ora pianificata.
viewCutoffRangeInDays 14

Il numero di giorni di dati per cui le tabelle di visualizzazione nel cubo di Platform Analytics rimarranno in memoria durante la ripubblicazione.

Ad esempio, un valore predefinito di 14 giorni indica che le tabelle di visualizzazione e il cubo di Platform Analytics includeranno i dati degli ultimi 14 giorni consecutivi. I dati restituiti dallo schema del progetto Platform Analytics sono illimitati.

Per ulteriori dettagli, vedere Modifica della quantità di dati restituiti in memoria per il cubo di Platform Analytics.
currentFactDataKeepDays 180

Il numero di giorni di dati che conserveranno le tabelle dei fatti correnti in Platform Analytics Repository.

Per il warehouse PostgreSQL, è stata creata la tabella cronologica per alcune tabelle dei fatti la cui quantità di dati potrebbe essere molto elevata. Come access_transactions, fatto_sql_stats. Il nome della tabella cronologica inizia con il prefisso "historical_".

Ad esempio, un'impostazione predefinita di 180 giorni indica che le tabelle dei fatti correnti includeranno i dati degli ultimi 180 giorni consecutivi. E tutti gli altri dati verranno archiviati nelle tabelle dei fatti cronologici.

beaconDedup true

Una bandierina per determinare se la deduplicazione dei dati di tracciamento del beacon di MicroStrategy Badge è attiva.

Se true, l'ETL dell'archivio di telemetria rimuoverà le azioni beacon duplicate se tutte le condizioni sono soddisfatte:

log dallo stesso utente;

interazione con lo stesso beacon;

entro 180 secondi

L'attivazione di questa bandierina aiuta a mantenere i punti di dati validi minimi per le analisi senza eccessive raccolte di dati.

locationDedup true

Una bandierina per determinare se la deduplicazione dei dati di tracciamento della posizione di MicroStrategy Badge è attiva.

Se true, l'ETL dell'archivio di telemetria rimuove le azioni duplicate di tracciamento della posizione se sono soddisfatte tutte le condizioni:

log dallo stesso utente;

entro 60 secondi.

L'attivazione di questa bandierina aiuta a mantenere i punti di dati validi minimi per le analisi senza eccessive raccolte di dati.

whDbType

postgresql

Il tipo di database predefinito utilizzato come Platform Analytics Repository. A partire da MicroStrategy 2020, il database predefinito è "postgresql", ma può anche supportare il tipo di database "mysql".
whHost preconfigurato tramite installazione Il nome di dominio completo (FQDN) o l'IP del repository di Platform Analytics in cui l'archivio di telemetria archivierà i dati per il reporting.
whUser preconfigurato tramite installazione Lo username usato per collegarsi al repository di Platform Analytics in cui l'archivio di telemetria archivierà i dati per il reporting.
whPasswd preconfigurato tramite installazione La password dell'utente usata per collegarsi al repository di Platform Analytics in cui l'archivio di telemetria archivierà i dati per il reporting.
whPort 3306

La porta del server del database MySQL per collegarsi.

La porta per il repository di Platform Analytics (database del server di MySQL).

Il valore predefinito è 3306 durante l'installazione.

whDb platform_analytics_wh

Il database del warehouse di Platform Analytics.

Non dovrebbe essere modificato.

pgWhHost

host locale

Il nome di dominio completo (FQDN) o l'IP del database PostgreSQL utilizzato per Platform Analytics Repository. Poiché verrà installato il server PostgreSQL sul computer in cui è installato Platform Analytics, il valore predefinito è "localhost"

pgWhUser

mstr_pa

Nome utente del database PostgreSQL utilizzato per la connessione al repository di Platform Analytics dove l'archivio di telemetria memorizzerà i dati per la creazione di report.

pgWhPasswd

preconfigurato tramite installazione

La password del database PostgreSQL dell'utente utilizzata per la connessione al repository di Platform Analytics dove l'archivio di telemetria memorizzerà i dati per la creazione di report. Questa password è crittografata durante l'installazione. La password non crittografata è disponibile nel file "Default_Accounts.txt" che si trova nella sezione (Windows: C:\Programmi (x86)\Common Files\ MicroStrategy\ o Linux: ./install/Repository/)

pgWhPort

5432

La porta del server di database PostgreSQL a cui connettersi.

La porta per Platform Analytics Repository (database PostgreSQL Server).

Il valore predefinito è 5432 durante l'installazione.

pgWhDb

platform_analytics_wh

Il database del warehouse di Platform Analytics.

Non dovrebbe essere modificato.
pgWhSSLcert stringa vuota Per il futuro supporto dell'autenticazione SSL.
pgWhSSLkey stringa vuota Per il futuro supporto dell'autenticazione SSL.
pgWhSSLrootcert stringa vuota Per il futuro supporto dell'autenticazione SSL.
pgWhSSLmode stringa vuota Per il futuro supporto dell'autenticazione SSL.
geoLocationTopic Mstr.PlatformAnalytics.Geolocation

L'argomento del server di telemetria (Kafka) per l'elaborazione della geocodifica dei dati di posizione dalla app MicroStrategy Badge per dispositivi mobili.

Non dovrebbe essere modificato.

kafkaHealthCheckTopic mstr-pa-health-check

L'argomento del server di telemetria (Kafka) usato per il controllo dello stato.

Non dovrebbe essere modificato.

usherProducerKeys

SourceProvisionBadgePhone

SourceProvisionOrganization

SourceEnvironmentVariables

SourceOrganization

SourceOrganizationBadge

SourceBadgeAdminRole

SourceBadge

SourceGateway

SourceGatewayHierarchyAndDef

SourceBeacon

SourceDevice

 Non dovrebbe essere modificato.
logging True Bandierina per determinare se la registrazione per l'uso dell'API di geocodifica di Google è attiva.
alerting True Bandierina per determinare se la registrazione per l'uso dell'API di geocodifica di Google è attiva.
googleApiKey stringa vuota

La chiave aziendale per consentire di fare chiamate con la API di geocodifica di Google con una quota aziendale.
googleApiClientId stringa vuota La chiave aziendale per consentire di fare chiamate con la API di geocodifica di Google con una quota aziendale.
businessQuota 100000 La quota giornaliera per fare chiamate con la API di geocodifica di Google senza developer né chiavi aziendali.
callLimit 1000 Solo per uso interno.
sleepTimeQuery 5

Il numero di secondi di pausa tra le chiamate con la API di geocodifica di Google per l'elaborazione dei dati di posizione.

Non dovrebbe essere modificato.

usherLookupTopic Mstr.PlatformAnalytics.UsherLookup

L'argomento Kafka usato per la telemetria delle informazioni sui metadati del server di Usher.

Non dovrebbe essere modificato.

Impostazioni usherServerConfig

Copia 
usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

Di seguito sono riportate le impostazioni definite per usherServerConfig, insieme a defaultConfig valori per ogni impostazione.

Nome Impostazione predefinita Descrizione
usherServerMysqlAesKeyPath preconfigurato tramite installazione Il percorso del file della chiave AES usato per decriptare la password
usherServerUrl preconfigurato tramite installazione L'URL della connettività JDBC per collegarsi al database con le informazioni meta sul server di Usher
usherServerUser preconfigurato tramite installazione Lo username per collegarsi al database con le informazioni meta sul server di Usher
usherServerPassword preconfigurato tramite installazione La password per collegarsi al database con le informazioni meta sul server di Usher

Impostazioni paTopicsGroupList

Le seguenti impostazioni, definite solo in topicsGroup livello, non a ParentConfig.

Copia 
paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Di seguito sono riportate le impostazioni definite per paTopicsGroupList.

Nome Descrizione
name Nome per topicsGroup. Deve essere univoco tra tutti topicsGroup nomi.
numberOfConsumers Il numero di processi consumer assegnati all'elemento topicsGroup quando si forma un gruppo di consumatori
usherFlag true se questo topicGroup è correlato a Usher.
topics Elenco di argomenti di Kafka per i consumatori in topicsGroup iscriviti a.