Strategy ONE

Configurar o Platform Analytics usando o arquivo PAConsumerConfig.yaml

O Platform Analytics armazena todos os parâmetros de configuração para o Telemetry Store (anteriormente Platform Analytics Consumer) e o produtor de Telemetria de Identidade (anteriormente Usher Metadata Produtor) no PAConsumerConfig.yaml arquivo . Para obter mais informações sobre a referência da arquitetura do Platform Analytics, consulte Arquitetura e serviços do Platform Analytics.

A estrutura do arquivo YAML é atualizada a cada versão com novos parâmetros de configuração ou tópicos do Telemetry Server. Todos os valores modificáveis são retidos após uma atualização, então qualquer parâmetro personalizado não é perdido. No entanto, todos os campos adicionados recentemente são definidos para padrão após uma atualização.

O arquivo YAML está localizado na máquina na qual o Platform Analytics foi instalado usando o assistente de instalação do Strategy.

O caminho padrão é:

  • Linux: /opt/MicroStrategy/PlatformAnalytics/Conf
  • Windows: C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf

Como fazer a leitura de um arquivo YAML

Em um arquivo YAML, o recuo é usado para expressar valores aninhados. Por exemplo:

Copiar 
parentConfig:
  numberOfConsumers: 1
  pollTimeoutMillisec: 1000
  kafkaProperties:
    bootstrap.servers: "10.27.17.167:9092"

YAML usa a key: value notação . É necessário um espaço único após o dois-pontos.

Para ler mais sobre a funcionalidade do YAML, consulte Aprenda o YAML em Y minutos.

Especificações do PAConsumerConfig.yaml

A PAConsumerConfig arquivo consiste nas seguintes partes:

  • paParentConfig: Configurações comuns para o Telemetry Server (Kafka) e o Telemetry Manager (Zookeeper) em TopicsGroups
  • paEtlConfig: Configuração do Telemetry Store (Platform Analytics Consumer) para realizar o processamento de dados.
  • usherServerConfig: Parâmetros de configuração de conectividade para conectar-se ao banco de dados do Identity Server para coletar informações de metadados do Identity.
  • paTopicsGroupList: Lista de Telemetry Server TopicsGroups e sua configuração.

Cada topicsGroup herda as configurações de defaultConfig e parentConfig. Cada topicsGroup também pode substituir configurações específicas que herdar.

Abaixo está uma amostra PAConsumerConfig.yaml arquivo . Referencie o arquivo instalado para a versão mais recente.

Copiar 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

paEtlConfig:
  redisConnection: 
    redisServer: 127.0.0.1
    redisPort: 6379
    redisPassword:
  dailyETLConfiguration:
    scheduleHour: 5
    scheduleMin: 2
  viewCutoffRangeInDays: 14
  beaconDedup: true
  locationDedup: true
  warehouseDbConnection:
    whHost: 127.0.0.1
    whUser: root
    whPasswd:
    whPort: 3306
    whDb: platform_analytics_wh
    whClientCertificateKeyStore:
    whClientCertificateKeyStoreType:
    whClientCertificateKeyStorePassword:
    whTrustCertificateKeyStore:
    whTrustCertificateKeyStoreType:
    whTrustCertificateKeyStorePassword:
  pgWarehouseDbConnection:
    pgWhHost: localhost
    pgWhUser: mstr_pa
    pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
    pgWhPort: 5432
    pgWhDb: platform_analytics_wh
    pgWhSSLcert: ~
    pgWhSSLkey: ~
    pgWhSSLrootcert: ~
    pgWhSSLmode: ~
  geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
  kafkaHealthCheckTopic: mstr-pa-health-check
  usherProducerKeys:
    - SourceProvisionBadgePhone
    - SourceProvisionOrganization
    - SourceEnvironmentVariables
    - SourceOrganization
    - SourceOrganizationBadge
    - SourceBadgeAdminRole
    - SourceBadge
    - SourceGateway
    - SourceGatewayHierarchyAndDef
    - SourceBeacon
    - SourceDevice
  googleAPIConfig:
    googleApiKey:
    googleApiClientId:
    businessQuota: 100000
    freeQuota: 2500
    sleepTimeQuery: 5
  usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Configurações paParentConfig

A paParentConfig são configurações comuns do Telemetry Server (Kafka) e do Telemetry Manager (Zookeeper) em TopicsGroups. Por exemplo:

Copiar 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

Abaixo estão as configurações definidas para os paParentConfig e topicsGroup configuração, junto com o defaultConfig para cada configuração.

Nome Padrão Descrição
consumerGroupSuffix ~ (valor nulo)

Este campo é usado para testar ou recuperar dados em um ambiente de produção. Anexado ao topicsGroup o nome compõe o ID do grupo de consumidores real (também conhecido como group.id).

Um uso importante para este campo é a alteração da propriedade para gerar um novo ID de Grupo de Consumidores. Gerar um novo ID de Grupo de Consumidores faz com que todos os registros restantes nos tópicos do Telemetry Server sejam reprocessados.

Por exemplo, para preencher o Platform Analytics Warehouse (PA WH), você pode modificar essa propriedade para uma cadeia de caracteres única após a reinicialização do PA WH com o instalador personalizado do PA. A cadeia de caracteres única deve ser uma cadeia de caracteres que ainda não foi usada no mesmo ambiente. Uma estratégia recomendada é a inclusão de um carimbo de data e hora.

Por exemplo 

reprocess_incorrect_log_johndoe_1330111282018
overrideKafkaOffsets true

Se true, usa valores de deslocamento de partição de tópico no banco de dados para definir os deslocamentos de Kafka para um determinado Grupo de consumidores na inicialização.

Se false, usa valores de deslocamento armazenados em Kafka.

Recomenda-se manter a configuração como padrão.
kafkaTopicNumberOfReplicas 1 ou número de Telemetry Servers

É o fator de réplicas configurado para todos os tópicos do Telemetry Server. É configurado durante a instalação do Platform Analytics dependendo se um cluster de Telemetry Servers estiver instalado ou um único nó.

Esse valor deve corresponder ao número de nós de Telemetry Servers agrupados em clusters para aproveitar a tolerância a falhas do Kafka.

kafkaTopicsDoNotCreateList cadeia de caracteres vazia A lista de tópicos em topicsGroupList que não será criado pelo Telemetry Store (Platform Analytics Consumer) na inicialização. Este campo não deve ser modificado.
zooKeeperConnection 127.0.0.1:2181 ou quórum de cluster Zookeeper pré-configurado

A configuração de clusters do Telemetry Manager (Zookeeper) separada por vírgula.

Por exemplo: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3

A porta padrão é 2181, definida durante a instalação do Platform Analytics.

ignoreUsherTopics false

Esse valor é configurado durante a instalação do Platform Analytics dependendo se o Identity Server foi instalado ou não.

false se o Identity Server estiver instalado e configurado;

true se o Identity Server não estiver instalado.

bootstrap.servers 127.0.0.1:9092 ou quórum de agente Kafka pré-configurado

A configuração de clusters do Telemetry Server (Kafka) separada por vírgula (por exemplo, FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3).

A porta padrão é 9092, configurada durante a instalação do Platform Analytics.

Configurações de paEtlConfig

Copiar 
paEtlConfig:
    redisConnection:
        redisServer: 127.0.0.1
        redisPort: 6379
        redisPassword: ~
    dailyETLConfiguration:
        scheduleHour: 5
        scheduleMin: 2
    viewCutoffRangeInDays: 14
    currentFactDataKeepDays: 180
    beaconDedup: true
    locationDedup: true 
    whDbType: postgresql
    warehouseDbConnection:
        whHost: 127.0.0.1
        whUser: root
        whPasswd: r9oJP5d6
        whPort: 3306
        whDb: platform_analytics_wh
    pgWarehouseDbConnection:
        pgWhHost: localhost
        pgWhUser: mstr_pa
        pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
        pgWhPort: 5432
        pgWhDb: platform_analytics_wh
        pgWhSSLcert: ~
        pgWhSSLkey: ~
        pgWhSSLrootcert: ~
        pgWhSSLmode: ~
    geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
    kafkaHealthCheckTopic: mstr-pa-health-check
    usherProducerKeys:
        - SourceProvisionBadgePhone
        - SourceProvisionOrganization
        - SourceEnvironmentVariables
        - SourceOrganization
        - SourceOrganizationBadge
        - SourceBadgeAdminRole
        - SourceBadge
        - SourceGateway
        - SourceGatewayHierarchyAndDef
        - SourceBeacon
        - SourceDevice
    googleAPIConfig:
        googleApiKey: ~
        googleApiClientId: ~ 
        businessQuota: 100000
        freeQuota: 2500
        sleepTimeQuery: 5
    usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

Abaixo estão as configurações definidas para paEtlConfig, junto com o defaultConfig para cada configuração.

Nome Padrão Descrição
redisServer 127.0.0.1

O nome de domínio totalmente qualificado (FQDN) ou o IP do Telemetry Cache (servidor Redis).

Para obter melhor desempenho, use uma instância local do Telemetry Cache.

redisPort 6379

A porta do Telemetry Cache (servidor Redis).

O padrão é 6379, configurado durante a instalação.

redisPassword cadeia de caracteres vazia

A senha para conectar-se com o Telemetry Cache (servidor Redis) se a autenticação de senha estiver ativada.

Por padrão, a autenticação de senha não está ativada.

scheduleHour 5

A hora especificada para o ETL diário do Platform Analytics começar. O valor padrão 5 significa 05:00 UTC.
scheduleMin 2 O minuto da hora agendada para a execução de extração, transformação e carregamento (ETL) diários do Platform Analytics. O valor padrão 2 significa 2 minutos após a hora programada.
viewCutoffRangeInDays 14

O número de dias pelos quais as tabelas de visualização do Platform Analytics Cube permanecerão na memória durante a republicação.

Por exemplo, um padrão de 14 dias indica que as tabelas de visualização e o Platform Analytics Cube incluirão dados dos últimos 14 dias consecutivos. Os dados retornados pelo esquema de projeto do Platform Analytics nunca são limitados.

Para obter mais detalhes, consulte Modificar a quantidade de dados retornados na memória para o Platform Analytics Cube.
currentFactDataKeepDays 180

O número de dias de dados que as tabelas de fatos atuais no Repositório do Platform Analytics manterão.

Para o armazenamento PostgreSQL, criamos a tabela de histórico para algumas tabelas de fatos cuja quantidade de dados pode ser muito grande. Como access_transactions, fact_sql_stats. O nome da tabela histórica começa com o prefixo "historical_".

Por exemplo, um padrão de 180 dias significa que as tabelas de fatos atuais incluirão dados dos últimos 180 dias contínuos. E todos os outros dados serão armazenados nas tabelas de fatos históricos.

beaconDedup true

Uma bandeira para determinar se a eliminação de duplicação dos dados de rastreamento do sinalizador do MicroStrategy Badge está ativada.

Se true, o ETL do Telemetry Store removerá todas as ações de beacon duplicadas se todas as condições forem atendidas:

log do mesmo usuário

interação com o mesmo sinalizador

em 180 segundos

A ativação dessa bandeira ajuda a manter os pontos de dados válidos mínimos para a análise sem haver dados coletados em excesso.

locationDedup true

Uma bandeira para determinar se a eliminação de duplicação dos dados de rastreamento da localização do MicroStrategy Badge está ativada.

Se true, o ETL do Telemetry Store removerá todas as ações de rastreamento de local duplicado se todas as condições forem atendidas:

log do mesmo usuário

dentro de 60 segundos

A ativação dessa bandeira ajudará a manter os pontos de dados válidos mínimos para a análise sem haver dados coletados em excesso.

whDbType

postgresql

O tipo de banco de dados padrão que foi usado como Repositório do Platform Analytics. A partir do MicroStrategy 2020, o banco de dados padrão é "postgresql", mas também pode suportar o tipo de banco de dados "mysql".
whHost pré-configurado via instalação O nome de domínio totalmente qualificado (FQDN) ou o IP do repositório do Platform Analytics no qual o Telemetry Store armazenará dados para relatórios.
whUser pré-configurado via instalação O nome do usuário utilizado para conectar-se com o repositório do Platform Analytics no qual o Telemetry Store armazenará dados para relatórios.
whPasswd pré-configurado via instalação A senha do usuário utilizado para conectar-se com o repositório do Platform Analytics no qual o Telemetry Store armazenará dados para relatórios.
whPort 3306

A porta do servidor do banco de dados MySQL para se conectar.

A porta para o repositório do Platform Analytics (banco de dados do servidor MySQL).

O padrão é 3306, definido durante a instalação.

whDb platform_analytics_wh

O banco de dados do warehouse do Platform Analytics.

Isso não deve ser alterado.

pgWhHost

host local

O nome de domínio totalmente qualificado (FQDN) ou o IP do banco de dados PostgreSQL usado para o Platform Analytics Repository. Como instalaremos o PostgreSQL Server na máquina que instalou o Platform Analytics, o valor padrão é "localhost"

pgWhUser

mstr_pa

O nome de usuário do banco de dados PostgreSQL usado para se conectar ao Platform Analytics Repository onde o Telemetry Store armazenará dados para relatórios.

pgWhPasswd

pré-configurado via instalação

A senha do banco de dados PostgreSQL do usuário usado para se conectar ao Platform Analytics Repository onde o Telemetry Store armazenará dados para relatórios. Essa senha é criptografada durante a instalação. Você encontra a senha não criptografada no arquivo "Default_Accounts.txt", que na guia (Windows: C:\Arquivos de programas (x86)\Arquivos comuns\ MicroStrategy\ ou Linux: ./install/Repositório/)

pgWhPort

5432

A porta do servidor de banco de dados PostgreSQL com a qual se conectar.

A porta do Platform Analytics Repository (Banco de dados PostgreSQL Server).

O padrão é 5432, definido durante a instalação.

pgWhDb

platform_analytics_wh

O banco de dados do warehouse do Platform Analytics.

Isso não deve ser alterado.
pgWhSSLcert cadeia de caracteres vazia Para suporte de autenticação SAML.
pgWhSSLkey cadeia de caracteres vazia Para suporte de autenticação SAML.
pgWhSSLrootcert cadeia de caracteres vazia Para suporte de autenticação SAML.
pgWhSSLmode cadeia de caracteres vazia Para suporte de autenticação SAML.
geoLocationTopic Mstr.PlatformAnalytics.Geolocation

O tópico do Telemetry Server (Kafka) para o processamento do código geográfico de dados de localização no aplicativo móvel MicroStrategy Badge.

Isso não deve ser alterado.

kafkaHealthCheckTopic mstr-pa-health-check

O tópico do Telemetry Server (Kafka) usado para verificação de integridade.

Isso não deve ser alterado.

usherProducerKeys

SourceProvisionBadgePhone

SourceProvisionOrganization

SourceEnvironmentVariables

SourceOrganization

SourceOrganizationBadge

SourceBadgeAdminRole

SourceBadge

SourceGateway

SourceGatewayHierarchyAndDef

SourceBeacon

SourceDevice

 Isso não deve ser alterado.
logging True Bandeira para determinar se os registros em logs do uso da API de código geográfico do Google estão ativados.
alerting True Bandeira para determinar se os registros em logs do uso da API de código geográfico do Google estão ativados.
googleApiKey cadeia de caracteres vazia

A chave de negócios para possibilitar a realização de chamadas da API de código geográfico do Google com uma cota comercial.
googleApiClientId cadeia de caracteres vazia A chave de negócios para possibilitar a realização de chamadas da API de código geográfico do Google com uma cota comercial.
businessQuota 100000 A cota diária para a realização de chamadas da API de código geográfico do Google sem nenhum desenvolvedor ou chave de negócios.
callLimit 1000 Apenas para uso interno.
sleepTimeQuery 5

O número de segundos de pausa entre as chamadas da API de código geográfico do Google para o processamento de dados de localização.

Isso não deve ser alterado.

usherLookupTopic Mstr.PlatformAnalytics.UsherLookup

O tópico do Kafka usado para a telemetria de informações de metadados do servidor Usher.

Isso não deve ser alterado.

Configurações de usherServerConfig

Copiar 
usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

Abaixo estão as configurações definidas para usherServerConfig, junto com o defaultConfig para cada configuração.

Nome Padrão Descrição
usherServerMysqlAesKeyPath pré-configurado via instalação O caminho do arquivo das chaves AES usado para descriptografar a senha
usherServerUrl pré-configurado via instalação O URL da conectividade JDBC para conectar-se com o banco de dados de metainformações do Usher Server.
usherServerUser pré-configurado via instalação O nome do usuário para conectar-se com o banco de dados de metainformações do Usher Server
usherServerPassword pré-configurado via instalação A senha para conectar-se com o banco de dados de metainformações do Usher Server

Configurações de paTopicsGroupList

As seguintes configurações, que são definidas somente no topicsGroup nível, não no ParentConfig.

Copiar 
paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Abaixo estão as configurações definidas para paTopicsGroupList.

Nome Descrição
name Nome do topicsGroup. Deve ser único entre todos topicsGroup nomes .
numberOfConsumers O número de processos consumidores atribuídos a este topicsGroup ao formar um grupo de consumidores
usherFlag true se este topicGroup está relacionado a Usher.
topics A lista de tópicos de Kafka que os consumidores no topicsGroup assinar em.