Strategy ONE

Configurar Platform Analytics con el archivo PAConsumerConfig.yaml

Platform Analytics almacena todos los parámetros de configuración para el almacén de telemetría (anteriormente consumidor de Platform Analytics) y el productor de telemetría de Identity (anteriormente productor de metadatos de Usher ) en el PAConsumerConfig.yaml archivo. Para obtener más información sobre la referencia de la arquitectura de Platform Analytics, consulte Arquitectura y servicios de Platform Analytics.

La estructura del archivo YAML se actualiza en cada versión con nuevos parámetros de configuración o temas del servidor de Telemetría. Todos los valores modificables se conservan tras una actualización, de manera que no se pierde ningún parámetro personalizado. Sin embargo, todos los campos recién agregados se restablecen al valor por defecto después de una actualización.

El archivo YAML se encuentra en el equipo donde se instaló Platform Analytics usando el asistente de instalación de Strategy.

La ruta por defecto es:

  • Linux: /opt/MicroStrategy/PlatformAnalytics/Conf
  • Windows: C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf

Cómo leer un archivo YAML

En un archivo YAML, la sangría de las líneas se utiliza para expresar valores anidados. Por ejemplo:

Copiar 
parentConfig:
  numberOfConsumers: 1
  pollTimeoutMillisec: 1000
  kafkaProperties:
    bootstrap.servers: "10.27.17.167:9092"

YAML usa la key: value notación. Se necesita un espacio después de los dos puntos.

Para leer más sobre la funcionalidad YAML, consulte Aprender YAML en Y minutos.

Especificaciones PAConsumerConfig.yaml

El PAConsumerConfig El archivo consta de las siguientes partes:

  • paParentConfig: Configuraciones comunes para el servidor de Telemetría (Kafka) y el Administrador de Telemetría (Zookeeper) de TopicsGroups
  • paEtlConfig: Configuración para el almacén de Telemetría (consumidor de Platform Analytics) para efectuar el procesamiento de datos.
  • usherServerConfig: Parámetros de configuración de conectividad para conectarse a la base de datos del servidor de Identity para recopilar información de metadatos de Identity.
  • paTopicsGroupList: Lista de servidores de Telemetría TopicsGroups y su configuración.

Cada topicsGroup Hereda la configuración de defaultConfig y parentConfig. Cada topicsGroup también puede anular la configuración específica que hereda.

A continuación se muestra un ejemplo PAConsumerConfig.yaml archivo. Consulte el archivo instalado para ver la última versión.

Copiar 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

paEtlConfig:
  redisConnection: 
    redisServer: 127.0.0.1
    redisPort: 6379
    redisPassword:
  dailyETLConfiguration:
    scheduleHour: 5
    scheduleMin: 2
  viewCutoffRangeInDays: 14
  beaconDedup: true
  locationDedup: true
  warehouseDbConnection:
    whHost: 127.0.0.1
    whUser: root
    whPasswd:
    whPort: 3306
    whDb: platform_analytics_wh
    whClientCertificateKeyStore:
    whClientCertificateKeyStoreType:
    whClientCertificateKeyStorePassword:
    whTrustCertificateKeyStore:
    whTrustCertificateKeyStoreType:
    whTrustCertificateKeyStorePassword:
  pgWarehouseDbConnection:
    pgWhHost: localhost
    pgWhUser: mstr_pa
    pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
    pgWhPort: 5432
    pgWhDb: platform_analytics_wh
    pgWhSSLcert: ~
    pgWhSSLkey: ~
    pgWhSSLrootcert: ~
    pgWhSSLmode: ~
  geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
  kafkaHealthCheckTopic: mstr-pa-health-check
  usherProducerKeys:
    - SourceProvisionBadgePhone
    - SourceProvisionOrganization
    - SourceEnvironmentVariables
    - SourceOrganization
    - SourceOrganizationBadge
    - SourceBadgeAdminRole
    - SourceBadge
    - SourceGateway
    - SourceGatewayHierarchyAndDef
    - SourceBeacon
    - SourceDevice
  googleAPIConfig:
    googleApiKey:
    googleApiClientId:
    businessQuota: 100000
    freeQuota: 2500
    sleepTimeQuery: 5
  usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Ajustes de paParentConfig

El paParentConfig Los parámetros son configuraciones comunes para el servidor de Telemetría (Kafka) y el Administrador de Telemetría (Zookeeper) en todo el mundo. TopicsGroups. Por ejemplo:

Copiar 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

A continuación está la configuración definida para el paParentConfig y topicsGroup configuración, junto con la defaultConfig valores para cada ajuste.

Nombre Por defecto Descripción
consumerGroupSuffix ~ (valor nulo)

Este campo se utiliza para probar o recuperar datos en un entorno de producción. Anexado al topicsGroup forma el ID de grupo de consumidores real (también conocido como group.id).

Un uso clave de este campo es cambiar la propiedad para generar un nuevo ID de grupo de consumidores. Generar un nuevo ID de grupo de consumidores provoca que todos los registros restantes en los temas del servidor de Telemetría se vuelvan a procesar.

Por ejemplo, para volver a completar el almacén de Platform Analytics (PA WH), puede modificar esta propiedad a una cadena única después de volver a inicializar el PA WH usando el instalador personalizado de PA. La cadena única debe ser una cadena que no se haya utilizado antes en el mismo entorno. Una estrategia recomendada es incluir un registro de fecha y hora en ella.

Por ejemplo 

reprocesar_incorrect_log_johndoe_1330111282018
overrideKafkaOffsets true

Si true, utiliza los valores de desplazamiento de la partición tema de la base de datos para establecer los desplazamientos de Kafka para un grupo de consumidores determinado al inicio.

Si false, utiliza valores de desplazamiento almacenados en Kafka.

Se recomienda mantener la configuración por defecto.
kafkaTopicNumberOfReplicas 1 o número de servidores de Telemetría

Este es el factor de replicación configurado para todos los temas del servidor de Telemetría. Se configura durante la instalación de Platform Analytics dependiendo de si se instala un clúster de servidores de Telemetría o un solo nodo.

Este valor debe coincidir con el número de nodos del servidor de Telemetría agrupados con el fin de aprovechar la tolerancia a los fallos de Kafka.

kafkaTopicsDoNotCreateList cadena vacía La lista de temas en topicsGroupList que no creará el almacén de telemetría (consumidor de Platform Analytics) en el inicio. Este campo no debe modificarse.
zooKeeperConnection 127.0.0.1:2181 o quórum de clúster de Zookeeper preconfigurado

La configuración de clúster (ZooKeeper) del administrador de Telemetría separada por comas.

Por ejemplo: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3

El puerto por defecto es 2181, configurado durante la instalación de Platform Analytics.

ignoreUsherTopics false

Este valor se configura durante la instalación de Platform Analytics dependiendo de si se instaló o no el Identity Server.

false si Identity Server está instalado y configurado;

true si Identity Server no está instalado.

bootstrap.servers 127.0.0.1:9092 o quórum de agente de Kafka preconfigurado

La configuración en clúster del servidor de Telemetría (Kafka) separada por comas (p. ej., FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3).

El puerto predeterminado es 9092 y se establece durante la instalación de Platform Analytics.

Ajustes de paEtlConfig

Copiar 
paEtlConfig:
    redisConnection:
        redisServer: 127.0.0.1
        redisPort: 6379
        redisPassword: ~
    dailyETLConfiguration:
        scheduleHour: 5
        scheduleMin: 2
    viewCutoffRangeInDays: 14
    currentFactDataKeepDays: 180
    beaconDedup: true
    locationDedup: true 
    whDbType: postgresql
    warehouseDbConnection:
        whHost: 127.0.0.1
        whUser: root
        whPasswd: r9oJP5d6
        whPort: 3306
        whDb: platform_analytics_wh
    pgWarehouseDbConnection:
        pgWhHost: localhost
        pgWhUser: mstr_pa
        pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
        pgWhPort: 5432
        pgWhDb: platform_analytics_wh
        pgWhSSLcert: ~
        pgWhSSLkey: ~
        pgWhSSLrootcert: ~
        pgWhSSLmode: ~
    geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
    kafkaHealthCheckTopic: mstr-pa-health-check
    usherProducerKeys:
        - SourceProvisionBadgePhone
        - SourceProvisionOrganization
        - SourceEnvironmentVariables
        - SourceOrganization
        - SourceOrganizationBadge
        - SourceBadgeAdminRole
        - SourceBadge
        - SourceGateway
        - SourceGatewayHierarchyAndDef
        - SourceBeacon
        - SourceDevice
    googleAPIConfig:
        googleApiKey: ~
        googleApiClientId: ~ 
        businessQuota: 100000
        freeQuota: 2500
        sleepTimeQuery: 5
    usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

A continuación está la configuración definida para paEtlConfig, junto con defaultConfig valores para cada ajuste.

Nombre Por defecto Descripción
redisServer 127.0.0.1

El nombre de dominio completo (FQDN) o IP para la caché de Telemetría (servidor Redis).

Para obtener un mejor rendimiento, utilice una instancia de caché de Telemetría local.

redisPort 6379

El puerto para la caché de Telemetría (servidor Redis).

El valor por defecto es 6379 y se establece durante la instalación.

redisPassword cadena vacía

La contraseña para conectarse a la caché de Telemetría (servidor Redis) si se habilita la autenticación con contraseña.

Por defecto, la autenticación con contraseña no está habilitada.

scheduleHour 5

La hora especificada para que comience el ETL diario de Platform Analytics. El valor por defecto 5 significa 05:00 UTC.
scheduleMin 2 El minuto de la hora planificada para la ejecución del ETL diario de Platform Analytics. El valor por defecto 2 significa 2 minutos después de la hora planificada.
viewCutoffRangeInDays 14

El número de días de datos durante los que las tablas de vista en el cubo de Platform Analytics se mantendrán en la memoria durante la republicación.

Por ejemplo, un valor por defecto de 14 días significa que las tablas de vista y el cubo de Platform Analytics incluirán datos de los últimos 14 días consecutivos. Los datos devueltos por el esquema de proyecto de Platform Analytics nunca son limitados.

Para obtener más información, consulte Modificar la cantidad de datos devueltos en memoria para el cubo de Platform Analytics.
currentFactDataKeepDays 180

El número de días de datos que retendrán las tablas de hechos actuales en el repositorio de Platform Analytics.

Para el almacén de PostgreSQL, creamos la tabla histórica para algunas tablas de hechos cuya cantidad de datos puede ser muy grande. Como access_transactions, fact_sql_stats. El nombre de la tabla de historial comienza con el prefijo "histórico_".

Por ejemplo, un valor por defecto de 180 días significa que las tablas de hechos actuales incluirán datos de los últimos 180 días consecutivos. Los demás datos se almacenarán en las tablas de hechos del historial.

beaconDedup true

Una señal para determinar si la desduplicación de los datos de seguimiento del transmisor de MicroStrategy Badge está activada.

Si true, el ETL del almacén de telemetría quitará cualquier acción de baliza duplicada si se cumplen todas las condiciones:

Registro del mismo usuario

Interacción con el mismo transmisor

En un plazo de 180 segundos

Activar esta señal permite mantener los puntos de datos válidos mínimos para el análisis sin superar la recogida de datos.

locationDedup true

Una señal para determinar si la desduplicación de los datos de seguimiento de ubicación de MicroStrategy Badge está activada.

Si true, el ETL del almacén de telemetría quita cualquier acción de seguimiento de ubicación duplicada si se cumplen todas las condiciones:

Registro del mismo usuario

en los 60 segundos

Activar esta señal permitirá mantener los puntos de datos válidos mínimos para el análisis sin superar la recogida de datos.

whDbType

postgresql

El tipo de base de datos predeterminado que se ha utilizado como repositorio de Platform Analytics. A partir de MicroStrategy 2020, la base de datos por defecto es "postgresql", pero también puede admitir el tipo de base de datos "mysql".
whHost preconfigurado a través de la instalación El nombre de dominio completo (FQDN) o IP del repositorio de Platform Analytics donde el almacén de Telemetría guardará los datos para la elaboración de informes.
whUser preconfigurado a través de la instalación El nombre de usuario utilizado para conectarse al repositorio de Platform Analytics donde el almacén de Telemetría guardará los datos para la elaboración de informes.
whPasswd preconfigurado a través de la instalación La contraseña de usuario utilizada para conectarse al repositorio de Platform Analytics donde el almacén de Telemetría guardará los datos para la elaboración de informes.
whPort 3306

El puerto del servidor de la base de datos MySQL al que conectarse.

El puerto del repositorio de Platform Analytics (base de datos del servidor MySQL).

El puerto por defecto es 3306, configurado durante la instalación.

whDb platform_analytics_wh

La base de datos del almacén de Platform Analytics.

Esto no debe cambiarse.

pgWhHost

localhost

El nombre de dominio completo (FQDN) o IP de la base de datos de PostgreSQL que se utiliza para el repositorio de Platform Analytics. Como instalaremos el servidor de PostgreSQL en el equipo en el que se instaló Platform Analytics, el valor por defecto es "localhost"

pgWhUser

mstr_pa

El nombre de usuario de la base de datos PostgreSQL utilizado para conectar con el repositorio de Platform Analytics, donde el almacén de telemetría almacenará los datos para la elaboración de informes.

pgWhPasswd

preconfigurado a través de la instalación

La contraseña de la base de datos de PostgreSQL del usuario que se utilizó para conectarse al repositorio de Platform Analytics, donde el almacén de telemetría almacenará los datos para la elaboración de informes. Esta contraseña se cifra durante la instalación. Encontrará la contraseña sin cifrar en el archivo "Default_Accounts.txt" que se encuentra en (Windows: C:\Archivos de programa (x86)\Common Files\ MicroStrategy\ o Linux: ./install/Repository/)

pgWhPort

5432

El puerto del servidor de bases de datos de PostgreSQL al que se va a conectar.

El puerto para el repositorio de Platform Analytics (base de datos de PostgreSQL Server).

El valor por defecto es 5432 y se establece durante la instalación.

pgWhDb

platform_analytics_wh

La base de datos del almacén de Platform Analytics.

Esto no debe cambiarse.
pgWhSSLcert cadena vacía Para la futura compatibilidad con la autenticación SSL.
pgWhSSLkey cadena vacía Para la futura compatibilidad con la autenticación SSL.
pgWhSSLrootcert cadena vacía Para la futura compatibilidad con la autenticación SSL.
pgWhSSLmode cadena vacía Para la futura compatibilidad con la autenticación SSL.
geoLocationTopic Mstr.PlatformAnalytics.Geolocation

El tema del servidor de Telemetría (Kafka) para el procesamiento de geocodificación de datos de ubicación desde la aplicación móvil de MicroStrategy Badge.

Esto no debe cambiarse.

kafkaHealthCheckTopic mstr-pa-health-check

El tema del servidor de Telemetría (Kafka) utilizado para la comprobación de estado.

Esto no debe cambiarse.

usherProducerKeys

SourceProvisionBadgePhone

SourceProvisionOrganization

SourceEnvironmentVariables

SourceOrganization

SourceOrganizationBadge

SourceBadgeAdminRole

SourceBadge

SourceGateway

SourceGatewayHierarchyAndDef

SourceBeacon

SourceDevice

 Esto no debe cambiarse.
logging True Señal para determinar si el registro de uso de la API de geocodificación de Google está habilitado.
alerting True Señal para determinar si el registro de uso de la API de geocodificación de Google está habilitado.
googleApiKey cadena vacía

La clave empresarial para permitir la realización de llamadas a la API de geocodificación de Google con una cuota empresarial.
googleApiClientId cadena vacía La clave empresarial para permitir la realización de llamadas a la API de geocodificación de Google con una cuota empresarial.
businessQuota 100000 La cuota diaria para realizar llamadas a la API de geocodificación de Google sin claves de desarrollador o empresa.
callLimit 1000 Solo para uso interno.
sleepTimeQuery 5

El número de segundos de detención entre las llamadas a la API de geocodificación de Google para el procesamiento de datos de ubicación.

Esto no debe cambiarse.

usherLookupTopic Mstr.PlatformAnalytics.UsherLookup

El tema Kafka utilizado para la telemetría de información de metadatos del servidor Usher.

Esto no debe cambiarse.

Ajustes usherServerConfig

Copiar 
usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

A continuación está la configuración definida para usherServerConfig, junto con defaultConfig valores para cada ajuste.

Nombre Por defecto Descripción
usherServerMysqlAesKeyPath preconfigurado a través de la instalación La ruta del archivo de clave AES utilizada para descodificar la contraseña
usherServerUrl preconfigurado a través de la instalación La URL de conectividad JDBC para conectarse a la base de datos de información de metadatos del servidor Usher
usherServerUser preconfigurado a través de la instalación El nombre de usuario para conectarse a la base de datos de información de metadatos del servidor Usher
usherServerPassword preconfigurado a través de la instalación La contraseña para conectarse a la base de datos de información de metadatos del servidor Usher

Ajustes de paTopicsGroupList

Los siguientes parámetros, que están definidos solo en la topicsGroup nivel, no en el ParentConfig.

Copiar 
paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

A continuación está la configuración definida para paTopicsGroupList.

Nombre Descripción
name Nombre de la topicsGroup. Debe ser único entre todos topicsGroup nombres.
numberOfConsumers El número de procesos consumidor asignados a este topicsGroup al formar un grupo de consumidores
usherFlag true si esto topicGroup está relacionado con Usher.
topics La lista de temas de Kafka que los consumidores del topicsGroup suscribirse a.