Strategy ONE

Configurer Platform Analytics à l'aide du fichier PAConsumerConfig.yaml

Platform Analytics stocke tous les paramètres de configuration pour le magasin de télémétrie (anciennement consommateur Platform Analytics) et le producteur de télémétrie d'identités (anciennement producteur Usher Metadata) dans PAConsumerConfig.yaml fichier. Pour plus d'informations sur la référence d'architecture Platform Analytics, reportez-vous à la page Architecture et services de Platform Analytics.

La structure du fichier YAML est mise à jour à chaque nouvelle version avec de nouveaux paramètres de configuration ou de nouvelles rubriques Telemetry Server. Toutes les valeurs modifiables sont conservées après une mise à niveau afin que les paramètres personnalisés ne soient pas perdus. Cependant, tous les nouveaux champs ajoutés sont définis par défaut après une mise à niveau.

Le fichier YAML est situé sur la machine sur laquelle l'assistant d'installation Strategy a installé Platform Analytics.

Le chemin d'accès par défaut est :

  • Linux : /opt/MicroStrategy/PlatformAnalytics/Conf
  • Windows : C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf

Lire un fichier YAML

Dans un fichier YAML, l'indentation est utilisée pour exprimer des valeurs imbriquées. Par exemple :

Copier 
parentConfig:
  numberOfConsumers: 1
  pollTimeoutMillisec: 1000
  kafkaProperties:
    bootstrap.servers: "10.27.17.167:9092"

YAML utilise key: value notation . Une espace simple est requise après le double point.

Pour en savoir plus sur la fonctionnalité YAML, reportez-vous à la page Learn YAML in Y minutes (Lire YAML en Y minutes).

Spécifications PAConsumerConfig.yaml

Le PAConsumerConfig Le fichier se compose des parties suivantes :

  • paParentConfig: Configurations communes pour Telemetry Server (Kafka) et Telemetry Manager (Zookeeper) TopicsGroups
  • paEtlConfig: Configuration pour Telemetry Store (Platform Analytics Consommateur) pour effectuer le traitement des données.
  • usherServerConfig: Paramètres de configuration de connectivité pour se connecter à la base de données Identity Server afin de collecter les métadonnées d'identités.
  • paTopicsGroupList: Liste des serveurs Telemetry Server TopicsGroups et leur configuration.

Chaque topicsGroup hérite des paramètres de defaultConfig et parentConfig. Chaque topicsGroup peut également remplacer des paramètres spécifiques dont il hérite.

Vous trouverez ci-dessous un exemple PAConsumerConfig.yaml fichier. Il fait référence au fichier installé pour la dernière version.

Copier 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

paEtlConfig:
  redisConnection: 
    redisServer: 127.0.0.1
    redisPort: 6379
    redisPassword:
  dailyETLConfiguration:
    scheduleHour: 5
    scheduleMin: 2
  viewCutoffRangeInDays: 14
  beaconDedup: true
  locationDedup: true
  warehouseDbConnection:
    whHost: 127.0.0.1
    whUser: root
    whPasswd:
    whPort: 3306
    whDb: platform_analytics_wh
    whClientCertificateKeyStore:
    whClientCertificateKeyStoreType:
    whClientCertificateKeyStorePassword:
    whTrustCertificateKeyStore:
    whTrustCertificateKeyStoreType:
    whTrustCertificateKeyStorePassword:
  pgWarehouseDbConnection:
    pgWhHost: localhost
    pgWhUser: mstr_pa
    pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
    pgWhPort: 5432
    pgWhDb: platform_analytics_wh
    pgWhSSLcert: ~
    pgWhSSLkey: ~
    pgWhSSLrootcert: ~
    pgWhSSLmode: ~
  geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
  kafkaHealthCheckTopic: mstr-pa-health-check
  usherProducerKeys:
    - SourceProvisionBadgePhone
    - SourceProvisionOrganization
    - SourceEnvironmentVariables
    - SourceOrganization
    - SourceOrganizationBadge
    - SourceBadgeAdminRole
    - SourceBadge
    - SourceGateway
    - SourceGatewayHierarchyAndDef
    - SourceBeacon
    - SourceDevice
  googleAPIConfig:
    googleApiKey:
    googleApiClientId:
    businessQuota: 100000
    freeQuota: 2500
    sleepTimeQuery: 5
  usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Paramètres paParentConfig

Le paParentConfig les paramètres sont des configurations communes pour Telemetry Server (Kafka) et Telemetry Manager (Zookeeper) TopicsGroups. Par exemple :

Copier 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

Vous trouverez ci-dessous les paramètres définis pour paParentConfig et topicsGroup configuration, avec defaultConfig valeurs pour chaque paramètre.

Nom Par défaut Description
consumerGroupSuffix ~ (valeur nulle)

Ce champ permet de tester ou de récupérer des données dans un environnement de production. Annexe à la topicsGroup Ce nom constitue l'ID de groupe de consommateurs réel (également appelé group.id).

L'une des principales fonctions de ce champ est de modifier la propriété afin de générer un nouvel ID de groupe de consommateurs. La génération d'un nouvel ID de groupe de consommateurs entraîne le retraitement de tous les enregistrements conservés dans les rubriques Telemetry Server.

Par exemple, pour remplir l'entrepôt de données Platform Analytics (PA WH), vous pouvez définir cette propriété sur une chaîne unique après avoir réinitialisé le PA WH à l'aide du programme d'installation personnalisé de PA. La chaîne unique ne doit pas avoir été déjà utilisée dans le même environnement. Une stratégie recommandée est d'inclure un horodatage dans cette chaîne.

Par exemple : 

reprocess_incorrect_log_johndoe_133011282018
overrideKafkaOffsets true

Si true, utilise les valeurs de décalage de partition de sujet dans la base de données pour définir les décalages Kafka pour un groupe de consommateurs donné au démarrage.

Si false, utilise les valeurs de décalage stockées dans Kafka.

Il est recommandé de conserver la configuration par défaut.
kafkaTopicNumberOfReplicas 1 ou nombre de serveurs Telemetry Server

Il s'agit du facteur de réplication configuré pour toutes les rubriques Telemetry Server. Il est défini pendant l'installation de Platform Analytics en fonction des éléments installés (un cluster de serveurs Telemetry Server ou un seul nœud).

Cette valeur doit correspondant au nombre de nœuds Telemetry Server en cluster afin de tirer parti de la tolérance aux pannes de Kafka.

kafkaTopicsDoNotCreateList chaîne vide La liste des sujets sous topicsGroupList qui ne sera pas créé par Telemetry Store (Platform Analytics Consommateur) au démarrage. Ce champ ne doit pas être modifié.
zooKeeperConnection 127.0.0.1:2181 ou quorum du cluster Zookeeper préconfigurée

Il s'agit de la configuration de cluster Telemetry Manager (ZooKeeper) séparée par des virgules.

Par exemple : FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3

Le port par défaut est 2181. Il a été défini lors de l'installation de Platform Analytics.

ignoreUsherTopics false

Cette valeur est définie pendant l'installation de Platform Analytics en fonction du statut du serveur Identity Server (installé ou non) :

false si Identity Server est installé et configuré ;

true si Identity Server n'est pas installé.

bootstrap.servers 127.0.0.1:9092 ou quorum de courtier Kafka préconfigurée

Configuration de cluster Telemetry Server (Kafka) séparée par des virgules (par exemple, FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3).

Le port par défaut est 9092, défini pendant l'installation de Platform Analytics.

Paramètres de paEtlConfig

Copier 
paEtlConfig:
    redisConnection:
        redisServer: 127.0.0.1
        redisPort: 6379
        redisPassword: ~
    dailyETLConfiguration:
        scheduleHour: 5
        scheduleMin: 2
    viewCutoffRangeInDays: 14
    currentFactDataKeepDays: 180
    beaconDedup: true
    locationDedup: true 
    whDbType: postgresql
    warehouseDbConnection:
        whHost: 127.0.0.1
        whUser: root
        whPasswd: r9oJP5d6
        whPort: 3306
        whDb: platform_analytics_wh
    pgWarehouseDbConnection:
        pgWhHost: localhost
        pgWhUser: mstr_pa
        pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
        pgWhPort: 5432
        pgWhDb: platform_analytics_wh
        pgWhSSLcert: ~
        pgWhSSLkey: ~
        pgWhSSLrootcert: ~
        pgWhSSLmode: ~
    geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
    kafkaHealthCheckTopic: mstr-pa-health-check
    usherProducerKeys:
        - SourceProvisionBadgePhone
        - SourceProvisionOrganization
        - SourceEnvironmentVariables
        - SourceOrganization
        - SourceOrganizationBadge
        - SourceBadgeAdminRole
        - SourceBadge
        - SourceGateway
        - SourceGatewayHierarchyAndDef
        - SourceBeacon
        - SourceDevice
    googleAPIConfig:
        googleApiKey: ~
        googleApiClientId: ~ 
        businessQuota: 100000
        freeQuota: 2500
        sleepTimeQuery: 5
    usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

Vous trouverez ci-dessous les paramètres définis pour paEtlConfig, avec defaultConfig valeurs pour chaque paramètre.

Nom Par défaut Description
redisServer 127.0.0.1

Nom de domaine complet (FQDN) ou adresse IP du cache Telemetry Cache (serveur Redis).

Pour obtenir des performances optimales, utilisez une instance Telemetry Cache locale.

redisPort 6379

Port du cache Telemetry Cache (serveur Redis).

Le port par défaut est 6379, défini pendant l'installation.

redisPassword chaîne vide

Mot de passe pour la connexion au cache Telemetry Cache (serveur Redis) si l'authentification par mot de passe est activée.

Par défaut, l'authentification par mot de passe est désactivée.

scheduleHour 5

Heure spécifiée pour le démarrage de l'ETL quotidienne de Platform Analytics. La valeur par défaut 5 signifie 05:00 UTC.
scheduleMin 2 Minute de l'heure d'exécution planifiée du processus ETL quotidien de Platform Analytics. La valeur par défaut 2 représente 2 minutes après l'heure planifiée.
viewCutoffRangeInDays 14

Nombre de jours de données que les tables d'affichage dans le cube Platform Analytics conserveront en mémoire pendant la republication.

Par exemple, la valeur par défaut 14 signifie que les tables d'affichage et le cube Platform Analytics contiendront des données des 14 derniers jours. Les données renvoyées par le schéma de projet Platform Analytics ne sont jamais limitées.

Pour plus de détails, reportez-vous à la page Modifier la quantité de données renvoyées en mémoire pour le cube Platform Analytics.
currentFactDataKeepDays 180

Le nombre de jours de données que les tables de faits actuelles dans le référentiel Platform Analytics contiendront.

Pour l'entrepôt PostgreSQL, nous créons la table historique pour certaines tables de faits dont la quantité de données peut être très importante. Comme access_transactions, fact_sql_stats. Le nom de la table historique commence par le préfixe « historique_ ».

Par exemple, une valeur par défaut de 180 jours signifie que les tables de faits actuelles incluront les données des 180 derniers jours glissants. Et toutes les autres données seront stockées dans les tables de faits historiques.

beaconDedup true

Indicateur déterminant si la déduplication des données de suivi du beacon MicroStrategy Badge est activée.

Si true, l'ETL Telemetry Store supprimera toutes les actions de balise en double si toutes les conditions sont remplies :

journal du même utilisateur

interaction avec le même beacon

en 180 secondes

L'activation de cet indicateur aide à conserver des informations valides minimales pour l'analyse sans collecte excessive de données.

locationDedup true

Indicateur déterminant si la déduplication des données de suivi de l'emplacement MicroStrategy Badge est activée.

Si true, l'ETL Telemetry Store supprime toutes les actions de suivi d'emplacement en double si toutes les conditions sont remplies :

journal du même utilisateur

moins de 60 secondes

L'activation de cet indicateur aide à conserver des informations valides minimales pour l'analyse sans collecte excessive de données.

whDbType

postgresql

Le type de base de données par défaut qui a été utilisé comme référentiel Platform Analytics. À partir de MicroStrategy 2020, la base de données par défaut est « postgresql », mais elle peut également prendre en charge le type de base de données « mysql ».
whHost préconfiguré pendant l'installation Nom de domaine complet (FQDN) ou adresse IP du référentiel Platform Analytics dans lequel le stockage Telemetry Store stockera les données pour les rapports.
whUser préconfiguré pendant l'installation Nom d'utilisateur utilisé pour se connecter au référentiel Platform Analytics dans lequel le stockage Telemetry Store stockera les données pour les rapports.
whPasswd préconfiguré pendant l'installation Mot de passe de l'utilisateur utilisé pour se connecter au référentiel Platform Analytics dans lequel le stockage Telemetry Store stockera les données pour les rapports.
whPort 3306

Port du serveur de base de données MySQL pour se connecter.

Port du référentiel Platform Analytics (base de données de serveur MySQL).

La valeur par défaut est 3306. Elle est définie lors de l'installation.

whDb platform_analytics_wh

Base de données de l'entrepôt de données Platform Analytics.

Ce paramètre ne doit pas être modifié.

pgWhHost

hôte local

Le nom de domaine complet (FQDN) ou l'adresse IP de la base de données PostgreSQL utilisée pour le référentiel Platform Analytics. Comme nous installerons PostgreSQL Server sur l'ordinateur sur lequel Platform Analytics est installé, la valeur par défaut est « localhost »

pgWhUser

mstr_pa

Le nom d'utilisateur de la base de données PostgreSQL utilisé pour se connecter au référentiel Platform Analytics où le magasin Telemetry Store stockera les données pour le reporting.

pgWhPasswd

préconfiguré pendant l'installation

Le mot de passe de base de données PostgreSQL de l'utilisateur utilisé pour se connecter au référentiel Platform Analytics où le magasin Telemetry Store stockera les données à des fins de reporting. Ce mot de passe est chiffré pendant l'installation. Vous pouvez trouver le mot de passe non crypté à partir du fichier « Default_Accounts.txt » qui sous (Windows : C:\Fichiers de programme (x86)\Fichiers communs\ MicroStrategy\ ou Linux : ./install/Repository/)

pgWhPort

5432

Le port du serveur de base de données PostgreSQL pour se connecter.

Le port pour le référentiel Platform Analytics (base de données PostgreSQL Server).

La valeur par défaut est 5432. Elle a été définie lors de l'installation.

pgWhDb

platform_analytics_wh

Base de données de l'entrepôt de données Platform Analytics.

Ce paramètre ne doit pas être modifié.
pgWhSSLcert chaîne vide Pour une prise en charge ultérieure de l'authentification SSL.
pgWhSSLkey chaîne vide Pour une prise en charge ultérieure de l'authentification SSL.
pgWhSSLrootcert chaîne vide Pour une prise en charge ultérieure de l'authentification SSL.
pgWhSSLmode chaîne vide Pour une prise en charge ultérieure de l'authentification SSL.
geoLocationTopic Mstr.PlatformAnalytics.Geolocation

Rubrique Telemetry Server (Kafka) pour le traitement du géocodage des données de localisation depuis l'application mobile MicroStrategy Badge.

Ce paramètre ne doit pas être modifié.

kafkaHealthCheckTopic mstr-pa-health-check

Rubrique Telemetry Server (Kafka) utilisée pour le contrôle.

Ce paramètre ne doit pas être modifié.

usherProducerKeys

SourceProvisionBadgePhone

SourceProvisionOrganization

SourceEnvironmentVariables

SourceOrganization

SourceOrganizationBadge

SourceBadgeAdminRole

SourceBadge

SourceGateway

SourceGatewayHierarchyAndDef

SourceBeacon

SourceDevice

 Ce paramètre ne doit pas être modifié.
logging True Indicateur pour déterminer si la journalisation de l'utilisation de l'API Geocoding de Google est activée.
alerting True Indicateur pour déterminer si la journalisation de l'utilisation de l'API Geocoding de Google est activée.
googleApiKey chaîne vide

Clé naturelle pour autoriser les appels de l'API Geocoding de Google avec un quota commercial.
googleApiClientId chaîne vide Clé naturelle pour autoriser les appels de l'API Geocoding de Google avec un quota commercial.
businessQuota 100000 Quota quotidien pour passer des appels de l'API Geocoding de Google sans clé professionnelle ou de développeur.
callLimit 1000 Destiné à un usage interne uniquement.
sleepTimeQuery 5

Durée de la pause en secondes entre les appels de l'API Geocoding de Google pour le traitement des données de localisation.

Ce paramètre ne doit pas être modifié.

usherLookupTopic Mstr.PlatformAnalytics.UsherLookup

Rubrique Kafka utilisée pour la télémétrie des informations sur les métadonnées du serveur Usher.

Ce paramètre ne doit pas être modifié.

Paramètres usherServerConfig

Copier 
usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

Vous trouverez ci-dessous les paramètres définis pour usherServerConfig, avec defaultConfig valeurs pour chaque paramètre.

Nom Par défaut Description
usherServerMysqlAesKeyPath préconfiguré pendant l'installation Chemin de fichier de clé AES utilisé pour déchiffrer le mot de passe.
usherServerUrl préconfiguré pendant l'installation URL de connectivité JDBC pour se connecter à la base de données d'informations sur les métadonnées du serveur Usher Server.
usherServerUser préconfiguré pendant l'installation Nom d'utilisateur pour se connecter à la base de données d'informations sur les métadonnées du serveur Usher Server.
usherServerPassword préconfiguré pendant l'installation Mot de passe pour se connecter à la base de données d'informations sur les métadonnées du serveur Usher Server.

Paramètres de paTopicsGroupList

Les paramètres suivants qui sont définis uniquement à la topicsGroup niveau, pas au niveau ParentConfig.

Copier 
paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Vous trouverez ci-dessous les paramètres définis pour paTopicsGroupList.

Nom Description
name Nom pour topicsGroup. Doit être unique parmi tous topicsGroup noms.
numberOfConsumers Le nombre de processus consommateurs affectés à ce topicsGroup lors de la formation d'un groupe de consommateurs
usherFlag true si ceci topicGroup est lié à Usher.
topics La liste des sujets Kafka que les consommateurs dans topicsGroup souscrire à.