MicroStrategy ONE

Konfigurieren von Platform Analytics mit der Datei PAConsumerConfig.yaml

Platform Analytics speichert alle Konfigurationsparameter für den Telemetry Store (zuvor Platform Analytics Consumer) und den Identitätstelemetrieproduzenten (zuvor Usher Metadata Producer) in PAConsumerConfig.yaml Datei. Weitere Informationen zur Platform-Analytics-Architekturreferenz finden Sie unter Platform Analytics – Architektur und Dienste.

Die YAML-Dateistruktur wird bei jeder Version mit neuen Konfigurationsparametern oder Telemetry Server-Themen aktualisiert. Alle änderbaren Werte werden nach einem Upgrade beibehalten, sodass keine angepassten Parameter verloren gehen. Alle neu hinzugefügten‑Felder werden jedoch nach einem Upgrade auf den Standardwert festgelegt.

Die YAML-Datei befindet sich auf dem Computer, auf dem Platform Analytics mithilfe von installiert wurde MicroStrategy Installations-Assistent.

Der Standardpfad lautet:

  • Linux: /opt/MicroStrategy/PlatformAnalytics/Conf
  • Windows: C:\Programme (x86)\MicroStrategy\Platform Analytics\conf

Lesen einer YAML-Datei

In einer YAML-Datei wird zum Angeben von verschachtelten Werten Einrückung verwendet. Zum Beispiel:

Kopieren 
parentConfig:
  numberOfConsumers: 1
  pollTimeoutMillisec: 1000
  kafkaProperties:
    bootstrap.servers: "10.27.17.167:9092"

YAML verwendet Schlüssel: Wert Notation. Nach einem Doppelpunkt ist ein einfaches Leerzeichen erforderlich.

Weitere Informationen zur YAML-Funktion finden Sie unter YAML lernen in Y Minuten.

PAConsumerConfig.yaml Specifications

Die PAConsumerConfig Die Datei besteht aus den folgenden Teilen:

  • paParentConfig: Gemeinsame Konfigurationen für Telemetry Server (Kafka) und Telemetry Manager (Zookeeper) für alle ThemenGruppen
  • paEtlConfig: Konfiguration für den Telemetry Store (Platform Analytics Consumer) zur Durchführung der Datenverarbeitung.
  • usherServerConfig: Konnektivitätskonfigurationsparameter für die Verbindung zur Identity Server-Datenbank zur Erfassung von Identitätsmetadateninformationen.
  • paTopicsGroupList: Liste von Telemetry Server ThemenGruppen und deren Konfiguration.

Jedes themenGruppe erbt Einstellungen von defaultConfig und parentConfig. Jedes themenGruppe kann auch bestimmte Einstellungen, die es erbt, überschreiben.

Unten finden Sie ein Beispiel PAConsumerConfig.yaml Datei. Informationen zu der neuesten Version finden Sie in der installierten Datei.

Kopieren 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

paEtlConfig:
  redisConnection: 
    redisServer: 127.0.0.1
    redisPort: 6379
    redisPassword:
  dailyETLConfiguration:
    scheduleHour: 5
    scheduleMin: 2
  viewCutoffRangeInDays: 14
  beaconDedup: true
  locationDedup: true
  warehouseDbConnection:
    whHost: 127.0.0.1
    whUser: root
    whPasswd:
    whPort: 3306
    whDb: platform_analytics_wh
    whClientCertificateKeyStore:
    whClientCertificateKeyStoreType:
    whClientCertificateKeyStorePassword:
    whTrustCertificateKeyStore:
    whTrustCertificateKeyStoreType:
    whTrustCertificateKeyStorePassword:
  pgWarehouseDbConnection:
    pgWhHost: localhost
    pgWhUser: mstr_pa
    pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
    pgWhPort: 5432
    pgWhDb: platform_analytics_wh
    pgWhSSLcert: ~
    pgWhSSLkey: ~
    pgWhSSLrootcert: ~
    pgWhSSLmode: ~
  geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
  kafkaHealthCheckTopic: mstr-pa-health-check
  usherProducerKeys:
    - SourceProvisionBadgePhone
    - SourceProvisionOrganization
    - SourceEnvironmentVariables
    - SourceOrganization
    - SourceOrganizationBadge
    - SourceBadgeAdminRole
    - SourceBadge
    - SourceGateway
    - SourceGatewayHierarchyAndDef
    - SourceBeacon
    - SourceDevice
  googleAPIConfig:
    googleApiKey:
    googleApiClientId:
    businessQuota: 100000
    freeQuota: 2500
    sleepTimeQuery: 5
  usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

paParentConfig Settings

Die paParentConfig -Einstellungen sind gemeinsame Konfigurationen für Telemetry Server (Kafka) und Telemetry Manager (Zookeeper) in allen Bereichen ThemenGruppen. Zum Beispiel:

Kopieren 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

Unten sind die Einstellungen für definiert paParentConfig und themenGruppe -Konfiguration zusammen mit der defaultConfig Werte für jede Einstellung festlegen.

Name Standard Beschreibung
Verbrauchergruppensuffix ~ (NULL-Wert)

Dieses Feld wird zum Testen oder Wiederherstellen von Daten in einer Produktionsumgebung verwendet. Angehängt an themenGruppe Name ergibt die tatsächliche Verbrauchergruppen-ID (auch bezeichnet als Gruppe.ID).

Eine wesentlicher Verwendungszweck für dieses Feld ist die Änderung der Eigenschaft zum Erstellen einer neuen Consumer-Gruppen-ID. Beim Erstellen einer neuen Consumer-Gruppen-ID werden alle in den Telemetry Server-Themen verbleibenden Datensätze erneut verarbeitet.

Um das Platform Analytics Warehouse (PA WH) erneut zu befüllen, können Sie diese Eigenschaft beispielsweise nach der erneuten Initialisierung des PA WH mithilfe des benutzerdefinierten PA-Installationsprogramms zu einer eindeutigen Zeichenfolge ändern. Die eindeutige Zeichenfolge sollte in derselben Umgebung nicht bereits verwendet worden sein. Wir empfehlen, einen Zeitstempel hinzuzufügen.

Zum Beispiel 

reprocess_incorrect_log_johndoe_1330111282018
überschreibenKafkaOffsets WAHR

Wenn wahr, verwendet Versatzwerte für Themenpartitionen in der Datenbank, um die Kafka-Versätze für eine bestimmte Verbrauchergruppe beim Start festzulegen.

Wenn falsch, verwendet in Kafka gespeicherte Versatzwerte.

Es wird empfohlen, die Standardwerte für die Konfiguration beizubehalten.
SkullTopicNumberOfReplicas 1 oder Anzahl an Telemetry Servern

Dies ist der Replikatsfaktor, der für alle Telemetry Server-Themen konfiguriert ist. Er wird während der Installation von Platform Analytics festgelegt, abhängig davon, ob ein Cluster von Telemetry Servern oder ein einzelner Knoten installiert ist.

Dieser Wert sollte der Anzahl der gebündelten Telemetry Server-Knoten entsprechen, damit die Fehlertoleranz von Kafka genutzt werden kann.
SkullTopicsDoNotCreateList Leere Zeichenfolge Die Liste der Themen unter themenGruppenliste die beim Start nicht vom Telemetry Store (Platform Analytics Consumer) erstellt wird. Dieses Feld sollte nicht geändert werden.
zooKeeperConnection 127.0.0.1:2181 oder vorkonfiguriertes Zookeeper-Cluster-Quorum

Die kommagetrennte Clusterkonfiguration von Telemetry Manager (Zookeeper).

Beispiel: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3

Der Standardport 2181 wurde bei der Installation von Platform Analytics festgelegt.
ignorierenUsherThemen FALSCH

Dieser Wert wird während der Installation von Platform Analytics festgelegt, abhängig davon, ob der Identity Server installiert wurde oder nicht.

falsch wenn Identity Server installiert und konfiguriert ist;

wahr wenn Identity Server nicht installiert ist.
Bootstrap.Server 127.0.0.1:9092 oder vorkonfiguriertes Kafka-Broker-Quorum

Die kommagetrennte Clusterkonfiguration von Telemetry Server (Kafka) (z. B. FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3).

Der Standardport ist 9092. Dieser wird während der Installation von Platform Analytics festgelegt.

paEtlConfig-Einstellungen

Kopieren 
paEtlConfig:
    redisConnection:
        redisServer: 127.0.0.1
        redisPort: 6379
        redisPassword: ~
    dailyETLConfiguration:
        scheduleHour: 5
        scheduleMin: 2
    viewCutoffRangeInDays: 14
    currentFactDataKeepDays: 180
    beaconDedup: true
    locationDedup: true 
    whDbType: postgresql
    warehouseDbConnection:
        whHost: 127.0.0.1
        whUser: root
        whPasswd: r9oJP5d6
        whPort: 3306
        whDb: platform_analytics_wh
    pgWarehouseDbConnection:
        pgWhHost: localhost
        pgWhUser: mstr_pa
        pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
        pgWhPort: 5432
        pgWhDb: platform_analytics_wh
        pgWhSSLcert: ~
        pgWhSSLkey: ~
        pgWhSSLrootcert: ~
        pgWhSSLmode: ~
    geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
    kafkaHealthCheckTopic: mstr-pa-health-check
    usherProducerKeys:
        - SourceProvisionBadgePhone
        - SourceProvisionOrganization
        - SourceEnvironmentVariables
        - SourceOrganization
        - SourceOrganizationBadge
        - SourceBadgeAdminRole
        - SourceBadge
        - SourceGateway
        - SourceGatewayHierarchyAndDef
        - SourceBeacon
        - SourceDevice
    googleAPIConfig:
        googleApiKey: ~
        googleApiClientId: ~ 
        businessQuota: 100000
        freeQuota: 2500
        sleepTimeQuery: 5
    usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

Unten sind die Einstellungen für definiert paEtlConfig, zusammen mit defaultConfig Werte für jede Einstellung festlegen.

Name Standard Beschreibung
returnServer 127.0.0.1

Der vollqualifizierte Domänenname (FQDN) oder die IP für den Telemetry Cache (Redis-Server).

Um optimale Leistung zu erzielen, verwenden Sie eine lokale Telemetry Cache-Instanz.
redisPort 6379

Der Port für den Telemetry Cache (Redis-Server).

Der Standardport ist 6379. Dieser wird während der Installation festgelegt.
redisPasswort Leere Zeichenfolge

Das Kennwort für die Verbindung mit dem Telemetry Cache (Redis-Server), wenn die Kennwortauthentifizierung aktiviert ist.

Standardmäßig ist die Kennwortauthentifizierung nicht aktiviert.
ZeitplanStunde 5

Die angegebene Stunde für den Start des täglichen ETL von Platform Analytics. Der Standardwert 5 bedeutet 05:00 UTC.
ZeitplanMin 2 Die Minute der geplanten Stunde für die Ausführung des täglichen ETL-Prozesses. Der Standardwert 2 steht für 2 Minuten nach der geplanten Stunde.
CutoffRangeInDays anzeigen 14

Die Anzahl der Tage, für die die Ansichtstabellen im Platform Analytics Cube die Daten während der erneuten Veröffentlichung speichern.

Eine Standardeinstellung von 14 Tagen bedeutet beispielsweise, dass die Ansichtstabellen und der Platform Analytics Cube Daten aus den letzten 14 aufeinanderfolgenden Tagen enthalten. Die vom Platform Analytics-Projektschema zurückgegebenen Daten werden nie begrenzt.

Weitere Einzelheiten finden Sie unter Die im Speicher vom Platform Analytics-Cube zurückgegebene Datenmenge ändern.

aktuelleFactDataKeepDays 180

Die Anzahl der Tage an Daten, die in den aktuellen Faktentabellen im Platform Analytics Repository gespeichert werden.

Für das PostgreSQL-Warehouse erstellen wir die historische Tabelle für einige Faktentabellen, deren Datenmenge sehr groß sein kann. Wie access_transactions, fact_sql_stats. Der Name der historischen Tabelle beginnt mit dem Präfix „historical_“.

Beispielsweise bedeutet ein 180-Tage-Standardwert, dass die aktuellen Faktentabellen Daten der letzten 180 Tage enthalten. Und alle anderen Daten werden in den historischen Faktentabellen gespeichert.
LeuchtfeuerDedup WAHR

Ein Flag zur Bestimmung, ob die Deduplizierung der MicroStrategy Badge-Beacon-Nachverfolgungsdaten aktiviert ist.

Wenn wahr, entfernt die Telemetry Store ETL alle doppelten Beacon-Aktionen, wenn alle Bedingungen erfüllt sind:

Protokoll vom selben Benutzer

Interaktion mit demselben Beacon

innerhalb von 180 Sekunden

Durch das Aktivieren dieses Flags können Sie die gültigen Mindestdatenpunkte für die Analyse ohne übermäßige Datenerfassung speichern.
StandortDedup WAHR

Ein Flag zur Bestimmung, ob die Deduplizierung der MicroStrategy Badge-Standortnachverfolgungsdaten aktiviert ist.

Wenn wahr, entfernt der Telemetry Store ETL alle doppelten Standortverfolgungsaktionen, wenn alle Bedingungen erfüllt sind:

Protokoll vom selben Benutzer

Innerhalb von 60 Sekunden

Durch das Aktivieren dieses Flags können Sie die gültigen Mindestdatenpunkte für die Analyse ohne übermäßige Datenerfassung speichern.

whDbTyp

postgresql

Der Standarddatenbanktyp, der als Platform Analytics Repository verwendet wurde. Ab MicroStrategy 2020 ist die Standarddatenbank „postgresql“, es wird aber auch der Datenbanktyp „mysql“ unterstützt.
whHost Vorkonfiguriert bei Installation Der vollqualifizierte Domänenname (FQDN) oder die IP des Platform Analytics-Repositorys, in dem der Telemetry Store Daten für die Berichterstellung speichert.
whBenutzer Vorkonfiguriert bei Installation Der vollqualifizierte Domänenname (FQDN) für die Verbindung mit dem Platform Analytics-Repository, in dem der Telemetry Store Daten für die Berichterstellung speichert.
whPasswort Vorkonfiguriert bei Installation Das Kennwort des Benutzers für die Verbindung mit dem Platform Analytics-Repository, in dem der Telemetry Store Daten für die Berichterstellung speichert.
whPort 3306

Der Port des MySQL-Datenbankservers für die Verbindung.

Der Port für das Platform Analytics-Repository (MySQL-Serverdatenbank).

Der Standardwert ist 3306 und wird bei der Installation festgelegt.
wdhDb Plattformanalyse

Die Datenbank des Platform Analytics-Warehouse.

Dies sollte nicht geändert werden.

pgWhHost

lokaler Host

Der vollqualifizierte Domänenname (FQDN) oder die IP der PostgreSQL-Datenbank, die für das Platform Analytics Repository verwendet wird. Da wir den PostgreSQL-Server auf dem Computer installieren, auf dem auch Platform Analytics installiert ist, lautet der Standardwert „localhost“.

pgWhBenutzer

mstr_pa

Der PostgreSQL-Datenbankbenutzername, der für die Verbindung mit dem Platform Analytics Repository verwendet wird, in dem der Telemetry Store Daten für die Berichterstellung speichert.

pgWhPasswd

Vorkonfiguriert bei Installation

Das PostgreSQL-Datenbankkennwort des Benutzers, das für die Verbindung mit dem Platform Analytics Repository verwendet wird, in dem der Telemetry Store Daten für die Berichterstellung speichert. Dieses Passwort wird während der Installation verschlüsselt. Sie finden das unverschlüsselte Kennwort in der Datei "Default_Accounts.txt" unter (Windows: C:\Programme (x86)\Gemeinsame Dateien\MicroStrategy\ oder Linux: ./install/Repository/ ).

pgWhPort

5432

Der Port des PostgreSQL-Datenbankservers, zu dem eine Verbindung hergestellt werden soll.

Der Port für das Platform Analytics Repository (PostgreSQL Server-Datenbank).

Der Standardwert ist 5432 und wird bei der Installation festgelegt.

pgWhDb

Plattformanalyse

Die Datenbank des Platform Analytics-Warehouse.

Dies sollte nicht geändert werden.
pgWhSSLcert Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
pgWhSSLkey Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
pgWhSSLrootcert Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
pgWhSSLmode Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
GeoStandortThema Mstr.PlatformAnalytics.Geolocation

Das Telemetry Server-Thema (Kafka) für die Geokodierungsverarbeitung von Standortdaten über die mobile MicroStrategy Badge-App.

Dies sollte nicht geändert werden.
kafkaHealthCheckThema mstr-pa-Gesundheitscheck

Das Telemetry Server-Thema (Kafka), das für den Health Check verwendet wird.

Dies sollte nicht geändert werden.
PlatzanweiserProduzentSchlüssel

SourceProvisionBadgePhone

SourceProvisionOrganization

SourceEnvironmentVariables

SourceOrganization

SourceOrganizationBadge

SourceBadgeAdminRole

SourceBadge

SourceGateway

SourceGatewayHierarchyAndDef

SourceBeacon

SourceDevice

 Dies sollte nicht geändert werden.
Protokollierung Wahr Ein Flag zur Bestimmung, ob die Nutzungsprotokollierung für die Google-Geokodierungs-API aktiviert ist.
Alarmierung Wahr Ein Flag zur Bestimmung, ob die Nutzungsprotokollierung für die Google-Geokodierungs-API aktiviert ist.
googleApiKey Leere Zeichenfolge

Der Geschäftsschlüssel, durch den Sie Aufrufe mit der Google-Geokodierungs-API mit einer Geschäftsquote durchführen können.
googleApiClientId Leere Zeichenfolge Der Geschäftsschlüssel, durch den Sie Aufrufe mit der Google-Geokodierungs-API mit einer Geschäftsquote durchführen können.
Geschäftsquote 100000 Die tägliche Quote zum Durchführen von Aufrufen mit der Google-Geokodierungs-API ohne Entwickler- oder Geschäftsschlüssel.
Anruflimit 1000 Nur zur internen Verwendung.
sleepTimeQuery 5

Die Anzahl der Sekunden, für die zwischen den Aufrufen mit der Google-Geokodierungs-API für die Standortdatenverarbeitung eine Pause eingelegt werden muss.

Dies sollte nicht geändert werden.
usherLookupTopic Mstr.PlatformAnalytics.UsherLookup

Das Kafka-Thema, das für Informationstelemetrie für Usher-Servermetadaten verwendet wird.

Dies sollte nicht geändert werden.

usherServerConfig-Einstellungen

Kopieren 
usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

Unten sind die Einstellungen für definiert usherServerConfig, zusammen mit defaultConfig Werte für jede Einstellung festlegen.

Name Standard Beschreibung
usherServerMysqlAesKeyPath Vorkonfiguriert bei Installation Der Dateipfad des AES-Schlüssels, der zum Entschlüsseln des Kennworts verwendet wird
usherServerUrl Vorkonfiguriert bei Installation Die JDBC-Verbindungs-URL für die Verbindung mit der Usher-Server-Metainformationsdatenbank
usherServerBenutzer Vorkonfiguriert bei Installation Der Benutzername für die Verbindung mit der Usher-Server-Metainformationsdatenbank
usherServerPassword Vorkonfiguriert bei Installation Das Kennwort für die Verbindung mit der Usher-Server-Metainformationsdatenbank

paTopicsGroupList Settings

Die folgenden Einstellungen, die nur unter definiert sind themenGruppe Ebene, nicht auf ParentConfig.

Kopieren 
paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Unten sind die Einstellungen für definiert paTopicsGroupList.

Name Beschreibung
Name Name für themenGruppe. Muss unter allen eindeutig sein themenGruppe Namen.
Anzahl der Verbraucher Die Anzahl der diesem zugewiesenen Verbraucherprozesse themenGruppe bei der Bildung einer Verbrauchergruppe
PlatzanweiserFlagge wahr wenn dies topicGroup ist auf Usher bezogen.
Themen Die Liste der Kafka-Themen, die die Konsumenten in verwenden themenGruppe abonnieren.