MicroStrategy ONE

Konfigurieren von Platform Analytics mit der Datei PAConsumerConfig.yaml

Platform Analytics speichert alle Konfigurationsparameter für den Telemetry Store (ehemals Platform Analytics Consumer) und den Identity Telemetry Developer (ehemals Usher Metadatenproduzent) im PAConsumerConfig.yaml Datei. Weitere Informationen zur Platform Analytics-Architekturreferenz finden Sie unter Platform Analytics – Architektur und Dienste.

Die YAML-Dateistruktur wird bei jeder Version mit neuen Konfigurationsparametern oder Telemetry Server-Themen aktualisiert. Alle änderbaren Werte werden nach einem Upgrade beibehalten, sodass keine angepassten Parameter verloren gehen. Alle neu hinzugefügten‑Felder werden jedoch nach einem Upgrade auf den Standardwert festgelegt.

Die YAML-Datei befindet sich auf dem Computer, auf dem Platform Analytics mit dem Assistenten für die Installation von MicroStrategy installiert wurde.

Der Standardpfad lautet:

  • Linux: /opt/MicroStrategy/PlatformAnalytics/Conf
  • Windows: C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf

Lesen einer YAML-Datei

In einer YAML-Datei wird zum Angeben von verschachtelten Werten Einrückung verwendet. Zum Beispiel:

Kopieren
parentConfig:
  numberOfConsumers: 1
  pollTimeoutMillisec: 1000
  kafkaProperties:
    bootstrap.servers: "10.27.17.167:9092"

GAML verwendet key: value Schreibung. Nach einem Doppelpunkt ist ein einfaches Leerzeichen erforderlich.

Weitere Informationen zur YAML-Funktionalität finden Sie unter YAML in Y Minuten erklärt.

PAConsumerConfig.yaml Specifications

Der/die/das PAConsumerConfig Datei besteht aus den folgenden Teilen:

  • paParentConfig: Gemeinsame Konfigurationen für Telemetry Server (Kefka) und Telemetry Manager (Zoopeer) in ganz Amerika TopicsGroups
  • paEtlConfig: Konfiguration für den Telemetry Store (Plattform Analytics Consumer) zur Durchführung der Datenverarbeitung.
  • usherServerConfig: Konnektivitätskonfigurationsparameter für die Verbindung mit der Identity Server-Datenbank zur Erfassung von Identitätsmetadateninformationen.
  • paTopicsGroupList: Liste von Telemetry Server TopicsGroups und ihre Konfiguration.

Jedes topicsGroup erbt Einstellungen von defaultConfig und parentConfig. Jedes topicsGroup kann auch bestimmte Einstellungen überschreiben, die es vererbt.

PaparentConfig-Einstellungen

Der/die/das paParentConfig -Einstellungen sind gemeinsame Konfigurationen für Telemetry Server (Kefka) und Telemetry Manager (Zoopeer) in ganz Amerika TopicsGroups. Zum Beispiel:

Kopieren
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

Unten finden Sie Einstellungen, die für beide definiert sind paParentConfig und topicsGroup Konfiguration zusammen mit der defaultConfig Werte für jede Einstellung.

Name Standard Beschreibung
consumerGroupSuffix ~ (NULL-Wert)

Dieses Feld wird zum Testen oder Wiederherstellen von Daten in einer Produktionsumgebung verwendet. Angehängt an topicsGroup Der Name ist die tatsächliche Konsumentengruppen-ID (die auch als bezeichnet wird). group.id).

Eine wesentlicher Verwendungszweck für dieses Feld ist die Änderung der Eigenschaft zum Erstellen einer neuen Consumer-Gruppen-ID. Beim Erstellen einer neuen Consumer-Gruppen-ID werden alle in den Telemetry Server-Themen verbleibenden Datensätze erneut verarbeitet.

Um das Platform Analytics Warehouse (PA WH) erneut zu befüllen, können Sie diese Eigenschaft beispielsweise nach der erneuten Initialisierung des PA WH mithilfe des benutzerdefinierten PA-Installationsprogramms zu einer eindeutigen Zeichenfolge ändern. Die eindeutige Zeichenfolge sollte in derselben Umgebung nicht bereits verwendet worden sein. Wir empfehlen, einen Zeitstempel hinzuzufügen.

Beispiel:

reprocess_incolrect_log_jondoe_1330111282018

overrideKafkaOffsets true

Wenn true, verwendet Versatzwerte für Themenpartitionen in der Datenbank, um die Kafka-Versätze für eine bestimmte Konsumentengruppe beim Start festzulegen.

Wenn false, verwendet in Kafka gespeicherte Versatzwerte.

Es wird empfohlen, die Standardwerte für die Konfiguration beizubehalten.

kafkaTopicNumberOfReplicas 1 oder Anzahl der Telemetry Server

Dies ist der Replikatsfaktor, der für alle Telemetry Server-Themen konfiguriert ist. Er wird während der Installation von Platform Analytics festgelegt, abhängig davon, ob ein Cluster von Telemetry Servern oder ein einzelner Knoten installiert ist.

Dieser Wert sollte der Anzahl der gebündelten Telemetry Server-Knoten entsprechen, damit die Fehlertoleranz von Kafka genutzt werden kann.

kafkaTopicsDoNotCreateList Leere Zeichenfolge Die Liste der Themen unter topicsGroupList die beim Start nicht vom Telemetry Store (Plattform Analytics Consumer) erstellt wird. Dieses Feld sollte nicht geändert werden.
zooKeeperConnection 127.0.0.1:2181 oder vorkonfiguriertes Zookeeper-Cluster-Quorum

Die kommagetrennte Clusterkonfiguration von Telemetry Manager (Zookeeper).

Zum Beispiel: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3

Der Standardport ist 2181 und wurde bei der Installation von Platform Analytics festgelegt.

ignoreUsherTopics false

Dieser Wert wird während der Installation von Platform Analytics festgelegt, abhängig davon, ob der Identity Server installiert wurde oder nicht.

false wenn Identity Server installiert und konfiguriert ist;

true wenn Identity Server nicht installiert ist.

bootstrap.servers 127.0.0.1:9092 oder vorkonfiguriertes Kafka-Botschafter-Quorum

Die kommagetrennte Clusterkonfiguration von Telemetry Server (Kafka) (z. B. FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3).

Der Standardport ist 9092. Dieser wird während der Installation von Platform Analytics festgelegt.

PaEtlConfig-Einstellungen

Kopieren
paEtlConfig:
    redisConnection:
        redisServer: 127.0.0.1
        redisPort: 6379
        redisPassword: ~
    dailyETLConfiguration:
        scheduleHour: 5
        scheduleMin: 2
    viewCutoffRangeInDays: 14
    currentFactDataKeepDays: 180
    beaconDedup: true
    locationDedup: true 
    whDbType: postgresql
    warehouseDbConnection:
        whHost: 127.0.0.1
        whUser: root
        whPasswd: r9oJP5d6
        whPort: 3306
        whDb: platform_analytics_wh
    pgWarehouseDbConnection:
        pgWhHost: localhost
        pgWhUser: mstr_pa
        pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
        pgWhPort: 5432
        pgWhDb: platform_analytics_wh
        pgWhSSLcert: ~
        pgWhSSLkey: ~
        pgWhSSLrootcert: ~
        pgWhSSLmode: ~
    geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
    kafkaHealthCheckTopic: mstr-pa-health-check
    usherProducerKeys:
        - SourceProvisionBadgePhone
        - SourceProvisionOrganization
        - SourceEnvironmentVariables
        - SourceOrganization
        - SourceOrganizationBadge
        - SourceBadgeAdminRole
        - SourceBadge
        - SourceGateway
        - SourceGatewayHierarchyAndDef
        - SourceBeacon
        - SourceDevice
    googleAPIConfig:
        googleApiKey: ~
        googleApiClientId: ~ 
        businessQuota: 100000
        freeQuota: 2500
        sleepTimeQuery: 5
    usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

Unten finden Sie Einstellungen, die für definiert sind paEtlConfig, zusammen mit dem defaultConfig Werte für jede Einstellung.

Name Standard Beschreibung
redisServer 127.0.0.1

Der vollqualifizierte Domänenname (FQDN) oder die IP für den Telemetry Cache (Redis-Server).

Um optimale Leistung zu erzielen, verwenden Sie eine lokale Telemetry Cache-Instanz.

redisPort 6379

Der Port für den Telemetry Cache (Redis-Server).

Der Standardport ist 6379. Dieser wird während der Installation festgelegt.

redisPassword Leere Zeichenfolge

Das Kennwort für die Verbindung mit dem Telemetry Cache (Redis-Server), wenn die Kennwortauthentifizierung aktiviert ist.

Standardmäßig ist die Kennwortauthentifizierung nicht aktiviert.

scheduleHour 5

Die angegebene Stunde für den Start der täglichen Platform Analytics-ETL. Der Standardwert 5 bedeutet 05:00 UTC.

scheduleMin 2 Die Minute der geplanten Stunde für die Ausführung des täglichen ETL-Prozesses. Der Standardwert 2 steht für 2 Minuten nach der geplanten Stunde.
viewCutoffRangeInDays 14

Die Anzahl der Tage, für die die Ansichtstabellen im Platform Analytics Cube die Daten während der erneuten Veröffentlichung speichern.

Eine Standardeinstellung von 14 Tagen bedeutet beispielsweise, dass die Ansichtstabellen und der Platform Analytics Cube Daten aus den letzten 14 aufeinanderfolgenden Tagen enthalten. Die vom Platform Analytics-Projektschema zurückgegebenen Daten werden nie begrenzt.

Weitere Informationen finden Sie unter Die im Speicher vom Platform Analytics-Cube zurückgegebene Datenmenge ändern.

currentFactDataKeepDays 180

Die Anzahl der Tage mit Daten, die in den aktuellen Fakttabellen im Platform Analytics Repository enthalten sind.

Für das PostgreSQL-Warehouse erstellen wir die Verlaufstabelle für einige Fakttabellen, deren Datenmenge sehr groß sein kann. Wie Access_Transaktionen, Fakt_SQL_Stats. Der Name der Verlaufstabelle beginnt mit dem Präfix „historikal_“.

Ein Standardwert von 180 Tagen bedeutet, dass die aktuellen Fakttabellen Daten der letzten gleitenden 180 Tage enthalten. Alle anderen Daten werden in den Verlaufsfakttabellen gespeichert.

beaconDedup true

Ein Flag zur Bestimmung, ob die Deduplizierung der MicroStrategy Badge-Beacon-Nachverfolgungsdaten aktiviert ist.

Wenn true„“ entfernt der Telemetry Store ETL alle doppelten Beacon-aktionen, wenn alle Bedingungen erfüllt sind:

Protokoll vom selben Benutzer

Interaktion mit demselben Beacon

innerhalb von 180 Sekunden

Durch das Aktivieren dieses Flags können Sie die gültigen Mindestdatenpunkte für die Analyse ohne übermäßige Datenerfassung speichern.

locationDedup true

Ein Flag zur Bestimmung, ob die Deduplizierung der MicroStrategy Badge-Standortnachverfolgungsdaten aktiviert ist.

Wenn trueentfernt der Telemetry Store ETL alle doppelten Standortverfolgungsaktionen, wenn alle Bedingungen erfüllt sind:

Protokoll vom selben Benutzer

Innerhalb von 60 Sekunden

Durch das Aktivieren dieses Flags können Sie die gültigen Mindestdatenpunkte für die Analyse ohne übermäßige Datenerfassung speichern.

whDbType

PostgreSQL

Der Standard-Datenbanktyp, der als Platform Analytics Repository verwendet wurde. Ab MicroStrategy 2020 ist die Standarddatenbank „Postgresql“, es kann jedoch auch der Datenbanktyp „MySQL“ unterstützt werden.

whHost Vorkonfiguriert bei Installation Der vollqualifizierte Domänenname (FQDN) oder die IP des Platform Analytics-Repositorys, in dem der Telemetry Store Daten für die Berichterstellung speichert.
whUser Vorkonfiguriert bei Installation Der vollqualifizierte Domänenname (FQDN) für die Verbindung mit dem Platform Analytics-Repository, in dem der Telemetry Store Daten für die Berichterstellung speichert.
whPasswd Vorkonfiguriert bei Installation Das Kennwort des Benutzers für die Verbindung mit dem Platform Analytics-Repository, in dem der Telemetry Store Daten für die Berichterstellung speichert.
whPort 3306

Der Port des MySQL-Datenbankservers für die Verbindung.

Der Port für das Platform Analytics-Repository (MySQL-Serverdatenbank).

Der Standardwert ist 3306 und wurde während der Installation festgelegt.

whDb platform_analytics_wh

Die Datenbank des Platform Analytics-Warehouse.

Dies sollte nicht geändert werden.

pgWhHost

lokaler Host

Der vollqualifizierte Domänenname (FQDN) oder die IP der PostgreSQL-Datenbank, die für Platform Analytics Repository verwendet wird. Da PostgreSQL Server auf dem Computer installiert wird, auf dem Platform Analytics installiert wurde, lautet der Standardwert „licalhost“.

pgWhUser

mstr_PA

Der PostgreSQL-Datenbankbenutzername, der für die Verbindung zum Platform Analytics Repository verwendet wird, wo der Telemetry Store Daten für Berichterstellung speichert.

pgWhPasswd

Vorkonfiguriert bei Installation

Das PostgreSQL-Datenbankkennwort des Benutzers, der für die Verbindung mit dem Platform Analytics Repository verwendet wird, wo der Telemetry Store Daten für die Berichterstellung speichert. Dieses Kennwort wird während der Installation gesichert. Das unverschlüsselte Kennwort finden Sie in der Datei „Standard_Accounts.txt“, die unter (Windows: C:\Programme (x86)\Gemeinschaftliche Dateien\ MicroStrategy\ oder Linux: ./install/Repository/)

pgWhPort

5432

Der Port des zu verbindenden PostgreSQL-Datenbankservers.

Der Port für Platform Analytics Repository (PostgreSQL Server-Datenbank).

Der Standardwert ist 5432 und wurde während der Installation festgelegt.

pgWhDb

platform_analytics_wh

Die Datenbank des Platform Analytics-Warehouse.

Dies sollte nicht geändert werden.

pgWhSSLcert Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
pgWhSSLkey Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
pgWhSSLrootcert Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
pgWhSSLmode Leere Zeichenfolge Für zukünftige SSL-Authentifizierungsunterstützung.
geoLocationTopic Mstr.PlatformAnalytics.Geolocation

Das Telemetry Server-Thema (Kafka) für die Geokodierungsverarbeitung von Standortdaten über die mobile MicroStrategy Badge-App.

Dies sollte nicht geändert werden.

kafkaHealthCheckTopic mstr-pa-health-check

Das Telemetry Server-Thema (Kafka), das für den Health Check verwendet wird.

Dies sollte nicht geändert werden.

usherProducerKeys

SourceProvisionBadgePhone

SourceProvisionOrganization

SourceEnvironmentVariables

SourceOrganization

SourceOrganizationBadge

SourceBadgeAdminRole

SourceBadge

SourceGateway

SourceGatewayHierarchyAndDef

SourceBeacon

SourceDevice

Dies sollte nicht geändert werden.
logging True Ein Flag zur Bestimmung, ob die Nutzungsprotokollierung für die Google-Geokodierungs-API aktiviert ist.
alerting True Ein Flag zur Bestimmung, ob die Nutzungsprotokollierung für die Google-Geokodierungs-API aktiviert ist.
googleApiKey Leere Zeichenfolge

Der Geschäftsschlüssel, durch den Sie Aufrufe mit der Google-Geokodierungs-API mit einer Geschäftsquote durchführen können.

googleApiClientId Leere Zeichenfolge Der Geschäftsschlüssel, durch den Sie Aufrufe mit der Google-Geokodierungs-API mit einer Geschäftsquote durchführen können.
businessQuota 100000 Die tägliche Quote zum Durchführen von Aufrufen mit der Google-Geokodierungs-API ohne Entwickler- oder Geschäftsschlüssel.
callLimit 1000 Nur zur internen Verwendung.
sleepTimeQuery 5

Die Anzahl der Sekunden, für die zwischen den Aufrufen mit der Google-Geokodierungs-API für die Standortdatenverarbeitung eine Pause eingelegt werden muss.

Dies sollte nicht geändert werden.

usherLookupTopic Mstr.PlatformAnalytics.UsherLookup

Das Kafka-Thema, das für Informationstelemetrie für Usher-Servermetadaten verwendet wird.

Dies sollte nicht geändert werden.

UsherServerConfig-Einstellungen

Kopieren
usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

Unten finden Sie Einstellungen, die für definiert sind usherServerConfig, zusammen mit dem defaultConfig Werte für jede Einstellung.

Name Standard Beschreibung
usherServerMysqlAesKeyPath Vorkonfiguriert bei Installation Der Dateipfad des AES-Schlüssels, der zum Entschlüsseln des Kennworts verwendet wird
usherServerUrl Vorkonfiguriert bei Installation Die JDBC-Verbindungs-URL für die Verbindung mit der Usher-Server-Metainformationsdatenbank
usherServerUser Vorkonfiguriert bei Installation Der Benutzername für die Verbindung mit der Usher-Server-Metainformationsdatenbank
usherServerPassword Vorkonfiguriert bei Installation Das Kennwort für die Verbindung mit der Usher-Server-Metainformationsdatenbank

PatopicsGroupList-Einstellungen

Die folgenden Einstellungen, die nur am definiert sind topicsGroup Ebene, nicht auf der ParentConfig.

Kopieren
paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

Unten finden Sie Einstellungen, die für definiert sind paTopicsGroupList.

Name Beschreibung
name Name für topicsGroup. Muss unter allen eindeutig sein topicsGroup Namen.
numberOfConsumers Die Anzahl der diesem zugewiesenen Consumer-Prozesse topicsGroup beim Bilden einer Konsumentengruppe
usherFlag true wenn dies topicGroup steht in Bezug auf Usher.
topics Die Liste der Kafka-Themen, die die Konsumenten im verwenden topicsGroup abonnieren.