MicroStrategy ONE

Platform Analytics の設定: PAConsumerConfig.yaml ファイルを使う方法

Platform Analytics は、テレメトリー ストア (以前の Platform Analytics Consumer) と ID テレメトリー プロバイダー (以前のUsherメタデータ プロバイダー) のすべての設定パラメーターを PAConsumerConfig.yaml ファイル。Platform Analytics のアーキテクチャについては、Platform Analytics のアーキテクチャとサービスを参照してください。

YAML ファイルの構成はリリースごとに変わります。設定パラメーターや Telemetry Server トピックスが追加されるためです。それでも値が変更可能なパラメーターの定義は変わらないので、アップグレードの結果、以前変更した設定事項が元に戻ってしまうことはありません。ただし、新規に追加されたフィールドは、デフォルト値になっています。

YAML ファイルは、MicroStrategy Installation Wizard で Platform Analytics をインストールしたマシン上にあります。

デフォルトのパスは次の通りです。

  • Linux: /opt/MicroStrategy/PlatformAnalytics/Conf
  • Windows: C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf

YAML ファイルの読み方

YAML ファイルでは、入れ子になった値を字下げによって表します。次にその例を示します。

コピー 
parentConfig:
  numberOfConsumers: 1
  pollTimeoutMillisec: 1000
  kafkaProperties:
    bootstrap.servers: "10.27.17.167:9092"

SAML で使うのは key: value 表記。コロンの直後に空白を 1 個置く必要があります。

YAML の機能について詳しくは、『Learn YAML in Y minutes』を参照してください。

PAConsumerConfig.yaml の仕様

選択: PAConsumerConfig ファイルは次の部分で構成されます:

  • paParentConfig:Telemetry Server (Kafka) と Telemetry Manager (Zookeeper) の共通の構成 TopicsGroups
  • paEtlConfig:Telemetry Store (Platform Analytics Consumer) のデータ処理に関する設定事項。
  • usherServerConfig:Identity Server データベースに接続して Identity メタデータ情報を収集するための接続設定パラメーター。
  • paTopicsGroupList:Telemetry Server のリスト TopicsGroups 構成などです

それぞれ topicsGroup は から設定を継承します defaultConfig および parentConfig。それぞれ topicsGroup 継承する特定の設定を上書きできます

以下はサンプルです PAConsumerConfig.yaml ファイル。なお、最新版については、実際にインストールされたファイルを参照してください。

コピー 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

paEtlConfig:
  redisConnection: 
    redisServer: 127.0.0.1
    redisPort: 6379
    redisPassword:
  dailyETLConfiguration:
    scheduleHour: 5
    scheduleMin: 2
  viewCutoffRangeInDays: 14
  beaconDedup: true
  locationDedup: true
  warehouseDbConnection:
    whHost: 127.0.0.1
    whUser: root
    whPasswd:
    whPort: 3306
    whDb: platform_analytics_wh
    whClientCertificateKeyStore:
    whClientCertificateKeyStoreType:
    whClientCertificateKeyStorePassword:
    whTrustCertificateKeyStore:
    whTrustCertificateKeyStoreType:
    whTrustCertificateKeyStorePassword:
  pgWarehouseDbConnection:
    pgWhHost: localhost
    pgWhUser: mstr_pa
    pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
    pgWhPort: 5432
    pgWhDb: platform_analytics_wh
    pgWhSSLcert: ~
    pgWhSSLkey: ~
    pgWhSSLrootcert: ~
    pgWhSSLmode: ~
  geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
  kafkaHealthCheckTopic: mstr-pa-health-check
  usherProducerKeys:
    - SourceProvisionBadgePhone
    - SourceProvisionOrganization
    - SourceEnvironmentVariables
    - SourceOrganization
    - SourceOrganizationBadge
    - SourceBadgeAdminRole
    - SourceBadge
    - SourceGateway
    - SourceGatewayHierarchyAndDef
    - SourceBeacon
    - SourceDevice
  googleAPIConfig:
    googleApiKey:
    googleApiClientId:
    businessQuota: 100000
    freeQuota: 2500
    sleepTimeQuery: 5
  usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

pearentConfig 設定

選択: paParentConfig 設定は、Telemetry Server (Kafka) と Telemetry Manager (Zookeeper) に共通の構成です TopicsGroups。次にその例を示します。

コピー 
---
paParentConfig:
  consumerGroupSuffix: ~
  overrideKafkaOffsets: true
  kafkaTopicNumberOfReplicas: 1
  kafkaTopicsDoNotCreateList:
  zooKeeperConnection: 127.0.0.1:2181
  ignoreUsherTopics: false
  kafkaConsumerProperties:
    bootstrap.servers: 127.0.0.1:9092

以下は、 paParentConfig および topicsGroup セキュリティとコンプライアンス defaultConfig 各設定の値を確認できます

名前 デフォルト 説明
consumerGroupSuffix ~ (NULL 値)

このフィールドは、データをテストし、あるいは運用環境に復元するために使います。に追加 topicsGroup 名前は、実際のコンシューマー グループ ID を構成します。 group.id)。

このフィールドは主として、プロパティを変更することにより、新しい Consumer Group ID を生成するために使います。すると、Telemetry Server のトピックに残っているレコードがすべて、改めて処理されます。

たとえば、Platform Analytics Warehouse (PA WH) に値を格納し直したい場合、PA カスタム インストーラーで PA WH を再初期化した後、このプロパティを一意的な文字列に変更すればよいのです。ここでいう一意的な文字列は、同じ環境で過去に使ったことがないものでなければなりません。タイムスタンプを埋め込む方法を推奨します。

例: 

再処理_不正確_ログ_johndoe_1330111282018
overrideKafkaOffsets true

条件 trueは、データベース内のトピック パーティション オフセット値を使用して、起動時に指定のコンシューマー グループの Kafka オフセットを設定します。

条件 false、Kafka に保存されているオフセット値を使用します。

通常はデフォルト値のままにしておくよう推奨します。
kafkaTopicNumberOfReplicas 1 Telemetry Server の数

これはレプリカ係数で、Telemetry Server のトピックすべてに適用します。Platform Analytics のインストール時に、Telemetry Server のクラスターがインストール済みか、それとも単一ノードか、に応じて設定されます。

クラスター化された Telemetry Server のノード数と一致していなければ、Kafka の耐障害性を活かせません。

kafkaTopicsDoNotCreateList 空文字列 のトピックのリスト topicsGroupList 起動時に、テレメトリー ストア (プラットフォーム アナリティクス コンシューマー) によって作成されません。このフィールドは変更できません。
zooKeeperConnection 127.0.0.1:2181 事前構成済みの Zookeeper クラスター クォータ

カンマ区切りの Telemetry Manager (Zookeeper) クラスター設定。

次にその例を示します。FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3

デフォルトのポートは 2181 です。これは Platform Analytics のインストール中に設定されます。

ignoreUsherTopics false

この値は Platform Analytics の初期化時に、Identity Server がインストール済みか否かに応じて設定されます。

false Identity Server がインストールされ構成されている場合

true Identity Server がインストールされていない場合です

bootstrap.servers 127.0.0.1:9092 事前構成済みの Kafka 業者 クォータや

Telemetry Server (Kafka) のクラスター構成をカンマ区切りで記述したもの (例: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3)。

デフォルトのポート番号は 9092 で、Platform Analytics のインストール時に設定されます。

PaEtlConfig 設定

コピー 
paEtlConfig:
    redisConnection:
        redisServer: 127.0.0.1
        redisPort: 6379
        redisPassword: ~
    dailyETLConfiguration:
        scheduleHour: 5
        scheduleMin: 2
    viewCutoffRangeInDays: 14
    currentFactDataKeepDays: 180
    beaconDedup: true
    locationDedup: true 
    whDbType: postgresql
    warehouseDbConnection:
        whHost: 127.0.0.1
        whUser: root
        whPasswd: r9oJP5d6
        whPort: 3306
        whDb: platform_analytics_wh
    pgWarehouseDbConnection:
        pgWhHost: localhost
        pgWhUser: mstr_pa
        pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
        pgWhPort: 5432
        pgWhDb: platform_analytics_wh
        pgWhSSLcert: ~
        pgWhSSLkey: ~
        pgWhSSLrootcert: ~
        pgWhSSLmode: ~
    geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
    kafkaHealthCheckTopic: mstr-pa-health-check
    usherProducerKeys:
        - SourceProvisionBadgePhone
        - SourceProvisionOrganization
        - SourceEnvironmentVariables
        - SourceOrganization
        - SourceOrganizationBadge
        - SourceBadgeAdminRole
        - SourceBadge
        - SourceGateway
        - SourceGatewayHierarchyAndDef
        - SourceBeacon
        - SourceDevice
    googleAPIConfig:
        googleApiKey: ~
        googleApiClientId: ~ 
        businessQuota: 100000
        freeQuota: 2500
        sleepTimeQuery: 5
    usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup

以下は、対象として定義された設定です paEtlConfig、および defaultConfig 各設定の値を確認できます

名前 デフォルト 説明
redisServer 127.0.0.1

Telemetry Cache (Redis サーバー) の完全修飾ドメイン名 (FQDN、Fully Qualified Domain Name) または IP アドレス。

処理性能を重視するならば、ローカル Telemetry Cache インスタンスを使ってください。

redisPort 6379

Telemetry Cache (Redis サーバー) のポート番号。

デフォルト値は 6379 で、インストール時に設定されます。

redisPassword 空文字列

Telemetry Cache (Redis サーバー) に接続するためのパスワード (パスワード認証が有効な場合)。

デフォルト状態では、パスワード認証は無効です。

scheduleHour 5

Platform Analytics の Daily ETL を実行するために指定した時刻 (時)。デフォルト値 5 05:00 UTC を意味します。
scheduleMin 2 Platform Analytics の Daily ETL を実行する時刻 (分)。デフォルト値 2 は、スケジュールされた時間より 2 分後に表示されます。
viewCutoffRangeInDays 14

Platform Analytics Cube のビュー テーブルが、再公開の際、メモリー上にデータを保持する日数。

例えばデフォルト値である 14 は、Platform Analytics Cube のビュー テーブルに、14 日分ずつのデータを保持することを表します。Platform Analytics プロジェクト スキーマが返すデータが制限されることはありません。

詳しくはPlatform Analytics Cube の公開後、インメモリで返されるデータ量の変更を参照してください。
currentFactDataKeepDays 180

Platform Analytics Repository の現在のファクト テーブルにデータが保持される日数。

PostgreSQL ウェアハウスでは、一部のファクト テーブルに対しては履歴テーブルが生成されますが、そのデータ量がきわめて大きい場合があります(Access_transactions、fact_sql_stats など)。履歴テーブルの名前には "historical_" という接頭辞が付きます。

例えばデフォルト値である 180 は、現在のファクト テーブルに、180 日分ずつのデータを保持することを表します。他のすべてのデータは履歴ファクト テーブルに保存されます。

beaconDedup true

MicroStrategy Badge のビーコン追跡データの重複を除去するか否か、を表すフラグ。

条件 true、すべての条件を満たした場合、テレメトリー ストア ETL は重複したビーコン アクションを削除します。

同じユーザーからのログ

同じビーコンとのやり取り

180 秒以内

このフラグをオンにすると、分析に必要な最小限の、有効なデータ ポイントのみ保持するようになります。過剰にデータを収集してしまうことはありません。

locationDedup true

MicroStrategy Badge の位置追跡データの重複を除去するか否か、を表すフラグ。

条件 true、すべての条件を満たした場合、テレメトリー ストア ETL は重複した位置追跡操作を削除します。

同じユーザーからのログ

60 秒以内

このフラグをオンにすると、分析に必要な最小限の、有効なデータ ポイントのみ保持するようになります。過剰にデータを収集してしまうことはありません。

whDbType

postgresql

Platform Analytics Repository として使用されたデフォルトのデータベース タイプ。MicroStrategy 2020 以降では、デフォルトのデータベースは "postgresql" ですが、データベース タイプ "mysql" もサポートされます。
whHost インストール時に事前設定 Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository の完全修飾名 (FQDN、Fully Qualified Domain Name) または IP アドレス。
whUser インストール時に事前設定 Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するためのユーザー名。
whPasswd インストール時に事前設定 Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するためのパスワード。
whPort 3306

MySQL データベース サーバーに接続するポート番号。

Platform Analytics Repository (MySQL Server Database) のポート番号。

デフォルトは 3306 で、インストール中に設定されます。

whDb platform_analytics_wh

Platform Analytics Warehouse のデータベース。

変更はできません。

pgWhHost

localhost

Platform Analytics Repository に使用される PostgreSQL データベースの完全修飾ドメイン名 (FQDN) または IP。PostgreSQL Server は Platform Analytics がインストールされたマシンにインストールされるため、デフォルト値は "localhost" になります。

pgWhUser

mstr_pa

Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するための PostgreSQL データベースのユーザー名。

pgWhPasswd

インストール時に事前設定

Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するための PostgreSQL データベースのパスワード。このパスワードはインストール時に暗号化されています。暗号化されていないパスワードは Default_Accounts.txt ファイルで確認できます (Windows の場合はC:\プログラム ファイル (x86)\共通ファイル\ MicroStrategy\ または Linux：./install/Repository/)

pgWhPort

5432

PostgreSQL データベース サーバーに接続するポート番号。

Platform Analytics Repository (PostgreSQL Server Database) のポート番号。

デフォルトは 5432 です。インストール中に設定されます。

pgWhDb

platform_analytics_wh

Platform Analytics Warehouse のデータベース。

変更はできません。
pgWhSSLcert 空文字列 将来 SSL 認証に対応するために予約。
pgWhSSLkey 空文字列 将来 SSL 認証に対応するために予約。
pgWhSSLrootcert 空文字列 将来 SSL 認証に対応するために予約。
pgWhSSLmode 空文字列 将来 SSL 認証に対応するために予約。
geoLocationTopic Mstr.PlatformAnalytics.Geolocation

Telemetry Server (Kafka) のトピックで、MicroStrategy Badge モバイル アプリケーションから、位置データをジオコーディング処理するために使うもの。

変更はできません。

kafkaHealthCheckTopic mstr-pa-health-check

Telemetry Server (Kafka) のトピックで、稼働状況の確認に使うもの。

変更はできません。

usherProducerKeys

SourceProvisionBadgePhone

SourceProvisionOrganization

SourceEnvironmentVariables

SourceOrganization

SourceOrganizationBadge

SourceBadgeAdminRole

SourceBadge

SourceGateway

SourceGatewayHierarchyAndDef

SourceBeacon

SourceDevice

 変更はできません。
logging True Google geocoding API の使用状況をログ出力するか否か、を表すフラグ。
alerting True Google geocoding API の使用状況をログ出力するか否か、を表すフラグ。
googleApiKey 空文字列

ビジネス クォータを渡して Google geocoding API を呼び出せるようにするためのビジネス キー。
googleApiClientId 空文字列 ビジネス クォータを渡して Google geocoding API を呼び出せるようにするためのビジネス キー。
businessQuota 100000 開発者キーやビジネス キーなしで Google geocoding API を呼び出せるようにするための日次クォータ。
callLimit 1000 内部処理のためにのみ使用。
sleepTimeQuery 5

Google geocoding API を呼び出して位置データを処理するための停止時間 (秒単位)。

変更はできません。

usherLookupTopic Mstr.PlatformAnalytics.UsherLookup

Usher サーバー メタデータ情報テレメトリーに用いる Kafka トピック。

変更はできません。

Usher サーバー構成設定

コピー 
usherServerConfig:
  usherServerDbConnection:
    usherServerMysqlAesKeyPath:
    usherServerUrl:
    usherServerUser:
    usherServerPassword:

以下は、対象として定義された設定です usherServerConfig、および defaultConfig 各設定の値を確認できます

名前 デフォルト 説明
usherServerMysqlAesKeyPath インストール時に事前設定 AES キー ファイルのパス。パスワードの復号に使います。
usherServerUrl インストール時に事前設定 JDBC 接続 URL。Usher Server メタ情報データベースに接続するために使います。
usherServerUser インストール時に事前設定 ユーザー名。Usher Server メタ情報データベースに接続するために使います。
usherServerPassword インストール時に事前設定 パスワード。Usher Server メタ情報データベースに接続するために使います。

パトピックスグループリスト設定

定義されている以下の設定は、 topicsGroup レベルではなく、 ParentConfig。

コピー 
paTopicsGroupList:
  -
    name: UsherInboxMessage
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: UsherInboxResponse
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
  -
    name: Geolocation
    numberOfConsumers: 1
    usherFlag: true
    topics:
      - Mstr.PlatformAnalytics.Geolocation
  -
    name: UsherLog
    numberOfConsumers: 2
    usherFlag: true
    topics:
      - Mstr.IdentityServer.ActionLog
      - Mstr.IdentityServer.LocationLog

以下は、対象として定義された設定です paTopicsGroupList.

名前 説明
name の名前 topicsGroup。すべてが一意である必要があります topicsGroup 名前。
numberOfConsumers これに割り当てられたコンシューマー プロセスの数 topicsGroup 消費者グループを構成する際
usherFlag true この場合 topicGroup は Usher に関連しています。
topics のコンシューマーが希望する Kafka トピックのリスト topicsGroup 購読する。