MicroStrategy ONE
Platform Analytics の設定: PAConsumerConfig.yaml ファイルを使う方法
プラットフォームアナリティクスは、テレメトリストア（旧プラットフォームアナリティクスコンシューマー）とアイデンティティテレメトリプロデューサー（旧Usherメタデータプロデューサー）のすべての構成パラメータをPAコンシューマ構成.yamlファイル。Platform Analyticsアーキテクチャリファレンスの詳細については、以下を参照してください。Platform Analytics のアーキテクチャとサービス。
YAML ファイルの構成はリリースごとに変わります。設定パラメーターや Telemetry Server トピックスが追加されるためです。それでも値が変更可能なパラメーターの定義は変わらないので、アップグレードの結果、以前変更した設定事項が元に戻ってしまうことはありません。ただし、新規に追加されたフィールドは、デフォルト値になっています。
YAMLファイルは、Platform Analyticsがインストールされているマシン上にあり、MicroStrategyインストールウィザード。
デフォルトのパスは次の通りです。
- リナックス: /opt/MicroStrategy/PlatformAnalytics/Conf
- ウィンドウズ: C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf
YAML ファイルの読み方
YAML ファイルでは、入れ子になった値を字下げによって表します。次にその例を示します。
parentConfig:
numberOfConsumers: 1
pollTimeoutMillisec: 1000
kafkaProperties:
bootstrap.servers: "10.27.17.167:9092"YAMLはキー: 値表記。コロンの直後に空白を 1 個置く必要があります。
YAML機能の詳細については、以下を参照してください。 Y 分で YAML を学ぶ。
PAConsumerConfig.yaml の仕様
のPAコンシューマ構成ファイルは次の部分で構成されます。
- pa親構成 : テレメトリサーバー（Kafka）とテレメトリマネージャー（Zookeeper）の共通設定トピックグループ
- paEtlConfig : データ処理を実行するための Telemetry Store (Platform Analytics Consumer) の構成。
- usherServerConfig : Identity Server データベースに接続して Identity メタデータ情報を収集するための接続構成パラメータ。
- paトピックグループリスト : テレメトリサーバーのリストトピックグループおよびその構成。
それぞれトピックグループ設定を継承するデフォルト設定そして親構成。それぞれトピックグループ継承した特定の設定を上書きすることもできます。
以下はサンプルですPAコンシューマ構成.yamlファイル。なお、最新版については、実際にインストールされたファイルを参照してください。
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword:
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
beaconDedup: true
locationDedup: true
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd:
whPort: 3306
whDb: platform_analytics_wh
whClientCertificateKeyStore:
whClientCertificateKeyStoreType:
whClientCertificateKeyStorePassword:
whTrustCertificateKeyStore:
whTrustCertificateKeyStoreType:
whTrustCertificateKeyStorePassword:
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey:
googleApiClientId:
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLogpaParentConfig の設定
のpa親構成設定は、テレメトリサーバー（Kafka）とテレメトリマネージャー（Zookeeper）の共通設定です。トピックグループ。次にその例を示します。
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
以下は、 pa親構成そしてトピックグループ構成とともに、デフォルト設定各設定の値。
| 名前 | デフォルト | 説明 |
|---|---|---|
| consumerGroupSuffix | 〜 (ヌル値) |
このフィールドは、データをテストし、あるいは運用環境に復元するために使います。に追加されたトピックグループ名前は実際の消費者グループID（グループID）。 このフィールドは主として、プロパティを変更することにより、新しい Consumer Group ID を生成するために使います。すると、Telemetry Server のトピックに残っているレコードがすべて、改めて処理されます。 たとえば、Platform Analytics Warehouse (PA WH) に値を格納し直したい場合、PA カスタム インストーラーで PA WH を再初期化した後、このプロパティを一意的な文字列に変更すればよいのです。ここでいう一意的な文字列は、同じ環境で過去に使ったことがないものでなければなりません。タイムスタンプを埋め込む方法を推奨します。 例えば 再処理_不正なログ_johndoe_1330111282018 |
| overrideKafkaOffsets | true |
もし真実は、データベース内のトピックパーティションオフセット値を使用して、起動時に特定のコンシューマー グループの Kafka オフセットを設定します。 もし間違いは、Kafka に保存されているオフセット値を使用します。 通常はデフォルト値のままにしておくよう推奨します。 |
| kafkaTopicNumberOfReplicas | 1またはテレメトリサーバーの数 |
これはレプリカ係数で、Telemetry Server のトピックすべてに適用します。Platform Analytics のインストール時に、Telemetry Server のクラスターがインストール済みか、それとも単一ノードか、に応じて設定されます。 クラスター化された Telemetry Server のノード数と一致していなければ、Kafka の耐障害性を活かせません。 |
| kafkaTopicsDoNotCreateList | 空文字列 | トピックのリストトピックグループリスト起動時にテレメトリ ストア (Platform Analytics Consumer) によって作成されません。このフィールドは変更できません。 |
| zooKeeperConnection | 127.0.0.1:2181または事前設定されたZookeeperクラスタクォーラム |
カンマ区切りの Telemetry Manager (Zookeeper) クラスター設定。 例: FQDN1:PORT1、FQDN2:PORT2、FQDN3:PORT3 デフォルトのポートは 2181 で、Platform Analytics のインストール時に設定されます。 |
| ignoreUsherTopics | false |
この値は Platform Analytics の初期化時に、Identity Server がインストール済みか否かに応じて設定されます。 間違い Identity Server がインストールおよび構成されている場合。 真実 Identity Server がインストールされていない場合。 |
| bootstrap.servers | 127.0.0.1:9092または事前設定されたKafkaブローカークォーラム |
Telemetry Server (Kafka) のクラスター構成をカンマ区切りで記述したもの (例: FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3)。 デフォルトのポート番号は 9092 で、Platform Analytics のインストール時に設定されます。 |
paEtlConfig の設定
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword: ~
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
currentFactDataKeepDays: 180
beaconDedup: true
locationDedup: true
whDbType: postgresql
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd: r9oJP5d6
whPort: 3306
whDb: platform_analytics_wh
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey: ~
googleApiClientId: ~
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup以下は定義済みの設定ですpaEtlConfig、とともにデフォルト設定各設定の値。
| 名前 | デフォルト | 説明 |
|---|---|---|
| redisServer | 127.0.0.1 |
Telemetry Cache (Redis サーバー) の完全修飾ドメイン名 (FQDN、Fully Qualified Domain Name) または IP アドレス。 処理性能を重視するならば、ローカル Telemetry Cache インスタンスを使ってください。 |
| redisPort | 6379 |
Telemetry Cache (Redis サーバー) のポート番号。 デフォルト値は 6379 で、インストール時に設定されます。 |
| redisPassword | 空文字列 |
Telemetry Cache (Redis サーバー) に接続するためのパスワード (パスワード認証が有効な場合)。 デフォルト状態では、パスワード認証は無効です。 |
| scheduleHour | 5 |
Platform Analytics の Daily ETL を実行するために指定した時刻 (時)。デフォルト値 |
| scheduleMin | 2 | Platform Analytics の Daily ETL を実行する時刻 (分)。デフォルト値2予定時刻の2分経過を表します。 |
| viewCutoffRangeInDays | 14 |
Platform Analytics Cube のビュー テーブルが、再公開の際、メモリー上にデータを保持する日数。 例えばデフォルト値である 14 は、Platform Analytics Cube のビュー テーブルに、14 日分ずつのデータを保持することを表します。Platform Analytics プロジェクト スキーマが返すデータが制限されることはありません。 |
| currentFactDataKeepDays | 180 |
Platform Analytics Repository の現在のファクト テーブルにデータが保持される日数。 PostgreSQL ウェアハウスでは、一部のファクト テーブルに対しては履歴テーブルが生成されますが、そのデータ量がきわめて大きい場合があります(access_transactions、fact_sql_stats など)。履歴テーブルの名前には "historical_" という接頭辞が付きます。 例えばデフォルト値である 180 は、現在のファクト テーブルに、180 日分ずつのデータを保持することを表します。他のすべてのデータは履歴ファクト テーブルに保存されます。 |
| beaconDedup | true |
MicroStrategy Badge のビーコン追跡データの重複を除去するか否か、を表すフラグ。 もし真実、Telemetry Store ETL は、すべての条件が満たされた場合、重複するビーコン アクションを削除します。 同じユーザーからのログ 同じビーコンとのやり取り 180秒以内 このフラグをオンにすると、分析に必要な最小限の、有効なデータ ポイントのみ保持するようになります。過剰にデータを収集してしまうことはありません。 |
| locationDedup | true |
MicroStrategy Badge の位置追跡データの重複を除去するか否か、を表すフラグ。 もし真実、Telemetry Store ETL は、すべての条件が満たされた場合、重複する位置追跡アクションを削除します。 同じユーザーからのログ 60 秒以内 このフラグをオンにすると、分析に必要な最小限の、有効なデータ ポイントのみ保持するようになります。過剰にデータを収集してしまうことはありません。 |
|
whDbType |
postgresql |
Platform Analytics Repository として使用されたデフォルトのデータベース タイプ。MicroStrategy 2020 以降では、デフォルトのデータベースは "postgresql" ですが、データベース タイプ "mysql" もサポートされます。 |
| whHost | インストール時に事前設定 | Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository の完全修飾名 (FQDN、Fully Qualified Domain Name) または IP アドレス。 |
| whUser | インストール時に事前設定 | Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するためのユーザー名。 |
| whPasswd | インストール時に事前設定 | Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するためのパスワード。 |
| whPort | 3306 |
MySQL データベース サーバーに接続するポート番号。 Platform Analytics Repository (MySQL Server Database) のポート番号。 デフォルトはインストール時に設定される 3306 です。 |
| whDb | platform_analytics_wh |
Platform Analytics Warehouse のデータベース。 変更はできません。 |
|
pgWhHost |
localhost |
Platform Analytics Repository に使用される PostgreSQL データベースの完全修飾ドメイン名 (FQDN) または IP。PostgreSQL Server は Platform Analytics がインストールされたマシンにインストールされるため、デフォルト値は "localhost" になります。 |
|
pgWhUser |
mstr_pa |
Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するための PostgreSQL データベースのユーザー名。 |
|
pgWhPasswd |
インストール時に事前設定 |
Telemetry Store がレポート作成用にデータを保存する、Platform Analytics Repository に接続するための PostgreSQL データベースのパスワード。このパスワードはインストール時に暗号化されています。暗号化されていないパスワードは、(Windows: C:\Program Files (x86)\Common Files\MicroStrategy\ または Linux: ./install/Repository/) の下にあるファイル「Default_Accounts.txt」から見つけることができます。 |
|
pgWhPort |
5432 |
PostgreSQL データベース サーバーに接続するポート番号。 Platform Analytics Repository (PostgreSQL Server Database) のポート番号。 デフォルトは 5432 で、インストール時に設定されます。 |
|
pgWhDb |
platform_analytics_wh |
Platform Analytics Warehouse のデータベース。 変更はできません。 |
| pgWhSSLcert | 空文字列 | 将来 SSL 認証に対応するために予約。 |
| pgWhSSLkey | 空文字列 | 将来 SSL 認証に対応するために予約。 |
| pgWhSSLrootcert | 空文字列 | 将来 SSL 認証に対応するために予約。 |
| pgWhSSLmode | 空文字列 | 将来 SSL 認証に対応するために予約。 |
| geoLocationTopic | Mstr.PlatformAnalytics.Geolocation |
Telemetry Server (Kafka) のトピックで、MicroStrategy Badge モバイル アプリケーションから、位置データをジオコーディング処理するために使うもの。 変更はできません。 |
| kafkaHealthCheckTopic | mstr-pa-health-check |
Telemetry Server (Kafka) のトピックで、稼働状況の確認に使うもの。 変更はできません。 |
| usherProducerKeys |
SourceProvisionBadgePhone SourceProvisionOrganization SourceEnvironmentVariables SourceOrganization SourceOrganizationBadge SourceBadgeAdminRole SourceBadge SourceGateway SourceGatewayHierarchyAndDef SourceBeacon SourceDevice |
変更はできません。 |
| logging | True | Google geocoding API の使用状況をログ出力するか否か、を表すフラグ。 |
| alerting | True | Google geocoding API の使用状況をログ出力するか否か、を表すフラグ。 |
| googleApiKey | 空文字列 |
ビジネス クォータを渡して Google geocoding API を呼び出せるようにするためのビジネス キー。 |
| googleApiClientId | 空文字列 | ビジネス クォータを渡して Google geocoding API を呼び出せるようにするためのビジネス キー。 |
| businessQuota | 100000 | 開発者キーやビジネス キーなしで Google geocoding API を呼び出せるようにするための日次クォータ。 |
| callLimit | 1000 | 内部処理のためにのみ使用。 |
| sleepTimeQuery | 5 |
Google geocoding API を呼び出して位置データを処理するための停止時間 (秒単位)。 変更はできません。 |
| usherLookupTopic | Mstr.PlatformAnalytics.UsherLookup |
Usher サーバー メタデータ情報テレメトリーに用いる Kafka トピック。 変更はできません。 |
usherServerConfig の設定
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:以下は定義済みの設定ですusherServerConfig、とともにデフォルト設定各設定の値。
| 名前 | デフォルト | 説明 |
|---|---|---|
| usherServerMysqlAesKeyPath | インストール時に事前設定 | AES キー ファイルのパス。パスワードの復号に使います。 |
| usherServerUrl | インストール時に事前設定 | JDBC 接続 URL。Usher Server メタ情報データベースに接続するために使います。 |
| usherServerUser | インストール時に事前設定 | ユーザー名。Usher Server メタ情報データベースに接続するために使います。 |
| usherServerPassword | インストール時に事前設定 | パスワード。Usher Server メタ情報データベースに接続するために使います。 |
paTopicsGroupList の設定
以下の設定は、トピックグループレベルではなく、親構成。
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLog以下は定義済みの設定ですpaTopicsグループリスト。
| 名前 | 説明 |
|---|---|
| 名前 | 名前トピックグループ。すべての中でユニークでなければならないトピックグループ名前。 |
| numberOfConsumers | このプロセスに割り当てられているコンシューマプロセスの数トピックグループ消費者団体を結成する場合 |
| usherFlag | 真実もしこれがトピックグループアッシャー関連です。 |
| topics | カフカのトピックのリストは、トピックグループ購読する。 |