Strategy ONE
使用 PAConsumerConfig.yaml 文件配置 Platform Analytics
Platform Analytics 将遥测存储（以前称为 Platform Analytics Consumer）和身份遥测生产者（以前称为 Usher Metadata Producer）的所有配置参数存储在 PAConsumerConfig.yaml 文件。有关 Platform Analytics 体系结构参考的详细信息，请参阅 Platform Analytics 体系结构和服务。
每个版本都会使用新配置参数或 Telemetry Server 主题更新 YAML 文件结构。升级后会保留所有可修改的值，因此不会丢失任何自定义参数。但是，升级后，所有新添加的字段都将设置为默认值。
YAML 文件位于使用 Strategy Installation Wizard 安装了 Platform Analytics 的计算机上。
默认路径为：
- Linux： /opt/MicroStrategy/PlatformAnalytics/Conf
- Windows： C:\Program Files (x86)\MicroStrategy\Platform Analytics\conf
如何解读 YAML 文件
在 YAML 文件中，缩进用于表示嵌套值。例如：
parentConfig:
numberOfConsumers: 1
pollTimeoutMillisec: 1000
kafkaProperties:
bootstrap.servers: "10.27.17.167:9092"YAML 使用 key: value 符号。冒号后需要使用一个空格。
要了解有关 YAML 功能的更多信息，请参阅在 Y 分钟内掌握 YAML。
PAConsumerConfig.yaml 规范
选择 PAConsumerConfig 文件由以下部分组成：
- paParentConfig:遥测服务器 (Kafka) 和遥测管理器 (Zookeeper) 的通用配置 TopicsGroups
- paEtlConfig:配置遥测存储（平台分析消费者）以执行数据处理。
- usherServerConfig:用于连接到 Identity Server 数据库以收集 Identity 元数据信息的连接配置参数。
- paTopicsGroupList:遥测服务器列表 TopicsGroups 及其配置。
每个 topicsGroup 继承自 defaultConfig 和 parentConfig。每个 topicsGroup 还可以覆盖其继承的特定设置。
以下是一个示例 PAConsumerConfig.yaml 文件。请参考已安装的文件以获取最新版本。
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword:
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
beaconDedup: true
locationDedup: true
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd:
whPort: 3306
whDb: platform_analytics_wh
whClientCertificateKeyStore:
whClientCertificateKeyStoreType:
whClientCertificateKeyStorePassword:
whTrustCertificateKeyStore:
whTrustCertificateKeyStoreType:
whTrustCertificateKeyStorePassword:
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey:
googleApiClientId:
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLogpaParentConfig 设置
选择 paParentConfig 设置是遥测服务器（Kafka）和遥测管理器（Zookeeper）的通用配置 TopicsGroups。例如：
---
paParentConfig:
consumerGroupSuffix: ~
overrideKafkaOffsets: true
kafkaTopicNumberOfReplicas: 1
kafkaTopicsDoNotCreateList:
zooKeeperConnection: 127.0.0.1:2181
ignoreUsherTopics: false
kafkaConsumerProperties:
bootstrap.servers: 127.0.0.1:9092
以下是为 paParentConfig 和 topicsGroup 配置，以及 defaultConfig 每个设置的值。
| 名称 | 默认 | 描述 |
|---|---|---|
| consumerGroupSuffix | ~ （空值） |
此字段用于在生产环境中测试或恢复数据。附于 topicsGroup name 构成了实际的消费者组 ID（也称为 group.id）。 此字段的关键用途是更改属性以生成新的消费者组 ID。生成新的消费者组 ID 会导致重新处理 Telemetry Server 主题中剩余的所有记录。 例如，为了重新填充 Platform Analytics Warehouse (PA WH)，您可以在使用 PA 自定义安装程序重新初始化 PA WH 后将此属性修改为唯一字符串。这个唯一字符串应该是以前在相同环境中未使用过的字符串。推荐策略是在其中包含时间戳。 例如 重新处理不正确的日志_johndoe_1330111282018 |
| overrideKafkaOffsets | true |
如果 true，使用数据库中的主题分区偏移值在启动时设置给定消费者组的 Kafka 偏移量。 如果 false，使用存储在 Kafka 中的偏移值。 建议将配置保持为默认值。 |
| kafkaTopicNumberOfReplicas | 1 或遥测服务器数量 |
这是为所有 Telemetry Server 主题配置的副本系数。它是在安装 Platform Analytics 期间设置的，具体取决于安装的是 Telemetry Server 群集还是单个节点。 此值应与群集的 Telemetry Server 节点数相匹配，以便利用 Kafka 的容错能力。 |
| kafkaTopicsDoNotCreateList | 空字符串 | 主题列表如下 topicsGroupList 遥测存储（平台分析消费者）在启动时不会创建它。不应修改此字段。 |
| zooKeeperConnection | 127.0.0.1:2181 或预先配置的 Zookeeper 集群仲裁 |
逗号分隔的 Telemetry Manager (Zookeeper) 群集配置。 例如：FQDN1:PORT1, FQDN2:PORT2, FQDN3:PORT3 默认端口为 2181，在 Platform Analytics 安装期间设置。 |
| ignoreUsherTopics | false |
此值在安装 Platform Analytics 期间设置，具体取决于是否已安装 Identity Server。 false 是否已安装并配置 Identity Server； true 如果未安装 Identity Server。 |
| bootstrap.servers | 127.0.0.1:9092 或预先配置的 Kafka 代理仲裁 |
逗号分隔的 Telemetry Server (Kafka) 群集配置（例如 FQDN1：PORT1，FQDN2：PORT2，FQDN3：PORT3）。 默认端口为 9092，在安装 Platform Analytics 期间设置。 |
paEtlConfig 设置
paEtlConfig:
redisConnection:
redisServer: 127.0.0.1
redisPort: 6379
redisPassword: ~
dailyETLConfiguration:
scheduleHour: 5
scheduleMin: 2
viewCutoffRangeInDays: 14
currentFactDataKeepDays: 180
beaconDedup: true
locationDedup: true
whDbType: postgresql
warehouseDbConnection:
whHost: 127.0.0.1
whUser: root
whPasswd: r9oJP5d6
whPort: 3306
whDb: platform_analytics_wh
pgWarehouseDbConnection:
pgWhHost: localhost
pgWhUser: mstr_pa
pgWhPasswd: Ugjx+93ROzBsA2gwBOWT5Qlu6hbfg5frTBmLmg==,970sBwUbi4EowB/4
pgWhPort: 5432
pgWhDb: platform_analytics_wh
pgWhSSLcert: ~
pgWhSSLkey: ~
pgWhSSLrootcert: ~
pgWhSSLmode: ~
geoLocationTopic: Mstr.PlatformAnalytics.Geolocation
kafkaHealthCheckTopic: mstr-pa-health-check
usherProducerKeys:
- SourceProvisionBadgePhone
- SourceProvisionOrganization
- SourceEnvironmentVariables
- SourceOrganization
- SourceOrganizationBadge
- SourceBadgeAdminRole
- SourceBadge
- SourceGateway
- SourceGatewayHierarchyAndDef
- SourceBeacon
- SourceDevice
googleAPIConfig:
googleApiKey: ~
googleApiClientId: ~
businessQuota: 100000
freeQuota: 2500
sleepTimeQuery: 5
usherLookupTopic: Mstr.PlatformAnalytics.UsherLookup以下是定义的设置 paEtlConfig，以及 defaultConfig 每个设置的值。
| 名称 | 默认 | 描述 |
|---|---|---|
| redisServer | 127.0.0.1 |
Telemetry Cache（Redis 服务器）的完全限定域名 (FQDN) 或 IP 地址。 为获得最佳性能，请使用本地 Telemetry Cache 实例。 |
| redisPort | 6379 |
Telemetry Cache（Redis 服务器）的端口。 默认值为 6379，在安装期间设置。 |
| redisPassword | 空字符串 |
如果启用了密码验证，则为连接到 Telemetry Cache（Redis 服务器）的密码。 默认情况下，系统不会启用密码身份验证。 |
| scheduleHour | 5 |
平台分析每日 ETL 启动的指定时间。默认值 |
| scheduleMin | 2 | Platform Analytics 每日 ETL 运行的计划时间的分钟数。默认值 2 代表比预定时间晚了 2 分钟。 |
| viewCutoffRangeInDays | 14 |
重新发布期间 Platform Analytics 多维数据集中的视图表将在内存中保留数据的天数。 例如，默认值 14 天表示视图表和 Platform Analytics 多维数据集将以滚动方式包含之前 14 天的数据。Platform Analytics 项目架构返回的数据永远不受限制。 有关详情，请参阅修改 Platform Analytics 多维数据集内存中返回的数据量。 |
| currentFactDataKeepDays | 180 |
平台分析存储库中当前事实表将保存数据的天数。 对于PostgreSQL仓库，我们为一些数据量可能非常大的事实表创建历史表。例如access_transactions、fact_sql_stats。历史表的名称以前缀“historical_”开头。 例如，180 天的默认值意味着当前事实表将包含过去 180 天的数据。所有其他数据将存储在历史事实表中。 |
| beaconDedup | true |
用于确定 MicroStrategy Badge 信标跟踪数据的重复数据删除功能是否已启用的标志。 如果 true，如果满足所有条件，Telemetry Store ETL 将删除任何重复的信标操作： 相同用户登录 与相同信标交互 180秒内 启用此标志有助于保留最小有效数据点以供分析，而无需收集过多数据。 |
| locationDedup | true |
用于确定 MicroStrategy Badge 位置跟踪数据的重复数据删除功能是否已启用的标志。 如果 true，如果满足所有条件，Telemetry Store ETL 将删除任何重复的位置跟踪操作： 相同用户登录 在 60 秒内 启用此标志有助于保留最小有效数据点以供分析，而无需收集过多数据。 |
|
whDbType |
PostgreSQL |
用作平台分析存储库的默认数据库类型。从 MicroStrategy 2020 开始，默认数据库是“postgresql”，但它也可以支持数据库类型“mysql”。 |
| whHost | 通过安装预先配置 | 其中的 Telemetry Store 将存储用于报告的数据的 Platform Analytics 存储库的完全限定域名 (FQDN) 或 IP 地址。 |
| whUser | 通过安装预先配置 | 用于连接到其中的 Telemetry Store 将存储用于报告的数据的 Platform Analytics 存储库的用户名，其中的 Telemetry Store 将存储用于报告的数据。 |
| whPasswd | 通过安装预先配置 | 用于连接到其中的 Telemetry Store 将存储用于报告的数据的 Platform Analytics 存储库的用户密码。 |
| whPort | 3306 |
要连接的 MySQL 数据库服务器的端口。 Platform Analytics 存储库（MySQL Server 数据库）的端口。 默认值为 3306，在安装时设置。 |
| whDb | platform_analytics_wh |
Platform Analytics 仓库的数据库。 此项不应更改。 |
|
pgWhHost |
localhost |
用于平台分析存储库的 PostgreSQL 数据库的完全限定域名 (FQDN) 或 IP。由于我们将在安装 Platform Analytics 的计算机上安装 PostgreSQL 服务器，因此默认值为“localhost” |
|
pgWhUser |
主键 |
用于连接到平台分析存储库的 PostgreSQL 数据库用户名，遥测存储将在其中存储报告数据。 |
|
pgWhPasswd |
通过安装预先配置 |
用于连接到平台分析存储库的用户的 PostgreSQL 数据库密码，遥测存储将在其中存储报告数据。此密码在安装过程中加密。您可以从文件“Default_Accounts.txt”中找到未加密的密码，该文件位于（Windows：C:\Program Files (x86)\Common Files\MicroStrategy\ 或 Linux：./install/Repository/) |
|
pgWhPort |
5432 |
要连接的 PostgreSQL 数据库服务器的端口。 平台分析存储库（PostgreSQL 服务器数据库）的端口。 默认值为 5432，在安装时设置。 |
|
pgWhDb |
platform_analytics_wh |
Platform Analytics 仓库的数据库。 此项不应更改。 |
| pgWhSSLcert | 空字符串 | 供将来支持 SSL 身份验证时使用。 |
| pgWhSSLkey | 空字符串 | 供将来支持 SSL 身份验证时使用。 |
| pgWhSSLrootcert | 空字符串 | 供将来支持 SSL 身份验证时使用。 |
| pgWhSSLmode | 空字符串 | 供将来支持 SSL 身份验证时使用。 |
| geoLocationTopic | Mstr.PlatformAnalytics.Geolocation |
Telemetry Server (Kafka) 主题，用于 MicroStrategy Badge 移动应用的位置数据地理编码处理。 此项不应更改。 |
| kafkaHealthCheckTopic | mstr-pa-health-check |
用于运行状况检查的 Telemetry Server (Kafka) 主题。 此项不应更改。 |
| usherProducerKeys |
SourceProvisionBadgePhone SourceProvisionOrganization SourceEnvironmentVariables SourceOrganization SourceOrganizationBadge SourceBadgeAdminRole SourceBadge SourceGateway SourceGatewayHierarchyAndDef SourceBeacon SourceDevice |
此项不应更改。 |
| logging | True | 用于确定是否已启用 Google 地理编码 API 使用情况日志记录的标志。 |
| alerting | True | 用于确定是否已启用 Google 地理编码 API 使用情况日志记录的标志。 |
| googleApiKey | 空字符串 |
允许使用业务配额进行 Google 地理编码 API 调用的业务关键字。 |
| googleApiClientId | 空字符串 | 允许使用业务配额进行 Google 地理编码 API 调用的业务关键字。 |
| businessQuota | 100000 | 无需任何开发人员或业务关键字即可进行 Google 地理编码 API 调用的每日配额。 |
| callLimit | 1000 | 仅供内部使用。 |
| sleepTimeQuery | 5 |
为位置数据处理而多次调用 Google 地理编码 API 之间暂停的秒数。 此项不应更改。 |
| usherLookupTopic | Mstr.PlatformAnalytics.UsherLookup |
用于 Usher 服务器元数据信息遥测的 Kafka 主题。 此项不应更改。 |
usherServerConfig 设置
usherServerConfig:
usherServerDbConnection:
usherServerMysqlAesKeyPath:
usherServerUrl:
usherServerUser:
usherServerPassword:以下是定义的设置 usherServerConfig，以及 defaultConfig 每个设置的值。
| 名称 | 默认 | 描述 |
|---|---|---|
| usherServerMysqlAesKeyPath | 通过安装预先配置 | 用于解密密码的 AES 密钥文件路径 |
| usherServerUrl | 通过安装预先配置 | 用于连接到 Usher Server 元信息数据库的 JDBC 连接 URL |
| usherServerUser | 通过安装预先配置 | 用于连接到 Usher Server 元信息数据库的用户名 |
| usherServerPassword | 通过安装预先配置 | 用于连接到 Usher Server 元信息数据库的密码 |
paTopicsGroupList 设置
以下设置仅在 topicsGroup 水平，而不是 ParentConfig。
paTopicsGroupList:
-
name: UsherInboxMessage
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: UsherInboxResponse
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
-
name: Geolocation
numberOfConsumers: 1
usherFlag: true
topics:
- Mstr.PlatformAnalytics.Geolocation
-
name: UsherLog
numberOfConsumers: 2
usherFlag: true
topics:
- Mstr.IdentityServer.ActionLog
- Mstr.IdentityServer.LocationLog以下是定义的设置 paTopicsGroupList.
| 名称 | 描述 |
|---|---|
| name | 名称 topicsGroup。必须是唯一的 topicsGroup 名字。 |
| numberOfConsumers | 分配给该消费者进程的数量 topicsGroup 组建消费者组时 |
| usherFlag | true 如果这个 topicGroup 与 Usher 有关。 |
| topics | 消费者在 Kafka 中的主题列表 topicsGroup 订阅。 |