MicroStrategy ONE

Azure 数据湖存储第 2 代

Azure Data Lake Storage Gen2 (ADLS2) 是一个与 Azure Blob 完全集成的数据湖平台 贮存。MicroStrategy Cloud Object Connector 提供对 ADLS2 的访问，以快速浏览文件夹和文件并将其导入 MicroStrategy 多维数据集。

探索此页面上的以下主题：

  1. 准备连接参数
  2. 创建 DBRole
  3. 导入数据
  4. 限制

准备连接参数

为了使 Cloud Object Connector 成功浏览 ADLS2 文件系统，您需要一个具有分层命名空间的存储帐户。有关创建存储帐户的更多详细信息，请参阅Microsoft 文档。

创建存储帐户后，将授予两个访问密钥。任一个都可以用来创建连接。

创建 DBRole

在 MicroStrategy Web 或 Workstation 中访问 Azure Data Lake Storage Gen2 Cloud Object Connector。

  • Web
  • Workstation
  1. 选择添加数据 > 新数据。

  2. 查找并选择Azure 数据湖存储 Gen2来自数据源列表的云对象连接器。

  3. 在数据源旁边，点击 新数据源添加新连接。

  4. 输入您的连接凭证。

    • 连接名称：新连接的名称
    • 容器：您想要访问的容器
    • 验证：您要使用的身份验证方法
    • 目录（租户）ID：与每个订阅关联的 ID
    • Azure 存储帐户：包含 Azure 存储数据对象的存储帐户
    • Azure 存储机密Azure Storage Secret：与 Azure 存储相关的机密

  1. 在左侧面板中的数据集旁边，点击创建新数据集。

  2. 查找并选择Azure 数据湖存储 Gen2来自数据源列表的云对象连接器。

  3. 在数据源旁边，点击 新数据源添加新连接。

  4. 输入您的连接凭证。

    • 连接名称：新连接的名称
    • 目录（租户）ID：与每个订阅关联的 ID
    • Azure 存储帐户：存储帐户The storage account
    • 容器：您想要访问的容器
    • 客户端 ID：使用的客户端 ID
    • 客户端机密：与客户端 ID 关联的客户端机密

导入数据

成功创建连接器后，您可以将数据导入 MicroStrategy。

  1. 选择新创建的连接。
  2. 浏览特定容器下的文件夹或文件，

  3. 双击文件或将其拖到右侧窗格中。

    在预览窗格中，您可以查看示例数据并调整列类型。

  4. 将包含您选择的数据的多维数据集发布到 MicroStrategy。

限制

支持的文件类型

仅支持以下文件类型：

  • .json
  • .镶木地板
  • .avro
  • .orc
  • .csv
  • Delta 格式

选择文件夹

选择整个文件夹时，文件夹必须满足以下要求：

  • 文件夹下的所有文件都需要具有相同的文件类型。对话框将提示您选择文件类型
  • 所有文件共享相同的架构

  • 如果该文件夹有子文件夹，则子文件夹应采用有效的分区格式。以下是有效文件夹结构的示例

Spark 限制

  • 只能读取每个换行符为完整 JSON 的 JSON 文件
  • 无法读取包含特殊字符 (, ; { } \ = " .) 的 Parquet 文件
  • 不支持列数据类型为 INT32(UINT_8)/(UNIT_16)/(UNIT_32)/(TIME_MILLIS) 的 Parquet 文件
  • 二进制类型的列无法在多维数据集中发布
  • 无法导入字段名称以“_col”为前缀的 ORC 文件（例如 _col0、_col1），且文件架构包含至少一个嵌套结构、数组或映射字段

功能

不支持以下功能：

  • 上传连接到 Cloud Object Connector 的 MicroStrategy 文件
  • 数据导入中的数据整理
  • 在数据导入中定义地理位置
  • Schedule Cube Publish 的高级调度
  • 在数据导入中对表进行分组