Version 2021

连接到 Amazon S3

Amazon Simple Storage Service (Amazon S3) 是一项对象存储服务，可提供业界领先的可扩展性、数据可用性、安全性和性能。MicroStrategy Cloud Object Connector 提供对 Amazon S3 的访问，以快速浏览文件夹和文件并将其导入 MicroStrategy 多维数据集。

在此页面上探索以下主题：

  1. 准备连接参数
  2. 创建 DBRole
  3. 导入数据
  4. 限制

准备连接参数

要使 Cloud Object Connector 成功浏览 Amazon S3 文件系统，您需要创建一个具有适当权限的 Amazon Web Service 帐户。用户、组和角色等 IAM 实体在启动时没有权限，必须获得相应权限。有关向 IAM 实体授予权限的更多详细信息，请参阅 管理 IAM 权限。

MicroStrategy 建议您为 Cloud Object Connector 创建 IAM 用户。要让 IAM 用户访问存储桶及其中的对象，至少应向以下两项操作授予“允许效果”权限：

  • s3:GetObject
  • s3:ListBucket

  • s3:ListAllMyBuckets

成功创建 IAM 用户后，请向 IAM 管理员索要访问密钥 ID 和秘密访问密钥。

创建 DBRole

访问 MicroStrategy Web 或 Workstation 上的 Amazon S3 Cloud Object Connector。

  • Web
  • Workstation
  1. 选择添加数据 > 新数据。

  2. 查找并选择 Amazon S3 数据源列表中的云对象连接器。

  3. 在数据源旁边，单击新建数据源 添加新连接。

  4. 输入您的连接凭据。

    • 连接名称：新连接的名称。
    • AWS 区域：您的存储桶所在的确切 AWS 区域。
    • IAM 用户的访问密钥：访问密钥 ID。
    • IAM 用户的访问密钥：秘密访问密钥。

  1. 在左侧面板中，单击数据集旁边的 创建新数据集 。

  2. 查找并选择 Amazon S3 数据源列表中的云对象连接器。

  3. 在数据源旁边，单击新建数据源 添加新连接。

  4. 输入您的连接凭据。

    • 连接名称：新连接的名称
    • AWS 区域：您的存储桶所在的确切 AWS 区域
    • IAM 用户的访问密钥：访问密钥 ID
    • IAM 用户的访问密钥：秘密访问密钥

导入数据

成功创建连接器后，您可以将数据导入 MicroStrategy。

  1. 选择新创建的连接。
  2. 在下拉列表中，选择存储桶并浏览文件夹或文件。

  3. 双击文件或将其拖动到右侧窗格。

    在“预览”窗格中，您可以查看示例数据并调整列类型。

  4. 将多维数据集与所选数据一起发布到 MicroStrategy。

限制

支持的文件类型

仅支持以下文件类型：

  • .json
  • .parquet
  • .avro
  • .orc
  • .csv
  • Delta 格式

选择文件夹

选择整个文件夹时，文件夹必须满足以下要求：

  • 文件夹下的所有文件必须具有相同的文件类型。将出现一个对话框，提示您选择文件类型
  • 所有文件共享同一个框架

  • 如果文件夹包含子文件夹，则子文件夹必须采用有效的分区格式。以下是有效文件夹结构的示例

Spark 限制

  • 只能读取每个换行符为完整 JSON 的 JSON 文件
  • 无法读取包含特殊字符 (, ; { } \ = " .)的 Parquet 文件
  • 不支持列数据类型为 INT32(UINT_8)/(UNIT_16)/(UNIT_32)/(TIME_MILLIS) 的 Parquet 文件
  • 无法在多维数据集中发布二进制类型的列
  • 无法导入字段名称以"_col"为前缀的 ORC 文件(例如 _col0、_col1)，其中文件框架至少包含一个嵌套结构、数组或映射字段

功能

不支持以下功能：

  • 正在上传连接到 Cloud Object Connector 的 MicroStrategy 文件
  • 数据导入中的数据整理
  • 在数据导入中定义地域
  • 调度多维数据集发布的高级调度
  • 在数据导入中对表进行分组