MicroStrategy ONE

启用Hadoop Gateway以支持Namenode High Availability

自 MicroStrategy 10.10 起，Hadoop Gateway 能够支持 Hadoop Namenode 高可用性。不再需要 Hadoop WebHDFS 即可浏览文件。通过 Hadoop Gateway 而不是 WebHDFS 检索 HDFS 目录信息。

通过 Hadoop Gateway 浏览 HDFS

在开始以下步骤之前，请联系您的Hadoop管理员获取Hadoop Namenode High Availability的名称服务，Hadoop Namenode IP地址和HDFS端口号。

  1. 从连接至 Hadoop 对话框，单击更改连接。

  2. 在数据源对话框中，选中编辑连接字符串复选框。

  3. 对于单一 Namenode：

    请确保在连接字符串中正确配置了Hadoop Namenode IP /主机和HDFS端口，如上例所示。

    对于 Hadoop High Namenode 高可用性：

    在连接字符串的末尾添加实体 hadoopNameService 和名称服务标签。

    例如，如果高可用性标签是 nameservice1，则连接字符串应如下所示：

    hadoopName=10.242.109.2;hdfsPort=8020;

    BDEIP=10.242.109.10;BDEPORT=10109;hadoopNameService=nameservice1;

  4. 单击确定。

安全设置

自从 MicroStrategy ONE 和 HTTPS 不受支持起，Hadoop Gateway 将公开 HTTP 协议接口用于 HDFS 浏览。

通过 Hadoop Gateway 浏览 HDFS 可支持 Kerberos 验证的集群。Intelligence Server 不再需要单独的 Kerberos 主体名称。在 Kerberos 验证集群中配置 Hadoop Gateway 并成功启动之后，Intelligence Server 就能够自动通过 Hadoop Gateway 浏览 HDFS。所有访问控制均将由 Hadoop Gateway 处理。

在使用 Kerberos 验证的集群中，必须在代理节点上部署 Hadoop Gateway。如果在集群之外部署 Hadoop Gateway，则无法浏览安全的集群。

疑难解答

  • HDFS 浏览由 Hadoop Gateway 而不是 Intelligence Server 执行。浏览之前，确保已启动 Hadoop Gateway。
  • Hadoop Gateway 在 port 4020 上公开 HTTP RESTful API 用于 HDFS 浏览，因此，必须在部署 Hadoop Gateway 的计算机上开放该端口。
  • 如果 hadoopName 和 hadoopNameService 均已在连接字符串中提供，Hadoop Gateway 将默认使用 hadoopNameService 值访问集群。
  • 在连接字符串中，所有实体名称和值均区分大小写。