MicroStrategy ONE

MicroStrategy 2021 Update 4 以降では、Hadoop Gateway はサポートされなくなりました。

環境に関する考慮事項

データ アクセスのセキュリティ (認証)

クラスター サービスへのアクセスは、準拠した Kerberos 実装により制御できます (Kerberos MIT、Active Directory)。Kerberos 環境では、MicroStrategy Hadoop Gateway は自身を Kerberos プリンシパルとして識別し、必要なサービス (HDFS、Spark Manager) にアクセスできます。

クラスターのエッジまたはプロキシ モードとしての Hadoop

セキュリティ、管理、性能上の利点から、MicroStrategy Hadoop Gateway ホストは Hadoop クラスターの一部とすることをお勧めします。エッジまたはプロキシ ノードは、物理的または論理的にクラスター内に配置され、同じライブラリのセットが含まれています。

管理の観点からは、クラスター ライブラリのバージョン アップグレードにはすべて、エッジまたはプロキシ ノードが含まれます。データ転送速度が増大するため、性能上の利点があります。ノードを同じルールと認証に制限できるため、セキュリティも強化されます。

HDFS および YARN クラスター サービスの高可用性モード

ベスト プラクティスとして、クラスターにサービスの高可用性 (HA) モードを実装できます。サーバー ノードをアクティブで有効に設定し、他のノードをスタンバイに設定して、いつでもアクティブ ノードを交代できるように設定します。HA 環境では、これらのサービスを参照するとき、異なるプロパティのセットを使用します。お使いの環境をレビューして、HA モードで実行可能されていることを確認してください。

システム必要条件およびサポート対象の構成

MicroStrategy Hadoop Gateway のシステム必要条件は、Spark クラスターのものと同じです。サポートされる Spark のバージョンは 1.6.x です。サポートされる MicroStrategy Hadoop Gateway の配布バージョンは、Cloudera Data Hub 5.10 またはそれ以降と、Hortonworks 2.4 またはそれ以降です。

標準の認証機構を使用するクラスター環境では、MicroStrategy Hadoop Gateway がローカル、YARN クライアント、および Spark スタンドアロン モードで動作できます。Kerberos 認証が有効な環境では、MicroStrategy Hadoop Gateway が YARN クライアント モードでのみ動作できます。

Hadoop クラスターには次の条件が必要です。

  • Hadoop 環境が Unix/Linux サーバーにインストールされている必要があります。

    Hadoop Cluster には最低でも HDFS サービスがインストールされている必要があります。これ以外に、Hive、Hue、Oozie、ZooKeeper サービスをインストールできます。

  • MicroStrategy Hadoop Gateway は、NameNode および YARN Resource Manager の高可用性モードをサポートしています。

    NameNodeの高可用性を有効にするには、Hadoop Distributed File System とプレビュー ファイルを参照する方法。YARN Resource Manager 高可用性には、特別な構成は必要ありません。自動的に処理されます。

  • YARN クライアント モードで MicroStrategy Hadoop Gateway を使用する場合、Hadoop Cluster に YARN および Spark サービスがインストールされている必要があります。
  • Spark スタンドアロン モードで MicroStrategy Hadoop Gateway を使用する場合、Hadoop Cluster に Spark (スタンドアロン) サービスがインストールされている必要があります。
    • Sparkマスターへの接続パラメータ（例：スパーク://SparkMasterNode:7077）
    • クラスターで Kerberos が有効になっている場合、Cloudera Manager はこのサービスのインストールを許可しません。
  • トラブルシューティングのために
    • SparkスタンドアロンWebサイトへのアクセスhttp://SparkMasterNode:18080
    • Spark History Server Web サイトへのアクセスhttp://SparkHistoryServerNode:18088
    • YARN リソース モニター Web サイトへのアクセスhttp://YARNリソースマネージャノード:8088

  • では、Spark サービスが正しくインストールされ、構成されていることを確認してください。MicroStrategy Hadoop Gateway 10.11 およびそれ以降は、クラスター環境でのコンプライアンスおよび互換性の問題を避けるため、spark-submit 方式で開始されます。

MicroStrategy Hadoop Gateway で使用されるポート

送信元

宛先: サービスデフォルトポート

説明

Intelligence Server

MicroStrategy Hadoop ゲートウェイ ホスト ポート 30004

Intelligence Server から MicroStrategy Hadoop Gateway に、データをフェッチするためのコマンドを送信します。ポート番号は、MicroStrategy Hadoop Gateway 構成ファイルで構成できます。 /conf/hgos-spark.properties。

Intelligence Server

MicroStrategy Hadoop Gateway ホスト ポート 4020

Intelligence Server が MicroStrategy Hadoop Gateway RESTful サービス経由で HDFS を参照するため使用されるポート。

ポート番号は、MicroStrategy Hadoop Gateway 構成ファイルで構成できます。 /conf/hgos-spark.properties。

MicroStrategy Hadoop ゲートウェイ

HDFS NameNode ポート 8020

デフォルトのポート番号は 8020 です。特定のポート番号について、クラスター管理者にお問い合わせください。

HDFS (クラスター Hadoop のすべてのノード)

Intelligence Server ポート 30241

MicroStrategy Hadoop Gateway Spark アプリケーション ワーカー ノードから Intelligence Server にクエリ結果セットを送信するために使用されます。ポート番号は、Intelligence Server がインストールされている OS レジストリで構成可能です。

レジストリキー: HKEY_LOCAL_MACHINE/SOFTWARE/Wow6432Node/MicroStrategy/DSS サーバー/Castor/DSPort

Linux のレジストリ ファイル: MSIReg.reg

MicroStrategy Hadoop ゲートウェイ

YARN Resource Manager ポート 8032

YARN 接続

MicroStrategy Hadoop ゲートウェイ

Spark ポート 4040

Spark 接続

MicroStrategy Hadoop ゲートウェイ

Kerberos KDC ポート 88

MicroStrategy Hadoop Gateway を、他のサービス (HDFS など) にアクセスするため認証するします。

Kerberos 認証が有効な場合

Kerberos のインストールの詳細については、以下を参照してください。Kerberos Authentication Service のインストール方法。

Kerberos認証を有効にする方法については、以下のリンクを参照してください。クラウドエラ CDHそしてホートンワークス HDPクラスタ。

MicroStrategy Hadoop Gateway プロセスを認証するには、Kerberos プリンシパル (または Active Directory の SPN) が必要です。

Kerberos 認証は、最低でも 2 つのイベントで行われます。

  • HDFS ファイル ディレクトリを参照し、インポートするファイルを選択する。MicroStrategy Hadoop Gateway が NameNode に直接アクセスする。
  • YARN クライアント モードで MicroStrategy Hadoop Gateway を起動する: MicroStrategy Hadoop Gateway は YARN 全体に Spark アプリケーションをデプロイし、そのためには Kerberos チケットが必要です。

MicroStrategy Hadoop Gateway は、Kerberos プリンシパルにリンクされている有効な Linux ユーザー アカウントで実行する必要があります。どんな名前でも構いませんが、慣例的に次のように呼びます。 hgos/ < HadoopゲートウェイホストFQDN> @レルム名。他のクラスター アカウントと同様に、このアカウントはクラスターのすべてのコンピューターにログイン可能な必要があります。

このアカウントは、ホームディレクトリへの書き込み権限でHDFSにログインできる必要があります（例： hdfs://ネームノード:8020/user/hgos）。

クラスタノードには、Kerberosクライアントとして動作するために必要なライブラリが必要です（これらはパッケージである可能性があります） krb5ワークステーション、 openldap クライアント）。

高可用性モードが有効な場合

HDFS サービスの nameservice を識別します。

MicroStrategy Hadoop Gateway のドライバー マシンには、次のものが必要です。

  • ホスト OS: Linux (推奨: CentOS-7)。
  • プロキシ ノードまたはワーカー ノードとして、CDH クラスターの一部になるホスト
  • Java Runtime Environment バージョン 1.7 または 1.8 (利用可能な最新のサブバージョン) がインストールされている必要があります。
  • Linux アカウントには、インストール フォルダーへの書き込みおよび実行権限が必要です。
  • OSアカウントには、HDFS内の割り当てられたユーザーフォルダと読み取り/書き込み権限が必要です（例： html#< HDFS名前ノード:8020> /ユーザー/ <本人名> /）（一時ディレクトリ.sparkステージングが作成されます）。
  • Intelligence Server からの接続パラメーター、IP アドレス、および接続するポート。
  • 詳細なログを表示するには、 log4j.プロパティトラブルシューティング セクションで利用可能なより豊富なバージョンのファイル。

Kerberos 認証が有効な場合

  • ホストにはKerberosクライアントライブラリ（ krb5ワークステーション ) および次のような Kerberos コマンドを許可します。キニットまたはクリスト。
  • Java Runtime Environment には、aes-256 暗号化をサポートするため、Java Cryptography Extension ライブラリが必要です。利用可能なライブラリは次のとおりです。 Oracleのウェブサイト。Java JCE パッケージには、2 つの JAR ライブラリが含まれています。これらを使用してディレクトリ内で置き換えます<JRE_HOME> /lib/セキュリティ（JREの代わりにJDKがインストールされている場合は、< JDK_ホーム> /jre/lib/セキュリティ。元のライブラリはバックアップしておいてください)。

Intelligence Server ホストについては、ファイアウォールとネットワークの規則を更新し、クラスターのワーカー ノードからポート30241 への接続を許可すること。

関連トピック

MicroStrategy Hadoop Gateway の概要

MicroStrategy Hadoop Gateway の配置方法

MicroStrategy Hadoop Gateway を開始する方法

MicroStrategy Hadoop Gateway を登録する方法

トラブルシューティング

既知の問題

よくある質問