Hadoop Gateway を Namenode High Availability に対応させる

MicroStrategy 10.10 以降、Hadoop Gateway は Hadoop Namenode High Availability をサポートするようになりました。ファイルを見て回るために、Hadoop WebHDFS を使う必要はもうありません。HDFS カタログ情報は、WebHDFS ではなく、Hadoop Gateway を介して取得します。

Hadoop Gateway を介して HDFS をブラウズ

Hadoop の管理者に問い合わせて、Hadoop Namenode High Availability の名前サービス、Hadoop Namenode の IP アドレス、HDFS のポート番号を入手してから、以下の手順にそって進めてください。

[Hadoop に接続] ダイアログボックスで、[接続の変更] をクリックします。
[データソース] ダイアログで、[接続文字列を編集] チェックボックスを選択します。
Namenode が単一である場合:

Hadoop Namenode の IP アドレス/ホスト名と HDFS ポートが、上記の例に示したように、接続文字列に正しく設定されていることを確認します。

Hadoop Namenode High Availability の場合:

アトリビュート hadoopNameService と名前サービスのタグを、接続文字列の末尾に追加します。

例えば、High Availability のタグが「nameservice1」であれば、接続文字列は次のようになります。

hadoopName=10.242.109.2;hdfsPort=8020;

BDEIP=10.242.109.10;BDEPORT=10109;hadoopNameService=nameservice1;
[OK]をクリックします。

セキュリティ

Hadoop Gateway は、MicroStrategy ONE 以降、HTTP プロトコルのインターフェイスを介して HDFS をブラウズできるようにします。HTTPS には対応していません。

Hadoop Gateway を介して HDFS をブラウズする場合、クラスターの Kerberos 認証にも対応できます。Intelligence Server 用に、Kerberos プリンシパル名を別途用意する必要はなくなりました。Kerberos 認証したクラスターで Hadoop Gateway を設定し、正常に立ち上げてしまえば、Intelligence Server は自動的に、Hadoop Gateway を介して HDFS をブラウズするようになります。アクセス制御はすべて Hadoop Gateway が担います。

したがって Hadoop Gateway は、Kerberos 認証を用いるクラスター内のプロキシーノードに配備する必要があります。クラスター外に配備した場合、セキュアクラスターはブラウズできません。

トラブルシューティング

HDFS のブラウズ処理は、Intelligence Server でなく Hadoop Gateway がおこないます。したがって、あらかじめ Hadoop Gateway を立ち上げておく必要があります。
Hadoop Gateway は HTTP RESTful API を 4020 番ポートに公開して、HDFS をブラウズできるようにします。したがって、Hadoop Gateway を配備したマシンは、このポートを開いておく必要があります。
hadoopName と hadoopNameService の両方を接続文字列に記述した場合、Hadoop Gateway は hadoopNameService の方を使ってクラスターにアクセスします。
接続文字列中のアトリビュート名および値は、すべて大文字と小文字を区別します。