MicroStrategy 2021 Update 4 以降では、Hadoop Gateway はサポートされなくなりました。

MicroStrategy Hadoop Gateway の概要

前提条件

この文書は、MicroStrategy MicroStrategy Hadoop Gateway 10.11 以降のバージョン。従来のバージョンについては十分に扱われていません。
Intelligence Server と MicroStrategy Hadoop Gateway のバージョン番号は一致している必要があります。そうでない場合、データファイルが正しくインポートされない可能性があります。
を参照してください認定ダッシュボード認定ゲートウェイのリストについては、こちらをご覧ください。
まずはMicroStrategy 10.11では、MicroStrategy Hadoop Gatewayがリリースされます。スパーク送信。

アプリケーションは、Hadoop および Java の依存関係を自動的に検出して解決します。MicroStrategyまた、MicroStrategy Hadoop Gateway Manager を介した自動デプロイメントも提供します。参照MicroStrategy コミュニティ詳細についてはこちらをご覧ください。

イントロダクション

MicroStrategy Hadoop Gatewayは、2010年に導入された新しいデータ処理エンジンです。MicroStrategy 10.6 は、Spark 環境にインストールできます。このネイティブコネクタにより、Hadoop 内データを分析でき、Hadoop Distributed File System (HDFS) と MicroStrategy Intelligence Server との間で高速かつ並行にデータを転送できます。

MicroStrategy Hadoop Gateway は、Spark 1.6.x を基礎として構築されたネイティブコネクタです。Hadoop HDFS から 1 つまたは複数のデータファイルを選択し、MicroStrategy Intelligence Server にロードできます。これらのデータファイルは、メモリ内キューブまたは Live Connect Cube として発行できます。

MicroStrategy Hadoop Gateway は 3 つの配置モードをサポートしています。

YARN クライアント
スタンドアロン (HDP クラスターはスタンドアロンをサポートしていません)
ローカル

YARN クライアントモードでは、ドライバーはクライアントプロセス内で実行され、アプリケーションマスターは YARN からリソースを要求するためにのみ使用されます。このモードでの実行には、Hadoop クラスターで YARN サービスを有効にする必要があります。

スタンドアロンモードで、MicroStrategy Hadoop Gateway はSpark Master を使用してデータ処理を調停します。

ローカルモードでは、Spark ノード内にアプリケーションが配置されません。すべてのデータ処理は、MicroStrategy Hadoop Gateway ホスト内で実行されます。このモダリティは、テストとトラブルシューティングを目的としたものです。

MicroStrategy Hadoop Gateway の概要

前提条件

イントロダクション

関連トピック