よくある質問

次の表は、ワーキング ノードの数、各ノードの RAM および仮想コア数、および各ワーカー ノードに割り当てられる実行子の数に応じて、推奨設定を計算するために役立ちます。

はい、MicroStrategy Hadoop Gateway はサービスがアイドル状態の間にクラスターのリソースの解放をサポートしています。この動作を可能にするには、MicroStrategy Hadoop Gateway の実行子とコアを動的に割り当てるよう構成する必要があります。MicroStrategy Hadoop Gateway 構成ファイルを変更する<MicroStrategy Hadoop Gateway のインストール パス> /conf/hgos-spark.properties、動的割り当てセクションのコメントを解除します。

はい、MicroStrategy Hadoop GatewayはLive Connect Cubeをサポートしています。MicroStrategy 10.9.有効化するために特別な構成は必要ありません。

MicroStrategy Hadoop Gateway の最小必要条件は、ディスク容量が 256 MB、メモリ容量が 2 GB です。

MicroStrategy Hadoop Gateway は、NameNode や DataNode で追加プロセスを開始しません。MicroStrategy Hadoop Gateway は単に Spark へジョブを送信します。

DataNodeのメモリ使用量は、顧客が属性ファイルに設定した数値によって決まります。 spark.executor.メモリ設定ファイルで指定します (デフォルトでは 1 GB です)。これに対して、NameNode のメモリ使用量は大きな影響を受けません。

MicroStrategy Hadoop Gatewayが起動すると、いくつかのJARファイルがHDFSにアップロードされ、 hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging。デフォルトでは、スパークステージング MicroStrategy Hadoop Gateway サービスがシャットダウンされると自動的に削除されます。

JAR ファイルの合計サイズが 256 MB を超えることはありません。

いいえ、MicroStrategy Hadoop Gateway は Kerberos プリンシパル チケットを自動的に更新しません。実行して更新する必要がありますキニットコマンドを実行するか、スケジュールに従ってチケットを更新する cron ジョブを作成します。

テンプレートkinit_cron.sh :

function setup_kerberos() {
        echo "klist:"
        klist
 
echo "KRB5CCNAME env:"
        export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
        echo $KRB5CCNAME
 
        echo "kinit"
        kinit -kt  $keytab_path $principal_name -l 1d5h -r 2d -f
 
        echo "klist"
        klist
}
setup_kerberos

cron ジョブをスケジュールするには、次のコマンドを実行します。

root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.sh

はい、MicroStrategy Hadoop Gateway は Apache Sentry による HDFS ACL をサポートしており、特別な構成は必要ありません。MicroStrategy Hadoop Gateway が Apache Sentry とともにどのように動作するかについては、以下のビデオをご覧ください。

いいえ。MicroStrategy Hadoop Gateway は Spark 1.6 上に構築されており、Spark 1.6 環境にのみ展開できます。弊社は、Spark 2 上の MicroStrategy Hadoop Gateway をリリースするため作業中です。