Introduzione a MicroStrategy Hadoop Gateway

Ipotesi

• Questo documento è idoneo solo per MicroStrategy MicroStrategy Hadoop Gateway 10.11 e versioni successive. Le versioni precedenti non sono completamente coperte.
• I numeri di versione di Intelligence Server e MicroStrategy Hadoop Gateway devono essere identici. In caso contrario, i file di dati potrebbero non essere importati correttamente.
• Vedere il Dashboard di certificazione per un elenco di gateway certificati.

• A partire da MicroStrategy 10.11, MicroStrategy Hadoop Gateway sarà lanciato con spark-submit.

  L'applicazione rileva le dipendenze Hadoop e Java e le risolve automaticamente. MicroStrategy consente inoltre la distribuzione automatica tramite MicroStrategy Hadoop Gateway Manager. Fare riferimento a MicroStrategy Community per maggiori dettagli.

Introduzione

MicroStrategy Hadoop Gateway è un nuovo motore di elaborazione dati introdotto in MicroStrategy 10.6, che può essere installato in un ambiente Spark. Questo connettore nativo consente l'analisi dei dati in Hadoop e fornisce un trasferimento di dati parallelo ad alta velocità tra Hadoop Distributed File System (HDFS) e MicroStrategy Intelligence Server.

MicroStrategy Hadoop Gateway è un connettore nativo basato su Spark 1.6.x. È possibile scegliere uno o più file di dati da Hadoop HDFS e caricarli in MicroStrategy Intelligence Server. I file di dati possono essere pubblicati come In-Memory Cube o Live Connect Cube.

MicroStrategy Hadoop Gateway supporta tre modalità operative:

• Cliente FILATO
• Autonomo (il cluster HDP non supporta l'autonomia)
• Locale

In modalità client YARN, il driver viene eseguito nel processo client e il master dell'applicazione viene utilizzato solo per richiedere risorse da YARN. L'esecuzione in questa modalità richiede l'abilitazione del servizio YARN sul cluster Hadoop.

Nella modalità autonoma, MicroStrategy Hadoop Gateway utilizza Spark Master per coordinare l'elaborazione dei dati.

In modalità locale, nessuna applicazione viene distribuita nei nodi Spark. Tutto il trattamento dei dati viene eseguito nell'host MicroStrategy Hadoop Gateway. Questa modalità è destinata al test e alla risoluzione dei problemi.

Argomenti correlati

Considerazioni sull'ambiente

Come distribuire MicroStrategy Hadoop Gateway

Come avviare MicroStrategy Hadoop Gateway

Come registrare MicroStrategy Hadoop Gateway

Risoluzione dei problemi

Problemi noti

Domande frequenti