Applicare Aggregazione e filtraggio alle importazioni di dati Hadoop

Quando si importano dati da un Hadoop Distributed File System (HDFS) è possibile applicare varie funzioni di aggregazione e filtri ai dati durante l’importazione. Ciò consente di personalizzare la quantità di dati importati nella memoria.

Applica aggregazione

Aggregazione l'opzione è disponibile nella finestra di dialogo Anteprima.

Per applicare una funzione di aggregazione ai dati:

1. Fare clic su Aggregazione per aprire la finestra di dialogo Aggregazione.
2. Fare clic con il pulsante destro del mouse e selezionare la funzione desiderata dal menu.

3. Fare clic su Esegui SQL per visualizzare un’anteprima dei dati con l’aggregazione applicata.

   Per impostazione predefinita, l'aggregazione/funzione viene eseguita sulle prime 100.000 righe dell'intero dataset. Ciò influisce sulla precisione delle funzioni Somma, Massimo, Minimo, Media e Conteggio durante l'anteprima (le altre funzioni non sono interessate). I risultati dell'aggregazione vengono ricalcolati in base all'intero dataset durante la pubblicazione del cubo. Il valore della proprietà hgos.aggregation.preview.rows in /conf/hgos-spark.properties può essere adattato a un numero di righe specifico oppure impostato su un valore pari a -1 per un numero illimitato di righe.

4. Fare clic su OK per salvare le nuove definizioni dello schema con l’aggregazione/funzione applicata.

   Se si tenta di eseguire il wrangling dei dati dopo l'applicazione dell'aggregazione o delle funzioni, il sistema ignora le modifiche.

Filtraggio

Hadoop Gateway supporta anche il filtraggio dell’importazione dei dati. Il filtraggio consente di importare dati limitati corrispondenti a una determinata condizione, invece dell’intero dataset.

L'opzione Filtro è disponibile nel menu di scelta rapida e nella parte superiore della finestra di dialogo Aggregazione.