Aplicar agregación y filtrado a importaciones de datos de Hadoop

Al importar datos desde un sistema de archivos distribuido de Hadoop (HDFS), se pueden aplicar varias funciones de agregación, así como filtros, en los datos durante la importación. Gracias a ello, se puede personalizar la cantidad de datos que se van a incorporar a la memoria.

Aplicar agregación

El Agregación está disponible en el cuadro de diálogo Vista preliminar.

Para aplicar una función de agregación a los datos:

1. Haga clic en Agregación para abrir el cuadro de diálogo Agregación.
2. Haga clic con el botón derecho en un campo y seleccione la función que quiera del menú.

3. Haga clic en Ejecutar SQL para obtener una vista preliminar de los datos con la agregación aplicada.

   De forma predeterminada, la agregación/función se ejecutará en las primeras 100.000 filas de todo el conjunto de datos. Por lo tanto, la precisión de las funciones Suma, Máx., Mín., Promedio y Cantidad se verá afectada durante la vista preliminar (cosa que no ocurrirá con otras funciones). Los resultados de la agregación se vuelven a calcular en el conjunto de datos entero al publicar el cubo. Se puede ajustar el valor de la propiedad hgos.aggregation.preview.rows en /conf/hgos-spark.properties en un número de específico de filas o establecerlo en -1 para que el número de filas sea ilimitado.

4. Haga clic en Aceptar para guardar las nuevas definiciones de esquema con la agregación/función aplicada.

   Si intenta transformar datos después de aplicar la agregación o funciones, el sistema descartará los cambios realizados.

filtrar

En Hadoop Gateway las importaciones de datos también se pueden filtrar. El filtrado permite importar un conjunto de datos limitado que cumpla con una determinada condición, en vez del conjunto de datos entero.

La opción Filtro está disponible en el menú contextual y en la parte superior del cuadro de diálogo Agregación.