Version 2021
Aplicar agregación y filtrado a importaciones de datos de Hadoop
Al importar datos desde un sistema de archivos distribuido de Hadoop (HDFS), se pueden aplicar varias funciones de agregación, así como filtros, en los datos durante la importación. Gracias a ello, se puede personalizar la cantidad de datos que se van a incorporar a la memoria.
Agregación
El Agregación está disponible en el cuadro de diálogo Vista preliminar de datos.
Para aplicar una función de agregación a los datos:
- Haga clic en Agregación para abrir el cuadro de diálogo Agregación.
- Haga clic con el botón derecho en un campo y seleccione la función que quiera del menú.
-
Haga clic en Ejecutar SQL para obtener una vista preliminar de los datos con la agregación aplicada.
De forma predeterminada, la agregación/función se ejecutará en las primeras 100.000 filas de todo el conjunto de datos. Por lo tanto, la precisión de las funciones Suma, Máx., Mín., Promedio y Cantidad se verá afectada durante la vista preliminar (cosa que no ocurrirá con otras funciones). Los resultados de la agregación se vuelven a calcular en el conjunto de datos entero al publicar el cubo. El
hgos.aggregation.preview.rowsvalor de la propiedad en/conf/hgos-spark.propertiesse puede ajustar a un número específico de filas, o establecer en un valor de -1 para un número ilimitado de filas. -
Haga clic en Aceptar para guardar las nuevas definiciones de esquema con la agregación/función aplicada.
Si intenta transformar datos después de aplicar la agregación o funciones, el sistema descartará los cambios realizados.
filtrar
En Hadoop Gateway las importaciones de datos también se pueden filtrar. El filtrado permite importar un conjunto de datos limitado que cumpla con una determinada condición, en vez del conjunto de datos entero.
La opción Filtro está disponible en el menú contextual y en la parte superior del cuadro de diálogo Agregación.
Funciones admitidas
| Categoría | Función | Notas |
|---|---|---|
| Básico | El resultado puede ser incorrecto si el valor supera el tipo numérico mínimo o máximo. Por ejemplo, el intervalo de valores enteros es de -2147483647 a 2147483647. El resultado no será el esperado si supera el límite. | |
| Suma | ||
| Promedio | ||
| Mínimo | ||
| Máximo | ||
| Recuento | ||
| El más grande | ||
| El más pequeño | ||
| Fecha/hora | Si la función se aplica en un valor de fecha y hora, el fragmento de hora se truncará; así, por ejemplo, si se aplica AddDays a 2017/5/12 18:23:12, el valor se truncará y se mostrará como 2017/5/12 00:00:00 | |
| AddDays | ||
| CurrentDate | ||
| CurrentDateTime | ||
| CurrentTime | ||
| Fecha | ||
| DayOfMonth | ||
| DayOfWeek | ||
| DayOfYear | ||
| DaysBetween | ||
| Hora | ||
| MilliSecond | ||
| Minuto | ||
| Mes | ||
| MonthEndDate | ||
| MonthBetween | ||
| MonthStartDate | ||
| el trimestre | ||
| Segundo | ||
| Semana | ||
| el año | ||
| YearEndDate | ||
| YearStartDate | ||
| Math | ||
| Abs | ||
| Acos | Cuando el valor de entrada es infinito, el valor de retorno será "-1.#IND" para indicar que no es válido, porque Acos no es convergente. | |
| Asin | Cuando el valor de entrada es infinito, el valor de retorno será "-1.#IND" para indicar que no es válido, porque Asin no es convergente. | |
| Asinh | ||
| Atan2 | ||
| Atanh | ||
| Ceiling | ||
| Combine | ||
| Cos | Cuando el valor de entrada es infinito, el valor de retorno será "-1.#IND" para indicar que no es válido, porque Cos no es convergente. | |
| Cosh | ||
| Degrees | ||
| Exp | ||
| Factorial | Si #0 > 20, se devolverá un valor nulo. Si #0 <= 20, se devolverá el valor de entero correspondiente. | |
| Floor | ||
| Int | ||
| Ln | ||
| Registro | ||
| Log10 | ||
| Mod | ||
| Multiplicar | ||
| Power | ||
| Quotient | ||
| Radians | ||
| Randbetween | ||
| Round | ||
| Round2 | ||
| Sin | Cuando el valor de entrada es infinito, el valor de retorno será "-1.#IND" para indicar que no es válido, porque Sin no es convergente. | |
| Sinh | ||
| Tan | Cuando el valor de entrada es infinito, el valor de retorno será "-1.#IND" para indicar que no es válido, porque Tan no es convergente. | |
| Tanh | ||
| Trunc | ||
| Funciones de valores nulos y ceros | ||
| NullTo/Zero | ||
| ZeroToNull | ||
| Cadena | ||
| Concat | ||
| ConcatBank | ||
| InitCap | ||
| LeftStr | ||
| Longitud | ||
| Lower | ||
| LTrim | ||
| Posición | ||
| RightStr | ||
| RTrim | ||
| SubStr | ||
| Trim | ||
| Upper |
Filtros admitidos
| Categoría | Filtro |
|---|---|
| Básico | En la lista |
| No está en la lista | |
| Exactamente | |
| No exactamente | |
| Comparación | Mayor que |
| Menor que | |
| Mayor o igual que | |
| Menor o igual que | |
| Entre | |
| No entre | |
| Trama | Como |
| No como | |
| Contiene | |
| No contiene | |
| Comienza con | |
| No comienza con | |
| Finaliza con | |
| No finaliza con |