MicroStrategy ONE
Aplicar agregação e filtragem às importações de dados do Hadoop
Ao importar dados de um HDFS (Hadoop Distributed File System), você pode aplicar diferentes funções de agregação, bem como filtros, aos dados durante a importação. Isso permite personalizar a quantidade de dados que está sendo trazida para a memória.
Agregação
O Agregação está disponível na caixa de diálogo Visualização de dados.
Para aplicar uma função de agregação aos seus dados:
- Clique em Agregação para abrir a caixa de diálogo Agregação.
- Clique com o botão direito em um campo e selecione a função desejada no menu.
-
Clique em Executar SQL para visualizar seus dados com a agregação aplicada.
Por padrão, a agregação/função será executada nas primeiras 100.000 linhas do conjunto de dados inteiro. Portanto, a precisão das funções Sum, Max, Min, Average e Count será afetada durante a visualização (outras funções não serão afetadas). Os resultados da agregação serão recalculados em relação ao conjunto de dados inteiro durante a publicação do cubo. O
hgos.aggregation.preview.rowsvalor da propriedade em/conf/hgos-spark.propertiespode ser ajustado para um número específico de linhas ou definido para um valor de -1 para um número ilimitado de linhas. -
Clique em OK para salvar as novas definições de esquema com a agregação/função aplicada.
Se você tentar transformar dados depois de aplicar uma agregação ou funções, o sistema descartará essas alterações.
Filtragem
Hadoop Gateway também oferece suporte à filtragem de importações de dados. A filtragem permite que você importe dados limitados que correspondem a uma determinada condição em vez de a todo conjunto de dados.
A opção Filtro está disponível no menu de contexto e na parte superior da caixa de diálogo Agregação.
Funções com suporte
| Categoria | Função | Observações |
|---|---|---|
| Básico | O resultado pode ser incorreto se o valor exceder o valor mínimo ou máximo do tipo numérico. Por exemplo, a faixa de valor inteiro é de -2147483647 a 2147483647, o resultado será inesperado se exceder a limitação. | |
| Soma | ||
| Média | ||
| Mínimo | ||
| Máximo | ||
| Contagem | ||
| Maior | ||
| Menor | ||
| Data/hora | Se a função for aplicada ao valor de data e hora, a parte de hora ficará truncada. Por exemplo, aplicando AddDays a 2017/5/12 18:23:12, o valor será truncado em 2017/5/12 00:00:00 | |
| AddDays | ||
| CurrentDate | ||
| CurrentDateTime | ||
| CurrentTime | ||
| Data | ||
| DayOfMonth | ||
| DayOfWeek | ||
| DayOfYear | ||
| DaysBetween | ||
| Hora | ||
| Milissegundo | ||
| Minuto | ||
| Mês | ||
| MonthEndDate | ||
| MonthBetween | ||
| MonthStartDate | ||
| Trimestre | ||
| Segundo | ||
| Semana | ||
| Ano | ||
| YearEndDate | ||
| YearStartDate | ||
| Matemática | ||
| Abs | ||
| Acos | Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque acos não é convergente. | |
| Asin | Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque asin não é convergente. | |
| Asinh | ||
| Atan2 | ||
| Atanh | ||
| Ceiling | ||
| Combine | ||
| Cos | Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque cos não é convergente. | |
| Cosh | ||
| Degrees | ||
| Exp | ||
| Factorial | Se #0 > 20, um valor nulo será retornado. Se #0 <= 20, um valor inteiro correspondente será retornado. | |
| Floor | ||
| Int | ||
| Ln | ||
| Log | ||
| Log10 | ||
| Mod | ||
| Multiply | ||
| Power | ||
| Quotient | ||
| Radians | ||
| Randbetween | ||
| Round | ||
| Round2 | ||
| Sin | Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque sin não é convergente. | |
| Sinh | ||
| Marrom | Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque tan não é convergente. | |
| Tanh | ||
| Trunc | ||
| Nulo/Zero | ||
| NullTo/Zero | ||
| ZeroToNull | ||
| Corda | ||
| Concat | ||
| ConcatBank | ||
| InitCap | ||
| LeftStr | ||
| Comprimento | ||
| Lower | ||
| LTrim | ||
| Position | ||
| RightStr | ||
| RTrim | ||
| SubStr | ||
| Trim | ||
| Upper |
Filtros com suporte
| Categoria | Filtrar |
|---|---|
| Básico | Na lista |
| Não está na lista | |
| Exatamente | |
| Não Exatamente | |
| Comparação | Maior do que |
| Menor que | |
| Maior ou igual a | |
| Menor ou igual a | |
| Entre | |
| Não está entre | |
| Padrão | Como |
| Não é como | |
| Contém | |
| Não Contém | |
| Começa com | |
| Não começa com | |
| Termina com | |
| Não termina com |