Aplicar agregação e filtragem a importações de dados Hadoop

Ao importar dados de um HDFS (Hadoop Distributed File System), você pode aplicar diferentes funções de agregação, bem como filtros, aos dados durante a importação. Isso permite personalizar a quantidade de dados que está sendo trazida para a memória.

Agregação

O Agregação A opção está disponível na caixa de diálogo Visualização de Dados.

Para aplicar uma função de agregação aos seus dados:

1. Clique em Agregação para abrir a caixa de diálogo Agregação.
2. Clique com o botão direito em um campo e selecione a função desejada no menu.

3. Clique em Executar SQL para visualizar seus dados com a agregação aplicada.

   Por padrão, a agregação/função será executada nas primeiras 100.000 linhas do conjunto de dados inteiro. Portanto, a precisão das funções Sum, Max, Min, Average e Count será afetada durante a visualização (outras funções não serão afetadas). Os resultados da agregação serão recalculados em relação ao conjunto de dados inteiro durante a publicação do cubo. O hgos.aggregation.preview.rows valor da propriedade em /conf/hgos-spark.properties pode ser ajustado para um número específico de linhas ou definido como um valor de -1 para um número ilimitado de linhas.

4. Clique em OK para salvar as novas definições de esquema com a agregação/função aplicada.

   Se você tentar transformar dados depois de aplicar uma agregação ou funções, o sistema descartará essas alterações.

Filtragem

O Gateway Hadoop também oferece suporte para a filtragem de importações de dados. A filtragem permite que você importe dados limitados que correspondem a uma determinada condição em vez de a todo conjunto de dados.

A opção Filtro está disponível no menu de contexto e na parte superior da caixa de diálogo Agregação.

Funções com suporte

Categoria	Função	Observações
Básico		O resultado pode ser incorreto se o valor exceder o valor mínimo ou máximo do tipo numérico. Por exemplo, a faixa de valor inteiro é de -2147483647 a 2147483647, o resultado será inesperado se exceder a limitação.
	Soma
	Média
	Mínimo
	Máximo
	Contagem
	Maior
	Menor
Data/hora		Se a função for aplicada ao valor de data e hora, a parte de hora ficará truncada. Por exemplo, aplicando AddDays a 2017/5/12 18:23:12, o valor será truncado em 2017/5/12 00:00:00
	AddDays
	CurrentDate
	CurrentDateTime
	CurrentTime
	Data
	DayOfMonth
	DayOfWeek
	DayOfYear
	DaysBetween
	Hora
	Milissegundo
	Minuto
	Mês
	MonthEndDate
	MonthBetween
	MonthStartDate
	Trimestre
	Segundo
	Semana
	Ano
	YearEndDate
	YearStartDate
Math
	Abs
	Acos	Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque acos não é convergente.
	Asin	Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque asin não é convergente.
	Asinh
	Atan2
	Atanh
	Ceiling
	Combine
	Cos	Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque cos não é convergente.
	Cosh
	Degrees
	Exp
	Factorial	Se #0 > 20, um valor nulo será retornado. Se #0 <= 20, um valor inteiro correspondente será retornado.
	Floor
	Int
	Ln
	Log
	Log10
	Mod
	Multiply
	Power
	Quotient
	Radians
	Randbetween
	Round
	Round2
	Sin	Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque sin não é convergente.
	Sinh
	Marrom	Quando o valor de entrada for infinito, o valor de retorno será "-1.#IND" para indicar um valor inválido, porque tan não é convergente.
	Tanh
	Trunc
Null/Zero
	NullTo/Zero
	ZeroToNull
String
	Concat
	ConcatBank
	InitCap
	LeftStr
	Comprimento
	Lower
	LTrim
	Position
	RightStr
	RTrim
	SubStr
	Trim
	Upper

Filtros com suporte

Categoria	Filtrar
Básico	Na lista
	Não está na lista
	Exatamente
	Não Exatamente
Comparação	Maior do que
	Menor que
	Maior ou igual a
	Menor ou igual a
	Entre
	Não está entre
Padrão	Como
	Não é como
	Contém
	Não Contém
	Começa com
	Não começa com
	Termina com
	Não termina com