Aplicar Agregação e Filtragem às Importações de Dados do Hadoop

Ao importar dados de um HDFS (Hadoop Distributed File System), você pode aplicar diferentes funções de agregação, bem como filtros, aos dados durante a importação. Isso permite personalizar a quantidade de dados que está sendo trazida para a memória.

Aplicar Agregação

O Agregação opção está disponível na caixa de diálogo Visualização.

Para aplicar uma função de agregação aos seus dados:

1. Clique em Agregação para abrir a caixa de diálogo Agregação.
2. Clique com o botão direito em um campo e selecione a função desejada no menu.

3. Clique em Executar SQL para visualizar seus dados com a agregação aplicada.

   Por padrão, a agregação/função será executada nas primeiras 100.000 linhas do conjunto de dados inteiro. Portanto, a precisão das funções Sum, Max, Min, Average e Count será afetada durante a visualização (outras funções não serão afetadas). Os resultados da agregação serão recalculados em relação ao conjunto de dados inteiro durante a publicação do cubo. O valor da propriedade hgos.aggregation.preview.rows em /conf/hgos-spark.properties pode ser ajustado para um número específico de linhas ou definido como um valor de -1 para um número ilimitado de linhas.

4. Clique em OK para salvar as novas definições de esquema com a agregação/função aplicada.

   Se você tentar transformar dados depois de aplicar uma agregação ou funções, o sistema descartará essas alterações.

Filtragem

O Gateway Hadoop também oferece suporte para a filtragem de importações de dados. A filtragem permite que você importe dados limitados que correspondem a uma determinada condição em vez de a todo conjunto de dados.

A opção Filtro está disponível no menu de contexto e na parte superior da caixa de diálogo Agregação.