MicroStrategy ONE
Appliquer l'agrégation et le filtrage aux importations de données Hadoop
Lors de l’importation de données d’un système de fichiers distribués Hadoop (HDFS), vous pouvez appliquer différentes fonctions d’agrégation, ainsi que des filtres, aux données lors de l’importation. Ceci vous permet de personnaliser la quantité de données emportées en mémoire.
Agrégation
Le Agrégation L'option est disponible dans la boîte de dialogue Aperçu des données.
Pour appliquer une fonction d’agrégation à vos données :
- Cliquez sur Agrégation pour ouvrir la boîte de dialogue d'agrégation.
- Cliquez avec le bouton droit sur un champ et sélectionnez la fonction souhaitée dans le menu.
-
Cliquez sur Exécuter l'expression SQL pour prévisualiser vos données avec l'agrégation appliquée.
Par défaut, l’agrégation/la fonction sera exécutée contre les 100 000 premières lignes du jeu de données complet. Par conséquent, la précision des fonctions Somme, Max, Min, Moyenne et Compte est impactée pendant l’aperçu (les autres fonctions ne sont pas affectées). Les résultats de l’agrégation sont recalculés contre le jeu de données complet pendant la publication du cube. Le
hgos.aggregation.preview.rowsvaleur de la propriété dans/conf/hgos-spark.propertiespeut être ajusté en fonction du nombre de lignes spécifique ou défini sur la valeur -1 pour un nombre illimité de lignes. -
Cliquez sur OK pour enregistrer les nouvelles définitions de schéma avec l'agrégation/la fonction appliquée.
Si vous tentez d’arranger les données une fois que l’agrégation/les fonctions a(ont) été appliquée(s), le système ignore ces modifications.
Filtrage
Hadoop Gateway prend également en charge le filtrage d’importations de données. Le filtrage vous permet d’importer des données limitées qui correspondent à une certaine condition au lieu de l’ensemble d’un jeu de données.
Le Filtrer L'option est disponible dans le menu contextuel et en haut de la boîte de dialogue d'agrégation.
Fonctions prises en charge
| Catégorie | Fonction | Notes |
|---|---|---|
| Basique | Le résultat peut être incorrect si la valeur dépasse le minimum ou le maximum du type numérique. par exemple, la plage de valeurs entières est de -2147483647 à 2147483647, le résultat sera inattendu s'il dépasse la limite. | |
| Somme | ||
| Moyenne | ||
| Minimum | ||
| Maximum | ||
| Nombre | ||
| Le plus important | ||
| Le moins important | ||
| Datetime | Si la fonction est appliquée sur la valeur datetime, la partie heure sera tronquée. par exemple, si vous appliquez Ajout de Jours sur 2017/5/12 18:23:12, la valeur sera tronquée à 2017/5/12 00:00:00 | |
| AddDays | ||
| CurrentDate | ||
| CurrentDateTime | ||
| CurrentTime | ||
| Date | ||
| DayOfMonth | ||
| DayOfWeek | ||
| DayOfYear | ||
| DaysBetween | ||
| Heure | ||
| MilliSecond | ||
| Minute | ||
| Mois | ||
| MonthEndDate | ||
| MonthBetween | ||
| MonthStartDate | ||
| Trimestre | ||
| Seconde | ||
| Semaine | ||
| Année | ||
| YearEndDate | ||
| YearStartDate | ||
| Mathématiques | ||
| Abs | ||
| Acos | Lorsque la valeur d’entrée est l’infini, la valeur de retour sera « -1.#IND » pour indiquer la valeur non valide, parce qu’acos n’est pas convergent. | |
| Asin | Lorsque la valeur d’entrée est l’infini, la valeur de retour sera « -1.#IND » pour indiquer la valeur non valide, parce qu’asin n’est pas convergent. | |
| Asinh | ||
| Atan2 | ||
| Atanh | ||
| Ceiling | ||
| Combine | ||
| Cos | Lorsque la valeur d’entrée est l’infini, la valeur de retour sera « -1.#IND » pour indiquer la valeur non valide, parce que cos n’est pas convergent. | |
| Cosh | ||
| Degrees | ||
| Exp | ||
| Factorial | Si #0 > 20, alors la valeur nulle sera renvoyée. Si #0 <= 20, la valeur d’entier correspondante sera renvoyée. | |
| Floor | ||
| Int | ||
| Ln | ||
| Log | ||
| Log10 | ||
| Mod | ||
| Multiplier | ||
| Power | ||
| Quotient | ||
| Radians | ||
| Randbetween | ||
| Round | ||
| Rond2 | ||
| Sin | Lorsque la valeur d’entrée est l’infini, la valeur de retour sera « -1.#IND » pour indiquer la valeur non valide, parce que sin n’est pas convergent. | |
| Sinh | ||
| Tan | Lorsque la valeur d’entrée est l’infini, la valeur de retour sera « -1.#IND » pour indiquer la valeur non valide, parce que tan n’est pas convergent. | |
| Tanh | ||
| Trunc | ||
| Nul/Zéro | ||
| NullTo/Zero | ||
| ZeroToNull | ||
| Chaîne | ||
| Concat | ||
| ConcatBank | ||
| InitCap | ||
| LeftStr | ||
| Longueur | ||
| Lower | ||
| LTrim | ||
| Position | ||
| RightStr | ||
| RTrim | ||
| SubStr | ||
| Trim | ||
| Upper |
Filtres pris en charge
| Catégorie | Filtrer |
|---|---|
| Basique | Dans la liste |
| Pas dans la liste | |
| Exactement | |
| Pas exactement | |
| Comparaison | Supérieur à |
| Inférieur à | |
| Supérieur ou égal à | |
| Inférieur ou égal à | |
| Entre | |
| Non compris entre | |
| Modèle | Similaire à |
| Différent | |
| Contient | |
| Ne contient pas | |
| Commence par | |
| Ne commence pas par | |
| Finit par | |
| Ne se termine pas par |