Aggregation und Filterung auf Hadoop-Datenimporte anwenden

Wenn Sie Daten aus einem Hadoop Distributed File System (HDFS) importieren, können Sie während des Imports verschiedene Aggregationsfunktionen sowie Filter auf die Daten anwenden. Auf diese Weise können Sie den Umfang der Daten anpassen, die in den Speicher gelangen.

Aggregation

The Aggregation Die Option ist im Dialogfeld „Datenvorschau“ verfügbar.

So wenden Sie eine Aggregationsfunktion auf Ihre Daten an

1. Klicken Sie auf Aggregation, um das Dialogfeld „Aggregation“ zu öffnen.
2. Klicken Sie mit der rechten Maustaste auf ein Feld und wählen Sie die gewünschte Funktion im Menü aus.

3. Klicken Sie auf SQL ausführen, um eine Vorschau der Daten mit angewendeter Aggregation anzuzeigen.

   Standardmäßig wird die Aggregationsfunktion für die obersten 100.000 Reihen des gesamten Datensatzes angewendet. Daher wird die genaue Angabe der Funktionen „Summe“, „Maximum“, „Minimum“, „Mittelwert“ und „Zählung“ während der Vorschau beeinflusst (andere Funktionen sind nicht betroffen). Aggregationsergebnisse werden bei der Veröffentlichung des Cubes für den gesamten Datensatz neu berechnet. The hgos.aggregation.preview.rows Eigenschaftswert in /conf/hgos-spark.properties kann an eine bestimmte Anzahl von Zeilen oder für eine unbegrenzte Anzahl von Zeilen auf einen Wert von -1 eingestellt werden.

4. Klicken Sie auf OK, um die neuen Schemadefinitionen mit angewendeter Aggregationsfunktion zu speichern.

   Wenn Sie versuchen, nach der Anwendung der Aggregationsfunktion den Datenumbau zu verwenden, werden Ihre Änderungen vom System verworfen.

Filterung

Hadoop Gateway unterstützt ebenfalls die Filterung von Datenimporten. Bei Anwendung von Filtern können Sie anstelle des gesamten Datensatzes begrenzte Daten importieren, die einer bestimmten Bedingung entsprechen.

Die Option Filter ist Kontextmenü verfügbar, ebenso wie oben im Dialogfeld „Aggregation“.

Unterstützte Funktionen

Kategorie	Funktion	Hinweise
Einfach		Das Ergebnis ist möglicherweise falsch, wenn der Wert das Minimum oder das Maximum des numerischen Typs überschreitet. Beispielsweise liegt der Bereich für Ganzzahlen zwischen -2147483647 und 2147483647. Ein unerwartetes Ergebnis tritt auf, wenn das Ergebnis den Grenzwert überschreitet.
	Summe
	Durchschnitt
	Minimum
	Maximum
	Zählung
	Größte
	Least
Datetime		Wird die Funktion auf einen Datum-/Zeit-Wert angewendet, wird der Zeit-Bestandteil gekürzt. Wird beispielsweise die Funktion „AddDays“ auf „2017/5/12 18:23:12“ angewendet, wird der Wert zu „2017/5/12 00:00:00“ gekürzt.
	AddDays
	CurrentDate
	CurrentDateTime
	CurrentTime
	Datum
	DayOfMonth
	DayOfWeek
	DayOfYear
	DaysBetween
	Stunde
	MilliSecond
	Minute
	Monat
	MonthEndDate
	MonthBetween
	MonthStartDate
	Quartals
	Sekunde
	Woche
	Jahres
	YearEndDate
	YearStartDate
Mathematisch
	Abs
	Acos	Wenn der Eingabewert unendlich ist, ist der zurückgegebene Wert „-1.#IND“. Damit wird ein ungültiger Wert angegeben, da Acos nicht konvergent ist.
	Asin	Wenn der Eingabewert unendlich ist, ist der zurückgegebene Wert „-1.#IND“. Damit wird ein ungültiger Wert angegeben, da Asin nicht konvergent ist.
	Asinh
	Atan2
	Atanh
	„Ceiling“
	Combine (Verbund)
	Cos	Wenn der Eingabewert unendlich ist, ist der zurückgegebene Wert „-1.#IND“. Damit wird ein ungültiger Wert angegeben, da Cos nicht konvergent ist.
	Cosh
	Degrees
	Exp
	Factorial	Wenn #0 > 20 wird Null zurückgegeben. Wenn #0 <= 20 wird der entsprechende Ganzzahlwert zurückgegeben.
	Floor
	Int
	Ln
	Protokoll
	Log10
	Mod
	Multiply
	Power
	Quotient
	Radians
	Randbetween
	Round
	Round2
	Sin	Wenn der Eingabewert unendlich ist, ist der zurückgegebene Wert „-1.#IND“. Damit wird ein ungültiger Wert angegeben, da Sin nicht konvergent ist.
	Sinh
	Tan	Wenn der Eingabewert unendlich ist, ist der zurückgegebene Wert „-1.#IND“. Damit wird ein ungültiger Wert angegeben, da Tan nicht konvergent ist.
	Tanh
	Trunc
NULL/Null
	NullTo/Zero
	ZeroToNull
Zeichenkette
	Concat
	ConcatBank
	InitCap
	LeftStr
	Länge
	Lower
	LTrim
	Position
	RightStr
	RTrim
	SubStr
	Trim
	Upper

Unterstützte Filter

Kategorie	Filter
Einfach	In der Liste enthalten
	Nicht in der Liste enthalten
	Genau
	Nicht genau
Vergleich	Größer
	Kleiner als
	Größer oder gleich
	Kleiner oder gleich
	Zwischen
	Nicht zwischen
Muster	Wie
	Nicht wie
	Enthält
	Enthält nicht
	Beginnt mit
	Beginnt nicht mit
	Endet auf
	Endet nicht auf