Problems von zwei Attributen unterschiedlichen Namens, die
Nach der
jedoch die selbe Eigenschaft beschreiben, werden Metadaten
herangezogen. Diese sind in Datenbanken zusätzlich gespei-
chert, um Fehler in der Schemaintegration zu vermeiden.
Insgesamt ist die Datenintegration jedoch ein Schritt der
ähnlich wie die Datenvorbereitung funktioniert und daher
ebenfalls größtenteils manuell erbracht wird. Algorithmen sind
dabei unterstützend, indem sie Datensätze nach Inkonsistenz
und Redundanz untersuchen. Anschließend liegt ein großer
korrekter Datensatz vor. Allerdings können die Data Mining
Algorithmen nicht mit allen Einheiten umgehen. Dazu müssen
die Daten transformiert werden.
VI. DATA T RANSFORMATION
Bei der Data Transformation werden die Daten in eine
für das Data Mining geeignete Form gebracht. Dabei werden
besonders folgende Aspekte betrachtet (nach [3]):
A. Normalisierung
Je nach dem, welche Genauigkeit und Größenordnung der
Werte eines Attributs benötigt wird, werden die Werte der
Daten unterschiedlich normalisiert. Dies bedeutet, sie in einen
kleineren Wertebereich zu skalieren, wie zum Beispiel -1.0 bis
1.0. Auch kategorische Werte können in Zahlen transformiert
werden. Hierbei ist zu beachten, dass eine etwaige Ordnung
wie zum Beispiel “sehr gut“ >“gut“ >“schlecht“ auch bei
der Transformation nicht verloren geht. Die Aussagekraft der
Daten muss möglichst beibehalten werden.
B. Smoothing
Auch bei der Data Transformation können fehlerhafte Werte
durch Clustering oder Regression wie beim Data Cleaning
entfernt werden.
C. Aggregation
Analog dazu, dass bei der Normalisierung die Genauigkeit
der Werte reduziert wird, können auch mehrere Werte zu
einem zusammengefasst werden. Falls beispielsweise nur der
durchschnittliche Jahresumsatz von Bedeutung für die Daten-
analyse ist, so können die Tagesumsätze aggregiert werden.
Hier ist es wie bei der Normalisierung wichtig, dass auf die
Anwendung des Datensatzes Bezug genommen wird, um nicht
nötige Informationen zu verlieren.
D. Generalisierung
Die Konzepte hinter einzelnen Entitäten und ihren
Attributen können ebenfalls zusammengefasst werden, falls
es das jeweilige Projekt zulässt. So könnte bei Kunden anstatt
eines numerischen Werts “Alter“ lediglich zwischen “jung“,
“erwachsen“ und “senior“ unterschieden werden. So kann
sogar die Aussagekraft eines Datensatzes gesteigert werden,
falls zwischen Kunden im Alter von 33 und 35 Jahren
tatsächlich kein bedeutender Unterschied besteht.
Die Normalisierung und das Smoothing sind Methoden
die zum großen Teil automatisiert ablaufen können,
während Aggregation und Generalisierung sehr stark vom
Modellbezug und der Datenschemata abhängen.
Data Transformation wurden die Daten soweit transformiert,
dass sie für die verwendeten Data Mining Algorithmen in
geeigneter Form bereit liegen und einfach gehandhabt werden
können.
VII. DATA R EDUCTION
Wie bereits oben erläutert ist es sehr zeit- und ressourcen-
aufwändig, komplexe Analysealgorithmen auf großen Daten-
mengen anzuwenden. Daher ist es sehr wichtig, die Dimension
und die Anzahl der Datenobjekte zu reduzieren. Wie auch bei
der Data Transformation besteht hier das Grundprinzip, den
Datensatz zwar zu reduzieren, dabei jedoch möglichst keine
Abstriche in Integrität und Qualität machen zum müssen. Für
die Reduzierung der Daten bestehen verschiedene Ansätze:
A. Reduzierung der Dimension
Hier werden nicht oder kaum relevante Attribute und red-
undante Attribute erkannt und entfernt. Der Einfluss eines
Attributs auf andere Attribute kann algorithmisch festgestellt
werden, in Datenbanken beispielsweise durch die Ermittlung
funktionaler Abhängigkeiten. Hat ein Attribut keinen oder
wenig Einfluss auf andere Attribute so kann es eliminiert
werden.
B. Reduzierung der Entitätenanzahl
Die Vielfalt der Werte eines bestimmten Attributs kann
durch eine Annäherung durch Modelle ersetzt werden. Fol-
gen die Werte mathematischen Gesetzmäßigkeiten, so müssen
lediglich die Modelle gespeichert und verwendet werden. Bei-
spiele für Modelle sind zunächst mathematische Funktionen
(lineare Modelle, log-lineare Modelle, etc.) aber auch Cluster
oder Histogramme.
C. Datenkomprimierung
Um die Größe des Datensets zu reduzieren können die
enthaltenen Werte zudem komprimiert werden.
D. Diskretisierung und Konzepthierarchien
Vielfältige Werte können auch durch Wertebereiche oder
höhere konzeptuelle Entitäten ersetzt werden (siehe Kapitel 6).
So wird Data Mining auf verschiedenen Abstraktionsebenen
ermöglicht.
Die Reduktion des Datenumfangs ist ein entscheidender
Schritt des Data Preprocessings, da hier einerseits Effizienz
gewonnen wird und zudem auch die Aussagekraft der Daten
verbessert werden kann. Nach den oben erläuterten Prozessen
im Bereich des Data Cleanings, der Data Integration, Nor-
malisation und Reduction steht ein wesentlich kompakterer
Datensatz zur Verfügung der ein schnelleres und genaueres
Arbeiten mit den Daten ermöglicht.