Script

Einfuhrung
in die Wissensverarbeitung und

Data Mining
Peter Becker
FH Bonn-Rhein-Sieg
Fachbereich Angewandte Informatik

!"$#
Vorlesung Wintersemester 2001/02
1. Einfuhrung
Vorbemerkungen
1 Einfuhrung

% Vorbemerkungen
% Wissen
% Wissensverarbeitung
% Wissensmanagement
% Data Mining
Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 1

1. Einfuhrung
Vorbemerkungen
Allgemeines zur Vorlesung

% Es gibt eine Homepage zur Vorlesung:
&('*))+++,-./"0& /&!10# )23
,45)6+5678:9
:; !:)
% Die Vorlesung wird folienbasiert gehalten.
% Die Folien zur Vorlesung (Skript) stehen auf der Homepage vor der
Vorlesung zur Verfugung.

% Format: PDF, zwei- und vierseitig
% Sie konnen
also die ausgedruckten Folien mit in die Vorlesung brin-
gen und dort mit schriftlichen Bemerkungen versehen.
% Benutzen Sie zum Drucken bitte die vierseitige Version des Skriptes.
1. Einfuhrung
Vorbemerkungen

Ubungen
% In die Vorlesung integriert
% Das erste Ubungsblatt

gibt es am zweiten Vorlesungstermin.
% Bearbeitungszeit: abhangig
von den Aufgaben, i.d.R. eine oder zwei
Wochen
% Theorie- und Programmieraufgaben

1. Einfuhrung
Vorbemerkungen
TB, LN, Prufung

% TB: Anwesenheit, ein paar Ubungsaufgaben

demonstrieren
% LN: Ubungsaufgaben
++, (Richtlinie 50% der zu vergebenden Punk-
te)
% Prufung
Diplom: Zusammen mit dem Stoff aus dem 6. Semester fur

Ausgewahlte Kapitel ...
% Prufungsform:
mundlich
(Witt/Becker)
% Prufungstermine:
7.2.2001 und 3.4.2001
1. Einfuhrung
Vorbemerkungen
Literatur
C. Beierle, G. Kern-Isberner, Methoden wissensbasierter Systeme,
Vieweg, 2000.
J. Heinsohn, R. Socher-Ambrosius, Wissensverarbeitung: Eine Einfuhrung,

Spektrum Akademischer Verlag, 1999.
K. W. Tracy, P. Bouthoorn, Object-oriented Artificial Intelligence Using
C++, Computer Science Press, 1997.
E. Rich, Artificial Intelligence, McGraw-Hill, 1983.
M. R. Genesereth, N. J. Nilsson, Logische Grundlagen der Kunstlichen

Intelligenz, Vieweg, 1989.
T. A. Runkler, Information Mining, Vieweg, 2000.
M. Ester, J. Sander, Knowledge Discovery in Databases, Springer,
2000.

1. Einfuhrung
Vorbemerkungen
Inhalt (geplant)
1. Einfuhrung

2. Intelligente Suchverfahren

3. Aussagen- und Pradikatenlogik
4. Regelsysteme und Regelinterpreter
5. Induktion von Regeln
6. Clusteranalyse
7. Probabilistische Netze
1. Einfuhrung
Wissen
Daten, Information, Wissen
Auswirkungen von
1 Euro = 0.96 Dollar
Wissen
auf Zinsen und
Aktienkurse
Ergebnis
eines
Lernvorgangs
Devisenkurs Information
1 Euro = 0.96 Dollar
Kontext
0.96 Daten

1. Einfuhrung
Wissen
Wissen: Versuche einer Definition
% Knowledge is organized information applicable to problem solving.

(Woolf)
% Knowledge is information that has been organized and analyzed to

make it understandable and applicable to problem solving or decision
making. (Turban)
1. Einfuhrung
Wissen

Wissen, Kennen, Konnen
Umgangssprachlich bezeichnet man das Ergebnis eines Lernvorgangs

als
% wissen, wenn es sich um sprachlich-begriffliche Fahigkeiten

handelt,
% kennen, wenn es sich um sinnliche Wahrnehmung handelt,
% konnen,

wenn es sich um motorische Fahigkeiten handelt.

1. Einfuhrung
Wissen
Arten von Wissen

explizit implizit
Ableitung
przise
unsicher
Wissen Art
unvollstndig
vage
Reprsentation
Kontollstrategie Regeln Fakten
1. Einfuhrung
Wissensverarbeitung
Wissensebenen
% kognitive Ebene (z.B. Erfahrung von Experten, Arbeitsanweisungen)
% Reprasentationsebene

(z.B. Aussagenlogik, Pradikatenlogik)
% Implementierungsebene (z.B. Prolog-Statements)
Bei der Wissensverarbeitung und der Kunstlichen

Intelligenz stehen

die Reprasentationsebene und die Implementierungsebene im Vor-
dergrund (Schlieen der KI-Lucke).

Beim Wissensmanagement stehen die kognitive Ebene und die Re-

prasentationsebene im Vordergrund.

1. Einfuhrung
Wissensverarbeitung
Daten- vs. Wissensverarbeitung
Algorithmische Problembeschreibung Anwendungsspezifisches Wissen
Wissen
Daten (Fakten
Software und Wissens
Entwickler Regeln) ingenieur
Programm Inferenz
maschine
1. Einfuhrung
Wissensmanagement
Wissensmanagement
Versuch von Definitionen:
% Wissensmanagement ist ein ganzheitliches, integratives Konzept,

das psychologische, organisatorische und informationstechnologi-
sche Faktoren beinhaltet, um die effektive Erschlieung und den

Transfer von Wissen zu gewahrleisten. (Wilkens, 1997)
% Sammlung von Techniken, um Wissen in einem Unternehmen effizi-

enter zu erfassen, zu organisieren und zuganglich zu machen.
(Reimann et al., 2000)

1. Einfuhrung
Wissensmanagement
Aufgaben des Wissensmanagements
Wissensmanagement
Knowledge management
Wissenserschlieung Wissensverteilung
Knowledge Capture Knowledge Dissemination
Data Warehouse
Knowlede Discovery Information Retrieval
Data Mining Wissensportale
Dokumentenanalyse Wissenslandkarten
Multimedia Discovery DokumentenManagement
XML und KM Workflow Management
WWW und KM
1. Einfuhrung
Wissensmanagement
Data Warehouse, Online Analytical Processing und

Knowledge Discovery in Databases
KDD
strukturelle Analysen OLAP
Assoziationsregeln 1 Multidimensionale Sichten
1,2 Analysen, Kalkulationen
1,2,3,4,5
2
3,4,5 3
4
5
Data Warehouse
Informationsspeicherung
Informationsverdichtung

1. Einfuhrung
Data Mining
Knowledge Discovery in Databases
Wissensentdeckung in Datenbanken ist

% ein nichttrivialer Proze,
% um Beziehungsmuster in den Daten zu entdecken,
% die fur
einen groen Teil des Datenbestandes gultige,

% bislang unbekannte,
% potentiell nutzliche
und
% leicht verstandliche

Zusammenhange zum Ausdruck bringen.
1. Einfuhrung
Data Mining
Proze des Knowledge Discovery in Databases

Rohdaten Wissen
Vorverar Transfor Data Interpre

Selektion
beitung mation Mining tation
ClusterAnalyse
Klassifikation
Mustersuche

1. Einfuhrung
Data Mining
Cluster-Analyse: Technik des Data Mining

Gegeben sei eine Menge von Punkten im IR < .

Wie kann man die Haufungen algorithmisch erkennen?
Berechnung eines minimal spannenden Baums und
Elimination zu langer Kanten
2. Suchverfahren Einfuhrung

2 Suchverfahren
% Sehr viele Probleme der Wissensverarbeitung lassen sich auf ein

Suchproblem zuruckf
uhren.

% Die Eigenschaften und Losungsverfahren

von Suchproblemen sind
daher von grundlegender Bedeutung fur
die Wissensverarbeitung.
% Suchverfahren sind ein klassisches Kapitel innerhalb der Wissens-

verarbeitung


Farbeproblem
B
C
D E

Beispiel 2.1. Die angegebene Landkarte mit den Landern A, B, C, D

und E ist so mit den Farben rot, blau, gelb und orange zu farben, da

keine zwei benachbarten Lander die gleiche Farbe haben.

Farbeproblem (2)
% Ein naives generate-and-test Verfahren wurde

=> mogliche
Farbkon-
stellationen prufen.

% Allgemein sind ?A@ Farbkonstellationen zu prufen,

mit ? BDC Anzahl
der Farben und EFBGC Anzahl der Lander.

Ineffizient!


Suchbaum
Farbeproblem (3)
[,,,,,]
H

Es scheint sinnvoller zu sein, die Lander der Rei-
A > o
A > b
he nach zu farben.
A > r
H
A > g
So kann man Zwischenzustande bei der Pro-
[b,,,,] [r,,,,] [g,,,,] [o,,,,]

blemlosung
durch Teilfarbungen beschreiben, et-
B > r B > o
wa
IJ
U
XQ
P
K
KL
QRDS
KV
RW
NM O
TO
B > g
IJ
P
[b,r,,,] [b,g,,,] [b,o,,,]

K
K
H
QRDS
RDQ S
XT
TO
Nach der Zuordnung kann

man direkt abbrechen.
C > r C > o
H
[b,g,r,,] [b,g,o,,]
Die Problemlosung startet mit der leeren
XI

Farbung .
D > o D > r H

Ziel ist es, eine komplette zulassige
Farbung zu
[b,g,r,o,] [b,g,o,r,] erreichen.
H
E > g E > g
Die Schritte im Laufe der Problemlosung las-
sen sich durch Zustandsubergangsoperatoren

[b,g,r,o,g] [b,g,o,r,g] beschreiben.
Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 23 Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 22

Suchbaum (2)
% Die Losung

des Farbeproblems sich als Suchbaum darstellen.
lat
% Die Knoten des Suchbaums entsprechen den Zustanden

(zulassige

Teilfarbungen).
% Die Kanten entsprechen den Operatoren.

Routenproblem
B E
A
Ziel
Start F
C D

Beispiel 2.2. Gegeben ist eine Karte mit Stadten und Straen, die die

Stadte miteinander verbinden.
Gesucht ist eine Route von einem Startort zu einem Zielort.
Suchbaum: Tafel .

2. Suchverfahren Zustandsraum
Zustandsraum
2. Suchverfahren
Fur
Suchproblem lat
sich das Wissen reprasentie-
ren durch:
H
Ein Zustand stellt das Wissen zu einem be-

stimmten Zeitpunkt der Losungsfindung dar.
des Knotens Y bezeichnet.

Der Zustandsraum ist die Menge aller Zustande.

Zustandsubergangsoperatoren
beschreiben, wie

ausgehend von einem Zustand andere Zustande
% Die Zielknoten sind die Zielzustande.

des Zustandsraums erreicht werden konnen.
Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02

% Die Wurzel entspricht dem Startzustand.
H
Der Startzustand ist der Zustand, der zu Beginn

der Losungsfindung vorliegt. Er lat
sich explizit

angeben.
% Die Knoten eines Suchbaums stellen die Zustande

Zustandsraum und Suchbaum
H

Die Menge der Zielzustande charakterisiert die
dar.

Losungen
des Problems. Zielzustande lassen
sich in der Regel nur implizit angeben, z.B. uber

% Die Kanten entsprechen den Zustandsubergangsoperatoren.

ein Testpradikat.
Zustandsraum
27
% Die Berechnung der Nachfolger eines Knotens Y wird als Expansion
2. Suchverfahren Zustandsraum
Zustandsraum und Suchbaum (2)
% Der Zustandsraum beschreibt nur, wie man prinzipiell zu einer

Losung gelangen kann,
% aber nicht, wie man effizient zu dieser kommt.
% Ganz wesentlich fur

eine effiziente Problemsosung sind:
das Verfahren, das festlegt, in welcher Reihenfolge die Zustande

untersucht bzw. expandiert werden sowie
die Bewertung der einzelnen Zustande.

2. Suchverfahren Uninformierte Suchverfahren
Uninformierte Suchverfahren
% Suchverfahren, die uber

die Beschreibung des Zustandsraums hin-
aus keine Zusatzinformation benutzen, heien uninformierte Such-
verfahren.
% Insbesondere findet keine Bewertung der einzelnen Zustande

statt.
% Dementsprechend unterscheiden sich die Verfahren im wesentlichen

darin, in welcher Reihenfolge die Zustande expandiert werden.
% Die wichtigsten Vertreter der uninformierten Suchverfahren sind die

Breitensuche und die Tiefensuche.

Uninformierte Suchverfahren (2)
Z Ausgehend von der Wurzel des Suchbaums (Startzustand) werden

die Knoten sukzessive expandiert.
Z Spater
wird man von den Nachfolgern des expandierten Knotens
weiterarbeiten, solange bis man einen Zielknoten gefunden hat.
Z Die Liste der Knoten, die gerade in Bearbeitung sind, heit Agenda
(open list).
Z Knoten der Agenda sind generiert, aber noch nicht expandiert.
Z Expandierte Knoten werden auch als closed bezeichnet.
darin, wo die Nachfolger in die Agenda eingefugt

expandiert,
ein Zielzustand ist, hat man eine
werden in die Agen-
Breiten- und Tiefensuche unterscheiden sich

Breitensuche und Tiefensuche laufen nach dem
31
Zu Beginn der Suche besteht die Agenda aus
In einer beliebigen Iteration wird der erste Knoten

Uninformierte Suchverfahren (3)
_`
\^]
aus der Agenda genommen.
kein Zielzustand, so wird
_`
\^]
d.h. alle Nachfolger von
gleichen Schema ab.
dem Startzustand.
gefunden.
da eingefugt.
_`
\]

_`
werden.
Losung
2. Suchverfahren
\^]
Wenn
_`
\^]
Ist

[ [ [ [ [ [
Tiefensuche
Bei der Tiefensuche werden die Nachfolger eines expandierten Kno-

tens abced an den Anfang der Agenda eingefugt.

Z Die Agenda entspricht einem Kellerspeicher (Stack).
Z Liefert ein Knoten, der kein Zielknoten ist, keine neuen Knoten, so

wird die Suche fortgesetzt an dem nachstgelegenen Knoten, fur
den
noch nicht alle Nachfolger expandiert wurden.
Z Dies entspricht einem Backtracking.

33
D

I
_`
\]
G
C
A
B
E
K
Tiefensuche (2)
F
H
A
(E,F,C,D)
(K,F,C,D)
C
Agenda
(G,H,D)
(B,C,D)
(F,C,D)
(C,D)
G
(A)
Schritt
B
1
2
3
4
5
6
7
E
K
2. Suchverfahren
Breitensuche
Bei der Breitensuche werden die Nachfolger eines expandierten

Knotens ab/cfd an das Ende der Agenda eingefugt.

Z Die Agenda entspricht einer Warteschlange (Queue).

35
D

I
_`
\]
G
C
D
A
B
E
F
Breitensuche (2)
(D,E,F,G,H)
(E,F,G,H,I)
(F,G,H,I,K)
A
(C,D,E,F)
C
(G,H,I,K)
Agenda
(B,C,D)
G
(A)
Schritt
B
1
2
3
4
5
6
7
E
K
2. Suchverfahren
Algorithmen
Algorithmus 2.1. [Tiefensuche]
g hjkmlnpoDq rtsvuwnx6uzy km{u*jk}|f~

i
& gh:jklnq rt|:
oDq tx u3rgihjkmln|e~
a b/cfd a
Entferne a b/cfd aus der Agenda;
6 6
gihjakmbceld nistoDqZielknoten
n377{^hj/ xr ab/|}cf
d ist kln5~ STOP;
gh:Ljosung;
abced

Problem hat keine Losung; STOP;
Algorithmus 2.2. [Breitensuche]

i
& gh:jklnq rt|:
ab/cfd a
Entferne a b/cfd aus der Agenda;
6 6
gihjakmbceld nistoDqZielknoten
gh:jkln n/7a5b/{cfdhist
jxrLosung; |f~ STOP;
ab/cfd


2. Suchverfahren Uninformierte Suchverfahren 2. Suchverfahren Uninformierte Suchverfahren

Beispiel 2.4. Ein Weinhandler hat drei Kruge,
Beispiele
einen von 9 Liter, einen von 7 Liter und einen von
4 Liter Inhalt.

Auf den Krugen

sind keine Litermarkierungen ange- Beispiel 2.3. Suche einen Weg von nach mit
bracht. Tiefensuche bzw. Breitensuche.
Der 9-Liter-Krug ist gefullt,

die anderen sind leer.
i
Die Kruge
sollen so umgefullt
werden, da der 9-
Liter-Krug sechs Liter und der 4-Liter-Krug drei Liter d j m

enthalt.
b e k
Tafel .
f
g l
c h
Tafel .
Eigenschaften von Suchverfahren

Definition 2.1. Ein Suchverfahren heit vollstandig, wenn fur
jeden

Suchbaum jeder Knoten expandiert werden konnte, solange noch kein
Zielknoten gefunden wurde.
Z Ein vollstandiges
Suchverfahren ist fair in dem Sinne, da jeder Kno-
ten die Chance hat, expandiert zu werden.
Z Ein vollstandiges
Sucherfahren findet auch bei unendlichen

Suchbaumen
stets eine Losung, falls eine existiert.
Z Breitensuche ist vollstandig.

Z Tiefensuche ist nur bei endlichen Suchbaumen

vollstandig.
Eigenschaften von Suchverfahren (2)
Definition 2.2. Fur

ein uninformiertes Suchverfahren heit eine

Losung
optimal, wenn sie unter allen Losungen die geringste Tiefe im
Suchbaum aufweist.

Breitensuche findet eine optimale Losung (falls existent), Tiefensuche
nicht.

Eigenschaften von Suchverfahren (3)

Komplexitaten:
Z Fur
Breiten- und Tiefensuche ist der ungunstigste
Fall, da die

Losung
in der auersten rechten Ecke des Suchbaums liegt.
Z q
Zeitkomplexitat
r d |
, mit
q
Verzweigungsrate und
uq
Tiefe
des Zielknotens.
Z Bei der Tiefensuche enthalt
die Agenda die Knoten des aktuellen
q r uz|
Suchpfades sowie deren Nachfolger
Platzkomplexitat .
Z Bei der Breitensuche kann die Agenda eine komplette Ebene des
q
r d |
Suchbaums enthalten
Platzkomplexitat .
2. Suchverfahren Informierte Suchverfahren
Informierte Suchverfahren
Z Fur
groere
Suchbaume sind Breiten- und Tiefesuche nicht effizient
genug.
Z Vielversprechender sind Ansatze,
bei denen Problemwissen zur
Steuerung des Suchprozesses eingesetzt wird.
Z Dies kann dadurch geschehen, da die Zustande
(Knoten) danach
bewertet werden, wie erfolgversprechend sie sind.
Z Man schatzt
beispielsweise fur
jeden Knoten, wie nahe er an einem
Zielknoten liegt.
Z Solch eine Bewertung nennt man heuristische Funktion.

Heuristische Funktion
Definition 2.3. Eine Funktion, die jedem Zustand (Knoten)

r | a eines Zu-
standsraums (Suchbaums) eine nichtnegative Zahl a zuordnet,
r |"q heit
einen Zielzustand a gilt dabei a
heuristische Funktion. Fur .
Ein Suchverfahren, das eine heuristische Funktion zur Auswahl der zu

expandierenden Zustande einsetzt, heit informiertes Suchverfahren
oder auch heuristisches Suchverfahren.

Endzu-
die nicht an der
Summe der Entfernungen aller Platt-
45

.

Heuristische Funktion (2)
3
4
5

heuristische Funktionen:
Anzahl der Plattchen,

1
8
7

Beispiel 2.5. [Schiebepuzzle]
chen von der Zielposition.

richtigen Stelle liegen.
8
2

4
1
3

5
6
7
\ \

Startzustand
* *
\ \
2. Suchverfahren
Mogliche

Hier:
Hier:
* *
stand
[ [

m"q m q m1q m1q

q q iq iq
8 3 8 3 8 1 3 8 1 3
2 1 4 2 1 4 2 4 2 4
7 6 5 7 6 5 7 6 5 7 6 5

1 2 3 1 3 1 3
8 4 8 2 4 8 2 4
7

m"6q 5 7 6
m q 5 7 6
m1q 5
q q iq
Z Die heuristische Funktion differenziert starker

m
als , d.h.
Z kann Zustande
unterscheiden, die von

gleich bewertet werden.
Z Eine heuristische Funktion ist um so brauchbarer, je mehr Zustande

sie unterschiedlich bewertet.
Z Eine heuristische Funktion, die alle Zustande

gleich bewertet, ist un-
brauchbar.

Bestensuche
Z Bei der Bestensuche erfolgt die Expansion eines Knotens auf Basis
der heuristischen Funktion.
Z Hierzu werden in der Agenda die Knoten zusammen mit ihrer Bewer-
tung abgelegt.
Z Es wird nun jeweils der Knoten der Agenda expandiert, der die ge-
ringste Bewertung aufweist.
Z Die Agenda hat also die Form einer Prioritatswarteschlange
(priority
queue).
Z Ansonsten ist die Bestensuche analog zur Tiefen- und Breitensuche.

49
_`
\^]
D:6

I:
G
C
A
B
G:0, H:2, D:6, E:7, F:8

Bestensuche (2)
H:2
C:5, D:6, E:7, F:8

A:9
C:5
B:4, C:5, D:6

G:0
Agenda
B:4
A:9
F:8
Schritt
K:
E:7
2. Suchverfahren
1
2
3
4
Algorithmus zur Bestensuche
Algorithmus 2.3. [Bestensuche]

i
& gh:jklnq rt|:
ab/cfd a
Entferne ab/cfd aus der Agenda;
6 6
gihjakmbceld nistoDq Zielknoten
jtkjh:jk" rgh:jkab/lcfn5d ist 75{^h:jxSTOP;
nL/osung; r |z|f~

a /
b f
c d

Beispiel 2.5 mit Bestensuche. Tafel

Beispiel 2.6. Suchbaum fur
Eigenschaften der Bestensuche

k 2.4. Eine heuristische Funktion heit
Definition r |1fair
k gdw. es zu je-
dem nur endlich viele Knoten a gibt mit a .
Z Fairness entspricht der Vollstandigkeit

bei uninformierten Suchver-
fahren.
Z Ist eine heuristische Funktion fair, so wird ein Zielknoten gefunden,

falls ein solcher existiert.

an.

Bestensuche und Optimalitat

2. Suchverfahren
Definition
Die Kosten
a erreichbar.
yr |
Beim Ubergang
[

Die Bestensuche vernachlassigt die Kosten bei
der Anwendnung der Operatoren.
2.5. Es sei
[
Wird die Gute
einer Losung charakterisiert durch

diese Operatorkosten, so findet die Bestensuche
yr |(oDq
von a nach a^

allgemein keine optimale Losung.

a a

Beispiel 2.7. Routenproblem: Man finde einen
kurzesten
Weg von A nach B. Die heuristische
f///3
ymr
Funktion sei als die Luftlinienentfernung zum Ziel-

a a
knoten definiert.
z|
B

Bewertung von Losungen

Ziel
A D
fallen Kosten in Hohe
der Zustandsfolge seien definiert durch:

Start
von
C
yr

Bestensuche wahlt
A,B,D, obwohl A,C,D kurzer
ist.
und a sei durch Anwendung eines Zustandsubergangsoperators
a a ^
z|
53
a eine Folge von Zustanden
auf

Zulassiger
Schatzer Fur
ymr "
ymr "
a
a
2. Suchverfahren
r |
h r |
| q r
| q f3h
a
|

oDq
oDq
Definition 2.6. Eine heuristische Funktion heit

\
r /|

zulassiger
Schatzer
bzw. zulassig gdw.
bzw.

\
\
fur
alle Zustande des Zustandsraums.
einen Zustand a sei:

fyr |
fyr |

Beispiel 2.8. Zulassige
Schatzer sind:
Problem: Finde (falls moglich)
[
die heuristischen Funktionen aus Beispiel 2.3 fur

das Schiebepuzzle und ist Zielzustand .
[
die Luftlinienentfernung beim Routenproblem.
[
Bei kombinatorischen Optimierungsproblemen

werden als zulassige
Schatzer
haufig effizient

losbare Relaxationen des Problems verwendet.
Beispiel: minimaler Spannbaum als Relaxation
fur
die Berechnung eines minimalen Hamilton-
a in einen Zielzustand , die minimale Kosten aufweist, d.h.
schen Weges.
ist Weg vom Startzustand nach a
ist Weg von a zu einem Zielzustand
54
eine Zustandsfolge vom Startzustand

Der A*-Algorithmus
2. Suchverfahren
Fall sein!
Der A*-Algorithmus basiert auf:
Closed verwaltet.

\
1. einer Bewertung fur
die Zustande, wobei
r |
die bisher geringsten Kosten zur Erreichung
\
des Zustands angibt,
2. einer (ublicherweise

zulassigen) heuristischen
Verringerung von a auftreten.

Funktion
zur Schatzung der Restkosten und
Z Durch eine Verringerung von hr a | fur
Z Dies kann im allgemeinen auch fur

\

\
\
3. einer Bewertungsfunktion , die

zur Auswahl des zu expandierenden Zustandes
dient.
Der A*-Algorithmus (2)
Z Bewertungen sind dementsprechend anzupassen.

Steuerung der Suche bei A*:
Es wird der Knoten der Agenda expandiert, der

\
die geringste Bewertung aufweist.
Folgende Punkte sind beim A*-Algorithmus zu berucksichtigen:
Z Deshalb werden schon expandierte Knoten in einer speziellen Liste
57
schon expandierte Knoten der
einen Zustand a kann auch eine

2. Suchverfahren Informierte Suchverfahren 2. Suchverfahren Informierte Suchverfahren

Fuge
in die Agenda ein; Der A*-Algorithmus (3)

Algorithmus 2.4. [A*]


_`
\^]
_`
\]
Entferne aus der Agenda;
_`
Fuge
in Closed ein;

\^]

ist Zielknoten
ist Losung; STOP;

^

%
$

"!
"(
#

'&

)
!
(
#

^

Fuge
in die Agenda mit Bewertung ein;

+

$

,&

%
$

!
"(
#

&

)
!
(
#
^

^

Entferne aus Closed;
.
.
.
.
A*-Anwendungsbeispiel
Fur
2. Suchverfahren
/
Asymetrisches Traveling Salesman Problem:
besten Weg an.
9
einen Knoten
/
Zustand: Menge von Kanten, die enthalten bzw.
len Pfad speichern.

ausgeschlossen sind
gibt
quadratisch in der Lange
9
Zustandsubergang:
Ein- bzw. Ausschlu einer
0213/54
Kante
9

Zielzustand: enthaltene Kanten
man von sukzessive den Verweisen

9
06187 4

Schatzung: des Suchpfades.
/
Der notwendige Speicherplatzverbrauch fur
Fur
eine Tour mu man jede Stadt mindestens
folgt.
Der A*-Algorithmus (4)
einmal Anfahren bzw. sie verlassen.

Den bisher besten Weg zu einem Knoten erhalt
Summe der Zeilenminima der Entfernungsma-

den Vorgangerknoten
trix plus Summe der Spaltenminima einer re-

duzierten Matrix ist ein zulassiger
Schatzer.
die Pfade ist dann aber
60
man also, in dem

auf dem bisher
Alternativ kann man an jedem Knoten den kompletten bisher optima-

2. Suchverfahren Informierte Suchverfahren 2. Suchverfahren Informierte Suchverfahren
;
<
&
Ohne Kante : 129 Entfernungsmatrix:
;
<
&
Mit Kante : 18 + 63 = 81 1 2 3 4 5 6
:
1 3 93 13 33 9
:
1 2 4 5 6 2 4 77 42 21 16
:
:
1 0 2 30 6 3 45 17 36 16 28
:
:
2 0 30 17 12 4 39 90 80 56 7
:
:
3 29 1 12 0 5 28 46 88 33 25
:
:
4 32 83 49 0 6 3 88 18 46 92
:
5 3 21 0 0

Erste Abschatzung: 81
=
;
<
;
&
&
Mit und ohne : 113

Reduzierte Matrix:
=
;
<
;
&
&
Mit und mit : 81
1 2 3 4 5 6
:
1 2 4 5 1 0 75 2 30 6
:
:
1 0 2 30 2 0 58 30 17 12
:
:
2 0 30 17 3 29 1 12 0 12
:
:
3 29 1 0 4 32 83 58 49 0
:
:
5 3 21 0 5 3 21 48 0 0
:
6 0 85 0 35 89
64
: 104
: 104
: 114

?
: 103
: 127
> =
@ ?
& & &
>

, ohne
@ & ? ? ? &
: 101
: 84
< @
& & & &
> >

, ohne
, ohne
? & ? &
= = =
: 84
? ? ?
& & & & &
> >

, ohne
, ohne
? ? & ? & ? ? & ?
: @ @ @
28
& & & & & &

> > >
5

& & & & & &
; ; : ; ; ; ; ; ;
4
0
& & & & & & & &

= = = = = = = =
2. Suchverfahren

< & < & < & < & < & < & < & < &
:
20
2
& & & & & & & &

; ; ; ; ; ; ; ;
Mit
Mit
Mit
Mit
Mit
Mit
Mit
Mit
1
3
5
A* und andere Suchverfahren
die folgenden Algorith-

Bemerkung 2.1. Der A*-Algorithmus enthalt

men als Spezialfalle:
.
Fur
ACBED und FHG D man den Dijkstra-Algorithmus.
erhalt
.
Fur
AIG D man die Bestensuche.
erhalt
.
Fur
AIG J und FHG D man die Breitensuche.
erhalt
.
Fur
und
AKG man die Tiefensuche, wenn man Wie-
erhalt LMJ FNG D

derbelebungen verbietet (Ubergang von Closed in die Agenda).

V
V
V
.
.
F
Eigenschaften von A*
den.
2. Suchverfahren
knoten,

Satz 2.1. [Terminierung, Fairness] Es gelte:
ist zulassig.
ausgehend von
9
021"W\4
Jeder Zustand besitzt nur endlich viele Nachfol-
Satz 2.2. [Optimalitat]

gerzustande,
W
P

O
&
es existiere , so da fur
die Kosten bei

P
%
S
Q
R
&
einem Zustandsubergang
stets
Es gelte:
gilt und
9
es gibt einen erreichbaren Zielzustand.

die minimalen Kosten ergeben sich durch
T
Dann terminiert A* nach endlich vielen Schritten
XY1ZW[4
mit dem Erreichen eines Zielzustandes.
Eigenschaften von A* (2)
und
U
Beweis. Tafel .
Gegeben sind die Voraussetzungen von Satz 2.1 und

Bemerkung 2.2. Unter den gegebenen Voraus-
setzungen endet die Suche u.U. in einem nicht op-
timalen Zielzustand.
kann eine optimale Zustandsfolge ermittelt wer-
67
Dann ist der Zielknoten , mit dem A* terminiert, ein optimaler Ziel-

Beweis. Tafel . ]
Korollar 2.3. Gegeben seien die Voraussetzungen von Satz 2.2. Der

gefundene optimale Zielknoten sei . Dann wurden wahrend des Laufs
W

von A* nur Zustande mit / expandiert.
^_1`/a4cbdXe1ZW\4

Wahl guter Schatzer
.
Die Eigenschaften der heuristischen Funktion haben einen wesentli-
chen Einflu auf die Performanz der Suche mit A*.
.

Eine zulassige
heuristische Funktion ist um so besser, je naher sie
dem Optimalwert zur Erreichung eines Zielzustandes kommt.
Definition 2.7. Fur

zwei zulassige
Schatzer F und Fgf heit:
.
F f besser informiert als F gdw. Fh13/54cijF f 13/a4 fur
alle Zustande / gilt.
.
F f nicht schlechter informiert als F gdw. Fh13/54kbjF f 13/a4 fur
alle Zustande
/ gilt.


Wahl guter Schatzer (2)
Satz 2.4. Es gelte:
.
Gegeben sind die Voraussetzungen von Satz 2.2,
.ml l
bzw. f
seien A*-Algorithmen, die zulassige
Schatzer F bzw. F f
verwenden und
.
F f sei besser informiert als . F
V l l
Dann wird jeder Zustand , der von / f expandiert wird, auch von
expandiert.
Beweis. Tafel . ]

Monotone Schatzer
Definition 2.8. Gegeben sei eine nichtnegative Kostenfunktion . Eine A
F
heuristische Funktion heit monotoner Schatzer gdw. gilt:
.
Fh1ZW\4on D fur
alle Zielzustande . W
.
Fur
alle Zustande / und alle Nachfolger /pf von / gilt:
Fh13/54kbjAY13/rqs/ f 4utvFh13/ f 4

Beispiel 2.9. Alle Schatzer aus Beispiel 2.8 sind auch monotone

Schatzer.

Es gibt keine Wiederbelebung von Zustanden,

Gegeben sind die Voraussetzungen von Satz 2.1
d.h. ein Knoten, der expandiert wurde, wird nie
72
Ist der Knoten durch Expansion des Knotens

Schatzer.

(2)

Monotone Schatzer
.

P
auch ein zulassiger

sei ein monotoner Schatzer.

*

w

*
entstanden, so gilt

U
P
Satz 2.5. Es gelte:
mehr selektiert.
Beweis. Tafel .

Dann ist
2. Suchverfahren
und
9 9 T T T
Zusammenfassung des Kapitels
.

Zustandsraum: Zustande, Zustandsuberg

ange, Startzustand, Ziel-

zustande
.
Systematische Suche im Zustandsraum: Breitensuche, Tiefensuche
.

Heuristische Funktionen: Schatzung der Entfernung zum Ziel
.

Bestensuche garantiert keine Optimalitat
.
A*: Operatorkosten plus heuristischer Funktion
.

A* liefert optimale Losungen bzgl. Operatorkosten

3. Logik Inferenz 3. Logik Inferenz
Zielrichtungen der Inferenz 3 Logik
Gegenstand der Logik:
9
Prognosen, logische Ableitungen erstellen
x
y
9
Es ist Fakten und Regeln gegeben. Was
Reprasentation von Wissen durch Formeln eines
kann daraus gefolgert werden? Beispiel: Wenn
adaquaten Logikkalkuls

es regnet, dann ist die Strae na. Was kann aus
9
der Tatsache, da es regnet, gefolgert werden? Herleitung (Inferenz) von neuem Wissen auf Ba-
sis der Kalkuls.

9

Erklarungen finden
x
y
Wie lat
sich ein Fakt mit Hilfe der Regeln Anwendungsgebiete der Logik in der Wissensverar-

erklaren? Beispiel: Die Strae ist na. Wie kann beitung:
das sein?
9
Inferenz in Expertensystemen
9
Hypothesen prufen
9
x
y
Logikprogrammierung, deduktive Datenbanken

Konnen aus den Fakten und den Regeln
z
9
die Hypothesen hergeleitet werden? Beipiel: automatisches Beweisen

Wenn es regnet, dann ist die Strae na. Es reg-
9
net. Ist die Strae dann na?

Programmverifikation
.
.
.
.
3. Logik Inferenz

3. Logik
Arten der Inferenz

unprazise
9
Deduktion
Zum Starten eines Autos ist eine aufgeladene
raumlich-zeitliches
Batterie notwendig. Bei unserem Auto ist die Bat-
Angaben
Qualifikationsproblem
terie leer. Wir schlieen, da wir unser Auto nicht

starten konnen.
Wissen
9
Induktion
Wir haben wiederholt beobachtet, da ein Auto
Logik
nicht startet und die Batterie leer ist. Wir haben
probabilistische Aussagen und Regeln

noch nie beobachtet, da ein Auto mit leerer Bat-

terie gestartet werden konnte. Wir schlieen dar-
aus, da ein Auto, das eine leere Batterie hat,
9 nicht gestartet werden kann.
Abduktion
Zum Starten eines Autos ist eine aufgeladene
Batterie notwendig. Unser Auto lat sich nicht
starten. Wir schlieen, da die Batterie leer ist.
Weitere Aspekte bei der Wissensverarbeitung mit
77
Inferenz

3. Logik Aussagenlogik
Signatur

Am Beispiel der Aussagenlogik erklaren wir schrittweise wichtige Ele-
mente eines logischen Systems.
.

Zunachst
benotigt ein logisches System ein Vokabular,
.
d.h. eine Menge von Namen, die Dinge der realen Welt beschreiben

konnen.
.
Eine derartige Menge von Namen wird als Signatur bezeichnet und
ublicherweise
durch gekennzeichnet.
{
.
Den Namen ist i.d.R. eine gewisse Stelligkeit zugeordnet.
Aussagenlogische Signatur
Definition 3.1. Eine aussagenlogische Signatur ist eine Menge von {
(nullstelligen) Bezeichnern, den Aussagenvariablen.
Beispiel 3.1. Die Menge
{}|u~n \g5q[p\[5\q[p[\5a a[
ist eine aussagenlogische Signatur, die drei Aussagenvariablen zur

Verfugung
stellt.
Im folgenden benutzen wir ublicherweise

Grobuchstaben als Aussa-
genvariablen.

Formeln
.

Formeln ermoglichen
es, Dinge der reprasentierten Welt auszu-
drucken.

.
Formeln entsprechen einer gewissen Syntax (sie sind wohlgeformt).
.

Diese Syntax legt eine Wissensreprasentationssprache fest.
.
Formeln sind ublicherweise
rekursiv aufgebaut.
.
Die atomaren Formeln ergeben sich aus der Signatur.
.
Mit logischen Verknupfungsoperatoren
(den Junktoren) werden aus
atomaren Formeln schrittweise komplexere Formeln aufgebaut.

sche Formeln, die sogenannten atomaren For-
der aussagenlogi-
sind aussagenlogi-
dann sind auch die folgenden Konstrukte aussa-
81
eine aussagenlogische Signa-
aussagenlogische Formeln sind,

Aussagenlogik
Aussagenlogische Formeln

schen Formeln wie folgt definiert:

Die Elemente der Menge

genlogische Formeln:

ist die Menge
Definition 3.2. Fur

und

meln.
Falls

3. Logik
tur

benutzen statt dessen die folgenden Bindungsprio-
weise verzichten wir i.d.R. auf die Klammerung und
Bemerkung 3.1. Zur Vereinfachung der Schreib-
82
Aussagenlogik

Konjunktion
Disjunktion
Aquivalenz
Implikation
Negation

ritaten:
3. Logik

-Interpretation

Die Syntax einer Logik legt ausschlielich deren auere Form fest,
sie sagt aber nichts uber
die Bedeutung der Formeln aus.

Benotigt wird eine Verbindung zwischen den syntaktischen Elemen-

ten der Logik und den Objekten der zu reprasentierenden Welt.

Diese Verbindung wird durch eine sogenannte -Interpretation her-
gestellt.

Eine -Interpretation einer Signatur ist die Zuordnung von den Ele-

menten der Signatur (Namen) zu den Elementen der zu reprasen-
tierenden Welt.

3. Logik Aussagenlogik 3. Logik Aussagenlogik
Erfullungsrelation
Belegung

Definition 3.3. Es sei eine aussagenlogische

Die Interpretation liefert uns nur einen Wahrheits-
Signatur.
wert fur
die atomaren Formeln.

"

Wir benotigen eine Ausdehnung der Semantik Eine Abbildung heit

aussagenlogische Interpretation oder Belegung

auf alle Formeln .
fur
.

Dieses stellt uns eine Erfullungsrelation
bereit.

,
bezeichnet die Menge der Belegungen

fur
.
Durch solch eine Erfullungsrelation
ist definiert,

ob eine Formel in einer -Interpretation wahr Beispiel 3.2. Fur die Signatur aus Beispiel 3.1 ist

ist oder nicht, d.h. definiert durch

sie ordnet einer Interpretation und einer Formel

einen Wahrheitswert zu.

Eine Erfullungsrelation
definiert hierzu im we-
sentlichen die Semantik der Junktoren.
eine mogliche Belegung.

(nicht-
atomare) aussagenlogische Formeln. Durch die fol-
86
Aussagenlogik
genden Wahrheitstafel wird eine -Interpretation

ausgedehnt:

Semantik der Aussagenlogik


gelte:

,

Definition 3.4. Es seien
gdw.

von auf die Menge
und

3. Logik
Fur

Modell
Definition 3.5. Es seien N 3 und [3 . Gilt ,

so sagen wir

erfullt
und

bezeichnen als -Modell fur
.
[Zc \3 bezeichnet die Menge aller -Modelle fur

.
Fur
eine Menge von Formeln gelte gdw. \3
fur
alle . ist dann ein Modell fur
die Formelmenge .


3. Logik Aussagenlogik 3. Logik
Erfullbarkeit

Formel
Dagegen ist

Besonders interessant sind Formeln, die fur
alle In-
terpretationen wahr bzw. falsch sind.
Kraht
der Hahn auf dem Mist, andert sich das
Wetter oder es bleibt wie es ist
[p\[

Definition 3.6. Eine Formel heit
kein Modell fur
Beweis mit Wahrheitstafeln .

Beispiel 3.3. Die Interpretation
erfullbar
gdw. es ein Modell fur
die Formel gibt.
\g5

unerfullbar
(Kontradiktion) gdw. es kein Modell
die Formel
fur
die Formel gibt.
Modell (2)
[p\[

5[\5
allgemeingultig
(Tautologie) gdw. jede Interpreta-
5
tion ein Modell fur

die Formel ist.

falsifizierbar gdw. es eine Interpretation gibt, die
kein Modell fur die Formel ist.
Die Begriffe werden in analoger Weise fur

Formel-

mengen verwendet.
aus Beispiel 3.2 ist ein Modell fur
Aussagenlogik
88
die

Semantische Folgerung Tautologie

Beispiel 3.4. Wichtige Tautologien sind:

Modus Ponens

In einem wissensbasierten System wollen wir
Fakten aus anderen Fakten und Regeln herlei-

ten.

Modus Tollens

Wir konnen eine Wissensbasis als eine Menge

betrachten.

Eine solche Menge entspricht Und-Elimination
der Konjunktion .

Unser ubliches

Verstandnis
von Folgerung lat

sich so ausdrucken:
Ist eine Formel immer Oder-Introduktion
dann wahr, wenn alle Formeln aus wahr sind,

dann folgt aus .

Damit konnen wir die Erfullungsrelation
auf Resolutionsregel
eine Beziehung zwischen Formeln und Formel-

mengen ausdehnen.

gdw. je-
gdw. je-
bzw. aus
aussa-
92
Aussagenlogik

gdw.
G ist.
G ist.

Semantische Folgerung (2)


G heit semantische Folgerung von

auch ein Modell fur

.
F auch ein Modell fur
Wir sagen auch folgt logisch aus

gelte

gelte

In diesem Fall schreiben wir

eine Formelmenge
folgt semantisch .

gilt.

Formelmengen

genlogische Formeln.

des Modell fur
des Modell fur

alle
fur
Fur
Fur

3. Logik
Beispiel 3.5. Gegeben sei die Formelmenge

\g5
5[\ \ 5

[ p\[
\ 5[\gp[
\g5
Kann aus die Aussage 5 [p\[gp[ gefolgert werden, d.h. gilt
5[\p[ ?
Ja! Beweis mit Wahrheitstafeln .


Beispiel 3.6. Wir wollen uns ein Haustier anschaffen und machen fol-

gende Uberlegungen:
1. Es sollte nur ein Hund ( ), eine Katze ( ) oder ein Hamster ( )

sein.

2. Besitzer wertvoller Mobel ( ) sollten keine Katze anschaffen, da die-

se die Mobel zerkratzen wurde.

3. Ein Hund erfordert ein freistehendes Haus ( ), damit sich kein Nach-

fuhlt.
bar durch das Bellen gestort
Wir vermuten: Fur

einen Besitzer wertvoller Mobel ohne freistehendes
Haus kommt nur ein Hamster in Frage.
Beweis mit Wahrheitstafeln .

Satz 3.1. Es seien ! aussagenlogische Formeln. Dann gilt:

ist Tautologie gdw. " ist unerfullbar.

gdw. ist Tautologie.

gdw. $#%"&
ist unerfullbar.

Bemerkung 3.2. Die Aquivalenzen
konnen auf Formelmengen %('
ausgedehnt werden.
Kalkul

Schon das kleine Beispiel 3.6 verdeutlichte, da Inferenz auf Basis
der Definition der semantischen Folgerung ineffizient ist.

Allgemein mussen
fur
eine Formelmenge mit ) verschiedenen
Aussagevariablen *,+ Belegungen getestet werden.

Daher benutzt man fur
die maschinelle Inferenz Techniken, die allein
auf der Syntax der Formeln beruhen.

Statt alle moglichen Belegungen zu testen, sucht man nach einer
Folge von syntaktischen Umformungen, die die Hypothese zu bewei-
sen.

Dies besagt, da aus den Formeln (der syntakti- Kalkul

(2)

schen Form) (Bedingungen) eine For-

mel der Form (Schlussfolgerung) abgeleitet
werden kann.

So konnen aus den Tautologien von Beispiel 3.4 Ein Kalkul
besteht aus einer Menge von logi-
Inferenzregeln gebildet werden. Aus dem Modus schen Axiomen und Inferenzregeln.
Ponens ergibt sich die Inferenzregel:

Die Axiome sind entweder eine Menge von ele-

mentaren Tautologien (positiver Kalkul)
oder

eine Menge von elementaren Widerspruchen

Ist eine Formel aus den Formeln (negativer Kalkul).

durch eine Folge von Anwendungen der Infe-

renzregeln ableitbar, so schreibt man
Die Inferenzregeln sind Vorschriften, nach denen
aus Formeln andere Formeln abgeleitet werden

konnen.

Sie werden in der folgenden Form notiert:

Eigenschaften von Kalkulen

Also gilt:
0

Ein Kalkul
ist korrekt gdw. alle syntaktischen Ab-
5[\
leitungen auch semantische Folgerungen sind,

d.h. fur
Formeln und gilt:
. \
-

impliziert
K5[\5
[ag
[p\[

5
g

Ein Kalkul
ist vollstandig gdw. alle semantischen Nochmals angewandt ergibt sich:
12 .
[p\[
Folgerungen auch syntaktisch abgeleitet werden

Kalkul
[ag
5[\p[

konnen, d.h. fur
Formeln und gilt:
\

M
5[\

(3)

impliziert

/
der Inferenzregel Modus Ponens leiten wir ab:
Beispiel 3.7. Gegeben sei die Formelmenge

[p[\

5[

Ein Kalkul
ist widerlegungsvollstandig gdw. aus

[
allen semantischen Folgerungen eine unerfullba-

re Formel abgeleitet werden kann, d.h. fur

For-

/

meln und gilt:

impliziert
aus Beispiel 3.5. Mit
Aussagenlogik
100


Semantische Aquivalenz

Beispiel 3.8. Syntaktisch unterschiedliche Formel konnen identische
Wahrheitswerte haben. Man betrachte die Formeln " 546 und " 5# Z
"7 :

: : " 8; 49
}Z " 8; #%"&

: ; : :
; : : :
; ; : :
Definition 3.8. Zwei aussagenlogische Formeln ! \3

heien semantisch aquivalent gdw. < fur
jede Belegung M Z
gilt. \3
Wenn und
semantisch aquivalent sind, schreiben wir hierfur
= .

Implikation
DeMorgan
Idempotenz
Assoziativitat
Distributivitat
Absorption
Dop. Negation
Kommutativitat

Lemma 3.2. Wichtige semantische Aquivalenzen
103
Aussagenlogik
(2)

Semantische Aquivalenz

?>

>

> @> > >

>

> ?> ?> > > > >

sind:

3. Logik

Normalformen
Fur
die maschinelle Inferenz ist die Darstellung einer Formel in einer

standardisierten und moglichst einfachen Form wichtig.
Definition 3.9.

Eine Formel ist ein Literal gdw. eine atomare Formel oder die

Negation einer atomaren Formel ist.

Eine Formel ist in konjunktiver Normalform (KNF) gdw.
eine Kon-
junktion von Disjunktionen von Literalen ist, d.h.
BADC(E?CF4HGIGJG/46ACKEMLON F#PGJGJG/# BARQ E?CS4PGJGJG/46ATQ EULWV


Eine Formel ist in disjunktiver Normalform DNF gdw.
eine Dis-
junktion von Konjunktionen von Literalen ist, d.h.
BA C(E?C #HGIGJG/#6A CKEML N F4PGJGJG/4 BA Q E?C #PGJGJG/#6A Q EUL V


Normalformen
Beispiel 3.9. Die Formeln
Z 849"7546 F#YX und " $#9
sind in KNF.
Die Formeln
<" 8#Z S4 <"[
M #%"RX2 und $4%"&

sind in DNF.
Transformation in Normalform
Umformungsregeln fur
KNF/DNF-Transformation:
Schritt 1 \
" 849
" "
] \

Schritt 2 " 8#9 }Z \

" 84%"&
" 849 }Z \
" 8#%"&
Schritt 3 (KNF) $4 <^#Z \

Z84% F# 846 Z
$#9 F46 Z \
Z84Z F# _846
Schritt 3 (DNF) $# <^4Z \

Z8#% F4 86 #
Z
$49 F#6 Z \
Z8#Z F4 _8#6

Klauselform
Fur
die maschinelle Inferenz benutzt man eine Mengendarstellung der
KNF, die sogenannte Klauselform.
Definition 3.10.

Eine Klausel ist eine Menge von Literalen ÀCaJGJGJGJbATQdc , die der Dis-
junktion A C 4PGJGJG/4eA Q entspricht.

Die Klausel `,c ist die leere Klausel. Sie wird in der
: Form f geschrie-
ben und entspricht dem Wahrheitswert hg ( (i ). \

Die Klauselform einer Formel in KNF mit
BA C(E?C 4HGIGJG/46A CKEML N F#PGJGJG/# BA Q E?C 4PGJGJG/46A Q EUL V

ist die Menge
`,` jA C(E?C IGkGIGJKA C(EML NlcmIGJGJGJaÀ Q E?C kGIGJGJ(A Q EML V c,c

\

Resolution (2) Resolution
Fur
die maschinelle Inferenz benutzt man Resoluti- Beispiel 3.10. Resolution basiert auf folgendem
on in Verbindung mit Klauselform. Schema:
o
o
q

n
o

Definition 3.11. Seien Klauseln und sei
r
r

Wenn es regnet ( ), gehe ich ins Kino ( ), also
o
oq
n
o

eine atomare Formel mit und .
n
.
Dann heit die Klausel mit
n

s

s

r
r
n
t
Wenn es nicht regnet ( ), gehe ich ins
o
o
q
p
p
Schwimmbad ( ), also .
o
o
q

Resolvente von und . Hieraus folgt, da ich ins Kino oder ins
Schwimmbad gehe, also
Ein Resolutionsschritt wird wie folgt dargestellt:

vxw
p
p
n
o
n
o
vxy

Als Inferenzregel geschrieben lautet die Resolution

wie folgt:

u

Resolution (3)

Beispiel 3.11. Modus Ponens und Modus Tollens konnen als Spezial-
fall der Resolution dargestellt werden:
zk|~} z{S|} z/{} z{S|}
z/} z/{S|~}
Die Resolvente zweier widerspruchlicher

Klauseln ist die leere Klausel:
zk|~} z{S|~}
Resolution (4)
Beispiel 3.12. Herleitung der Aussage aus Beispiel 3.6 mit der Reso-
lutiosregel: b_< KW
B
b_< (~<
(~_.

Resolution (6)
beweis.

Satz 3.3. Es sei eine Klauselmenge und es sei-
en . Fur
eine Resolvente von und

gilt .
ist (vgl. Satz 3.1).

D.h., man beweist

Insbesondere ist genau dann erfullbar,
wenn

der Resolutionsregeln.
Beim Resolutionskalkul
erfullbar
ist.

fuhrt
Satz 3.3 sagt aus, da durch die Hinzunahme

von Resolventen die Erfullbarkeitseigenschaft
ei-

ner Klauselmenge nicht beeintrachtigt wird.

Dies nutzt man im Resolutionskalkul aus. Um zu

Resolution (5)
zeigen, da eine Klauselmenge unerfullbar ist,

bildet man solange Resolventen und fugt sie der
Klauselmenge hinzu, bis irgendwann eine Menge

entsteht, die die leere Klausel enthalt.

Klauseln, die sich aus & ergeben, die leere Klausel ab.
Diese Klauselmenge ist unerfullbar,

also mu

auch die ursprungliche
Klauselmenge unerfull-
bar sein.

Aussagenlogik
Das letzte Beispiel zeigt den direkten Beweis einer Formel mit Hilfe
114
Dies bedeutet, man leitet aus den Klauseln von vereinigt mit den
, in dem man zeigt, da 56& unerfullbar
man stattdessen einen Widerspruchs-

Resolution (7)
Beispiel 3.13. Herleitung der Aussage aus Beispiel 3.6 mit dem Reso-
lutionskalkul:

Klauselmenge der Voraussetzungen:

,( ma ma Y ,

Klauselmenge der negierten zu beweisenden Aussage:

, m ma ,
[
Es gilt, aus $6 die leere Klausel abzuleiten.
b<< ( K B (
(_ ( D
( (~
(Z (Z

Eigenschaften der Resolution
Satz 3.4. Eine Klauselmenge ist unerfullbar

genau dann, wenn die
leere Klausel mit einer endlichen Anzahl von Resolutionsschritten aus
abgeleitet werden kann.
Bemerkung 3.3. Aus Satz 3.4 folgt die Korrektheit und (Widerlegungs)-

Vollstandigkeit des Resolutionskalkuls:

Die leere Klausel kann nur dann abgeleitet werden, wenn die ur-
sprungliche
Klauselmenge unerfullbar
ist Korrektheit
Das Resolutionskalkul
findet fur
jede unerfullbare
Klauselmenge eine
Widerlegung, d.h. die leere Klausel wird abgeleitet Vollstandig-

keit
Eigenschaften der Resolution (2)
Im Fall der Aussagenlogik ist es entscheidbar, ob die leere Klausel

abgeleitet werden kann.
Fur
Aussagenvariablen gibt es hochstens
verschiedene Klau-

seln, die aus diesen Aussagenvariablen gebildet werden konnen.
Der Prozess der Resolventenbildung ist also endlich, d.h. irgend-

wann konnen keine neuen Resolventen mehr gebildet werden.

Lemma 3.5. Es sei eine Klauselmenge. sei eine Klauselmenge,
die durch sukzessive Resolventenbildung aus entstanden ist.
enthalte nicht die leere Klausel und
aus kann keine neue Resolvente erzeugt werden.
Dann ist und somit auch erfullbar.

Beweis. Tafel .
Fazit zur Aussagenlogik

Eine Signatur legt die Variablen der Sprache fest.
Aus den Variablen entsteht durch Festlegung einer Syntax eine Wis-

sensreprasentationssprache (Menge der Formeln).
Eine Interpretation gibt den Variablen eine Bedeutung.
Die Erfullungsrelation
dehnt diese Bedeutung auf alle Formeln aus
Uber
die Erfullungsrelation
wird der Begriff der semantischen Folge-
rung festgelegt.
Ein Kalkul
stellt die Aquivalenz zwischen semantischer Folgerung
und syntaktischen Operationen her.

3. Logik
Pradikatenlogik

Pradikatenlogik

In der Aussagenlogik ist es nicht moglich, Aussagen uber
ganze Klas-
sen von Objekten zu machen, so da Schlufolgerungen fur
individuelle

Objekte moglich sind.
Es sei gegeben:
Martin ist ein Informatiker. Peter ist ein Informatiker.

Jeder Informatiker kann programmieren.
Wir wollen folgern:
Martin kann programmieren. Peter kann programmieren.
3. Logik
Pradikatenlogik

Pradikatenlogische Signatur

Mit der Pradikatenlogik (1. Stufe) wollen wir Sachverhalte beschreiben,

die folgendes enthalten konnen.
Objekte, z.B. Personen oder Sachen
Funktionen auf den Objekten, z.B. Groe,

Gewicht, Hochzeitstag
Eigenschaften von Objekten
Beziehungen zwischen Objekten
Aussagen uber
Objekte, auch quantifizierende

Wie in der Aussagenlogik brauchen wir dazu zunachst einen Vorrat an
Bezeichnern.

3. Logik
Pradikatenlogik

Pradikatenlogische Signatur (2)
l ,m
Definition 3.12. Eine (PL1-)Signatur ^ jh besteht aus
einer Menge h von Funktionssymbolen und
einer Menge von Pradikatensymbolen.

,
Jedes Symbol %,m2W hat eine feste Stelligkeit 5 .
Ein Funktionssymbol mit der Stelligkeit heit Konstante.
3. Logik
Pradikatenlogik
PL1-Terme
Funktionssymbole dienen zur Beschreibung von funktionalen Eigen-

schaften der Objekte. In Verbindung mit Variablen zur Darstellung von
Objekte werden Terme gebildet.
Definitionl ,m3.13.
Es sei eine Menge von Variablensymbolen
d und
jh sei eine PL1-Signatur. Dann ist die Menge der
(PL1-)Terme wie folgt definiert:
1. Jedes Variablensymbol YH ist ein PL1-Term.
2. Jedes nullstellige Funktionssymbol aus h ist ein PL1-Term.
3. IstJJ JJ ,m2 ein -stelliges Funktionssymbol ( ) und sind

JJIk
PL1-Terme, so ist auch ein PL1-Term.
3. Logik
Pradikatenlogik 3. Logik
Pradikatenlogik
PL1-Formeln (2) PL1-Formeln

Definition 3.15. Es sei eine Menge von Varia-
Auf Basis der Terme konnen wir nun die Formeln

blensymbolen und sei eine PL1-

der Pradikatenlogik definieren.

Signatur. Dann ist die Menge der PL1-

Formeln wie folgt definiert: Definition 3.14. Es sei eine Menge von Varia-

blensymbolen und sei eine PL1-

1. Jede atomare Formel uber
und ist eine PL1- Signatur. Dann ist die Menge der atomaren Formeln

Formel. uber
und wie folgt definiert:
2. Sind und PL1-Formeln, dann sind auch

1. Jedes nullstellige Pradikatensymbol ist
eine atomare Formel.

2. Ist
ein -stelliges Pradikatensymbol mit

PL1-Formeln. und gilt , so ist auch

/
3. Ist eine PL1-Formel und , dann sind auch

eine atomare Formel.
Pl1-Formeln.
3. Logik
Pradikatenlogik
PL1-Formeln (3)

Beispiel 3.14. Den anfangs dargestellten Sachverhalt konnten wir
durch folgende Formeln ausdrucken.

.

. B

! . #

" h&,

x % $ j

Die Frage, ob Martin und Peter programmieren konnen, wurde
dann als
PL1-Formel lauten:
h&, ' m(,
%$ B ! $ ) *

und Variablensymbole mit ei-
Bisher haben wir wieder nur die syntaktische Struk-
eine -stellige Funkti-
ei-
129
sowie einer Abbildung , die jedem -stelligen
nun die
besteht
eine PL1-
Pradikatenlogik
, der Tragermenge

zuordnet.
.
tur von Formeln festgelegt. Wir mussen
,
jedem -stelligen Pradikatensymbol

zuordnet und
+ ,
Interpretation
-
, 2
.-
(Grundbereich, Universum),
Signatur. Eine -Interpretation
-
.
einer nichtleeren Menge

-
ne -stellige Relation

/
Definition 3.16. Es sei
ner Bedeutng belegen.
Funktion-, Pradikaten-
,
Funktionssymbol

-
,

1/ 0
-
.
on
3. Logik
aus:
eine Menge von Variablen-

symbolen. Dann ist eine Variablenbelegung eine
und ei-
ist die wie
130
Es sind noch nicht alle sprachlichen Symbole der
PL mit einer Bedeutung belegt, es fehlen noch die
Pradikatenlogik
eine -
3 - -76
:
- , 5
4
Definition 3.18. Gegeben sein ein Term

.

-
3

. -

- , 8
unter
, -6
Termauswertung
+ -
5
.
, + 4

fur
08 /
, eine -Interpretation

+ -
in
-76 3
54 .
30
Die Termauswertung von


folgt definierte Funktion

-
ne Variablenbelegung
. , 8
-76
8
-76
Interpretation und
54 5

30

Variablen.

Funktion
/
4
3. Logik
3. Logik
Pradikatenlogik
PL1-Semantik
A@
Definition 3.19. Es sei 9;: =<?> > eine -Interpretation, B eine Men-
ge von Variablensymbolen und CEDFB G(H I < > eine Variablenbelegung.
CKJMLON;DB G&H
<?> bezeichne die Modifikation von C an der Stelle P zu Q ,
d.h: V
S fur
PX:Y
W S
CKJML7NRTS7U#:
Q fur
PZ:YS
Dann ist der Wahrheitswert einer Formel [ \E]^`_abcdeRfBU in 9 unter C
(geschrieben g h[ji ik>mlon ) wie folgt definiert:
p Fur
eine atomare Formel qKRkSsrut*v*v*v*tSxw U gilt:
@
g g qKRkS r t*v*v*v*tS w U=i i >mlon :YyF_%z{b|D~} ROg gS r i >mlon tmvvmv*tg gS w i i >*ln U\ > Rq&U

3. Logik
Pradikatenlogik
p Fur
[X||t7[X||t7[ H und [ gelten die selben Regeln wie in der
Aussagenlogik.
p Fur
eine Formel P[ gilt:
g &P[ji ik>mlon:YyF_%z{b|D} jedes Q\<?> gilt g gh[ji k>mlonx:y _!z{b

fur
p Fur
eine Formel FP[ gilt:
g P[ji ik>*ln:Yy _!z bD} es gibt ein Q\<?> mit g go[i ik>mlonxf:YyF_%z{b
3. Logik
Pradikatenlogik
Variablenbindungen
Definition 3.20. Tritt eine Variable P in einer Formel [ in einer Teilfor-

mel der Form &P& oder P& auf, so ist P eine gebundene Variable.
Tritt P in einer Formel ohne umgebenden Quantor auf, so ist P eine freie
Variable.
Eine PL1-Formel [ heit geschlossen gdw. in [ keine freie Variable

auftritt.
Wenn Prut*vmvvmtPw die in einer Formel [ frei auftretenden Variablen sind,

dann heit die Formel &Pr&vvmv&Pw[ der Allabschluss von [ .

3. Logik
Pradikatenlogik
Variablenbindungen (2)
Beispiel 3.15. Es sei P eine Variable und Q eine Konstante.
p P nur frei: R1P&U?H R1P&U

p P nur gebunden (Allabschluss): PR1P&U#H RP(U
p P sowohl frei als auch gebunden: RP(UR PR1P&UU
p P nur gebunden (Allabschluss): PRR1P&URFPR1P&UUU
p Grundformel: R1QU?H RQU
3. Logik
Pradikatenlogik
PL1-Semantik (2)
p Hat eine PL1-Signatur -stellige Pradikatensymbole,

so ist ihr Wahr-

heitswert unabhangig von einer Variablenbelegung.
p Der Wahrheitswert einer geschlossenen Formel ist ebenfalls un-

dabhangig von einer Variablenbelegung.
p Um dies auch bei einer beliebigen Formel zu erreichen, werden alle

frei auftretenden Variablen wie allquantifizierte Variablen behandelt.

3. Logik
Pradikatenlogik
@
Definition 3.21. Es sei : R=<?>t >mU eine -Interpretation und [ \
] ^`_abc!dRfBU sei eine PL1-Formel. Dann ist der Wahrheitswert von [ in
(geschrieben g h[ji iT ) gegeben durch die Funktion
g i i D`]^`_abc d RfBUG(H y _!z bFtO FcF`b
mit
g o[i kYy _!z bD} g o[i ikmlonyF_%z{b fur

jede Variablenbelegung C
137
hei-
Pradikatenlogik
-
Interpretationen und alle Variablenbelegungen

alle
PL1-Formeln

und


gdw. fur

Definition 3.22. Zwei PL1-Formeln

en semantisch aquivalent

fur

7
Aquivalenzen

Lemma 3.6.

3. Logik
gilt:
3. Logik
Pradikatenlogik 3. Logik
Pradikatenlogik
Skolemisierung Normalformen

Definition 3.23. Eine Formel , in der alle Quan-

toren auen stehen, heit Pranexform.
Skolemisierung dient der Elimination von Existenz-

Eine Pranexform, die als Junktor nur noch Konjunk-

quantoren. Wir betrachten eine Pranexform:
tion, Disjunktion und Negation enthalt,
wobei die

Negation nur unmittelbar vor Atomen auftritt, heit
h

vereinigungstechnische Normalform (VNF).

Zum Ersatz von
wahlen wir ein neues Funktions- Mit folgenden Schritten kann jede PL1-Formel in ei-

zeichen der Stelligkeit und fuhren folgende Ope-
ne aquivalente Formel in VNF uberf
uhrt
werden:
ration aus:
1. Umbennung von Variablen derart, da keine Va-

1. Streiche
aus der Pranexform. riable sowohl frei als auch gebunden auftritt und
hinter allen vorkommenden Quantoren stehen

2. Ersetze in der verbleibenden Formel an allen verschiedene Variablen.

Stellen durch .

2. Beseitigung der Junktoren und .

Wir erhalten somit
3. Die Negation wird ganz nach innen gezogen, so

da sie nur noch unmittelbar vor Atomen auftritt.

Die Funktion heit Skolemfunktion bzw. fur
4. Die Quantoren werden ganz nach auen ge-
Skolemkonstante. schoben.
3. Logik
Pradikatenlogik
Normalformen (2)
5. Alle Existenzquantoren werden durch Skolemisierung entfernt.

6. Jetzt konnen alle Allquantoren entfernt werden.

7. Mit Hilfe der de Morganschen Regeln konnen disjunktive Normalform
DNF bzw. konjunktive Normalform KNF analog zur Aussagenlogik
erzeugt werden.
Ebenfalls analog zur Aussagenlogik kann eine PL1-Formel in KNF in

Klauselform dargestellt werden.

ein Mechanismus zur Instanziierung von Variablen
menge von Variablensymbolen von . Dann ist eine

die maschinelle Inferenz mit PL wird noch
141
Konstanten und die
Pradikatenlogik
eine endliche Teil-
geben wir in der Form

eine Substitution.
auf

wird der Definitionsbereich von zunachst


rekursive Anwendung von in der Form

Substitution

fur

fur
fur

man eine Abbildung

k

an.

ausgedehnt. Durch

Eine Substitution
s

.
Abbildung

benotigt.

Durch
erhalt

3. Logik

Fur
3. Logik
Pradikatenlogik
Unifikation
Die Unifikation ist eine Substitution, bei der Terme gleichgemacht wer-
den.
Definition 3.25. Eine Substitution heit Unifikator der Terme und S

gdw. ?RfUI ?RkSU gilt. und S sind dann unifizierbar.
Beispiel 3.16. Sind Pt7t7 Variablensymbole und QtOtt Konstanten, so

sind die Terme KR1PtAuU und KRQt7*U nicht unifizierbar.
Die Terme KR1PtAuU und KRQtOuU sind unifizierbar mit P(Q .

Die Substitutionen P&%t!Qt7F(RQtOQUA und P&%MtORQtxUA
die Terme R1PtR1QtUU und KRt7U .
sind Unifikatoren fur
3. Logik
Pradikatenlogik
Allgemeinster Unifikator
Definition 3.26. Eine Sustitution heit allgemeinster Unifikator fur

die Terme und S gdw.
p ist Unifikator von und S und
p Fur
jeden Unifikator von und S existiert eine Substitution , so da
Z gilt.
Bemerkung 3.4. Es gibt einen Algorithmus, der fur zwei Terme und
S entscheidet, ob sie unifizierbar sind und gegebenenfalls einen allge-
meinsten Unifikator berechnet.

3. Logik
Pradikatenlogik
3. Logik
Allgemeinster Unifikator (2)
(c)
(c)
(b)
(d)

Regel

Gegeben seien zwei Terme und . Die Berechung

des allgemeinsten Unifikators geschieht wie folgt:
Q

Man startet mit als allgemeinsten Unifikator

und wendet sukzessive die folgenden Regeln an:
R1U{tQ
Ungeloste

(a) Sind und Konstanten, so sind sie unifizierbar

gdw. gleich ist.
P&uRUtAR1U{tQ

(b) Ist eine Variable und eine Konstante, so sind
und unifizierbar. Man erweitere hierzu um
R1PtAR1UtUKRTRUt7{tQU

Unifikationen

.
`
`

(c) Ist
eine Variable und ein Term der Form

, so sind sie unifizierbar gdw. nicht

P&R1FUA

Beispiel 3.17. Es seien PttO Variablensymbole.

in vorkommt. Man erweitere hierzu um .
Allgemeinster Unifikator (3)

(d) Sind und zusammengesetzte Terme, so sind

Sind die Terme KR1PtAR1UtU und RT(RFUstOt7QU unifizierbar?

sie unifizierbar gdw. ,

P&RR1UxUtOF`R1UA

und wenn jeweils und unifizier-

bar sind. Man erweitere um die Substitutionen,
P&RRQUUtOF`R1QUst!Q{

Pradikatenlogik
die sich aus der Unifikation der und ergeben.
145
3. Logik
Pradikatenlogik
Resolution in PL1
Bemerkung 3.5. Die Begriffe Klausel, Klauselform und Literal werden

in PL1 analog zur Aussagenlogik definiert.
Bemerkung 3.6. Wir dehnen die Unifikation auf atomare PL1-Formeln

aus.
Zwei atomare Formeln Rf`rtmvvmv*tAw U und RkSrt*vmvv*t'S'w U sind unifizierbar

gdw. und S fur
`t*v*v*vmt unifizierbar sind.

haben keine gemeinsamen Variablen.
und einen allgemeinsten
147
PL1-Klauseln.
, ein ne-
Pradikatenlogik
und


Die Klausel heit PL1-Resolvente von
Resolution in PL1 (2)

.

hat die folgende Form:

(b) Es gibt positive Literale

gdw. folgendes gilt:
Unifikator von

gatives Literal

und

3. Logik
(c)
(a)
3. Logik
Pradikatenlogik
Resolution in PL1 (3)
Beispiel 3.18. Darstellung der Resolution fur

PL1:
J lkl
N lkl J l "!#$&% l'(kl ! 'Kl %
)+* JL7N l L xl % L7N l' L
N l kl ! N l
3. Logik Logikprogrammierung
Logikprogrammierung
Das Idealbild der Logikprogrammierung:

Algorithmus = Logik + Kontrolle

Was? Wie?

reine Problemspezifikati- System
on
Aufgabe des Program-
mierers

Die vollstandige Trennung von Logik und Kontrolle ist in den heutigen
Sprachen zur Logikprogrammierung aus Effizienzgrunden
noch nicht
realisiert.

Hornklauseln
Fur
viele Anwendungen reichen drei Arten logischer Formeln aus:
(a) Formeln
798 der
8 Form ,.-0/ 121213/ ,$4 5 6 bzw. als Klausel
,.-:;1<1;12: ,$4=:>6@? , die Regeln darstellen.
7
(b) Ein Faktum wir durch eine einelementige Klausel ,A? ausgedruckt.

(c) Eine Anfrage der Form Folgt , - / 121;1B/ , 4 aus den Fakten
und
798 Regeln?8 wird als Klausel in negierter Form geschrieben:
,.-:;1<1;12: ,$4C? .

Definition 3.28. Eine Hornklausel ist eine Klausel mit hochstens ei-
nem positiven Literal.
D Eine Klausel der Form (a) heit Regel,
D eine Klausel der Form (b) heit Faktum und
D eine Klausel der Form (c) heit Zielklausel.

Prolog-Notation von Hornklauseln
In der Programmiersprache P ROLOG werden Hornklauseln wie folgt ge-

schrieben:
(a) Regeln in der Form: E F GIHKJKLHNMOL#PQPRPSLHSTUP
(b) Fakten in der Form: H.P
(c) Zielklauseln in der Form: FGSHKJKLHNMOLNPRPQPVLHSTUP
Das positive Literal einer Regel heit Kopf.
Definition 3.29. Ein logisches Programm ist eine endliche Menge von
Regeln und Fakten.
Prolog
Beispiel 3.19. Ein Logikprogramm zur Berechnung von Pfaden in ei-

nem Graphen:
WNXNYVZ[ \ ^L ]K_ F G0` Y bT adc [ \ eL ]f_gP
WNXNYVZ[ \ L h=_ F G0` Y bT adc [ \ eL ]f_iL WCX#YSZ$[ ]jLhd_gP
` Y b T adc [>Y ^L kK_gP

Y
` Tbadc >[ Y L lQ_gP
` Y Tbadc [ kmL Z _gP
` Y Tbadc [ liL Z _gP
Anfrage:
FG WNXNYVZ$[>Y L Z _

Auswertung von Logikprogrammen
D Fur
Logikprogramme wird eine spezielle und effizientere Form der
Resolution verwendet, die sogenannte SLD-Resolution (Linear Re-
solution with Selection Function for Definite Clauses).
D Hierzu wird jeweils das erste Literal der Zielklausel mit einem Regel-
kopf oder einem Faktum resolviert.
D Hieraus ergibt sich eine neue Zielklausel, fur

die das gleiche Prinzip
angewendet wird.
D Scheitert irgendwann die Resolvierung, findet ein Backtracking statt.
Beispiel 3.20.
: Pfad(a,d)
{X/a, Y/d} {X/a, Z/d}
: Kante(a,d) : Kante(a,Y), Pfad(Y,d)
{Y/b}
fail : Pfad(b,d)
{X/b, Y/d}
: Kante(b,d)
OK

Crashkurs Prolog
Beispiel 3.21. Gesucht sind alle dreistellgen Zahlen, die durch 5 und
6 teilbar sind und bei der Division durch 9 den Rest 3 liefern.
ndo XRX cVp [ h=_ F GrqsctqQkscVp [ hLdu^vOL<JfLM$L wLxyLzOL{OL |L}$L~Vs_P
cN2Kl2#aCch Y s [ h Y b_ F G ndo R X X cVp [ _iL n=o Q

X X cSp [ d n o Q
h _iL = X X cSp [ _iL
h Y s o JvQv t J v h L
v o h Y qs Z $ z L
v o h Y qs Z $ { L
w o h Y qs Z ~ P
Prolog-Grundlagen
D
Konstanten und Pradikate beginnen in Prolog mit einem Kleinbuch-
staben.
D Variablen beginnen mit einem Grobuchstaben.
D In Anfragen sind Variablen existenzquantifiziert.

G Y aCcSp [ \ LT o #Q_gP
bedeutet: Existiert ein X, so da X Vater von Nils ist?

D In Fakten sind Variablen allquantifiziert.

D Anfrage in Prolog bedeutet: Exsistiert eine Variablenbelegung, so
da ... gilt?
D
Bei der Losungssuche werden Variablenbelegungen generiert.
D Hierbei wird die Unifikation durchgefuhrt.

Fakt: Y d
a cVp ^[ W
c aCcSpL^T o bQ_P

Anfrage: G0 Y d
a cVp [\ L^T o bb_P
Unifikation: \ W c9aCcSp
Mit dieser Unifikation kann die Anfrage bewiesen werden.
D
Unifikationen werden ubernommen:
G Y d
a cVp [ \ LT o #Q_iL Y aCcSp [\ L Y pdQ_gP

Beispiel 3.22. Losung
des Farbeproblems aus Kapitel 2:
X#Y cVpVkRQT [ LL yLejL _ FG XNY Vp k=c [ _iL N
X Y pVk=c [ _L # X Y p9ksc [ =
_iL
X Y V
N [
p k=c _iL X N Y pVk=c
[ _L
SR L V Q yL V Q L VQ L
SR yL SR L
SR jL VQI L
SR P
X#Y p9ksc [ # p 9a_gP

X Y
# p9ksc [ ks Y (_P
X Y
# p9ksc [ cbk(_P
X Y
# p9ksc [ Vp Y T cC_P
X#Y cVp9kQRT [ L yLLyL _P

Anfrage: G

Arithmetik und Unifikation
D Der Operator = steht fur

die Unifikation. X = Y bedeutet: Konnen X
und Y unifiziert werden.
D Der Operator == steht fur
die Identitat.
D is/2 wertet einen arithmetischen Ausdruch aus und unifiziert das Er-
gebnis mit einer Variablen.
\ o rx
G JiP
\ z
\
G o rx JKL] o J xyL \ Q ]P
c#
Datentypen in Prolog
D Integer und Float ( -1, 1, -8.23)

D Zeichenketten >=cbRRrdSpN Z
D Atome: Bezeichner beginnend mit einem Kleinbuchstaben ( p#9aL Y p= ).
D Konstanten sind Zahlen, Zeichenketten oder Atome.
D Atomare Terme: Konstanten oder Variablen
D Terme: einfache Terme oder Strukturen ( V YSZ p Y a [ vOLv$LJKLJI_ )
D Listen: u"JKLM$L pNc Z L V YSZ p Y a [ vOLv$LJfLJI_

Listen in Prolog
Mit dem Relistoperator kann eine Liste aufgeteilt werden:

G u Y L kmLl u \+ ]NjP
\ Y
] ukmLl

G u Y L kmLliL Z L"cV u Y Lk \ j
P
\ uliL Z LcV
Es gibt eine Fulle

von vordefinierten Pradikaten fur
Listen, z.B. ap-
pend/3:
YtWQW c T Z [ u LyL_P
YtWQW c T Z [ u+ yLL u + =_ FG YWRW ctT Z$[ L yL _P
Steuerung der Abarbeitung
X#Y ` [ LH Y ` _ FG J o G JfL
XNY ` [ f J LH Y
` JS_L
H ` Y o Y
rH ì J P
X#Y ` [ vOL<JV_gP
Die Anfrage X#Y ` [ |L \ _ fuhrt

zu einem Fehler.
in einen unendlichen Rekursionszyklus, weil die erste Regel

Prolog lauft
immer wieder anwendbar ist.

Grund: unvollstandige Spezifikation
Abhilfe: Erweiterung der Regel: o Tbadc cVp [ i

_ L JfL J o PQPRP

Mit dem Cut wird Backtracking verhindert.
Sei eine Klausel der folgenden Struktur gegeben:

F GIKJKL#PQPRPVLVT.L 9L JKL#PQPRPVL q+P
Sind (JfLNPRPQPVLVT erfullt,

so werden alle eventuell noch anwendbaren
Regeln zum Beweis fur (JfLNPRPQPVLVT und abgeschnitten.
ndo R X X V
c p [ =
h _ F GrqsctqQkscVp [ h L u^vOL<JfLMOL wyLxLz$L{$L |yL}yL~=_P
n Y s [ h Y # _ F G =
n o Q
X X cSp [ d
h _iL n=o XQX cSp [ _iLh Y s o Jtv Ih P
`dc o Tsc W p o q n Y [ dh _ F G n Y s
[ _iLcNl2#aCcSp c o cVp [ Lhd_gP
c#l<badcVp c o R
cVp [ L h=_ F G K J L h$Lv o 0 hq Z P
W p o q n Y s [ =h _ T c W p o q n Y [ hd_LC9L X#Y o $P
F G0`dc o s
W p o q n Y s [
= h _ F Gh i J P
Prolog genutzt Negation as failure, d.h. eine negierte Anfrage ist wahr,
wenn sie nicht bewiesen werden kann.
not/1 liefert keine Variablenbelegung und entspricht somit nicht der lo-
gischen Negation.
Die Verwendung des Cut im letzten Beispiel entsprach genau der Ne-
gation in Prolog.
ndo R X X V
c p [ =
h _ F GrqsctqQkscVp [ h L u^vOL<JfLMOL wyLxLz$L{$L |yL}yL~=_P
n Y s [ h Y # _ F G =
n o Q
X X cSp [ d
h _iL n=o XQX cSp [ _iLh Y s o Jtv Ih P
`dc o Tsc W p o q n Y [ dh _ F G n Y s
[ _iLcNl2#aCcSp c o cVp [ Lhd_gP
c#l<badcVp c o R
cVp [ L h=_ F G K J L h$Lv o 0 hq Z P
W p o q n Y s [ h=_ F Gh JKL V `=c o T=c W p o q n Y [ hd_gP

Zusammenfassung des Kapitels
Ein logisches System besteht aus:
D Signatur
D Syntax aufbauend auf (Menge der Formeln), wodurch die Wissens-

reprasentationssprache festgelegt ist.
D -Interpretation, die fur

die Elemente aus eine Semantik festlegt.
D Erfullungsrelation
, die die Semantik von Formeln festlegt.
D Klauselform zur kanonischen Darstellung von Formeln
D Kalkul
zur Durchfuhrung

der maschinellen Inferenz (Vollstandigkeit,
Korrektheit)
D
Resolution als Inferenzverfahren in Aussagen- und Pradikatenlogik
D
Unifikation in der Pradikatenlogik
D
Logikprogramm: eingeschrankte
Pradikatenlogik und angepates
Resolutionsverfahren

4. Induktion von Regeln Lernen von Entscheidungsbaumen
4 Induktion von Regeln
D Gegeben sei eine Menge von Objekten, die durch Attribut/Wert-

Paare beschrieben sind.
D Jedes Objekt kann einer Klasse zugeordnet werden.
D Ein Entscheidungsbaum liefert eine Entscheidung fur

die Frage, wel-
cher Klasse ein betreffendes Objekt zuzuordnen ist.
Beispiel 4.1. Gegeben seien die Beschreibungen von Bankkunden.

Die Bankkunden konnen in die beiden Klassen kreditwurdig
und nicht
kreditwurdig
eingeteilt werden. Ein Entscheidungsbaum soll eine Ent-
scheidung liefern, ob ein Kunde kreditwurdig
ist oder nicht.
Entscheidungsbaum
Ein Entscheidungsbaum ist ein Baum mit den folgenden Eigenschaften:
D
Ein Blatt reprasentiert eine der Klassen.
D
Ein innerer Knoten reprasentiert ein Attribut.
D
Eine Kante reprasentiert einen Test auf dem Attribut des Vaterkno-
tens.
Geht man von nur zwei Klassen aus, reprasentiert

der Entschei-
dungsbaum eine boolsche Funktion.


Klassifikation mit Entscheidungsbaumen
Ein neues Objekt wird mit Hilfe eines Entscheidungsbaums klassifiziert,
D indem man ausgehend von der Wurzel jeweils die den Knoten zuge-
ordneten Attribute uberpr
uft
und
D so lange den Kanten folgt, die mit den Attributwerten des Objekts
markiert sind,
D bis man einen Blattknoten erreicht.
D Der dem Blattknoten zugeordnete Wert entspricht der Klasse, der
das Objekt zugeordnet wird.

Beispiel 4.2. Ein Entscheidungsbaum zur Risikoabschatzung fur
eine
KFZ-Versicherung:
Autotyp
= LKW <> LKW
Risikoklasse = niedrig Alter
> 60 <= 60
Risikoklasse = niedrig Risikoklasse = hoch


Entscheidungsbaume und Regeln
D
Entscheidungsbaume
reprasentieren Regeln in kompakter Form.
D Jeder Pfad von der Wurzel zu einem Blattknoten entspricht einer lo-
gischen Formel in der Form einer if-then-Regel.
Beispiel 4.3. Der Entscheidungsbaum aus Beispiel 4.2 entspricht den

folgenden Regeln:
if Autotyp LKW then Risikoklasse = niedrig,

if Autotyp LKW and Alter 60 then Risikoklasse = niedrig,
if Autotyp LKW and Alter 60 then Risikoklasse hoch.

Problem der Generierung von Entscheidungsbaumen
D Ziel ist es, aus einer Menge von Beispielen (der sogenannten Trai-
ningsmenge) einen Entscheidungsbaum zu generieren.
D Ein Beispiel der Trainingsmenge besteht aus einer Menge von
Attribut/Wert-Paaren zusammen mit der Klassifikation.
D Aus dieser Trainingsmenge ist ein Entscheidungsbaum aufzubauen,
der die Beispiele richtig klassifiziert.
D Fur
so einen generierten Entscheidungsbaum hofft man, da dieser
auch Beispiele, die nicht aus der Trainingsmenge stammen, mit ho-
her Wahrscheinlichkeit richtig klassifiziert.

Beispiel 4.4. Trainingsmenge fur

den Baum aus Beispiel 4.2:
ID Alter Autotyp Risikoklasse

1 23 Familie hoch
2 18 Sport hoch
3 43 Sport hoch
4 68 Familie niedrig
5 32 LKW niedrig
Naiver Ansatz der Generierung:
D Man entscheidet streng sequentiell anhand der Attribute.
D Jeder Baumebene ist ein Attribut zugeordnet.
D Der Baum wird dann konstruiert, in dem fur

jedes Beispiel ein Pfad
erzeugt wird. Tafel .
Keine sinnvolle Generalisierung auf andere Falle

Overfitting
Entscheidungsbaum mit vielen Knoten


Beispiel 4.5. Zwei Entscheidungsbaume fur
die Trainingsmenge aus
Beispiel 4.4:
Alter
Autotyp
< 30 > 60
= LKW <> LKW
>= 30 and <= 60
Risikoklasse = niedrig Alter Risikoklasse = hoch Risikoklasse = niedrig

Autotyp
> 60 <= 60 <> LKW = LKW
Risikoklasse = niedrig Risikoklasse = hoch

Risikoklasse = hoch Risikoklasse = niedrig
Ziel der Generierung ist es, einen Baum aufzubauen,
D der die Beispiele der gegebenen Trainingsmenge korrekt klassifiziert

und
D
der moglichst kompakt ist.
Bevorzuge die einfachste Hypothese, die konsistent mit allen Beob-

achtungen ist.
Occams Razor (William of Occam, 12851349):
One should not increase, beyond what is necessary, the number

of entities required to explain anything.

Prinzip der Generierung
D Man teste das wichtigste Attribut zuerst!
D
Die Wichtigkeit hangt von der Differenzierung der Beispielmenge ab.
D Die Beispielmenge wird gema der Attributwerte des ausgewahlten

Attributs auf die Sohne verteilt.
D Man setze dieses Prinzip in jedem Unterbaum fur

die diesem Unter-
baum zugeordnete Beispielmenge fort.
Trainingsmenge zum Thema Kinobesuch:

Nr. Attr. Preis Loge Wetter Warten Bes. Kat. Land Res. Gr. Kino?
1 + $$ ja - ja + AC int ja F ja
2 o $ ja o nein o KO int nein P ja
3 o $ nein o ja o DR int nein F nein
4 - $ ja o ja o SF int nein a nein
5 o $ ja o nein o DR int nein P ja
6 + $$ ja + nein + SF int ja F ja
7 o $ ja - nein o KO nat nein F ja
8 o $ nein - ja o AC int nein F ja
9 - $ ja + nein o KO nat nein F nein
10 o $ ja + nein o KO int nein P nein
11 + $ ja o ja + DR int nein P ja
12 o $ nein - ja o AC nat nein a nein
13 + $$ ja o ja o SF int nein a nein
14 o $ ja + ja + DR int ja F nein
15 o $ ja - nein o AC int nein P ja

Attributauswahl fur
das Kinoproblem:
ja: 1, 2, 5, 6, 7, 8, 11, 15
nein: 3, 4, 9, 10, 12, 13, 14
Gruppe
P
F a
ja: 1, 6, 7, 8 ja: ja: 2, 5, 11, 15

nein: 3, 9, 14 nein: 4, 12, 13 nein: 10
ja: 1, 2, 5, 6, 7, 8, 11, 15
nein: 3, 4, 9, 10, 12, 13, 14
Kategorie
DR SF
AC KO
ja: 5, 11 ja: 1, 8, 15 ja: 2, 7 ja: 6

nein: 3, 14 nein: 12 nein: 9, 10 nein: 4, 13

Bei der rekursiven Konstruktion konnen die folgenden Situationen auf-
treten:
1. Alle Beispiele zu einem Knoten haben die gleiche Klassifikation.

Dann wird der Knoten mit der entsprechenden Klasse markiert und
die Rekursion beendet.
2. Die Menge der Beispiele zu einem Knoten ist leer. In diesem Fall
kann man eine Default-Klassifikation angeben. Man wahlt zum Bei-

spiel die Klasse, die unter den Beispielen des Vaters am haufigsten
vorkommt.
3. Falls Beispiele mit unterschiedlicher Klassifikation existieren und es

Attribute gibt, die noch nicht in den Vorgangerknoten verwendet wur-
den, dann wahle aus diesen Attributen ein Attribut gema seiner
Wichtigkeit aus.

Generiere fur
jeden moglichen Attributwert einen Nachfolgerknoten
und verteile die Beispiele auf die Nachfolger gema ihres Attribut-
werts.
Setze das Verfahren fur
jeden Nachfolger fort.
4. Falls Beispiele mit unterschiedlicher Klassifikation existieren, es aber

kein noch nicht verwendetes Attribut gibt, dann ist die Trainingsmen-
ge inkonsistent.

Inkonsistent bedeutet hier, da keine funktionale Abhangigkeit der
Klassifikation von den Attributen existiert.
Beispiel 4.6. Kinoproblem: Als Grad fur

die Wichtigkeit eines Attributs
nehme man die Anzahl der Beispiele, die damit endgultig
klassifiziert
werden. Tafel .
Algorithmus zur Konstruktion
Algorithmus 4.1. [Entscheidungsbaum-Konstruktion]
W N p #lSc Z N pNc Entscheidungsbaum( :: )

o X aSsctT
markiere mit einer Default-Klasse;
p#c9aSCp9T
cQ#Vc o XU NttQ a=cT
markiere mit ;
p#c9aSCp9T
cQ#Vc o X aSsctT
cVpQp#Sp
cQ#Vc

X Sp c Y 2l A Z
X Sp c Y l2 mogliche Partition von Z
o X : besser als aSsctT
:"
ctT Z
ctT Z
ctT Z
Sei t : ;
Seien .-:;1<1;12:$4 die Teilmengen von ;
X Spm aC Z
erzeuge 7 Knoten als Sohn von ;
in ?
A fallt 7
Entscheidungsbaum( (: s?:" )
ctT Z
ctT Z
Partitionen fur
Attribute
Typen von Partitionen fuer nominale Attribute
Attribut Attribut
=a1 =a3 in A1 in A2
=a2
Attribut Attribut
<a1 <=a3 <a >= a

<=a2
Typen von Partitiionen fuer numerische Attribute

Attributauswahl
D Die auf Algorithmus 4.1 basierenden Verfahren heien Top-Down In-

duction of Decision Trees (TDIDT). Durch den schrittweisen Aufbau

des Entscheidungsbaums wird die dadurch reprasentierte Hypothe-
se schrittweise spezialisiert.
D Der Kern eines TDIDT-Verfahrens ist die Attributauswahl.
D
Das Ziel bei der Attributauswahl ist es, den Baum moglichst klein
zu halten. Ein ideales Attribut wurde
die verbleibende Beispielmenge
exakt auf verschiedene Klassen aufteilen.
D Der ID3-Algorithmus formalisiert diese Idee durch die Berucksichti-

gung des Informationsgehaltes der Attribute.
Informationsgehalt und Informationsgewinn
Die mit einem Ereignis verbundene Information wird logarithmisch aus

dessen Wahrscheinlichkeit berechnet.
Den mittleren Informationsgehalt r einer Wahrscheinlichkeitsvertei-

lung uber
einer endlichen Menge bezeichnet man als die Entropie
von :
S #Sb
Wir stellen uns vor, da in einer beliebigen Trainigsmenge jedes Bei-

spiel die gleiche Wahrscheinlichkeit hat.

Demnach ist der Informationsgehalt K einer Beispielmenge mit

positiven und negativen Beispielen (genau zwei Klassen)

( S S bit
A+ Ay @r Ar A A
Bei der Attributauswahl soll nun berucksichtigt

werden, welchen Infor-
wenn man den Wert eines Attributs kennt.
mationsgewinn man erhalt,
Dazu stellen wir fest, wieviel Information wir nach dem Test eines Attri-
buts noch benotigen.

Jedes Attribut teilt die Trainingsmenge in disjunkte Teilmen-

ge
22 22 auf, wobei die Anzahl der verschiedenen Werte
;<22 t ist, die annehmen kann.
negative Beispiele.
Teilmenge habe positive und
Der mittlere Informationsgehalt von ist also

bit
C
> C
Der mittlere Informationsgehalt der Antowrt, nachdem wir Attribut ge-

testet haben ist:

Ci s i
bekannt B bit

A C
i> C

Um den Informationsgewinn N N von Attribut zu quantifizieren, bil-
den wir die Differenz der ursprunglichen
Information (vor dem Test von
) und der Restinformation (nach dem Test von ):

N N @ bekannt

Der ID3-Algorithmus
Algorithmus 4.2. [ID3] Der ID3-Algorithmus ist eine Spezialisierung

von Algorithmus 4.1, bei der die Relation
besser fur
die Attributaus-
wahl auf dem Informationsgewinn # N basiert.

als nachstes
ID3 wahlt N maxi-
Attribut dasjenige aus, bei dem N
mal ist.
Beispiel 4.7. Fur

die Wurzel des Kinoproblems haben wir

# Gruppe @
Gruppe bekannt
"$# & %
! %'& )(#+*-,# /. %'& 0(& * & 1. %', & % * )2
4 35 (

N Kategorie @ Kategorie bekannt
" % % % % % % 3
46 (
, * /. '% ( &

* / . %'( &
* / . %', &
* 2
'% & ( ( 3 3 3 3 , ,
(
,

Beispiel 4.8. Man berechne N N fur
alle Attribute und zeige damit,
da das Attribut Gruppe bei Anwendung von ID3 auf das Kinoproblem
als Attribut fur
den Wurzelknoten selektiert wurde.
Tafel .
ID3 fur
Man berechne den Entscheidungsbaum gema das Kinopro-
blem. Tafel .

Bemerkung 4.1.
7 In der vorangegangenen Darstellung gingen wir stets von einer Bei-

spielmenge mit zwei Klassen aus. Dies entspricht einer Bernoulli-
Verteilung.
7 Dies Konzept wird mit Hilfe der Entropie auf Klassen verallgemei-
nert.
7 8 und
Der Informationsgehalt einer Beispielmenge mit Klassen

Beispielen in Klasse 8 (9: ;
) ist dann:

@<:= ;<;2>K? A@CBDEs

Beispiel 4.9. Gegeben sei die folgende Beispielmenge zur Klassifika-

tion von Tieren:
ID 1 2 3 4 5 6 7 8

Groe 0.1 0.2 1.8 0.2 2.1 1.7 0.1 1.6
Beine 0 2 2 4 4 2 4 2
Tier F V M K P M K M

% @CBDE %

Beine bit
4 % %
Beine F @CBDGE F IFH C@ BDJEFH
3 , bit
4 %
Beine ( @CBDGE E @CBDJE E
, bit
H H H H
% (
N Beine ? @ 4 %% , , % % K 3 % %

4 bit
,
Der C4.5-Algorithmus
7
Der (absolute) Informationsgewinn # N hat den Nachteil, da die-
ser Attribute mit zahlreichen Werten bevorzugt.
7 Dies kann im Extremfall zu unsinnigen Ergebnissen fuhren.

Beispiel 4.10.
7 Bei einer medizinischen Diagnose werde als eines der Attribute die
PIN eines Patienten benutzt.
7 Dieses Attribut habe soviele Werte, wie es Patienten in der Datei gibt.

7 Das Attribut partitioniert die Beispielmenge daher in Teilmengen, die
aus genau einem Patienten bestehen.
7 Die bedingte mittlere Information ist also

*%?

PIN bekannt ?

und damit ist der Informationsgewinn maximal.
7 Fur
die Diagnose ist die PIN dagegen nutzlos.

Algorithmus 4.3. Der C4.5-Algorithmus ist eine Spezialisierung von

Algorithmus 4.1, bei der die Relation besser fur
die Attributauswahl
auf
dem sogenannten normierten Informationsgewinn #ML9ON)QP N basiert.

N
N
N+LVONRQP N? S
UTV>N)1WXP N
Hierbei ist S YTV>N)1WYP N die Entropie des Attributs . Es sei

es gebe L verschiedene Werte fur

die Kardinalitat
Beispielmenge,
der
Attribut und Z sei die relative Haufigkeit
von Attributwert .
S YTV>NRWYP
N[ N \ J@CBD E
$

als nachstes
C4.5 wahlt +L9ON)QP N
Attribut dasjenige aus, bei dem #
maximal ist.
4. Induktion von Regeln Generieren von Assoziationsregeln
Assoziationsregeln
7
Assoziationsregeln beschreiben gewisse Zusammenhange und Re-

gelmaigkeiten zwischen verschiedenen Dingen, z.B. den Artikeln
eines Warenhauses.
7
Die Zusammenhange sind allgemeiner Art und nicht notwendiger-
weise kausal bedingt.
7
Man unterstellt aber, da implizite strukturelle Abhangigkeiten vorlie-

gen. Diese mochte man erkennen.
7 Typischer Anwendungsbereich: Verkaufsdatenanalyse

Itemmenge, Transaktion und Datenbasis
Definition 4.1. Die Dinge, deren Beziehungen zueinander analysiert

werden sollen, werden als Items bezeichnet. Es sei ] ^';<;2_Q`ba
eine endliche Menge von Items.
Eine Teilmenge c d ] heit Itemmenge. Eine -Itemmenge ist eine

Itemmenge mit Elementen.
Eine Transaktion Nedf] ist eine Itemmenge.
Die Datenbasis g Âh=;<;2ihj!a ist eine Menge von Transaktionen.
Support
Definition 4.2. Es sei c dk] eine Itemmenge. Der Support von c ist
der Anteil aller Transaktionen aus g , die c enthalten:
S-l YPmLAN KôN<p$g q c dkNraG

c n:
sgt
Beispiel 4.11. Bei der Verkaufsdatenanalyse eines Supermarktes
sind Items die Artikel aus dem Sortiment.
Die Transaktionen entsprechen den Einkaufen von Kunden.

Die Datenbasis besteht aus den Einkaufen der Kunden eines bestimm-
ten Zeitraums.
Der Support der Itemmenge Âu QTwvyx+a ist dann der Anteil der Einkaufe,

bei denen u.a. Milch gekauft wurde.

Assoziationsregel
c _z , also
Definition 4.3. Gegeben seien zwei disjunkte Itemmengen
c_z df] und c {z | .
Eine Assoziationsregel hat die Form c } z .
die Regel c }
Eine Transaktion erfullt z gdw. c ~z d N gilt, d.h. N
alle Items der Assoziationsregel.
enthalt
Der Support von c } z ist der Support der Itemmenge c ~z

S-l YPLN c } z <
oS l OYPLN c ~zA

Konfidenz
Definition 4.4. Gegeben sei die Assoziationsregel c } z . Die Konfi-

denz von c } z vP1WYQh-Mvy c } zA ist definiert durch
KôN<p$gtc ~z dNraG
vP1WYQh-Mvy c } zA
KôN<p$gtc dkNa
S-l OUPmLAN c } A z
S-l OUPmLAN c

Bemerkung 4.2. Die Konfidenz ist eine bedingte Haufigkeit bzw. be-
dingte Wahrscheinlichkeit.

Beispiel 4.12.
Transaktion Items
1 Brot, Kaffee, Milch, Kuchen
2 Kaffee, Milch, Kuchen
3 Brot, Butter, Kaffee, Milch
4 Milch, Kuchen
5 Brot, Kuchen
6 Brot
S-l YPmLAN ^ Kaffee, Milch a & &

S-l OYPLAN ^ Kaffee, Kuchen, Milch a
S-l OUPmLAN ^ Milch, Kaffee a6} ^ Kuchen a ,, ,,

vPm1WUQhJov ^ Milch, Kaffee a6} ^ Kuchen a 4,,# , ,#
Suche nach Assoziationsregeln
7 Support und Konfidenz sind Parameter mit denen die Relevanz einer
Regel beurteilt wird.
7
Beide Mazahlen sollten moglichst gro sein.
7 Finde alle Assoziationsregeln, die in der betrachteten Datenbasis

einen Support I S-l O und
eine Konfidenz IMvPW haben.
Die Werte $ S-l und MvPm1W sind dabei benutzerdefiniert.

Das Problem wird in zwei Teilprobleme zerlegt:
7 Finde alle Itemmengen, deren Support S-l ist. Diese Item-

mengen heien haufige Itemmengen (frequent itemsets).
7

Finde in jeder haufigen Itemmenge alle Assoziationsregeln
J eJ
}
U
mit und mit Konfidenz MvPW .

Die wesentliche Schwierigkeit besteht in der Losung des ersten Teilpro-
blems.
die Menge ] insgesamt Items, so sind prinzipiell
Enthalt 3` Itemmen-
gen auf ihren Support hin zu untersuchen.
Apriori-Algorithmus
Der sogenannte Apriori-Algorithmus nutzt folgendes bei der Suche nach

haufigen Itemmengen aus:
E
zwei Itemmengen
Fur mit d E gilt
S-l OUPmLAN E < S-l YPmLAN
Somit folgt:
7
Alle Teilmengen einer haufigen
Itemmenge sind ebenfalls haufige
Itemmengen.
7
Alle Obermengen einer nicht haufigen Itemmenge sind ebenfalls

nicht haufig.

Grober Ablauf des Apriori-Algorithmus:

7
Der Apriori-Algorithmus bestimmt zunachst
die einelementigen haufi-
gen Itemmengen.
7 In jedem weiteren Durchlauf werden die Obermengen mit . Ele-
%

menten von haufigen -Itemmengen darauf untersucht, ob sie eben-

falls haufig sind.
7 Die Obermengen der haufigen -Itemmengen werden mit dem Algo-
rithmus G5bGA ermittelt.
7 .
%
Werden keine haufigen -Itemmengen mehr gefunden, bricht der
Algorithmus ab.
Voraussetzung: Itemmengen sind lexikographisch geordnet.
Algorithmus 4.4. [Apriori-Algorithmus]

%
: ^
haufige -Itemmengen a
: 3

O Ag |6G

:=5b5GA
Transaktionen N<pg J
<
: ÂvKandidaten
p vdNa e
vp % J
v vP l N[ v vP l N.

A
A
Âvp v4vP l XNe gto oS l Oa
: .
%
A
JZ~

Algorithmus 4.5. [AprioriGen]
: | np mit !J
{

3A[ ^S2222 E i a6AG ^S;<;<A E '-a A
~^ 2222 E i i a
A !vp J
% -Teilmengen S von vJ

S p Ag
ÂvAa
A
A
J
Beispiel 4.13. oS l O (

Transaktion Items Itemm. Support
Itemm. Support
1 ACD ^ Aa 50%
^ Aa 50%
2 BCE } ^ Ba 75%
^ Ba 75%
3 ABCE ^ Ca 75%
^ Ca 75%
4 BE ^ Da 25%
^ Ea 75%
^ Ea 75%

E E
E
Itemm. Support Itemm. Support
^ A,B a ^ A,B a 25% Itemm. Support
^ A,C a } ^ A,C a 50% ^ A,C a 50%
^ A,E a ^ A,E a 25% ^ B,C a 50%
^ B,C a ^ B,C a 50% ^ B,E a 75%
^ B,E a ^ B,E a 75% ^ C,E a 50%
^ C,E a ^ C,E a 50%

H H H
Itemm. Support } Itemm. Support Itemm. Support
^ B,C,E a ^ B,C,E a 50% ^ B,C,E a 50%
Unterstutzung
der Teilmengenoperation
7
Im Apriori- und im AprioriGen-Algorithmus werden sehr haufig Teil-
mengen uberpr
uft.

7 Um diese Tests effizient durchfuhren

zu konnen, werden die Kandi-
datenmengen in einem Hash-Baum verwaltet.
7 Struktur eines Hash-Baums:

Innerer Knoten: Hashtabelle bezuglich
Hashfunktion x ; Buckets
der Hashtabelle verweisen auf die Sohnknoten.
Liste von Itemmengen
Blattknoten: enthalt

7 Suchen einer Itemmenge c '^ ;<2;ea :
Innerer Knoten auf Ebene h : Anwendung der Hashfunktion x auf
Q
Das Ergebnis von x legt den Zweig fest, der weiter verfolgt wird.
Blatt: Suche in der Liste der Itemmengen
7 Einfugen
einer Itemmenge c ^'22220e5a :

Zunachst c bis zu einem Blatt, in das die
erfolgt eine Suche fur
Itemmenge eingefugt werden soll.
Ist in dem Blatt Platz fur
eine weitere Itemmenge vorhanden, dann
wird c dort eingefugt.

Kann das Blatt keine Itemmenge mehr aufnehmen, dann wird es
zu einem inneren Knoten und die Eintrage x auf
werden gema

neue Blatter verteilt.
Kapazitt der Bltter = 3 h(K) = K mod 3

0 1 2
0 1 2 0 1 2 0 1 2
{3,6,7} 0 1 2 {3,5,7} {7,9,12} {1,4,11} {7,8,9} 0 1 2 {2,5,6}

{2,3,8}
{3,5,11} {1,6,11} {1,7,9} {1,8,11} {5,6,7} {2,5,7}
{5,8,11}
{3,4,15} {3,7,11} {2,4,6} {2,4,7}

{3,4,11}
{2,7,9} {5,7,10}
{3,4,8}

Suchen aller Itemmengen c , die von einer Transaktion Nn ^yN;<;20N)j6a

erfullt
werden:
7
jedes NpN wird x N bestimmt und in den resultieren-
Wurzel: Fur

den Sohnen wird weitergesucht.
7 Innerer Knoten: Hat man den Knoten durch x

N erreicht, dann wird

x NQ; fur
jedes NQ mit I bestimmt.

Auf die so resultierenden Sohne wird das Verfahren in gleicher Weise
fortgesetzt, bis ein Blatt erreicht wird.
7 Blatt: Prufung,
welche der in dem Blatt enthaltenen Itemmengen die
Transaktion N erfullen.

t = {1, 3, 7, 9, 12} h(K) = K mod 3

0 1 2
0 1 2 0 1 2 0 1 2
{3,6,7} 0 1 2 {3,5,7} {7,9,12} {1,4,11} {7,8,9} 0 1 2 {2,5,6}

{2,3,8}
{3,5,11} {1,6,11} {1,7,9} {1,8,11} {5,6,7} {2,5,7}
{5,8,11}
{3,4,15} {3,7,11} {2,4,6} {2,4,7}

{3,4,11}
{2,7,9} {5,7,10}
{3,4,8}

Bestimmung der Assoziationsregeln

Nach der Bestimmung der haufigen Itemmengen mussen noch die As-
soziationsregeln mit einer Konfidenz IMvPW bestimmt werden. Die-

se werden aus den haufigen Itemmengen generiert.
c _z
Gegeben seien Itemmengen mit z c . Dann gilt:

vPWUQh-v c z } z n MvP W
vPWUQh-v c z ?} z nMvPW fur
alle z dz
Bei der Regelgenerierung nutzt man wiederum die Umkehrung aus.

Man beginnt mit einer moglichst

kleinen Menge z und schliet alle

Obermengen von z aus, falls gilt:

vP1WYQh-Mvy c z ?} z < vPm1W

7
Man erzeugt aus einer haufigen Itemmenge c zunachst
alle Asso-
ziationsregeln mit einelementiger Konklusion (rechter Seite).
7 Alle Regeln mit Konfidenz MvPW werden ausgegeben.
7 Sei Zj die Menge der Konklusionen haufiger Itemmengen mit

Elementen. Wir setzen je ?ULmQPmLmq- j .
7 Fur
alle Konklusionen xj<pZj[$ uberpr
uft
man nun, ob

vPWUQh-Mvy c xj ?} x j[n$MvP1W
gilt. Falls ja, dann wird die Regel ausgegeben, ansonsten wird xj
aus j[ entfernt.

Warenkorbanalyse
Beispiel 4.14. [Warenkorbanalyse]

ID Artikel N NE NH NF N_ N0 N_ N) N) N support
A Seife x x x x 0.4
B Shampoo x x x x x x x x 0.8
C Haarspulung x x x x x x 0.6
D Duschgel x x x x x x 0.6
E Zahnpasta x x x x 0.4
F Zahnburste
x x 0.2
G
Haarfarbung x x x 0.3
H Haargel x 0.1
J Deodorant x x x x x x 0.6
K Parfum
x x 0.2
L Kosmetikartikel x x x x x 0.5
4. Induktion von Regeln

# Generieren von Assoziationsregeln
Wir setzen: oS l O ( _MvPW

^Â a yÂRa ^ Ra ÂtRa t^ ZRa ^Ra y^ aa
E
Tafel .
E
^Â Ra Â _tRa Â rRa Â a ^ aR^ aa

vor Teilmengencheck:
H
^Â _tRa Â a yÂ Ra y^'
aRÂ _ aRÂd aR^ d aa

nach Teilmengencheck: ^Â rR a Â aa
H

H
^ A
^ R a Â aa
F F
|

E
Fur der Assoziationsregeln

die Generierung

beginnen wir mit . Wir
erhalten: } } 0 } } }

Â
Aus

r#Aa aus
H % sich die Regeln
ergeben
%
(Konfidenz in Klammern):

} < 4 i} } und ^ÂaR^ aa
#'
E LQPLq- n ^Â aa , aber 9} 4 erfullt

nicht das
Konfidenzkriterium.

Â
Aus
#Aa ergeben
sich
die
Regeln:%
} 4 } 4 }

Mit E ^Â aa ergibt sich } 4
Regel Support Konfidenz

Shampoo } Haarspulung
0.6 0.75
Haarspulung
} Shampoo 0.6 1.00
Duschgel } Shampoo 0.5 0.83
Kosmetik } Shampoo 0.5 1.00
Kosmetik } Haarspulung
0.4 0.80
Shampoo, Deodorant } Haarspulung
0.4 1.00
Haarspulung,
Deodorant } Shampoo 0.4 1.00
Shampoo, Kosmetik } Haarspulung
0.4 0.80
Haarspulung,
Kosmetik } Shampoo 0.4 1.00
Kosmetik } Shampoo, Haarspulung
0.4 0.80

Zusammenfassung
7
Entscheidungsbaume
Aufbau einer Klassifikationshierarchie fur
eine Trainingsmenge
top-down, rekursives Verfahren
Wesentlich ist die Attributauswahl
ID3-Algorithmus: Attributauswahl auf Basis der Entropie
7 Assoziationsregeln

Wesentlich: Berechnung haufiger Itemmengen

Apriori-Algorithmus zur Berechnung haufiger Itemmengen
Unterstutzung
des Apriori-Algorithmus durch Hash-Trees

Aus den haufigen Itemmengen werden unter Einsatz von Apriori-
Gen die Assoziationsregeln generiert.
5. Clusteranalyse Vorbemerkungen
5 Clusteranalyse
7
Bei der Generierung von Entscheidungsbaumen im vorigen Kapitel

wurde von Datensatzen ausgegangen, die als einen Attributwert eine

Klassenzugehorigkeit enthalten.
7
In vielen Anwendungen ist solch eine Klassenzugehorigkeit nicht
verfugbar
oder zu aufwendig zu bestimmen.
7
Unter Umstanden ist noch nicht einmal bekannt, welche Klassen es

gibt und wie sie charakterisiert werden konnten.
7
Mit Verfahren der Clusteranalyse lassen sich Klassenzugehorigkei-

ten aus den gegebenen Daten schatzen.

Eine Zerlegung einer Datenmenge g ^' <;22_Y`ba in seine

Clusterstruktur ist definiert als eine Zerlegung von g in disjunkte Teil-
mengen <;22 mit
g ~ ;2~

3 | % 2222>
fur

3b{ | fur
Q
% <;22>K0

Die Cluster sind genau dann eine gute Reprasentation

der Cluster-
struktur von g , falls
7
alle Datensatze innerhalb der Cluster einen geringen Abstand und
7
alle Datensatze in verschiedenen Clustern einen groen Abstand
voneinander haben.

Der Abstand soll dabei die Ahnlichkeit zwischen Objekten zum Aus-
druck bringen, d.h.
7
kleiner Abstand bedeutet ahnliche Objekte und
7
groer Abstand bedeutet unahnliche Objekte.

Abstand bzw. Ahnlichkeit wird durch den Begriff der Metrik formalisiert.

Metrik
Definition 5.1. Es sei u eine Menge. Eine Funktion h u +}

heit Metrik gdw. die folgenden Bedingungen erfullt
sind:
h 0N<

1. fur _pu
alle .
h 0N?

2. genau dann, wenn .

3. h 0N? h f_K fur _pu
alle .

4. h _bnIh _C/.h fb fur _Zpu
alle g .

Das Tupel u h# heit metrischer Raum.
Beispiel 5.1. Beispiele fur

Metriken (Distanzfunktionen):
7 h 0C? ;
E

euklidische Norm:
7 h N ; J ^_V

Anzahl verschiedener Attributwerte: mit
falls M=V
_V? % sonst
7 Fur
Mengen c und z :
c ~zA c {z
h czA
c ~z

5. Clusteranalyse SAHN-Clustering
Hierarchische agglomerative Verfahren
7 Hierarchische Clusteranalyseverfahren liefern einen Hierarchie von

Clustern.
7 Je nach maximal erlaubtem Abstand ergeben sich dann unterschied-

lich viele Cluster.
7 Agglomerative Verfahren bauen dabei die Clusterstruktur bottom-up

auf, d.h. zunachst betrachtet man die Datenmenge g als Cluster.
7
Durch das Zusammenlegen von ahnlichen Clustern entsteht bottom-
up die Hierarchie.
Algorithmus 5.1. Sequentielle agglomerative hierarchische nichtuber-

lappende Clusteranalyse (SAHN)
1. Setze 9: ^^' aR;<;2^'Y`baa und := .

2. Bestimme und mit h 2? i h

_\ \ \
Falls h ^ 2 <Ih gehe zu 4.

3. 9: ^ ^ Aa /~ ~ 2 und %

%
Falls gehe zu 4. Sonst weiter mit 2.
4. Ausgabe von und .

7 In dem Algorithmus wird ein Abstandsma h ; fur
Cluster

verwendet. Dieses Abstandsma wird auf Basis einer Metrik defi-

niert.Typischerweise benutzt man:
Minimalabstand (Single Linkage):

h ^ 2 5O OJ h N

Maximalabstand (Complete Linkage):

h ^ 2 5O O h N

mittlerer Abstand (Average Linkage):
%
h ^ 2 h _N
0 O O J

7 Der Parameter h legt fest, bis zu welchem Abstand Cluster ver-
schmolzen werden.
7
Schritt 3 bedeutet: Die einzelnen Cluster ^ werden aus der Clu-

sterstruktur mit den Datensatzen
entfernt und ein neues Cluster aus
vereinigt mit den Datensatzen
aus wird in die Clusterstruktur
eingefugt.

7 Bei Benutzung des Minimalabstabstandes fur die Distanz zwischen

Clustern ist der SAHN-Algorithmus identisch mit dem Algorithmus
von Kruskal zur Berechnung von Minimalgerusten.


Dendogramm
7 Der Verlauf der Cluster-Verschmelzung kann mit einem sogenannten

Dendogramm visualisiert werden.
7
Die Hohe von Verbidungslinien entspricht dem Abstand zwischen
Clustern. So ist direkt erkennbar, wieviele Cluster entstehen, wenn
man h variiert.
b
a
g
f
e f g a b c d
d
5. Clusteranalyse c-Means
c-Means Verfahren
7
Cluster konnen auch durch ihre Zentren 9 charakterisiert werden.
7
Die Zuordnung der einzelnen Datensatze zu den Clustern kann
dann mit der Nachste-Nachbar-Regel
erfolgen, d.h. K gehort
zu Clu-
ster genau dann, wenn gilt:

h _ ? Z h 0

7 Als Clusterzentren nimmt man ublicherweise
den Schwerpunkt der

Datensatze des Clusters:
%
9 K
O


5. Clusteranalyse c-Means
Algorithmus 5.2. Gegeben Datenmenge g , eine gewunschte Clu-

steranzahl , eine maximale Anzahl von Iterationen N) .
222;S .
1. Initialisiere Prototypen b

2. Ordne die Datensatze gema
der Nachste-Nachbar-Regel
den
Zentren zu. So entstehen neue Cluster ;<;2 .
3. NIN1. % . Falls N?IN) gehe zu 4.

Berechne die Zentren V von neu.
22220 .
4. Ausgabe der Clusterstruktur und der Zentren #

Script

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Script

Uploaded by

Copyright:

Available Formats

Einfuhrung

in die Wissensverarbeitung und

Vorlesung Wintersemester 2001/02

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 1

Allgemeines zur Vorlesung

% Die Vorlesung wird folienbasiert gehalten.

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 2

% In die Vorlesung integriert

% Das erste Ubungsblatt

% Theorie- und Programmieraufgaben

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 3

TB, LN, Prufung

% TB: Anwesenheit, ein paar Ubungsaufgaben

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 4

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 5

4. Regelsysteme und Regelinterpreter

5. Induktion von Regeln

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 6

Daten, Information, Wissen

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 7

Wissen: Versuche einer Definition

% Knowledge is organized information applicable to problem solving.

% Knowledge is information that has been organized and analyzed to

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 8

Umgangssprachlich bezeichnet man das Ergebnis eines Lernvorgangs

% wissen, wenn es sich um sprachlich-begriffliche Fahigkeiten

% kennen, wenn es sich um sinnliche Wahrnehmung handelt,

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 9

Arten von Wissen

Kontollstrategie Regeln Fakten

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 10

% kognitive Ebene (z.B. Erfahrung von Experten, Arbeitsanweisungen)

Bei der Wissensverarbeitung und der Kunstlichen

Beim Wissensmanagement stehen die kognitive Ebene und die Re-

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 11

Daten- vs. Wissensverarbeitung

Algorithmische Problembeschreibung Anwendungsspezifisches Wissen

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 12

Versuch von Definitionen:

% Wissensmanagement ist ein ganzheitliches, integratives Konzept,

% Sammlung von Techniken, um Wissen in einem Unternehmen effizi-

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 13

Aufgaben des Wissensmanagements

Knowledge Capture Knowledge Dissemination

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 14

Data Warehouse, Online Analytical Processing und

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 15

Knowledge Discovery in Databases

Wissensentdeckung in Datenbanken ist

% um Beziehungsmuster in den Daten zu entdecken,

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 16

Proze des Knowledge Discovery in Databases

Vorverar Transfor Data Interpre

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 17

Cluster-Analyse: Technik des Data Mining

Berechnung eines minimal spannenden Baums und

Elimination zu langer Kanten

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 18

% Sehr viele Probleme der Wissensverarbeitung lassen sich auf ein

% Die Eigenschaften und Losungsverfahren

% Suchverfahren sind ein klassisches Kapitel innerhalb der Wissens-

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 19

Wissensverarbeitung und Data Mining FH Bonn-Rhein-Sieg, WS 01/02 20

% Ein naives generate-and-test Verfahren wurde

g hjkmlnpoDq rtsvuwnx6uzy km{u*jk}|f~

g hjkmlnpoDq rtsvuwnx6uzy km{u*jk}|f~