WikiWord-1

Universität LeipzigFakultät für Mathematik und InformatikInstitut für Informatik

Automatischer Aufbaueines multilingualen Thesaurusdurch Extraktion semantischerund lexikalischer Relationenaus der Wikipedia

Diplomarbeit

Leipzig, Mai 2008 Vorgelegt von:

Daniel Kinzler

Studiengang Informatik

Kurzreferat

Die vorliegende Diplomarbeit beschreibt und analysiert Methoden, um aus den Datenbeständen derWikipedia in verschiedenen Sprachen einen multilingualen Thesaurus zu erstellen. Dabei sollen ins-besondere die Beziehungen zwischen Termen (Wörtern, Wortformen, Phrasen) zu sprachunabhängigenKonzepten extrahiert werden sowie die Beziehungen zwischen solchen Konzepten, speziell Beziehungender Über- bzw. Unterordnung (Subsumtion) sowie der semantischen Verwandtheit und Ähnlichkeit. Zudiesem Zweck werden die Anforderungen sowie die verfügbaren Rohdaten analysiert, ein Prototyp zurExtraktion der gewünschten Daten entwickelt und die mit dem Prototyp gewonnenen Daten in Bezug auf die zuvor formulierten Anforderungen evaluiert.

Schlagwörter

Wikipedia; Thesaurus; Sprachverarbeitung; Information Retrieval; Übersetzung

CR-Klassiﬁkation

H.3.1 Content Analysis and IndexingH.3.3 Information Search and RetrievalI.2.7 Natural Language Processing

Diese Diplomarbeit steht unter der GNU-Lizenz für freie Dokumentation 1.2 (GFDL).Sie wurde am 28. Mai 2008 mit L

A

TEX gesetzt, Urheber ist Daniel Kinzler.Detaillierte Angaben zur Lizenz ﬁnden sich im KapitelLizenzab Seite207.

Zitation:

Daniel Kinzler,

Automatischer Aufbau eines multilingualen Thesaurus durch Extraktion semantischer und lexikalischer Relationen aus der Wikipedia

, Diplomarbeit an der Abteilung für Automatische Sprachverarbeitung, Institut fürInformatik, Universität Leipzig, 2008.

@mastersthesis{ kinzler2008th,author = "Daniel Kinzler",title = "Automatischer Aufbau eines multilingualen Thesaurus durch Extraktionsemantischer und lexikalischer Relationen aus der Wikipedia",school = "Universit\"{a}t Leipzig",year = "2008",url = "http://brightbyte.de/papers/2008/DA/WikiWord.pdf"}

URI:

<http://brightbyte.de/papers/2008/DA/WikiWord.pdf >

Inhaltsverzeichnis

I. Einleitung1

1. Grundlagen2

1.1. Begri

ﬀ

e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31.2. Wikipedia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51.3. Thesauri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .101.4. Nutzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

2. Einordnung14

2.1. Untersuchung von Struktur und Qualität der Wikipedia . . . . . . . . . . . . . .142.2. Maschinenlesbare Wissensbasen . . . . . . . . . . . . . . . . . . . . . . . . . .152.3. Automatische Disambiguierung und semantische Verwandtheit . . . . . . . . . .172.4. Erzeugung von Thesauri und Taxonomien . . . . . . . . . . . . . . . . . . . . .182.5. Wissensextraktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .192.6. Named Entity Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202.7. Eigenschaften von WikiWord . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

II. Entwurf23

3. Idee244. Ablauf25

4.1. Analyse von Wiki-Text . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .254.2. Aufbau des lokalen Datenmodells . . . . . . . . . . . . . . . . . . . . . . . . .274.3. Zusammenführen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .304.4. Export . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

III. Implementation32

5. Anforderungen33

5.1. Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .335.2. Rahmenbedingungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33

6. Plattform35

6.1. Laufzeitumgebung: Java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .356.2. Datenbank: MySQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .356.3. Austauschformat: SKOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36