Related Docuements
Yapay Zeka-2
Literatürde "Artificial Intelligence"olarak adlandırılan yapay zeka ilk ba...
From allakallak
AHMET YESEVİ ÜNİVERSİTESİ
BİLİŞİM SİSTEMLERİ VE MÜHENDİSLİK FAKÜLTESİBİLGİSAYAR MÜHENDİSLİĞİ YÜKSEK LİSANS PROGRAMIDÖNEM PROJESİ
METİN MADENCİLİĞİ
HAZIRLAYAN
04730012 Ayhan AdsızDANIŞMANDr. Yalçın ÖZKANŞubat 2006
1
ÖZET ...............................................................................................................................................................................4TEŞEKKÜR ...................................................................................................................................................................51 VERİ MADENCİLİĞİ ..............................................................................................................................................7
1.1 Veri Madenciliğinde Karşılaşılan Problemler .............................................................................................11
1.1.1 Veritabanı Boyutu ................................................................................................................................111.1.2 Gürültülü Veri ......................................................................................................................................121.1.3 Boş Değerler ........................................................................................................................................121.1.4 Eksik Veri .............................................................................................................................................131.1.5 Artık Veri ..............................................................................................................................................131.1.6 Dinamik Veri ........................................................................................................................................131.1.7 Farklı tipteki verileri ele alma ..............................................................................................................14
1.2 Veri Madenciliği Algoritmaları ...................................................................................................................14
1.2.1 Hipotez Testi Sorgusu ..........................................................................................................................141.2.2 Sınıflama Sorgusu ................................................................................................................................151.2.3 Güdümsüz Gruplama Sorgusu .............................................................................................................151.2.4 Ardışık Örüntüler .................................................................................................................................161.2.5 Eşleştirme Sorgusu ..............................................................................................................................161.2.6 Eşleştirme Algoritmaları ......................................................................................................................16
2 METİN VERİ MADENCİLİĞİ .............................................................................................................................18
2.1 Metin Verilerinin İncelenmesi ve Enformasyonun Çıkartılması ..................................................................18
2.1.1 Metin Verilerinin Çözümlenmesi ve Bilgi Çıkarımı .............................................................................182.1.2 Metin Çıkartımı İçin Temel Ölçümler ..................................................................................................192.1.3 Anahtar Kelime ve Benzerlik Tabanlı Bilgi Çıkartımı .........................................................................192.1.4 Metin Verilerinin Heterojenliği .............................................................................................................21
3 METİN SINIFLANDIRMA ....................................................................................................................................23
3.1 Metin Madenciliğinin Ön Aşamaları ve Sınıflama .......................................................................................24
3.1.1 Ayrıştırma ..............................................................................................................................................243.1.2 Durdurma Kelimelerinin Çıkarılması ..................................................................................................243.1.3 Gövdeleme ............................................................................................................................................243.1.4 Metin Gösterimi ...................................................................................................................................253.1.5 Vektör Uzayı Modeli .............................................................................................................................253.1.6 Boyut Küçültme ...................................................................................................................................263.1.6.1 Özellik Seçimi ...............................................................................................................................263.1.6.2 Doküman Frekans Eşikleme ........................................................................................................263.1.6.3 Bilgi Kazanımı Yöntemi ..............................................................................................................263.1.6.4
2 (chi kare) İstatistiği .................................................................................................................273.1.7 Yeniden Değiştirgeleme .......................................................................................................................28
3.2. Ağırlıklandırma ...........................................................................................................................................28
3.2.1 Boole Ayırma .......................................................................................................................................283.2.2. Kelime Frekans Ağırlıklandırma .........................................................................................................283.2.3 tf x idf Ağırlıklandırma (Term Frequency x Inverse Document Frequency) .......................................293.2.4 tfc-Ağırlıklandırma (Term Frequency Component) .............................................................................293.2.5 ltc Ağırlıklandırma (Logarithmic Term Component) .........................................................................29
3.3 Metin Madenciliği Algoritmaları .................................................................................................................30
3.3.1 Rocchio Algoritması .............................................................................................................................303.3.2 Naive Bayes .........................................................................................................................................303.3.3 Karar Ağacı ...........................................................................................................................................313.3.3.1 Ağacı Oluşturma (CART) ............................................................................................................313.3.3.2 Ağacın Budanması .......................................................................................................................323.3.4 Destek Yöney Makineleri ....................................................................................................................333.3.4.1. Ayrılabilir Durumlarda Destek Yöney Makineleri .......................................................................333.3.4.2 Ayrılamaz Durumlarda Destek Yöney Makineleri .......................................................................353.3.5. Bayesian Ağları ....................................................................................................................................35
2
4 KÜMELEME ANALİZİ .........................................................................................................................................37
4.1 Kümeleme Analizi Uygulamaları .................................................................................................................37 4.2 Kümeleme Analizinde Veri Tipleri ................................................................................................................38
4.2.1 Aralık Ölçekli Değişkenler ...................................................................................................................394.2.2 İkili Değişkenler ..................................................................................................................................394.2.3 Nominal (ada bağlı) , Ordinal (sıraya bağlı) ve Ondalıklı Değişkenler ...............................................404.2.2Karışık Tipteki Değişkenler ...................................................................................................................40
4.3 Ana Kümeleme Yöntemlerinin Kategorilendirilmesi ....................................................................................41
4.3.1 Bölümlendirme Metodu ........................................................................................................................414.3.1.1 Klasik Bölümlendirme Metotları: k-means, k-medoids ................................................................414.3.1.2 Büyük Veritabanlarında k-medoid ten CLARA’ ya ......................................................................46
4.4 Grid Temelli Metodlar ..................................................................................................................................46
4.4.1 STING (Statistical Information Grid- İstatiksel Bilgi Grid) ................................................................464.4.2 WaveCluster: Wavelet Dönüşümü Kullanarak Kümeleme ..................................................................484.4.3 CLIQUE (Clustering High-Dimensional Space- Yüksek Boyutlu Alanda Kümeleme) .......................50
4.5 Model Tabanlı Kümeleme Metodları ............................................................................................................51
4.5.1 İstatistiksel Yaklaşım ............................................................................................................................51
4.6 Sıradışılık Analizi .........................................................................................................................................53
4.6.1 İstatistiksel Tabanlı Sıradışılık Denetimi ..............................................................................................544.6.2 Uzaklık-tabanlı Sıradışılık Denetimi ....................................................................................................554.6.3 Sapma Tabanlı Sıradışılık Denetimi .....................................................................................................56
5 OTOMATİK HABER METİNLERİ SINIFLANDIRMA UYGULAMASI ...................................................58
5.1 Önerilen Sistem ............................................................................................................................................585.2 Kullanılan Parser ve Gerekliliği ..................................................................................................................605.3 Karar mekanizmasında kullanılan yöntemler ..............................................................................................60
5.3.1 Destekleyici Öğrenme (Learning Vector Quantization-LVQ) .............................................................605.3.2 Naive Bayes ..........................................................................................................................................61
5.4 Vektörel metinlerde boyut azaltma çalışmaları ............................................................................................61
5.4.1 Principle Component Anaysisl(PCA) ...................................................................................................615.4.2 Informaiton Gain(IG) ............................................................................................................................61
5.5 Uygulama Sonuçları .....................................................................................................................................625.6 Sonuç ............................................................................................................................................................63
KAYNAKÇA ................................................................................................................................................................64
3
of 00
1.1.6 Dinamik Veri for VeriMadenciligi_TextMininng
4,881 Reads
Info and Rating
| Category: | |
| Rating: | |
| Upload Date: | 06/19/2009 |
| Copyright: | Attribution Non-commercial |
| Tags: |
Leave a Comment