Paralel CLOSET+ Algoritması ile Sık Nesne Kümelerinin Bulunması
Tayfun Şen, Cevat Şener, İsmail Hakkı Toroslu
Bilgisayar Mühendisliği Bölümü
Orta Doğu Teknik Üniversitesi
{tayfun.sen, sener, toroslu}@ceng.metu.edu.tr
Öz
Veri madenciliği alanında ilişkisel kural madenciliği
özellikle pazar sepeti uygulamaları ve ağ ziyaret
çözümlemeleri gibi yaygın kullanımları olması nedeniyle
sıklıkla incelenmiştir. Çoğu zaman daha ileri bir uygulama
inşa edilirken ilk adım olarak ilişki kuralları bulunmakta, bu
bilgi kullanılarak katma değerli servisler hazırlanmaktadır.
İşte bu nedenle ilişki kurallarını ortaya çıkarmak için
geliştirilen birçok algoritma bulunmaktadır. Sık nesne
kümelerinin bulunması ise ilişki kuralları ortaya çıkarılırken
ilk yapılması gereken iş olmuştur.
Bu makalede sık nesne kümelerinin bulunmasında
kullanılan seri bir veri madenciliği algoritması olan
CLOSET+ algoritmasının paralel sürümünden
bahsedilecektir. Bu algoritma birden fazla hesaplama
elemanı üzerinde aynı anda çalışacak şekilde tasarlanmış,
daha hızlı sonuçlar elde etmek amaçlanmıştır. Algoritmanın
uygulanmasında hesaplama uçları arasında iletişim için
MPI kütüphanesi kullanılmış ve uygulama çeşitli sayılardaki
uçlara sahip kümelerde test edilmiştir. Sonuçlar
algoritmanın belirli eşik sınırdan yoğun veriler için seri
sürümden oldukça hızlı çalıştığını göstermektedir.
1.Giriş
Yaklaşık 15 sene önce ciddi olarak araştırılmaya
başlanmasından itibaren [1] veri madenciliği alanında çok
çeşitli gelişmeler yaşanmıştır. Örneğin, ilk ilişkisel kural
madenciliği algoritmasının geliştirilmesinden sadece birkaç
yıl sonra paralel bir sürümü çıkarılmıştı [2]. Bilgisayarların
ve bilgi işlem birimlerinin işletmelerde giderek daha da
yaygınlaşmasıyla birlikte, bu alanda hiç olmadığı kadar
araştırma ve geliştirme yapıldı.
Sık nesne kümelerinin bulunması, ilişkisel kural
madenciliğinin ilk olarak yapılması gereken ve en fazla
zaman alan parçasıdır. Bundan dolayı bu bölüm
araştırmalarda genellikle öne çıkarılmıştır. Birçok algoritma
sık nesne kümelerinin bulunması bölümünü geliştirmek için
çeşitli iyileştirmeler önermiş, böylece zaman ve bellek
kaynaklarını daha verimli kullanmayı amaçlamıştır. Bunun
yanında verinin saklanma biçimi ile ilgili olarak da yeni
teknikler geliştirilmiştir, buna örnek olarak dikey veri
saklama biçimi kullanan CHARM algoritması [3]
gösterilebilir. Son zamanlarda fp-tree (sık örüntü ağacı)
biçimi özellikle yoğun (dense) veri kümelerinde yüksek
sıkıştırma oranı sağlaması nedeniyle tercih edilmeye
başlanmıştır.
Bu makalede yüksek performanslı bir sık nesne kümeleri
madenciliği algoritması olan CLOSET+ [4] algoritmasının
paralel bir uygulamasından bahsedilecektir. CLOSET+
algoritması 2003 yılında Wang, Han ve diğerleri tarafından
ileri sürülmüş ve şu ana kadar paralel bir uygulaması
bildiğimiz kadarıyla yapılmamıştır. CLOSET+ algoritması
geçmiş çalışmalar da dikkate alınarak geliştirilmiş, veri
saklama yönteminde Han ve diğerleri tarafından geliştirilen
fp-tree [5] biçimi kullanılmıştır. CLOSET+'da aynı zamanda
aday budama yöntemi gibi çeşitli iyileştirmeler de
kullanılarak algoritma hızlandırılmıştır.
Makalenin geri kalanı şöyle ayrılmıştır: Bunu izleyen
bölümde sık nesne kümeleri madenciliği ana hatlarıyla
tanıtılacak, çözüm çerçevesi sunulacaktır. 3. bölümde
CLOSET+ algoritması genel yapısı itibariyle tanıtılacak, 4.
bölümde ise algoritmayı paralelleştirmede kullanılan araçlar
tanıtılacaktır. İki faz halinde gerçekleştirilen paralel
algoritma 5. bölümde detaylarıyla açıklanacaktır. Performans
testlerinin yer aldığı 6. bölümden sonra sonuçların
açıklandığı bölüm gelmektedir. Makale teşekkür ve
kaynakça ile son bulacaktır.
2.Sık nesne kümeleri madenciliği arka planı
İlişkisel kural madenciliği temel olarak belirli bir alana
özgü elemanların birbirleriyle ilişkilendirilmesi, bu konuda
kuralların ortaya çıkarılması ile ilgilenir. İlişkisel kural
madenciliğinin ilk koşulu sık nesne kümelerinin
bulunmasıdır. Sık nesne kümelerinin bulunmasından sonra,
bu kümelerden faydalanarak küme içindeki elemanlar
arasındaki, yani sık nesne kümelerinin alt kümeleri
arasındaki ilişkiler ortaya çıkarılır. İlişkisel kural
madenciliğinin en fazla zaman alan parçası sık nesne
kümelerinin bulunması parçasıdır. Makalenin bu bölümünde
ilişkisel kural madenciliği ile ilgili “güven” gibi terimlere
değinilmeyecek, ancak sık nesne kümelerinin bulunmasında
kullanılan “destek” gibi terimlerden ise bahsedilecektir.
Sık nesne kümeleri açıklanırken en çok kullanılan ve
anlaşılması en kolay olan örnek pazar sepeti analizi
alanındadır:
TID (sepet Sepet içeriği
tanımlayıcısı)
1 Bisküvi, ekmek, su, süt
2 Ekmek, su
3 Bisküvi, gazete, süt
4 Gazete, meyve, reçel
5 Ekmek
Tablo 1: Örnek bir pazar sepeti
Tablo 1'de görülen veri herhangi bir işletmenin satış veri
tabanı incelenerek çıkarılabilir. Bununla birlikte sık nesne
kümeleri madenciliği pek çok başka alanda da
kullanılmaktadır.
Tablodaki ilk alan her tablo satırının tanımlayıcısını,
ikinci alan ise herhangi bir satın alma kümesini, yani pazar
sepetini göstermektedir. Sepet içerikleri herhangi bir
sıralamaya tabi değildir, düz bir küme yapısında
gösterilebilir. Sıralı örüntü madenciliğinden farklı olarak
sepet-müşteri ilişkisi bulunmamaktadır, sık nesne kümeleri
madenciliği için önemli olan herhangi bir satın alma
işleminin kendisidir. İşlemlerin sırası ve dolayısıyla hangi
müşteriye ait oldukları önemsizdir.
Herhangi bir e elemanının veri tabanında bulunduğu sepet
sayısına “destek” değeri denmektedir. Çıkacak sonuç sayısını
azaltmak için belirli bir minimum destek değeri kullanılarak
sepet elemanlarından destek değeri bu eşik değerin üstünde
olanlar dikkate alınmaktadır. Buna göre eşik değerin üstünde
destek değerlerine sahip olan nesne kümeleri sık nesne
kümeleri olarak adlandırılırlar.
Yukarıdaki tabloyu veri tabanımız olarak alırsak ve
minimum destek değerini iki kabul edersek sık nesne
kümelerimiz ve destek değerleri şu şekilde çıkar:
{ ekmek : 3 }, { süt : 2 }, { su : 2 }, { bisküvi : 2 },
{ gazete : 2 }.
{ ekmek, su : 2 }, { bisküvi, süt : 2 }.
Parantezlerin içindeki rakam parantez içerisinde bulunan
nesnelerin birlikte destek değerini vermektedir. Örneğin
{ ekmek, süt : 2 } değeri bize ekmek ve süt'ün birlikte
olduğu sepetlerin sayısının 2 olduğunu söylemektedir.
Bazen destek değerleri yüzde olarak veri tabanındaki işlem
sayısına oranlanarak verilir. Burada 2 olarak görünen destek
değeri bu şekilde verildiğinde 2 / 5, yani %40'lık bir desteği
ifade eder.
Destek değerinin büyük olması bir nesne kümesinin sık
olarak veri tabanında geçtiğini gösterir. Bunun yanında,
destek değerlerinde görülen doğal bir özellik de nesne sayısı
arttıkça destek değerinin ya aynı kaldığı ya da azaldığıdır.
Buradan, ilk olarak Pasquier ve diğerleri tarafından ortaya
atılan [6] kapalı sık nesne kümelerinin tanımına geçebiliriz.
Tanım 1. Kapalı sık nesne kümeleri, herhangi bir alt
kümesi aynı destek değerine sahip olmayan sık nesne
kümeleridir. Bu kümelerin önemi kapsayıcı olmalarından ve
sonucu büyük ölçüde sıkıştırmalarından gelir.
Örnek 1. Tablomuza geri dönecek olursak, kapalı sık
nesne kümelerimiz şöyle bulunurdu:
{ ekmek : 3 }, { gazete : 2 }, { bisküvi, süt : 2 }, { ekmek,
su : 2 }.
Görüldüğü üzere nesne kümelerinin sayısı azaldı,
“bisküvi”, “su” ve “süt” nesneleri daha geniş nesne kümeleri
tarafından aynı destek değeri ile kapsandıkları için
budandılar ve sonuçtan çıkarıldılar. Kapalı sık nesne
kümelerinden sık nesne kümelerine erişilebileceğine dikkat
ediniz. { bisküvi, süt : 2 } kümesinden hem { bisküvi : 2 }
hem de { süt : 2 } çıkarılabilir. Hem daha az yer kaplaması,
hem de cevabın tamamını kapsaması nedeniyle kapalı sık
nesne kümeleri son yıllardaki araştırmaların temel sonuç
ifade biçimi haline geldiler.
3. CLOSET+ algoritması
Agrawal ve diğerleri [1] ilişkisel kural madenciliği
araştırmalarının yolunu açan makalelerini yayınladıklarında
algoritmalarını ikiye bölmüşlerdi: sık nesne kümelerinin
çıkarılması ve bundan yola çıkarak ilişkisel kuralların
bulunması. Bu teknik halen büyük ölçüde kullanılmaktadır.
Yeni algoritmalar ortaya çıktıklarında, eskiye oranla gelişim
için kullandıkları en önemli tekniklerden biri problemin
gösteriliş biçimi oldu. Veri tabanları çeşitli şekillerde
gösterilmeye başlandı (dikey format bunlardan biri), sorun
farklı çözüm uzaylarına aktarılmaya çalışıldı. Bunlardan en
dikkat çeken gelişmelerden biri küme biçimi ile sunulan
problemin zaman geçtikçe ağaç ve sonra da çizge (graph)
yapılarına dönüşmesi, sorun düzleminin matematiğin daha
geniş ifade gücü bulunan alanlarına kaydırılması oldu.
CLOSET+ algoritması da bu evrimden ayrı bir yönde
ilerlememiştir. Hem veri tabanının biçimi hem de çözüm için
kullanılan araç uzayı ilk kullanılan küme yapılarından
oldukça gelişmiştir. Veri tabanı temel olarak bir ağaç
şeklinde tutulmakta, çözüm bulunurken çizge algoritmaları
ile veri üzerinde gezinilmekte ve madencilik yapılmaktadır.
İleriki bölümlerde paralel CLOSET+ anlatılmadan önce
bu bölümde algoritmanın seri halinin özetlenmesi faydalı
olacaktır.
3.1.Kapalı sık nesne kümelerinin hızlı bir şekilde
bulunması: CLOSET+
CLOSET+ algoritması ilk olarak Pei ve diğerleri
tarafından önerilen CLOSET algoritmasına [7] iyileştirmeler
yapılarak Wang ve diğerleri tarafından [4] yayınlanmıştır.
Kullanılan veri saklama biçimi olan fp-tree (sık örüntü
ağacı) şekli, veri tabanını oldukça büyük miktarlarda
sıkıştırabilmesi nedeniyle tercih edilmiştir. Fp-tree biçimi
özellikle yoğun veri tabanlarında büyük sıkıştırma oranları
sağlamakta, algoritma da özellikle bu tür verilerde hızlı
çalışmaktadır. CLOSET+ algoritması esas olarak iki fazdan
oluşmaktadır. İlk fazda veri tabanı sıkıştırılıp fp-tree inşa
edildikten sonra asıl veri madenciliği ikinci fazda ağaç
üzerinde gezinerek yapılmaktadır. Bundan sonraki iki
bölümde bu iki faz kısaca açıklanacaktır.
3.2.İlk faz: fp-tree'lerin inşası
İlk fazın amacı veri tabanını sıkıştırmak ve böylece belki
belleğe sığabilecek büyüklüğe indirmek, ve aynı zamanda
üzerinde işlem yapabilmeyi kolaylaştırmaktır. Fp-tree yapısı
önek (prefix) ağaç yapısı şeklindedir, yani benzer nesneleri
içeren nesne kümeleri bu ağaçta aynı ana dal üzerinde
bulunurlar. Ağaçtaki uçlar nesneleri temsil ederler ve uçlarda
aynı zamanda destek değerleri de bulunur. Destek değerleri
kökten bir uca kadar inildiğinde rastlanan nesnelerin birlikte
bulunma destek değerleridir. Kökten aşağıya inildikçe nesne
kümeleri ortak uçları paylaşırlar, dolayısıyla nesnelerin
farklı kümelerde tekrarlanması azaltılmış olur. Sonuç
özellikle yoğun verilerde çok büyük sıkıştırma oranlarıdır.
Fp-tree yapıları oluşturulurken atılan adımlar şunlardır:
1. Veri tabanı bir kez taranır, her nesnenin destek
değeri bulunur.
2. Destek değeri eşik değerin altında olan nesneler
veri tabanından atılır.
3. Destek değerleri sıralanır ve bu temel alınarak veri
tabanındaki nesne listeleri destek değerleri
artandan azalana doğru olmak üzere sıralanır.
4. Sıralı nesne listeleri ağaca yerleştirilir.
Ağaca yerleştirme işlemi sırasında nesnelerin ilk olarak
hangi uca yerleştirildiği bilgisi bir işaretçi dizisi ile başlık
tablosunda saklanmaktadır. Bunun yanında aynı nesne tekrar
başka bir ağaç ucu olarak yerleştirildiğinde bir önceki uçtan
bir işaretçi ile bağlantı sağlanmaktadır. Yani, herhangi bir
nesnenin ağaçta hangi uçlarda olduğu bilgisi hızlı bir şekilde
erişilebilir şekilde saklanmaktadır.
 Fp-tree biçimi hakkında daha detaylı bilgiyi kaynak
makaleden [5] elde edebilirsiniz.
3.3.İkinci faz: asıl madencilik
İlk fazda inşa edilen fp-tree veri tabanının sıkıştırılmış bir
kopyasıdır, fp-tree inşa edildikten sonra bir daha veri
tabanına bakmaya gerek yoktur. Fp-tree, yapısı itibariyle
ikinci fazdaki madenciliği yönlendirecektir. Bu açıdan veri
biçimi ve madencilik ayrı düşünülemez.
Kapalı sık nesne kümeleri bulunurken ağaç üzerinde
aşağıdan yukarıya bir gezinme yapılmakta, nesnelere özel fp-
tree'ler ana ağaçtan yansıtılmaktadır. Nesnelerin hangi
sırayla çıkarılmaya başlanacağı başlık tablosundan tespit
edilmektedir, başlık tablosu aşağıdan yukarıya doğru
çözülmektedir. Ağacın yapısından dolayı, aşağıdan yukarıya
doğru bir çözümleme yapıldığı sürece bulunan sık nesne
kümeleri öncekiler tarafından kapsanıyor olabilir, ama asla
öncekileri kapsıyor olamaz. Bu özellik kullanılarak alt küme
kontrolü yapılmakta, böylece bulunan kapalı sık nesne
kümelerinin gerçekten kapalı olması sağlanmaktadır.
Fp-tree'deki gezinme sonucu ortaya çıkan sık nesne
kümeleri ne yapılmaktadır? Bunlar fp-tree'ye benzer bir
ağaçta tutulmaktadır. Sonuç ağacının fp-tree benzeri bir
yapıda olması sayesinde bu sonuç kümesi de sıkıştırılmış bir
biçimde olmaktadır. Fp-tree yapısındaki başlık tablosundan
farklı olarak burada iki seviyeli bir hash indeks
bulunmaktadır. Bu iki indeks sık nesne kümesindeki en son
nesneden ve onun destek değerinden oluşmaktadır. Bu indeks
sayesinde aynı destek değerine sahip olan ve kapsayan bir
kümenin varlığı kontrol edilebilmektedir.
Asıl madencilik hakkında daha detaylı bilgiyi kaynak
makaleden [4] elde edebilirsiniz.
4.Paralel CLOSET+: Arka plan
Bu makalenin ana konusu olan paralel CLOSET+
uygulamasındaki bazı tasarım seçimleri ve nedenleri bu
bölümde anlatılacaktır.
4.1.Hangi dil?
CLOSET+ algoritması ağaç ve çizge benzeri yapılar
içermekte olduğu için üst seviyeden bir programlama dili
programcının işini kolaylaştıracaktır. Ama seviye
yükseldikçe dilin sunduğu esneklik de azalmaktadır. Ruby,
Python, Java gibi dillerin sağladığı nesneye yönelik
programlama deneyimi oldukça iyidir, ama bu diller MPI
konusuna ne kadar destek vermektedirler? MPI'ın bütün
büyük uygulamaları -doğal olarak- C'de yazıldılar. Bundan
dolayı C ve C++ dilleri ile MPI standartlarında bulunan
hemen hemen her özellik kullanılabilmektedir. Diğer üst
seviye dillerin MPI uygulamaları çeşitli şekillerde vardırlar.
Bir kısmı tamamen o dille yazılmışken (native) bir kısmı
sadece C kütüphanesi uygulamasını sarma (wrapper)
görevini görmekteler. İncelenen birçok kütüphanede sadece
MPI standardının alt kümesi kadar özelliğe destek verildiği
görüldü. Bu dillerin C ve C++'dan daha yavaş olacağını da
hesaba katmak gerek. Hızın ana ölçüt olduğu yüksek
performanslı uygulamalarda bu çok büyük bir dezavantaja
sebep olmaktadır. Öte yandan programlamaya yeni başlayan
birisi için C ve C++ zor bir giriş yaşatabilir ve deneyimli bir
programcı bile ruby veya python gibi bir dilde yazmayı
tercih edebilir.
Bu iki düşüncenin de kendine has avantajları ve
dezavantajları var. Bu makalede anlattığımız uygulama için
seçim C++ oldu, nesneye yönelik programlama yaparak alt
seviye C dilinden daha rahat programlama yapıldı. Bununla
birlikte C++ kullanıldığı için MPI konusunda oldukça
esneklik sağlandı.
4.2.Telden (veya havadan) nesne geçirmek?
C dili ile programlama yapıldığında çoğu işlem için
seçenekleriniz bellidir. Nesneleri direk olarak iletemezsiniz
ve MPI_Pack gibi metodları kullanmak, nesnelerinizi
kendiniz serialize edip diğer işlem uçlarına iletmeniz gerekir.
C++ ile nesneye yönelik programlama yaparken alt seviye
sihirbazlıklara başvurmak uygun olmazdı, ve bu yüzden
bunun için bir kütüphane kullanıldı: Boost kütüphaneleri.
Tansey ve diğerleri 2008'de yayınladıkları makalelerinde
[8] serialization zorluklarına dikkat çekmekte, var olan
çözümlerin karşılaştırmasını yapmaktadırlar. Varılan
sonuçlara göre Boost kütüphanesi bu işi en iyi yapan
kütüphanelerdendir. Tansey ve diğerleri makalelerinde kendi
geliştirdikleri bir araçtan bahsetmektedirler, makalede
anlatıldığına göre bu araç serialization için gerekli kodu
otomatik olarak üretebilmektedir. Ancak bu program Ocak
2009 itibariyle halen genel kullanıma sunulmamıştır.
Boost kütüphaneleri [9] C++'nın STL ile
tamamlanamamış noktaları için kaliteli ve sıkı standartlara
sahip kütüphaneler içermektedir. Boost'ta yer alan
kütüphanelerin bir kısmı ileride C++ standartlarına eklenmek
üzere kabul görmüştür.
Boost kütüphaneleri içinde yer alan MPI kütüphanesi
nesneye yönelik programlama yöntemlerini C++ diline
getirmiştir. Örneğin
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &procID);
gibi fonksiyon çağrıları yerini şunlara bırakmaktadırlar:
mpi::environment env(argc, argv);
mpi::communicator world;
if (world.rank() == 0) {
...
Boost kütüphanesi üst seviye özellikler sağlarken
esneklikten ödün vermemektedir. C'de bulunan hemen
hemen tüm MPI özellikleri Boost kütüphanelerinin C++
arayüzünde de bulunmaktadır. Eğer bunları kullanmak
istemezseniz, C'deki MPI fonksiyonlarına da geri dönme
şansına sahipsiniz.
Boost kütüphanesi ile C++'da var olan pek çok üst seviye
veriyi otomatik olarak karşıya yollayabilirsiniz. Buna örnek
olarak string, hash_map, vector, list gibi veri yapıları
verilebilir. Ağaç gibi kendinize özgü veri yapılarınız varsa
bu yapılara çok küçük değişiklikler ekleyerek bunların da
iletilebilir olmasını sağlayabilirsiniz. Boost otomatik olarak
işaretçileri izleyecek, tüm ağaç yapınızı doğru olarak karşıya
ulaştıracaktır. Boost tüm bunları yaparken kendi MPI
kütüphanesinin yanında yine Boost'a dahil başka bir
kütüphane olan Serialization kütüphanesini kullanır.
Serialization kullanarak serialize edebileceğiniz tüm
nesneleri tel üzerinden karşıya geçirebilirsiniz.
4.3.Hangi MPI?
Boost kütüphanelerinin esnek olduğundan bir önceki
bölümde bahsetmiştik. Boost kütüphaneleri için alt katmanda
hangi MPI kütüphanelerinin kullanıldığının hiçbir önemi
yoktur. C'de yazılmış MPI kütüphaneleri sıkı bir şekilde
standarda uydukları için Boost birçok popüler MPI
kütüphanesini arka planda kullanabilmektedir. Tek yapmanız
gereken Boost::MPI derlenmeden önce istediğiniz MPI
uygulamasının GCC sargısının (wrapper: mpicc gibi) PATH
değişkeninizde önde olmasını sağlamaktır. Gerisini Boost
halledecek, kütüphane doğru MPI kütüphanesine bağlanarak
derlenecek ve çalışacaktır.
MPI kütüphane uygulamaları genel ağda çok sayıda
bulunmaktadır. Paralel CLOSET+ için ihtiyaçlar belirlendi
ve en uygun seçenek olarak OpenMPI'da karar kılındı.
OpenMPI kütüphanesi temel olarak lam/mpi ve mpich
kütüphanelerinin başka MPI kütüphanelerinden de
etkilenerek bir araya gelmesi ve iyi özelliklerinin toplanması
ile oluşturulmuş bir kütüphanedir.
OpenMPI kütüphanesinin birçok alt seviye ayar özellikleri
vardır. Arka planda birden fazla ağ bağlantısı bulunduğunda
hangilerinin kullanılacağı gibi özelleşmiş ayarlamalara izin
vermektedir. Bunun yanında OpenMPI aynı belleği kullanan
işlemlerin belleği ortak kullanmasına (shared memory) izin
vermektedir. Örneğin 8 çekirdekli bir işlemcide 8 tane işlem
varsa ve bir işlemden diğerine veri yollanırsa bu veri direk
olarak belleğin gerekli bölümleri diğer işlemin bellek
bölgesine kopyalanarak iletilir. Bu yöntemle OpenMP [10]
kadar olmasa da sıradan MPI iletiminden daha hızlı bir veri
iletimi gerçekleştirilir. Burada akılda tutulması gereken
nokta OpenMP'de belleğin kopyalanmaya gerek kalmadan
iplikler (thread'ler) tarafından ortak kullanıldığı; genel olarak
MPI'da ve bir MPI kütüphanesi olan OpenMPI'da ise her
işlemin kendi adres uzayının olduğu ve belleğin bu nedenle
en azından kopyalanmasının gerektiğidir. İşlemlerin kendi
adres uzaylarının olması veri paylaşımına kopyalama yükü
getirirken kilitlenme (race condition ve locking) gibi olayları
ise engeller.
5.Paralel CLOSET+: Uygulama
CLOSET+ algoritması paralelleştirilirken kullanılan
araçlardan bir önceki bölümde bahsedildi. Bu bölümde
paralel algoritmanın kendisi anlatılacaktır.
Paralel CLOSET+, seri olan sürümündekine benzer bir
şekilde iki fazdan oluşmaktadır. İlk fazda fp-tree yapıları
kurulmakta, ikinci fazda ise bunlar işlenerek kapalı sık nesne
kümeleri bulunmaktadır. Bu iki faz bundan sonraki
bölümlerin konusu olacaktır.
5.1.Fp-tree'lerin oluşturulması
Bu fazın amacı paralel bir şekilde fp-tree ağaç yapısının
çıkarılmasıdır. İlk yapılan iş veri tabanının işlem sayısı kadar
parçaya bölünmesi ve böylece her işlemin kendi yerel fp-tree
yapısını oluşturmaya olanak sağlamasıdır. Veri tabanı
bölünürken direk olarak hareket (transaction) sayısı işlem
sayısına bölünür ve her işlemci kendisine düşen miktarda
hareketten ağaç yapısı oluşturur.
Örnek olarak Tablo 1'deki 5 hareket iki işlem için
parçalandığında 1. ve 2. hareketleri ilk işlemci, 3,4 ve 5.
hareketleri ise ikinci işlemci alır. 5 işlemci olduğunda her
işlemciye bir hareket düşmektedir. Bu basit örnek aklımıza
bir sonraki soruyu getirir:
5.1.1.İş bölümü ne kadar adildir?
İş bölümlerinin en iyi şekilde parçalanması belirli
hesaplamalara bağlıdır. Burada pek çok konuda olduğu gibi
bir değiş tokuş (trade-off) vardır. Mümkün olan en iyi iş
bölümünü sağlamak için her hareketin içinde bulunan nesne
sayılarının da hesaba katılması gerekir. Bu ise işlem yükünü
oldukça artırır. Kaba bir hesaplama ile hareket sayısının
işlemlere bölünmesi tam adil bir işbölümü sağlamasa da
rastgele hareketlerin bulunduğu bir veri tabanında yeterince
adil bir iş bölümü sağlamaktadır.
Sonuç olarak, bazı işlemler diğer işlemlerden önce işlerini
bitirip beklemeye başlayabilirler, ama bu daha az beklemeye
sebep olmak için gereken ön işten daha verimlidir.
5.1.2.Ağaç yapıları ve birleştirme işlemi
Yukarıda da anlatıldığı üzere her işlemin üzerinde belirli
miktarda hareketi işleme işi vardır. İşlemler verinin
üzerinden iki kez geçerler: İlk geçişte her nesnenin destek
değerleri bulunur, ikinci geçişte ise bu kullanılarak fp-tree
yapısı oluşturulur.
İşlemler ilk geçişlerini bitirdikten sonra ellerinde yerel
destek değerleri bulunur. Yani işlemlerde sadece kendi yerel
veri tabanlarına göre hazırlanmış destek değerleri
bulunmaktadır. Tüm işlemlerde bulunan yerel destek
değerleri birleştirilerek genel destek değerleri bulunur. Tablo
2'de bu yöntem hayali bir veri tabanı üzerinde, iki işlem için
gösterilmiştir.
Nesne Süt Ekmek Gazete Su
Destek 5 18 9 15
+
Nesne Süt Ekmek Gazete Su
Destek 7 12 19 6
=
Nesne Süt Ekmek Gazete Su
Destek 12 30 28 21
Tablo 2: Destek değerlerinin birleştirilmesi
Bundan sonra işlemler yine kendi ellerinde bulunan
hareketleri işlemeye devam edeceklerdir. İlk geçiş sırasında
veri tabanının o işleme ait olan kısmı belleğe aktarıldığı için
tekrar dosyadan okumaya gerek yoktur. İşlemler veri
tabanındaki hareketlerde minimum destek değerine sahip
olmayan nesneleri çıkarırlar ve budanmış bu hareketlerdeki
nesneleri destek değeri azalan bir şekilde tekrar sıralarlar. Bu
CLOSET+'daki sıradan işlerdendir. Fp-tree yapısı daha sonra
bu hareketler kullanılarak oluşturulur.
Fp-tree ağaç yapısı özellikle yoğun veri tabanlarındaki
verileri oldukça yüksek oranda sıkıştırmaktadır (uygun
verilerde binlerce kat sıkıştırma sağlanabilir). Bunu
sağlamak için fp-tree yapıları ortak nesne kümelerini
tekrarlama yapmadan kullanmaktadır. Veri tabanındaki
hareketlerde, ortak olan nesneler olduğu sürece aynı dal
üzerinde gezinilmekte, farklı nesnelerin çıkması ile birlikte
çatala ayrılıp o nesne ağaç ucu olarak eklenmektedir. Bu
yapı Huffman Coding türü sıkıştırma algoritmalarını
andırmaktadır, gerçekten de her iki teknik de öneklerden
(prefix code) yararlanmaktadır.
Dikkat edilmelidir ki oluşturulan fp-tree yapıları da
-aynen destek değerlerinde olduğu gibi- yereldirler.Yine aynı
şekilde tüm işlemlerin ellerindeki fp-tree yapıları paylaşılır
ve birleştirilir. Veri tabanını temsil eden fp-tree yapılarının
birleştirilmesi ilk olarak Zaiane ve diğerleri tarafından
yayınlanan makalede [15] işlenmiştir. Genel fp-tree yapısı
tüm uçlarda bulunmak zorundadır çünkü fp-tree işleme
fazında bu gereklidir. Fp-tree yapısı veri tabanının çok
sıkıştırılmış bir biçimi olduğundan dolayı çoğunlukla belleğe Bu uçlar başlık dizisinin var olan işlem sayısında bölünmesi
sığabilmektedir ve MPI ile hızlı bir şekilde gönderilebilmek ve işlemlere atanması ile elde edilir ve her işlem ağaç
amaçlanmaktadır. yapısında aşağıdan yukarıya doğru madencilik yapar.
Madencilik seri CLOSET+ algoritmasinin tekniklerini
kullanır. Paralel algoritmada eklenenler iş bölümü ile yerel
sonuçların birleştirilip genel sonuca ulaşma işidir.
İş bölümü yine ilk fazdaki gibi tamamen adil bir iş
bölümü değildir. İşlemlerin madencilik yapacakları nesne
sayıları hemen hemen eşit olmasına rağmen (son işlem arta
kalan nesneleri de işleyecektir) bu nesnelerin işlenmesi için
gereken iş miktarı farklıdır. Paralel algoritmada daha adil bir
Resim 1: İki işlemde ayrı fp-tree örnekleri iş bölümü için yapılacak hesaplamaların kendisi pahalı
olacağı ve işi yavaşlatacağı için yapılmamıştır. Bundan
dolayı bazı işlemler işlerini erken bitirip diğer işlemleri
bekleyebilirler.
Her işlemde yerel sonuç ağaçları oluşturulduktan sonra bu
ağaçlar birleştirilir. Bu birleştirme fp-tree yapılarının
birleştirilmesinden farklılıklar içermektedir. Fp-tree yapıları
birleştirilirken destek değerleri toplanıyor, ağaçta
Resim 2: Fp-tree yapıları birleştirildikten sonra bulunmayan yapılar ise ekleniyordu. Sonuç ağaçlarının
birleştirilmesinde ise aynı destek değerlerine sahip nesne
uçları ağaca eklenmez, destek değeri fazla ise o nesne
Resim 1 ve Resim 2'de iki ayrı işlemdeki basit fp-tree
ucunun destek değeri bu değer ile güncellenir. Örnek iki
yapılarının birleştirilmelerini görmektesiniz. Fp-tree
sonuç ağacının birleştirilmesini aşağıdaki şekilde
yapılarının birleştirme işlemi basit bir şekilde iki yapıda
görebilirsiniz.
bulunmayan uçların eklenmesi ve bulunanlarda ise destek
değerlerinin toplanmasını kapsar. Buna göre, her iki ağaç
yapısında da bulunan “süt” nesnesi için destek değerleri
toplanmış, iki uçta da tek başına bulunan “ekmek” ve “su”
nesneleri ise birleştirilmiş ağaca eklenmiştir.
Fp-tree yapılarının birleştirilmesinde MPI nasıl
kullanıldı? MPI içerisinde direk all_reduce fonksiyonu
kullanarak birleştirme yapılabilir. Bu durumda MPI
uygulaması biten yerel ağaç yapılarını alacak, ikişer ikişer
birleştirecek ve tüm uçlara yollayacaktır. Bundan farklı bir
yöntem ise bir ucu “yönetici” kabul etmek, tüm ağaçları o
uçta reduce ettikten sonra diğer uçlara broadcast etmek
Resim 3: İki işlemde ayrı yerel sonuç ağaçları
olabilir. Bu iki yöntemin yanında diğer bir yöntem ise daha
basit send ve recv fonksiyonlarının kullanılarak ağaç
yapılarının birbirlerine gönderilmesi, birleştirilmesi ve diğer
uçlara gönderilmesidir.

5.2.Fp-tree yapılarının madenciliği

İlk fazda paralel olarak veri tabanı üzerinde yerel fp-tree
yapıları oluşturulmuştu. Herhangi bir işlem sadece
kendisinin üzerindeki hareketleri işlediği için yerel olan fp-
tree'ler en sonda birleştirilmişti. Birleştirilen genel fp-tree
yapısı üzerinde ilk fazdakine benzer bir şekilde işlemler
tarafından paralel madencilik yapılacaktır. Asıl CLOSET+ Resim 4: Birleştirilmiş sonuç ağacı
algoritmasında bulunan başlık dizisi, destek değeri minimum
Resimlerden de görüldüğü üzere, sonuç ağacı yapı
değerden büyük her nesne için ağaçta geçtiği ilk uca birer
itibariyle fp-tree yapısına benzese de birleştirme işlemi temel
işaretçi tutmaktadır. Paralel algoritmada bu bilgi kullanılarak
olarak farklıdır. Fp-tree'ye benzer olarak önekler burada da
iş bölümü yapılmıştır.
kullanılmakta, kapalı sık nesne kümeleri sıkıştırılmış bir
Asıl CLOSET+ algoritması incelendiğinde madencilik
şekilde tutulmaktadır.
yapılırken aşağıdan yukarıya bir uç sırası izlenmesinin
Sonuç ağaçları birleştirilirken kapalı sık nesne
önemli olduğu görülür. Bunun nedeni ağaç yapısında aşağıda
kümelerinin özellikleri dikkate alınmıştır. Bir işlemde var
yer alan uçların madenciliğinde daha kapsamlı sık nesne
olan bir dal ucu diğer ağaçta aynı şekilde (aynı dal üzerinde)
kümelerinin bulunmasıdır. Dolayısıyla üstlerdeki uçlara
varsa destek değeri büyük olanın destek değeri alınmaktadır.
doğru gidildikçe daha önce bulunmuş olan sık nesne
Bir işlemin sonuç ağacında olmayan nesne ucu diğer işlemin
kümeleri tarafından kapsanmış olma durumu sonuç ağacında
sonuç ağacı ile geliyorsa bu uç birleştirilirken eklenmektedir.
kontrol edilecek, kapsanmışlık varsa sonuca
Resim 3 ve Resim 4'de görüldüğü üzere “süt” nesnesi her
eklenmeyecektir. Paralel CLOSET+'de tüm işlemler yerel
iki sonuç ağacında da yer aldığı için büyük olan destek
olarak aşağıdan yukarıya doğru bir madencilik
değeri birleştirilmiş sonuç ağacına alınmıştır. Diğer taraftan
yapmaktadırlar.
bir ağaçta olup diğerinde olmayan nesneler (“su” ve “gazete”
İlk fazdakine benzer olarak işlemlere üzerlerinde
gibi) birleştirilmiş ağaca direk olarak eklenmiştir.
çalışmaları için genel fp-tree ağacından nesne uçları verilir.
 6.Performans testleri oldukça düşük kalmıştır.

Performans testleri ODTÜ Bilgisayar Mühendisliğindeki

grid hesaplama ortamında [11] çalıştırılmıştır. Bu kümenin
her bir hesaplama ucunun donanımsal özellikleri şöyledir:
● 2 x Intel Xeon E5430 Quad-Core CPU (2.66 GHz,
12 MP L2 Cache, 1333 MHz FSB)
● 16 GB Bellek
● 2 x 3Com 4200G 24-port Gigabit Ethernet Switch
● 1 x Voltaire 9240D 24-port Infiniband Switch
Testler yapılırken çekirdek sayısından fazla işleme
(oversubscribe durumuna) izin verilmemiştir. Tek çekirdeğe
birden fazla işlem verilmesi daha sonraki araştırmalar için
ayrılmıştır. Testlerde iki tür veri kullanılmıştır. Bunlardan
birincisi IBM Quest programı [12] tarafından oluşturulan
yoğun ve yapay bir veri tabanıdır. Testlerde kullanılan ikinci
veri tabanı gerçek satış bilgileri içeren seyrek bir veri
tabanıdır [13]. Veri tabanları hakkında karşılaştırmalı bilgiyi
aşağıdaki tabloda bulabilirsiniz. Resim 6: Quest veri tabanı üzerinde MPI
çalıştırmaları (4 işleme kadar)
Veri tabanı Nesne Hareket ASCII boyutu
sayısı (transaction)
sayısı
Quest 100 125155 180 MB
Retail 16470 88163 4 MB

Tablo 3: Performans incelemesi yapılan iki veri

tabanının özellikleri

İnceleyeceğimiz ilk test sonucu sık nesne kümelerinin

sayısı hakkında olacak.

Resim 7: Quest veri tabanı üzerinde MPI çalıştırmaları

(16 işleme kadar)

Resim 6 ve Resim 7'de görülen temel nokta yüksek destek

Resim 5: Destek değeri ve sık nesne kümeleri sayısı
arasındaki ilişki
Resim 5'te ilk olarak yoğun veri tabanının, sonra sağ
tarafında karşılaştırma yapılmasına olanak verecek şekilde
seyrek veri tabanının destek ve kapalı sık nesne kümeleri
sayıları arasındaki ilişki görülmektedir. Yoğun veri tabanının
kapalı sık nesne kümeleri sayısı destek değeri %90 ile %40
arasında çok büyük miktarda artmıştır, ve %40'lık seviyede
60 bine yaklaşmıştır. Unutulmamalıdır ki sık nesne kümeleri
sayısı bu sayıların çok üstündedir. Bunun nedeni sık nesne
kümelerinin, kapalı sık nesne kümelerinin aynı desteğe sahip
birçok alt kümesini de içinde bulundurmalarıdır. Dolayısıyla
%40'lık bir minimum destek değerinde yoğun veri
tabanlarında çok miktarda sık nesne kümeleri çıkmaktadır.
Seyrek veri tabanına baktığımızda kapalı sık nesne
kümeleri sayısının düşük olduğunu ve destek yüzdesinin
oldukça aşağıya inmesiyle bu sayının arttığını görüyoruz.
Veri tabanı özelliklerini hatırlarsak bu veri tabanında nesne
sayısı oldukça fazlaydı. Bundan dolayı sık nesne kümeleri
sayısı aynı destek değerlerinde yoğun veri tabanına göre
değerlerinde fazla işlem sayısının kullanılan zamanı
azalttığıdır. İlk resime bakılırsa %90'lık bir destek değerinde
tek işlemli uygulama 20 saniye sürmüş, bu süre 2,3 ve 4
işlemlerde ise sırasıyla 11, 9, ve 7 saniye olmuştur. 4 işlemli
uygulamada neredeyse 3 kat bir zaman kazancı vardır.
Destek değerlerinin diğer ucuna, yani düşük değerlere
bakıldığında 8, 12 ve 16 işlemli çalıştırmalarda çalışma
zamanının büyük miktarda arttığını ve tek işlemcili
çalıştırmadan fazla çıktığını görmekteyiz. Uçlarda dört
çekirdekli çift işlemci bulunduğundan dolayı 8 işlem sonrası
için ikinci uç kullanıldı. Bu, iletişim maliyetinde artış
demektir. Resim 6 ve Resim 7 incelendiğinde işlem sayısı
arttıkça hızlanmanın yavaşladığı da görülmektedir. En fazla
hızlanma tek işlemciden iki işlemciye çıkarıldığında
görülebilir. Bunun nedeni olarak yine iletişim maliyetleri
görülmektedir.

Resim 8: Retail veri tabanı üzerinde MPI
çalıştırmaları (4 işleme kadar)
Resim 9: Retail veri tabanı üzerinde MPI
çalıştırmaları (detay)
Resim 8 ve Resim 9'da kullandığımız ikinci veri
tabanında yapılan çalışmaların grafikleri bulunmakta. İlk
incelediğimiz grafiklere benzer bir şekilde yüksek destek
değerleri için zaman kazancı birkaç kat olabiliyor. Destek
değerleri azaldıkça aradaki fark giderek kapanıyor ve bir
süre sonra tek işlemli uygulama öne geçiyor. Bu durumun
nedenine bir sonraki konumuz olan sonuçlarda tekrar
değineceğiz.
Resim 10: Retail veri tabanı üzerinde MPI çalıştırmaları
(16 işleme kadar)
Çok işlemli uygulamaların destek değerinin azalması ile
birlikte geri kalmasını daha fazla işlemli testlerde de
görebiliriz. İlk incelediğimiz veri tabanı testlerine benzer
şekilde, daha fazla işlemli test grafiklerini yukarıdaki
grafikte görebilirsiniz. Resim 10'da görülen sonuç düşük
destek değerlerinde az işlem sayılı uygulamaların daha hızlı
sonuç verdiğidir.
Şimdiye kadar incelediğimiz tüm test sonuçlarında tek
işleme baksak bile aslında hep MPI kullanan bir uygulamayı
kullandık. Geliştirdiğimiz uygulamanın MPI kodundan
arınmış, tamamen seri kodlardan oluşan bir sürümünü
derleyici tanımları (ifdef'ler) kullanarak oluşturduk. Böylece
MPI'ın ilk kurulumu ve başlatılması ile ne kadarlık bir yük
bindiğini görebiliriz. MPI kullansa bile hiç iletişim
yapmayan tek işlemli uygulamanın çok fazla geri kalmasını
beklemiyorduk, nitekim testlerde bizi destekleyici bir sonuç
çıktı.
Resim 11: Seri ve MPI uygulamalarının
karşılaştırılması – Quest verisi üzerinde
Resim 12: Seri ve MPI uygulamalarının
karşılaştırılması - Retail verisi üzerinde
7.Sonuçlar
Bir önceki bölümde bazı test grafikleri sunuldu. Hem
farklı verilerle test etme zorunluluğu ve bunların çeşitliliği
hem de farklı MPI uygulamaları ve bu uygulamaların içinde
farklı tekniklerle çözüm üretebilme esnekliği çok fazla
değişkenin incelenmesini gerektirmektedir.
MPI kütüphanesi olarak OpenMPI yerine mvapich ile
testler yapmak, arka plandaki farklı ağ bağlantılarını hız
yönünden test etmek (OpenMPI tarafından otomatik olarak
en gelişmiş bağlantı kullanılmakta, burada Infiniband [14])
ve tabii ki oldukça farklı çeşitlerde gelebilen verilerle testler
yapmak gelecekteki araştırma konuları olabilir.
Bazı temel teoriler bize olacakları tahmin etmemizde
yardımcı oluyor. Örneğin Amdahl Yasasına göre
paralelleştirilemeyen parçalardan dolayı işlem sayısına
lineer bir hızlanma beklenmez. Yapılan testlerde işlemci
sayısı arttıkça zamanda belirli bir oranda düşüş
görülmektedir.
Son olarak tahminlerimizde biraz şaşırmamıza neden
olan bir düşünceye burada yer vermek faydalı olacaktır.
MPI uygulamalarında en iyi çözülen problemler çok
hesaplama gücü ama az iletişim gerektiren problemler
olarak gösterilmektedir. Bunun nedeni hesaplama gücünün
dağıtılması ile sağlanan fayda ve iletişim nedeniyle olan
zarardır. Ancak çoğu problemin çözümü için gereken ara
sonuçlar hesaplama miktarı ile doğru orantılı olarak
artmaktadırlar. Bunun bir nedeni hesaplamayı arttırmanın
paralelleştirmeye uygun en iyi yolunun işlenecek veri
miktarının arttırılması olmasıdır. CLOSET+ ve başka birçok
veri madenciliği algoritmasında durum aynıdır. Dolayısıyla
araştırmacı veri ve hesaplama büyüdükçe paralel kazancın
artmasını bekler ama bu çoğunlukla tam olarak bu şekilde
gelişmez. Veri ve hesaplama büyüdükçe uçların birbirine
iletmesi gereken ara sonuç miktarları da artar. Burada bir
değiş tokuş vardır. Optimum bir paralel işlem sayısında
paralel hesaplama ile elde edilen kazanç ara çözümlerin
iletişim gereklerinden dolayı oluşan kayıplardan çok daha
fazla olacaktır. Bu en uygun işlem sayısı, çalışılan alana ve
veriye bağlı olarak değişiklik gösterecektir.
8.Teşekkürler
Uygulamanın geliştirilmesinde kullanılan altyapı,
eğitimler ve çeşitli destekleri için TÜBİTAK'a ve ODTÜ
Bilgisayar Mühendisliği bölümüne teşekkürlerimizi sunarız.
Bu araştırmanın bir bölümü TÜBİTAK BİDEB 2210
Yüksek Lisans Burs Programı ile desteklenmiştir.
Grafikler için dia ve gnuplot kullanılmış, makale
OpenOffice.org Kelime İşlemcisinde yazılmıştır.
9.Kaynakça
[1] R. Agrawal, T. Imielinski ve A. Swami. Mining
association rules between sets of items in large
databases. Proc. 1993 ACM-SIGMOD Int. Conf.
Management of Data, sayfa 207-216, 1993.
[2] R. Agrawal ve J. Shafer. Parallel mining of association
rules: Design, implementation, and experience. IEEE
Trans. Knowledge and Data Engineering, sayfa 962-
969, 1996.
[3] M. Zaki and C. Hsiao. CHARM: An efficient algorithm
for closed itemset mining. SDM'02, 2002.
[4] J. Wang, J. Han ve J. Pei. CLOSET+: searching for the
best strategies for mining frequent closed itemsets.
Proceedings of the ninth ACM SIGKDD international
conference, 2003.
[5] J. Han, H. Pei ve Y. Yin. Mining frequent patterns
without candidate generation. SIGMOD'00, 2000.
[6] N. Pasquier, Y. Bastide, R. Taouil, ve L. Lakhal.
Discovering frequent closed itemsets for association
rules. ICDT'99, 1999.
[7] J. Pei, J. Han, ve R. Mao. CLOSET: An efficient
algorithm for mining frequent closed itemsets.
DMKD'00, Mayıs 2000.
[8] W. Tansey ve E. Tilevich. Efficient Automated
Marshaling of C++ Data Structures for MPI
Applications, In Proceedings of the 22nd Annual IEEE
International Parallel and Distributed Processing
Symposium (IPDPS 2008).
[9] Boost kütüphaneleri anasayfası için:
http://www.boost.org/
[10] OpenMP anasayfası için. http://openmp.org/
[11] Daha fazla bilgi için http://hpc.ceng.metu.edu.tr/
[12] IBM Quest programını indirmek için:
http://www.almaden.ibm.com/cs/projects/iis/hdb/Project
s/data_mining/datasets/syndata.html
[13] Retail veri tabanı http://fimi.cs.helsinki.fi/data/
adresinden indirildi, asıl isim: retail.dat. Veri hakkında
daha detaylı analiz için: Brijs T., Swinnen G., Vanhoof
K., ve Wets G. (1999), “The use of association rules for
product assortment decisions: a case study”,
Proceedings of the Fifth International Conference on
Knowledge Discovery and Data Mining, sayfalar: 254-
260.
[14] OpenMPI arka plan bağlantı ayarları için bkz.
http://www.open-mpi.org/faq/?category=tcp#tcp-auto-
disable
[15] O. R. Zaiane, M. El-Hajj ve P. Lu. Fast Parallel
Association Rule Mining without Candidacy
Generation, Proceedings of the 2001 IEEE ICDM.