VER TABANI YNETM

Ders 12: Veri Ambar & OLAP

Yrd. Do. Dr. Altan MESUT

Trakya niversitesi Bilgisayar Mhendislii

Veri Ambar Nedir?

Veri ambar, bir iletmenin ya da kuruluun deiik birimleri tarafndan toplanan bilgilerden deerli olanlarnn, gelecekte analiz ilemlerinde kullanlmas amacyla iletimsel sistem veritabanndan farkl bir ortamda birletirilmesinden oluan byk apl bir veri deposudur. Bir veri ambar ilgili veriyi kolay, hzl ve doru biimde analiz etmek iin gerekli ilemleri yerine getirir. Veri ambar kullanldnda, gnlk iletimsel grevlerle yeterince megul olan veritaban kullanlmadan, analiz ilemleri farkl bir ortamda yaplr.

Veri Ambar Mimarisi

Veri Madencilii Nedir?

Veri madencilii, veri ambarlar zerinde AI (yapay zeka), istatistiksel ve matematiksel teknikleri kullanarak, saklanlan byk miktarlardaki veriler zerinden, anlaml yeni ilikiler, desenler ve eilimler kefetme ilemidir.

Veri Madenciliinin Kullanm Amalarndan Bazlar:

Stratejik Analiz: Bir KDS (Karar Destek Sistemi) olmasndan dolay Finansal Analiz: Maliyetlerin azaltlmas dolaysyla rekabet avantajnn salanmas Sat analizi ve trendler zerine odaklanmak Mterilerin gizli kalm satn alma eilimlerini tespit etmek ler arasnda ilikilerin belirlenebilmesi Mteri ihtiyalarna abuk cevap verebilme (Etkin CRM)

OLAP (On-Line Analytical Processing)

OLAP aralar, her kullancnn kolaylkla kullanabilecei yaps ile veriye ok boyutlu eriimi salamaktadr. OLAP aralar ile;
En ok kr getiren mterilerim kimlerdir? (Bayi ve perakendeci baznda.) En krl rnlerim nelerdir? Hangi iletme ya da maazamda, en ok hangi saat ve gnlerde hareketlilik olmaktadr?

gibi sorulara cevap bulunabilmektedir.

Veri Ambar
Off-Line alr Veri deiiminden ok sorgulama yaplr Eski verilerden oluur Kullanc says azdr (<100) st ynetime hitap eden KDSlerdir Veri madencilii gibi uzun ve karmak sreler sonucunda analizler yaplabilir

Veri Taban
On-Line alr Veri deiimi ilemleri younluktadr (DML) Gncel verilerden oluur Kullanc says fazladr (>1000) Veriye ulamak ve deitirmek isteyen her kullancya hitap eder Sorgularla istenilen sonulara annda ulalr

Veri ambar yerine veri taban (iletimsel sistem) kullanlrsa

letimsel sistemlerde srekli deien veri karar verme ilemi iin uygun deildir. letimsel sistemlerde kompleks bir sorgu yaplacaksa, bir ok tablodan veri toplanmas gereklidir. letimsel sistemlerde sadece ilemsel veriler saklanlr. Gemie ynelik veri saklanlmaz. Organizasyondaki farkl uygulamalar, farkl teknolojiler ve ortamlar kullanabilmektedir. Byle sistemlerde veri analiz ve sorgulamas, verinin yeri ve ortak bir formata dnm ilemlerini ierdiinden zor olabilir.

Veri Pazarlar (Data Marts)

Birleik verilerin tutulduu veri ambarna ilave olarak kullanlan veri deposu olarak tanmlanabilir. Veri pazar, belirli kullanc grubu iin yaratlan veri blmdr. Veri pazar, normalize edilmemi, zetlenmi, toplanlm veri topluluu olabilir.

Veri Ambar ile Veri Pazar Arasndaki Farklar

Veri pazar sadece bir zne alana veya sadece bir grup kullanc zerine odaklanr. Bir organizasyon sadece bir veri ambarna sahip olur, fakat bir ok veri pazar ierebilir. Veri pazarlar veri ambarlarnn aksine, iletimsel veri kaynaklar bilgisine sahip deildir. nk veri pazarlar, veri ambarlarnn aksine daha az bilgi ierirler bu nedenle kullanclar iin ok daha abuk ve kolayca anlalabilirler.

ETL (Extract-Transform-Load) (karm-Dntrme-Ykleme)

Veri karm, veri ambarnn kulland kaynaklardan (veri taban ve/veya dier kaynaklar) veri elde etme ilemidir. Kaynaklardan karlan veri genellikle geici dosyalara yklenilir. Dntrme aamasnda ise, elde edilen verilerdeki fazlalklar atlr (veri temizleme) ve her veri sorgulamalarda kullanlabilecek uygun veri trne dntrlr. Ykleme, dntrlen verinin veri ambarna aktarlmas ilemidir.

Veri Ambar in Kullanlan Modelleme Teknikleri

Veritaban tasarmnda kullanlan E-R modeli iki boyutlu olup, tm varlklara eitmi gz ile baklr. Veri ambarlar iin ok boyutlu perspektifi gerekleyebilecek yeni modelleme teknikleri kefedilmitir:
Yldz (Star) Kar Tanesi (Snowflake) Karma (Mixed)

Yldz (Star) Modeli

Gerek tablosu, temel i lmlerini ieren niteliklerden oluur. Bir gerek tablo, o tabloya ait spesifik nitelikler ve boyut tablolaryla ilikili yabanc anahtarlar iermektedir.
Boyut tablosu, gerek tablosunda saklanlan veriyi indeksler ve organize eden niteliklerden olumaktadr. Boyut tablosu, boyutu tanmlayan nitelikleri iermektedir.

Kar Tanesi (Snowflake) Modeli

Kar tanesi modeli, yldz modelinin gelitirilmi halidir. Gerek tablolarnn her bir boyut tablosu baka boyut tablolarna da sahiptir. Boyut tablolar, bir ok nitelie sahip olduklarnda, normalize edilmeleri gereklidir. Yldz modeli normalize edilmi boyut tablolarn desteklemediinden, bu durumda kar tanesi modeli tercih edilmelidir.

Kar Tanesi Modelinin Avantajlar ve Dezavantajlar

Avantajlar:
Tm tekrarlanlan veriler kaldrldndan, saklama alan korunmu olur. Byk normalize edilmemi tablolar yerine, Joinler iin normalize edilmi daha kk tablolar kullanlr.

Dezavantajlar:
Sorgu sonucunda Join edilmesi gereken tablolarn saysnn belirlenmesindeki zorluk Belirli bir sorguda kullanlacak tabloyu belirlemedeki zorluk

Karma (Mixed) Modeli

Baz veritaban dizaynlarnda, boyut tablolar veri hacminde ok geni farkllklar gsterir. Byle durumlarda tm tasarmda ne yldz ne de kar tanesi modeli kullanlamaz. Her iki modelin bir kombinasyonuna ihtiya duyulur. Bu kombinasyon modeline karma model denilmektedir.

Kp (Cube)
Verinin hzl bir ekilde analizine izin veren veri yapsdr. Yldz modeli iin verilen rnek bir kp zerinde aadaki gibi saklanabilir:
Gerek tablosu :
prodId storeId p1 c1 p2 c1 p1 c3 p2 c2 p1 c1 p1 c2 date 1 1 1 1 2 2 amt 12 11 50 8 44 4

ok boyutlu (3D) kp :

day 2 day 1

p1 p2 c1 p1 12 p2 11

c1 44
c2 8

c2 4
c3 50

c3

Kp lemleri
rnek: Toplam Hesaplama
day 2
day 1
p1 p2 c1 p1 12 p2 11 c1 44 c2 8 c2 4 c3 50 c3

... sale(c1,*,*)
sum c1 67 c2 12 c3 50

p1 p2

c1 56 11

c2 4 8

c3 50

129
p1 p2 sum 110 19

sale(c2,p2,*) rollup drill-down

sale(*,*,*)

zet Tablolar (Materialized Views)

zet tablolar (MV) bir sorgunun sonucunu saklar.
Grntden fark, grnt sorgunun sonucunu deil sadece sorguyu saklar. Yani sorgunun kapsad tablo yada tablolardaki veriler deitike grnt de deiir. Fakat MV ayr bir tablo gibi sorgu sonucunu sakladndan dolay, ilgili tablolar deitike ierii deimez. Bu nedenle CREATE TABLE AS SELECT komutu ile bir tablo oluturmaya benzer. Bir tablodan fark ise, belirli zaman aralklar ile sorgunun tekrar altrlp, deimi olabilecek bilgilerin gncellenebilmesidir.

Karmak sorgularn yavalndan kurtulmak iin veri ambar ile ilgili sorgulamalarn hzlandrlmas iin kullanlr.

zet Tablolar (Materialized Views)

MVler ilk olarak Oracle veritabannda kullanlmaya balanm (Oracle 8iden nceki ismi Snapshot idi), daha sonra IBM DB2 ve MS SQL Server tarafndan da kullanlmtr. Tablolara olan benzerliinden dolay IBM DB2da Materialized Query Tables ismi verilmitir. MV zerinde de tablolarda olduu gibi indeks oluturabildii iin MS SQL Serverda ise Indexed Views olarak isimlendirilmitir.

MV Yaratma
CREATE MATERIALIZED VIEW base_lookup_mv PARALLEL BUILD IMMEDIATE REFRESH FAST ON COMMIT ENABLE QUERY REWRITE AS SELECT l.nam ,COUNT(b.tot) count_tot ,SUM(b.tot) sum_tot ,AVG(b.tot) avg_tot FROM base_table b, lookup_table l WHERE b.id = l.id GROUP BY l.nam;

lem Sreleri: Normal Insert MV Insert Normal Select MV Select

: 60 s : 70 s : 1,015 s : 0.557 s