Panevropski univerzitet Apeiron

Fakultet informacionih tehnologija

Seminarski rad

Predmet:
Poslovna inteligencija

Tema:
Izgradnja skladita podataka

Predmetni nastavnik:prof.dr. Gordana Radi

Student:Nikola Perii,72-14/RPI
Sadraj

1.Uvod........................................................................................................................ 3
2. Osnovni pojmovi..................................................................................................... 4
3.Izgradnja skladita podataka...................................................................................5
3.1.Proces izgradnje skladita podataka..................................................................5
3.2 Fizika transformacija........................................................................................ 6
3.3 Neformalna metodologija izgradnje skladita podataka....................................7
4. POSTUPAK IZGRADNJE SKLADITA PODATAKA........................................................8
1.Analiza i oblikovanje skladita podataka..............................................................8
2.Implementacija:.................................................................................................... 9
3.Eksploatacija:....................................................................................................... 9
5. Zakljuak................................................................................................................ 9
6. Literatura............................................................................................................. 10
1.Uvod

Proces izgradnje skladita podataka je veoma odgovoran I naroito sloen

posao.Da bi izgradili skladite podataka prije svega treba odlino poznavati
osnovne principe rada baze podataka i rad u SQL-u i PL/Sql-u.Prije svega
potrebno je da dobro razumijemo poslovni proces koji emo pratiti.Jedan od
problema u izgradnji skladita podataka je uglavnom odabiri podataka koji su
bitni za proces koji se prati i raspoznavanje injenica.

Sam proces izgradnje sastoji se od vie faza: Faza razvoja logikog

modela,faza definisanja procesa uitavanja,izvlaenja i transformacije
podataka u skladite,te faze u kojoj se provjeravaju uitani podatci.U
zavisnosti od toga,koji programski paket koristimo u toku izgradnje skladita
podataka moe da postoji jo neka faza kao npr. faza konfiguracije i faza
generisanja.

Pojam skladite podataka (Data Warehouse) predstavlja skup podataka koji

su izolovani iz operativnih baza i spremljeni u druge posebne baze.Kod Data
Warehouse podaci se prikupljaju i koriste na taj nain da svima budu
dostupni i da ih poslovna organizacija moe brzo i jednostavno iskoristiti za
analizu u toku njihovog poslovanja.

Implementacija i razvoj Data Warehouse sistema zahtijeva vie finansijskih

sredstava kao i vie vremena.Uglavnom,preduzea koja su uspjena odluuju
se da koriste tehnologiju skladita podataka zato to znaju da posjednovanje
pravih i svjeih informacija donosi strateku prednost,tj. imaju mogunost da
brzo reaguju na novonastala stanja na tritu.Samim time obezbjeuju
uspjenije poslovanje i dui opstanak svoje firme na tritu.Najpraktiniji
pristup je postepena izgradnja uz djelimino nadograivanje sistema.U
sluaju da se taj pristup primjeni,zadnji korak e predstavljati razvoj
troslojnog modela Data Warehouse sistema.Postupak poinje kreiranjem
nekog skladita koji podrava troslojnu arhitekturu.Nakon odreenog
vremenskog intervala,kada je odreeni broj skladia ve razvijen,poinje se
sa kreiranjem glavnog(centralnog) skladita.


2. Osnovni pojmovi

Skladite podataka je baza podataka koja u sebi ima istorijske podatke i oni
su fiziki i logiki pronaeni u raznim izvorima.Takvi podatci se u skladu sa
definisanim modelom upisuju u skladite i sjedinjuju sa podatcima koji vec
postoje i to sve u svrhu podrke poslovnom odluivanju.Kao to vidimo u
definiciji,skladite podataka ima istorijske podatke koji u reziminirani i
detaljni.Takvi podatci su doli iz razliitih izvora,najee iz transakcijskih
baza.Veoma bitno je spomenuti da je Data Warehouse odovojen fiziki i
transformisano logiki od izvora podataka.

Data Warehouse je tzv. proces integrisanja podataka o radu neke

organizacione jedinice u bazu podataka,u kojoj korisnici mogu da ispostaljaju
izvjetaje,da postavljaju upit i da vre analizu raznih podataka.Bitno je
spomenuti da je Data Warehouse proces koji se na zavrava uitavanjem
podataka,nego se skladite obnavlja svjeijim podatcima u odreenom
vremenskom periodu.Prema tome,moe se zakljuiti da je Data Warehouse
proces koji je kontinuiran i koji traje veoma dugo.

Pored pojma skladitenje i skladita,mnogo puta se mogu uti pojmovi kao

to su Iskopavanje podataka ili na engleskom Data Mining,Mrena
analitika obrada ili OLAP (Online Analytic Processing) kao i metapodatci.

Data mining ili rudarenje podataka predstavlja organizovanje,sortiranjei

grupisanje velikog broja podataka i izvlaenje relevantnih informacija.

Olap (Online analytic Processing) obuhvata alate koje samom korisniku daju
pomo u procesu poslovnog odluivanja.Njihov temelj se gradi na
viedimenzijskom pristupanju.Svrha ovakvog pristupa je da omoguci
krajnjem korisniku da ima uvid o podatcima na onovu kojih ce on da donose
svoju konacnu odluku.
Metapodaci predstavljaju podatke o podatcima - oni opisuju karakteristike
nekih izvora najee u digitalnom obliku.Najkorisniji su kod
pregleda,prenosa I dokumentovanja informatikog sadraja.Gledajui ga u
digitalnom obliku,to je podatak koji olakava upravljanje procesima.

3.Izgradnja skladita podataka

3.1.Proces izgradnje skladita podataka

Da bi se uopte izvrila izgradnja skladitenja podataka najbitnije je uraditi

glavne zahtjeve.Prvo treba da postoji elja I neka potreba da bi se podaci
skladitili I naravno treba postojati neko ko e proces da pogura.Ta
organizacija mora da bude spremna za skladitenje,pri emu se sprema
ogleda u tome da li poslovni motiv postoji,spremnost osoblja na mogue
promjene kao I raspoloivost podataka.Proces igradnje skladitenja podataka
poinje definisamnjem zahtjeva od strane korisnika.Glavni projektant stupa u
kontakt sa korisnikom I dolazi do saznanja koje su njegove potrebe I
elje.Poslije toga stupa u kontakt sa administratorom baze te dolazi do
saznanja kakva je struktura baze I sa kakvim podatcima
raspolae.Takoe,projektant mora da pronae ravnoteu izmeu potreba
korisnika I realnosti koje postojei podaci pruaju.

Poslije analiziranja zahtjeva I postojecih podataka u operacionoj bazi,na red

dolazi izrada logikih modela skladitenja podataka.Podaci koji se uitavaju u
skladite prije svega moraju biti logiki I fiziki transformirani u
najodgovarajui oblik.Pri tome veoma je vano da svi podaci budu
transformisani I integrisani u skladite podataka na vrst tj. na odriv
nain.To treba da znai da se kroz kompletno skladite trebaju zadrati stalne
konvencije imena,stalne mjerne jedinice raznih varijabli,stalna struktura
ifrovanja I sl.

Podaci se transformiu logiki tokom izvlaenja Iz transakcijske baze I

uitavaju u skladite.Podaci su u toj transakcijskoj bazi smjeteni u sistemu
velikih karakteristika koje sadre relacijske modele podataka koji su
optimizovani za veoma brzo izvravanje.Podaci koji se nalaze u skladitu se
premodeliraju u dimenzijski model koji je prilagodljiv pri izvoenju upita nad
hiljadu zapisa u isto vrijeme.Takoe,takvi podaci trebaju biti organizovani na
takav nain da omoguavaju jednostavnije proirenje I u takvom obliku
struktuirani da na njega mogu stati razni podaci iz razliitih izvora.Veoma je
bitno da se model podataka podudara sa strukturom posla I da se prati
napredak posla(zbog toga je demenzijski model veoma prihvatljiv).U
skladitu podataka,sami podaci su u veini sluajeva denormalizovani te
osiguravaju statiki odnos u istorijskim podacima.

3.2 Fizika transformacija vri proiavanje podataka I obavlja par

zadataka kojima je u cilju osiguravanje razumijevanja pohranjenih podataka I
njihovu vrstinu tom skladitenja.U transakcijskom sisteemu za imenovanje
atributa I pojmove uglavnom se koriste vrlo tesko razumna imena I
kriptovana imena,koja e samom korisniku biti vrlo teka za korienje.Isto
tako drugaciji izvori eto imaju I drugaija imena za identian pojam.U toku
fizike transformacije takva imena I takvi pojmovi transformiu se u
istoznane,standardizovane poslove izraze koji su jasni samom korisniku.

Sistemi koji se razlikuju nekad imaju za identine atribute razliite vrste

podataka,drugaije duine.Fizikom transformacijom sve one tipove
podataka koji su drugaije duine moramo pretvoriti u istoznaan tj
prihvatljiviji oblik.Uglavnom,esti su sluajevi da u aplikacijama koje su
razliite,neki programeri na razliite naine ifrovaju identian pojam ili za
identinu vrijednost atributa koriste drugaije pojmove,zbog toga se fizikom
transformacijom pretvara u oblik koji korisnik zahtjeva.Poslednji ali I ne malo
vaan zadatak kod fizike transformacije je kako transformisati podatak koji
je nekompletan,pokvaren Ili podatak koji moda fali.Neki od takvih podataka
se moe nadopuniti nekom poetnom vrijednosti.Za onakve tipove podataka
koji se ne mogu nadomjesiti ,postoje I druga rjeenja I drugaiji naini(bitno
je da korisnik mora biti upozoren da takvog podatka nema I sl.)
Fizika I logika transformacija predstavljaju dio nekog procesa koji je poznat
kao ETL (e-ekstrakcija,t-transformacija I l-uitavanje podataka.Takav proces
je poetak implementovanja skalditenja podataka.To treba da znai da je
prvo potrebno analizirati zahtjeve u podatke u izvorima,potom definisati
logiki model I poslije toga se poinje sa implementacijom logike molbe za
skladitenje podataka.

Ekstrakcija ili izvlaenje kao I uitavanje I transformacija se vre ispisivanjem

skrpti u pogodnom programskom jeziku kao to su PL/SQL ili SQL,te
korienjem tih skripti.Te skripte zovemo mapiranje.U dananje vrijeme postoji
mnogo alata I programskih paketa kao na primjer Oracle Warehouse
Builder,koji omoguava da se te skripte ispisuju u grafikom obliku,da bi se
izbjeglo ispisivanje koda.Tokom etl-a iz izvora se vri izvlaenje podataka koji
se transformiu u pogodan oblik,vri se njihovo proiavanje,postojece
greke se ispravljaju I nakon toga se integriu u skladite.

Inicijalnim oitavanjem podataka tok izgradnje skladita podataka nije

zavren.Nakon uitavanja poetnih podataka,zapoeti posao nije gotov zbog
toga to je potrebno osigurati oitavanjen nekih podataka u odreenom
vremenskom intervalu.Tipian primjer intervala je dan tj. oitavanje podataka
svakodnevno u skladite.Ovaj proces nazivamo periodicno punjenje ili
refreovanje podataka.Zadatak projektanta je osigurati proces tj. da on
protie po planu.Operacija refreovanja podataka se u veim sistemima vri
automatski.to znai da osvjeavanje podataka poinje i zavrava onako
kako je programirano,dok provjeravanje podataka vri administrator skladita
podataka.

Poslije osiguravanja periodinog osveavanja podataka i njihovog inicijalnog

punjenja,skaldite postaje izgraeno ,meutim njega je potrebno redovno
pregledati i upravljati sa njim,i naknadno rekonstruisati ako je to
potrebno.Sami korisnici e koristiti podatke koje se nalaze u skladitu.Prema
tome,moemo zakljuiti da proces skladitenja (ne proces izgranje)
ini:izvlaenje,uitavanje i transformacija podataka,upravljanje i uvanje
podataka,kao i upotreba podataka kao podrka procesu u poslovnom
odluivanju.
3.3 Neformalna metodologija izgradnje skladita podataka

Eksperti koji due vrijeme rade sa skalditenjem podataka i samom

izgradnjom podataka,stvorili su metodologiju koja se moe koristiti tokom
izgradnje skladita.Meutim,treba spomenuti da takva metodologija nije u
potpunosti formalizovana,tj. ona predstavlja i neku vrstu preporuke i
usmjeravanja koja bi se trebala potovati tokom izgradnje skladita
podataka.Pomenuta metodologija sadri 9 pitanja na koje treba dati
odgovor.Ova pitanja jo nazivamo i take odluke ili decision point.Ovih devet
taaka odluke prilikom izgradnje skladita sastoje se od sledeih pitanja:

1.Koji se poslovni proces trebaju modelovati,tj. koje se tebele injenica

2.ta je to izvor svake tabele injenica

3.Kakve dimenzije imaju te tabele injenica

4.Koje su to najbitnije injenice

5.Kakvi su dimenzijski atributi

6.Kako e se pratiti one dimenzije koje se sporo mijenjaju

7.Koje se agregacije koriste,koje mikrodimenzije,koje su heterogene

tabele,naini upita

8.Koliko e se dugo podatci uvati

9.Da li se podaci uitavaju i izvlae u skladite uestalo

Sve navedene odluke treba donijeti po ovome redoslijedu.Ovakva

metodologija se jo zove i metodologija od vrha prema dnu,zbog toga to
poinje identifikovanjem osnovnih procesa u organizaciji o kojoj se skupljaju
podaci te se nakon toga pristupa rjeavanju problema u detaljima.Najbitnija
pitanja su na samom poetku i o odgovorima na njih zavisi u veem dijelu
uspjenost cjelokupnog projekta.Najvanije je jasno razdvojiti poslovne
proces koji se kontroliu i prepoznati realne injenice,zbog toga to od toga
zavisi logiki model a ako on bude lo samim tim i skladite podataka e biti
loe.Poslije etvrte take odluke,zavrava se sa logikim dizajnom te se
pristupa radu na vioj razini fizikog dizajna.Sledeca etapa je donoenje
odluke o tome koliko e se podaci uvati i koliko uestalo ce se vriti
oitavanje novih podataka.

Treba naglasiti da sve navedene odluke nisu ni malo jednostavne i da se ne

mogu raditi iz niega.Bitno je da se prije samog poetka izgradnje provedu
opseni razgovori sa korisnicima ili administratorima transakcijske baze da bi
se saznalo koje su korisnikove potrebe i elje i prije svega da bi se znala
donijeti prava odluka tokom izgradnje skladita podataka.Pored ovih pitanja
treba voditi brigu i za potrebu hardvera i za odabir odgovarajue programske
podrke(kakav raunar treba da bude,koje aplikacije odabrati za
izvjetavanje i sl.).

4. POSTUPAK IZGRADNJE SKLADITA PODATAKA

1.Analiza i oblikovanje skladita podataka:Najbitnije aktivnosti koje

se obavljaju tokom ove faze: a)analiza potreba i potranje za skladitenje -
potranja za skladitenjem uglavnom nastaje zbog toga to se organizaciona
jedinica firme suoava sa nekim od problema koji se teko rjeavaju.Zbog
toga se obavlja razgovor sa zaposlenima te se pristupa prikupljanju
podataka.

b) Ispitivanje kvaliteta podataka i odabir glavnog uzorka podataka nad

kojima se vri testiranje,nakon kojeg bi se obavila analiza dobijenih rezultata
i ocjenio kvalitet podataka.

c) izrada modela poslovnih podataka,grade se osnovu dokazane potranje

onih poslovnih subjekata koju su zainteresovani za informacije. One se
odnose na klijente,porudbe,distribucione kanale,fakture,dobavljae i sl.

d) izrada logikog modela koji treba sluiti kao podloga za pohranu podataka
na memoriji raunara odnosno u skalditu podataka.Postoje tri vrste a to
su:mreni,hijerarhijski i najbitniji relacioni model podataka.

e) provjeravanje rezultata je obavezna prije samo implementacije da bi se

otkril na vrijeme i odstranili mogui porblemi i nedostatci.Provjeru fokusiramo
na provjeri tehnologija,funkcija i provjeru prihvatljivosti.
2.Implementacija: aktivacija i uspotavljanje realnog skladita podataka.U
daljem radu je potrebno: a) napraviti fiziki model podataka koji potvruje
nain na koji se logiki model implementuje u fiziku memoriju raunara.

b) definisanje operacionih procedura - potvruju se i opisuju tehniki i

tehnoloki aspekti korienja sistema skaldita podataka.Najbitniji koraci su
kontrolisanje planova i redoslijeda popunjavanja,sigurnost te zastupnitvo
korisnika,te provjera funkcionisanja sistema u cjelini.

3.Eksploatacija: uglavnom se koristi za: a) izvjetavanje-gdje se stie uvid

o poslovanju firme.Osnovni tipovi izjetaja su pogodna,skupna i
standardizovana.

b) postavljanje upita,kao npr. stanje zaliha

c)prognostike i analitike primjene - predstavlja konvertovanje podataka u

znanje i poslovnu inteligenciju.

5. Zakljuak

Skladitenje podataka je pojam koje se pojavio u poslednjih par godina,i koji

uopteno slui za podrku procesa poslovnog izvjetavanja.Skladitenje
podataka se koristi da bi se jednostavnije izvjetavalo i da bi se lake koristili
raspoloivi resursi.Proces izgradnje skladita je veoma teak i prezahtjevan
posao i prije svega prilino odgovoran.Prilikom same izgradnje bitno je
definisati odaklen e se uzimati podaci,neophodno je definisati logiki model
skladitenja u kojem e se uvati dobijeni padaci.Isto tako,vano je definisati
proces izvlaenja,transformacije i uitavanja iz glavnog izvora u skladite,to
se vri pomou skripti u razliitim programskim jezicima.Poslije definisanja
logikog modela,bitno je implementovati realno skladite,oitati podatke
unutar njega i nabitnije provjeriti kolika je tanost tih podataka i da li su
regularno uitani.

6. Literatura
1. Z. Skocir, I. Matasic, Vrdoljak, Organizacija obrade podataka, interna
skripta, Zavod za telekomunikacije, 2001
2. http://poslovna-inteligencija.blogspot.ba/2011/06/data-warehouse.html
3. Bojan iri, Poslovna inteligencija, Data status, Beograd, 2006