Aplikacija za uvoz podataka iz vanjskih izvora u

skladite podataka
Kreo Mateji*, Zrinko Mro**
*IN2

d.o.o., Zagreb, Croatia, kreso.matejcic@in2.hr

d.o.o., Zagreb, Croatia, zrinko.mrso@in2.hr

**IN2

Saetak - Aplikacija za uvoz podataka iz vanjskih izvora u

skladite podataka (DWH) omoguuje korisniku da
samostalno unosi vanjske podatke u sustav za potporu
poslovnom odluivanju (BI sustav). Korisnici BI sustava
esto imaju potrebu za podacima koji nisu obuhvaeni
redovitom ekstrakcijom podataka iz standardnih izvora
(transakcijske baze podataka, ERP sustavi i sl.). Ti podaci
nisu obuhvaeni ekstrakcijom iz raznih razloga: dolaze
sporadino, dolaze svaki put u drugaijem obliku, potjeu iz
izvora koji nisu povezani s centralnim informacijskim
sustavom poduzea. Pomou aplikacije za uvoz podataka
korisnik ima mogunost da sam preslikava podatke iz excela
(obine ili pivot tablice) na vrijednosti mjera ili dimenzija u
skladitu podataka. Aplikacija se brine za konzistentnost
skladita podataka, tj. ne dozvoljava unos na nepoznate
dimenzijske vrijednosti, te trai od korisnika da dimenzijske
vrijednosti koje nisu u sustavu preslikava na neku
dimenzijsku vrijednost. Podrana je verifikacija podataka,
u smislu da uneseni podaci nee biti vidljivi korisnicima
(iako su unijeti u sustav) dok verifikator ne oznai podatke
vidljivima. Aplikacija je bazirana na Oracle tehnologiji i
integrirana je sa OBIEE izvjetajnim alatom.

Slika 1.

MIPRO 2014/miproBIS

I.

UVOD

Glavni izvori za skladite podataka (DWH) su obino

razne baze podataka koje postoje u poduzeima. No, vrlo
esto postoji potreba za uvozom podataka iz razliitih
vanjskih izvora. Tipian vanjski izvor su Microsoft Excel
datoteke, a moe se raditi i o drugim izvorima poput
raznih internih aplikacija na starijim platformama, koje
nisu integrirane u novije sustave, ali se i dalje koriste za
odreene svrhe.
Uobiajeno je da podatke iz vanjskih izvora uvozi IT
poduzea ili implementator skladita podataka. Samim tim
je vie ljudi ukljueno u proces, a poslovni korisnici su
ovisni o IT-ju. Posljedica te ovisnosti je vrlo esto i
zakanjela dostupnost podataka iz vanjskih izvora u
sustavu za podrku poslovnom odluivanju.
IN2 aplikacija za uvoz podataka iz vanjskih izvora
omoguava poslovnim korisnicima da samostalno uvoze
podatke, ocjenjuju njihovu ispravnost, odnosno
kontroliraju cijeli proces. Ne postoji ovisnost o IT sektoru
ili implementatoru.

Arhitektura sustava

1677

Sama aplikacija za uvoz podataka implementirana je

Oracle APEX tehnologijom [4]. Pomou aplikacije podaci
se pune u DWH, tj. aplikacija unutar sebe ima
implementiran jednostavni ELT proces.
III.

OPIS MOGUNOSTI APLIKACIJE

Svrha aplikacije je da korisniku omogui samostalan unos

vanjskih podataka direktno u skladite podataka. Podaci
se uvoze u tablicu mjera skladita podataka. To znai da
se barem jedan stupac iz vanjskog izvora treba moi
preslikati na neku mjeru iz skladita podataka, a ostali
stupci na dimenzije koje opisuju tu mjeru. Naravno,
vanjski izvor moe sadravati i vie mjera, rasporeenih u
vie stupaca.

Slika 2.

II.

Podaci za unos

ARHITEKTURA SUSTAVA

Arhitektura sustava prikazana je na slici 1. Radi se o

sustavu za podrku poslovnom odluivanju (BI) u
potpunosti baziranom na Oracle tehnologiji. Front-end dio
je Oracle Business Intelligence Enterprise Edition
(OBIEE), koji slui kao BI server [3]. Izvor podataka za
OBIEE je skladite podataka implementirano u Oracle
11gR2 bazi.
Skladite podataka puni se ELT (extract-loadtransform) procesom [2], to znai da se svi podaci prvo
dovedu u pripremno podruje u bazi te se potom
transformiraju i pune u skladino podruje (DWH), u
zvjezdastu strukturu mjera i dimenzija [1].

Slika 4.

1678

Slika 3.

Preslikavanje dimenzija i mjera

Tipina je situacija da se dodatni korisniki podaci

nalaze u excelu. Korisnik uitava excel kroz aplikaciju te
oznaava stupce koji predstavljaju mjere i koje
vrijednosti mjera uvozi (ne mora uvesti kompletan
vanjski izvor, Excel). Zatim odreuje koji stupci
predstavljaju pojedine dimenzije i preslikava vrijednosti
iz dimenzijskih stupaca excela na vrijednosti iz dimenzija
skladita podataka.

Odabir podataka za unos

MIPRO 2014/miproBIS

Slika 5.

Preslikavanje vrijednosti na dimenzijske vrijednosti

Za potrebe ponovnog uitavanja excel datoteke iste

strukture, aplikacija podrava spremanje definiranih
preslikavanja putem predloaka. Predloci omoguavaju
znatno bri uvoz svaki sljedei put.

predloaka omoguava znatno ubrzavanje uvoza u

sluaju repetitivnih dostava u istoj strukturi.
IV.

PROCES UNOSA PODATAKA

Podaci koje korisnik uitava nalaze se u excel datoteci

(Slika 2. ), u obliku pivot ili obine tablice.
Izvorini podaci mogu biti dostavljeni kao jednostavna
tablica s vrijednostima po stupcima ili kao zaokretna
(pivot) tablica. Prvi korak procesa uvoza podataka je
uitavanje excel datoteke (ili drugog vanjskog izvora) u
aplikaciju. Aplikacija datoteku sprema u bazu, kako bi
original datoteke bio spremljen za naknadnu analizu,
kontrolu ili za izvanredne okolnosti. U aplikaciji se
odabiru stupci i redovi excel tablice koji e se uvesti u
skladite podataka. Ako je potrebno iskljuiti neke stupce
ili redove iz odabranog podruja, treba ih samo oznaiti
ne treba ih brisati iz dostavljene datoteke. Aplikacija e
prepoznati da ti redovi i/ili stupci nisu za prijenos u
skladite podataka.
Slika 4. prikazuje proces odabira podataka za prijenos.
Slika 6.

Model podataka

Ono to je dodatna vrijednost ove aplikacije je da

omoguava uvoz excela bilo kakve strukture. To znai da
stupci mogu svaki put biti dostavljeni u drugaijem
rasporedu, pa ak i s drugim mjerama i dimenzijama.
Korisnik putem aplikacije gore opisanim postupkom
ponovno preslikava stupce excela na model skladita
podataka i cijeli proces se ponavlja.
Dakle, aplikacija ne uvjetuje striktnu strukturu
dostavljenih podataka iz vanjskog izvora. Upotreba

MIPRO 2014/miproBIS

Nakon toga potrebno je preslikati stupce iz excela na

stupce dimenzija i/ili mjera (Slika 3. ).
Korisnik prvo odabire tablicu mjera na koju e se
preslikavati vanjski izvor ili datoteka. Sljedei korak je
preslikavanje stupaca mjera iz datoteke na stupce (mjere)
iz DWH tablice. Budui da aplikacija radi unos u
zvjezdastu strukturu skladita podataka, odabirom tablice
mjere korisniku se na odabir za preslikavanje nude samo
one dimenzije koje su povezane s tom tablicom mjera
(Slika 6. ).
Na osnovu preslikanih stupaca excel datoteke na
odreene dimenzijske stupce, aplikacija vri provjeru da

1679

li vrijednosti sadrane u tim stupcima iz excela, postoje u

skladitu podataka. Ako ne postoje, aplikacija nee
dozvoliti unos takvih podataka, jer bi se oni vezali na
nepoznatu dimenzijsku vrijednost, ve od korisnika trai
da vrijednost dimenzijskog stupca preslika na neku
vrijednost tog stupca iz skladita podataka. Ako eljena
vrijednost ne postoji u bazi, aplikacija nudi korisniku
mogunost da unese novu vrijednost u dimenziju
skladita podataka. U praksi se pokazalo da se unos
dimenzijskih vrijednosti na takav nain iznimno rijetko
koristi.
Slika 5. prikazuje preslikavanje vrijednosti.
Korak preslikavanja vrijednosti kljuan je korak u cijeloj
aplikaciji. Budui da je upravo to najkompleksniji korak
prilikom unosa podataka u skladite podataka mimo ELT
(ili ETL) procesa.

U skladitu podataka, na svakoj mjeri, postoji servisna

dimenzija koja sadri podatak od kuda je podatak stigao.
Na taj nain moe se identificirati gdje su zavrili podaci
iz pojedine excel datoteke ili drugog vanjskog izvora

Slika 8.

Verifikacija podataka

Podaci uitani iz excela, nee biti vidljivi korisnicima

izvjetaja dok se ne verificiraju, ali e biti vidljivi
verifikatoru. Na taj nain verifikator ima mogunost
pregleda kompletnog sustava sa uitanim podacima, a da
ih ostali korisnici ne vide (Slika 8. ). Kada ih verifikator
oznai kao ispravne, tj. verificirane, oni e postati vidljivi
svima. Aplikacija je u potpunosti integrirana sa OBI
(Oracle Business Intelligence) alatom i proces
verifikacije odvija se kroz OBI (Slika 9. ).

Slika 7.

Rad s predlocima

Preslikane vrijednosti pamte se u repozitoriju aplikacije

tako da je dovoljno da korisnik preslikava vrijednost
samo prvi kad se ona pojavi. Prilikom naknadnih uvoza,
ta vrijednost e biti prepoznata kao preslikana.
Sva preslikavanja stupaca excela na stupce dimenzija i
mjera biljee se u aplikaciji u obliku predloka. Na taj
nain, idui puta kada korisnik eli uitati excel datoteku
iste strukture moe jednostavno preskoiti sva
preslikavanja stupaca i aplicirati ve napravljeni
predloak na datoteku (Slika 7. ).
Ove dvije funkcionalnosti, spremanje preslikanih
vrijednosti u repozitorij i automatsko preslikavanje pri
naknadnim uvozima te spremanje predloaka, znaajno
olakavaju upotrebu aplikacije i ubrzavaju proces
naknadnih uvoza. Jednom kad su sve vrijednosti
preslikane, korisnici mogu u vrlo kratkom vremenu
osvjeiti skladite podataka, a sve to bez potrebe za IT
strunjacima i poznavanjem strukture baze skladita
podataka.
V.

KONTROLA I POTVRDA UVOZA

Sve uitane datoteke spremaju se u repozitorij aplikacije

koji se nalazi u Oracle bazi. Na taj nain uvijek je
mogua kontrola i uvid u originalnu datoteku.

1680

Slika 9.

VI.

Pregled za verifikaciju

ZAKLJUAK

Uvoenjem aplikacije za uvoz vanjskih podataka u

skladite podataka korisnicima je otvorena mogunost da
sami imaju kontrolu nad uvozom takvih podataka.
Poveana je uinkovitost jer vie nije potrebna osoba iz
informatike podrke za taj posao. Smanjena je
mogunost greke, jer korisnik sam uvozi podatke i u
naelu ih bolje razumije te prije moe uoiti greku pri
unosu, ako se dogodi. Upotrebom predloaka omoguen
je jednostavan i brz periodiki unos datoteka iste ili sline
strukture. Verifikacija podataka osigurava ispravnost
izvjetaja.
Aplikacija je dobro prihvaena od strane korisnika BI
sustava i koristi se u praksi.

MIPRO 2014/miproBIS

LITERATURA
[1]
[2]

[3]

[4]

Ralph Kimball, Margy Ross, The Data Warehouse Toolkit: The

Definitive Guide to Dimensional Modeling, Wiley, 2013
Ralph Kimball, Joe Caserta, The Data Warehouse ETL Toolkit:
Practical Techniques for Extracting, Cleaning, Conforming, and
Delivering Data, Wiley, 2004
Oracle
Business
Intelligence
Enterprise
Edition
11g documentation is part of Oracle Fusion Middleware Online
Documentation Library 11g Release 1 (11.1.1.7.0), Oracle, 2014
Oracle Application Express 4.2 Documentation, Oracle, 2014

MIPRO 2014/miproBIS

1681

1682

MIPRO 2014/miproBIS