UNIVERZITET U KRAGUJEVCU EKONOMSKI FAKULTET

___________________________________________________________________________________

STUDIJSKI ISTRAIVAKI RAD

Tema:

Neuronske mree kao metod multivarijacione analize

Mentor: Prof. dr Miodrag Lovri

Doktoranti: Aleksandra Fedajev Vladimir Mihajlovi

2008/30 2008/23

_______________________________________________________________________ Kragujevac, jun 2009. godine

SADRAJ

UVOD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 l 1. NASTANAK, POJMOVNO ODREENJE I KARAKTERISTIKE NEURONSKIH MREA . . . . . . . . . . . . . . . . . . . . . . . . . 2 LLL1.1. Bioloke osnove neuronskih mrea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 LLL1.2. Istorijski razvoj neuronskih mrea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 LLL1.3. Arhitektura neuronske mree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 LLL1.4. Podele neuronskih mrea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 L 2. PRIMENA NEURONSKIH MREA U EKONOMIJI . . . . . . . . . . . . . . . . . . . . . 7 LLL2.1. Primeri konkretne primene neuronskih mrea . . . . . . . . . . . . . . . . . . . . . . . 8 LLLLLL2.1.1. Primena neuronskih mrea za predvianje cene akcija na odreeni dan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 LLLLLL2.1.2. Primena neuronskih mrea za klasifikaciju . . . . . . . . . . . . . . . . . . . .15 L ZAKLJUAK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20 L LITERATURA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21 L

UVOD

Neuronske mree su relativno nov koncept u analizi podataka, i potpuno drugaiji pristup od onog koji je zastupljen kod multivarijacionih tehnika. Pritom, pod izrazom neuronske mree podrazumevaju se vetake neuronske mree, ali e u daljem tekstu biti korien krai izraz, bez prideva vetake. Poeci razvoja neuronskih mrea ne seu daleko u prolost. Meutim, metode na njima izgraene nalaze iroku primenu, kako u tehnikim naukama, tako i u drutvenim, od kojih nas svakako najvie interesuje ekonomija. Primena u ekonomiji je uglavnom vezana za predvianje buduih vrednosti koje se posmatraju, a koje se npr. mogu odnositi na predvianje obima prodaje u zavisnosti od propagandnih aktivnosti koje se razmatraju, predvianje cene akcija na odreeni dan (ovaj sluaj je obuhvaen konkretnim primerom u ovom radu), i slino. to tanije predvianje vrednosti relevantnih varijabli je od esencijalnog znaaja za poslovanje svih privrednih subjekata. Pored upotrebe neuronskih mrea za potrebe predvianja, znaajna je i upotreba u svrhu klasifikacije. Uspenost neuronskih mrea u obavljanju ove dve funkcije kvalifikuje ih kao izuzetno sredstvo multivarijacione analize. Neuronske mree predstavljaju jednu od metoda vetake inteligencije. Umesto to konceptualizuju problem u matematikoj formi, neuronske mree koriste principe ljudskog mozga i njegove strukture, kako bi razvile strategiju procesiranja podataka. Na samom poetku bie objanjeni neke od glavnih pojmova kao i sutinski principi vezani za neuronske mree. Poto su neuronske mree razvijene po ugledu na mozak oveka, poi emo do bioloke osnove razvoja neuronskih mrea.

1. NASTANAK, POJMOVNO ODREENJE I OSNOVNE KARAKTERISTIKE NEURONSKIH MREA 1.1. Bioloke osnove neuronskih mrea Ljudski mozak i celokupni nervni sistem je sainjen od nervnih elija, neurona, kojih ima oko 1011, i koji ostvaruju oko 1015 konekcija. Neuron ima etiri osnovna dela: ulazni deo elije, telo elije (soma), izlazni deo elije, i sinapse.

Ulazni deo elije sadri skup razgranatih niti nazvanih dendriti. Telo elije obrauje signale koje dobija od dendrita, dobijajui na taj nain izlazni impuls koji se prosleuje na sve krajeve razgranate niti nazvane aksonom, koji predstavlja izlazni deo elije. Mesto gde se akson dodiruje sa dendritima neke druge elije se naziva sinapsa. To je mesto gde se impulsi prenose od jedne do druge nervne elije (tzv. celularna transdukcija). Po analogiji sa biolokim neuronom, formiran je model vetakog neurona. Za predstavljanje vetakog neurona, koristiemo sledee oznake: xi (i = 1, 2, ... , m) ulazne veze, vrednosti inputa koje neuron prima (signali ili potencijali inputa kod biolokog neurona); wki (i = 1, 2, ... , m) tzv. teinski koeficijenti (sinapse kod biolokog neurona); uk zbirna vrednost, koja se dobija sabiranjem ponderisanih ulaza (telo prirodnog neurona); a(.) aktivacijska funkcija (akson kod biolokog neurona); prag aktivacije ; k yi vrednost izlaza tj. outputa (potencijal izlaza kod biolokog neurona). ematski prikaz, uz upotrebu navedenih oznaka, predstavljen je na dijagramu 1. Svaka od ulaznih veza, koje su oznaene sa xi, i kojih ima m, mnoi se svojim teinskim koeficijentom wki. Ovako pomnoene vrednosti se potom sabiraju, i dobija se vrednost uk. Dakle: uk = wki xi
i =1 m

x1
u lazi

wk 1

su m ato r

ak tiv acio n a f u n k cija

izlaz

x2

wk 2

uk

a( . )

yk

wkm

xm

sin apk e v eze ti

p r ag

Dijagram 1. ematski prikaz vetakog neurona Zatim se vrednost uk koristi kao ulaz u aktivacionu funkciju, koja je generalno nelinearna, a najee je u pitanju tzv. sigmoidna (logistika) funkcija (Grafik 1.) Pritom, povezanost izmeu praga aktivacije i aktivacione funkcije je najee k takva da se vrednost oduzima od vrednosti uk, pa se ta razlika koristi kao ulaz u k aktivacionu funkciju. Na taj nain se dobija vrednost izlaza, tj. outputa yi.
a(v) 1 b1 b2 b1 > b2

Grafik 1. Sigmoidna (logistika) funkcija 1.2. Istorijski razvoj neuronskih mrea Kao zaetnici razvoja neuronskih mrea navode se Warren McCulloch i Walter Pitts, koji su u svom radu iz 1943. uveli prvi, jednostavni matematiki model neurona, kao osnovne elije nervnog sistema. Ovaj model je bio diskretan i zasnovan na binarnoj logici. Oni su pokazali da odreene logike ili aritmetike funkcije mogu biti proraunate ak i jednostavnim tipovima neuronskih mrea. Meutim, nedostatak njihovog modela bio je to to nije bio sposoban da ui. Sa druge strane, njihov rad je imao uticaja na druge istraivae. Tako, osniva kibernetike, Norbert Wiener, bio je inspirisan ovim modelom kada je ispitivao slinosti izmeu nervnog i kompjuterskog sistema. Pored njega, i autor Amerikog projekta elektronskih kompjutera, John von Neumann, u nekoliko svojih radova je sugerisao istraivanje kompjutera koji se zasnivaju na funkcionisanju ljudskog mozga.

Donald Hebb je 1949. napisao knjigu pod nazivom Organizacija ponaanja (The organisation of behaviour), u kojoj je opisao paradigmu uenja, koja nosi njegovo ime (Hebb-ovo uenje), a koja se zasniva na stavu da se propustljivost sinapsi (spojeva neurona) poveava ako su aktivnosti dva susedna neurona odreeno vreme u sprezi. Ovaj princip je u sutini vezan za auriranje veza. Knjiga je imala znatan uticaj na autore u 40-im i 50-im godinama XX veka, koji su dalje razvijali njegove stavove. Glavni predstavnik ovog perioda je Marvin Mynski, koji je zasluan za prvu primenu neuronskih mrea. On je 1951. godine, zajedno sa Dean Edmonds-om dizajnirao prvi neurokompjuter Snark (od 40 neurona), sa sinapsama koje imaju sposobnost proraunavanja vrednosti teinskih koeficijenata (mere sinaptike propustljivosti) u zavisnosti od uspenosti obavljanja specifinog zadatka (to je zasnovano na Hebbovom nainu uenja). 1957. godine Frank Rosenblatt je izumeo perceptron, koji se zasniva na McCulloch-Pitts-ovom neuronu, kome je dodat algoritam uenja, tj. nain na koji treba da menja vrednosti teinskih koeficijenata iterativnim postupkom, dok se ne dobije eljeni rezultat. Rosenblatt je u saradnji sa Charles Wightman-om konstruisao i uspeno demonstrirao rad neurokompjutera nazvanog Mark I Perceptron, koji je dizajniran da bi obavljao funkciju prepoznavanja karaktera. Ubrzo nakon otkria Perceptrona, Bernard Widrow i njegov student Marcijan Hoff, razvili su jo jedan tip neuronskog raunskog elementa koji je nazvan ADALINE (ADAptive LINear Element), i koji je ukljuivao novo efikasno pravilo uenja koje je korieno za adaptivno procesiranje signala, kontrolu sistema i sl. Ovakav ekspanzivni razvoj neuronskih mrea naglo je prekinut objavljivanjem izuzetno uticajne knjige Perceptroni, koja je objavljena 1969. a napisali su je Minsky i Papert. U njoj izraavaju veliki pesimizam kada su u pitanju mogunosti jednoslojnog perceptrona, navodei da on ne moe da se iskoristi ni za reavanje nekih od jednostavnih logikih funkcija. Sa druge strane, oni su preporuili da se panja vie usmeri na razvoj sistema zasnovanih na znanju, tj. ekspertskih sistema. Polovinom osamdesetih godina neuronske mree doivljavaju svoj preporod zahvaljujui naglom porastu interesovanja istraivaa za ovu oblast. Amari je u Japanu prouavao mehanizme obuavanja neuronskih mrea kao i njihovu matematiku pozadinu. Japanski istraiva Fukushima je razvio novu klasu neuronskih mrea poznatih kao Cognitroni i Neocognitroni. Znaajna istraivanja na polju asocijativne memorije razvio je i Kohonen u Finskoj. Jedno od njegovih znaajnijih otkria je i uenje bez nadgledanja. Velika otkria na polju neuronskih mrea imali su i Carpenter i Grossberg, kojima se pripisuje razvoj ART mrea (Adaptive Resonance Theory). Arhitekturu rekurentnih neuronskih mrea za asocijativne memorije prvi je razvio Hopfield. Neuronsku mreu, poznatiju kao Boltzmann-ova maina, razvio je Hinton. Osamdesetih godina naroito su bile popularne neuronske mree bazirane na algoritmima uenja sa prostiranjem greke unazad (engl. Backpropagation BP neuronske mree). Tako, 1986. istraivai na ovom polju formiraju PDP (Parallel Distributed Processing) Istraivaku Grupu, a svoje rezultate objavljuju u kompletu knjiga u dva toma, u kojem Rumelhart, Hinton i Williams objanjavaju Backpropagation algoritam uenja vieslojnih neuronskih mrea, kojim se upravo reavaju problemi za koje su Minsky i Papert smatrali da su nereivi (dodue, jednoslojnim neuronskim mreama).

Osamdesetih i devedesetih godina XX veka odrava se veliki broj konferencija na temu neutronskih mrea, npr. 1987. u San Dijegu, sa oko 1700 uesnika, a poinju da izlaze i struni asopisi, kao to su Neural Networks, Neural Computation (1989) i mnogu drugi. Uz to, poevi od 1987. godine, mnogi prestini univerziteti osnivaju nove institute za istraivanje i edukativne programe koji se bave neurokomputing om. 1.3. Arhitektura neuronske mree Arhitekturu ili topologiju vetake neuronske mree predstavlja specifino ureenje i povezivanje neurona u obliku mree. Po arhitekturi, neuronske mree se razlikuju prema broju neuronskih slojeva. Najpoznatija neuronska mrea sa jednim slojem je jednoslojni perceptron. Kod mrea sa vie slojeva, obino svaki sloj prima ulaze iz prethodnog sloja, a svoje izlaze alje narednom sloju. Prvi sloj se naziva ulazni, poslednji je izlazni, ostali slojevi se obino nazivaju skrivenim slojevima. Jedna od najeih arhitektura neuronskih mrea je mrea sa tri sloja. Prvi sloj (ulazni) je jedini sloj koji prima signale iz okruenja. Prvi sloj prenosi signale sledeem sloju (skriveni sloj) koji obrauje ove podatke i izdvaja osobine i eme iz primljenih signala. Podaci koji se smatraju vanim se upuuju izlaznom sloju, poslednjem sloju mree. Na izlazima neurona treeg sloja se dobijaju konani rezultati obrade. Sloenije neuronske mree mogu imati vie skrivenih slojeva, povratne petlje i elemente za odlaganje vremena, koji su dizajnirani da omogue to efikasnije odvajanje vanih osobina ili ema sa ulaznog nivoa. Danas se uglavnom izuavaju i primenjuju vieslojne neuronske mree koje pored ulaznih i izlaznih slojeva sadre neurone na srednjim (skrivenim) slojevima. Na dijagramu 2. je dat prikaz mree sa tri sloja.
skriveni sloj

ulazni sloj

izlazni sloj

Dijagram 2. ematski prikaz neuronske mrea sa tri sloja

1.4. Podele neuronskih mrea Postoji veliki broj razliitih realizacija neuronskih mrea, a samim tim postoji i mnogo podela. Neuronske mree se mogu podeliti prema vrstama veza tj. arhitekturi na:

slojevite - Neuroni su rasporeeni tako da formiraju slojeve. Na ulaz jednog neurona se dovode izlazi svih neurona sa prethodnog sloja, a njegov izlaz se vodi na ulaze svih neurona na narednom sloju. Neuroni sa prvog (ulaznog) sloja imaju samo po jedan ulaz. Izlazi neurona sa zadnjeg (izlaznog) sloja predstavljaju izlaze mree. Predstavnik: backpropagation algoritam. potpuno povezane - Izlaz jednog neurona vodi ka ulazu svih neurona u mrei. Predstavnik: Hopfildova NM. celularne - Meusobno su povezani samo susedni neuroni. Bez obzira na lokalnu povezanost, signali se prostiru i na neurone i van susedstva zbog indirektnog prostiranja informacija. Predstavnik: CNN Cellular Neural Network.

Neuronske mree se prema smeru prostiranja informacija kroz mreu mogu podeliti na: Feedforward (nerekurzivne, nerekurentne ili nepovratne) - Vii slojevi ne vraaju informaciju u nie slojeve. Vre prostiranje (propagaciju) signala samo u jednom smeru (od ulaza prema izlazu). Kao predstavnik ove vrste neuronske mree moe se navesti vieslojni perceptron, odnosno mrea sa vie slojeva. (Feedback) rekurzivne ili rekurentne ili povratne - Vii slojevi vraaju informacije nazad u nie slojeve. Izlaz iz neurona se vraa u nie slojeve ili u isti sloj. Predstavnici ove vrste mrea su: Hopfildova, Celularna Neuronska Mrea (CNN), Kohonenova neuronska mrea, dvostruko asocijativna, i sl. Feedback mree imaju mnogo vee procesne sposobnosti od Feedforward mrea.

Znaajna karakteristika neuronskih mrea, koja je sutinski razdvaja od ostalih multivarijacionih tehnika je njihova sposobnost da ue. Prema tipu uenja u mrei, algoritmi neuronskih mrea se dele na:
1.

Nagledano (supervised) uenje poznate su vrednosti izlaznih varijabli skupa za uenje mree (Backpropagation, Radial Basis Funktion, Probabilistika mrea), i Nenagledano (unsupervised) uenje nisu poznate vrednosti izlaznih varijabli skupa za uenje mree (Kohonenova samoorganizirajua, ART mrea).

2.

Konkretno, mogu se navesti nekoliko primera ispitivanja problema putem ova dva algoritma: Predvianje bankrotstva nekog preduzea sa znanjem da li je preduzee imalo slinih problema u prolosti ili nije;

Ocena kreditne sposobnosti sa znanjem da li je kredit u prolosti otplaivan na vreme ili nije;

Ponaanje kupaca u odnosu na neki proizvod sa poznatim prolim akcijama kupaca ili bez poznatih prolih akcija.

Treba naglasiti da se najvie koristi upravo uenje sa nadgledanjem. U tom sluaju, porede se aktuelne vrednosti sa vrednostima outputa. Ako postoji razlika izmeu ove dve vrednosti, moemo pristupiti tzv. treniranju sistema. Najea forma treniranja je backpropagation, odnosno algoritam povratnog prostiranja, kod kojeg se greka u vrednosti outputa izraunava i alje unazad kroz sistem neurona, pri emu dolazi do proporcionalnih promena vrednosti teinskih koeficijenata, koje se poveavaju ili smanjuju, u zavisnosti od pravca greke. Kada su ove vrednosti izmenjene, input vezan za drugi sluaj ulazi u sistem i proces se ponavlja. Cilj je da se procesuira veliki broj sluajeva kroz neuronsku mreu u fazi treninga, kako bi se obezbedio najvii kvalitet outputa u odnosu na postojee inpute. Fleksibilnost neuronskih mrea omoguava njihovu primenu na irokom dijapazonu problema, poev od predvianja do klasifikacije, pa i analize vremenskih serija. Ipak, primenljivost zavisi od konkretnih karakteristika problema. Problemi na koje se mogu uspeno primeniti neuronske mree su oni kod kojih: 1. postoji mnogo prolih reprezentativnih primera (barem oko 100, a poeljno je to vie); 2. nisu poznata pravila dolaenja do odluke (black box) tj. eksperata nema ili nisu dostupni; 3. se varijable mogu kvantitativno izraziti (to je u veini sluajeva mogue); 4. standardne statistike metode nisu pokazale uspeh, tj. pojava se ne moe predstaviti nekim linearnim modelom; 5. je ponaanje pojave esto neizvesno, podaci nepotpuni, te je potreban robustan alat. 2. PRIMENA NEURONSKIH MREA U EKONOMIJI Kao to je ve navedeno, neuronske mree nalaze iroku primenu u ekonomiji, posebno u oblasti finansija i investiranja. Procene i budui uslovi u okruenju determiniu mnoge kritine poslovne aktivnosti kao to su inventarisanje, nabavka materijala, cena rada, tranja za proizvodom, cene proizvoda, usluga i hartija od vrednosti, ponaanje konkurencije itd. Netane i pogrene procene mogu dovesti do pogoranja ekonomije poslovanja u preduzeu. Smanjenje prodaje, neefikasna raspodela resursa i prekomerne zalihe esto su direktna posledica netanog predvianja. U oblasti finansija, loe procene kretanja cena akcija, obveznica, finansijskih derivata i drugih hartija od vrednosti mogu dovesti do ogromnih gubitaka. Pored toga, u finansijama, nauci i poslovanju, analitiari su esto suoeni sa zadatkom klasifikovanja entiteta zasnovanoj na istorijskim ili izmerenim podacima. Analitiari na tritu akcija mogu imati potrebu da klasifikuju akcije u grupe: kupi, prodaj i zadri. Na hipotekarnom tritu, analitiari mogu kategorisati kredite kao dobre i loe. Glavni problem sa kojim se svi oni susreu je veliki broj kriterijuma za

klasifikaciju to problem kategorizacije podataka ini veoma kompleksnim. Potrebno je uloiti veliki napor i vreme da se ovako kompeksan problem klasifikacije rei na optimalan nain, uz zadovoljavanje svih ili bar veine zadatih kriterijuma. Ovi, i mnogi problemi sa kojima se svakodnevno susreu menaderi, ekonomisti i analitiari mogu se reiti primenom neuronskih mrea. Jedan od najmonih alata za konstruisanje i oblikovanje neuronskih mrea jeste Neuro XL. Neuro XL je u stvari dodatak (add-on) klasinom MS Excel-u i kompatibilan je sa njim. Postoje dva tipa ovog programa u zavisnosti od namene za koju se koriste: 1. 2. Neuro XL Predictor dodatak za predvianje; Neuro XL Classifier dodatak za klasifikaciju.

2.1. Primeri konkretne primene neuronskih mrea 2.1.1. Primena neuronske mree za predvianje cene akcija na odreeni dan Za predvianje buduih uslova poslovanja, ponaanja konkurencije i potroaa, koristi se Neuro XL Predictor, kao dodatak klasinom MS Exscel-u. Sposobnost Neuro XL Predictor-a da otkrije nelinearne veze meu ulaznim podacima ini ovaj program idealnim sredstvom za predvianje u dinamikim sistemima kao to je berza. Cena akcija i drugih investicija kao to su obveznice, derivati i opcije su pod uticajem mnogobrojnih faktora koji su neretko veoma povezani. Neuro XL Predictor zasnovan na najnovijim istraivanjima u oblasti vetake inteligencije, prepoznaje ak i veoma slabe veze izmeu promenljivih. Veliki broj softvera za predvianje putem neuronskih mrea zahteva od korisnika odreeni nivo znanja iz oblasti neuronskih mrea, kao i odgovarajuu obuku na tzv. tutorial verzijama programa i odgovarajuu pripremu podataka. Za razliku od njih, ovaj program ne zahteva prethodno znanje o neuronskim mreama, ime kompleksnost neuroskih mrea ostaje tajna za korisnika a korisna predvianja se dobijaju samo nekoliko trenutaka nakon instalacije ovog programa. Kako je Neuro XL Predictor dodatak Exscel-u, on omoguava da se predvianje obavi na osnovu ve unetih podataka u Exscel-ovoj tabeli. U ovom primeru podaci o cenama akcija su prikupljeni korienjem jo jo jednog dodataka Excel-u koji se naziva Downloader XL koji se instalira isto kao Predictor u meniju Add-ons u okviru Excela. Downloader XL download-uje besplatno istorijske podatke o akcijama, indeksima i fondovima iz Yahoo baze podataka Yahoo Finance sa berzi irom sveta, iz SAD, Kanade, Velike Britanije, Nemake, Francuske,... Dakle u okviru Exscel-ovog menija Add-ons aktiviramo dodatak Download XL i u okviru padajueg menija aktiviramo opciju Download Prices (slika 1.).

10

Slika 1. Aktiviranje opcije Download Prices Nakon toga, otvara se prozor za dijalog u kome se definie konkretna vrsta akcija (u ovom sluaju akcije Microsoft-a), datumi odnosno period za koji se ele preuzeti podaci o cenama akcija, periodinost podataka (dnevni, nedeljni ili meseni prikaz podataka), vrsta cene koja se eli preuzeti (cena na otvaranju, cena na zatvaranju, najnia, najvia i/ili cena na zatvaranju) i drugi parametri koji definiu vrstu podataka koje elimo da preuzmemo.

Slika 2. Prozor za definisanje konkretne vrste akcija Klikom na opciju Get Historical Data preuzimamo eljene podatke koji su upisani u Exscel-u prema zadatim kriterijumima (Slika 3.).

11

Slika 3. Excel-ova tabela sa preuzetim podacima Kolona G predstavlja promenu cene na zatvaranju svakog dana od 30.07.2008. pa nadalje u odnosu na cenu na zatvaranju poetnog datuma 28.07.2008 (Change). U koloni H prikazan je Cutler's Relative Strenth Index koji meri brzinu i veliinu pravca kretanja cena na zatvaranju koji je takoe neophodan za predvianje cena akcija. Za izraunavanje ovih berzanskih indeksa koristi se dodatak Excel-u Analyzer XL, koji se automatski instalira instalacijom Download XL-a. Klikom na ovaj dodatak otvara se padajui meni prikazan na slici 3.

Slika 4. Padajui meni za aktivaciju Analyzer XL-a Izborom opcije Analyzer XL otvara se prozor za dijalog u okviru kog biramo vrstu funkcije koja nam je potrebna sa leve strane ovog menija i konkretan indeks koji elimo da izraunamo u desnom delu prozora (Slika 4.)

12

Slika 5. Prozor za dijalog u Analyzer XL-u (prvi korak) Nakod toga, izborom opcije Next otvaramo sledei prozor u kome zadajemo polja na osnovu kojih se vri izraunavanje indeksa (Slika 5).

Slika 6. Prozor za dijalog u Analyzer XL-u (drugi korak) Klikom na opciju Finish dobijamo podatke o vrednosti ovog indeksa u koloni G. Isti postupak vai i za izraunavanje Cutler's Relative Strength Index-a.

13

Nakon to smo prikupili neophodne podatke, pristupamo oblikovanju neuronske mree odnosno definisanju parametara neuronske mree i predvianju cene na zatvaranju za dan 25.11.2008. Definisanje parametara neuronske mree i parametara za predvianje vri se u 6 koraka: 1. Selektovanje Neuro XL Predictor-a iz MS Exscel menija.

Slika 7. Startovanje Neuro XL Predictor-a Program se pokree otvaranjem sledeeg prozora za dijalog:

Slika 8. Prozor za dijalog u Neuro XL Predictor-u

14

2. U okviru prozora za dijalog najpre se definie opseg podataka za ulazne i izlazne veliine. U ovom sluaju kao ulazne podatke uzeli smo polja od B13 do H 86 a kao izlazne veliine uzeli smo podatke od E13 do E86. 3. Zatim se, ukoliko je to potrebno, bira poravnanje opsega podataka na bazi ulaznih podataka i/ili na bazi najvie ili najnie vrednosti. U naem sluaju to nije neophodno. Zatim ekiramo opciju Scale input and output values da bi definisali parametre vezane za broj epoha i minimalne greke uenja. Broj epoha pokazuje koliko puta se vri korekcija unazad kako bi se greka uenja svela na zadati minimum. U ovom sluaju izabrali smo 3000 epoha i minimalnu greku uenja od 0,001. Ukoliko elimo da pratimo odvijanje procesa uenja ekiramo opciju Show learning process. 4. U etvrtom koraku definiemo sledee parametre procesa uenja: a) poetni teinski koeficijenti (Initial weights) Za inicijalni teini koeficijenti svakog neurona u ovom primeru je uzeta je vrednost od 0,3. b) ocena odnosno stopa uenja (Learning rate) - Njome se definie brzina uenja i ne bi trebalo da se definie na suvie visokom nivou da bi se obezbedio kvalitetan proces uenja. Ovaj parametar je u ovom primeru definisan na nivou od takoe 0,3. c) inercija (Momentum) Visoke stope uenja dovode do velikih oscilacija teinskih koeficijenata tokom treniranja procesa, koje imaju za rezultat nekonvergentnost i povratak na neoptimalno reenje. Uvoenjem ovog parametra smanjuje se mogunost nastanka ovakvih neeljenih sluajeva. U ovom primeru je inercija odreena na nivou od 0,6. d) aktivaciona funkcija (Activation function) U okviru ovog programa na raspolaganju su sledee funkcije: Threshold, Hyperbolic tangent, Zero-based logsigmoid, Log-sigmoid and Bipolar sigmoid. U ovom sluaju primenjena je Zero-based log-sigmoid funkcija. e) broj neurona u skrivenom sloju (Neurons in hidden layer) u ovom primeru broj neurona u skrivenom sloju je 3. 6. Klikom na opciju New a zatim na opciju Start training pokree se proces treniranja mree koji se moe pratiti u donjem delu prethodnog prozora za dijalog, s obzirom da smo u treem koraku ekirali opciju Show learning process

15

Slika 9. Prozor za dijalog kada je zavreno treniranje mree Proces traje sve dok se ne dostigne definisani minimum greke uenja i u ovom sluaju se to dogodilo u 13. epohi pri koeficijentu greke uenja od 0,003. Zelena linija pokazuje stvarne vrednosti a roze predikovane odnosno predviene vrednosti. 7. Kada je treniranje mree zavreno potrebno je definisati opseg ulaznih i izlaznih veliina koji se koriste za predvianje. Kao ulazne veliine uzeta su polja od B86 do H86 a kao izlazna veliina javlja se predikcija cene na zatvaranju za naredni dan u polju E87. Aktiviranjem opcije Predict u odgovarajue polje E87 biva upisana predikovana vrednost odnosno predviena cena na zatvaranju za dan 25.11.2008. koja u ovom sluaju iznosi 20,74114.

16

Slika 10. Excel-ova tabela sa prikazanom predvienom vrednou Ovaj primer nam pokazuje kako se na vrlo jednostavan nain, pomou Neuro XL Predict-a moe doi do aproksimacije jednog vrlo bitnog podatka za ulagae i analitiare koji uestvuju na jednom stohastikom tritu kao to je trite akcija. 2.1.2. Primena neuronskih mrea za klasifikaciju Neuronske mree su dokazano najbolja i nairoko primenjivana tehnika za reavanje kompleksnih problema klasifikacije. One ustvari predstavljaju mree meusobno nezavisnih procedura koje, menjanjem njihove konekcije (tzv. treningom) pronalazi reenje za dati problem. Za reavanje problema klasifikacije primenili smo softverski dodatak MS Exscel-u Neuro XL Classifier koji, na osnovu zadatih parametara, sam konstruie neuronsku mreu za dati problem i vri kategorizaciju podataka na osnovu njihovih trendova uenja i meusobnih veza. U ovom primeru prikazano je kako se putem neuronskih mrea, korienjem Neuro XL Classifier-a, izvrena klasifikacija 19 zemalja na osnovu zadatih ekonomskih, demografskih i geografskih podataka. Klasifikacija je izvrena u tri grupe prema zadatim kriterijumima. Ono to je karakteristino za probleme klasifikacije jeste da pri definisanju problema imamo samo ulazne podatke dok se izlazni podaci svode na grupe podataka koje su poznate tek nakon zavretka prosesa uenja. Na slici 11. prikazani su podaci o rastu drutvenog bruto proizvoda, broju stanovnika, stopi nataliteta, povrini zemlje, povrini vode i povrini zemlje koja se navodnjava. 17

Slika 11. Tabela sa ulaznim podacima za klasifikaciju Na osnovu ovih podataka izvrena je podela ovih zemalja u tri grupe na osnovu njihovih zajednikih karakteristika. Ova klasifikacija je izvrena u sledea etiri koraka: 1. Selektovanje Neuro XL Classifier-a iz menija MS Exscela.

Slika 12. Pokretanje Neuro XL Classifier-a Pokretanjem ove aplikacije otvara se prozor za dijalog prikazan na slici 13. 2. U okviru ovog prozora, najpre je potrebno definisati opseg ulaznih podataka koje elimo da ka klasifikujemo (u ovom primeru od B2 do G20), kao i polja u kojima elimo da nam budu prikazani izlazni podaci nakon zavrene klasifikacije (od H2). 3. Definisanje parametara mree: a) broj klastera (Number of clusters) broj grupa u koje e biti klasifikovani podaci. U ovom sluaju imaemo tri grupe. b) broj epoha (Epochs) u ovom primeru 1000.

18

Slika 13.Prozor za dijalog u Neuro XL Classifier-u c) ocena ili stopa uenja (learning rate) u ovom primeru 0,6. d) poetni teinski koeficijent (Initial weights) - za inicijalni teini koeficijenti svakog neurona u ovom primeru je uzeta je vrednost od 0,5. e) automatsko filtriranje podataka (Set autofilter) ekiranjem ove opcije omoguava da dati podaci budu rasporeeni po grupama odnosno doi e do promene redosleda drava, u zavisnosti od grupe u kojoj pripadaju, u odnosu na prvobitnu tabelu. f) nain prikazivanja izlaza (Split to multiple columns or to one column) prikazivanje izlaznih podataka moe biti izvreno u vie (multiple) ili u jednoj koloni. U ovom primeru izabrano je prikazivanje u jednoj koloni. g) izraunavanje proseka (calculate averages) ekiranje ove opcije prua mogunost izraunavanja proseka za svaku kategoriju podataka. U veini sluajeva ova informacija je veoma vana za tumaenje podataka dobijenih klasifikacijom. 4. Aktiviranjem opcije Classify vri se klasifikacija podataka a rezultati klasifikacije su dati na slici 14.

19

Slika 14. Tabela sa rezultatima klasifikacije Pored izvrene klasifikacije izraunati su i proseci za svaku grupu kao i uee svake grupe u ukupnom broju datih zemalja. Na osnovu izraunatih proseka nacrtan je i grafik koji najbolje pokazuje kako je ova klasifikacija izvrena (Slika 15).

20

Slika 15. Grafik izvrene klasifikacije u Neuro XL Classifier-u U prvu grupu (oznaenu zelenom bojom) svrstane su zemlje sa velikim drutvenim bruto proizvodom, brojem stanovnika povrinom zemlje, vode i navodnjavanog zemljita i niskom stopom nataliteta. U drugu grupu (oznaenu utom bojom) svrstane su zemlje sa niskim drutvenim bruto proizvodom, brojem stanovnika i stopom nataliteta, prosenom povrinom zemlje, i malom povrinom vode i zemljita koje se navodnjava. I najzad, u treoj grupi (oznaenom plavom bojom) nalaze se zemlje sa izrazito niskim drutvenim bruto proizvodom, brojem stanovnika, povrinom zemlje, vode i zemljita koje se navodnjava ali sa izuzetno visokom stopom rasta.

21

ZAKLJUAK

Neuronske mree, kao to se moglo videti, nalaze sve iru primenu u ekonomiji i statistici. Njihova dokazana uspenost u primeni na probleme klasifikacije uticala je da se u ovoj oblasti najvie i koriste. Meutim, ne treba zanemariti i upotrebu neuronskih mrea u predvianju. U primeru vezanom za predvianje u ovom radu izloen je prilino jednostavan postupak kojim se dolazi do predvienih vrednosti konkretne veliine koju posmatramo (u naem sluaju cene akcija), uz pomo kompjuterske aplikacije Neuro XL. Za primenu iste nije potrebno znati samu sutinu koncepta neuronskih mrea, ali smo u ovom radu ipak krenuli upravo od toga, kako bi se bolje razumela konkretna primena. Kao to se moglo videti, neuronske mree predstavljaju robustan alat, prilagoen za primenu u situacijama neizvesnosti i nepotpunosti podataka. Znaajna osobina neuronskih mrea vezana je za njihovu sposobnost generalizacije, tj. davanja zadovoljavajue vrednosti outputa i kada neke ulazne vrednosti nisu poznate. Pored toga, neuronske mree, za razliku od standardnih statistikih metoda multivarijacione analize, nemaju problem sa nelinearnom meuzavisnosti izmeu zavisne i nezavisnih promenljivih. Znaajna sposobnost, karakteristina upravo za neuronske mree, je sposobnost da ue. Kako je to u radu navedeno, uenje se vri na primerima, gde su poznate ulazne i izlazna veliina (npr. ulazne veliine mogu biti ulaganje u propagandu, ambalaa proizvoda, izgled prodajnog osoblja i sl., dok izlazna veliina moe biti profit preduzea). Uvoenjem ulaznih veliina u mreu, uz odgovarajue teinske koeficijente, dobijamo izlaze koje poredimo sa vrednostima izlaza u konkretnim primerima. Uenjem se, dakle, deluje na menjanje teinskih koeficijenata u sluaju da ovaj izlaz nije jednak izlazu koji daje neuronska mrea sa poetnim koeficijentima. Kada je mrea nauena ili utrenirana, moe davati izlaze za vrednosti ulaza koje joj zadajemo. Stoga, moemo zakljuiti da se primena koncepta neuronskih mrea u multivarijacionoj analizi sutinski razlikuje od primene ostalih tehnika, poput viestruke regresije, diskriminacione analize itd. Meutim, treba imati u vidu da neuronske mree nisu toliko moan alat da bi mogle da daju dobre izlazne vrednosti ako joj ne obezbedimo dobre inpute, tj. ulazne vrednosti. Stoga, kao i kod ostalih tehnika, vai isti princip garbage in-garbage out. Dakle, iako predstavljaju jednu od metoda vetake inteligencije, na sadanjem stupnju razvoja neuronske mree nemaju tu mogunost. Kakav e dalji razvoj neuronskih mrea biti, ostaje da se vidi.

22

LITERATURA

Subai P., Fazilogika i neuronske mree, prvo izdanje, Beograd: Tehnika knjiga, 1997. Miljkovi Z., Sistemi vetakih neuronskih mrea u proizvodnim tehnoligijama, Beograd: Contact line, 2002. D. Taniki, M. Mani, Primena neuronskih mrea za odreivanje parametara procesa, MMA 2003 Fleksibilne tehnologije, Novi Sad, 2003. Informaciona tehnologija za menadment, prevod knjige INFORMATION TECHNOLOGY FOR MANAGEMENT, 3rd edition, Turban,E., McLean,E. Wetherbe, J.John Wiley & Sons, Inc. 2002, Zavod za udbenike i nastavna sredstva, 2003. Beograd http://www.neuroxl.com/ http://solair.eunet.yu/~ilicv/neuro.html

23