Sveuilite u Mostaru

Fakultet prirodoslovno-matematikih i odgojnih znanosti

Studij Informatike

Ines Mati

Izgradnja neuronske mree koritenjem softwerskog

paketa Rapid Minera

Diplomski rad

Mostar, 2014.

Sveuilite u Mostaru
Fakultet prirodoslovno-matematikih i odgojnih znanosti
Studij Informatike

Izgradnja neuronske mree koritenjem softwerskog

paketa Rapid Minera

Diplomski rad

Mentor: prof.dr.sc.Vojo Viekruna

Student: Ines Mati
Mostar, srpanj, 2014.
1

PODACI O DIPLOMSKOM RADU

I. AUTORICA
IME I PREZIME: Ines Mati
DATUM I MJESTO ROENJA: 16.01.1991., apljina
STUDIJ: Informatika
MATINI BROJ: 589 DS/R

II. DIPLOMSKI RAD

TEMA: Izgradnja neuronske mree koritenjem softwerskog paketa Rapid Minera
BROJ STRANICA: 57
MENTOR:prof. dr.sc. Vojo Viekruna

Datum predaje diplomskog rada: __________________________________

Datum odbrane diplomskog rada: _________________________________
lanovi povjerenstva:

1.__________________________________
2.__________________________________
3.__________________________________

Konana ocjena diplomskog rada: ________________________________

Potpisa lanova povjerenstva:

1._________________________________
2._________________________________
3._________________________________
2

ZAHVALA
Zahvaljujem se svojim roditeljima jer su mi omoguili da ispunim
svoj san i bili mi potpora tijekom cijelog mog studija, a najvie kad mi je
bilo najtee.

SADRAJ

SAETAK ....................................................................................................................... 6
UVOD ............................................................................................................................... 7
1.

2.

TEORIJA UMJETNE INTELIGENCIJE ............................................................ 8

1.1.

Pojam i definicije umjetne inteligencije ............................................................. 8

1.2.

Povijesni razvoj umjetne inteligencije ............................................................. 10

1.3.

Podruja umjetne inteligencije ......................................................................... 12

1.3.1.

Raunalni programi za ah ....................................................................... 12

1.3.2.

Raunalna lingvistika ............................................................................... 12

1.3.3.

Ekspertni sustavi ....................................................................................... 12

1.3.4.

Inteligentni agenti ..................................................................................... 13

1.3.5.

Robotika .................................................................................................... 14

1.3.6.

Raunalni vid ............................................................................................ 14

1.3.7.

Optiko prepoznavanje znakova (OCR) ................................................... 14

1.3.8.

Raunalne igre .......................................................................................... 14

TEORIJA NEURONSKIH MREA ................................................................... 16

2.1.

Pojam i definicije neuronskih mrea ................................................................ 16

2.2.

Povijesni razvoj neuronskih mrea .................................................................. 17

2.3.

Osnovna svojstva neuronskih mrea ................................................................ 19

2.4.

Vrste neuronskih mrea.................................................................................... 20

2.4.1.

Bioloke neuronske mree ......................................................................... 20

2.4.2.

Umjetne neuronske mree ......................................................................... 22

2.5.

Prednosti i nedostaci neuronskih mrea ........................................................... 27

2.6.

Podjela neuronskih mrea ................................................................................ 28

3.

4.

OBUAVANJE NEURONSKIH MREA ......................................................... 32

3.1.

Nadgledano obuavanje ................................................................................... 33

3.2.

Nenadgledano (samoorganizirano) uenje ....................................................... 35

3.3.

Backpropagation algoritam .............................................................................. 37

PRIMJER NEUROSNKE MREE ..................................................................... 38

4.1.

Predmet izgradnje neuronske mree ................................................................ 38

4.2.

Program ............................................................................................................ 38

4.3.

Opis tijeka projekta .......................................................................................... 38

4.3.1.

Pripremanje podataka .............................................................................. 39

4.3.2.

Importiranje podataka .............................................................................. 40

4.3.3.

Obuavanje i treniranje mree ................................................................. 45

4.3.4.

Analiza rezultata ....................................................................................... 49

4.3.4.1. Performance Vector .............................................................................. 49

4.3.4.2. Example Set Role................................................................................... 52
4.3.4.3. Improved Neural Net ............................................................................. 53
4.3.5.

Analiza uspjenosti ................................................................................... 54

4.3.5.1. Matrica greaka .................................................................................... 54

4.3.5.2. Dodatne mjere analize uspjenosti........................................................ 55
ZAKLJUAK ............................................................................................................... 56
LITERATURA .............................................................................................................. 57

SAETAK
Korjeni umjetne inteligencije seu u daleku prolost, jo u antiko doba. Od
starih grih filozofa i njihovih osnovnih pitanja iz logike, umjetna inteligencija se s
vremenom razvija do dananjih raunalnih programa za ah, robotike, inteligentnih
agenata i ostalih podruja.
Izmeu njenih raznih metoda, posebno mjesto zauzimaju neuronske mree koje
su svoje mjesto nale u mnogim podrujima. Mnoga istraivanja pokazuju da neuronske
mree bolje rjeavaju probleme od tradicionalnih i statistikih metoda.
Od samog poetka neuronske mree su izuavane sa biolokog i tehnolokog
pristupa. Bioloki pristup istrauje neuronske mree kao pojednostavljene simulacije
ljudskog mozga, a drugi pristup tretira neuronske mree kao tehnoloke sustave za
sloenu obradu informacija.
Vrlo vana karakteristika neuronskih mrea jest njihovo uenje na osnovu prolih
primjera, s tim da postoje nadgledano i nenadgledano obuavanje. Kod nadgledanog
obuavanja algoritam koji nadzire obuavanje usporeuje podatke dobivene na izlazu sa
oekivanim podacima, dok se za samoorganizirano najee koristi Kohonenov
algoritam.
Podaci koji e se obraivati u neuronskoj mrei dijele se na podatke za uenje i
testiranje. Preporuka strunjaka je da se za treniranje uzmu 2/3 podataka, a za testiranje
1/3, iako zahvaljujui napretku tehologije postoje programi kod kojih se podaci ne dijele
nego se importiraju u jednom dokumentu, a program sam i obui i istrenira podatke,
tako da korisnik prati obuavanje i testiranje i podeava koeficijente ciklusa treniranja,
stopa uenja i dr. sve dok ne bude zadovoljan uinkom neuronske mree.

UVOD
Samim razvojem ljudske inteligencije kroz tisue godina dolazi i do razvoja umjetne
inteligencije i svakodnevnog pomicanja granica. U okviru umjetne inteligencije pojavio
se pojam neuronske mree koje su samim pojavljivanjem zainteresirale mnoge
eksperte koji su omoguili da u kratkom vremenu pronau svoje mjesto i ponu se
primjenjivati u raznim podrujima.
Svaki ekspert koji se upoznaje sa neuronskim mreama postavlja svoju definiciju
navedene metode, a neke od najpoznatijih definicija navode se u daljnjem radu. Sve
definicije, bez obzira na svoje razliitosti, svode se na isti zakljuak; da se svaka od
njih sastoji od vie jednostavnih procesora koji imaju lokalne memorije u kojima pamte
podatke sa obrade, te da su jedinice meusobno povezane vezama, a podaci koji se
razmjenjuju obino su numeriki.
U ovom radu, nakon obraivanja pojma i definicija umjetne inteligencije u prvom
dijelu i neuronskih mrea u drugom dijelu, navest e se i objasniti njihove vrste, podjela
s obzirom na izuavanje te prednosti i nedostaci.
U treem dijelu obraeno je obuavanje neuronske mree, a etvrti dio je detaljno
opisano dizajniranje neuronske mree.

1. TEORIJA UMJETNE INTELIGENCIJE

1.1.

Pojam i definicije umjetne inteligencije

Inteligencija je mentalna karakteristika koja se sastoji od sposobnosti snalaenja u

novim situacijama, prilagodljivog ponaanja u danim okolnostima, te sposobnosti
miljenja pri rjeavanju problema.
Umjetna inteligencija je naziv koji pridajemo svakom neivom sustavu koji
pokazuje sposobnost snalaenja u novim situacijama,odnosno pokazuje inteligenciju.
Postoji vie definicija kojima se pokuava objasniti (definirati) pojam umjetne
inteligencije [1]:

Umjetna inteligencija je dio znanosti o raunarima koja se bavi odreivanjem

inteligentnih raunalnih sustava tj. sustava koji prikazuju karakteristike koje mi
dovodimo u vezu sa inteligencijom u ljudskom ponaanju-razumijevanju jezika,
uenju, zakljuivanju, itd.

Umjetna inteligencija je proces pomou kojeg mehanike sprave mogu izvoditi

zadatke za ije izvoenje ljudska bia zahtijevaju razmiljanje.

Umjetna inteligencija je znanost o izradi strojeva koji postaju inteligentni kao

ljudi.

Umjetna inteligencija je znanstvena oblast u kojoj se istrauje kako

napraviti

raunare koji bi uspjeno radili stvari koje u ovom momentu rade bolje ljudi.

Svaka od navedenih definicija na svoj nain objanjava pojam umjetne inteligencije

i na osnovu njih moe se zakljuiti da e strojevi biti inteligentni ako pokazuju
karakteristike vezane sa ljudskom inteligencijom.
Istraivai umjetne inteligencije zanemarivali su odnosno izbjegavali probleme:
numerikog procesuiranja, manipuliranja tekstom zasnovano na sintaksi, sortiranja
zabiljeenih podataka, kodiranje i dekodiranje informacija, proizvodnje i manipulacije
graficima (grafiko prikazivanje), a njihov rad bio je usmjeren na probleme koji
zahtijevaju zajedniki smisao, dosjetljivost, ekspertizu...
Zbog toga je Geuarter svojom definicijom umjetne inteligencije dao jedan novi
pogled koji do njega nije koriten:
Umjetna inteligencija bavi se inteligentnim ponaanjem primarno s nenumerikim
procesima koji ukljuuju sloenost, nesigurnost i dvosmislenost i za koje ne postoje
poznata algoritmina rjeenja. [1]

Postoji jo itav niz definicija umjetne inteligencije u kojima je ovisno od autora

naglasak stavljen na ovjeka ili na raunar. Simons zakljuuje da je glavni cilj umjetne
inteligencije da modelira, potie, oponaa i udvostruuje psiholoke fenomene.

Margaret Boden u svojoj knjizi Umjetna inteligencija i prirodni ovjek pie:

Umjetna inteligencija nije znanost o raunarima nego o inteligenciji u misli i djelu.
Raunari su njen alat zato to su njene teorije izraene kao raunarski programi koji
omoguavaju strojevima da urade stvari koje bi zahtijevale inteligenciju da ih rade
ljudi.

Za razliku od M.Boden, Haugland naglaava sredinju ulogu raunara u stimuliranju

razvoja spoznajne znanosti:

Vodea inspiracija spoznajne znanosti je da u odgovarajuem stupnju otuenja,

teorija o prirodnoj inteligenciji treba imati istu osnovnu formu kao teorija koja
objanjava sofisticirane raunalne sustave. Ova ideja ini umjetnu inteligenciju ne
samo moguom nego i sredinjim i istim oblikom psiholokih istraivanja.
Ovakav opis na razmatranje stavlja kljunu ulogu umjetne inteligencije koju ona
ima u postavljanju i razvoju interdiscipliniranih izuavanja, koja su sada poznata kao
znanost o spoznaji. Glavna tema istraivanja u znanosti o spoznaji je ljudska
inteligencija, s tim da postoji interes znanstvenika za otvaranje mogunosti prema
razvoju nove konkretizacije inteligencije, koji moe imati malo ili nita zajedniko sa
mehanizmima ljudske inteligencije.

1.2.

Povijesni razvoj umjetne inteligencije

Kroz povijest ljude privlai inteligencija, posebno sama pomisao na mogunost

konstruiranja inteligentnih strojeva koji bi mogli samostalno raditi i obavljati poslove
umjesto nas ljudi.
Umjetna inteligencija ima temelje u nekoliko znanstvenih disciplina; psihologiji,
filozofiji, matematici i mnogim drugim podrujima, a svako od njih je na svoj nain
utjecalo na njen razvoj.
Iako je umjetna inteligencija novija grana znanosti, njeni korjeni seu daleko u
prolost, jo u antiku filozofiju. U staroj Grkoj su razni filozofi, meu kojima se
posebno isticao Aristotel (384.-322.), prouavali pitanja inteligencije znanja i pravilnog
zakljuivanja. Aristotel je u svojoj knjizi Logika ispitivao da li se za neku
pretpostavku moe rei da je istinita zato to se odnosi na druge stvari za koje se zna da
su istinite. Primjer: ako se zna da su svi ljudi smrtni i da je Sokrat ovjek, moe li
se zakljuiti da je Sokrat smrtan?
Pojam umjetna inteligencija prvi je upotrijebio John McCarthy, koji je smatrao da
on oznaava znanost i inenjerstvo izrade umjetnih strojeva. Stoga se McCarthy

10

smatra i ocem umjetne inteligencije, a definirao ju je kao znanstvenu disciplinu koja se

bavi izgradnjom raunalnih sustava ije se ponaanje moe tumaiti kao inteligentno.
1936. godine Englez Alan Turing i Amerikanac Post neovisno jedan o drugome
objavljuju radove iz oblasti matematike logike. Rad Alana Turinga Raunski strojevi i
inteligencija jedan je od prvih radova vezanih za umjetnu inteligenciju. Turingov test
za mjerenje inteligencije strojeva predstavlja jedini do sada priznati standard u ovom
domenu. Meutim, tek pojavom prvog raunara Electronic Numerical Integrator And
Computer (ENIAC), kojeg su 1945.god. izmislili Mauchly i J.Presper Eckert moe se
govoriti o inteligentnim strojevima.
Znaajnu ulogu u razvoju umjetne inteligencije imali su Waren McColloch i Walter
Pitts u 1943. godini. Objavili su lanak Logiki raun ideja karakteristikih za nervnu
aktivnost u kojem su postavili matematiki model ivane stanice-neurona. Osim toga,
pokazali su da svaka izraunjiva funkcija moe se takoer izraunati mreom povezanih
neurona, s tim da prikladno definirane mree mogu uiti.
Prvim programom umjetne inteligencije se smatra Logic Theorist (1956. Allen
Newell i Herbert Simon) koji je pokazao sposobnost otkrivanja dokaza geometrijskih
teorema. 1958. zaslugom McCarthy-a pojavljuje se programski jezik LISP koji postaje
osnovnim jezikom programiranja umjetne inteligencije.
D.W. Paterson 1990. godine:
Umjetna inteligencija je grana raunalne znanosti koja se bavi prouavanjem i
oblikovanjem raunalnih sustava koji pokazuju neki oblik inteligencije. Takvi sustavi
mogu uiti, mogu donositi zakljuke o svijetu koji ih okruuje, oni razumiju prirodni
jezik te mogu spoznati i tumaiti sloene vizualne scene te obavljati druge vrste vjetina
za koje se zahtijeva ovjekov tip inteligencije.

11

1.3.

Podruja umjetne inteligencije

1.3.1. Raunalni programi za ah

Umjetna inteligencija se koristi pri izradi raunalnih programa za popularnu igru

ah, a najpoznatiji od njih je Deep Blue, raunalo tvrtke IBM koje je usavreno za
igranje aha. Ovo raunalo je 11.svibnja 1997. godine rezultatom 2-1 pobjedilo Garija
Kasparova, ruskog ahovskog velemajstora koji je bio ahovski prvak od 1985. do
2000., a neki ga smatraju najveim ahistom svih vremena.

1.3.2. Raunalna lingvistika

Raunalna lingvistika, koja se jo naziva strojno jezikoslovlje, raunska lingvistika,

strojna lingvistika, te raunalno jezikoslovlje je znanstvena disciplina koja se
bavirazvojem kompjutorskih programa koji omoguavaju raunsku obradu prirodnog
jezika. Objedinjuje rezultate iz teoretskog raunarstva, jezikoslovlja, kongitivne
psihologije, umjetne inteligencije i logike.

1.3.3. Ekspertni sustavi

Ekspertni sustavi su raunalni programi koji sadre odreena specifina znanja iz

jednog ili vie podruja znanosti. Razvijeni su 60-ih i 70-ih godina prolog stoljea, a
komercijalizirani su kroz 80-e godine.
Najee se ekspertni sustavi sastoje od seta pravila po kojima se analiziraju
informacije koje se dobivaju od korisnika o specifinoj vrsti problema. Ovisno o
njihovom dizajnu, odnosno izvedbi, pruaju korisniku odreene povratne informacije
to je potrebno preuzeti kako bi se rjeio zadani problem.

12

Luji, 1993.:
Ekspertni sustavi su inteligentni programi na raunalima koji koriste znanja i
postupke zakljuivanja, kako bi se rijeili teki zadatci, kad oni zahtijevaju
znatnu ljudsku strunost. Kao model znanja nunog za tu razinu moe se zamisliti
sveukupno struno znanje najboljih praktiara na nekom polju rada. [8].

Joef tefan (Ljubljana):

Ekspertni sustavi su sustavi koji oponaaju znanje eksperta. [8]

1.3.4. Inteligentni agenti

Inteligentni agenti su softveri koji imaju sposobnost da fleksibilno, samostalno i bez

intervencije korisnika izvravaju postavljeni zadatak, a korisnika obavjetava o
zavretku rada ili samoj pojavi dogaaja koji se oekuje.
Agent djeluje u interakciji sa okolinom kako bi na to precizniji nain izvrio
postavljeni zadatak. U ovom sluaju inteligencija je sposobnost kako inteligentni agenti
prihvaaju zadane ciljeve i kako ih izvravaju. Inteligencija odraava razinu kvalitete
razmiljanja i nauenog ponaanja.
Inteligentni agenti su prije svega programske komponente koje slue kao posrednici
izmeu korisnika i raunala. Osnovno svojstvo im je samostalno djelovanje u ime
korisnika, s ciljem obrade informacija, suradnje sa ostalim agentima i rjeavanja
postavljenih upita. Temelje se na umejtnoj inteligenciji, raspodjeljenom programiranju,
Internet tehnologiji i mobilnoj komunikaciji, a karakteristike koje predstavljaju svakog
inteligentnog agenta su:

radi za svog korisnika

radi s njegovom dozvolom

specijaliziran je za neko podruje

Poznati su i kao softverski agenti, vodii, roboti znanja i softverski roboti.

13

1.3.5. Robotika

Robotika je grana inenjerske znanosti i tehnologija robota, njihov dizajn,

proizvodnja, primjena. Srodna je sa elektronikom i mehanikom.
Naziv robot prvi je koristio eki pisac Karel apek u svom igrokazu R.U.R. koji je
objavljen 1920. Termin robotika izmislio je ameriki pisac Isaac Asimov u naunofantastinoj prii Liar!.

1.3.6. Raunalni vid

Raunalni vid je podruje umjetne inteligencije koje se bavi prepoznavanjem

dvodimenzionalnih i/ili trodimenzionalnih predmeta (npr. ljudskog lica). Bez razvijenog
raunalnog vida robot se ne moe snalaziti u prostoru, zbog ega moe biti potencijalno
opasan u sluaju ljudske prisutnosti.

1.3.7. Optiko prepoznavanje znakova (OCR)

OCR, eng. Opitcal Character Recognition ukljuuje raunalni softver koji je

organiziran tako da prevodi sliku otisnutog teksta s papira, koju obino uitavamo sa
skenera, u editabilni tekst, ili prevodi sliku sa znakovima u standardnu kodnu shemu
predstavljajui ih u ASCII ili Unicode kodu.

1.3.8. Raunalne igre

Raunalna igra se igra pomou raunala ili igraih pomagala prikljuenih na TV ili
raunalo. Postale su jedan od napopularnijih oblika zabave u svijetu. Svakodnevno se
mijenjaju, razvijaju i poboljavaju im se tehnike karakteristike, te postaju sve vaniji

14

gospodarski imbenik mnogih zemalja. Osnovni zahtjevi raunalnih igara su ulazni

grafiki ureaj i izlazni grafiki ureaj, najee monitor.

15

2. TEORIJA NEURONSKIH MREA

2.1.

Pojam i definicije neuronskih mrea

Neuronske mree, kao metoda umjetne inteligencije, u dananjem poslovanju se sve

vie upotrebljavaju u okviru sustava za odluivanje. Postale su vrlo popularan model
obrade podataka jer posjeduju neke sposobnosti koje podsjeaju na ljudske. Najee
su realizirane u obliku raunalnog programa koji mogu prepoznati uzorke u skupu
podataka i napraviti model za te podatke.
Ne postoji jedinstvena definicija neuronskih mrea. Svaki ekspert neuronskih mrea,
ovisno o svom gleditu, istraivanju i rezultatima postavlja vlastitu definiciju
neuronskih mrea, ali sa svog osobnog stajalita. Do sada nije utvrena ni ope
prihvaena nijedna jedinstvena definicija, ali veina bi se sloila sa sljedeom
definicijom [1]:
Neuronske mree su sustav sastavljen od vie jednostavnih procesora (jedinica,
neurona) gdje svaki od njih ima lokalnu memoriju u kojoj pamti podatke koje obrauje.
Te jedinice su povezane komunikacijskim kanalima (vezama), a podaci koji se
razmjenjuju ovim kanalima su obino numeriki.

Kevin Gurney
"Neuronska mrea je meusobno povezana nakupina jednostavnih elemenata
obrade, jedinica ili vorova, iji se naini djelovanja otprilike temelji na neuronima kod
ivotinja. Sposobnost obrade mree je posljedica jaine veza meu tim jedinicama, a
postie se kroz proces adaptacije ili uenjem iz skupa primjera za uvjebavanje."
Rezultati mnogih istraivanja pokazuju da neuronske mree rjeavaju gotovo sve
probleme bolje od tradicionalnih i statistikih metoda. Odlino rjeavaju probleme
klasifikacije i predvianja, odnosno openito sve probleme kod kojih postoji odnos
izmeu prediktivnih (ulaznih) i zavisnih (izlaznih) varijabli, bez obzira na visoku
sloenost te veze (nelinearnost).
16

Razlog boljih rezultata neuronskih mrea u odnosu na ostale metode je u njihovoj

mogunosti da analiziraju nedostatke u podacima, otkriju podatke sa smetnjama, imaju
sposobnost da ue na prolim dogaajima, te imaju sposobnost otkrivanja sloenih
skrivenih veza izmeu ulaznih i izlaznih podataka u iterativnim postupcima.
Znanje o obradi podataka pohranjeno je kod neuronskih mrea u obliku razliitih
iznosa teinskih koeficijenata. Takvo implicitno znanje teko je interpretirati i predoiti
ga ovjeku u obliku pravila (za razliku od npr. stabala odluivanja). Zbog toga se
neuronske mree uglavnom koriste kada nam je bitan samo rezultat klasificiranja ili
predikcije, a ne i pravilo po kojem je to ostvareno.

2.2.

Povijesni razvoj neuronskih mrea

Poetak neuro-raunarstva najee se vee za rad W. McCollocha i W. Pittsa iz

1943. godine. Na daljni razvoj neuronskih mrea vaan utjecaj imao je rad Marvina
Minskija i Deana Edmondsa koji su poetkom 50-ih godina prolog stoljea konstruirali
neuroraunalo pod imenom Snarc.
Za otkrie jednoslojne neuronske mree zvane Perceptron zasluan je Frank
Rosenblatt. Iako nije davao znaajnije rezultate, mogao je podeavati teinske
koeficijente.
Na konferenciji Dartmouth Summer Research Project on Artifical Intelligence, koja
je odrana 50-ih godina prolog stoljea, kao jedna od grana umjetne inteligencije,
profiliralo se neuronsko raunarstvo. Na toj konferenciji najavljeno je ostvarivanje
vizije raunalnog modela koji e u nekim temeljnim principima oponaati
funkcioniranje mozga. Neuronsko raunarstvo se pojavljuje kao odgovor Von
Neumann-ovim raunalima nastojei simulirati ili ostvariti paralelnu obradu informacija
koju koristi ljudski mozak dok razmilja, sjea se i rjeava probleme. Na razvoj
neuronskih mrea utjecao je velik broj dogaaja:

17

1943 - McCullock i Pitts postavljaju temelje za razvoj neuronskih mrea

objavom lanka Logiki raun ideja karakteristikih za nervnu aktivnost i
tako to prvi dokazuju da neuroni mogu imati dva stanja (pobuujue i
umirujue) i da njihova aktivnost ovisi o nekom pragu vrijednosti.

1949 Donald Hebb objavljuje knjigu Organizacija ponaanja i prvi predlae

pravilo kojim se opisuje proces uenja (Hebb-ovo pravilo). Pravilo je
predstavljalo odreen zakon uenja za sinapse, odnosno pravilo za mijenjanje
jaine veza meu neuronima.

Marvin Minsky i Dean Edmonds konstruiraju prvo neuroraunalo pod imenom

Snarc, koji je koristio vakuumske cijevi za simulaciju neuronske mree od 40
neurona.

1956 - Dartmouth Summer Conference na kojoj su Rochester i skupina autora

predstavili prvu simulaciju Hebb-ovog modela

1958 Frank Rosenblatt razvio prvu neuronsku mreu perceptron, koja je

dvoslojna i nije mogla rjeavati probleme klasifikacije koji nisu linearno djeljivi.
Rosenblatt i Charles Wightmann su sa svojim suradnicima izumili raunalo
Mark1 koje predstavlja prvo neuroraunalo.

1960 Bernard Windrow poboljava Hebbovu metodu uenja i razvija praktinu

uporabu neuronskih mrea. Sa svojim studentima razradio je jednostavni tip
neurona kojeg naziva ADALINE (ADAptive Linear Neuron) i odgovarajui
tip uenja.

1969 Minsky i Papert objavljuju knjigu Perceprtons u kojoj se kritiki

osvru na Perceptron i iznose matematiki dokaz da neuronska mrea ne moe
rjeiti XOR problem ni dodavanjem vie slojeva neurona, a rezultat je prestanak
financiranja u istraivanju neuronskih mrea.

1974 - razvijena vieslojna perceptron mrea - MLP (Paul Werbos), kao pretea
Backpropagation mree, koja prevladava nedostatak perceptrona uvoenjem
uenja u skrivenom sloju

1986 - Backpropagation mreu usavruju Rumelhart, Hinton i Williams, ona

vraa ugled neuronskim mreama, jer omoguuje aproksimiranje gotovo svih
funkcija i rjeavanje praktinih problema

18

- otada do danas se razvijaju brojni algoritmi za neuronske mree koji s

pomou razliitih pravila uenja, ulaznih i izlaznih funkcija rjeavanju probleme
predvianja, klasifikacije i prepoznavanja uzoraka.

2.3.

Osnovna svojstva neuronskih mrea

U nastavku su navedena i objanjena neka od najvanijih svojstava neuronskih

mrea:

Paralelno raspodijeljena obrada informacija.

Za razliku od ostalih raunskih modela, neuronske mree prihvaaju vie ulaza

paralelno i dobivene informacije obrauju na raspodijeljen nain. Drugim rijeima,

informacija spremljena u neuronsku mreu raspodijeljena je na vie raunskih
jedinica, to je suportno od spremanja podataka kod obinih metoda gdje je svaka
posebna informacija (podatak) spremljena u svoj vlastiti memorijski prostor.
Svojstvo raspodijeljenog spremanja informacija ima vie prednosti. Jedna od njih je
redudantnost, odnosno otpor na kvar. Redudantnost se moe postii i kod klasinih
metoda, ali kod neuronskih mrea i ako doe do unitenja nekog njenog dijela, ona
e i dalje raditi.

Uenje i adaptacija. Svojstvo uenja i adaptacije neuronske mree ini

sposobnima obraivati neprecizne i loe sauvane podatke u nestrukturiranom i
neodreenom okruenju. Na odgovarajui nain nauena neuronska mrea ima
svojstvo poopavanja kada se na njenom ulazu pojave podaci koji nisu bili u
uzorku na osnovi kojeg je mrea nauena.

Univerzalni apoksimator. Svojstvo neuronskih mrea da apoksimiraju

proizvoljnu kontinuiranu nelinearnu funkciju do eljene tonosti njihovo je
najvanije svojstvo sa stajalita modeliranja, identifikacije i upravljanja
nelinearnim procesima.

Vievarijabilni sustavi. Neuronske mree su po svojoj strukturi vievarijabilne

to ih ini lako primjenjivim za modeliranje, identifikaciju i upravljanje
vievarijabilnim procesima.
19

Sklopovska implementacija. Vie je proizvoaa razvilo specijalizirane sklopove

za implementaciju neuronskih mrea koji omoguavaju paralelnu raspodjeljenu
obradu u stvarnom vremenu.

Neuronske mree su raunski vrlo zahtjevne. Izlaz svakog rezultat je zbrajanja

vie umnoaka i izraunavanja nelinearne aktivacijske funkcije.

Raunska brzina neuronske mree odreena je brojem matematikih operacija

pojedinog sloja, a ne itave mree. Svaki sloj moe imati paralelnu grau,
odnosno svaki se neuron u sloju moe promatrati kao lokalni procesor koji radi
paralelno s ostalim neuronima.

Neuronske mree zahtijevaju veliki memorijski prostor. Svaki pojedini neuron

ima vie sinaptikih veza, a svakoj od njih je pridruen teinski koeficijent koji
mora biti spremljen u memoriju. Poveanjem broja neurona u mrei memorijski
zahtjevi rastu s kvadratom broja neurona.

2.4.

Vrste neuronskih mrea

Od samog poetka svoje prisutnosti u znanosti ispitivane su sa dva razliita pristupa;

biolokog i tehnolokog. Iako su umjetne neuronske mree nastale po uzoru na bioloke
neuronske mree, ova dva modela se meusobno razlikuju.
Bioloki pristup istrauje neuronske mree kao pojednostavljene simulacije ljudskog
mozga, a drugi pristup tretira neuronske mree kao tehnoloke sustave za sloenu
obradu informacija.

2.4.1. Bioloke neuronske mree

Predstavnik biolokih neuronskih mrea je ivani sustav ivih bia, odnosno

ljudski mozak je primjer biloke neuronske mree. Ljudski mozak je previe sloen da
bi se postojeim poznatim metodama mogao potpuno opisati i razumjeti nain njegova
20

djelovanja. Sastoji se od oko 1011 osnovnih ivanih stanica (neurona) koji su

meusobno povezani u sloenu mreu sa oko 1015 meusobnih veza.

Slika 1.: Mozak-sredinji dio ivanog sustava ovjeka [13]

Neuron je osnovna jedinica ivanog sustava koja prima i obrauje informacije od

drugih neurona i/ili osjetnih organa, te alje impuls drugim neuronima u mrei. Njegovi
dijelovi koji mu pomau u primanju informacija i proslijeivanju impulsa su:

ulazni dio elije

tijelo elije

izlazni dio elije

sinapse

Na sljedeoj slici (Slika 2.) prikazan je model biolokog neurona. Ulazni dio elije
(B) sastoji se od mnotva razgranatih niti koji se nazivaju dendriti. Tijelo elije (C)
obrauje siginale koje mu proslijede dendriti, nakon ega se dobiva izlazni impuls koji
se proslijeuje aksonu (A), koji je ujedno i izlazni dio elije. Mjesto dodira aksona
21

jednog neurona i dendrita nekog drugog neurona naziva se sinapsa, i slui

kao

poveznica preko koje se impulsi prenose iz jednog u drugi neuron.

Slika 2.: Model biolokog neurona [14]

2.4.2. Umjetne neuronske mree

Inspirirane biolokim neuronskim mreama i njihovim sustavom, nastale su umjetne

neuronske mree. Po samoj svojoj strukturi, funkciji kao i obradi informacija sline su

22

biolokim neuronskim mreama, s tim da se radi o umjetnim tvorevinama. Dizajnirane

su tako da oponaaju funkcije biolokih neuronskih mrea.
Koriste ogranien broj koncepata iz biolokih neuronskih sistema. Kljuni element
ove paradigme je neuobiajena struktura procesa obrade informacija, sastavljena od
velikog broja meusobno povezanih elemenata procesiranja koji zajedniki rade na
rjeenju problema.
Ove mree, kao i ljudi, ue na osnovu primjera tj. povijesnog iskustva, one nisu
programirane eksplicitnim instrukcijama, ve ue da izvre zadatak koristei primjere iz
stvarnog ivota. U stanju su da prepoznaju smisao u kompliciranim ili nepotpunim
podacima, da prepoznaju obrasce koji su neprepoznatljivi ljudima zbog 9 svoje
sloenosti i koji se ne mogu dobiti koritenjem drugih kompjuterskih tehnika.

Slika 3.: Model umjetnog neurona [1]

Umjetni neuron (Slika 3.) dobio je naziv po svojim autorima McCulloch Pittsov
neuron. Nastaje tako to se tijelo biolokog neurona zamjenjuje se sumom, ulogu
dendrita preuzimaju ulazi (ulazne varijable) u sumu, izlaz (izlazna varijabla) sume je
akson umjetnog neurona, a uloga praga osjetljivosti biolokih neurona preslikava se iz
tzv. aktivacijske funkcije. Veza umjetnog neurona s okolinom ostvaruje se po modu
funkcijske sinaptike veze biolokog neurona. Teinski faktori mogu biti pozitivan ili
negativan broj, a imaju istu funkciju kao i sinapse kod biolokog neurona: povezuju
izlaze (izlazne varijable) iz okoline neurona tj. izlaze drugih neurona (aksone) s ulazima

23

sume (dendriti). Intenzitet te veze ovisi o iznosu (modulu), a vrsta veze o predznaku
teinskog faktora.
U sljedeoj tablici (Tablica 1.) predstavljena je konkretna usporedba bioloke i
umjetne neuronske mree:
Tablica 1.: Usporedba bioloke i umjetne neuronske mree

Bioloka mrea

Umjetna mrea

Dendriti

Ulazni dio elije

Tijelo elije

vor (sumator)

Akson

Izlazni dio elije

Sinapsa

Teinski koeficijenti

Iz navedenog se vidi da umjetni neuron funkcionira slino kao bioloki neuron.

Izlazi iz drugih neurona u okruenja promatranog neurona, koji se upuuju
promatranom neuronu mnoe se teinskim faktorima i dovode do sume. U sumi se
dobiveni produkti sumiraju, a njihova suma se odvodi na ulaz aktivacijske funkcije,
koja e na svom ulazu dati izlaz neurona.

Aktivacijske funkcije dijele se na linearne i nelinearne.

Linearne aktivacijske funkcije izlaz sume mnoi se s nekim faktorom
(pojaanjem) i tako dobiva izlaz neurona.
Nelinearne aktivacijske funkcije mogu poprimiti razliite oblike, a
najrasprostranjenije su : funkcije praga osjetljivosti, sigmoidne, hiperboline i
harmonike funkcije. Nelinearne aktivacijske funkcije prevode izlaz sume na
izlaz neurona preko nelinearnog pojaanja. Na taj nain funkcija praga
osjetljivosti daje na izlazu neurona 1, ako je izlaz sume vei od zadanog broja
24

(prag osjetljivosti), to odgovara ispaljivanju impulsa kod biolokog neurona.

Ukoliko neuron nije aktivan, onda je na izlazu neurona 0.
Signali u umjetnom neuronu su opisani numerikim iznosom i na ulazu u neuron mnoe
se teinskim koeficijentom koji opisuje jakost sinapse; signali pomnoeni teinskim
koeficijentima zatim se sumiraju, a ako je dobiveni iznos iznad definirana praga, neuron
daje izlazni signal.

Slika 5. Izlaz iz neurona

Umjetni neuron u openitom sluaju, umjesto funkcije praga moe imati prijenosnu
funkciju (transfer funkcija, aktivacijska funkcija). Najea je sigmoidalna (ili Sfunkcija) koju se nekad zove i logistikom funkcijom.

Slika 6. Sigmoidalna funkcija [15]

25

Svaka mrea sastoji se od neurona grupiranih u slojeve. Razlikuju se ulazni i izlazni

sloj, s tim sa mrea moe imati jedan ili vie skrivenih slojeva. Svaki od slojeva prima
ulaze od prethodnog sloja i alje dalje sljedeem sloju. Prvi sloj se naziva ulazni,
posljednji se naziva izlazni, a ostali su skriveni slojevi.

Slika 4.: Mrea sa jednim skrivenim slojem [1]

Najea arhitektura neuronskih mrea je sa tri sloja koja je prikazana na

prethodnoj slici (Slika 4.), od kojih je jedan skriveni. Prvi sloj (ulazni) je jedini sloj koji
prima signale iz okruenja te ih prenosi drugim (skriveni) slojevima koji obrauju
informacije te izdvajaju osobine i sheme primljenih signala. Oni podaci (informacije)
koje se smatraju vanima procesuiraju se do izlaznog sloja kao posljednjeg u mrei. Na
tom treem (izlazni) sloju dobivamo rezultate obrade. Postojanje vie skrivenih slojeva,
petlji i elemenata za odlaganje vremena imaju tzv. sloene neuronske mree koje i jesu
dizajnirane tako s razlogom, da bi mogle to efikasnije i kvalitetnije odvojiti vane
osobine ili sheme sa ulaznog nivoa.

26

2.5.

Prednosti i nedostaci neuronskih mrea

Na sljedeoj slici (Slika 7.) je prikazan dijagram zavisnosti moi predvianja i

objanjavanja. Neuronske mree odlino predviaju a slabo objanjavaju, potpuno
suprotno od npr. stabala odluivanja. Neuronska mrea ne moe korisniku da objasni
kako je dola do odreenog reenja jer je u neurosnkoj mrei znanje o obradi podataka
pohranjeno u obliku razliitih teinskih koeficijenata koje je teko predstaviti ovjeku
obliku pravila. Zato se neuronske mree koriste samo kada je bitan rezultat klasifikacije,
a nije bitno pravilo po kojem se dolo do rezultata.

Slika 7. Dijagram zavisnosti moi predvianja i objanjavanja

Prednosti neuronskih mrea:

ue na osnovu primjera, za razliku od klasinih sustava koji moraju biti

programirani
27

odlina mo predvianja

bez obzira na sloenost veze odlino rjeavaju sve probleme kod kojih postoji
odnos izmeu ulaznih i izlaznih podataka

mogunost tolerancije nedostataka i smetnji (funkcionira i ako doe do oteenja

dijela mree)

sposobnost generalizacije (ako dobiju nekompletan skup podataka, mrea e

ipak dati izlaz)

rjeavaju gotovo sve probleme bolje nego tradicionalne metode i statistike

metode

tonije su od ostalih statistikih tehnika (posebno ako je problem slabo definiran

ili nerazumljiv)

Nedostaci neuronskih mrea:

uspjeno uenje zahtjeva velik broj podataka

imaju slabu mo objanjavanja

nisu pogodne za aritmetike proraune i zadatke obrade podataka

ne mogu davati odgovore izvan raspona u kojem ue

tekoe u koritenju (vrijeme treniranja)

skupe su za proizvesti

2.6.

Podjela neuronskih mrea

Postoji veliki broj razliitih realizacija neuronskih mrea, a samim tim postoji i mnogo
podjela. Neuronske mree moemo klasificirati prema:

1. Broju slojeva
Prema broju slojeva mree moemo podijeliti na jednoslojne i vieslojne. Danas se
uglavnom izuavaju i primjenjuju vieslojne koje pored ulaznih i izlaznih slojeva sadre
neurone na srednjim (skrivenim) slojevima.
28

2. Vrsti veza izmeu neurona

Neuronske mree se mogu podijeliti prema vrstama veza tj. arhitekturi na:
slojevite - Neuroni su rasporeeni tako da formiraju slojeve. Na ulaz
jednog neurona se dovode izlazi svih neurona sa prethodnog sloja, a
njegov izlaz se vodi na ulaze svih neurona na narednom sloju. Neuroni sa
prvog (ulaznog) sloja imaju samo po jedan ulaz. Izlazi neurona sa
zadnjeg (izlaznog) sloja predstavljaju izlaze mree. Predstavnik:
backpropagation algoritam.
potpuno povezane - Izlaz jednog neurona se vodi ka ulazu svih neurona
u mrei. Predstavnik: Hopfildova neuronska mrea.
celularne - Meusobno su povezani samo susjedni neuroni. Bez obzira
na lokalnu povezanost, signali se prostiru i na neurone i van susjedstva
zbog indirektnog prostiranja informacija.
3. Vrsti obuavanja neuronskih mrea
Razlikujemo nadgledano, ne nadgledano i djelomino obuavanje.

4. Prema smjeru prostiranja informacija

Mogu se podijeliti i prema smjeru prostiranja informacija kroz mreu:
Feed-forward (ne rekurzivne, ne rekurentne ili nepovratne) - Vii slojevi ne
vraaju informaciju u nie slojeve. Vre prostiranje signala samo u jednom
smjeru (od ulaza prema izlazu) odnosno propagaciju signala. Predstavnici:
Vieslojni perceptron sa primijenjenim backpropagation algoritmom. Feedfoward mrea je prikazana na sljedeoj slici (Slika 8):

29

Slika 8. Feed forward mrea

Feedback (rekurzivne ili rekurentne ili povratne) Slika 9. Vii slojevi
vraajuinformacije nazad u nie slojeve. Izlaz iz neurona se vraa u nie slojeve
ili u isti sloj. Predstavnici: Hopfildove, Celularne NM, Kohonenove NM,
dvostrukoasocijativne NM. Feed - back mree imaju mnogo vee procesne
sposobnosti od Feed - forward mrea.

Slika 9. Feed back mrea

30

5. Prema vrsti podataka

Prema vrsti podataka koje obrauju NM se mogu podijeliti na analogne i diskretne. Ova
podjela se rijetko koristi poto su gotovo sve neuronske mree diskretne.

31

3. OBUAVANJE NEURONSKIH MREA

Najjednostavnije objanjena uloga teinskih koeficijenata u neuronskoj mrei jest da
su oni potrebni da se pomnoe sa vrijednostima koje su dovedene na ulaz neurona kako
bi se dobili ulazni podaci.
Kako bi se neuronska mrea obuavala, potrebno je napraviti model sa ulaznim i
izlaznim podacima, odnosno prikupiti podatke iz prolosti na osnovu kojih e se
neuronska mrea obuavati.
Podatke dijelimo na dvije vrste:

podaci za uenje (treniranje mree)

podaci za testiranje (validaciju mree)

Podaci za uenje i podaci za testiranje moraju biti stratificirani, znai moraju biti
izabrani sluajno i nezavino, te u oba skupa mora biti priblino jednak broj podataka.
to se tie same veliine skupa za uenje i testiranje nema nekog posebnog pravila,
osim to se preporua vei dio podataka ostavit za uenje modela (npr. 2/3 podataka
ostaviti za uenje, a 1/3 za testiranje).
Sam proces obuavanja neuronskih mrea zapoinje zadavanjem sluajnih
vrijednosti teinskih koeficijenata koji opisuju jakost sinapse i dovoenejm signala na
ulazni sloj. Signali su opisani numerikim iznosom i na ulazu u neuron se mnoe sa
teinskim koeficijentom. Dobiveni iznosi se sumiraju; ako je dobiveni iznos iznad
definiranog praga neuron daje izlazni signal. Mrea aktivira i usporeuje izlazni i zadani
(onaj koji treba da se dobije) izlazni oblik. Postupak se ponavlja na taj nain da se
auriraju teinski koeficijenti tako da se u svakom sljedeem ponavljanju dobije izlaz
koji je najblii zadanoj vrijednosti. U trenutku kada je mrea sposobna da daje izlaze sa
zadovoljavajuom tonosti obuavanje se prekida i mrea se moe upotrijebiti za
rjeavanje raznih problema.
Zbroj ulaznih vrijednosti neurona pomnoenih sa odgovarajuim teinskim
koeficijentima se proputa kroz aktivacijsku funkciju i ta vrijednost predsavlja izlaz iz

32

neurona. Iako neuroni imaju poprilino jednostavne (linearne) funkcije, kada se poveu
u vieslojnu mreu, u stanju su da obrade i vieslojne (nelinearne) funkcije.

Slika 10. Teinski koeficijent [1]

u1..nulazni podaci
w1..n teinski koeficijenti
( ) aktivacijska funkcija
i izlazni podatak
Teoretski gledano, imamo dva naina obuavanja neurosnkih mrea:

nadgledano obuavanje

nenadgledano obuavanje

3.1.

Nadgledano obuavanje

Dok traje obuavanje mree, algoritam koji nadzire obuavanje usporeuje podatke
koji su dobiveni na izlazu sa oekivanim podacima, a razlika izmeu dobivenih i
oekivanih podataka alje se proceduri za uenje koja korigira teinske koeficijente.
Najpopularniji algoritmi za nadgledano obuavanje su back-propagation i
perceptron algoritam.
Ideja je da se izabere sluajan par ulaznih i izlaznih rezultata. Mrei se prosljeuje
ulazni skup signala, tako to se na svaki ulazni neuron dovodi po jedan signal. Zatim ovi
33

signali propagiraju dalje kroz mreu, u skrivene slojeve, da bi se poslije izvjesnog

vremena na izlazu pojavio rezultat. Kako se to dogaa?
Za svaki neuron se rauna ulazna vrijednost, na ve objanjeni nain: signali se
mnoe sinaptikim teinama pridruenim dendritima, zbrajaju se, i zatim se na
dobivenu vrijednost primjenjuje prijenosna funkcija neurona. Signal na isti nain
propagira dalje kroz mreu, sve dok ne doe do izlaznih dendrita. Tada se jo jednom
vri transformacija i dobivaju se izlazne vrijednosti. Slijedei korak je poreenje
dobivenih signala na izlaznim aksonskim ograncima sa oekivanim vrijednostima za
zadati test primjer. Za svaki izlazni ogranak se rauna vrijednost pogreke. Ako su sve
greke jednake nuli, daljnja obuka nije potrebna mrea je u stanju obavljati traeni
zadatak. Meutim, u najveem broju sluajeva e greka biti razliita od nule. Tada se
mora obaviti modifikacija sinaptikih teina pojedinih vorova. Ta operacija se vri
primjenom delta pravila [1], na slijedei nain:
D pWij = hdLpiOLpi
gdje su:
DpWij - vrijednost za koju treba promijeniti sinaptiku teinu Wij u odnosu na zadati
ulazno-izlazni par p
h - stupanj uenja
dLpi greka na i-tom neuronu u sloju L za ulazno-izlazni par p
OLpi vrijednost dobivena primjenom prijenosne funkcije u L-tom sloju neurona:

OLpi = 1 / (1 + e-UlazLpi)
Stupanj uenja se bira tako da bude izmeu 0 i 0.9. On odreuje veliinu koraka
kojom se neuronska mrea pribliava optimalnom stanju.
Ideja cijelog back-propagation algoritma je da se mrea kree niz krivu greke u
potrazi za globalnim minimumom funkcije. Izbor vrijednosti za stupanj uenja je veoma
kritian.

34

Ako se uzme prevelika vrijednost, vrlo lako se izbjegavaju lokalni minimumi, ali
sustav tada moe upasti u reim oscilacija tako to e skakati preko globalnog
minimuma, ali ga nikad nee otkriti. Sa druge strane, ako izaberemo suvie malu
vrijednost za stupanj uenja, mrea moe pogreno identificirati lokalni minimum i
ostati u stanju koje nije optimalno. Situacija je prikazana na Slika 11. [1]:

Slika 11. Izbor vrijednosti za stupanj uenja [1]

Kada se izvri skup svih test primjera, odreuje se da li je mrea obuena. To se

radi procjenom da li je vrijednost greke ispod nekog dozvoljenog praga. Ako jeste,
potrebno je izvriti i validaciju. Mrei se dostavljaju drugaiji ulazni podaci za isti
problem i promatraju se izlazi, ali i performanse. Ako mrea zadovoljava i te kriterije,
proglaava se za obuenu i dalje se u sustavima moe koristiti kao crna kutija za
odreene ulaze se garantira da e mrea dati korektne izlaze. Na pitanje to se
konkretno deava u skrivenim slojevima mree je veoma teko odgovoriti.

3.2.

Nenadgledano (samoorganizirano) uenje

Kod nenadgledanog uenja mrea daje odreene izlazne podatke na osnovu

odreenih skupina ulaznih podataka. Mrea otkriva statistike pravilnosti u skupu

35

ulaznih podataka i automatski razvija razliite reime ponaanja u zavisnosti od ulaza.

Za ovaj tip uenja najee se koristi Kohonenov algoritam.
Mrea ima samo dva sloja neurona; ulazni i izlazni. Izlazni sloj se zove jo i
kompetitivni sloj. U ovakvim mreama svaki ulazni neuron je povezan sa svakim
neuronom u izlaznom sloju, a neuroni u izlaznom sloju su organizirani u
dvodimenzionalnu matricu.
Ulazni sloj u ovakvim mreama ima istu funkciju kao i u dosadanjim mreama, ali
neuroni u izlaznom sloju imaju potpuno drugaiju funkciju. Oni su u stanju kalsificirati
ulazne podatke, odnosno izdvojiti ih u klase ovisno o tome koliko neurona je aktivno.
Stoga se ovakve mree nazivaju samoorganizirane (Slika 12.).

Slika 12. Mrea sa 2 ulazna i 25 izlaznih neurona

Ovakve mree polaze od sluajno izabrane topoloke mape i na kraju daju mapu
koja odraava prirodne veze izmeu ulaznih podataka. Topoloko mapiranje senzornih i
motornih fenomena postoji i u kori ljudskog mozga. Meutim, ne treba zaboraviti da se
mehanizam funkcioniranja mozga razlikuje od samoorganiziranih neuronskih mrea.
Osim to je struktura mozga drugaija, razlikuje se i nain obrade podataka, kao i sami
ulazni podaci. Bioloki ivani sustav mnogo je kompleksniji u odnosu na neuronske
mree to se tie topologije i broja neurona.

36

3.3.

Backpropagation algoritam

U procesu uenja backpropagation model neuronske mree prolazi kroz svaki od

ulaznih sluajeva pojedinano, s nastojanjem minimizacije ukupne pogreke modela,
korigirajui teinske koeficijente u modelu. Raunajui pogreku svakog neurona,
algoritam propagira pogreku od izlaznog sloja ka ulaznome, dakle unazad kroz mreu.
Zbog toga i naziv backpropagation algoritam.
Backpropagation algoritam ili u prijevodu algoritam mree irenje unatrag bio je
presudan za iroku upotrebu neuronskih mrea te ih je uinio iroko upotrebljivanom i
popularnom metodom u razliitim podruijima. Njezin tvorac bio je Paul Werbos 1974., a
proirena je od strane Rumelhart a, Hinton a i Williams a 1986. To je bila prva mrea
s jednim ili vie skrivenih slojeva.
Ova mrea propagira input kroz mreu od ulaznog do izlaznog sloja, a zatim odreuje
greku te tu greku propagira unazad sve do ulaznog sloja ugraujui je u formulu za
uenje.
Glavni nedostatak algoritma je problem estog pronalaenja lokalnog umjesto
globalnog minimuma greke, zbog toga novija istraivanja ukljuuju njegovo unapreivanje
nekim drugim deterministikim ili stohastikim metodama.

Slika 13. Backpropagation algoritam

37

4. PRIMJER NEURONSKE MREE

Inspiracija za ovim projektom javila se zbog realnosti koja, iako nastojei se
promijeniti na bolje, iz dana u dan izgleda kao da samo nazaduje.

4.1.

Predmet izgradnje neuronske mree

U nastavku e biti dizajnirana neuronska mrea koja e davati rezultate o

financijskoj mogunosti obitelji. Neovisno o injenici koliko lanova radi, gledat e se
niihov cjelokupni prihod kao prihod obitelji, koji e predstavljati ulazne varijable
neuronske mree.

4.2.

Program

Neuronska mrea e se graditi u programu RapidMiner 5. Program je preuzet sa

web stranice http://rapidminer.com/.

Slika 14. RapidMiner 5

4.3.

Opis tijeka projekta

38

4.3.1. Pripremanje podataka

U kompleksim istraivanjima podaci su najee ve spremljeni u t.z.v. skladite

podataka (eng. DataWarehuose), jer se i samo istraivanje najee provodi zbog
traenja interesantnih struktura, slinosti ili neoekivanih veza meu podacima.
U ovom projektu podaci nisu prethodno nigdje spremljeni, nego su prikupljani kroz
dulje vremensko razdoblje, analizirani i spremani za koritenje. Nakon prikupljanja
podataka uslijedilo je njihovo unoenje u Microsoft Excel kako bi se mogli pravilno
koristiti u RapidMineru.
Prikupljeni podaci razvrstani su u sljedee kategorije:

visina prihoda obitelji

troak na djecu do 7 godina starosti

troak uenika

troak studenata

reije

hrana

ostali trokovi (ukoliko obitelj ima kredite i sl.)

ukupni trokovi

da li su prihodi obitelji dovoljni

Pri koritenju starijih programa koji su dizajnirani za izgradnju neuronskih mrea,

potrebno je razvrstati podatke u dvije skupine; podatke za obuavanje neuronske mree
i posebno podatke za testiranje neuronske mree. Pri tome su eksperti uvijek predlagali
koritenje 2/3 podataka za obuavanje, a 1/3 za testiranje.
Zahvaljujui napretku tehologije pojavili su se i programi koji samostalno
obuavaju i treniraju neuronsku mreu, tako da se podaci ne moraju razdvajati.
RapidMiner takoer ima sposobnost da samostalno i obuava i trenira neuronsku
mreu, zbog ega je svih 1100 podataka spremljeno u jedan Microsoft Excel dokument
nazvan Podaci. Na sljedeoj slici (Slika 15.) prikazan je dio podataka.

39

Slika 15. Prikaz podataka u Microsoft Excel-u

4.3.2. Importiranje podataka

Prikupljene podatke sada je potrebno importirati u program, a postupak je prikazan

na sljedeim slikama (Sika 16. - Slika 21.).

Prvi korak je odabir vrste dokumenta u kojoj su spremljeni podaci koji e se

importirati.

40

Slika 16. Odabir vrste dokumenta

Slijedi odabir dokumenta sa pripremljenim podacima, u ovom sluaju
spremljeno je kao xlsx dokument i gumbom Next se prelazi na sljedei korak.

41

Slika 17. Pronalazak i odabir dokumenta

Nakon toga prikazuju se podaci koji su uitani.

Slika 18. Prikaz uitanih podataka

42

Slika 19. Obavijest o anotaciji pojedinih polja

U 4.koraku potrebno je odabrati inaicu label jer se radi o tekstualnim
podacima i u suprotnom e javljati greku pri radu programa te program nee moi doi
do rezultata.

43

Slika 20. Odabir label-a

44

Slika 21. Imenovanje i spremanje podataka

4.3.3. Obuavanje i treniranje mree

45

Slika 22. Otvaranje novog bloka

Poto se u ovom projektu radi o neuronskoj mrei, zadano stablo odluivanja je

potrebno ukloniti to je prikazano na sljedeoj slici (Slika 23.).

46

Slika 23. Uklanjanje stabla odluivanja

RapidMiner je jedan od programa koji sam i obuava i testira mreu, to se vidi
na sljedeoj slici.

Slika 24. Odabir neuronske mree

47

S obzirom da program sam obuava i trenira mreu, ako korisnik nije zadovoljan
rezultatom, podeavanjem broja skrivenih slojeva, ciklusa treniranja, stopa uenja i
momenata uenja. Ovisno o razlici izmeu rezultata programa i eljenom rezultatu,
korisnik podeava navedene postavke sve dok ne dobije eljeni rezultat, odnosno
dok se mrea ne obui i istrenira.

Slika 25. Podeavanje postavki obuavanja i treniranja

Slika 26. Odabir podataka

48

Ako meu podacima postoje prazna polja, ubacuje se tablica koja ta polja
programu predstavlja kao polja sa vrijednostima jednakim nuli.

Slika 27. Ubacivanje zamjene za prazna polja

4.3.4. Analiza rezultata

Dobiveni rezultati neuronske mree prikazani tumae se na nekoliko naina koji su

objanjeni u nastavku.

4.3.4.1.

Performance Vector

Performance Vector se prikazuje na tri naina:

Table/Plot view (t.z.v. Konfuzijska matrica)

Text view

Annotations

49

4.3.4.1.1. Table/Plot view

Table/Plot view, odnosno t.z.v. Konfuzijska matrica sadri podatke o djelovanju
klasifikatora nad testnim skupom podataka, odnosno rezultat klasifikatora i podatke o
stvarnim razredima kojima podaci pripadaju.
Broj tono klasificiranih podataka nalazi se nizdu dijagonale konfuzijske matrice:
560 + 540 = 1000,
a svi ostali podaci (kojih u ovom sluaju nema) su broj primjera koji su neispravno
klasificirani kao neki od preostalih razreda.

Slika 28. Konfuzijska matrica

4.3.4.1.2. Text view
Text view, kao to i sam naziv kae, sadri tekstualne rezultate. U ovom dijelu
program automatski rauna tonost i preciznost neuronske mree (objanjeno u
poglavlju 4.3.5.2.) na osnovu Konfuzijske matrice.

50

Slika 29. Performance Vector

4.3.4.1.3. Annotations
Anotacije se dodaju po potrebi.

Slika 30. Annotations

51

4.3.4.2.
Example Set Role
Example Set Role se prikazuje kao:

Data View

Meta Data View;

koji se najee koriste, dok se samo u posebnim pregledima koriste i :

Plot view

Advanced Charts

Annotations

4.3.4.2.1. Data View

Data View predstavlja pojedinane rezultate klasifikatora za svaki podatak.

Slika 30. Data View

4.3.4.2.2. Meta Data View

52

Slika 31. Meta Data View

4.3.4.3.

Improved Neural Net

Improved Neural Net je grafiki prikaz neuronske mree. Jasno se vidi ulazni sloj,
broj skrivenih slojeva i izlazni sloj, po kojem se vidi da su bila dvije izlazne varijable, te
veze meu neuronima, s tim da nijedna veza nije jednake jaine, to je takoer
prikazano na Slika 30.

Slika 30. Improved Neural Net

53

4.3.5. Analiza uspjenosti

Na osnovu konfuzijske matrice mogue je izraunati uspjenost neuronske mree.

Tonost (accuracy) se definira kao omjer broja ispravno klasificiranih primjera

prema ukupnom broju klasificiranih primjera.

Pogreka (error rate) se definira kao omjer broja neispravno klasificiranih primjera
prema ukupnom broju klasificiranih primjera.

U ovoj neuronskoj mrei tonost je 100%, a pogreka 0%, iz ega se zakljuuje da

je neuronska mrea zaista uspjena.

4.3.5.1.

Matrica greaka

Matrica greaka u ovom sluaju je matrica greaka za klasifikacijski problem sa

dva razreda (Slika 29.).

54

Slika 29.: Matrica greaka za klasifikacijski problem sa dva razreda

Stvarno pozitivni (TP) & Stvarno negativni (TN) = Ispravna klasifikacija
Krivo pozitivni (FP) & Krivo negativni (FN) = Greke klasifikacije

4.3.5.2.

Dodatne mjere analize uspjenosti

55

ZAKLJUAK
Neuronska mrea obrauje podatke distribuiranim paralelnim radom svojih
ovorova. Pri tome je obradbena mo mree pohranjena u snazi veza izmeu pojedinih
neurona, odnosno teinama do kojih se dolazi postupkom prilagodbe, tj. uenjem iz
skupa podataka za obuavanje.
Neuronske mree odlino rjeavaju probleme klasifikacije i predvianja i sve
probleme kod kojih postoji odnos izmeu prediktivnih (ulaznih) i zavisnih (izlaznih)
varijabli, bez obzira na visoku sloenost sloenost te veze (nelinearnost).
Znanje o obradi podataka kod neuronskih mrea pohranjeno je u obliku razliitih
iznosa teinskih koeficijenata. Takvo implicitno znanje teko je interpretirati i predoiti
ovjeku u obliku pravila, kao npr. stabla odluivanja. Zbog toga se neuronske mree
uglavnom koriste kada nam je bitan samo rezultat klasificiranja ili predikcije, ali ne i
pravilo po kojem je ostavren rezultat.

56

LITERATURA
1) dr.sc. VIEKRUNA, Vojo: Inteligentni sustavi, Umjetna inteligencija2
(predavanja), kolegij Umjetna inteligencija, akademska godina 2009/2010.
2) MAKI, Kenan: Primjena neuronskih mrea u fizici i informatici, diplomski
rad, 05.04.2014., http://www.phy.hr/~planinic/diplomski/Kenan_Mackic.pdf
3) MATI, Ines: Neuronske mree, zavrni rad, 2012.
4) Wikipedija: Umjetna inteligencija, 05.04.2014.
<http://hr.wikipedia.org/wiki/Umjetna_inteligencija#Tipi.C4.8Dna_podru.C4.8
Dja_primjene>
5) Wikipedija: Deep Blue, 05.04.2014. <http://hr.wikipedia.org/wiki/Deep_Blue>
6) Wikipedija: Raunalna lingvistika, 06.04.2014.
<http://hr.wikipedia.org/wiki/Ra%C4%8Dunalna_lingvistika>
7) Wikipedija: Gari Kasparov, 06.04.2014.
<http://hr.wikipedia.org/wiki/Gari_Kasparov>
8) Wikipedija: Ekspertni sustavi, 06.04.2014.
<http://hr.wikipedia.org/wiki/Ekspertni_sustavi>
9) Wikipedija: Inteligentni agenti, 06.04.2014.
<http://hr.wikipedia.org/wiki/Inteligentni_agenti>
10) Wikipedija: Robotika, 06.04.2014. <http://hr.wikipedia.org/wiki/Robotika>
11) Wikipedija: Robotika, 07.04.2014.
<http://hr.wikipedia.org/wiki/Ra%C4%8Dunalni_vid>
12) Wikipedija: Optiko prepoznavanje znakova, 07.04.2014.
<http://hr.wikipedia.org/wiki/Opti%C4%8Dko_prepoznavanje_znakova>
13) <https://www.google.ba/search?q=slika+mozga&espv=2&source=lnms&tbm=is
ch&sa=X&ei=boSyU5qyKoKp0QW_sYGIAg&ved=0CAYQ_AUoAQ&biw=1
252&bih=579> 07.04.2014.
14) <https://www.google.ba/search?q=biolo%C5%A1ki+neuron&espv=2&source=l
nms&tbm=isch&sa=X&ei=MYWyU5boM7Cz0QXJ5ICwAg&ved=0CAYQ_A
UoAQ&biw=1252&bih=579> 07.04.2014.

57