SVEUILITE/UNIVERZITET VITEZ VITEZ

FAKULTET INFORMACIJSKIH TEHNOLOGIJA

STUDIJ I CIKLUS; GODINA STUDIJA III GODINA

SMJER: INFORMACIJSKE TEHNOLOGIJE

DIZAJNIRANJE NEURONSKIH MREA

Case Study

STUDENTI: Sandrino Vulovi

PREDMET: Ekspertni sistemi

PROFESOR: prof. dr Branko Latinovi

ASISTENT: Nermina Konjali

Travnik, April 2017. godine

Sadraj

1. UVOD ................................................................................................................... 3
2. HISTORIJAT RAZVOJA UMJETNE INTELIGENCIJE ................................... 4
3. INTELIGENCIJA ................................................................................................. 7
4. UMJETNA INTELIGENCIJA ............................................................................. 7
5. VJETAKE NEURONSKE MREE ................................................................ 8
5.1. Opis neuronske mree .............................................................................................. 8
5.2. Vrste neuronskih mrea ......................................................................................... 11
6. DIZAJNIRANJE I FAZE RAZVOJA NEURONSKE MREE ........................ 12
6.1. Uenje .................................................................................................................... 12
6.2. Testiranje mree ..................................................................................................... 15
6.3. Proces dizajniranja neuronske mree ..................................................................... 16
7. OBLASTI PRIMJENE NEURONSKIH MREA ............................................. 21
8. ZAKLJUAK ..................................................................................................... 23
9. LITERATURA ................................................................................................... 24

2
 1. UVOD

Neuronske mree moemo opisati kao relativno novi koncept koriten u analizi
podataka, ija se iroka primjena oituje u drutvenim znanostima, tehnikim
znanostima, ekonomiji i mnogim drugim podrujima. Pod pojmom neuronske
mree podrazumijevat emo umjetne neuronske mree. U radu su opisani osnovni
pojmovi te metode neuronskih mrea, kao i pojava te razvoj zanimanja za umjetnu
inteligenciju. Takoer, opisani su i noviji primjeri uspjene primjene umjetne
inteligencije u 21. stoljeu. Kao najsvjeiji primjer razvoja umjetne inteligencije u
radu je navedena Wolfram Alpha, znanstvena trailica javnosti predstavljena 2009.
godine, koja odgovor na postavljeni upit daje pomou ugraenih algoritama na nain
da upite povezuje s dosadanjim spoznajama.

Iako razvoj neuronskih mrea ne see daleko u prolost, izrazito visoka uspjenost
njihove primjene odraava se u podruju predvianja i klasifikacije. Istraivanja i
razvoj umjetnih neuronskih mrea zasnovani su na postojeim saznanjima o nainu
funkcioniranja ljudskog mozga. Neuronski se sustav razvija pomou treninga na
velikom broju primjera te za dobivanje rjeenja nije potrebno utvrivanje na
pravilima ve definiranog znanja. Veina uspjenih aplikacija, razvijenih za primjenu
neuronskih mrea, dolazi od grupa s iskustvom u akademskoj i industrijskoj okolini
te je za oekivati kako e se daljnji razvoj kretati u istom smjeru.

Stalan teorijski razvoj, kao i velik broj zainteresiranih istraivaa diljem svijeta,
omoguio je da neuronske mree postanu tehnologija primjerena za primjenu u
raznim podrujima. Zajednika osobina svih neuronskih mrea je primanje odreenih
ulaznih informacija te transformiranje istih u izlazne rezultate. Neuronske mree
mogu se prikazati modelom podraaj reakcija, pri emu je podruje izmeu
navedenih ispunjeno formalnim modelima.

Ciljevi istraivanja umjetnih neuronskih mrea usmjereni su na razvoj struktura

novih mrea koje bi funkcionirale analogno ljudskom mozgu (ili makar djelomino
oponaale njegove funkcije) u svrhu rjeavanja praktinih problema. Ponaanje
raunala smatra se inteligentnim ukoliko posjeduje sposobnost donoenja zakljuaka
na temelju odreenih injenica. Operacije poput uoavanja i klasificiranja objekata iz
svakodnevnog ivota, kao i ostale sline radnje koje ovjek obavlja intuitivno,
raunalima predstavljaju prepreku. S obzirom da neuronske mree karakterizira

3
visok stupanj tolerancije greaka, ak i u sluaju analize nejasnih i manjkavih
podataka, mogue je doi do zadovoljavajueg rjeenja.

2. HISTORIJAT RAZVOJA UMJETNE INTELIGENCIJE

U trinaestom vijeku je Ramon Lul (1235-1316) opisao sistem Ars Magna kojim je
pokuao da pomou mehanikog kombiniranja, simbolike notacije i kombinatornih
dijagrama ostvari "inteligentan" sistem.

Tokom sedamnaestog vijeka, G. V. Lajbnic (1646-1716) i Blez Paskal (1623-1662)

pokuavali su da konstruiu mehaniku raunsku mainu za sabiranje. Cifarska
raunska maina koju je konstruisao arls Bebid, bila je u stanju da po odreenom
algoritmu izvrava operacije sa dekadnim brojevima. Sredinom devetnaestog vijeka
Dord Bul razrauje algebru logike u kojoj se algebarska simbolika koristi za
operiranje pojmovima pri logikom izvoenju. Englez Alan Tjuring i Amerikanac
Post, 1936-te godine, nezavisno jedan od drugoga objavljuju radove iz oblasti
matematike logike i iznose mogunosti konstruiranja univerzalnog transformatora
informacija. Meutim, tek pojavom prvog raunara "Electronic Numerical Integrator
And Computer" (ENIAC) koga su 1945-te godine izmislili Mauli i J. Presper Ekert,
moe se govoriti o inteligentnim mainama.

U poetku su raunari bili prvenstveno namijenjeni za izvravanje raunskih

operacija ali vrlo brzo je uoeno da oni imaju daleko vee sposobnosti. Ve prvi
rezultati u primjeni raunara upuivali su na mogunost raunara da preuzme vrenje
odreenih intelektualnih sposobnosti. Povoljni rezultati istraivanja naveli su neke od
naunika da daju preuranjene izjave da se ubrzo moe konstruirati "mislea maina"
ili "elektronski mozak".

Zbog ovih preuranjenih izjava su se vodile brojne debate. Krajem 50-tih, sve do
sredine 60-tih godina prologa vijeka, problematika vjetake inteligencije bila je
dosta rasplinuta izmeu fantastike, mate, potencijalnih mogunosti i praktinih
ostvarenja. Zanemarivanje razlike izmeu potencijalne ostvarljivosti i obima
praktinih problema, koji se nalaze na putu do ostvarivanja ideje, je jedan od estih

4
uzroka nerazumjevanja mogunosti vjetake inteligencije. Ostvarivanjem praktinih
rezultata koji su nali primjenu u privredi, vjetaka inteligencija postaje interesantna
za veliki broj naunika razliitih oblasti. Danas postoje realizirani sistemi koji su u
stanju da autonomno obavljaju kompleksne probleme, kakve su jedino ljudi bili u
stanju da obavljaju. Nije rijedak sluaj da takvi sistemi obavljaju te zadatke i daleko
uspjenije od ljudi. U sprezi sa raunarima, maine postaju sposobne da rade
samostalno, da upravljaju same sobom i da proizvode druge maine, oslobaajui
ovjeka fizikog i monotonog rada, preputajui mu rad na sloenijim i kreativnijim
poslovima.

U dvadesetom vijeku jedan od prvih radova vezanih za mainsku (vjetaku)

inteligenciju, prije svega u odnosu na dananje digitalne raunare, je rad Alana
Tjuringa "Raunarske maine i inteligencija". Tjuringov test za "mjerenje
inteligencije" maina predstavlja jedini do sada priznati standard u ovom domenu.

Alan Turing je razmatrao pitanje "Mogu li maine da misle?" i izrazio ubjeenje da

je ono previe nejasno. Kao zamjenu predloio je test koji bi, ako ga neki raunar
savlada, sluio kao potvrda mainske inteligencije. U originalnoj verziji Tjuringov
test, poznat i pod nazivom imitaciona igra, ukljuuje ispitivaa koji je ljudsko bie,
kao i dva ispitanika, od kojih je jedan ena, a drugi raunar. Ispitiva se nalazi u
odvojenoj sobi i sa ispitanicima komunicira posredno, preko terminala.

Zadatak ispitivaa je da utvrdi ko je od ispitanika raunar, a ko ena. Raunar nastoji

da ga sa svojim odgovorima zavara, dok ena nastoji da ispitivau pomogne.
Recimo, raunar bi na zahtjev da sabere dva broja mogao saekati odreeno vrijeme,
pa zatim odgovoriti pogreno pokuavajui tako da prevari ispitivaa.

Tjuringova namjera je bila da prui nauan, objektivan i ponovljiv test. On nije

tvrdio je da je pobjeda u testu neophodna da bi raunar bio inteligentan, ve se
zadrao na dovoljnosti uslova, odnosno da je pobjeda u testu potvrda inteligentnosti
raunara, iako e moda postojati inteligentan raunar koji bi izgubio igru propisanu
testom.

5
Razvoj umjetne inteligencije, od njenih poetaka do danas, moemo podijeliti u 5
faza:

fazu inkubacije (od 1943. godine do 1956. godine);

fazu ranog entuzijazma s velikim oekivanjima (od 1952. godine do 1969.
godine);
fazu sustava temeljenih na znanju (od 1969. godine do 1979. godine);
fazu u kojoj umjetna inteligencija postaje industrija (od 1980. godine do
danas);
fazu povratka neuronskih mrea (od 1986. godine do danas).

Historijat razvoja umjetne inteligencije obiljeena je brojnim usponima i padovima.

Poetkom razvoja smatra se 1943. godina kada je predstavljen prvi modela umjetnog
neurona (Warren Sturgis McCulloch, Walter Pitts) koji je nastao istraivanjem
neurofiziolokih karakteristika ivih bia (alac, 1997.). Model je funkcionirao kao
aritmetiko-logiki element i ukljuivao je sve sastavnice potrebne za provoenje
logikih operacija. Vanost implementacije modela umjetnog neurona u poetku nije
bila prepoznata s obzirom da je u to vrijeme raunalna tehnologija bila na poecima
svog razvoja, a procesna mo raunala jo nije bila primjerena implementaciji
umjetnih neuronskih mrea.

Oekivanja postavljena neuronskim mreama u drugoj fazi nisu ispunjena te, unato
velikom napretku umjetne inteligencije, dio znanstvenika smatra kako istinska
umjetna inteligencija nikada nee biti ostvarena. Do velikog napretka u podruju iste
dolo je razvojem neuronskih mrea.

Razvoj umjetne inteligencije moemo podijeliti na 2 smjera:

psiholoko i fizioloko prouavanje ljudskog uma;

tehnoloki razvoj sofisticiranih raunalnih sustava.

Neuronske mree obiljeile su pedesete godine 20.-og stoljea. Na konferenciji

Dartmouth Summer Research Project and Artificial Intelligence predoena je vizija
raunalnog modela iji je temeljni princip oponaanje funkcioniranja mozga.

6
Neuronsko raunalstvo pojavljuje se kao alternativa Von Neumannovim raunalima
te nastoji simulirati paralelnu obradu informacija (poput obrade informacija koju
koristi ljudski mozak). Prvi jednostavni model neuronskih mrea nazvan je
perceptron.

3. INTELIGENCIJA

Rije inteligencija ima korijen u latinskoj rijei intelligere sa znaenjem

razabirati, shvaati, razumijevati (Grgin, 2004.). Ne postoji jedinstvena definicija
ovog pojma, nego mnotvo njih koje ukljuuju koncepte poput apstraktnog
rasuivanja, razumijevanja, samosvijesti, komunikacije i uenja.

Neke od definicija inteligencije su:

Svojstvo uspjenog snalaenja jedinke u novim situacijama (verko et al.,

2011.).
Opa sposobnost zakljuivanja pri rjeavanju problema (verko et al., 2011.).
Svrsishodno i prilagodljivo ponaanje u danim okolnostima (verko et al.,
2011.).

Inteligencija je kombinacija uroenih karakteristika i iskustvenog uenja. Moemo ju

opisati kao potencijal koji se ne mora nuno razviti u sposobnost te ju moemo
povezati s brzinom uenja. Uenje omoguuje razvoj inteligencije, dok inteligencija
olakava uenje.

4. UMJETNA INTELIGENCIJA

Promatrajui ovjeanstvo kroz due vremensko razdoblje, mogli bismo zakljuiti

kako ideja o konstrukciji inteligentnih strojeva, koji bi samostalno obavljali odreene
vrste poslova umjesto ljudi, see daleko u prolost. Svi su dosadanji oblici umjetne
inteligencije ogranieni samo na odreene vrste problema, nemajui razumijevanje i
vlastitu svijest. Predmetom mnogih filozofskih rasprava upravo je mogunost

7
kreiranja svjesne umjetne inteligencije, tj. pitanje je li inteligenciju mogue
reproducirati raunalom.

Neke od definicija umjetne inteligencije su:

Znanstvena disciplina koja se bavi izgradnjom raunalnih sustava ije se

ponaanje moe tumaiti kao inteligentno (Dalbelo Bai et al., 2013.).
Znanost o tome kako postii da strojevi izvode zadatke koji bi, kada bi ih
radio ovjek, iziskivali inteligenciju (Dalbelo Bai et al., 2013.).

Umjetna inteligencija je pojam kojim se podrazumijeva svaki neivi sustav koji

pokazuje sposobnost snalaenja u novim situacijama. S obzirom da takav pristup
zahtijeva visok stupanj raunalne obrade, njegova realizacija bila je neuspjena do
poetka 1980.-ih godina.

Umjetnu inteligenciju mogue je podijeliti na slabu i jaku. Zagovornici slabe umjetne

inteligencije posveuju se razvijanju inteligentnih sustava kojima se samo pridodaju
odreena svojstva ljudskog ponaanja, dok zagovornici jake umjetne inteligencije
pokuavaju stvoriti sustav sa sposobnou potpunog repliciranja svih svojstava
ljudskog ponaanja (koji se smatraju inteligentnima).

Inteligencija je vjetina koja karakterizira ljudska bia, iako se ne ponaaju uvijek

inteligentno (Eletter; Yaseen, 2010.).

5. VJETAKE NEURONSKE MREE

5.1. Opis neuronske mree

Vjetake neuronske mree su inspirisane biolokim mreama. One pozajmljuju

ideje iz naina na koji funkcionie ljudski mozak. Dananja neuronska obrada na
raunaru koristi vrlo ogranien skup koncepata od biolokih neuronskih sistema.

Cilj je da se simuliraju masovni paralelni procesi koji ukljuuju obradu meusobno

povezanih elemenata u arhitekturi mree.

8
Vjetaki neuron prima ulazne podatke slino kao to bioloki neuroni primaju
elektohemijske impulse od drugih neurona. Izlazni podaci vjetakog neurona
odgovaraju signalima koje alju bioloki neuroni.

Slika 1. Pojednostavljeni prikaz feedforward umjetne neuronske mree1

Na slici iznad je shematski prikazana jedna tipina topologija mree sa tri sloja
procesorskih jedinica (jedan ulazni, drugi srednji ili skriveni i trei izlazni). Svaka
procesorska jedinica je povezana sa vie susjednih jedinica, broj ovih veza izmeu
zapravo predstavlja snagu neuronske mree. Rad neuronske mree sa vie veza je
kompleksniji ali takva mrea moe da obavlja kompleksnije zadatke.

Vjetaka neuronska mrea je sastavljena od procesorskih jedinica iji kako

funkcionalni izgled tako i procesi koji se u njoj odigravaju podsjeaju na nervni
sistem kod ovjeka. To je ustvari vrsta raunara koji se potpuno razlikuju od
klasinih raunara sa Fon Nojmanovom arhitekturom. Kod klasinih raunara jedan
procesor obavlja sekvencijalno instrukcije date programom. Pri tome procesor moe

1
Izvor: https://hr.wikipedia.org/wiki/Umjetna_neuronska_mre%C5%BEa, pristupljeno 14.03.2017.
godine

9
da obavlja stotinu i vie osnovnih komandi kao to su sabiranje, oduzimanje,
mnoenje, punjenje, pomjeranje i dr.

Slika 2. Vjetaki neuron2

Neuron prima ulaze koji mogu biti sirovi podaci ili podatak iz susjednog neurona,
koje procesira i proizvodi jedan izlaz. Sam izgled kao i princip obrade podataka
jedne elementarne procesorske jedinice u vjetakoj neuronskoj mrei podsjea na
princip prosljeivanja impulsa neurona u biolokom nervnom sistemu. Isto tako
procesorska jedinica je analogna jednoj eliji biolokog nervnog sistema, ulazne veze
odgovaraju dendritima a izlazne aksomima.

Neuronska mrea je sistem sastavljen od vie jednostavnih procesora (jedinica,

neurona), svaki od njih ima lokalnu memoriju u kojoj pamti podatke koje obrauje.
Te jedinice su povezane komunikacionim kanalima (vezama). Podaci koji se ovim
kanalima razmjenjuju su obino numeriki. Jedinice obrauju samo svoje lokalne
podatke i ulaze koje primaju preko konekcije. Ogranienja lokalnih operatora se
mogu otkloniti tokom treninga.

U neuronskim mreama, gdje su procesorske jedinice povezane odreenom

topologijom, postoji struktura paralelnog distriburanog procesiranja (PDP).
Istovremeno rade vie procesorskih jedinica da bi rezultati njihove obrade PDP
strukturom preli na druge jedinice, itd. Procesorske jedinice u jednoj neuronskoj

2
Izvor: http://pc.pcpress.rs/tekst.php?id=9688, pristupljeno 14.03.2017. godine

10
mrei su jednostavne i mogu obavljati samo jednu ili eventualno nekoliko
raunarskih operacija i meusobno su povezane tako da u jednoj neuronskoj mrei
postoji mnogo vie veza nego procesorskih jedinica.

5.2. Vrste neuronskih mrea

Neuronske se mree mogu podijeliti na razliite naine. Paralelno sloen skup

neurona gradi jedan sloj neuronske mree. Prema tome, umjetne neuronske mree
mogu biti jednoslojne i vieslojne. Vieslojne mree sastoje se od ulaznog i izlaznog
sloja, dok su izmeu njih skriveni slojevi.

Ako se slojevi povezu tako da signali putuju samo od ulaza prema izlazima mree,
nastaje unapredna neuronska mrea (feedforvvard neural netvvork). Ako postoji
barem jedna povratna petlja, tada se radi o povratnoj neuronskoj mrei (feedback on
recurrent neural netvvork). Oba tipa mrea slue za rjeavanje jedne vrste problema.
Predstavnik unaprednih mrea je MADALINE-mrea, dok je predstavnih povratnih
mrea Hopfieldova neuronska mrea.

Uvoenjem povratne petlje u neuronsku se mreu ukljuuje i vrijeme. Izlaz neurona

openito moe djelovati na sve druge neurone, pa i na samog sebe povratno, to,
dakako, ne moe biti istovremeno. Tako i operacija sumiranja postaje funkcija
vremena. U odnosu na vrijeme definiraju se vremenski kontinuirane i vremenski
diskretne mree. Ovisno o glavnom podruju primjene razlikuju se: perceptronske,
asocijativne, dvostruko asocijativne, adaptivne, te kognitorske i nekognitorske
mree. Neke se mree nazivaju po metodama koje se koriste za uenje. Tako su
definirane: povratno propagirane, suprotno propagirane, te statistike neuronske
mree.

11
 6. DIZAJNIRANJE I FAZE RAZVOJA NEURONSKE MREE

Dizajn umjetne neuronske mree odvija se u dvije osnovne faze: najprije se odvija
faza uenja ili treniranja mree, a zatim slijedi faza testiranja.

6.1. Uenje

Uenje je proces mijenjanja teina u mrei, a odvija se kao odgovor na podatke

izvana koji su predstavljeni ulaznom sloju i u nekim mreama izlaznom sloju. Podaci
koji se predstavljaju izlaznom sloju su eljene vrijednosti izlaznih varijabli. Ukoliko
su one poznate, radi se o tzv. nadgledanom uenju. Na primjer, nadgledani algoritmi
su: mrea irenje unatrag, mrea s radijalno zasnovanom funkcijom, modularna
mrea, vjerojatnosna mrea, LVQ (mrea uee vektorske kvantizacije), i drugi.
Ukoliko je ulazni vektor jednak izlaznom vektoru, radi se o autoasocijativnim
mreama, a ukoliko je razliit, radi se o heteroasocijativnim mreama. Kod nekih
mrea eljeni izlaz ne mora biti predstavljen mrei. U tom sluaju radi se o tzv.
nenadgledanom uenju. Najei nenadgledani algoritmi su Kohonenova mrea,
mrea konkurentskog uenja, te ART (mrea adaptivne rezonantne teorije).

Prije samog uenja potrebno je definirati model (ulazne i izlazne varijable), te

prikupiti podatke iz prolosti na kojima e se primijeniti mrea. Prikupljene podatke
treba podijeliti u dva poduzorka (uzorak za treniranje i uzorak za testiranje), a
ukoliko se za vrijeme uenja planiraju koristiti optimizacijske tehnike za optimiranje
duljine uenja i strukture mree, potrebno je ukupan uzorak podijeliti na tri
poduzorka (za treniranje, testiranje i konanu validaciju). Pravila za ovu podjelu
nema, osim to se preporua najvei dio podataka ostaviti za treniranje mree, a
manji dio podataka za testiranje i validaciju (npr. 70% za treniranje, 10% za
testiranje i 20% za validaciju). Podaci se rasporeuju u poduzorke sluajno, osim kod
vremenskih serija gdje treba potovati vremenski slijed nastajanja promatranja, tj.
trenirati mreu na starijim, a testirati na novijim podacima.

Nakon to je definiran model, pripremljeni ulazni podaci i izabran NM algoritam, te

pravilo uenja i potrebne funkcije, mreu treba uiti ili trenirati na pripremljenim

12
podacima iz prolosti, kako bi ona prepoznala vezu izmeu podataka i bila u
mogunosti na osnovu ulaznih vrijednosti predviati izlaze. Sama faza uenja je
proces podeavanja teina u mrei, koje se odvija u vie iteracija ili prolaza kroz
mreu. Jedna iteracija predstavlja uitavanje jednog promatranja iz podataka (jednog
ulaznog i izlaznog vektora), ali se zbog poveanja brzine uenja ponekad preporua
uitati vie promatranja odjednom, pri emu se broj promatranja koji se obrauju u
jednoj iteraciji zove epoha. U svakoj iteraciji raunaju se nove teine, a kod
nadgledanih algoritama i nova greka. Obino se mrea trenira u nekoliko tisua
iteracija.

Najvanije pitanje u ovoj fazi je koliko dugo trenirati mreu kako bi ona dala to
bolji rezultat, odnosno najmanju greku. Ne postoje egzaktna pravila za duinu
treniranja, te odgovor na ovo pitanje treba potraiti vlastitim eksperimentiranjem ili
primjenom optimizacijskih tehnika kao npr. tehnika unakrsnog testiranja. Ova se
tehnika moe opisati u nekoliko koraka:

mrea se najprije trenira na odreenom broju iteracija (npr. 10000),

tako nauena mrea se testira na uzorku za testiranje, i pohrani dobiveni
rezultat i mrea.
mrea se zatim nastavlja trenirati na jo tolikom broju iteracija (npr. jo
10000), te se dobiveni rezultat usporeuje s prethodno pohranjenim. Ukoliko
je u ponovnom uenju dobiven bolji rezultat, pohranjuje se novi rezultat i
nova mrea.
postupak se ponavlja sve dok se rezultat prestane poboljavati, a najbolja
pohranjena mrea ulazi u daljni postupak validacije.

Rezultat (npr. RMS greka) dobiven u fazi uenja nije mjerodavan za ocjenjivanje
mree, jer ne pokazuje ponaanje mree na novim podacima.

13
 Slika 3. Shematski prikaz uenja neuronske mree primjenom algoritama temeljenih na
Pogreci

Shematski prikaz uenja neuronske mree primjenom algoritama utemeljenih na

izlaznom signalu prikazan je na slici 3. Na ulaz mree se dovodi skup ulaznih
varijabli, a mrea se samoorganizira podeavanjem svojih teina (parametara) po
dobro definiranom algoritmu.

Budui da eljeni izlaz mree nije odreen za vrijeme uenja mree, rezultat uenja
nije predvidljiv. Tako se na primjer, od neuronske mree moe zahtijevati da slini"
skupovi ulaza aktiviraju izlaz jednog te istog neurona. Mrea organizirana na taj
nain se moe koristiti za kvalifikaciju ulaza, odnosno za prepoznavanje uzorka.
Nakon uenja provodi se postupak testiranja.

Od umjetnih neuronskih mrea moe se zahtijeva da ue nove pojmove i da ne

zaborave ve nauene. Kod konvencionalnih neuronskih mrea taj problem u opem
sluaju nije rijeen.

Uei novo te mree zaboravljaju staro (ne mogu reproducirati prethodno naueno
ponaanje).

14
Stoga se razvijaju adaptivni postupci uenja gdje se mrea tako adaptira da moe
prihvatiti nova znanja zadravajui ve nauena. Jedna od metoda adaptivnog uenja
umjetnih neuronskih mrea jest primjena teorije adaptivne rezonancije. Pristup se
zasniva na klasificiranju ulaznih vektora u jednu od vie kategorija kojoj su najblii,
a na osnovu kojih je mrea ve uila. Ako ulazni vektor ne pripada niti jednoj od
postojeih kategorija, uz dozvoljenu toleranciju, formira se nova kategorija koja
odgovara ulaznom vektoru. Na taj nain svaki novi ulazni vektor ili pripada ve
postojeim kategorijama pohranjenim u memoriju mree, ili formira dodatnu
kategoriju ne remetei postojee kategorije. Za nove (dodatne) kategorije provodi se
proces uenja mree koristei se algoritmom temeljenom na izlazu. Sa izraunatim
novim parametrima je rijeen problem usvajanja novih znanja neuronske mree bez
gubljenja postojeih.

6.2. Testiranje mree

Testiranje mree je druga faza rada neuronske mree, i ona je odluujua za

ocjenjivanje mree. Razlika izmeu faze uenja i faze testiranja je u tome to u ovoj
drugoj fazi mrea vie ne ui, a to znai da su teine fiksne na vrijednostima koje su
dobivene kao rezultat prethodne faze uenja. Takvoj mrei se predstavljaju novi
ulazni vektori koji nisu sudjelovali u procesu uenja, a od mree se oekuje da za
predstavljen novi ulazni vektor proizvede izlaz. Ocjenjivanje mree obavlja se
izraunavanjem greke ili nekog drugog mjerila tonosti (npr. stope tonosti), na
nain da se izlaz mree usporeuje sa stvarnim izlazima.

Dobivena greka mree na uzorku za validaciju je rezultat kojim se tumai

uspjenost ili neuspjenost neuronske mree i njezina korisnost u primjeni za
predvianje na buduim podacima. Najea greka koja se rauna kod neuronskih
mrea je srednja kvadratna greka (Root mean square error), prema formuli:

15
gdje je ti izraunati izlaz koji daje mrea, oi je eljeni (stvarni) izlaz za sluaj
(ulazni vektor) i, a n je broj sluajeva u uzorku. Greka se uprosjeuje prema broju
izlaznih varijabli i u odnosu na broj sluajeva u uzorku na kojem se rauna. Kod
problema klasifikacije se u veini istraivanja koristi stopa klasifikacije kao mjerilo
ocjenjivanja mree. Stopa klasifikacije prikazuje postotak ili udio ispravno
klasificiranih promatranja. Kod problema predvianja najee se kao mjerila koriste
RMS greka, MSE (Mean Square Error), MAE (Mean Absolute Error), koeficijent
korelacije i dr.), dok se u novije vrijeme (Masters, 1998) posebno kod financijskih
problema naglaava potreba koritenja financijskih mjerila (npr. ostvareni
simulacijski profit, prosjeni profit i sl.).

U sluaju upotrebe vie NM algoritama, potrebno je na osnovu rezultata na uzorku za

validaciju mree donijeti konanu ocjenu o najboljem modelu NM za dani problem.
Mjerila na osnovu kojih se ova odluka donosi ovise o tipu problema (predvianje vs.
klasifikacija), prirodi problema (da li je profit ostvaren upotrebom mree znaajniji
od veliine njezine greke), i sl.

6.3. Proces dizajniranja neuronske mree

Process dizajniranja neuronske mree sastoji se od nekoliko faza:

1. definiranje modela (izbor ulaznih i izlaznih varijabli, priprema ulaznih

podataka,
2. izbor najprikladnijeg algoritma (npr. backpropagation),
3. rasporeivanje neurona u slojeve (izbor broja skrivenih slojeva, te broja
neurona u svakom skrivenom sloju),
4. odreivanje tipa veze meu neuronima, te ulaznih i prijenosnih funkcija
izmeu slojeva,
5. izbor pravila uenja, te nekih parametara uenja, npr. koeficijenta uenja i
momentuma koji utjeu na brzinu i kvalitetu uenja,
6. izbor mjerila za ocjenjivanje mree (npr. RMS greka ili stopa klasifikacije), i
7. provoenje postupka uenja.

16
Ovisno o temeljnim formulama koje se koriste za uenje, ulazne i izlazne funkcije,
postoje razliiti algoritmi NM, a unutar svakog algoritma mogue su intervencije u
strukturi mree (topologiji) i izboru parametara uenja, te tako postoji iroki spektar
NM arhitektura.

One se meusobno razlikuju prema kriterijima:

broju slojeva (dvoslojne i vieslojne),

tipu veze izmeu neurona (inter-slojne veze i intra-slojne veze),
vezi izmeu ulaznih i izlaznih podataka (autoasocijativne i
heteroasocijativne),
ulaznim i izlaznim (prijenosnim) funkcijama,
pravilu uenja,
ostalim parametrima (sigurnosti ispaljivanja, vremenskim karakteristikama, i
dr.).

Od gore navedenih karakteristika, za razlikovanje algoritama od osobitog je znaenja

pravilo uenja. Pravilo uenja specificira nain na koji se podeavaju teine u mrei.
Objasnit emo nain podeavanja teina na jednostavnom Delta pravilu, koje je
jedno od prvih razvijenih pravila uenja za neuronske mree.

Slika 4. Raunanje greke neuronske mree3

3
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine

17
 Slika 5. Raunanje greke neurona u izlaznom sloju4

Slika 6. Korekcija teina veza neurona u izlaznom sloju5

Slika 7. Raunanje greke neurona u skrivenim slojevima6

4
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine
5
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine
6
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine

18
 Slika 8. Korekcija teina veza neurona u izlaznom sloju7

Teina veze w je jaina veze izmeu dva neurona. Ako je, na primjer, neuron j
povezan s neuronom i, wji oznaava teinu veze od neurona j prema neuronu i (wij
je teina obrnute veze od neurona i prema neuronu j). Ako je neuron i spojen s
neuronima 1,2,...,n, njihove teine su pohranjene u varijablama w1i, w2i, ..., wni.
Promjena teina obavlja se prema nekom od pravila uenja, a najee se koristi
Delta pravilo uenja prema formuli:

gdje je vrijednost prilagoavanja teine veze od neurona j prema neuronu i

izraunatom prema:

gdje je ycj vrijednost izlaza izraunatog u neuronu j, ei je sirova greka izraunata

prema:

7
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine

19
a h je koeficijent uenja. Neuron prima onoliko ulaza koliko ima ulaznih veza prema
tom neuronu, te proizvodi jedan izlaz u skladu s ugraenom prijenosnom funkcijom.

U izlaznom sloju izlaz mree usporeuje se s eljenim (stvarnim) izlazom, i odreuje

se globalna greka E kao:

gdje je dk eljeni (stvarni) izlaz, dok je xk izlaz mree, a k je indeks izlazne

komponente, tj. broj izlaznih jedinica. Svaka izlazna jedinica ima vlastitu lokalnu
greku e iji je sirov oblik (dk-xk), ali ono to se propagira kroz mreu je skalirana
greka u obliku gradijent komponente:

Cilj procesa uenja u mrei "irenje unatrag" je minimizirati gornju globalnu greku
irei je unazad u veze kroz mreu sve do ulaznog sloja. U procesu mijenjanja teina,
svaka veza u mrei korigira se kako bi se postigla manja globalna greka. Proces
poveanja ili smanjenja teina (uenje) izvodi se koritenjem pravila gradijentnog
opadanja:

gdje je h koeficijent uenja. Da bi se izraunale parcijalne derivacije u gornjoj

jednadbi, to daje:

20
Kada se gornji rezultat uvrsti u formulu za podeavanje teina, dobiva se:

to vodi do glavnog problema postavljanja odgovarajue stope uenja. Postoje dvije

meusobno konfliktne smjernice za odreivanje h. Prva smjernica je odravati h na
niskoj vrijednosti jer ona odreuje podruje u kojem je povrina greke lokalno
linearna. Ako mrea pretendira predvidjeti jaku zakrivljenost, takvo podruje trebalo
bi biti vrlo malo. Meutim, vrlo mali koeficijent uenja znai vrlo sporo uenje. U
cilju rjeavanja ovog sukoba, prethodne razlike teina u vremenu (t-1) dodane su u
prethodnu jednadbu, tako da je trenutno podeavanje teina:

gdje je momentum, koji ubrzava uenje kada je koeficijent uenja nizak. Uenje se
moe takoer ubrzati na nain da se teine ne podeavaju za svaki vektor treniranja,
nego kumulativno, pri emu se broj vektora treniranja nakon kojeg se teine
podeavaju zove epoha. Epoha koja nije jako velika moe unaprijediti brzinu
konvergiranja, ali vrlo velika epoha moe raunanje greke uiniti mnogo sloenijim
i na taj nain umanjiti prednosti.

7. OBLASTI PRIMJENE NEURONSKIH MREA

Neuronske mree se uspjeno primjenjuju u veoma irokom spektru poslovnih

podruja i aplikacija, a neke od njih su:

Prepoznavanje karaktera - ideja prepoznavanja karaktera postala je jako

vana. Neuronske mree se mogu koristiti za prepoznavanje slova napisanih
ljudskom rukom.

21
 Kompresija slika - Neuronske mree mogu primiti i procesirati ogromne
koliine informacija odjednom, to ih ini jako korisnim za kompresiju slika.
Primjena iste je psobneo rasprostarnjena prilikom izgardenje internet stranica,
ali i na socijalnim mreama.
Predvianje novanih kretanja - Svakodnevni poslovi i aktivnosti koje se
odvijaju na berzama izuzteno su komplikovani usljed velikog broja faktora
koji na njih utiu. S obzirom da neuronske mree mogu veoma brzo
analizirati i sortirati jako puno informacija iste se mogu korsititi za
predvianje cijena na berzi.
Otkrivanje prevara - Razvoj novih tehnologija pogoduje i kriminalcima koji
konsttantno unapreuju mehanzime prevara. Neuronske mree koje na
osnovu uzoraka mogu nauiti sumniive oblike da prepoznaju pribline klase,
klastere i oblike sumnjivog ponaanja, mogu se koristiti za otkrivanje
prevara.
Prodaja i marketing - Neurosnke mree se mogu koristiti za predvianje
buduih prodajnih rezultata na osnovu historijskih podataka o prethodnim
prodajnim i marketinkim aktivnostima. Takoer, u praksi je prepozanta
upotreba neuronskih mrea u cilju smanjenja trokova na nain da se
marketinkom kampanjom cilja konkretna grupa klijenata, koja ima najbolji,
odnosno zadovoljavajui procenat odgovora na prethodne kampanje.

Osim gore navedenih obalsti, upotreba neuronskih mrea se, izemu ostalog,
primjenjuje i u medicinskom sektoru, industrijskoj, naunoj i obrazovnoj oblasti,
zatim u provoenju operativnih analiza i prilikom rudarenja podataka.

22
 8. ZAKLJUAK

Umjetna inteligencija, tj. neuronske mree u uem smislu, mogu pridonijeti

kvalitetnijoj analizi podataka. S obzirom da ne postoji standardiziran pristup kojim bi
se problem mogao rijeiti pomou neuronskih mrea, prilikom ispitivanja svakog
problema potrebno je isprobati vei broj neuronskih mrea, u svrhu dobivanja
najkvalitetnije mree, tj. mree s najveom pouzdanou. Neuronske e mree postati
u potpunosti prihvatljiv alat kada se pristup rjeavanja problema standardizira na
nain da se za svaku situaciju tono definira arhitektura mree, pravila uenja, broj
skrivenih slojeva te broj neurona u istima, kao i prijenosne funkcije koje je potrebno
koristiti pri rjeavanju.

Primjena neuronskih mrea pokazuje se vrlo uspjenom u drutvenim znanostima,

dok se u prirodnim znanostima i dalje ee koriste regresijski modeli. Razlog
navedenom je najveim dijelom sama struktura podataka koji se obrauju. Unato
tome, neuronske mree su alat prilagoen za primjenu u analizi nepotpunih podataka.
Njihova prednost je sposobnost generalizacije, odnosno mogunost dobivanja
zadovoljavajuih rezultata ak i kada neke ulazne vrijednosti nisu poznate ili
potpune.

Jedan od najzanimljivijih aspekta neuronskih mrea je mogunost dostizanja

savrenstva bioloke neuronske mree, tj. oponaanje ljudske vrste. Ukoliko bi isto
bilo ostvarivo, pitanje je bi li neuronske mree u potpunosti zamijenile ljudsku vrstu?
tetimo li samima sebi stalnim ulaganjem napora u napredak tehnologije? Odgovor
e dati vrijeme, no za pretpostaviti je da neuronske mree nikada u potpunosti nee
moi oponaati rad bioloke neuronske mree.

23
9. LITERATURA

1. Latinovi B., Ekspertni sistemi, Panevropski Univerzitet Apeiron Banja

Luka, 2006
2. prof. dr ing Jaroslav E. Poliuk, Ekspertni sistemi
3. http://eris.foi.hr/11neuronske/nn-predavanje4.html
4. http://www2.fer.hr/_download/repository/UI-1-Uvod.pdf
5. https://hr.wikipedia.org/wiki/Umjetna_neuronska_mre%C5%BEa
6. http://analyticscosm.com/a-collection-of-neural-network-use-cases-and-
applications/
7. http://www.alyuda.com/products/forecaster/neural-network-applications.htm

24