Professional Documents
Culture Documents
Odsjek: Mehatronika
U ovom seminarskom radu emo da se bavimo primjenom neuronskih mrea u robotici. Nainu
na koji one funkcioniu sa sistemom koji predstavljaju, kako obrauju podatke, kojom brzinom I
oblikom predtavljaju gotovi rezultat korisniku.
Kljune rijei: Neuronska mrea, mozak, obrada informacija, fuzzy tehnologija, modeliranje
Sadraj
1. UVOD ......................................................................................................................................... 1
1.1.Razvoj neuronskih mrea ...................................................................................................... 1
1.2. Definicija neuronskih mrea ................................................................................................ 2
1.3. Obrada informacija u neuronskoj mrei ............................................................................... 3
2. Primjena neuronskih mrea......................................................................................................... 6
2.1. Koraci u izgradnji neuronske mree..................................................................................... 6
2.1.1. Priprema podataka i modeliranje ................................................................................... 7
2.1.2. Provoenje treniranja i testiranja neuronskih mrea .................................................. 10
2.1.3. Tumaenje rezultata neuronskih mrea i izbor najboljeg modela ............................... 10
2.2. Problemi s primjenom neuronskih mrea........................................................................... 11
3. ZAKLJUAK ........................................................................................................................... 12
Popis slika
Neuronsko raunalstvo profiliralo se kao jedna od grana umjetne inteligencije pedesetih godina
ovog stoljea, tonije na konferenciji Dartmouth Summer Research Project on Artificial
Intelligence koja je najavila ostvarivanje vizije raunalnog modela koji e u nekim temeljnim
principima oponaati funkcioniranje mozga. Neuronsko raunalstvo se pojavljuje kao alternativa
Von Neumann-ovim raunalima i nastoji simulirati ili ostvariti paralelnu obradu informacija koju
koristi ljudski mozak dok razmilja, sjea se i rjeava probleme. Za razvoj neuronskih mrea od
presudnog je znaaja nekoliko dogaaja:
1943 - McCullock i Pitts postavljaju temelje za razvoj neuronskih mrea tako to prvi
dokazuju da neuroni mogu imati dva stanja (pobuujue i umirujue) i da njihova aktivnost ovisi
o nekom pragu vrijednosti.
1949 - Hebb prvi predloio pravilo kojim se opisuje proces uenja (Hebb-ovo pravilo)
1958 - Rosenblatt razvio prvu neuronsku mreu perceptron, koja je dvoslojna i nije mogla
rjeavati probleme klasifikacije koji nisu linearno djeljivi (npr. XOR problem)
1974 - razvijena vieslojna perceptron mrea - MLP (Paul Werbos), kao pretea
Backpropagation mree, koja prevladava nedostatak perceptrona uvoenjem uenja u skrivenom
sloju
1986 - Backpropagation mreu usavruju Rumelhart, Hinton i Williams, ona vraa ugled
neuronskim mreama, jer omoguuje aproksimiranje gotovo svih funkcija i rjeavanje praktinih
problema
Od tada raste znanstveni i komercijalni interes za neuronske mree. Razvijeni su brojni algoritmi
za neuronske mree, no najveu komercijalnu upotrebu do danas ima mrea "irenje unatrag"
(eng. Backpropagation). Dakle, teorijsko ishodite i inspiracija neuronskog raunalstva je u
ljudskom mozgu. Cilj mu je spojiti sposobnost ljudi da dobro prepoznaju oblike, lica i glasove i
sposobnost raunala da izvrava numerike proraune i radi s velikom koliinom podataka.
1
Slika 1. Mozak kao sredinji dio ivanog sustava ovjeka.
Na koji nain neuronsko raunalstvo simulira rad mozga? Mozak se sastoji od nekoliko desetaka
milijardi neurona povezanih u mreu koji mogu paralelno obraivati informacije (slika 1).
Neuron, kao osnovna jedinica ivanog sustava, prima informacije od drugih neurona putem
dendrita, obrauje ih, a zatim alje impuls putem aksona i sinapsi drugim neuronima u mrei
(slika 2). Uenje se odvija mijenjanjem jaine sinaptikih veza, odnosno teina u mrei.
Neuronska mrea je meusobno povezana nakupina jednostavnih elemenata obrade, jedinica ili
vorova, iji se naini djelovanja otprilike temelji na neuronima kod ivotinja. Sposobnost
obrade mree je posljedica jaine veza meu tim jedinicama, a postie se kroz proces adaptacije
2
ili uenjem iz skupa primjera za uvjebavanje. Ovu je definiciju neuronskih mrea dao Kevin
Gurney.
U umjetnoj neuronskoj mrei obrada se informacija takoer izvodi u jedinicama koje zovemo
neuronima ili elementima za obradu. Izraz neuron oznaava osnovnu jedinicu u modelu
neuronske mree koja je namijenjena obradi podataka (zbog toga su izrazi "jedinica obrade" ili
"elementi za obradu" koriteni esto kao sinonimi za neuron). Umjetni neuron takoer ima vie
ulaza od kojih prima informacije (oni su analogni dendritima kod ivih neurona), zbraja ih s
pomou neke zbrojne funkcije i tako stvara svoju internu aktivaciju. Zatim se u neuronu s
pomou funkcije prijenosa mijenja taj zbrojni ulaz. Funkcija prijenosa moe biti diskontinuirana
funkcija skoka, ili neka kontinuirana funkcija, kao npr. sigmoida ili tangens-hiperbolna funkcija.
Pokazat emo kako se obrauju informacije na neuronskoj mrei koja se naziva irenje unatrag
(engl. Backpropagation). Ta mrea se intenzivno upotrebljava za razliite klase problema te ima
jednostavan model koji se moe lako opisati i nauiti.
(1.1)
3
Tako dobiven zbroj S (ili interna aktivacija I) obrauje se pomou funkcije obrade f. Izlaz iz
neuronske mree jednak je y:
y = f(I)
Primjer obrade informacija u jednom neuronu. Neka neuronska mrea ima tri ulaza na koje
dolaze signali x1 = 0.5, x2 = 2 i x3 = 0.25. Odgovarajue teine su w1 = 2, w2 = -0.5, w3 = 4.
(1.2)
Neuroni su spojeni u mreu na nain da izlaz svakog neurona predstavlja ulaz u jedan ili vie
drugih neurona. Prema smjeru, veza izmeu neurona moe biti jednosmjerna ili dvosmjerna, a
prema intenzitetu mogua je pobuujua (egzitatorna) ili smirujua (inhibitorna) veza. Neuroni
su obino u umjetnoj neuronskoj mrei organizirani u grupe ili slojeve u kojima se informacije
paralelno obrauju.
Tipina neuronska mrea sastoji se od nekoliko slojeva, najee dva vanjska, te od jednog ili
vie meuslojeva ili tzv. skrivenih slojeva (slika 4). Vanjski slojevi su: ulazni sloj koji uitava
podatke iz okoline i izlazni sloj koji prikazuje rezultat mree za zadani ulaz. Upravo je skriveni
sloj onaj u kojem se ue meuzavisnosti u modelu, informacije neurona se ovdje obrauju i alju
u neurone izlaznog sloja.
4
Slika 5. Prikaz neurona s oznakama koje objanjavaju njegov smjetaj u mrei.
Kada ulazni sloj alje podatke u prvi skriveni sloj, svaka jedinica skrivenog sloja prima vagani
ulaz iz ulaznog sloja (poetne teine su postavljene sluajno, esto u intervalu od -0.1 do 0.1)
prema formuli (Masters, 1993):
(1.3)
5
2. Primjena neuronskih mrea
Prema istraivanjima Wong-a et al. (1997), najvei udio poslovnih primjena NM u posljednjih
10 godina pripada proizvodnji i operacijama (53.5%), zatim financijama (25.4%), te marketingu i
drugim podrujima. Rezultati primjene neuronskih mrea pokazuju da one u veini sluajeva
daju bolje rezultate od metoda tradicionalnog raunalstva, a prednosti primjene ove metode
mogu se provjeriti u izvjetajima brojnih tvrtki koje ih koriste, kao npr. izvjetaji tvrtke Z-
Solutions o primjeni neuronskih mrea za zadovoljavanje potreba kupaca, u zdravstvu, i dr.
Ako ste jedan od onih koji ele to prije koristiti neuronsku mreu, pogledajte detaljan opis
onoga to Vas eka, tj. koji su koraci u izgradnji na primjeru predvianja prodaje preraevina od
rajica s pomou neuronske mree.
6
2.1.1. Priprema podataka i modeliranje
a) definirati cilj modela, tj. izlaznu varijablu koja se nastoji predviati ili kategorizirati u klase.
Kako odluiti o kojem se tipu problema radi?
Ako elite neto predviati, tj. odrediti unaprijed koliku e vrijednost imati neka varijabla
sutra, ili za tjedan dana, ili dr., radi se o problemu predvianja.
Ako nije bitna vrijednost neega u budunosti, nego je vanije da li e vrijednost padati
ili rasti, ili elite neto svrstati u klase, radi se o problemu klasifikacije.
Ako elite da neuronska mrea prepozna neke vizualne ili druge uzorke, radi se o
problemu prepoznavanja uzoraka ili asocijacije.
Pretpostavit emo da elimo predviati apsolutnu vrijednost prodaje kao izlaznu varijablu
(izlaznih varijabli u jednom modelu moe biti i vie). Zatim je potrebno specificirati vremensko
razdoblje predvianja (dnevno, tjedno, mjeseno, ili dr.), te u skladu s tim definirati i vremensko
razdoblje prikupljanja podataka u uzorku. Izbor vremenskog razdoblja ovisit e najvie o
vremenskom ciklusu planiranja narudbi i prodaja za promatrani proizvod koji je prisutan u
poslovnom sustavu.
Prednost neuronskih mrea je to izbor ulaznih varijabli nije ogranien statistikim zahtjevima
nezavisnosti meu varijablama kao to je to sluaj kod npr. linearne regresije, te se stoga moe
svesti na korisnikov izbor svih varijabli za koje pretpostavlja da bi mogle utjecati na izlaznu
varijablu, ili na praenje nekog teorijskog modela. Drugim rijeima, stavite u mreu sve podatke
koje imate!
Ako se u modelu radi o vremenskoj seriji kao u naem primjeru, vremenski pomaci (eng. lags) u
smislu prodaje iz prolih razdoblja u veini modela utjeu na prodaju u narednom razdoblju, pa
je potrebno odluiti koji e se vremenski pomaci koristiti kao ulazne varijable u modelu.
Pretpostavit emo da dva vremenska pomaka: prodaja iz prolog mjeseca, te prodaja iz istog
mjeseca prole godine utjeu na izlaznu varijablu, te emo ove dvije varijable staviti meu
ulazne varijable. Ostale varijable, koje nisu vezane uz prola kretanja izlazne varijable, nazivamo
egzogenim, i mogu se proizvoljno ugraditi u model, kao npr. financijski pokazatelji poslovanja
tvrtke, cijene proizvoda, postojanje reklamskih i akcijskih prodaja, cijene konkurencije, i sl. Pri
prikupljanju podataka vano je da se one mogu numeriki izraziti, bilo u nominalnom,
kategorijalnom, binarnom ili fuzzy obliku. Kroz podeavanje teina veza izmeu varijabli u
7
procesu uenja mree, pojedine ulazne varijable, kao i meu-varijable u obliku skrivenih neurona
dobit e svoj znaaj za model prema tome kakav je njihov utjecaj na izlaz mree. Ukoliko je
poetni broj prikupljenih ulaznih varijabli vrlo velik, njihova dimenzija moe se prije ulaska u
NM reducirati s pomou statistikih metoda faktorske analize ili analize osnovnih komponenti i
slinih metoda za redukciju varijabli. Vano je spomenuti da je veliina uzorka vaan imbenik
za uinkovitost NM, budui da mrea ui na prolim podacima, te je poeljno imati to vei
ukupni uzorak.
Ukoliko raspolaete s vrlo velikim brojem ulaznih varijabli, preporuljivo je napraviti redukciju
podataka primjenom neke od statistikih metoda za redukciju, npr. faktorskom analizom.
Takoer ostale statistike obrade koje mogu ukazati na neke oite linearne veze meu podacima
takoer je uputno provesti, kako se neuronska mrea ne bi bavila tim oitim, nego suptilnijim
vezama.
Fuzzy ili neizrazita logika upotrebljava se u irokom spektru podruja, najvie u sustavima
kontrole rada strojeva i procesa, dok se u ekonomskim znanostima najvie koristi u
managementu i sustavima za potporu odluivanju, financijama, marketingu, analizi trokova i
dobiti, ocjenjivanju investicija i drugim podrujima (Rao, Rao, 1995). Fuzzy podaci sastoje se od
vrijednosti koje oznaavaju neizvjesnu pripadnost nekom skupu prema
gdje je pripadnost nekom skupu odreena binarno s vrijednostima 0 i 1 ("ne pripada" ili
"pripada" nekom skupu), pripadnost kod fuzzy podataka nije potpuno izvjesna, te se numeriki
izraava vrijednou u intervalu izmeu 0 i 1, a tumai se kao vjerojatnost da neki element
8
pripada nekom skupu. Npr. ukoliko se eli izraziti da li se neki dogaaj zbio u dalekoj prolosti,
blioj prolosti ili nedavno, mogue je definirati raspon godina koje ulaze u pojedine kategorije
(npr. sve do 1950. godine e se smatrati "dalekom prolou", sve od 1951-1970. "bliom
prolou", a od 1971. do danas kao "nedavno").
Numeriki se fuzzy vrijednosti raunaju prema pripadnosti jednom od polariteta, npr. fuzzy
varijabla se moe definirati kao "relativna novost nekog dogaaja" ili kao "relativna starost
nekog dogaaja" pri emu vrijednosti izmeu 0 i 1 izraavaju vjerojatnost pripadanja u tu
kategoriju. Fuzzy varijable posebno se preporuuju kod vremenskih serija, kada vrijeme nekog
dogaaja utjee na izlaznu varijablu. Postupak izraunavanja vrijednosti fuzzy varijabli je
slijedei:
odrediti fuzzy vrhove: poetnu toku za fuzzy vjerojatnosti, vrhunac (koji moe biti ili
jedna toka ili interval toaka), te kraj fuzzy vjerojatnosti, npr. za za varijablu "relativna novost
dogaaja" poetak koji predstavljao razdoblje od kojeg taj dogaaj pripada u relativnu novost
moe biti npr. 1951. godina, a vrhunac sve godine od 2000-2002. godine. Kraj je ovdje
posljednja 2002. godina. Nakon izraunavanja pripadnih vjerojatnosti, varijabla "relativna novost
dogaaja" ima ovakvu distribuciju vrijednosti:
Zavrna toka fuzzy vjerojatnosti esto nije jednaka i zadnoj vrijednosti u intervalu vrhunca, pa
tada funkcija distribucije vjerojatnosti ima oblik trokuta ili trapezoida.
9
Korisnost fuzzy varijabli za model velika je ukoliko se neke znaajne varijable ne mogu izraziti
izvjesnim vrijednostima, a njihov utjecaj na izlaznu varijablu nije zanemariv. Budui da kod
vremenskog predvianja prodaje i potranje proizvoda vaan imbenik mogu biti vremenska
terminiranja nekih dogaaja ili poslovnih promjena, ovakve varijable korisno je ukljuiti u
model.
Na kvalitetu rezultata NM osim izbora varijabli velik utjecaj ima ispravna podjela ukupnog
uzorka na poduzorke za treniranje, testiranje i validaciju mree, te sam nain provoenja uenja i
validacije mree. Osim proizvoljnog odabiranja veliine poduzoraka (smjernice su samo u smislu
ostavljanja veine sluajeva za treniranje, npr. 70%, jednog malog dijela za testiranje, npr. 10%, i
preostalog dijela za validaciju mree, npr. 20%), istraivaima je na raspolaganju i proizvoljan
odabir naina razmjetaja podataka u poduzorke. Iako su kod veine autora prisutne metode
sluajne raspodjele ukupnog uzorka prema proizvoljno utvrenim postocima na poduzorke, kod
vremenskih serija vano je istaknuti smjernice Masters-a (1995) koji upozorava na pogreku koju
mnogi autori ine ako kod vremenskih serija slijede sluajan raspored podataka u poduzorke.
Prema njegovoj analizi poduzorci
kod vremenskih serija trebaju slijediti vremenski tijek promatranja, ime se najstariji podaci
smjetaju u uzorak za treniranje mree, neto noviji u uzorak za testiranje, a najnoviji u uzorak za
validaciju mree.
Rezultat mree moe se tumaiti kroz: a) tumaenje izlaznog rezultata, b) tumaenje teina u
mrei, c) analizu osjetljivosti (tumaenje znaajnosti ulaznih varijabli). U veini sluajeva, cilj
treniranja neuronske mree je dobiti to manju greku. Prihvatljivost greke ovisna je o problemu
i ne postoji pravilo o dovoljno maloj greci koje se generalno moe primijeniti.
10
2.2. Problemi s primjenom neuronskih mrea
1) sumirajte informacije - samo nabacivanje injenica i podataka nije dovoljno, izdvojite ono to
je vano
Kako sumirati podatke za neuronske mree? Staviti u model one varijable koje su znaajne za
dobivanje izlaza.
Kako za neuronsku mreu strukturirati problem? Definirati dobro to elimo na izlazu mree, tj.
kako postaviti izlazne varijable i kriterije za ocjenjivanje mree.
3) pogledajte da li ima oitih veza meu podacima - zato traiti da neuronska mrea daje ono
to je ve oito?
Kako se kod neuronskih mrea analiziraju podaci i unose oite veze? Tako da ono to Vam je
poznati izrazite nekom varijablom i ubacite kao ulaz u mreu, npr. izraunajte neke koeficijente
ili odnose koji se mogu izvesti iz ulaznih podataka, a ne ubacujte samo sirove podatke. To to Vi
ve znate mrea ne mora otkrivati, ali e joj pomoi da otkrije ono to Vi jo ne znate iz
podataka.
11
3. ZAKLJUAK
Primjena nauronskih mrea u robotici zauzima veliku ulogu i uveliko olakava odraivanje
eljenih zadataka koje bi bilo suvie teko, praktino nemoguce ostvariti klasinim proraunima,
ali nisu sve same prednosti. Neuronske mree nisu magina tableta koja sve rjeava. Da biste
uinkovito koristili neuronske mree, potrebno Vam je isto ono to ste koristili za svladavanje
bilo kojeg gradiva: sumirajte informacije - samo nabacivanje injenica i podataka nije dovoljno,
izdvojite ono to je vano, staviti u model one varijable koje su znaajne za dobivanje izlaza,
dobro promislite i strukturirajte problem, definirajte jasno to se eli postii i to je vano -
podaci sami za sebe nee nas dovesti do cilja, pa je ovaj dio neizbjean kako bismo kod
neuronske mree postigli da ona funkcionira u praksi. Uglavnom neuronske mree uveliko
rijeavaju problem ukoliko se adekvatno koriste i ukoliko se ubacuju adekvatni parametri.
12