Neuronske Mreze

UMJETNA INTELIGENCIJA
Neuronske mree

Ime i prezime: Ante Topi
JMBAG: 1192020336
prof. dr. sc. Bojan Jerbi
Sadraj

1. Uvod ................................................................................................................... 1
2. Razvitak neuronskih mrea ................................................................................. 2
3. Bioloki neuron ................................................................................................... 3
4. Mozak vs. Raunalo............................................................................................ 5
5. Umjetni neuron ................................................................................................... 6
6. Vrste neuronskih mrea ...................................................................................... 8
7. Uenje neuronskih mrea ................................................................................. ..9
8. Opi matematiki opis neuronskih mrea ......................................................... 11
9. Opis ee primjenjivanjih mrea ..................................................................... 12
10. Statike mree .................................................................................................. 13
11. Vieslojne perceptronske mree ....................................................................... 13
12. Mree zasnovane na funkcijama s krunom osnovicom ................................... 16
13. Potpuno rekurentna perceptronska mrea ........................................................ 18
14. Implementacija i primjena umjetnih neuronskih mrea ..................................... 19
15. Zakljuak ........................................................................................................... 23
16. Literatura ........................................................................................................... 24

Ante Topi: Neuronske Mree 2008

1

1. Uvod

Ve u samom poetku znatieljnik eli saznati odgovore na nekoliko kljunih pitanja:
to su umjetne neuronske mree? to one mogu raditi? Kako ue? Kako se realiziraju i
primjenjuju? Koju ulogu imaju u podruju umjetne inteligencije i robotike?
Ova i slina pitanja danas postavljaju mnogi znastvenici i inenjeri u irokom spektru razliitih
znastvenih disciplina. Treba rei da su odgovori na postavljena pitanja zanimljivi, ali nisu
jednostavni i zahtjevaju dublje ulaenje u problematiku umjetnih neuronskih mrea.
Umjetna inteligencija je u ne tako davnoj prolosti bila samo stvar fikcije, zatim je postala
predmet istraivanja ekskluzivnih laboratorija, a danas se polako iri na konkretnu primjenu u
industriji. Razvitkom moderne znanosti krenuo je i razvitak umjetne inteligencije, i to u dva
smjera : tehnoloki razvitak kompjuterskih sustava, te logiki razvitak baziran na fiziolokom i
psiholokom prouavanju ljudskog uma.
Razvojem umjetnih neuronskih mrea dolo je do velikog napretka na podruju umjetne
inteligencije. Na tom polju iroki spektar znanstvenika projektira sve vei broj umjetnih
neuronskih mrea sa svrhom rjeavanja problema kao to su predvianje, optimizacija,
prepoznavanje i dr.
Definicija umjetnih neuronskih mrea (Alexander i Morton, 1990):
Umjetna neuronska mrea je masivno paralelni distribuirani procesor koji je dobar za pamenje
iskustvenog znanja.

lako se smatra relativno novim podrujem, poeci istraivanja umjetnih neuronskih mrea
datiraju ve poetkom prolog stoljea. Neuronsko raunalstvo pojavljuje se kao alternativa Von
Neumannovim raunalima, te nastoji ostvariti paralelnu obradu informacija koju koristi ljudski
mozak. Cilj mu je spojiti sposobnost ljudskog mozga da dobro prepoznaje oblike, lica i glasove,
te sposobnost raunala da izvrava numerike proraune i radi s velikom koliinom podataka.


2

2. Razvitak neuronske mree

Kada i kako je sve poelo? Naime, umjetne neuronske mree ne predstavljaju novi koncept,
orginalna ideja za umjetnu neuronsku mreu generilala seje iz niza pokuaja modeliranja
biofizilogije mozga ovjeka, s ciljem razumjevanja i objanjenja kako isti funkcionira. Ta ideja
podrazumjeva kreiranje modela sposobnog da procesira informacije, analogno aktivnostima
mozga ovjeka. Stoga najvei dio ranih radova u oblasti umjetnih neuronskih mrea dolazi od
znanstvenika, biofiziara i psihologa u devetnestom stoljeu, dok se inenjeri u tu oblast
ukljuuju neto kasnije.
1890 - William James postavlja tvrdnju: Aktivnost bilo koje toke ljudskog mozga
predstavlja zbroj tendencija svih ostalih toaka da se "prazne" u nju. Te su tendencije
proporcionalne broju toaka koje djeluju na promatranu toku, intenzitetu pobude
(teini veza), te odsustvu konkurentne toke koja nije u funkcionalnoj vezi sa
promatranom tokom, a u koju bi se "pranjenje" ostalih toaka moglo skrenuti. Taje
tvrdnja posluila za izgradnju osnovne strukture umjetnog neurona. Ako se odreena
toka u ljudskom mozgu zamijeni neuronom, tada se njegova aktivnost modelira kao
zbroj ulaza pojedinano pomnoenih vlastitim teinama.
1943 - Warren McCullock i Walter Pitts postavljaju temelje za razvoj neuronskih mrea
formalizacijom aktivnosti umjetnog neurona, osnovanoj na tvrdnji W. Jamesa. Prvi
izvode tezu kojom pokazuju da je mogue konstruirati neuronsku mreu koristei samo
matematiku i odreene algoritme. Modeli koje razvijaju bili su bazirani na njihovom
vlastitom razumijevanju neurologije. Njihove mree bile su sastavljene od jednostavnih
umjetnih neurona; takav model neurona i danas slui kao osnovni blok za izgradnju
umjetnih neuronskih mrea. Dokazuju da neuroni mogu imati dva stanja (pobuujue i
umirujue), te da njihova aktivnost ovisi o nekom pragu vrijednosti. Rezultati takvih
mrea bile su osnovne logike operacije poput "a i b", te "a ili b".
1949 - Hebb prvi predlae pravilo kojim se opisuje proces uenja neuronske mree
(Hebb-ovo pravilo).
1956 - Dartmouth Summer Conference na kojoj Rochester i skupina autora predstavljaju
prvu simulaciju Hebb-ovog modela, preteu modela neuronskih mrea
1958 - Rosenblatt razvija prvu neuronsku mreu - perception. To je dvoslojna mrea, te
ne moe rjeavati probleme klasifikacije koji nisu linearno djeljivi (npr. XOR problem)

3

1962 - Rosenblatt pokazuje nain uenja neuronske mree. Svaki put kada rezultat koji
je davala mrea nije bio ispravan, on bi promijenio teine veza meu neuronima.
1974 - razvijena vieslojna perceptron mrea - MLP (Paul Werbos), kao pretea back-
propagation mree, koja prevladava nedostatak perceptrona uvoenjem uenja u
skrivenom sloju
1986 - back-propagation mreu usavruju Rumelhart, Hinton i VVilliams; ona vraa
ugled neuronskim mreama, jer omoguuje aproksimiranje gotovo svih funkcija i
rjeavanje praktinih problema.

3. Bioloki neuron

Vjeruje se da je ljudski mozak najvee dostignue evolucije. To je sustav sa sposobnou uenja,
pamenja, sjeanja, miljenja, zakljuivanja, rjeavanja, prepoznavanja i klasifikacije. Detaljnije
objanjenje naina rada mozga treba traiti u samoj strukturi njegove neuronske mree.
Mozak se sastoji od nekoliko desetaka milijardi meusobno povezanih neurona; svaki od njih
je povezan sa vie tisua svojih susjeda. To omoguava paralelnu obradu informacija (za razliku
od tipinog naina obrade informacija kod raunala) i time dosee brzinu od 400 do 500
operacija u sekundi. Neuron (Slika 1.) je procesni lan neuronskog sustava - on je bioloka elija
koja procesuira informacije. Sam neuron sastoji se od tijela (koje sadri jezgru), dendrita i
aksona. Elektrini signal dolazi do dendrita (ulaza u neuron), prolazi kroz jezgru koja ga na neki
nain obrauje, te izlazi kroz aksone. Nakon to izae iz jednog neurona, ulazi u drugi, pritom
prolazei kroz sinapsu. Sinapsa je prostor izmeu dva neurona ispunjena tekuinom
prijenosnika signala (neurotransmiterima) koji ubrzavaju ili usporavaju prijenos signala.
Neki neuron poslat e impuls kroz svoj akson ako je doveden u stanje dovoljne pobude,
realizirano njegovim poetnim stanjem, te utjecajem signala od ostalih neurona, preko njegovih
dendrita ili tijela u kratkom vremenskom intervalu. Signali mogu biti smirujui (inhibirajui,
koei) ili pobudni. Matematiki gledano, suprotnog su predznaka.


4

Slika 1. Bioloki neuron

Neuron alje impuls kroz svoj akson ako je njegova pobuda vea od smirujueg utjecaja za
kritini iznos, koji predstavlja prag osjetljivosti neurona. Jedan neuron moe generirati impuls
koji e u neuronskoj mrei aktivirati ili smiriti stotine ili tisue drugih neurona, od kojih svaki
moe istodobno biti uzbuivan od stotina ili tisua drugih neurona. Time se realizira visok
stupanj povezanosti neurona u neuronskoj mrei, iz ega se moe zakljuiti da se kompleksne
funkcije neuronske mree ostvaruju kompleksnou veza (teinama) meu neuronima, prije
nego iskljuivo kompleksnou svakog pojedinanog neurona.
Promatranje takvog naina obrade informacija dalo je osnovnu ideju i sam naziv grani
umjetne inteligencije, umjetnim neuronskim mreama.


5

4. Mozak vs. Raunalo

Ljudski mozak i raunalo imaju mnogo funkcijskih slinosti. I mozak i raunalo koriste
elektrine signale, imaju velik broj jednostavnih elemenata, te izvode funkcije koje se mogu
openito nazvati raunarskim funkcijama. Meutim, postoje i temeljne razlike. Bitna razlika je
da za rjeenje istog problema raunalo programira, dok mozak ui.

Kada se usporedi brzina prijenosa neuronskih impulsa, neuroni u mozgu prenose impulse
brzinom reda veliine nekoliko milisekundi, to je zaprepaujue sporo u odnosu na novija
raunala, kod kojih je ta brzina reda veliine tek nekoliko nanosekundi. S druge strane,
zahvaljujui paralelnoj organizaciji mozga, njegova je brzina raunanja, tj. izvoenja operacija,
neusporedivo bra u odnosu na brzinu raunanja kod raunala. Tradicionalno raunalo radi kao
Von Neumannov stroj, prvo uita naredbe iz memorije, zatim obrauje podatke prema uitanim
naredbama. Taj se proces ponavlja dok se ne obrade sve naredbe, te je time brzina raunanja
znaajno usporena.
Mozak i raunalo znatno se razlikuju i kada se govori o mogunosti pogreke. Raunalo ne
grijei ukoliko ima ispravan softvvare i hardvvare , te ispravne ulaze. Za razliku od raunala,
mozak donosi bolje zakljuke i aproksimacije ak i za djelomino nekompletne ili neispravne
ulaze.
Vidljivo je da su karakteristike mozga cilj za kojim tei razvoj raunalnih znanosti, pa naravno
i razvoj neuronskih mrea. Da bi se takav daljnji razvoj omoguio, potrebno je razumjeti funkcije
i organizaciju rada mozga ovjeka, a to je zadatak koji se nee u potpunosti ostvariti u blioj
budunosti. Postojee neuronske mree grade se na osnovi izuzetno pojednostavljenih modela
koji ne uzimaju u obzir vei dio poznatih funkcija mozga. Razlog je injenica da ne postoji
odgovarajui matematiki aparat kojim bi se tako kompleksne funkcije mogle preslikati u
odgovarajui model. Koncept neizrazite logike (fuzzy logic) dosta obeava u tom podruju. Taj
se koncept danas koristi za opisivanje nejasnih sustava, te za tzv. neizrazito upravljanje (fuzzy
control).


6

5. Umjetni neuron

Umjetne neuronske mree sastoje se od procesnih jedinica zvanih neuroni. Umjetni je
neuron (Slika 2.) dizajniran tako da oponaa osnovne funkcije biolokog neurona. Tijelo
biolokog neurona zamijenjeno je sumatorom, ulogu dendrita preuzimaju ulazi u sumator,
ulogu aksona ima izlaz iz umjetnog neurona, a uloga praga osjetljivosti biolokog neurona
preslikava se na aktivacijske funkcije.
Sinaptike veze biolokog neurona za umjetni neuron postaju teinski faktori. Teinski faktor
moe biti pozitivan ili negativan broj, a kod suvremenijih neuronskih mrea i neka funkcija
(varijabilan teinski faktor). Teinski faktori rade isto to i sinapse kod biolokih neurona. Oni
povezuju izlaze jednog neurona na ulaze sumatora drugog. Intenzitet veze ovisi o iznosu
teinskog faktora, dok karakter veze ovisi o njegovom predznaku. Ukoliko je teinski faktor
jednak nuli - odgovarajua veza ne postoji, te se s toga ni ne crta na shemi neuronske mree.
Izlaz sumatora povezuje se na ulaz aktivacijske funkcije, koja na svom izlazu producira izlaz
umjetnog neurona. Aktivacijske funkcije mogu biti linearne i nelinearne. Kod linearnih se izlaz
mnoi s nekim faktorom, pojaanjem, dok nelinearne mogu poprimiti razne oblike i na izlaz
djeluju nelinearnim pojaanjem. Svaki od oblika ima svoje podruje primjene, za koje ima
odreene prednosti.

Slika 2. Umjetni neuron


7

Umjetni se neuron esto naziva po svojim autorima, McCulIoh-Pittsov neuron. Takav prvi
neuron imao je jednostavnu strukturu, te je za rezultate imao jednostavne funkcije.
Jednostavna struktura takvog neurona zanemaruje mnoge karakteristike biolokog neurona,
npr. ne vodi rauna o kanjenju signala, to je posljedica injenice da ulaz neurona producira
trenutano njegov izlaz, a to se odraava na dinamiku sustava.

Slika 3. Usporedba biolokog i umjetnog neurona
Perceptron je vrlo jednostavan model neurona koji, kao i bioloki neuron, obrauje signale
kroz sinaptiku i somatsku operaciju.
lako po svojoj organizaciji podsjea na bioloki neuron (slika 3), perceptron je
prejednostavan, pa stoga ima ograniene sposobnosti predstavljanja. Rosenblatt je dokazao
znaajan teorem o uenju perceptrona: Perceptron moe nauiti sve to moe predstaviti. Pri
tome je predstavljanje sposobnost aproksimiranja odreene funkcije, a uenje postupak koji
sustavnim podeavanjem parametara mree postie da ona postane zadovoljavajua
aproksimacija te funkcije. Nakon tog teorema je dolo do naglog koenja razvoja neuronskih
mrea zbog toga to je uoena nesposobnost perceptrona pri rjeavanju jednostavnijih
zadataka kao to je, primjerice, realizacija funkcije.


8

6. Vrste neuronskih mrea

Neuronske se mree mogu podijeliti na razliite naine. Paralelno sloen skup neurona gradi
jedan sloj neuronske mree. Prema tome, umjetne neuronske mree mogu biti jednoslojne i
vieslojne. Vieslojne mree sastoje se od ulaznog i izlaznog sloja, dok su izmeu njih skriveni
slojevi.
Ako se slojevi povezu tako da signali putuju samo od ulaza prema izlazima mree, nastaje
unapredna neuronska mrea (feedforvvard neural netvvork). Ako postoji barem jedna povratna
petlja, tada se radi o povratnoj neuronskoj mrei (feedback on recurrent neural netvvork). Oba
tipa mrea slue za rjeavanje jedne vrste problema. Predstavnik unaprednih mrea je
MADALINE-mrea, dok je predstavnih povratnih mrea Hopfieldova neuronska mrea.
Uvoenjem povratne petlje u neuronsku se mreu ukljuuje i vrijeme. Izlaz neurona openito
moe djelovati na sve druge neurone, pa i na samog sebe povratno, to, dakako, ne moe biti
istovremeno. Tako i operacija sumiranja postaje funkcija vremena. U odnosu na vrijeme
definiraju se vremenski kontinuirane i vremenski diskretne mree. Ovisno o glavnom podruju
primjene razlikuju se: perceptronske, asocijativne, dvostruko asocijativne, adaptivne, te
kognitorske i nekognitorske mree. Neke se mree nazivaju po metodama koje se koriste za
uenje. Tako su definirane: povratno propagirane, suprotno propagirane, te statistike
neuronske mree.


9

7. Uenje neuronskih mrea

Veina neuronskih mrea zahtijeva uenje, to jest primjenu algoritama koji podeavaju
iznose sinaptikih teinskih koeficijenata. Ciljevi uenja mree ovise o njezinoj primjeni, pa tako
i izbor odgovarajueg algoritma uenja, lako je razvijen veliki broj raznih algoritama uenja
neuronskih mrea, mogue ih je podijeliti na algoritme temeljene na pogreci (Error-based
algohthms) i algoritme temeljene na izlazu mree (Output-based algorthms)..
Algoritmi temeljeni na pogreci se esto nazivaju i algoritmi s uiteljem" {Supervised
algohthms) jer zahtijevaju vanjskog uitelja" (Teacher) neuronske mree, koji promatra
ponaanje mree korigirajui istu dok se ne dobije eljeno ponaanje mree. Shematski prikaz
uenja neuronske mree primjenom algoritama temeljenih na pogreci prikazan je na slici 5.
Kod ovog naina uenja najprije se usvoji odreena struktura mree (broj ulaza, broj neurona,
broj slojeva, broj izlaza te broj teina mree) i to obino preko generatora sluajnih brojeva,
poetne teine (parametara) neuronske mree. Zatim se na ulaz mree dovodi skup ulaznih
varijabli. Mrea stvara odgovarajui skup izlaznih varijabli. Skup izlaznih varijabli usporeuje se
sa eljenim skupom izlaznih varijabli. Razlika eljenih i stvarnih izlaza neuronske mree gradi
pogreku mree, koja se koristi za raunanje novih teina (parametara) mree preko odreenog
(usvojenog) algoritma. Cijeli postupak se ponavlja iteracijski dok pogreka mree ne bude manja
od unaprijed zadanog iznosa. Pritom se, prema potrebi mijenja struktura mree (broj neurona,
broj slojeva, broj teina). Nakon procesa uenja slijedi proces testiranja neuronske mree. To se
radi s novim skupom ulaza mree koji nije bio sadran u ulaznom skupu za vrijeme procesa
uenja. Mrea sada stvara nove izlaze koji se usporeuju sa eljenim izlazima. Pritom se ne
mijenjaju teine (parametri) mree. Iznos pogreke u procesu testiranja slui za ocjenu
sposobnosti mree da daje zadovoljavajue izlaze (rezultate) i za skup ulaza kojim nije bila
uena.
Algoritmi temeljeni na izlazu mree {Unsupervised algohthms) ne koriste vanjskog uitelja",
Ovdje se neuronska mrea sama organizira pa se mree uene ovom metodom nazivaju
samoorganizirajue neuronske mree.


10

Slika 4. Shematski prikaz uenja neuronske mree primjenom algoritama temeljenih na
pogreci

Shematski prikaz uenja neuronske mree primjenom algoritama utemeljenih na izlaznom
signalu prikazan je na slici 6. Na ulaz mree se dovodi skup ulaznih varijabli, a mrea se
samoorganizira podeavanjem svojih teina (parametara) po dobro definiranom algoritmu.
Budui da eljeni izlaz mree nije odreen za vrijeme uenja mree, rezultat uenja nije
predvidljiv. Tako se na primjer, od neuronske mree moe zahtijevati da slini" skupovi ulaza
aktiviraju izlaz jednog te istog neurona. Mrea organizirana na taj nain se moe koristiti za
kvalifikaciju ulaza, odnosno za prepoznavanje uzorka. Nakon uenja provodi se postupak
testiranja.
Od umjetnih neuronskih mrea moe se zahtijeva da ue nove pojmove i da ne zaborave ve
nauene. Kod konvencionalnih neuronskih mrea taj problem u opem sluaju nije rijeen.
Uei novo te mree zaboravljaju staro (ne mogu reproducirati prethodno naueno ponaanje).
Stoga se razvijaju adaptivni postupci uenja gdje se mrea tako adaptira da moe prihvatiti nova
znanja zadravajui ve nauena. Jedna od metoda adaptivnog uenja umjetnih neuronskih
mrea jest primjena teorije adaptivne rezonancije. Pristup se zasniva na klasificiranju ulaznih

11

vektora u jednu od vie kategorija kojoj su najblii, a na osnovu kojih je mrea ve uila. Ako
ulazni vektor ne pripada niti jednoj od postojeih kategorija, uz dozvoljenu toleranciju, formira
se nova kategorija koja odgovara ulaznom vektoru. Na taj nain svaki novi ulazni vektor ili
pripada ve postojeim kategorijama pohranjenim u memoriju mree, ili formira dodatnu
kategoriju ne remetei postojee kategorije. Za nove (dodatne) kategorije provodi se proces
uenja mree koristei se algoritmom temeljenom na izlazu. Sa izraunatim novim parametrima
je rijeen problem usvajanja novih znanja neuronske mree bez gubljenja postojeih.

8. Opi matematikih opis neuronskih mrea

Neuronske mree su karakterizirane svojom arhitekturom, aktivacijskom funkcijom
pojedinog neurona i zakonom (pravilom) uenja. Skup aktivacijskih funkcija mree predstavlja
skup nelinearnih diferencijalnih, diferentnih ili algebarskih jednadbi Qednadbe 1, 2, 3), dok se
pravilo uenja moe prikazati kao sustav diferencijalnih ili diferentnih jednadbi (jednadbe 4,
5).

dx
d
= (, , ) (1)

( +) = () +(, , ) (2)

F(x,W, i)=0 (3)

dw
dt
= (, , ) (4)

W(i+1)=W(i)+F(x, W, i)
X(i+1)=x(i)+G(w, W, i) (5)

Pri tome x predstavlja aktivacijske funkcije neurona, W parametre mree, a i ulazne
vrijednosti. Kada mrea slui za aproksimaciju statikih procesa, pojedini se procesni elementi
opisuju algebarskim jednadbama. U nekim mreama dinamiki procesni elementi slue za opis
dinamikih procesa.

12

Pravilo (ili prema nekim autorima zakon) uenja u osnovi predstavlja dinamiki ili iterativni
(diskretno dinamiki) postupak matematike optimizacije za izraunavanje optimalne
vrijednosti teinskih koeficijenata mree koji osiguravaju najbolju moguu aproksimaciju
nepoznate funkcijske ovisnosti. Najei kriterij uspjenosti optimizacije je minimum kvadrata
odstupanja eljenih i izraunatih izlaznih vrijednosti mree. Nakon to se pronau optimalne
vrijednosti parametara (teinskih koeficijenata), osi ostaju fiksni tijekom upotrebe mree.

9. Opis ee pimjenjuvanih mrea

Od poetka pa sve do danas razliiti su autori razvili velik broj vrlo razliitih mrenih
struktura. Neke od njih su vrlo specijalizirane, tj. razvijene za rjeavanje nekog konkretnog
problema, dok su se druge pokazale pre kompliciranima da bi bile iroko prihvaenje u primjeni.
Meutim, neke su se mree dokazale u praksi i danas su dio velikog broja komercijalnih paketa
dostupnih na tritu. Da bi neka mrena arhitektura bila uspjena u praksi ona mora imati
sljedea svojstva:
Univerzalnost - iako je vrlo teko matematiki dokazati uspjenost primjene neke mree
pri aproksimaciji pojedinih klasa funkcija i taj je postupak uglavnom zasnovan na
empiriji, neke su se mree s vremenom pokazale ire primjenjive od drugih.
Brzina uenja - uenje je u sutini primjena neke od metoda numerike optimizacije u
cilju pronalaenja najboljeg skupa parametara mree za dati problem. Kao i kod svakog
drugog zadatka optimizacije kljuna svojstva su sposobnost konvergencije pri manjem
broju iteracija.
Brzina izraunavanja - nakon to je provedeno uspjeno uenje mree, u fazi koritenja
vano je da se za dane ulazne vrijednosti to efikasnije izraunavaju izlazne vrijednosti.
Isto je korisno da se mrea moe jednostavno realizirati kao program u digitalnom
raunalu ili kao specijalizirani mikroprocesorski ip.


13

10. Statike mree

Statike neuronske mree su najee koritene neuronske mree, osobito u primjenama kao
to su identifikacija i upravljanje procesima, obrada signala te prepoznavanje oblika. Osnovni
gradivni element statikih neuronskih mrea jest statiki neuron, lako i samo jedan neuron
moe aproksimirati jednostavnije nelinearne funkcije, openito se aproksimacijska mo mree
poveava poveanjem broja neurona. Kod statikih neuronskih mrea su neuroni organizirani
na tzv. unapredni nain (zato se ove mree esto nazivaju i unapredne mree), to znai da svaki
neuron moe biti povezan s ulazima u mreu i/ili s drugim neuronima, ali tako da se pri
povezivanju ne formiraju povratne veze. Prema tome, statike neuronske mree ne sadre
nikakve dinamike lanove, a to ih ini strukturno stabilnima. Ovo je svojstvo njihova najvanija
prednost u odnosu na dinamike mree.
Od statikih neuronskih mrea najee se koriste vieslojne perceptron mree (MLP mree) i
mree zasnovane na funkcijama s krunom osnovicom (RBF mree).

11. Vieslojne perceptronske mree (MLB neuronske mree)

Vieslojna unapredna perceptronska (MultiLayer Perceptron netvvorks) mrea je krajem 80-
tih godina bila toliko popularna i tako esto primjenjivana da je gotovo postala sinonim za
neuronske mree. Svoju popularnost duguje tome to je u knjizi Parallel Distributed
Processing, Volumes I and II" objavljen algoritam koji je omoguavao laku realizaciju mree na
digitalnom raunalu. Izgraene su od perceptron neurona organiziranih u serijski povezane
slojeve. Slojevi se najee oznaavaju brojevima 0, 1, 2, L. Nulti sloj samo prosljeuje vektor
ulaza u mreu na ulaz prvog sloja. L-ti je sloj ujedno i izlazni sloj mree, a slojevi izmeu njih se
nazivaju unutarnjim ili skrivenim slojevima (eng. hidden layers) jer ne daju i ne primaju vanjske
signale. Svi neuroni u nekom sloju povezani su sa svim neuronima u dva susjedna sloja preko
jednosmjernih, unaprednih veza. Druge veze nisu doputene, to jest nema veza izmeu
neurona u istom sloju niti izmeu neurona koji nisu u susjednim slojevima. Veze izmeu
neurona susjednih slojeva predstavljene su sinaptikim teinskim koeficijentima koji djeluju kao

14

pojaala signala na odgovarajuim vezama. Iznosi sinaptikih teinskih koeficijenata odreuju
vladanje mree, odnosno njezinu sposobnost aproksimacije nelinearne funkcije.

lako nema teoretskog ogranienja na broj unutarnjih slojeva neurona, uglavnom se koriste
MLP mree s jednim ili dva unutarnja sloja, to jest dvoslojne ili troslojne MLP mree. Teoretski
je dokazano da MLP mrea s jednim unutarnjim slojem moe aproksimirati proizvoljnu,
kontinuiranu nelinearnu funkciju do odreenog stupnja tonosti.

Slika 6. Slojevi MLP neuronske mree

Originalna metoda uenja nazvana je opim delta pravilom" i predstavlja minimizaciju sume
kvadrata odstupanja trenutnih i eljenih izlaznih vrijednosti mree. Minimizacija se izvodi
primjenom metode strmog silaska uz koritenje analitiki izraunatih gradijenata pogreke.
Zbog svoje arhitekture vieslojna unaprijeena perceptronska mrea omoguava lako i brzo
izraunavanje izlaza za dane ulaze, moe imati veliki broj ulaza i izlaza, a omoguava i vrlo lako
izraunavanje derivacije izlaznih vrijednosti u odnosu na pojedine ulaze. Osnovni nedostatak joj
je dugo vrijeme uenja ako se koristi klasini algoritam strmog silaska. Zbog toga se danas
uglavnom koriste efikasnije metode optimizacije to jest minimizacije funkcije kao to su metoda
konjugiranih gradijenata ili Levenberg-Marguard metoda.


15

Matematiki se MLP mrea moe opisati sljedeim izrazima:

0
= ; (6)

I
= |
I-1
]` I (7)

I
=
I

I
I (8)

I
=
I
(
I
) I (9)

Gdje je:
X vektor ulaza u mreu, dimenzije n(x)
0
- vektor izlaza iz 0-tog sloja mree, dimenzije n(0)
I
- vektor ulaza u I-ti sloj mree (ulaz X
I,n
( -) + = pomnoen odgovarajuim teinskim
koeficijentom daje skalarni pomak (bias) neuronima I-tog sloja)
vektor izlaza operacije konfluencije I-tog sloja mree
I
vektor izlaza I-tog sloja mree
I
- matrica teinskih koficijenata sinaptikih veza I-tog sloja mree, dimenzije n() (n() +)
I
- vektor aktivacijskih funkcija I-tog sloja
L ukupan broj slojeva
Najee koritene aktivacijske funkcije neurona kod MLP mrea su logsig (10), Tansig (11), i
linearna (purelin) (12)
() =
1
1+c
-g
c
; (10)

() =
2
1+c
-2g
c
-; (11)

() =
u
; (12)

Gdje je
u
aktivacijsko pojaanje -
u
> .


16

12. Mree zasnovane na funkcijama s krunom osnovicom (RBF
neuronske mree)

RBF {Radial Basis Function) neuronske mree su dvoslojne statike mree. Kao i kod MLB
mrea nulti (ulazni) sloj samo prosljeuje ulaze u mreu na ulaz prvoga sloja sainjena od
neurona s aktivacijskim funkcijama s krunom osnovicom i predstavlja njezino tzv. receptivno
polje. Drugi se sloj mree, koji je ujedno i njezin izlazni sloj, sastoji od perceptrona s linearnom
aktivacijskom funkcijom jedininog aktivacijskog pojaanja. RBF neuronske mree predstavljaju
znaajnu alternativnu MLP mreama, osobito u sluaju aproksimacije jednostavnih i vremenski
malo promjenjivih nelinearnosti kada je mogue unaprijed na odgovarajui nain rasporediti
sredita i odrediti iznose varijanci RBF neurona, a uenje mree svesti samo na podeavanje
teinskih koeficijenata izlaznog sloja. U tom sluaju vladanje RBF neuronske mree postaje
linearno ovisno o parametrima, za razliku od MLP mrea ije je vladanje nelinearno ovisno o
parametrima.

Matematiki se RBF neuronska mrea moe opisati sljedeim izrazima:
I
=
0
= ; (13)

1,
= X
-
1.
= __ (
1,]
-
1,,]
)
2
;
n(0)
]=1
(14)

1
=
1
(
1
); (15)

2
= |
1
]
1
; (16)

2
=
2
2
; (17)

2
=
I
=
2
(
2
); (18)

Gdje je:
X vektor ulaza u mreu, dimenzije n(x)
X
1
vektor ulaza u prvi sloj mree
X
2
vektor ulaza u drugi sloj mree (ulaz
2,n(1)+1
= pomnoen odgovarajuim teinskim
koeficijentom daje skalarni pomak (bias) neuronima drugog sloja

17

V
1
vektor izlaza oeracije konfluencije I-tog sloja mree
Y
l
vektor izlaza I-tog sloja mree
W
1
matrica koordinata sredita RBF neurona, dimenzije n() n()
W
2
matrica teinskih koeficijenata sinaptikih veza drugog sloja mree, dimenzije
n() (n() +)
l
vektor aktivacijskih funkcija I-tog sloja
Najee koritene aktivacijske funkcije u prvom sloju RBF neuronskih mrea su Gaussova (19),
Thin-plate-spline (20), Viekvadratina (21) i inverzna viekvadratina funkcija (22).

() =
-

2
2o
2

; (19)

() =
2
n() ; (20)

() = (
2
+o
2
) ; (21)

() =
1
(
2
+c
2
)
; (22)

Gdje je , o >


18

13. Potpuno rekurzivna perceptronska mrea

Potpuno rekurzivna perceptronska mrea je modifikacija vieslojne unapredne mree na taj
nain to su svi neuroni povezani meusobno i sami sa sobom. Aktivacijske funkcije te mree
dane su jednadbama 23, 24, 25.

r
p
dx
p
dt
= -
p
+
p
(n
p
) (23)

n
p
= _
p-1
p-1p
+
0p-1
(24)

p
(n
p
) =
1
1+c
-nct
p
(25)

Postoji nekoliko algoritama za uenje te mree od kojih je najjednostavniji (iako ne i
najefikasniji) tzv. backpropagation through time". Pri tom algoritmu mrea se transformira u
vieslojnu unaprijeenu mreu s onoliko skrivenih slojeva za koliko diskretnih vremenskih
intervala nas zanima ponaanje mree. Tada se za odreivanje parametara koristi klasini
algoritam za uenje vieslojne unapredne mree.
Potpuno rekurzivne mree i njihove modifikacije slue za modeliranje dinamikih sustava, tj.
za aproksimaciju vremenskih zavisnih trajektorija. Osnovni nedostatak im je dugo vrijeme
uenja i mogua nestabilnost u eksploataciji.


19

14. Implementacija i primjena umjetnih neuronskih mrea

Postoji vei broj mogunosti implementacije umjetnih neuronskih mrea. U tu svrhu moe
koristiti analogna tehnika, digitalna tehnologija, hibridna tehnologija, tehnologija impulsne
modulacije, optika, odnosno optoelektronika. Prednost implementacije u analognoj tehnici jest
u visokom stupnju kompleksnosti i visokoj brzini rada. Nedostatci su manja preciznost (tonost),
podlonost neeljenoj izmjeni parametara i smetnjama te oteanost eljene izmjene
parametara (teine) mree. S druge strane visoka preciznost i mogunost izmjene parametara
mree su prednosti digitalne implementacije, dok je nedostatak u poveanoj dimenziji digitalnih
sklopova. Analogne tehnike implementacije povoljnije su za povratne mree, dok digitalne vie
pogoduju unaprednim mreama (vieslojni perceptroni). Kod optoelektronine implementacije
izraena je velika mogunost promjena teina, ali su nedostatci optoelektronika i
elektrooptika transformacija signala.
Pri implementaciji neuronskih mrea treba imati u vidu sljedee tri karakteristike:
Neuronske su mree raunski vrlo zahtjevne. Izlaz svakog neurona je rezultat zbrajanja
vie umnoaka i izraunavanja nelinearne aktivacijske funkcije
Raunska brzina neuronske mree odreena je brojem matematikih operacija
pojedinog neurona, a ne itave mree. Naime, svaki sloj mree ima paralelnu grau, to
jest svaki se neuron u sloju moe promatrati kao lokalni procesor koji radi paralelno s
ostalim neuronima
Neuronske mree zahtijevaju veliki memorijski prostor. Naime, svaki pojedini neuron
ima vie sinoptikih veza, a svakoj je od njih pridruen teinski koeficijent koji mora biti
spremljen u memoriju. Poveanjem broja neurona u mrei memorijski zahtjevi rastu s
kvadratom broja neurona
U posljednje je vrijeme razvijeno vie programskih i sklopovskih implementacija neuronskih
mrea koje vie ili manje uspjeno iskoritavju paralelnu strukturu neuronskuh mrea.
Programske implementacije neuronskih mrea uglavnom su na postojeim raunalnim
sustavima koji nisu projektirani iskljuivo za implementaciju neuronskih mrea. Superraunala,
masivno paralelna raunala te konvencionalna digitalna raunala mogu biti programirana na
odgovarajui nain tako da simuliraju funkcije neuronskih mrea za razne primjene. Veina
neuronskih mrea u primjeni je implementirana na konvencionalnim raunalima. Brzina njihova
izvoenja znatno je nia od brzine koja se moe oekivati kada se implementiraju u
odgovarajue sklopovlje.

20

Prvo iskoritenje svih dobrih svojstava neuronskih mrea moe se oekivati tek kada bude
dostupno kvalitetno sklopovlje, specijalizirano za njihovu implementaciju. Glavnina istraivakih
aktivnosti iz ovog podruja usmjerena je u razvoj specijaliziranih elektronikih i optikih
odnosno optoelektroninih implementacija. Elektronike se implementacije neuronskih mrea
zasnivaju na sabirniki orijentiranim procesorima, koprocesorima, CCD - ovima (Charge Coupled
Device technology) i VLSI (Very Large Scale Integrated) sklopovima, a optike/optoelektronike
implementacije na optikim ili mjeovito optikim i elektronikim komponentama.
Znaajno je ogranienje elektronike tehnologije implementacije neuronskih mrea veliki broj
veza potrebnih za povezivanje neurona, a koje zauzimaju prostor. Nasuprot tome, kod optike
tehnologije neuroni su povezani svjetlovodima koji mogu slobodno prolaziti jedan kroz drugi,
tako da je isti broj veza mogue ostvariti u znatno manjem prostoru. Kod zatvorenog
automatskog sustava (slika 7), neuronska mrea esto predstavlja regulator. Njena zadaa je
osigurati da stvarno vladanje bude jednako eljenom vladanju bez obzira na smetnje.

Slika 7. Prikaz zatvorenog automatskog sustava


21

Zapravo, vea panja tehnologiji umjetnih neuronskih mrea posveena je od 1983. g. kada
je asocijacija DARPA (Defense Advanced Research Projects Agency, USA) odluila uloiti novac u
istraivanje ovih mrea. Kao rezultat pojavljuje se cijeli niz komercijalnih primjena neuronskih
mrea, koje se nude kao razliiti, problemu orijentirani, neuronski ipovi, ili kao hibridni
sklopovi u kojima se kombiniraju tehnike neuronskih mrea, ekspertnih sustava i neizrazite
logike (eng. fuzzy logi). Navedimo neke primjere komercijalne primjene neuronskih mrea.
Optiki ita teksta koristi neuronski ip za prepoznavanje uzorka te softversku povratno
propagiranu neuronsku mreu. Primjenjuje se kao ita kreditnih kartica u bankama,
trgovinama, hotelima i drugdje. U nekim rafinerijama koriste se neuronske mree u kombinaciji
sa neizrazitim upravljakim sustavom za modeliranje i voenje procesa. Hibridni sustav
sastavljen od neuronske mree i ekspertnog sustava koristi se kao inteligentni kontrolor za
optimiranje poloaja (pozicije) elektrode elektrolune pei za topljenje metala. Korisnici tvrde
da se primjenom ovog sustava utedi oko dva milijuna dolara godinje po svakoj elektrolukoj
pei. Inteligentni ita na bazi neuronske mree koristi se za evidenciju uplata dravnih poreza.
Za analizu zagaenosti djeje hrane koriste se neuronske mree koje klasificiraju mogue
abnormalne stanice hrane. Neuronske mree koriste se i u marketingu za obradu trita
izdvajajui iz skupa moguih potencijalne kupce odreenih proizvoda, kao i u kompanijama
zranih prijevoznika za evidenciju putnika, karata, sjedala u avionima, avionskih linija i dr.
Zahvaljujui neuronskoj mrei sadanji telefax strojevi zamjenjuju se teleform strojevima,
koji rade na principu windows-a, kao daljinski prijemno predajni terminali. Neuronske mree
koriste se i za procjenu vrijednosti nekretnina, donosno vlasnitva stanovnika neke regije.
U poetku su se neuronske mree promatrale izdvojeno, odnosno neovisno o drugim
naprednim kompjutorskim tehnikama. Meutim, veina uspjenih primjena neuronskih mrea
koritena je upravo uz kombinaciju nekih drugih naprednih tehnika, kao to su ekspertni sustavi
i neizrazita logika. Danas se moe rei da se preko neuronskih mrea poinju rjeavati
donedavno nerjeivi problemi (prepoznavanje uzorka, paralelno procesiranje itd.) te da se
njima znaajno poveavanju performanse sustava za procesiranje (obradu) podataka i signala.
Moe se zakljuiti da je tehnologija umjetnih neuronskih mrea spremna za primjenu u pravom
trenutku.


22

Jedno od vanijih podruja primjene umjetnih neuronskih mrea jest upravo robotika.
Naime, na suvremene robote postavljaju se visoki zahtjevi u smislu znaajnog poveanja brzine
rada i tonosti (paralelno procesiranje signala) snalaenja u neorganiziranoj okolini (robotski
vid), prirodne komunikacije s okolinom (robotski sluh, vid i govor), te donoenje odluka na
osnovi percepcije svog stanja i stanja okoline (umjetna inteligencija). S dinamike toke gledita,
robot je izuzetno sloen nelinearni dinamiki sustav. Vezano s tim i upravljaki algoritmi imaju
sloene strukture upravljanja. Primjena standardnih raunarskih tehnika, openito gledano, ne
moe zadovoljiti zahtjeve koji se postavljaju na brzinu izvoenja upravljakih algoritama robota.
Naime, radi poveanja brzine reagiranja robota na promjene stanja robota i njegove okoline, te
praenja eljene trajektorije, zahtijeva se paralelna struktura algoritma upravljanja (voenja),
koja omoguava istovremeno izraunavanje upravljakih varijabli za sve stupnjeve slobode
gibanja (sve lanke) robota. Takva struktura upravljanja robota moe se relativno jednostavno
realizirati primjenom neuronskih mrea kao sustava za voenje robota, budui da je jedna od
glavnih karakteristika tih mrea upravo paralelno procesiranje signala s ulaza na izlaz mree.
Danas su ve razvijene neuronske mree za identifikaciju dinamike robota, rjeavanje tzv.
inverznog kinematikog problema, automatsko planiranje trajektorija robota, optimalno i
adaptivno voenje robota u prostoru i vremenu.


23

15. Zakljuak

U nadolazeim godinama, sve vei broj znanstvenika i istraivakih timova bavit e se
problematikom umjetnih neuronskih mrea, te umjetnom inteligencijom uope. U tu svrhu
intenzivirat e se istraivanja biofiziologije, te psihikih procesa ljudskog mozga. Rezultate tih
istraivanja preuzimat e tehnike i ostale znanosti s ciljem unapreivanja neuronskih mrea, te
openito umjetne inteligencije.
Umjetne neuronske mree moraju se razmatrati u kontekstu umjetne inteligencije kao jedan
od elemenata za realizaciju iste, poput neizrazite logike, ekspertnih sustava, zakljuivanja,
spoznaje i odluivanja. Razvoj umjetne inteligencije znatno utjee na razvoj umjetnih
neuronskih mrea, no vrijedi i obratno. Najvee se promjene oekuju u primjeni modernih
raunala u svakodnevnom ivotu. Logino je za oekivati da e malo po malo umjetna
inteligencija ulaziti u sve vie aspekata ljudskog ivota. Svatko bi mogao imati displav na zidu
koji bi radio na principu neuronske mree, te bi nauio raspoznavati glasove osoba u sobi. To bi
bila neka kombinacija inteligentnog telefona i televizije koja bi mogla posluiti kao kompletno
voenje kunih financija, itanje elektronskih novina, snimanje televizijske emisije i dr. Daljnjim
razvojem inteligentnih sustava poveat e se primjena robota u kuanstvima. Upravljanje
automobila mogao bi potpuno preuzeti odgovarajui sustav umjetne inteligencije. Procesiranje
slike moglo bi se razviti do te mjere da bi kancerogene stanice mogle biti otkrivane i unitavane
jedna po jedna, ime bi se pobijedila bolest.
Meutim, treba naglasiti da e na putu razvoja neuronskih mrea i openito umjetne
inteligencije biti jo mnogo potekoa. Najvei dio misaonih procesa ljudskog mozga jo dugo e
ostati nepoznat, to je realni ograniavajui faktor za razvoj umjetne inteligencije i umjetnih
neuronskih mrea.


24

16. Literatura

[1.] Novakovi, Branko: Umjetne neuronske mree", Fakultet strojarstva i
brodogradnje, Zagreb 1998.
[2.] Petrovi, Ivan: Identifikacija nelinearnih dinamikih procesa statikim
neuronskim mreama", Fakultet elektrotehnike i raunarstva, Zagreb 1998.
[3.] Boievi, Juraj: Inteligentno voenje i inteligentni sustavi", Hrvatsko drutvo
za sustave, Zagreb 1998

Neuronske Mreze

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Neuronske Mreze

Uploaded by

Copyright:

Available Formats

UMJETNA INTELIGENCIJA

vektor izlaza operacije konfluencije I-tog sloja mree

You might also like