11.

Neuronske
mree

U ovom poglavlju bie izloena osnovna svojstva, arhitekture i algoritmi obuavanja vetakih neuronskih mrea. Kao to je ve napomenuto u poglavljima 2 i 3,
neuronske mree predstavljaju osnovu tzv. konekcionistikog pristupa VI. Ovaj pristup, za razliku od komplementarnog simbolikog pristupa, podrava princip od dole
ka gore (botom-up), po kome se, polazei od senzorskih signala ili sirovih podataka,
induktivo kroz proces obuavanja, formiraju koncepti, pojmovi, kategorije i sl. Ove
apstrakcije formirane na izlaznim slojevima neuronskih sistema, mogu predstavljati
osnovu za prelazak na procesiranje simbolikih struktura i povezivanje sa sistemima
dizajniranim na osnovu simbolikog pristupa. Tipian primer ovakve sinergije dva
komplementarna pristupa je najnoviji Google-ov sistem, koji automatski tekstualno
opisuje ta se vidi na jednoj slici.
Neuronske mree pobudjuju velika oekivanja u oblasti VI, ne samo kao samostalni
blokovi modelovanja pojedinih preslikavanja, neophodnih u sintezi sistema VI, ve i
kao alat pomou koga se mogu modelovati bioloki neuronski sistemi, ukljuujui i
ovekov centralni nervni sistem i mozak. Ukoliko bi se u nekom trenutku tehnolokog
razvoja mogao simulirati sistem koji ima kapacite ljudskog mozga, oekuje se da bi
se time ostvarila najbolja mogua raunarska podloga za izuavanje svih kognitivnih
procesa prisutnih u naem mozgu, to bi u svakom sluaju dalo snaan podsticaj ostvarivanju veine ciljeva VI. Dananji najsloeniji simulatori pokrivaju samo procente ili
delove procenata ukupnog broja neurona i sinaptikih veza ljudskog mozga. Stoga su
tzv. emergentna svojstva neuronskih mrea (osobine nastale kao posledica interakcije
ogromnog broja jednostavnih elemenata) jo uvek van domaaja istraivaa.
......................

177

U velikoj meri se oblast vetakih neuronskih mrea danas razvija kao saostalna
oblast, u kojoj je VI samo jedna od oblasti primene. Neuronskih mrea su u okviru
mainskog uenja ve stekle status dobro teorijski obradjene oblasti, koja je stavlja u
istu ravan sa ostalim top tehnikama, kao to su SVM (Support Vector Machine) metode
ili grafki verovatnosni modeli. Poseban vetar u jedra je oblast dobila aktuelizovanjem
tzv. dubokih arhitektura za obuavanje, ime nastaje itava nova oblast DNN (Deep
Neural Networks), za koju se ispostavlja da je danas najefikasnije sredstvo za obradu
senzorskih signala ljudskog perceptivnog sistema, kao to su vizuelni i audio signali.
Ako neuronske mree posmatramo kao novu raunarsku paradigmu, moemo napraviti interesantna poredjenja sa klasinom raunarskom tehnikom zasnovanoj na
Fon Nojmanovoj arhitekturi, Tabela 11.1. i 11.2. Kao to se moe zapaziti, distinktivna
razlika neuronskih mrea u odnosu na klasino raunarstvo potie od masovnog paralelizma i brze adaptacije ogromnog broja konekcija sinapsi. U pogledu ekvivalentnog
programiranja, dok klasino raunarstvo zahteva eksplicitno pisanje programa u nekom
izabranom programskom jeziku, neuronske mree obavljaju namenjeni zadatak implicitno, preko faze obuavanja podrane primerima struktuiranim u tzv. obuavajue
skupove, to u izvesnom smislu odgovara konceptu automatskog adaptivnog programiranja, potpuno stranom za Fon Nojmanove arhitekture.
Neuronske mree

Fon Nojmanov digitalni raunar

Obuavanje (uenje na osnovu primera)

Programiranje kroz instrukcije
1 zasnovano na podeavanju jaine konekcionih
(ako-onda analiza zasnovana na logici)
veza, pragova i strukture
2 Memorijski i procesni elementi su kolocirani

Memorija i procesiranje su separisani

Paralelni i asinhroni rad (kontinualni ili

diskretni)

Sekvencijalni ili serijski rad,

sinhronisan zajednikim taktom

Otporan na greke usled distribuirane

reprezentacije i velike redudanse

Nije otporan na greke

5 Smoorganizovanje u toku obuavanja

6

Zavisan od programa

Kodovano znanje je adaptibilno. Prezentovano Znanje je memorisano u adresibilnoj

je interkonekcijama izmedju neurona
memoriji i striktno je replikabilno

7 Procesiranje je anarhino
8

Procesiranje je autokratino

Osnovni vremenski ciklus obrade je reda

milisekundi

Osnovni vremenski ciklus obrade je

reda nanosekundi

Tabela 11.1 Slinosti i razlike izmedju neuronskih mrea i Fon Nojmaovog raunara.
......................

178

Neuronske
mree

Fon Nojmanov
digitalni raunar

Broj procesnih jedinica

1CPU, 108 gejtova

1011 neurona

Memorijske jedinice

1010 bita RAM,

1011 bita disk

1011 neurona
1014 sinapsi

Vreme jednog ciklusa

10 -9 sec

10-3 sec

Propusni opseg

1010 b/sec

1014 b/sec

Promene u vremenu

1010

1014

Tabela 11. 2. Slinosti i razlike izmedju neuronskih mrea i Fon Nojmaovog raunara,
kvantitativni pokazatelji

11.1 DEFINICIJA NEURONSKIH MREA

Neuronske mree pretenduju da simuliraju nain rada ljudskog mozga pri obavljanju datog zadatka ili neke funkcije. Mogu se posmatrati kao masovno paralelizovani
distribuirani procesori sa prirodnom sposobnou memorisanja iskustvenog znanja i
obezbedivanja njegovog korienja. Vetake neuronske mree podseaju na ljudski
mozak u dva pogleda:
1. neuronska mrea zahvata znanje kroz proces obuavanja,
2. teine medjuneuronskih veza (jaina sinaptikih veza) slue za memorisanje
znanja.
Procedura kojom se obavlja obuavanje naziva se algoritam obuavanja. Kroz ovu
proceduru se na algoritamski (sistematian) nain menjaju sinaptike teine u cilju
dostizanja eljenih performansi mree. Osnovnu raunarsku snagu neuronskih mrea
ini masovni paralelizam, sposobnost obuavanja i generalizacija. Generalizacija predstavlja sposobnost produkovanja zadovoljavajueg izlaza neuronske mree i za ulaze
koji nisu bili prisutni u toku obuavanja.

11.2 SVOJSTVA NEURONSKIH MREA

Nabrojaemo neka distinktna svojstva neuronskih mrea.
1. Nelinearnost, koja je u osnovi distribuirana.
2. Ulazno-izlazno preslikavanje, koje se restaurie kroz proces obuavanja.
3. Adaptivnost-sposobnost menjanja jaine sinaptikih veza.
4. Evidencionalni odziv. Neuronska mrea kao izlaz moe da produkuje i stepen
uverenja o datoj odluci.
5. Kontekstualna informacija. Svaki neuron u neuronskoj mrei je pod uticajem
globalne aktivnosti ostalih neurona. Stoga je kontekstualna informacija prirodno imanentna ovim strukturama
......................

179

6. Otpornost na otkaz.
7. Mogunost realizacije u VLSI (Very Large Scale Integration) tehnologiji.
8. Uniformnost analize i sinteze. Neuron je zajedniki element za sve tipove neuronskih mree. Modularne neuronske mree se mogu formirati integracijom
pojedinih celina-modula. Za reavanje razliitih praktinih problema koriste se
iste teorijske postavke i algoritmi obuavanja.
9. Neurobioloke analogije. Neurobiolozi gledaju na neuronske mree kao istraivaki alat za interpretaciju neurobiolokih fenomena, i obrnuto, inenjeri gledaju na neurobiologiju kao oblast iz koje mogu da izvlae nove ideje za reavanje
kompleksnijih problema od onih koji se mogu reiti klasinim hardversko-softverskim tehnikama.

11.3 MODELI NEURONA

Model neurona ine tri bazina elementa:
Skup sinaptikih teina {wij}. Pozitivne teine odgovaraju ekscitirajuim sinaptikim vezama, a negativne inhibitornim.
Sumator (linearni kombajner) formira teinsku sumu ulaza.
Aktivaciona funkcija limitira amplitudu izlaznog signala neurona. Tipino se
uzima normalizacija izlaza na interval [0,1] ili [-1,1].
Jednaine modela sa Slike 11.1
m

u k = wkj x j
j =1

Sl.11.1. Nelinearni model neurona

......................

180

(11.1)

y k = a (u k k )

(11.2)

Alternativni zapis

v k = wkj x j ,

y k = a (v k ) , x0 = 1, wk 0 = k . (11.3)

Sl.11.2. Nelinearni model neurona sa proirenim ulazom i prenosom praga u sinaptiku teinu.

Ako stavimo da je x 0 = 1, a

wk 0 = bk , tada se bk naziva bajas, videti sl.11.3.

Sl.11.3. Nelinearni model neurona sa proirenim ulazom i bajasom u obliku sinaptike teine.
......................

181

11.4 TIPOVI AKTIVACIONIH FUNKCIJA

Razlikujemo sledee najee tipove aktivacionih funkcija.
Funkcija praga
a(v)
1

1, v 0
a (v ) =
0, v < 0

Sl.11.4. Aktivaciona funkcija tipa praga. Neuron sa ovom aktivacionom funkcijom je poznat
kao McCulloch Pitts-ov model neurona (1943)

U delovima linearna
a(v)

1, v 1 / 2

a (v) = 1 / 2 + v, 1 / 2 < v < 1 / 2

0, v 1 / 2

v
1/2

-1/2

Sl.11.5. U delovima linearna aktivaciona funkcija

Sigmoidalna (logistika)
a(v)
1

a(v) =

b1
b2

1
1 + exp(bv)

b1 > b2

Sl.11.6. Sigmoidalna (logistika) aktivaciona funkcija. Parametar b je parametar nagiba.

......................

182

Ukoliko se izlaz neurona normira na interval [-1,1], tada dobijamo

a(v)
1

1, v 0

a (v) = 0, v = 0
1, v < 0

-1

Sl.11.7. Bipolarna aktivaciona funkcija tipa znaka (sgn(v))

a(v)
b1

b2

v
1 exp(v)
a (v) = tanh( ) =
2 1 + exp(v)

b1 > b2

-1

Sl.11.8. Bipolarna aktivaciona funkcija tipa tangensa hiperbolinog

(sigmoidalna aktivaciona funkcija)

11.5 ARHITEKTURE NEURONSKIH MREA

Razliite arhitekture neuronskih mrea dobijamo variranjem rasporeda neurona
i sinapsi, kao i smera prostiranja signala kroz ove strukture, od ulaza do izlaza. Po
analogiji sa ljudskim mozgom, neuroni se po pravilu slau u slojeve (layers), koji se
zatim povezuju na specifian nain. Naveemo neke nejprimenjivanije arhitekture.
Jednoslojne neuronske mree sa prostiranjem signala unapred (feed forward
single layer neural network)

......................

183

ulazni sloj

izlazni sloj

Sl.11.9. Jednoslojni perceptron sa prostiranjem unapred

Vieslojne neuronske mree sa prostiranjem signala unapred (feedforward multilayer neural network)

skriveni sloj

ulazni sloj

izlazni sloj

Sl.11.10. Vieslojna neuronska mrea sa prostiranjem unapred

Rekurentske neuronske mree

Za razliku od vieslojnih neuronskih mrea, rekurentne neuronske mree poseduju
zatvorene petlje povratnih sprega.
......................

184

z 1

z 1

z 1

Sl.11.11. Rekurentna neuronska mrea bez sopstvenih povratnih sprega i skrivenih slojeva.
Operator z-1 ima znaenje jedininog vremenskog kanjenja.

t
e
x
t

t
e
x
t

z 1

t
e
x
t

t
e
x
t

izlaz

z 1

t
e
x
t

z 1

t
e
x
t

t
e
x
t
te

ulaz

t
e
x
t

t
e
x
t

x
t

t
e
x
t

Sl.11.12. Rekurentna neuronska mree sa skrivenim slojem

......................

185

11.6 PREZENTACIJA ZNANJA U NEURONSKIM MREAMA

Znanje o okruenju je generalno dvojako.
1. Poznata znanja o okruenju, izraena kroz injenice o tome ta je poznato
apriorno znanje.
2. Observacije (merenja) dobijena od razliitih senzora kao odraz stanja okruenja. Na osnovu ovih observacija se kreiraju obuavajui skupovi za obuavanje
neuronskih mrea. Svaki primer u njemu se sastoji od parova (ulaz, izlaz).
Obuavajui skupovi predstavljaju znanje o okruenju od interesa. U klasinom
procesiranju, prirodno je prvo kreirati matematiki model observacija, a zatim izvriti
validaciju ovog modela na realnim podacima. Neuronske mree su direktno bazirane
na podacima i daju implicitni model okruenja uz istovremeno obavljanje eljenog
procesiranja. Znanje o okruenju u neuronskim mreama je kodovano kroz konkretne
vrednosti slobodnih parametara dobijenih kroz obuavanje. Teko je bilo ta konkretno rei o reprezentaciji samog znanja unutar neuronske mree. Postoje etiri pravila
o reprezentaciji znanja u neuronskim mreama, koji su opte prirode.
Pravilo 1. Slini ulazi slinih klasa prouzrokuju slinu unutranju reprezentaciju.
Pravilo 2. Primeri koji pripadaju razliitim klasama treba da budu predstavljeni
razliitim unutranjim reprezentacijama.
Pravilo 3. Apriorne informacije se ugradjuju direktno u neuronsku mreu bez procesa obuavanja (specijalizacija strukture). Ovo se postie ili
restrikcijom arhitekture (lokalne konekcije)
restrikcijom izbora sinaptikihh teina (weight shearing metoda zajednikih
sinaptikih teina).
Specijalizacijom strukture se postie:
manji broj slobodnih parametara
manji potrebni obuavajui skupovi
bre obuavanje
bolja generalizacija
ubrzana je prenos signala kroz restriktovanu neuronsku mreu
cena realizacije je manja.

11.7 OBUAVANJE NEURONSKIH MREA

Obuavanje je proces adaptiranja slobodnih parametara neuronske mree, koji se
obavlja kroz stimulaciju okruenja u kome se neuronska mrea nalazi. Proces obuavanja je klasifikovan u tri kategorije:
1. obuavanje sa uiteljem (nadzorom), (supervised learning)
2. obuavanje sa podsticanjem (reinforcement learning)
3. samoobuavanje (obuavanje bez uitelja), (unsupervised learning)
......................

186

Sl.11.13 Obuavanje sa uiteljem

Sl.11.14 Obuavanje sa podsticanjem

Sl.11.15 Samoobuavanje
Kod obuavanja sa uiteljem prisutan je obuavajui skup u formi parova {X(i),d(i)},
gde je X(i) ulaz, a d(i) eljeni izlaz.
Kod obuavanja sa podsticanjem, neuronska mrea dobija rudimentirane informacije o tome kakav izlaz produkuje, najee samo u formi jednog bita informacije
tipa {dobar, lo}. Analogno obuavanju sa uiteljem, ova forma obuavanja se moe
......................

187

tretirati na isti nain s tim to umesto uitelja, koji egzaktno ukazuje kakav odziv
neuronske mree treba da bude, u ovom sluaju imamo kritiara koji daje grublju
ocenu odziva neuronske mree.
Samoobuavanje je karakterisano odsustvom bilo kakve povratne sprege od okruenja.
11.7.1. OPTA FORMA PRAVILA OBUAVANJA

Sl.11.16 Opta ema obuavanja i-tog neurona

wi

T
(w
=
, i 1, 2,..., n
i 1 , w i 2 ,..., w im )

- vektor sinaptikih teina i-tog neurona

wi ( t ) = r x( t ) , (11.4)
- koeficijent obuavanja pozitivna konstanta.
r signal obuavanja, u optem sluaju funkcija oblika

r=f r (wi ,x,di ) ,

(11.5)

wi ( t + 1=
) wi ( t ) + f r ( wi ( t ),x( t ),di ( t )) x( t ) ,

(11.6)

Na osnovu opte jednaine (11.6), generisani su mnogi zakoni obuavanja, dominantno variranjem naina generisanja signala obuavanja r.
11.7.2 HEBOVO UENJE
Hebov princip uenja je jedan od najstarijih i najpoznatijih. Zasniva se na Hebovom
postulatu:
Kada je akson neurona A dovoljno blizu neurona B, tako da ga moe eksitovati, i
ako se to ponavlja dovoljno esto, deavaju se takve promene i metaboliki procesi u obe
elije da je efikasnost uticaja neurona A na neuron B poveana.
......................

188

r =yi , wi = yi x.

(11.7)

Hebovo uenje je u osnovi samoobuavajue, budui da nije prisutan signal eljenog izlaza. U skalarnoj formi (11.7), ima formu
=
wij =
yi x j , i 1,=
2,...,n, j 1,2,...,m (11.8)

Ako je ulazno-izlazni korelacioni lan yixi pozitivan, wij se poveava (u suprotnom

se smanjuje), usled ega se poveava izlaz. Stoga e ulaz koji se najee pojavljuje,
imati najvei uticaj na promenu teina, i na kraju e produkovati najvei izlaz, to i
jeste ideja Hebovog postulata.

11.8 ADALINA (Adaptive Linear Element)

Neuron sa linearnom aktivacionom funkcijom se naziva linearni neuron. Neka je
na raspolaganju obuavajui skup

{( x

(1)

,d ( 1 ) ),...,( x( p ) ,d ( p ) )} .

(11.9)

Cilj obuavanja je izraunavanje teina wi, koje zadovoljavaju relaciju

m

(k )
w j x(j k ) d=
, k 1,2,..., p (11.10)
=
j =1

i pri tome se minimizira kriterijum performansi

1 p (k )
1 p (k )
1 p (k ) m
2
2
( d y( k ) )=
( d W T x( k ) )=
( d w j x(j k ) )2 . (11.11)
2k 1
2k 1
2 k 1=j 1
=
=
=

E( w=
)

Ekstremizaciju kriterijuma (7.3) moemo obaviti gradijentnom metodom. datom sa

w= w E( w ) ,
(11.12)
odnosno
E
w j

w j =

=
( d ( k ) W T x( k ) ) x(j k ) ,
k =1

j=
1,2,...,m

(11.13)

Ukoliko se ove promene obavljaju individualno za svaki ulazni signal x(k), nalazimo
da je

=
w j ( d ( k ) W T x( k ) ) x(j k )

(11.14)

to je poznato Vidrov-Hofovo pravilo obuavanja. Ono se susree i pod nazivom
LMS pravilo (pravilo najmanjih kvadrata, Least Mean Square).
Ako elimo da Vidrov-Hofovo pravilo obuavanja izvedemo iz opte jednaine
obuavanja, neophodno je staviti za signal uenja

r = d y = d W T x . (11.15)
......................

189

Budui da je E(w) hiperparabolina povrina u prostoru sinaptikih teina w, sa

jedinstvenim globalnim ekstremumom (minimumom), postupak konvergira ka njemu
bez obzira na poetne uslove, pod uslovom da je dovoljno malo.

Sl.11.17 Ilustracija Vidrov-Hofovog pravila obuavanja za jedan koeficijent sinaptikih teina w.

11.9 JEDNOSLOJNI PERCEPTRON

Prethodni rezultat se lako moe generalisati na sluaj opte nelinearne diferencijabilne aktivacione funkcije a(). Razmotrimo strukturu jednoslojnog perceptrona.

Sl.11.18 Jednoslojni perceptron

(w1m = 1 , w2 m = 2 , ..., wnm

= n )

m broj ulaza
n brj izlaza
p duina obuavajueg skupa
......................

190


m
y i( k ) = a Wi T x ( k ) = a wij x (jk ) = d i( k ) ,

j =1

i = 1,2, , n, k = 1,2, . p. (11.16)

gde je

Wi T = [wi1 , wi 2 , , wim

]T

(11.17)

vektor teina pridruen neuronu i. Ako definiemo kriterijumsku funkciju kao

matematiko oekivanje greke na izlazu neuronske mree, odnosno u sluaju
konanih obuavajuih skupova u obliku ukupne kvadratne greke na obuavajuem
skupu, dobijamo
1 p n
E ( w) = d ik y i( k )
2 k =1 i =1

)] (

p
E
= d i( k ) a net i( k ) a ' net i( k ) x (jk )
wij
k =1

net i( k ) = Wi T x ( k )

a ' net i( k ) =

m
2
1 p n
1 p n
= d i( k ) a ( wiT x ( k ) ) = d i( k ) a wij x (jk ) .
2 k =1 i =1
2 k =1 i =1

j =1

(11.18)

- ulaz u i-ti neuron kada je k-ti ulazni vektor prisutan.

a net i( k )
net i( k )

(11.19)

Korekcija wij nakon prezentacije k-tog obuavajueg uzorka je

wij =

] (

E
= d i( k ) a(net i( k ) ) a ' net i( k ) x (jk )
wij

(11.20)

i naziva se Delta pravilo obuavanja (delta learning rule), koje se iz opteg pravila
obuavanja dobija stavljanjem

r = d i a( wiT x) a ' ( wiT x) .

(11.21)

Opisana procedura konvergira ka nekom od lokalnih ekstremuma. Budui da kriterijum obuavanja poseduje vie lokalnih ekstremuma, gradijentna procedura (11.20)
ne garantuje globalni, ve samo neki od lokalnih ekstremuma, zavisno od poetnih
uslova i parametara obuavanja.
......................

191

11.10 VIESLOJNI PERCEPTRON

Vieslojni perceptron (Feed Forward Artificial Neural Networks - FFANN), predstavlja jednu od najvanijih neuronskih struktura, kako zbog optosti preslikavanja
koju potencijalno moe restaurisati, tako i zbog efikasnog algoritma obuavanja poznato pod nazivom algoritam propagacije greke unazad (Backpropagation Algorithm).
11.10.1 CIBENKOVA TEOREMA (1989)
Jedna od najvanijih karakteristika vieslojnih neuronskih mrea je njihova sposobnost restauracije iroke klase ulazno izlaznih preslikavanja, pod relativno optim
uslovima nametnutim aktivacionim funkcijama. Prvi teorijski dokaz ovog vanog stava
dao je George Cybenko 1989. god. Kurt Hornik je 1991. godine pokazao da dobra
aproksimirajua svojstva vieslojnih perceptrona ne potiu od posebnih svojstava aktivacionih gunkcika, ve od same arhitekture neuronske mree.

Sl.11.19 George Cybenko (levo) i Kurt Hornik (desno). Cybenko je prvi pokazao 1989. godine
da je jednoslojna neuronska mrea univerzalni aproksimator. Hornik je 1991. godine pokazao
da svojstvo univerzalnog aproksimatora ne potie od posebnih osobina aktivacionih funkcija,
ve od same arhitekture neuronskih mrea.

Cibenkova Teorema
Vieslojna neuronska mrea sa najmanje jednim skrivenim slojem i aktivacionom
funkcijom koja poseduje sledea svojstva
1. lim a ( ) = 1

2. lim a ( ) = 0 (1)

3. a ( ) je neopadajua funkcija

aproksimira bilo koju Borel merljivu funkciju na kompaktnim skupovima, sa proizvoljnom tanou, pod uslovom da je na raspolaganju dovoljan broj neurona u
skrivenom sloju.
......................

192

Borel merljive funkcije na kompaktnim skupovima obuhvataju sve neprekidne i

u delovima neprekidne funkcije (sa konano ili prebrojivo mnogo diskontinuiteta na
skupovima mere nula).
Odavde sledi da je FFANN univerzalni aproksimator. Stoga neuspeh FFANN da
u nekom konkretnom sluaju restaurie preslikavanje implicitno zadato obuavajuim skupom, potie ili od neadekvatnog izbora arhitekture, parametara obuavanja,
obuavajuih skupova i drugih faktora, ali ne i od samog osnovnog restauratorskog
principa FFANN.
Za mnoge praktine probleme, pokazuje se da uprkos Cibenkovoj teoremi jedan
skriveni sloj nije dovoljan, budui da zahteva neprihvatljivo velik broj neurona. raktino bolji rezultati se esto dobijaju razmetanjem manjeg broja neurona u dva ili
vie skrivenih slojeva.
11.10.2 ALGORITAM PROPAGACIJE GREKE UNAZAD
Ovaj algoritam obuhvata dve faze:
1. ulazni vektor x(k) propagira od ulaznog ka izlaznom sloju, produkujui izlaz y(k).
2. sinal greke, zatim u drugoj fazi propagira unazad od izlaznog ka ulaznom sloju
u cilju korigovanja teina wij.
U cilju ilustracije rada algoritma propagacije greke unazad (BP algoriram) razmotrimo vieslojni perceptron tipa m l n sa jednim skrivenim slojem.

Sl.11.20 Vieslojni perceptron sa jednim skrivenim slojem

Neka je neuronskoj mrei sa Sl.11.21 prezentovan par (x,d) iz zadatog obuavajueg

skupa.
......................

193

Uvedimo sledee oznake:

net q - ulazni signal u neuron q u skrivenom sloju,

m

net q = v qj x j ,
j =1

zq - izlazni signal neurona q

m

=
zq a=
vqj x j
( netq ) a
j =1

Ulaz u i-ti neuron u izlaznom sloju dat je sa

=
neti

=
wiq zq wiq a vqj x j .

q 1
=

q 1=j 1
=

Izlazi neurona u izlaznom sloju dati su sa

l
l

=
yi a=
wiq zq a wiq a vqj x j .
( neti ) a =
=
q 1
=
j 1

q 1=

Ovim je opisana prva faza, propagacija ulaynog signala. Kriterijumska funkcija

obuavanja ima oblik
2

l
1 n
1 n
1 n
2
2
E ( w) = (d i y i ) = [d i a(net i )] = d i a wiq z q .
2 i =1
2 k =1
2 i =1

q =1

U skladu sa gradijentnim postupkom ekstremizacije, korekcija teina izmedju skrivenog i izlaznog sloja je data sa

wiq =

E
,
wiq

odnosno uzimajui u obzir relaciju o prostiranju unapred i lanano pravilo parcijalnih izvoda za E/wij, imamo

E y neti
[ di yi ] a ( neti ) zq =
0i zq ,
=
yi neti wiq

wiq =
i

gde je sa 0i oznaen signal greke

0i =

E y
E
= i = [d i y i ] [a (net i )] ,
net i
y i net i

gde je neti ulaz u neuron i u izlaznom sloju, dok je

a (net i ) =

a(net i )
.
net i

......................

194

Rezultat je u potpunosti identian Delta pravilu za jednoslojni perceptron iji je

ulaz zq jednak izlazu neurona iz skrivenog sloja.
Korekcija teina izmedju neurona j u ulaznom i ineurona q u skrivenom sloju je
data sa
E
E netq
E zq netq
vqj =
=

=
vqj
netq vqj
zq netq vqj
n

= ( di yi ) a ( neti ) wiq a ( netq ) x j .

i =1

Korienjem izraza za signal greke 0i, dobijamo

vqj

=
0i wiq a ( netq ) x j hq x j ,
i =1

gde je hq signal greke za neuron q u skrivenom sloju i definie se kao

n
E zq
E
a ( netq ) 0 i wiq ,
=

=
netq
i =1
zq netq

hq =

gde je netq ulaz u neuron q.

Izraz za hq pokazuje da se ovaj signal greke za neuron q u skrivenom sloju dobija propagiranjem unazad od izlaznog sloja signala greke 0i pridruenih izlaznim
neuronima. Ovo svojstvo pokazuje vanu lokalnu osobinu algoritma, naime, da bi se
izraunala korekcija koeficijenata zadate grane potrebne su samo veliine (signali) na
oba kraja ove grane.
Ova razmatranja se lako mogu proiriti na perceptron sa proizvoljnim brojem
slojeva, sukcesivnom primenom pravilom ulanavanja za diferenciranje. U optem
sluaju, za proizvoljan broj slojeva, pravilo korekcije teina u algoritmu propagacije
greke unazad ima formu
=
wij
=
output i xinput j ,
i xj

gde se output-i i input-j odnose na dva kraja konekcije neurona j ka neuronu i.

Sumarno, algoritam propagacije greke unazad se moe opisati kroz sledee korake.
Neka vieslojni perceptron ima Q slojeva, q=1,2,...,Q i neka je
neti - net ulaz za i-ti neuron u q-tom sloju,

yi - izlaz neurona i u q-tom sloju.

Neka postoji m ulaznih i n izlaznih vorova. Neka qwij oznaava teinu veze izmedju
yi i qyi .

q-1

......................

195

ULAZ:

Skup parova {(x(k), d(k)), k=1, 2, ..., p}

KORAK 0: (Inicijalizacija) Izabrati >0 i Emax (maksimalna prihvatljiva greka).

Inicijalizovati sve sinaptike teine malim sluajnim vrednostima.

E=0, k=1.
KORAK 1: Primeniri k-ti obuavajui vektor na ulaz (q=1):
qyi= 1yi= xi(k) , za sve i.
KORAK 2: (Propagacija unapred). Propagirati signal unapred do izlaza

po formuli

q
y i = a ( q net i ) = a q wij q 1 y j i, q

sve dok se ne dobije izlaz qyi.

KORAK 3: (Raunanje izlazne greke Qi)

E=
Q

1 n (k ) Q
d i yi
2 i =1

) (

y i = d i( k ) Q y i a

+E ,
Q

net i .

KORAK 4: (Propagacija greke unazad). Propagacija greke unazad u cilju

korigovanja teina i sraunavanja greke q-1i za prethodni sloj:
q wij = q iq 1 y j , q wijnew = q wijolld + q wij ,

q 1
=
=
i a ( q 1 neti ) q w ji q j ,za
q Q,Q 1,...,2.
j

KORAK 5: Provera da li su svi uzorci iz obuavajueg skupa jednom proli

proceduru. Ako je k<p, tada je k=k+1 i prelazi se na korak 1.

U suprotnom prelazi se na korak 6.
KORAK 6: (Provera ukupne greke). Da li je ukupna akumulirana greka

prihvatljiva? Ako je E<Emax, prekida se proces obuke,

u suprotnom E=0, k=1, prei na korak 1.
END
Ova varijanta algoritma propagacije greke unazad je tzv. inkrementalna, tj. teine
se koriguju nakon predstavljanja svakog uzorka iz obuavajueg skupa. Alternativni
pristup je tzv. blokovski (batch mod training) algoritam, po kome se teine menjaju
nakon to su svi uzorci u obuavajuem skupu prezentovani.
......................

196

11.10.3 PROBLEM KONVERGENCIJE

Povrina na kojoj se trai ekstremum (error surface povrina greke) nije deterministika. Algoritam ustvari pripada klasi algoritama stohastike aproksimacije. Za
povrinu greke se znaju tri bazina svojstva:
veliki broj lokalnih minimuma, budui da postoji veliki broj kombinatornih
permutacija teina koje daju isti izlaz mree.
postojanje lokalnih minimuma iznad nivoa globalnog minimuma
postojanje viestrukih platoa sa malim nagibima. Ovo je direktna posledica zasienja aktivacionih funkcija u domenu velikih signala, kada su izlazi neosetljivi
na male promene teina. Postojanje ovakvih delova povrine greke prouzrokuje
sporu konvergenciju algoritma propagacije greke unazad.
11.10.4 FAKTORI KOJI UTIU NA OBUAVANJE ALGORITMA PROPAGACIJE
GREKE UNAZAD
11.10.4.1 Inicijalizacija teina
Poetne vrednosti izuzetno utiu na krajnji rezultat obuavanja. Tipina inicijalizacija je malim sluajnim vrednostima. Velike vrednosti vode u zasienje i zaglavljivanje
u lokalnim ekstremumima bliskim startnoj poziciji. Praktina preporuka za inicijalizaciju je izbor poetnih teina u opsegu:
3
3
,

ki
k i

gde je ki broj ulaznih konekcija u neuron i.

11.10.4.2 Koeficijent obuavanja (learning constant)
Velike vrednost za mogu da ubrzaju konvergenciju, ali i da dovedu do premaaja
cilja, dok isuvie male vrednosti imaju suprotan efekat. Dosadanja praksa pokazuje
da se moe kretati, zavisno od konkretnog problema u opsegu od 0.001 do 10. Dobra
strategija je adaptivna promena za , npr. po sledeem zakonu

Konzistentno, moe da ima znaenje ili npr. K uzastopnih koraka ili teinsko pokretno usrednjavanje E.
......................

197

11.10.4.3 Funkcija cilja

Kvadratna funkcija nije jedini mogui izbor. promenom ove funkcije menja se samo
signal greke 0i u izlaznom sloju, dok ostale jednaine ostaju nepromenjene. Mogui
izbori funkcije greke su Lp norma

E=

1
(d i yi ) p

p i

ebievljeva norma

, 1 p < ,

L = sup d i y i .
i

11.10.4.4 Momentum
Jedan od naina da se konstanta obuavanja povea, a da ne dodje do divergentnog oscilovanja je dodavanje tzv. momentum lana. Momentum je u stvari dodatni
inercijalni lan koji omoguava odvijanje procesa obuavanja u pravcu srednje sile
na dole. Ovo se moe ostvariti ukljuivanjem prethodnih promena teina u trenutnu
promenu, npr. na sledei nain

w(t ) = E (t ) + w(t 1) , [0,1] ,

gde je momentum parametar (uobiajena praktina vrednost je 0.9).

Na Sl.11.21 prikazana je analiza uticaja momentuma na proces korekcije teina
neuronske mree u toku obuavanja. Elipse prikazuju izohipse hipotetike povrine
greke (error surface) kvadratnog tipa. Primer AA ilustruje sluaj dobrog usmerenja
vektora korekcije teina. Korekcija momentumom u ovom sluaju poboljava usmerenje korekcije teina. Primer BB ilustruje sluaj pogreno usmerenog vektora korekcije
teina (prebaaj). Korekcija momentumom preusmerava ovaj vektor u dobrom pravcu.
Ovi primeri pokazuju da momentum tipino ubrzava konvergenciju.

Sl.11.21 Uticaj momentuma na konvergenciju teina u toku obuavanja

......................

198

11.10.4.5 Pravila korekcije

Do sada analizirano pravilo korekcije teina se zasnivalo na najjednostavnijem
postupku gradijentnog spusta. Dobro razvijena teorija optimizacije nudi niz daleko
razvijenijih i efikasnijih tehnika. Prvo poboljanje se moe uiniti ukljuivanjm viih
redova kriterijumske funkcije. Ako E(w) razvijemo u tajlorov red dobijamo
1
E( w=
) E( w0 ) + ( w w0 )T E( w0 ) + ( w w0 )T H( w )( w w0T ) +
2

gde je
2 E
2 E( w ) , H ij =
H( w ) =
.
wi w j

Da bi smo nali minimum od E(w), stavljamo E(w)=0, odnosno

E( w ) =
E( w0 ) + H( w0 )( w w0 ) + =
0.
Ako zanemarimo lanove reda veeg od dva u gornjem razvoju, dobijamo

w = w0 H 1 ( w)E ( w0 ) ,
ili u iterativnoj proceduri

w ( k +1) = w ( k ) H 1 ( w ( k ) )E ( w ( k ) ) ,
to je poznat Njutnov metod korekcije teina, za koga se dokazuje da u sluaju
konveksnih kriterijumskih funkcija E, konvergira kvadratno ka reenju. Medjutim i
dalje procedura ima niz nedostataka:
raunarska kompleksnost
zahteva dobro poetno pogadjanje
za ne konveksne kriterijumske funkcije moe da konvergira ka lokalnom ekstremumu i sedlastim takama.
Raunarski relaksirana metoda pogodna za implementaciju je npr. kvazi Njutnova
metoda ili algoritam konjugovanih pravaca.
11.10.4.6 Obuavajui skup i generalizacija.
Algoritam propagacije greke umazad ima dobra svojstva generalizacije. Neuronska
mrea dobro generalizuje ukoliko daje dobre interpolacije za nove ulaze, koji nisu bili
prisutni u postupku obuavanja. Neuronska mrea sa isuvie slobodnih parametara
za zadati obuavajui skup moe biti dobro obuena, sa velikom verovatnoom loe
generalizacije. Ovaj fenomen se naziva overfitting. Ukoliko medjutim mrea ima isuvie malo slobodnih parametara, nije u stanju da se obui na obuavajuem skupu, a
samim tim ima loe performanse i na test skupu (skup za testiranje obuhvata primere
koji ne pripadaju obuavajuem skupu). Budui da generalizacija predstavlja vano
svojstvo, razvijeno je vie procedura za njeno poboljanje.
......................

199

a. Smanjivanje osetljivosti mree. Da bi neuronska mrea posedovala dobra svojstva

generalizacije, potrebno je da male promene ulaznih signala ne izazivaju velike
promene na izlazu neuronske mree. Jedan od moguih naina za poboljanje generalizacije direktnom primenom ovog principa je proirivanje obuavajueg skupa
varijacijama ulaznih signala, recimo dodavanjem uma niskog nivoa oko svakog
elementa obuavajueg skupa. Formalno, obuavajui skup

{(

) }

{ ( xi ,di ) } se zamenjuje sa xi + j , di , j =1, m, i =1, , p.

Druga mogunost postizanja slinog efekta smanjivanja osetljivosti mree u odnosu
na ulazne signale je dodavanje novog lana standardnoj kriterijumskoj funkciji
oblika
Eb =

1 E f

2 x1

E f
+
x2

+ + f

xn

gde je Ef funkcional greke u standardnom algoritmu obuavanja. Razlog za ukljuivanje Eb je da njegova minimizacija u stvari znai, prema gornjoj definiciji, malu
osetljivost Ef na varijacije ulaza, to je i bio cilj.
b. Regularizacija. Ovaj metod se svodi na proirivanje kriterijumske funkcije tzv.
regularizacionim lanom

E= E +
gde je E standardni kriterijum, je parametar kojim se kontrolie uticaj dodatnog
lana , koji je u direktnoj vezi sa kompleksnou neuronske mree. Na taj nain,
~
minimizacijom ukupnog kriterijuma E postie se uslovna ekstremizacija standardnog kriterijuma E uz uslov minimalne kompleksnosti neuronske mree, koja je
osnovni uzrok overfittinga. Najee korien oblik regularizacionog lana je

1
wi2
2 i
,

poznat pod nazivom weight decay smanjivanje teina, pri emu se suma odnosi
na sve teine i bajase u mrei. Praksa pokazuje da se na ovaj nain postie znaajno
poboljanje generalizacije. Mogue heuristiko objanjenje ovog efekta se svodi
na sledee rezonovanje. Ukoliko su teine mree velike, aktivacije neurona su u
predelu zasienja, dakle nelinearnih oblasti koje upravo prouzrokuju kompleksna
preslikavanja mree, i obrnuto, za male vrednosti teina aktivacije su u predelu
linearnosti aktivacionih funkcija i kompleksnost mree je mala, ime se smanjuje
verovatnoa overfitinga za fiksiranu duinu obuavajueg skupa.
c. Rano zaustavljanje (Early stopping).
Tokom tipine procedure obuavanja greka obuavanja (vrednost kriterijumske
funkcije) po pravilu opada sa brojem iteracija obuavanja. Medjutim greka merena
na skupu podataka nezavisnih od obuavajueg skupa (test ili validacioni skup)
po pravilu opada do jedne odredjene vrednosti iteracia, a zatim poinje da raste,
......................

200

Sl.11.21. Ovaj rast je vezan za pojavu overfittinga, pa je stoga celishodno proceduru obuavanja zaustaviti u toj taki, iako kriterijumska funkcija na obuavajuem
skupu i dalje opada. Otuda naziv ove metode rano zaustavljanje.

Sl.11.22 Tipini oblik zavisnosti greke obuavanja i validacije

d. Kresanje (Prunning)
Budui da je generalizacija vezana za adekvatan odnos izmedju broja slobodnih
parametara (bogatstvo arhitekture) i sloenosti modelovane pojave (struktura i
duina obuavajueg skupa), ideja kresanja se temelji na principu ostvarivanja to
boljih performansi sa to siromanijom arhitekturom. Operativno se ovo moe
postii sledeom klasom procedura:
Korak.1. Izabrati poetnu bogatu arhitekturu neuronske mree. Obuiti zatim.
neuronsku mreu na obuavajuem skupu i testirati na validacionom
skupu. Neka su vrednosti ovih kriterijuma Eobuka i Evalid .
Korak.2. Saobrazno nekom od unapred usvojenih kriterijuma znaajnosti parametra, iz raunati znaajnost svih parametara obuene neuronske
mree i sortirati ih po rastuim vrednostima, tako da se na prvom
mestu nalazi najneznaajniji parametar.
Korak.3. Izbaciti granu lil bajas koji odgovara najneznaajnijem parametru.
Na ovaj nain smo smanjili sloenost arhitekture i broj slobodnih
parametara
Korak.4. Za novu arhitekturu izvriti novu sluajnu inicijalizaciju mree i novo
obuavanje. Izraunati ponovo E'valid . Ako je E'valid Evalid , staviti da je
Evalid= E'valid i prei na korak 2., u suprotnom zaustaviti proceduru.
Nakon zavretka rada ovog algoritma, posedovaemo neuronsku mreu najsiromanije arhitekture i minimalne vrednosti kriterijumske funkcije na validacionom
skupu, to i jeste bio cilj.
......................

201

Postavlja se pitanje izbora kriterijuma znaajnosti. Jedan od ee korienih je tzv.

kriterijum oteenja mozga (brain demage), po kome je znaajniji onaj parametar za
koga je vezana vea promena kriterijumske funkcije nakon njegovog uklanjanja. Pored
ovog kriterijuma i njegovih razliitih varijanti, razvijeni su i drugi, vezani prevashodno
za razliite statistike testove znaajnosti nelinearnih parametarskih modela.
PRIMER 11.1
U nardnoj seriji slika dat je primer izbora arhitekture sa dobrim generalizacionim
svojstvima, u problemu predvidjanja broja sunevih pega. Neka nam je na raspolaganju vremenska serija broja sunevih pega od 1700. god. do 1979. god. Neka se vremenska serija u periodu (1700-1920) koristi za trening neuronskog prediktora, a deo
vremenske serije (1921 - 1979) za validaciju i testiranje. Eksperimenti su izvedeni sa
NNSYSID MATLAB Toolbox-om, http://www.iau.dtu.dk/research/control/nnsysid.
html, razvijenog uz knjigu: Neural Networks for Modelling and Control of Dynamic
Systems by Magnus Nrgaard, O. Ravn, N. K. Poulsen, and L. K. Hansen Springer-Verlag, London, 2000.

Sl.11.23 Poetna arhitektura neuronskog prediktora 12. reda, budui da koristi 12 prolih godina za predvidjanje sunevih pega u tekuoj godini. Primenjena neuronska mrea ima 12
ulaza, 8 neurona u skrivenom sloju i jedan izlazni neuron. Po svojoj prirodi to je jednoslojni
perceptron sa prostiranjem signala unapred.
......................

202

Sl.11.24 Prikaz analizirane vremenske serije broja sunanih pega u periodu (1700-1979). Posebno je oznaen interval treninga (1700-1920) i validacije (1921-1979).

Sl.11.25 Prikaz promene greke treninga u toku obuavanja poetne neuronske mree sa maksimalnim brojem sinaptikih veza.
......................

203

Sl.11.26 Prikaz tri vrste greke u toku procesa kresanja pune arhitekture: greka na treningu
(puna zelena linija), greka na test skupu (isprekidana crvena linija), procena finalne greke
predikcije (Final Prediction Error FPE) u funkciji broja parametara neuronske mree. Procena
FPE daje u stvari procenu greke generalizacije.

Sl. 11.27 Na osnovu analize zavisnosti FPE od broja parametara, Sl. 11.25, zakljuujemo da se
minimum FPE postie za arhitekturu od 27 parametara, koja je i prikazana na ovoj slici. Uoavamo da je za dobru predikciju dovoljno imati 4 neurona u skrivenom sloju. Primetimo da
sinaptike veze nacretane punom linijom odgovaraju ekscitirajuim, a isprekidanom linijom
inhibirajuim vezama.
......................

204

Primer jasno pokazuje da siromana arhitektura od 27 slobodnih parametara daje

znaajno bolje rezultate od potpune arhitekture sa 113 slobodnih parametara (104
sinaptike veze i 9 bajasa), potvrdjujui princip da sloenost arhitekture mora biti
prilagodjena sloenosti fenomena koga opisuje.
11.10.4.7 Broj skrivenih neurona
Pitanje broja neurona u skrivenom sloju je fundamentalno pitanje koje se nezaobilazno javlja gotovo u svakoj primeni vieslojnog perceptrona. Egzaktnu analizu je
teko sprovesti, budui da je preslikavanje koje ostvaruje vieslojni perceptron veoma
komleksno, kao i usled stohastike prirode veine algoritama obuavanja. Praktine preporuke se svode na princip: probaj sa poetnim brojem neurona u skrivenom
sloju znatno manjim od dimenzije ulaznog sloja. Ako je obuavanje zadovoljavajue,
pokuati sa daljnjim smanjivanjem, u suprotnom, inkrementalno poveavati njihov
broj. postoje i odredjene analitiki zasnovane analize o ovom broju. Ekvivalentrirajmo
pitanje odgovarajueg broja neurona u skrivenom sloju sa pitanjem koliko je tih neurona potrebno da bi se u m dimenzionom ulaznom prostoru formiralo M disjunktnih
oblasti na kojima mrea ima konstantne izlaze, razdeljene medjusobno hiperravnima.
Ako taj broj obeleimo sa Nm , tada je u vanosti
Nm + 1 M

Nm
,
j =0 j
m

Nm
gde je =

0 , za N m < j .
j

Maksimalan broj linearno separabilnih oblasti upotrebom Nm skrivenih neurona u

m-dimenzionom prostoru, Mmax je dat sa
m N
N
N ( N 1)
M max = m =1 + N m + m m
++
2!
j =0 j

( N m 1)( N m j + 1)
m!

, za N m > m.

U sluaju Nm m, vai Mmax=2Nm, odnosno Nm=log2 Mmax. Podsetimo se da je broj

disjunktnih particija u izlazno prostoru neuronske mree u direktnoj vezi sa maksimalnim brojem koncepata (klasa) koje ta mrea moe da prepozna.

11.11 UPRAVLJANJE NEURO RAUNARSKIM PROJEKTIMA

Upravljanje projektima koji koriste informacione tehnologije danas predstavlja
zasebnu, dobro zasnovanu i razvijenu disciplinu. Pored mnogih slinosti, upravljanje
projektima iz domena neuroraunarstva zahteva i posebne specifinosti. Njih moraju
imati u vidu ne samo rukovodioci projekta, ve i projektanti i izvrioci. Stoga je cilj
ovog kraeg pregleda osobenosti sinteze sistema zasnovanih na neuronskim mreama
olakavanje upravljanja ovim tipom projekata uz istovremeno ukazivanje projektantima na kritine take realizacije i mogue tekoe, koje se blagovremenim uoavanjem
mogu ublaiti ili otkloniti.
......................

205

11.11.1.OSNOVNA SVOJSTVA NEURORAUNARSKIH PROJEKATA

1. Projekat je uslovljen podacima. Naime, analiza i prikupljanje podataka za obuavanje, validaciju i testiranje neuronskih mrea je integralni deo procedure projektovanja. Prikupljanje podataka u ove svrhe je po pravilu osetljiv i vremenski
zahtevan postupak, ije se trajanje najee podcenjuje.
2. Po pravilu, nije mogue specificirati konano reenje sistema u fazi projektovanja. Ovo namee neophodnost sinteze prototipa, pomou koga se, kroz odgovarajue organizovane eksperimente razreavaju otvoreni problemi i dolazi do
konanog reenja koje zadovoljava postavljene zahteve.
3. Kljuna karakteristika ove klase sistema je tanost, a ne brzina obrade. Stoga
je neophodno posvetiti punu panju ovom kriterijumu kroz sve faze realizacije
projekta: od analize zahteva, projektovanja, pa do testiranja konanog reenja.
Posebnu tekou predstavlja praktino pokazivanje da ponudjeno reenje zadovoljava postavljene zahteve u pogledu tanosti.
Ove specifinosti posebno utiu na sledee domene upravljanja projektom:
Planiranje projekta - mora obuhvatiti sve specifine faze neuroraunarskog
projekta, kao to su
- prikupljanje podataka
- sinteza prototipa
- obuavanje, validacija i testiranje sistema
- revizija ciklusa projektovanja i validacije sistema.
Upravljanje projektom - Iterativna priroda sinteze sistema zasnovanih na neuronskim mreama zahteva specifine tehnike planiranja, kontrole i revizije.
Upravljanje konfiguracijom - Podaci koji formiraju obuavajue skupove, kao
i podaci koji opisuju rezultate sprovedenih eksperimenata moraju biti tako integrisani, da pruaju jedinstvenu celinu prilikom razmatranja razliitih varijanti
reenja.
Dokumentacija - Svi eksperimentalni rezultati moraju biti tako dokumentovani da obezbede preglednost obimnog eksperimentisanja uz istovremenu
potpunost, tako da se bilo koji eksperiment moe ponoviti pod egzaktno istim
uslovima.
11.11.2. OSNOVNE FAZE PROJEKTA
Na sl.1 date su osnovne faze tipinog neuroraunarskog projekta, od faze formulacije do implementacije. Ciklus razvoja obuhvata tri osnovne faze:
1. Identifikacija mogue primene i studija ostvarljivosti
2. Razvoj i validacija prototipa
3. Konverzija prototipa u konano reenje, uvodjenje sistema i odravanje.
......................

206

Sl.11.28 Tipian ivotni ciklus neuroraunarskog projekta

Cilj prve faze je istovetan kao i kod projekata zasnovanih na informacionim tehnologijama, tj. identifikacija potencijalne primene i studija ostvarljivosti uz odgovarajuu
tehnoekonomsku analizu razvoja i uvodjenja reenja. Studija ostvarljivosti je praena
posebnim dokumentom - specifkacijom zahteva. Uobiajeno je da kod ovog tipa
projekata osnovni zahtev bude usmeren ka tanosti sistema, mada mogu biti prisutni
i zahtevi u pogledu ogranienja arihitekture, npr. broja ulaznih vorova.
Razvoj prototipa je iterativni postupak sukcesivnog poboljanja i optimizacije neuronskog sistema, sl.1. ime se omoguava razreavanje problema sinteze kroz eksperimentisanje. Evidentne prednosti ovakvog pristupa su:
eksperimenti se mogu obavljati i na pogodno odabranom podsistemu celovitog
reenja,
prototip i konano reenje mogu biti implementirani na razliitim hardversko
- softverskim platformama, ime se za svaku fazu razvoja mogu izabrati najpogodnije varijante,
prototip moe biti strogo testiran i verifikovan pre nego to se pristupi njegovoj
konverziji u konano reenje.
......................

207

Finalna faza konverzije prototipa u konano reenje, obuhvata eventualno reprogramiranje u operativno softversko reenje, kao i implementaciju dodatnih funkcija,
npr. specifinih korisnikih interfejsa. Ovu fazu implementiraju softver - inenjeri i
kao takva se malo razlikuje od ekvivalentnih faza implementacije klasinih informacionih sistema.
11.11.3 PLANIRANJE PROJEKTA
Planiranje i upravljanje projektom se moe posmatrati kao aktivnost u okviru tri
faze: planiranje (u cilju ostvarivanja postavljenih zahteva), realizcija (ostvarivanje plana
uz nadlgedanje i kontrolu aktivnosti) i analiza - revizija (odredjivanje ta je uradjeno
a ta ne, uz donoenje zakljuaka koji slue kao ulaz u naredni ciklus planiranih aktivnosti).
U odnosu na konvencionalne informacione projekte, neuroraunarski projekti
zahtevaju posebno planiranje faze razvoja prototipa i kolekcije podataka.
11.11.3.1 PLANIRANJE RAZVOJA PROTOTIPA
Prototipski razvoj unosi dodatne elemente neodredjenosti, kao to su:
broj ciklusa neophodnih za razvoj prototipa
vreme i resursi neophodni za razvoj prototipa
vreme i resursi neophodni za kolekciju neophodnih podataka
Posebno je vano odrediti ciljeve svakog ciklusa razvoja prototipa. Praksa je pokazala da je bolje usvojiti vei broj kraih ciklusa iako to zahteva vie napora za upravljanje
i kontrolu.
11.11.3.2. PLANIRANJE PRIKUPLJANJA PODATAKA
Praksa pokazuje da je ovaj deo planiranja neuroraunarskih projekata jedan od
najkritinijih. Istaknimo neke od tipinih tekoa:
prikupljanje podataka moe da obuhvata personal i organizacije koje nisu pod
direktnom kontrolom rukovodioca projekta
neophodnost korienja kompleksne i nedovoljno poznate akvizicione opreme
prikupljanje podataka je isprekidano svakodnevnim radnim aktivnostima date
radne organizacije.
Budui da ova aktivnost dominantno utie na vreme realizacije celokupnog projekta, posebno se moraju razmotriti sledee podaktivnosti:
provera celokupne glavne procedure kolekcije podataka
konverzija podataka, ukoliko je neophodna,
provera kvaliteta podataka.
Poeljno je da procedura prikupljanja podataka bude praena odgovarajuom dokumentacijom, naroito ako se obavlja od strane personala koji nije ukljuen u projekt.
......................

208

Provera kvaliteta podataka je kljuna, budui da pogreno obeleavanje kategorijalnih

promenljivih ili pogreno oitavanje numerikih vrednosti standardnih promenljivih,
ima ozbiljne reperkusije na celokupni sintetisani prototip obuen na pogrenim obuavajuim skupovima.
11.11.4 ANALIZA-REVIZIJA
Revizija neuroraunarskih projekata obuhvata:
reviziju podataka
reviziju na kraju svakog ciklusa razvoja prototipa
reviziju na kraju celokupne faze razvoja protoipa.
Reviziju podataka treba izvriti na kraju faze prikupljanja podataka. Cilj revizije je
utvrdjivanje konanog znaenja svake varijable i procena da li su raspoloivi podaci
dovoljni za postizanje ciljeva projekta. Osim toga potrebno je izvriti podelu raspoloivih podataka na obuavajui, validacioni i test skup.
Na kraju svakog ciklusa razvoja prototipa potrebno je analizirati sledee:
ta je postignuto u cilju ostvarivanja postavljenih zahteva
da li su postignute eljene performanse
da li je razvoj prototipa kompletiran
ako nije, koje promene je neophodno implementirati.
Rezultat ovih analiza predstavlja osnovu za planiranje narednog ciklusa razvoja
prototipa.
Revizija na kraju faze razvoja prototipa je vitalna za narednu fazu implementacije
konanog reenja. Izmedju ostalog potrebno je odluiti:
da li je potrebno izvriti minorne izmene u cilju konane implementacije
kada i kako implementirati konaan sistem.
11.11.5 UPRAVLJANJE KONFIGURACIJOM
Neuroraunarski projekti nameu posebne zahteve u pogledu organizovanja i
upravljanja podacima, eksperimentalnim uslovima i rezultatima. U fazi razvoja prototipa po pravilu se generie velika koliina eksperimentalnih rezultata, neophodnih za
sintezu konanog reenja. Cilj ove komponente upravljanja projektom je obezbedjivanje adekvatnog naina zapisivanja ovih podataka. Opisi treba da obuhvate takav nivo
detaljnosti svih eksperimentalnih uslova kojim je omogueno egzaktno ponavljanje
svakog relevantnog eksperimenta. U tom smislu, tipino se vodi evidencija o sledeem:
verzija softvera koji se koristi za obuavanje neuronske mree, pre i post procesiranje podataka
arihitektura neuronske mree,
svi parametri koji odredjuju transformacije ulaznih podataka u fazi predobrade
i postobrade
......................

209

 skupovi podataka koji se koriste za obuavanje, validaciju i testiranje

parametri procedure obuavanja, npr. broj ciklusa, kriterijum zaustavljanja procedure obuavanja, vrednosti koeficijenata brzine obuavanja i momentuma,
i td.
koeficijenti neuronske mree - inicijalne i krajnje vrednosti.
11.11.6 DOKUMENTACIJA
Poseban deo deokumentacije predstavlja sumarni izvetaj o performansama svih
algoritama isprobanih u fazi projektovanja prototipa. Obuhvata pored kratkog opisa
svakog od upotrebljenih i testiranih algoritama i opseg promena parametara u toku
testiranja, kao i sumarne statistike karakteristike ostvarenih performansi.
11.11.7 IMPLEMENTACIJA KONANOG SISTEMA
Nakon faze prototipskog razvoja, sledi implementacija konanog reenja u operativno okruenje. Neophodna intervencija na prototipu moe da varira u irokom
opsegu - od minornih promena pa do potpunog redizajna ukljuujui i eventualnu
implementaciju na hardveru posebne namene. Postoji niz razloga za kompletnim redizajnom, npr.:
radno okruenje u koje e se ugraditi sistem se razlikuje od okruenje u kome
je razvijan prototip
konaan sistem zahteva posebne performanse, npr. rad u realnom vremenu
konaan sistem zahteva posebne interfejse, npr. prema drugim radnim podsistemima ili operaterima
konaan sistem zahteva poseban nivo pouzdanosti rada.
Nakon konane implementacije, sistem u radnom teimu treba da demonstrira
zahtevane performanse. U toku pripreme plana testiranja sistema, treba imati u vidu
sledee:
usvajanje jednog ili vie kriterijuma kvaliteta, npr. procenat tane klasifikacije,
relativna ili apsolutna tanost u sluaju regresione primene
garantovani i eljeni nivo performansi
statistiki testovi i intervali poverenja, koji defakto odredjuju broj neophodnih
testiranja
adekvatnost test skupova, posebno u graninim reimima rada sistema.
11.11.8 PREUZIMANJE I ODRAVANJE SISTEMA
Krajnji korisnik sistema treba biti pripremljen na sva ogranienja sistema zasnovanog na tehnologiji neuronskih mrea, posebno u uslovima odstupanja radnog reima
od reima u toku koga su prikupljani podaci za obuavanje, validaciju i testiranje
......................

210

sistema u fazi razvoja. Stoga je i pojam odravanja neuroraunarskog sistema iri od

uobiajenog pojma odravanja klasinih softverskih reenja. Naime odravanje sada
podrazumeva i odravanje kako performansi sistema tako i njegove funkcionalnosti.
Svaka izmena radnog reima koja prevazilazi normalno odstupanje od reima za koji
je neuronski sistem obuen, zahteva preobuavanje sistema, koje se u sluaju konstantnog menjanja radnih uslova moe prevesti u redovnu proceduru sa unapred zadatom
uestanou ponavljanja.

Rezime 11. poglavlja

Neuronske mree predstavljaju adaptivne distribuirane sisteme zasnovane na
jednostavnim procesnim elementima - neuronima.
Neuronska mrea je odredjena svojom arhitekturom, smerom prostiranja signala i algoritmom obuavanja. Mogu da rade u reimu obuavanja, samoobuavanja ili podsticanja.
Algoritam obuavanja u vieslojnim perceptronima sa prostiranjem signala
unapred je uveni BP-algoritam. To je stohastika gradijentna procedura koja
garantuje dostizanje lokalnih ekstremuma kriterijumske funkcije.
Generalizaciona svojstva obuenih neuronskih mrea mogu biti poboljana
postupcima dodavanja uma u fazi obuavanja, smanjivanja osetljivosti mree,
uvodjenjem regularizacije u kriterijumsku funkciju ili postupkom kresanja, kojim se iterativno osiromauje arhitektura uz ouvanje tanosti.
Vodjenje neuronskih projekata se u znatnoj meri razlikuje od vodjenja informatikih projekata zasnovanih na klasinim tehnologijama.

Pitanja i zadaci
1. Objasnite svojim reima razliku izmedju ljudsog mozga i savremenih digitalnih
raunara.
2. Zato je potrebno da aktivacione funkcije u modelu neurona budu neprkidne?
3. ta je smisao Hebovog uenja?
4. Ako je prema Cibenkovoj teoremi dovoljno imati samo jedan skriveni sloj neurona, da li uopte i zato imamo praktine potrebe za neuronskim mreama
sa vie skrivenih slojeva?
5. Ako BP algoritam putamo da radi vie puta za isti obuavajui skup, da li e i
rezultujua obuena neuronska mrea biti ista ili razliita?
6. Kako bi ste eksperimentalno odredili znaaj pojedinih ulaza u obuenu neuronsku mreu u odnosu na zadatak koji obavlja?
7. Kako bi ste dizajnirali sistem za nabolje predvidjanje sledeeg izvlaenja kombinacija u igri Loto, ako su vam na raspolaganju dobitne kombinacije iz prolih
izvlaenja?
......................

211

8. Otidite na web lokaciju https://archive.ics.uci.edu/ml/datasets.html, odaberite

jedan set podataka za problem klasifikacije i izvrite sintezu jednog neuronskog
klasifikatora. Procenite njegovu klasifikacionu tanost. Sugesija: koristite neki
od javno dostupnih paketa za neuronske mree (NNSYSID, WEKA,R, CLOP,
SPIDER,....)
9. Opiite korake u sintezi sistema za odredjivanje najbolje strategije poslovanja
na berzi, ako su vam dostupne vremenske serije kretanja pojedinih akcija.
10. Kako bi se mogao napraviti sistem za automatsko dekriptiranje algoritma DES
ili AES, ukoliko su vam na raspolaganju proizvoljne koliine parova otvoreni
tekst, ifrat, pod uslovom da se unutranji tajni klju ne menja?
11. Kako bi se mogao napraviti sistem za automatsku medicinsku dijagnostiku, ukoliko su vam na raspolaganju dovoljne koliine podataka (simptomi, dijagnoza)?

......................

212