Back Propagation algoritam

Generalizacija Delta (Gradient decent) pravila

2 etape
unapred kroz mreu rauna se izlaz svih jedinica
Unazad prenos greke od izlaznog sloja ka ulaznom i
raunanje promene teina
Totalna kvadratna greka za p uzoraka
(1)

gde je z 0 eljena vrednost, a y 0 dobijeni izlaz iz neuronske mree.

 elimo da naemo koliko svaka teina utie na greku. I elimo da
smanjimo greku. Promena teine se rauna kao:

(2)

gde odreuje brzinu obuavanja neuronske mree (learning

rate ).
Ne postoji direktna zavisnost izmeu teine i konane greke, tako
da traimo parcijalne izvode, odnosno

(3)

sK predstavlja izlaz iz neurona bez primene funkcije aktivacije,

odnosno:
(4)
gde je y ulaz u neuron, a je bijas za dati neuron
j

Pa je
sk (5)
yj
p

w
 Ako se definie da je:
(6)

Kada se u jednainu 2 ubaci jednaina 3, 5 i 6, onda je

(7)

Ostaje jo da odredimo koliko je delta. sk nije direktno povezan sa

grekom, pa moramo da koristimo parcijalne izvode
(8)

Gde predstavlja izlaz iz neurona sa primenom funkcije

aktivacije, pa je zvod po sk
(9)
 E
Ostaje jo da se odredi y
. Uticaj izlaza iz neurona na greku se
razlikuje za izlazni sloj i za skrivene. Za izlazni sloj, posmatrajui
jednainu 1: E
( z y )
p p

y (10)
delta za izlazni sloj je (ukoliko na jednainu 8 primenimo jednaine 9
i 10):
(11)
Ako je k skrivena jedinica onda je:

(12)

(13)
 Raunanje update-a za teine

(t ) w (t 1) w (t ) (t ) (t 1) (t )
1) ij ij ij ij ij ij

w (t ) y ij (t )
ij
i

Gde se delta rauna po jednaini 11 ukoliko je u pitanju izlazni sloj, a po jednaini

13 ukoliko je u pitanju skriveni sloj.

2) Momentum koristi informaciju prethodnog auriranja teina da bi se utvrdilo

koliki velik update moe da se koristi bez divergencije. Koristi istorijsku
informaciju odreenog gradijenta teine. Ubrzava konvergenciju.

(t ) w (t 1) w (t )
ij ij ij
(t ) (t 1) (t )
ij ij ij

w (t ) y w(t 1) ij (t ) (t 1)
ij
i
je momentum.
 Koraci algoritma
1. inicijalizuju se teine W i V na sluajne male
vrednosti
2. postavi se ulaz x i izraunaju se izlazi neurona
u skrivenom sloju y i izlazi neurona izlaznog
sloja o
3. izrauna se greka Ep - u batch obuci se rauna
E=sum(Ep)

4. odrede se delte i
(delta propagira u nazad - back-propagation)
5. koriguju se teine u izlaznom sloju
6. koriguju se teine u skrivenim slojevima
 7. uzme se naredni ulaz i nastavi od koraka 2.
8. nakon upotrebljenih svih el. obuavajueg
skupa izrauna se ukupna greka E i uporedi sa
zadanim Emax
9. ako je E < Emax mrea je obuena, inae se
nastavlja od koraka 2, gde se na ulaz mree
ponovo dovodi prvi elemenat obuavajueg
skupa.