Algoritam učenja –

backpropagation algoritam

dr. sc. Tatjana Konjić

Backpropagation algoritam

Izlazni sloj

Ulazni sloj Skriveni sloj

 Backpropagation algoritam

Svaki neuron se sastoji iz dvije jedinice:

1. Sumator
2. Nelinearna funkcija – aktivacijska
funkcija

Napomena: e odgovara oznaci v na

prethodnim prezentacijama, što
predstavlja izlaz iz sumatora
 Backpropagation algoritam

Za učenje neuralne mreže potreban je skup podataka

sastavljen od ulaznih signala (x1 i x2 ) i odgovarajućeg
željenog izlaza yd.
Treniranje neuralne mreže predstavlja iterativni proces.
U svakoj iteraciji težinski koeficijenti čvorova se
modifikuju korištenjem novog podatka iz skupa
podataka za treniranje.
Težinski koeficijenti izlaznog sloja neurona i težinski
koeficijenti skrivenog sloja neurona podešavaju se na
različite načine.
 Backpropagation algoritam
Procedura učenja s BPA može se sumirati u slijedeće korake:
• započeti proces postavljanjem ulaznih težinskih koeficijenata
svih neurona na slučajan broj između 0 i1, zatim:
• dovesti ulazne vrijednosti na nm;
• izračunati izlaz;
• uporediti dobijeni izlaz s željenim izlazom za date ulaze.
Njihova razlika daje grešku.;
• modifikovati sve težine svih neurona koristeći grešku;
• proces ponavljati dok se ne postigne prihvatljuva
vrijednost greške (npr. greška < 1%), što znači da je
nm naučene uspješno ili dok se ne postigne zadati
broj iteracija.
 Backpropagation algoritam
Naredne slike pokazuju način prolaska signala kroz mrežu.
Simboli w(x )n predstavljaju težinske veze između ulaza
m

mreže i n-tog neurona u ulaznom sloju.

Simbol yn predstavlja izlazni signal neurona n.
Backpropagation algoritam
 Backpropagation algoritam

Prolaz signala kroz skriveni sloj

Simboli wmn predstavljaju težinske veze između izlaza m-
tog neurona u ulaznom sloju i ulaza u n-ti neuron
sljedećeg skrivenog sloja.
Backpropagation algoritam
 Backpropagation algoritam

Prolaz signala kroz izlazni sloj

 Backpropagation algoritam

U slijedećem koraku algoritma dobijeni izlaz (y) se poredi

sa zadanim (željenim) izlazom (z=d) iz skupa podataka za
učenja. Razlika ova dva signala predstavlja grešku
izlaznog nurona označenu sa δ.
 Backpropagation algoritam
Nemoguće je signal greške izračunati direktno za
unutrašnje slojeve, zato što su izlazne vrijednosti njihovih
neurona nepoznate.
Sredinom osamdesetih beckpropagation algoritam je rješio
problem treniranja mreže.
Ideja je proslijediti signal greške δ (proračunat u prvom
prolazu) od izlaza ka svim neuronima u prethodnim
slojevima.
Backpropagation algoritam

Težinski parametri wmn se koriste da proslijede grešku unazad!

Backpropagation algoritam
 Backpropagation algoritam

Kada je izračunat signal greške na izlazu svakog

neurona, moguće je vršiti korekciju svih težinskih
koeficijenata na ulazu neurona.
Oznaka df(e)/de u slijedećim formulama predstavlja
izvod aktivacijske funkcije neurona.
Backpropagation algoritam
Backpropagation algoritam
Backpropagation algoritam
Backpropagation algoritam
Backpropagation algoritam
Backpropagation algoritam
 Backpropagation algoritam

Koeficijent η utiče na brzinu učenja mreže. Postoji

nekoliko tehnika za izbor ovog parametra:
1° započinjanje procesa učenja sa velikim vrijednostima
parametra η. Dok se utvrđuju težinski koeficijenti,
parametar se postepeno smanjuje.
2° započinjanje procesa učenja sa malim vrijednostima
parametra η. Kako proces učenja napreduje tako se
parametra η povećava, a potom se opet smanjuje u
konačnom koraku. Započinjanje procesa učenja sa
malim parametrom omogućava određivanja znaka
težinskih koeficijenata.
 Backpropagation algoritam

Koeficijent η realan broj (konstanta)

Najčešća vrijednost koeficijenta η za neurone
izlaznog sloja je 0,2, a za neurone skrivenog sloja je
0,15