Prezentacija 1

1. Objasniti teoriju aproksimacije koja nam pomaže da definišemo učenje.

2. Objasniti teoriju aproksimacije u paraleli sa učenjem sa nadzorom.

3. Objasniti učenje sa nadzorom na jednom neuronu.

4. Objasniti učenje sa nadzorom za višeslojnu mrežu:

5. Ako je data arhitektura neuronske mreže sa 3 aktivna sloja:
a) Izvesti a3 u funkciji ulaznog vektora.

b) Nacrtati matrično-vektorsku notaciju te mreže.

6. Kako uče mreže?

a) Linearna neuronska mreža
b) Adaptivna mreža

c) Nelinearna mreža
d) Rekurentna Elmanova mreža

e) Rekurentna Hopfildova mreža

f) Radial basis mreža

g) Mreža sa kompetitivnim slojem

Prezentacija 2

1. Koja je razlika između Widrow-Hoff i perceptronskog pravila učenja?

○ Perceptonsko pravilo ucenja azurira tezine na osnovu postojanja greske, a
ne uzima u obzir veličinu greške (w_new = w_old + ep) a W-H uzima i tezinu
(w_new = w_old + delta_w), tj. minimizira sumu kvadrata greške.
2. Koja je razlika između offline moda i adaptivnog moda linearne neuronske mreže?
○ Direktno računanje mreže tako da je njena greška jedan minimum za date
ulazne vektore i ciljne vektore (OFF-LINE MOD) B)
○ Dizajniranje jednog linearnog sistema koji se može odazvati na promjene u
njegovom okruženju dok on operira. Takav sistem se zove ADAPTIVNI.
3. Izvedite aritmetičke razlike između linearne prenosne funckije i purelin neurona.

4. Ako imamo jednu linearnu ćeliju, zašto su dimenzije ulaznog vektora i vektora težina
iste?
Jer svakom elementu ulaznog vektora odgovara jedna vrijednost iz vektora težina
xD
5. Nabrojite načine na koje možemo dobiti izlaz iz linearne neuronske mreže.

6. Objasniti zašto za isti ulaz p možemo imati negativnu i pozitivnu vrijednost izlaza a:
a) Ako je b = 0

b) Ako je b != 0
7. Dajte primjer arhitekture linearne mreže sa k komponenti u ulaznom vektoru i R ćelija, u
koordinatnoj i matrično-vektorskoj notaciji.

8. Šta nam olakšava koordinatna, a šta matrično-vektorska notacija.

9. Kada imamo izraz:

a) e = t - a (skalari)
b) e​ = ​t​ - ​a ​(vektori)
 c) E = T - A (matrice)

10. Objasnite linearnost prenosne funkcije višeslojne linearne mreže.

11. Izvesti Widrow-Hoff pravilo.
12. Prikazati Widrow-Hoff pravilo na paraboloidu.
13. Ako je na izlazu e < 0 objasniti kako se podešava wj.
14. Primjer banana i jabuka.
15. Objasniti algoritam treniranja blokovski.
16. Objasniti algoritam treniranja pseudokodom.

17. Batch pristup ako je data ćelija sa trenirajućim skupom tako da na ulazu imamo 4
vektora.
Pitanja (21.10.2017)

demolin1
1.​ ​Koja je instrukcija koja direktno dizajnira neuronsku mrežu (bez treniranja neuronske
mreže)?
[W,b] = solvelin(P,T); direktno računanje W i b bez treniranja.
2.​ ​Ako se uzmu vrijednosti ulaza i izlaza (3 puta), analizirati način rada neuronske mreže?
3.​ ​Šta radi navedeni skup instrukcija?

demolin2
1.​ ​Analiza rezultata i rada neuronske mreže iz primjera „demolin2“, da li je izlaz u granici
greške?

demolin4
1.​ ​Šta radi instrukcija „newlin“?
Instrukcija “newlin” kreira novi linearni sloj.
2.​ ​Da li linearna mreža može izvršiti nelinearno fitovanje?

demolin5
1.​ ​Kada nastaje undetermined problem?
Kada postoji neograničen broj vrijednost W i B takvih da je P*W+B = T ispunjeno. Ovakav
problem se naziva nedovol+jno definisani problem (undetermined).

2.​ ​Štasu varijable neuronske mreže?

3.​ ​Data je neuronska mreža, koja ima ulaz X=[0,5 0,6 0,7] i izlaz

T=
ima 2 ćelije, dali će ovdje nastupiti undetermined problem?
4.​ ​Ako je na ulazu 5-dimenzionalni vektor, a date su 4 ćelije, čiji su pomaci različiti od nula (
bi=0, i=1,2,3,4), šta imamo na izlazu? Kojih dimenzija je matrica W koja povezuje ova dva
sloja (ulaze i izlaze)?
5.​ ​Šta znači relacija ​A​ = ​(W*P, b)​?
Pošto se ne može izvršiti direktno sabiranje matrice W s vektorom b (zbog dimenzija),
zato se u svakoj iteraciji vrši sabiranje jedna vektor-kolone matrice W s vektorom b i
prosljeđuje funkciji F. Ovaj način sabiranja W-a i b-a obilježava se s izrazom:
A=F(W*P,b)
6.​ ​Za n-slojnu mrežu, izraziti izlaz neuronske mreže „a“ u funkciji ulaza „P“.

demolin6
1.​ ​Kada može nastati nelinearni problem?
Nelinearni problem moze nastati kada na ulazu imamo linearnu ovisnosti između kolona vektora
ulaza p, a ta linearna ovisnost nije prisutna u izlazima t.
demolin7
1.​ ​Šta se dešava ukoliko je zadata velika vrijednost konstante učenja?

Prezentacija 3

1. Zašto algoritam za nelinearne neuronske mreže, nosi naziv „Backpropagation“

algoritam?

2. Zašto nam služi perceptron?

[Google] Perceptron služi za klasifikaciju skupa ulaznih vektora oblika x = [ x1 x2 … xp ] T u
jednu od dvije klase C1 ili C 2

3. Možemo li sa linearnom neuronskom mrežom vršiti klasifikaciju?

4. Koja je razlika između prenosne funkcije perceptrona i ćelije perceprona?
5. Kakva nam minimalna arhitektura mreže treba za nelinearnu aproksimaciju?

6. Koja je razlika između sekvencijalnog pristupa učenju i batch pristupa učenju?

7. Prikažite minimalnu strukturu nelinearne neuronske mreže i odgovorajuće jednačine ako

se dovodi sekvenca ulaznih vektora i ako se dovodi batch.
8. Koja se formule koriste koriste za minimalnu grešku neuronske mreže ako je
sekvencijalni pristup i ako je batch pristup?
9. Izvesti backpropagation za izlazni sloj.
10. Kako se podešavaju težine neuronskemreže?

11. Od čega zavisi δ​hp,j​?

12. Navesti jednačine pomoću kojih se vrši ažuriranje težina na skrivenom sloju.

13. Izvesti jednačine za podešavanje težina skrivenog sloja.

Prezentacija 4
1. Korespondentnost formula za backpropagation algoritam u matlabu i teoretskih formula
sa aspekta parametara.
2. Objasniti treniranje za batch ulaz tako što ćete blokove povezati sa odgovarajućim
formulama.
3. Objasniti backpropagation primjer:

a) Nacrtati matrično-vektorsku notaciju neuronske mreže ako je skriveni sloj logsig, a

izlazni sloj purelin. Za takvu strukturu napisati matlab pseudo kod, ako su date inicijalne
vrijednosti P, Q, R, T, S2
b) Za neuronsku strukturu skriveni sloj logsig i izlazni sloj tansig napisati pseudo kod ako su
date inicijalne vrijednosti P, Q, R, T, S2
 Naglasiti prolaze i pridružiti odgovarajuće jednačine za pomake. Izvršiti provjeru sa datim
ulazima iz primjera.

Prezentacija 5

1. Zadatak: Zadata je mreža sa vrijednostima. Izračunati jednu epohu.

Prezentacija 6

1. Šta predstavlja kriva X1W1 + X2W2 + X3W3 - theta = 0, ako su X1, X2, X3 parametri
ulaznog vektora, a W1, W2, W3 njihove pripadajuće F i predstaviti grafički.
 Predstavlja hiperravan koja klasificira ulazni vektor.

2. Šta se dešava kada se mijenja vrijednost theta?

3. Šta predstavlja slika u logičkom smislu ? (slike na slajdu 5)
4. Koja je razlika za realizaciju AND i OR u odnosu na XOR?
 5. Za McCulloch-Pitts model riješiti AND, OR i XOR kolo.

Przentacija 7
1. Objasnite princip adaptivne brzine učenja.

2. Objasniti kada nastaje overfitting? Zašto nam je poslužio overfitting?

Vjezbe:
2014/2015
Grupa a
1. (0.5)Šta znači a=purelin(w*p+b) a šta znači a=purelin(w*p,b)? Objasniti razliku i kada
se koji izraz koristi.
a=purelin(w*p+b) - vraća vrijednost koja joj se propušta(linearna prenosna funkcija)
a=purelin(w*p,b) - poziv funkcije kada se na ulazu nalazi matrica
2. (0.5) Ako ulazni trenirajući vektor ima 5 elemenata: [ 1 2 3 4 5], koliko
je potrebno minimalno ćelija u ulaznom sloju?
5 ćelija
3. (0.5) Rezultat treniranja jedne neuronske mreže je prikazan na slici. Aproksimirana
kriva ne prolazi kroz sve trenirajuće tačke. Kako se zove ovaj problem i kad on nastaje?
Underfitting problem - može se riješiti povećanjem broja neurona?
4. (0.5) Da bi smo izvršili linearnu aproksimaciju nelinearnog problema da li nam je
dovoljna linearna mreža?
Ne.
12. (1p) a) Navesti ime komande koja poziva alat „optimization tool“ unutar Matlab-a.
OPTIMTOOL
b) Da li se može koristiti ovaj alat za optimizaciju funkcija sa ograničenjima?
MOZE
13. (1p) Pretpostavimo da su inicijalne vrijednosti težina i pomaka jednoslojne vještačke
neuronske mreže dati u vidu sljedećih matrica:
w (3x2) = b (3x1) =
000
000
000
a) Koliko data neuronska mreža ima neurona, a koliko ulaza Pi?
b) Koliko ova neuronska mreža ima izlaza?
14. (1p) a) Kako se zove alat, u okviru softverskog paketa Matlab, koji služi za kreiranje,
treniranje i simulaciju vještačkih neuronskih mreža, korištenjem interaktivne grafičke forme?
Nntool
b) Navesti osnovnu razliku kod inicijalnog korištenja komandi NEWLIN i NEWLIND.
NEWLIN - funkcija koja kreira linearni sloj
NEWLIND - funkcija koja kreira linearni sloj za specifičnu namjenu
Komanda NEWLIND izvršili prilagođavanje koeficijenata w i b, i takvo kreirana mreža
daje dosta dobar rezultat dok mreža kreirana sa NEWLIN se treba dodatno trenirati.
Grupa b
5. (0.5p) Kakva je notacija purelin neurona, a kakva linearne prenosne funkcije?
JA MISLIM:
LINEARNA PRENOSNA FUNKCIJA: a = purelin(n)
PURELIN NEURON: a = purelin(w*p + b)
6. (0.5p) Ako trenirajuci izlazni vektor-red ima pet elemenata: [ 1 2 3 4 5]
Šta je tačno:
a) Izlazni sloj ima jednu ćeliju
b) Izlazni sloj ima 5 ćelija
7. (0.5p) Rezultat treniranja jedne neuronske mreže je prikazan na slici. Aproksimirana kriva
prolazi
kroz sve trenirajuće tačke ali i kroz tačke koje nisu poželjne. Kako se zove ovaj problem i kad on
Nastaje?
Overfitting ?
8. (0.5p) Da bi smo izvršili nelinearnu aproksimaciju nelinearnog problema da li nam je
dovoljna linearna mreža?
Ne.
12. (1p) a) Navesti naziv funkcije Matlab-a, koja služi za rješavanje problema optimizacije bez
ograničenja za funkciju cilja koja je „glatka“ i nelinearnog oblika?
FMINUNC
b) Navesti naziv funkcije Matlab-a, koja služi za rješavanje problema optimizacije funkcije cilja
koja je „glatka“ i nelinearnog oblika sa ograničenjima?
FMINCON
13. (1p) Pretpostavimo da smo kreirali sljedeće dvije neuronske mreže u Matlab okruženju:
net1 = newlin(P1,T1,[0 1],0.01);v
net2 = newlind(P1,T1);
a) U čemu je razlika osnovna između neuronskih mreža „net1“ i „net2“?
NET1 = NEWLIN - funkcija koja kreira linearni sloj
NET2 = NEWLIND - funkcija koja kreira linearni sloj za specifičnu namjenu
b) Navesti ulogu funkcije „plotperf(tr,net.trainParam.goal);“ za linearne neuronske mreže.
Za performanse mreže - prikazuje greške i epohe za treniranje, validaciju i testiranje.
14.(1p) a) Navesti osnovnu razliku između Matlab alata NFTOOL i NNTOOL i koja je njihova
Praktična primjena
NFTOOL – dvoslojne, alat za kreiranje, treniranje i simulaciju vjestackih neuronskih
mreza koristenjem Interaktivne graficke forme
NNTOOL – generalniji (internet izvor)
b)Pretpostavimo da koristimo linearnu neuronsku mrežu.
Šta će nam prikazati sljedeće komande:
plotes(w_range,b_range,ES);
#(ES=errsurf(P,T,w_range,b_range,'purelin'))
plotep(net.IW{1,1},net.b{1},SSE);
Funkcija PLOTES iscrtava površinu greške. Najbolje vrijednosti koeficijenta težina i
pomaka su one koje rezultiraju u najnižoj tački na površini greške.
Funkcija ERRSURF izračunava greške za neuron u zadatom opsegu mogućih vrijednosti
za koeficijente težina i pomaka neuronske mreže.
Komandom PLOTEP iscrtajmo “poziciju" mreže za optimalne vrijednosti koeficijenata
težina i pomaka

2015/2016
8)
a)Navesti ime komande koja poziva optimization tool unutar MATLAB-a
optimtool
b)Da li se moze korisiti ovaj alat za optimizaciju funkcija sa ogranicenjima
može
c) Razlika izmedju FMINUC i FMINCON
FMINUNC – bez ograničenja, FMINCON – sa ograničenjima
10.
a)Navesti osnovne razlike izmedju alata NFTOOL i NNTOOL
Interaktivne graficke forme
nf – dvoslojne, nn – generalniji (internet izvor, nisam pronsao u predavanjima)
b)Navesti osnovnu razliku kod inicijalnog koristenja komandi NEWLIN i NEWLIND
Komanda newlind izvršili prilagođavanje koeficijenata w i b, i takvo kreirana mreža daje
dosta
dobar rezultat dok mreža kreirana sa newlin se treba dodatno trenirati.
c) Kako se zove alat za kreiranje, treniranje i simulaciju vjestackih neuronskih mreza
koristenjem
gui neural network fitting tool, nftool