Inteligentno upravljanje

Vjetake neuronske mree u upravljanju (1)

Dr Samim Konjicija, dipl. ing. el.

Sarajevo, 14.11.2016. godine

Sadraj predavanja
Bioloke neuronske mree i bioloki neuron
Poreenje sa savremenim digitalnim raunarima
Vjetake neuronske mree i njihova svojstva
Model vjetakog neurona
Osnovne aktivacijske funkcije
Arhitektura vjetake neuronske mree
Predstavljanje znanja u ANN
Procedura dizajna ANN
Treniranje ANN
Osnovna pravila uenja
Zadatak uenja ANN

Bioloke neuronske mree

Mozak ivih bia je organiziran potpuno drugaije od digitalnog
raunara:

Vrlo kompleksan

Nelinearan

Informacije procesira paralelno

Mozak procesira kompleksne informacije puno bre od

digitalnog raunara

Bioloki neuron i njegove karakteristike

Sastoji se od neurona kao elementarnih procesirajuih
jedinica
ovjekov mozak se sastoji od oko 109 neurona
Bioloki neuron je povezan sa nekoliko hiljada drugih neurona
Vrijeme procesiranja za bioloki neuron je reda 10- 3 s
Utroak energije po operaciji u sekundi je reda 10-16J

Karakteristike paralelnih digitalnih raunara

Sastoje se od desetina hiljada procesora
Svaki procesor komunicira sa nekoliko hiljada drugih procesora
Vrijeme procesiranja procesora digitalnog raunara je reda
10- 9 s
Utroak energije po operaciji u sekundi je reda 10- 6J
Digitalni raunari se razvijaju nekoliko desetljea

Vjetake neuronske mree

Vjetaka neuronska mrea (ANN Artificial Neural Network)
ponaa organizaciju nervnog sistema ivih bia
Koriste se jo nazivi:

Neuroraunari (Neurocomputers),

Konekcionistike mree (Connectionist Networks),

Paralelni distribuirani procesori

Distributed Processors)

(PDP Parallel

Sastoje se od vjetakih neurona

Svaki vjetaki neuron predstavlja elementarni procesor
Procesna mo vjetakog neurona je mala
Zahvaljujui meudjelovanjima velikog broja vjetakih neurona,
procesna mo vjetake neuronske mree moe biti vrlo velika

Svojstva vjetakih neuronskih mrea

Nelinearnost Vjetaki neuron moe biti linearan ili nelinearan.
Nelinearnost je distribuirana kroz ANN.
Mapiranje ulaz-izlaz ANN moe nauiti iz primjera eljeno
mapiranje ulaz-izlaz. Mogue je ostvariti proizvoljnu tanost
aproksimacije ovog mapiranja.
Adaptabilnost ANN su u stanju da mapiranje ulaz-izlaz
adaptiraju modificiranjem veza izmeu neurona. Ovo svojstvo je
vrlo pogodno za koritenje ANN u nestacionarnim okruenjima.
Generalizacija ANN je u stanju da proizvede adekvatan izlaz i
za vrijednosti ulaza za koje nije eksplicitno trenirana
Otpornost na greke ANN e nastaviti djelovati eventualno sa
umanjenom performansom u sluaju otkaza nekih neurona ili
meuveza

Svojstva vjetakih neuronskih mrea

Mogunost VLSI dizajna ANN je mogue implementirati u
VLSI tehnologiji
Uniformnost analize i dizajna ANN predstavlja skup
istovjetnih elementarnih jedinica neurona
Neurobioloka analogija Dizajn
analogijom sa organizacijom mozga

ANN

je

motiviran

Historijski pregled istraivanja ANN

Model vjetakog neurona

Osnovni elementi:
R ulaza Veza sa prethodnim neuronima ili ulaza u
ANN. Intenzitet veza je odreen teinama wj.
Jedan interni ulaz (pomak) sa teinom b
Sumator Proizvodi aktivacijsko djelovanje
Aktivacijska funkcija F u ovisnosti od aktivacijskog
djelovanja proizvodi izlaz neurona a

Model vjetakog neurona

Vrijednost aktivacijskog djelovanja je:
R

n= w j p j b=wpb

w=[w 1 w 2 w R ]

j =1

Vrijednost izlaza vjetakog neurona je:

[]

p1
p= p 2

pR

a= F n

Osobine vjetakog neurona bitno ovise o aktivacijskoj funkciji

Osnovne aktivacijske funkcije

Hardlim:

Izlaz neurona moe biti 0 ili 1

a=

0,
1,

n0
n 0

Ulazni vektori se razvrstavaju u jednu od dvije klase

Funkcija hardlims: izlaz neurona moe biti -1 ili 1 a= 1,

1,

n 0
n 0

Osnovne aktivacijske funkcije

Purelin:

a= n

Izlaz neurona moe biti od - do +

Izlaz neurona je jednak ulazu
Osnova za gradnju linearnih mrea
Linearni neuron moe nauiti bilo koju linearnu funkciju
R

a= w j p j b=wpb
j=1

Osnovne aktivacijske funkcije

Varijante:

a= 0,
n,

n 0
n0

a=

0,
n,
1,

n0
0n 1
n1

a=

1,
n1
n , 1n 1
1,
n 1

Osnovne aktivacijske funkcije

Logsig:

1
a=
1e n

Izlaz neurona moe biti od 0 do 1

Osnova za gradnju nelinearnih mrea
Nelinearne mree mogu nauiti bilo koju nelinearnu funkciju

Osnovne aktivacijske funkcije

Tansig:

a=

2
n 1
1e

Izlaz neurona moe biti od -1 do 1

Osnova za gradnju nelinearnih mrea
U nekim sluajevima ima prednosti u odnosu na logsig

Generalniji model vjetakog neurona

Arhitektura vjetake neuronske mree

Nain na koji su vjetaki neuroni strukturirani i meusobno
povezani odreuje, uz aktivacijsku funkciju, algoritam za
treniranje ANN
Tri osnovne klase arhitektura ANN:
Jednoslojne mree sa direktnim prostiranjem
signala (Single-Layer Feedforward Networks)
Vieslojne mree sa direktnim prostiranjem signala
(Multilayer Feedforward Networks)
Rekurentne mree (Recurrent Networks)

Jednoslojne FF-ANN
R ulaza je povezano sa
S neurona
ANN ima S izlaza

Tipine jednoslojne FF-ANN:

Jednoslojni perceptron

Linearne ANN

Vieslojne FF-ANN

Vieslojne FF-ANN
Posjeduju jedan ili vie skrivenih slojeva
ANN je potpuno povezana ukoliko je svaki neuron jednog sloja
povezan sa svakim neuronom narednog sloja
U suprotnom sluaju je ANN djelimino povezana
Tipine vieslojne FF-ANN:

Vieslojni perceptron

Vieslojne logsig/tansig mree

Radijalne mree

FF-ANN sa barem jednim slojem logsig ili tansig neurona

je u stanju do eljene preciznosti aproksimirati bilo koju
nelinearnu funkciju sa konanim brojem prekida

Rekurentne ANN
Posjeduju neku
povratne sprege

formu

Ispoljavaju
ponaanje

dinamiko

U
stanju
nelinearno
ponaanje

su
nauiti
dinamiko

Tipine rekurzivne ANN:

Elmanova ANN

Jordanova ANN

Hopfieldova ANN

Pregled arhitektura ANN

Predstavljanje znanja u ANN

Osnovni zadatak ANN je da naue model okruenja i da ga
odravaju konzistentnim, kako bi ostvarile specificirane ciljeve
aplikacije iji su dio
Znanje o okruenju se sastoji iz dvije vrste informacija:
Prethodnog znanja poznate injenice i pravila
Observacija (mjerenja) okruenja skup informacija
koje predstavljaju primjere za treniranje ANN
Primjeri za treniranje mogu biti:
Oznaeni svaki ulaz je povezan sa eljenim izlazom
Neoznaeni razliite realizacije ulaza, za koje ANN
treba nauiti dati odgovarajue izlaze

Predstavljanje znanja u ANN

Primjer: ANN za prepoznavanje znaka u bitmapi
Skup za treniranje ine parovi bitmapa ispravno prepoznati
znak
Ulazi u ANN mogu biti boje pixela
Izlazi iz ANN su prepoznati karakteri u formi:

Jedan neuron jedan karakter

Jedan neuron svi karakteri

Arhitektura ANN mora biti adekvatno odabrana

Skup za treniranje treba biti dovoljno sveobuhvatan:
Podaci za treniranje trebaju sadravati sve varijacije znakova
Podaci za treniranje trebaju sadravati i pozitivne i negativne
primjere

Predstavljanje znanja u ANN

Prethodno znanje se u ANN
specijaliziranih struktura:

moe

ugraditi

formi

Ograniavanje arhitekture ANN u pogledu lokalnih

meuveza
Ograniavanje opsega vrijednosti teina
Invarijantnost na promjene ulaza se moe postii:
Strukturom ANN
Treniranjem ANN
Transformacijom ulaza u invarijantni prostor

Procedura dizajna ANN

1. Razumjeti i specificirati problem u formi ulaza i potrebnih izlaza
2. Usvojiti najjednostavniju formu ANN koja bi trebalo da moe
rijeiti problem
3. Odabrati adekvatan algoritam za treniranje ANN
4. Pripremiti adekvatan skup primjera za treniranje ANN
5. Provesti proceduru treniranja
6. Ukoliko je treniranje neuspjeno, vratiti se na korak 1., 2. ili 3.
7. Provjeriti ponaanje ANN na testnom skupu
8. Ukoliko je ponaanje ANN nezadovoljavajue, vratiti se na
korake 1., 2., 3., 4. ili 5.

Treniranje ANN

Treniranje predstavlja proceduru kojom se postie da ANN naui

dati odgovarajue izlazne vrijednosti za ulazne vrijednosti koje
joj prije nisu prezentirane

Ovo svojstvo se naziva generalizacija

ANN moe uiti:

Ostvarivanjem novih veza izmeu neurona

Prekidanjem veza izmeu neurona

Promjenom intenziteta veza izmeu neurona (teina)

Promjenom praga djelovanja neurona

Promjenom aktivacijske funkcije

Kreiranjem novih neurona

Uklanjanjem postojeih neurona

Treniranje ANN

Najei pristup uenju kod ANN se zasniva na promjeni teina,

odnosno podeavanju intenziteta meuveza
Algoritam uenja mjeri performansu ANN tokom treniranja i provodi
adekvatne promjene ANN (parametri, struktura)
Sa stanovita naina mjerenja performanse ANN tokom treniranja,
uenje moe biti:

Nadzirano uenje ANN se trenira skupom primjera koji se

sastoji od ulaza i eljenih izlaza
Reinforcement uenje ANN nakon sekvence ulaza
dobiva nagradu koja ocjenjuje kako dobro/loe proizvodi
izlaze
Nenadzirano uenje ANN pokuava otkriti slinosti u
ulaznim vrijednostima i dati adekvatne izlazne vrijednosti

Nadzirano uenje

Nadzirano uenje

Procedura nadziranog uenja se sastoji od sljedeih koraka:

Zadavanje ulaznih vrijednosti u ANN

Propagiranje ulaznih vrijednosti i generiranje izlaza

Poreenje izlaza sa eljenom vrijednou izlaza

Raunanje korekcije parametara ANN na osnovu

rezultata poreenja
Provoenje korekcije parametara ANN

Reinforcement uenje, nenadzirano uenje

Stil treniranja ANN

U pogledu stila, treniranje ANN moe biti:

Inkrementalno (on-line) korekcija se provodi nakon

prezentiranja svakog ulaza u ANN
Batch (off-line) korekcija se provodi
prezentiranja svih ulaza iz skupa za treniranje

nakon

Algoritmi uenja

Osnovne klase algoritama uenja su:

Uenje na bazi korekcije greke (Error-Correction
Learning)
Uenje na bazi memorije (Memory-Based Learning)
Hebbovo uenje (Hebbian Learning)
Kompetitivno uenje (Competitive Learning)
Boltzmannovo uenje (Boltzmann Learning)

Uenje na bazi korekcije greke

Algoritam uenja modificira slobodne parametre ANN na bazi

razlike izmeu eljene i ostvarene vrijednosti izlaza ANN:
Potrebno je minimizirati mjeru performanse, npr.:

Uenje na bazi korekcije greke

Primjer ovakvog pristupa uenju je delta pravilo uenja ili

Widrow-Hoff pravilo:
Nova vrijednost teine se rauna prema izrazu:
Izbor parametra brzine uenja je od velikog znaaja za
konvergenciju algoritma

Uenje na bazi memorije

Najee se koristi u mreama za klasifikaciju ulaznih vektora

Svi ili veina prethodnih parova ulazna-izlazna vrijednost se
pohranjuju u memoriju ispravnih klasifikacija
Za svaku novu vrijednost ulaza se analiziraju najblii susjedni
vektori
Za klasifikaciju se koristi verzija k-Nearest Neighbor algoritma

Hebbovo uenje

Hebbov postulat uenja je najstarije i najpoznatije pravilo

uenja u ANN:
Ako su dva neurona na krajevima sinapse aktivirana
sinhrono, onda se ta sinapsa pojaava
Ako su dva neurona na krajevima sinapse aktivirana
asinhrono, onda se ta sinapsa oslabljuje ili ukida

Matematiki model Hebbovog uenja:

xj ulazni signal u sinapsu, yk izlazni signal iz sinapse

Izvorno Hebbovo uenje eksponencijalno pojaava sinapsu do

zasienja

Hebbovo uenje

Radi toga se koristi hipoteza kovarijanse:

Kompetitivno uenje

Izlazni neuroni se takmie koji e postati aktivan:

Zadaci uenja

Osnovni zadaci uenja ANN su:

Asocijacija uzoraka ANN ui da na osnovu ulaznog
uzorka da izlazni uzorak
Raspoznavanje uzoraka ANN ui da raspozna kojoj
klasi pripada ulazni uzorak
Aproksimacija funkcija ANN ui da aproksimira
nepoznato preslikavanje ulaz-izlaz
Upravljanje ANN ui da proizvede odgovarajue
regulaciono djelovanje
Filtriranje ANN ui da proizvede izlaz za ulaz koji
sadri smetnju

Asocijacija uzoraka, raspoznavanje uzoraka

Aproksimacija funkcija

Tipine primjene u upravljanju:

Identifikacija sistema

Odreivanje inverznog sistema

Aproksimacija funkcija

Tipine primjene u upravljanju:

Identifikacija sistema

Odreivanje inverznog sistema

Upravljanje dinamikim sistemom

ANN ui da realizira funkciju nelinearnog regulatora

Filtriranje

Specifini zadaci:

Filtriranje

Izglaivanje

Predikcija