Racunska Inteligencija SC

Seminarski rad: Soft Computing -
racunska inteligencija
(Computational Intelligence)
Popovic Zoran
Centar za multidisciplinarne studije
Univerzitet u Beogradu
4. septembar 2006
Sazetak
Ovaj tekst je zamisljen kao pregled sadrzaja knjiga i radova iz
oblasti racunske inteligencije. Rad je pisan pomocu T
E
X-a tj. L
A
T
E
X-a
kao njegovog dijalekta i jg alata - [PG] i [TB].
Profesor: Dragan Radojevic
Soft Computing - racunska inteligencija (Computational Intelligence) 1
Sadrzaj
1 Poglavlje 1 - Soft Computing, uvod 4
2 Fazi logika i fazi sistemi 5
2.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Fazi skupovi - osnovni pojmovi i denicije . . . . . . . . . . . 5
2.3 Operacije i relacije nad fazi skupovima . . . . . . . . . . . . . 7
2.4 Fazi relacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4.1 Fazi relacije indukovane preslikavanjem . . . . . . . . . 10
2.5 Konveksnost, ogranicenost i druge osobine . . . . . . . . . . . 10
2.6 Reprezentovanje, princip prosirenja . . . . . . . . . . . . . . . 11
2.7 Lingvisticke promenljive, t-norme i s-norme . . . . . . . . . . 12
2.8 Fazi logika i fazi zakljucivanje . . . . . . . . . . . . . . . . . . 16
2.8.1 Konacna Bulova algebra . . . . . . . . . . . . . . . . . 17
2.8.2 Percepcija, Haseov dijagram strukture BA . . . . . . . 18
2.8.3 Generalizovan Bulov polinom . . . . . . . . . . . . . . 21
2.8.4 Logicka agregacija i primer mreze . . . . . . . . . . . . 24
2.8.5 Fazi logika, formalna denicija . . . . . . . . . . . . . . 25
2.8.6 Hajekov pristup, fazi teorija modela i ontologije . . . . 27
2.8.7 Zadeov pristup . . . . . . . . . . . . . . . . . . . . . . 28
2.8.8 Kompoziciono pravilo zakljucivanja . . . . . . . . . . . 29
2.8.9 Max-Min zakljucivanje . . . . . . . . . . . . . . . . . . 30
2.8.10 Max-Proizvod zakljucivanje . . . . . . . . . . . . . . . 31
2.8.11 Pravila sa vise premisa, vise pravila i procedura za-
kljucivanja . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.9 Defazikacija (Defuzzication) . . . . . . . . . . . . . . . . . . 34
2.10 Kompleksnost i izracunljivost . . . . . . . . . . . . . . . . . . 35
2.11 Fazi logika i alternativne teorije verovatnoce . . . . . . . . . . 35
2.11.1 Dempster-
Sejferova teorija . . . . . . . . . . . . . . . . 36
2.11.2 Zakljucivanje s uverenjem . . . . . . . . . . . . . . . . 37
2.11.3 Mere verovanja i neverovanja i ukupno uverenje . . . . 37
2.11.4 Propagiranje uverenja . . . . . . . . . . . . . . . . . . 38
2.11.5 Mogucnost i potrebnost . . . . . . . . . . . . . . . . . 39
2.12 Racunanje s recima . . . . . . . . . . . . . . . . . . . . . . . . 40
2.13 Fazi algoritmi . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2 Seminarski rad
3 Neuronske mreze 47
3.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 Osnovni model neurona . . . . . . . . . . . . . . . . . . . . . . 48
3.3 Grupisanje neurona i struktura NM . . . . . . . . . . . . . . . 53
3.4 Obuka i ucenje NM . . . . . . . . . . . . . . . . . . . . . . . . 56
3.5 Propagiranje unazad . . . . . . . . . . . . . . . . . . . . . . . 58
3.5.1 Varijante povratnog propagiranja . . . . . . . . . . . . 62
3.5.2 Perceptron . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.5.3 (M)ADALINE . . . . . . . . . . . . . . . . . . . . . . . 64
3.6 Vrste NM i oblasti primene . . . . . . . . . . . . . . . . . . . . 66
3.7 NM takmicenja, klasikacije i druge . . . . . . . . . . . . . . . 66
3.7.1 Kvantizacija vektora sa ucenjem . . . . . . . . . . . . . 67
3.7.2 Protiv-propagaciona NM (Counter-propagation) . . . . 68
3.7.3 Adaptivno-rezonantna teorija (ART) . . . . . . . . . . 68
3.7.4 Stohasticke (verovatnosne) NM . . . . . . . . . . . . . 70
3.8 (Neo)kognitron . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.9 Asocijaciranje podataka . . . . . . . . . . . . . . . . . . . . . 71
3.9.1 Asocijativne memorije, BAM . . . . . . . . . . . . . . 71
3.9.2 Holdove memorije . . . . . . . . . . . . . . . . . . . . 73
3.9.3 Hemingova mreza . . . . . . . . . . . . . . . . . . . . . 75
3.9.4 Bolcmanova masina . . . . . . . . . . . . . . . . . . . . 76
3.9.5 Prostorno-vremensko prepoznavanje . . . . . . . . . . . 77
4 Genetski algoritmi 79
4.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.2 Kodiranje i problemi optimizacije . . . . . . . . . . . . . . . . 79
4.3 Kanonski GA . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.3.1 Operatori GA . . . . . . . . . . . . . . . . . . . . . . . 81
4.3.2 Primer kanonskog GA . . . . . . . . . . . . . . . . . . 81
4.4

Seme, teorema seme i posledice . . . . . . . . . . . . . . . . . 82
4.4.1 Uloga i opis prostora pretrage . . . . . . . . . . . . . . 82
4.4.2 Teorema seme . . . . . . . . . . . . . . . . . . . . . . . 84
4.4.3 Binarni alfabet i n
3
argument . . . . . . . . . . . . . . 86
4.4.4 Kritike sema teoreme, uopstena teorema seme . . . . . 86
4.5 Ostali modeli evolucionog racunanja . . . . . . . . . . . . . . . 87
4.5.1 Dzenitor . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.5.2 CHC . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.5.3 Hibridni algoritmi . . . . . . . . . . . . . . . . . . . . . 89
4.6 Alternativni operatori odabiranja GA . . . . . . . . . . . . . . 89
4.7 Paralelni GA . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.7.1 Globalne populacije sa paralelizmom . . . . . . . . . . 90
4.7.2 Model ostrva . . . . . . . . . . . . . . . . . . . . . . . 90
4.7.3

Celijski GA . . . . . . . . . . . . . . . . . . . . . . . . 90
4.8 Primeri GA . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.8.1 Evoluirajuce NM . . . . . . . . . . . . . . . . . . . . . 91
4.8.2 Klasikacija i konceptualizacija . . . . . . . . . . . . . 92
4.8.3 Ucenje fazi pravila evolucijom . . . . . . . . . . . . . . 92
4.8.4 Evoluiranje programa . . . . . . . . . . . . . . . . . . . 93
4 Seminarski rad
1 Poglavlje 1 - Soft Computing, uvod
Pojam Soft Computing odnosno pojam racunske inteligencije (RI = Com-
putational Intelligence / Computational Science, ponegde se javlja i pojam
bioinformatika, sto nije slucajno - mnogi modeli racananja i ideje su potekle
od bioloskih modela i uzora) u koje se ubrajaju oblasti fazi (Fuzzy) logike i sis-
tema, neuronskih mreza (NM) i genetskih algoritama (GA) se nekako posebno
izdvajaju iz tema i oblasti pokrivenih temama i oblastima vestacke inteligen-
cije (VI). Jedan od osnovnih razloga za to potice od bliske povezanosti VI sa
klasicnom logikom i teorijom algoritama i izracunljivosti u matematici (kako
zbog aspekta deklarativnog znanja prisutnog u VI, tako i zbog same prirode
problema po deniciji) naspram oblasti RI gde je ta veza slabija ili bar nije
iste prirode kao kod klasicne matematike. Iz istih razloga se npr. fazi logika
nemoze svesti prosto na neki oblik (primene) teorije verovatnoce i statistike
iako to moze izgledati na prvi pogled tako (karakteristicna funkcija lici na
funkciju raspodele slucajne promenljive).
Svaka od ovih oblasti se cesto kombinuje sa nekom oblasti VI (jedna od
zajednickih osobina i ciljeva RI i VI su inteligentni agenti) ali postoje i mnoge
meduveze i hibridi NM, GA, fazi sistema i srodnih oblasti sto ih takode cini
posebnom celinom. Poznato je, primera radi, da se neke klase problema
koji se koriste za obucavanje i optimizaciju koecijenata NM ili nekih fazi
sistema najekasnije resavaju upotrebom GA, ili da se neke klase fazi mreza
zakljucivanja mogu jednostavno pretociti u NM i obratno, itd.
Ova oblast racunarstva je danas jedna od najzivahnijih u smislu novih
teoretskih otkrica, ali i novih prakticnih primena. Jedna od osnovnnih za-
jednickih osobina razlicitih disciplina RI jeste borba sa kompleksnoscu i ne-
preciznoscu konceptualizacije sveta i percepcije sveta (pored pojma modela
racunanja) - jednostavnost konceptualizacije je suprotstavljena sa komplek-
snoccu i nejasnocom realnog sveta, ali je isto tako slozenost konceptualizacije
usko grlo primenjivosti i ekasnosti u VI. Mnoge podoblasti nisu jos uvek do-
voljno dobro proucene - bilo da su tek u nastajanju ili se preispituju nove
mogucnosti i produbljuju teoretske osnove kao sto je kod fazi sistema slucaj.
Jedan od najpoznatijih Zadeovih kriticara, R. E. Kalman (inace poznat i po
istrazivanjeima u oblasti linarnih dinamickih sistema, ltera i NM), navodi
u jednoj prepisci kao osnovnu zamerku fazi logici i fazi sistemima nedostatak
njihove primene u veoma slozenim oblastima gde se to ocekivalo vise - [birth]
- zamerka stoji, ali i VI i RI kao discipline racunarstva su prolazile kroz krize
u kojima se ocekivalo vise i izlazile iz njih - novi rezultati se tek ocekuju.
2 Fazi logika i fazi sistemi
2.1 Uvod
Fazi logika (,,fuzzy - nejasan, neodreden) na neki nacin potice jos od
1930. kada je Lukasiewicz predlozio da domen poznatih operatora Bulove
algebre bude prosiren nekim vrednostima izmedu 0 i 1 ( i ). Zade (Lot
A. Zadeh, 1965.) tu ideju dalje formalizuje i tako nastaje formalna teorija
fazi logike. Godinama su se mnogi pojmovi i problemi naknadno resavali, ali
treba pre svega imati na umu cinjenicu da fazi logika nije isto sto i klasicna
aristotelovska logika (samo u nekim specijalnim trivijalnim slucajevima se
svodi na nju - npr. u fazi logici princip iskljucenja treceg nemora da vazi,
stavise ne vazi uopste ako je prava fazi logika u pitanju) i zato predstavlja
pogled na svet koji je drugaciji od onog uvrezenog i baziranog na klasicnoj
logici tj. predikatskom racunu i ZF (Zermelo-Frankel) teoriji skupova. Kod
fazi logike je osobina egzaktnosti nekako ,,labavija u odnosu na klasicnu
logiku, sto ne znaci da je fazi logika manje formalna. Pod fazi sistemima se
podrazumevaju razlicite teoretske i prakticne primene fazi teorije (skupova i
logike).
2.2 Fazi skupovi - osnovni pojmovi i denicije
Fazi logika se zasniva na skupovima i elementima cija se pripadnost meri
pre nego da egzaktno pripradaju ili ne pripadaju skupu.
Denicija 2.1 Neka je X domen tj. prostor elemenata ili objekata x, sto se
moze oznaciti i sa X = x.
Fazi skup (ili fazi klasa) A u X je karakterisan funkcijom pripadnosti tj.
karakteristicnom funkcijom
A
(x) : X [0, 1]
koja dodeljuje elementu x stepen pripadnosti skupu A.
U opstem slucaju, domen
A
moze biti podskup od X, a vrednost moze biti
element nekog zadatog parcijalno uredenog skupa P umesto [0, 1]. To se moze
zapisati i kao
A
(x) = Degree(x A) gde je 0
A
(x) 1. NAPOMENA:
(fazi) pripadnost skupu ovde ne treba shvatati kao pripadnost u klasicnom
smislu - trivijalno ,,x pripada A akko
A
(x) > 0 - netrivijalno, treba uvesti
6 Seminarski rad
dva broja > td. 0 < , < 1, i tada ,,x pripada A akko
A
(x) ,
,,x ne pripada A akko
A
(x) , ,,x je je neodredene pripadnosti prema
A akko <
A
(x) < (ovo vodi ka trovalentnoj logici sa vrednostima
npr. , i ? respektivno - Kleene, 1952). Ako je A skup u klasicnom smislu
(,,crisp - ostar), tada ako je
A
(x) = 1 onda je x A, odnosno ako je
A
(x) = 0 onda je x / A (za skupove u klasicnom smislu, ili jednostavno
receno za skupove, karakteristicna funkcija uzima samo dve vrednosti: 0 i
1). Fazi skupovi kod kojih karakteristicna funkcija dostize 1 su normirani.
Primer: cesto se koristi trougao (ili fazi broj c, neki put zgodnije shvacen kao
interval sa pesimistickom i optimistickom granicom), fazi skup A = A(c, a, b)
u X = R cija karakteristicna vrednost ima vrednost 0 u svim tackama na
realnoj osi osim izmedu temena (c a, 0) i (c +a, 0) trougla koja leze na osi,
a u trecem temenu (c,
A
(c)) linearno dostize najvecu vrednost:
A(c,a,b)
(x) =
_
_
_
b
a
(x c + a), c a x < c;
b
a
(x c a), c x c + a;
0, x / [c a, c + a].
c c+a ca gde je 0 b =
A(c,a,b)
(c) 1 najveca vrednost koju
dostize karakteristicna funkcija.
Pored ovih koriste se i drugi oblici osnovnih vrsta karakteristicnih funkcija
(trapezoid i druge krive) kao sto su (navedeni su normirani fazi skupovi):
s-krivina X2 X1
s(x
1
,x
2
)
(x) =
_
_
_
0, x < x
1
;
1
2
+
1
2
cos[
xx
2
x
2
x
1
], x
1
x x
2
;
1, x > x
2
.
gde su x
1
i x
2
leva i desna prevojna tacka.
z-krivina X2 X1
s(x
1
,x
2
)
(x) =
_
_
_
0, x < x
1
;
1
2
+
1
2
cos[
xx
1
x
2
x
1
], x
1
x x
2
;
1, x > x
2
.
(simetricna prethodnoj u odnosu na x osu)
-krivina (zvono) X4 X1 X2 X3
(x
1
,x
2
,x
3
,x
4
)
(x) = min[
s(x
1
,x
2
)
(x),
z(x
3
,x
4
)
(x)]
gde je vrh zvona ravan izmedu x
2
i x
3
.
U literaturi (npr. u [LPROFS]) se npr. denise i kardinalnost fazi skupa kao:
card(A) =
xX
A
(x)
ili kao kardinalnost skupova nosaca Supp(A) ili jezgra Ker(A) gde je
Supp(A) =
def
x[
A
(x) ,= 0, Ker(A) =
def
x[
A
(x) = 1
Ako se kardinalnost posmatra kao mera skupa, alternativnim denicijama
,,i ili ,,ili operatora (t-norme i s-norme kasnije u tekstu) se moze dobiti kar-
dinalnost koja nije aditivna mera, ali se zadrzava bitna osobina monotonosti
(sto se dovodi u vezu sa osobinama fazi logike naspram klasicne logike). Na
osnovu ovoga se moze denisati entropija fazi skupa (Kosko, 1986):
E(A) = Card(A A)/Card(A A) ili kao
E(A) = k
uU
[
A
(u) log
A
(u)+
A
(u) log
A
(u)] gde je k neka konstanta.
2.3 Operacije i relacije nad fazi skupovima
Jednakost -
Dva fazi skupa A i B su jednaka, sto se pise A = B, akko
A
(x) =
B
(x)
za svako x X (skraceno,
A
=
B
).
Podskup -
Fazi skup A je podskup fazi skupa B, sto se oznacava sa A B, akko
A

B
.
Komplement -
komplement fazi skupa A se oznacava sa A i denise sa:
A
(x) =
def
1
A
(x)
Presek -
za presek C = A B vazi:
AB
(x) =
def
min[
A
(x),
B
(x)] =
A
(x)
B
(x) za sve x X, skraceno:
C
=
A
(x)
B
8 Seminarski rad
Unija -
za uniju C = A B vazi:
AB
(x) =
def
max[
A
(x),
B
(x)] =
A
(x)
B
(x) za sve x X, skraceno
C
=
A

B
Oduzimanje -
AB
=
A
(1
B
)
Za ovako denisane operacije vaze poznate lepe osobine kao sto su to npr.
De Morganovi i distributivni zakoni (ovo sledi iz samih denicija, npr. De
Morganovi zakoni slede iz 1max[
A
,
B
] = min[1
A
, 1
B
] za slucajeve
A
(x) >
B
(x) i
A
(x) <
B
(x)). Ovakve relacije skupova su ,,ostre (nisu
fazi, ili vaze ili ne vaze), i postoje predlozi kako se mogu i one denisati kao
fazi u (Gottwald, Pedrycz):
incl
t
(A, B) =
xX
(
A
(x)
B
(x)), xy =
def
z[ t(x, z) y
gde je funkcija t neka t-norma (obicno minimum). Tada je A B
incl
t
(A, B) = 1. Jednakost A = B A B B A se tada moze
zapisati i kao eq
t
(A, B) =
def
t(incl
t
(A, B), incl
t
(B, A)). Osim sto su ovim
denisani komplement, presek i unija fazi skupova, ovo se kasnije koristi
kod lingvistickih promenljivih (dalje u tekstu) za logicke operacije negacije i
veznike ,,i i ,,ili, respektivno.
Pored ovih operacija i relacija koriste se i algebarske operacije nad fazi
skupovima:
Algebarski proizvod -
AB
=
A

B
Ocigledno vazi: AB A B.
Algebarski zbir -
A+B
=
A
+
B
- pod uslovom da vazi
A
(x) +
B
(x) 1 za svako x X.
Mnozenje skalarom -
B
=
B
, [0, 1]
Apsolutna razlika -
|AB|
= [
A
B
[
(za obicne skupove [A B[ se svodi na komplement A B u odnosu
na A B)
Konveksna kombinacija - za fazi skupove A, B i :
(A, B; ) = A + B
sto u obliku karakteristicnih funkcija izgleda ovako:
(A,B;)
(x) =
(x)
A
(x) + [1
(x)]
B
(x), za svaki x X.
Osnovna osobina ovakve kombinacije je A B (A, B; ) A B
za svaki sto je posledica nejednakosti min[
A
(x),
B
(x)]
A
(x) +
(1 )
B
(x) max[
A
(x),
B
(x)], x X, 0 1.

Stavise, za
svaki fazi skup C td. AB C AB postoji fazi skup - njegova
karakteristicna funkcija je onda:
(x) =

C
(x)
B
(x)
A
(x)
B
(x)
, x X
Fazikacija Ovim operatorom se moze napraviti fazi skup od ostrog
ili fazi skupa, a karakterise ga jezgro K(x) =

1/x koje svakom x X
dodeli odgovarajuci fazi skup koji se moze zapisati skraceno kao

1/x.
Fazikacija F(A) (fazi) skupa A se takode oznacava sa

A i vazi:
F(A) = F(A; K) =
_
X

A
(x)K(x) =
_
X

A
(x) x.
U praksi se cesto koriste dodatne operacije nad karakteristicnom funkci-
jom kojom se odreduju (odnosno modikuju) dodatno granice tj. ogranicenja
ili odredbe (hedges) pripadnosti skupu (prosiruju je ili skupljaju - u nared-
nim primerima se moze pretpostaviti da je A fazi skup visokih osoba):
Koncentracja (VEOMA) -
CON(A)
(x) = (
A
(x))
2
npr. koncetracija
daje skup VEOMA visokih osoba
Dilatacija (DONEKLE) -
DIL(A)
(x) = (
A
(x))
1/2
npr. dilatacija
daje skup DONEKLE (MANJE ILI VI
SE) visokih osoba

10 Seminarski rad
Intenziviranje (ZAISTA) -
INT(A)
(x) =
_
2(
A
(x))
2
, ako je 0
A
(x) 1/2
1 2(1
A
(x))
2
, ako je 1/2 <
A
(x) 1
npr. dilatacija daje skup zaista visokih osoba (intenzivira pripadnost
izrazeno visokih, a smanjuje pripadnost ostalih)
Snazno (VEOMA VEOMA) -
POW(A,n)
(x) = (
A
(x))
n
pojacanje
POW
za n=3 ili vece ...
Operatorima i ogranicenjima se prave derivati fazi skupova.
2.4 Fazi relacija
Fazi relacija je prirodno prosirenje pojma fazi skupova kao i relacije
u klasicnoj teoriji skupova (funkcija je specijalan slucaj relacije). Tako
se n-arnoj fazi relaciji A u X
n
pridruzuje n-arna karakteristicna funckija
(x
1
, , x
n
) gde je x
i
X, i = 1, n. Kod binarnih relacija A i B se uvodi
kompozicija (tzv. max-min kompozicija, moze biti i max-proizvod ako se
koristi proizvod umesto min operatora) B A denisana sa:
BA
(x, y) = Sup
min[
A
(x, ),
B
(, y)]
Kompozicija ima osobinu asocijativnosti A (B C) = (A B) C).
2.4.1 Fazi relacije indukovane preslikavanjem
Neka je T preslikavanje prostora X u Y i B fazi skup u Y sa karak-
teristicnom funkcijom
B
(y). Inverzno preslikavanje T
1
indukuje fazi skup
A u X cija je karakteristicna funkcija odredena sa
A
(x) =
B
(y), za svako
x X: T(x)=y. Obratno, ako je A fazi skup u X, karakteristicna funkcija za
fazi skup B indukovan preslikavanjem T za y Y moze imati vise vrednosti
ako T nije 1-1 pa se zato denise sa
B
(y) = max
xT
1
(y)
[
A
(x)], y Y .
2.5 Konveksnost, ogranicenost i druge osobine
Osobina konveksnosti se takode moze izgraditi i biti korisna kao i kod
obicnih skupova. U narednoj deniciji se pretpostavlja da je X realan euk-
lidski prostor R
n
.
Denicija 2.2 Fazi skup A je (strogo) konveksan akko su skupovi
=
x[
A
(x) (strogo) konveksni za svako (0, 1].
Alternativna i neposrednija denicja je:
Denicija 2.3 Fazi skup A je konveksan akko
A
[x
1
+ (1 )x
2
] min[
A
(x
1
),
A
(x
2
)]
za svako x
1
i x
2
u X i svako [0, 1] (ako se zameni sa > dobija se jaka
konveksnost).
Iz prve denicije sledi druga (ako =
A
(x
1
)
A
(x
2
), onda x
2

i
x
1
+ (1 )x
2

i odatle sledi i
A
(x
1
) = min[
A
(x
1
),
A
(x
2
)]) kao i
obratno (ako =
A
(x
1
) onda je
skup svih x
2
td.
A
(x
2
)geq
A
(x
1
) i
svaka tacka x
1
+ (1 )x
2
, 0 1 je u
pa je to onda konveksan
skup). Moze se dokazati teorema:
Teorema 1 Ako su A i B konveksni, onda je to i njihov presek.
Denicija 2.4 Fazi skup je ogranicen akko su skupovi
= x[
A
(x)
ograniceni za svako > 0 (za svako > 0 postoji konacna vrednost R()
takva da je [[x[[ R() za svako x
).
Posto je X euklidski mogu se denisati -okoline i supremumM = sup
x
[
A
(x)]
(M je ,,maksimalna ocena u A) je esencijalno dostignut u nekoj tacki ako
svaka -okolina te tacke sadrzi tacke iz Q() = x[
A
(x) M. Core(A)
je skup svih takvih tacaka i moze se pokazati da je takode konveksan ako je
A konveksan. Mogu se dalje izgradivati i druge vazne osobine fazi skupova
kao sto je Zade pokazao (npr. separabilnost fazi skupova).
2.6 Reprezentovanje, princip prosirenja
Do sada smo razmatrali neprekidne karakteristicne funkcije zadate anal-
iticki. Fazi skup s diskretnim vrednostima se moze jednostavno prikazati kao
vektor karakteristicnih vrednosti A = (
1
, ...,
n
) ako se domen posmatra
kao konacan (ili prebrojiv) vektror vrednosti. Tacnije, fazi skup se posmatra
kao ostar skup ili jos bolje, niz uredenih parova A = ((
1
, x
1
), ..., (
n
, x
n
))
gde je
i
=
A
(x
i
). Uz konvenciju zapisa uredenih parova sa ,,/ i unije
kao ,,+ to se moze zapisati i kao A =
n
i=1
A
(x
i
)/x
i
ako je X diskretan,
12 Seminarski rad
odnosno A =
_
X

A
(x)/x ako nije. Skraceni zapis koji se najcesce koristi
je samo
A
(x) uz podrazumevane vrednosti domena X. Fazi skup se moze
posmatrati kao unija fazi singltona gde je fazi singlton fazi skup sa samo
jednom vrednoscu A = (
A
(x), x) (njegov nosac Supp(A) je kardinalnosti
1) za neko x X, tj. skraceno A = /x gde je =
A
(x), x X. Npr.
ostar skup se onda zapisuje kao X = 1/x
1
+ +1/x
n
ili X = x
1
+ +x
n
.
Relacija se onda prikazuje npr. kao:
R =
_
X

R
(x
1
, , x
n
)/(x
1
, , x
n
) ili
R =
1
R
/(x
1
1
, , x
1
n
) + +
m
R
/(x
m
1
, , x
m
n
).
Sami stepeni pripadnosti mogu biti fazi skupovi, na primer ako je domen
U = Pera, Mika, Slavko i ako su fazi skupovi malo, srednje, puno den-
isani nad domenom V = 0.0 + 0.1 + + 1.0 onda bi npr. fazi podskup A
teskih mogao da bude:
A = malo/Mika + srednje/Pera + puno/Slavko
Zade denise princip prosirenja za preslikavanja na sledeci nacin: ako je
f : U V preslikavnje, fazi skup A =
1
/u
1
+
n
/u
n
nad U tj. A =
_
U

A
(u)/u onda vazi f(A) =
1
/f(u
1
)+ +
n
/f(u
n
) =
_
U

A
(u)/f(u). Za
slucaj funkcije vise promenljivih takode vazi F(A) =
_
UV

A
(u)
G
(v)/f(u, v).
Principom prosirenja uopste se svaka dobra osobina klasicne teorije skupova
(i nekih njenih posledica) prenosi na fazi teoriju skupova (ili odgovarajucu
fazi teoriju) kada je to moguce (fazikacijom). Ovo je napravilo dosta nevolja,
kao sto ce u daljem tekstu biti objasnjeno - fazi logika i teorija skupova je
uopstenje klasicne logike i teorije skupova, a ne obratno.
2.7 Lingvisticke promenljive, t-norme i s-norme
Oznake vrednosti lingvisticke promenljive su recenice nekog (prirodnog
ili vestackog) jezika L koje mogu imati donekle nejasno znacenje kao npr.
starost sa vrednostima mlad, srednje, star - onda je svakoj od vrednosti do-
deljen fazi podskup vrednosti iz domena skupa starosti (broj godina). Stepen
pripadnosti V al(x is A) =
A
(x) elementa fazi skupa A je stepen istinitosti
izraza x is A gde fazi skup A postaje osobina. Lingvisticka promenljiva moze
uzeti vrednost iz svog skupa termova T (term set) koji predstavlja (ostar,
jednostavnosti radi) skup oznaka kojima se dodeljuju fazi skupovi nad istim
domenom (ponegde se u literaturi kaze za domen da je bazna promenljiva)
fazi relacijom
N
(t, x), t T, x X td. oznaci t T odgovara skup M(t)
sa karaktersicnom funkcijom
M
(x) =
N
(t, x) i cesto se krace pise samo t
umesto M(t). Primer:
N
(mlad, x) =
_
1, x 25;
(1 + (
x25
5
)
2
)
1
, x > 25.
onda je fazi podskup mlad skupa godina X = 0, , 100:
mlad =
_
25
0
1/x +
_
100
25
_
1 + (
x 25
5
)
2
_
1
/x
Term moze biti atomski ili slozen, gde kod slozenih ucestvuju:
1. logicka negacija i veznici (i i ili )
2. odredbe
3. zagrade i sl. simboli
Pomenuta relacija
N
se moze denisati rekurzivno za slozene terme na os-
novu vrednosti za atomske terme i prema denicijama logickih operatora i
odredbi. Primer: ako je u atomski term a h odredba onda se moze posm-
trati h kao operator koji slika fazi skup M(u) u M(hu) - npr. x = veoma
ne mlad = (mlad)
2
tj. V al(x) = (1 V al(mlad))
2
kao karakteristicna
funkcija. Formalnije, svaki operator i veznik nad fazi skupovima M(x) vrsi
neku promenu koja se moze analiticki zapisati, npr. M(xy) = M(x)M(y)
tj. V al(x y) = x y.
Vrednost terma sa veznicima se moze denisati uopsteno t-normama
za ,,i veznik i s-normama (t-konormama) za ,,ili veznik (pored ranije
pomenute denicije preseka i unije fazi skupova za ,,i i ,,ili, respektivno).
Preslikavanje t : [0, 1]
2
[0, 1] je t-norma ako ispunjava sledece uslove
(tj. aksiome generalizovane konjunkcije, fazi-logickog I-veznika):
1. t(x, 1) = x (granica)
2. t(x, y) = t(y, x) (komutativnost)
14 Seminarski rad
3. y
1
y
2
t(x, y
1
) t(x, y
2
) (monotonost)
4. t(x, t(y, z)) = t(t(x, y), z) (asocijativnost)
Klasicne t-norme su:
t
min
(x, y) = min(x, y) (Gedelova t-norma
G
, odnosno Zadeova t-norma
ili standardni presek)
t
L
(x, y) = max(0, x + y 1) (t-norma Lukasiewicz-a
L
)
t
proizvod
(x, y) = xy (proizvod t-norma
P
)
t
(x, y) =
_
_
_
x, y = 1;
y, x = 1;
0, inace.
(drasticni presek)
Vazi t
t
L
t
proizvod
t
min
i za proizvoljnu t-normu t moze se pokazati
da vazi t
t t
min
. Karaktersticna funkcija preseka je onda
AB
(x) =
t(
A
(x),
B
(x)).
Preslikavanje c : [0, 1]
2
[0, 1] je s-norma (t-konorma) ako ispunjava
sledece uslove (aksiome, simetricno prethodnom):
1. c(x, 0) = x (granica)
2. c(x, y) = c(y, x) (komutativnost)
3. y
1
y
2
t(x, y
1
) t(x, y
2
) (monotonost)
4. t(x, t(y, z)) = t(t(x, y), z) (asocijativnost)
Klasicne s-norme su:
c
max
(x, y) = max(x, y) (standardna unija, odnosno Gedelova s-norma
G
)
c
L
(x, y) = min(1, x + y) (
L
)
c
suma
(x, y) = x + y xy (
P
tj. algebarska suma)
c
(x, y) =
_
_
_
x, y = 0;
y, x = 0;
1, inace.
(drasticna unija)
Vazi takode c
max
c
proizvod
c
L
c
i za proizvoljnu t-konormu c moze

se pokazati da vazi c
max
c c
. Karaktersticna funkcija unije je onda
AB
(x) = c(
A
(x),
B
(x)).
Moze vaziti veza izmedu dualnih t-normi i t-konormi (i obratno, na os-
novu De Morganovih zakona - u opstem slucaju ove veze ne moraju vaziti):
c(x, y) = 1 t(1 x, 1 y). Tada se mogu denisati parovi dualnih konormi
- npr. (t
min
, c
max
), (t
L
, c
L
), (t
proizvod
, c
suma
), (t
, c
). Ove funkcije se mogu

uopstiti i na vise promenljivih:
t
min
(x
1
, , x
n
) = min(x
1
, , x
n
), c
max
(x
1
, , x
n
) = max(x
1
, , x
n
)
t
L
(x
1
, , x
n
) = max(0,
n
i=1
x
i
n + 1), c
L
(x
1
, , x
n
) = min(0,
n
i=1
x
i
)
t
proizvod
(x
1
, , x
n
) = x
1
x
n
, c
suma
(x
1
, , x
n
) =
n
i=1
(1)
i+1
=komb(i)
i
j=1
x
(j)
Kao sto se ovim aksiomama denisu t-norme i s-norme kao neka vrsta
uopstenja konjunkcije i disjukcije (i odgovarajucih stepena istinitosti rekurzivnim
denicijama V al nad fazi iskazima), tako se moze denisati i uopstena ne-
gacija n : [0, 1] [0, 1] aksiomama:
n(0) = 1, n(1) = 0 (granicni uslovi)
x y n(y) n(x)
n(n(x)) = x
gde opet imamo primere negacije: n
G
(x) = 0 za x > 0, inace n
G
(0) = 1,
n
L
(x) = 1 x. Takode, denise se i operator i (moze se shvatiti opet kao
nekakvo uopstenje operatora implikacije) i : [0, 1]
2
[0, 1] tako da vaze
aksiome:
x y i(x, z) i(y, z)
y z i(x, y) i(x, z)
16 Seminarski rad
i(0, y) = 1, i(x, 1) = 1
i(1, 0) = 0
Slicno kao i ranije, mogu vaziti veze (po uzoru na klasicnu logiku): i(x, y) =
c(n(x), y) - primer je i
KD
(x, y) = max (1 x, y) (Kleene-Dienes). Drugi
nacin da se ovo denise je reziduum operator (opet po uzoru na klasicnu
logiku): i(x, y) = sup z [0, 1][ t(x, z) y. Tada vazi (u zavisnosti od
t-norme):
i(x, y) =
_
_
1, x y;
1 x + y = i
L
(x, y),
L
;
y = i
G
(x, y),
G
;
x
y
= i
P
(x, y),
P
.
Takode, veza i(x, y) = n(t(x, n(y))) vazi za Zadeovu logiku (i
KD
, t
G
, n
L
) i
logiku Lukasiewicz-a (i
L
, t
L
, n
L
), ali ne vazi za Gedelovu (i
G
, t
G
, n
G
), niti
logiku proizvoda (i
P
, t
P
, n
G
). Mera relacija podskupa (subsumption) A B
se onda moze denisati kao: inf
xX
i(A(x), B(x)), a kompozicija binarnih
relacija nad ostrim skupovimam kao:
(R
1
R
2
)(x, z) = sup
yY
t(R
1
(x, y), R
2
(y, z))
Relacija R je tranzitivna akko je (R R)(x, z) R(x, z).
Skup termova T moze biti generisan nekom kontekstno slobodnom gra-
matikom G = (V
X
, V
T
, P, S) tj. T = L(G), gde je onda skup terminala V
T
skup atomskih termova (semantika se gradi prema prethodnom). Ovakvo
racunanje vrednosti odnosno znacenja lingvisticke promenljive vodi ka zna-
cenju uslovnih recenica i fazi zakljucivanju - odnosno, denisanju fazi logike
reci.
2.8 Fazi logika i fazi zakljucivanje
Aristotelov princip iskljucenja treceg (objekat nemoze istovremeno imati
i nemati osobinu, ili sustina paradoksa iskaza koji negira svoju tacnost) kao
osnovno nacelo klasicne logike je narusen u slucaju visevrednosne logike gde
su onda osnove logike promenjene (sto je jos Jan Lukasiewicz primetio do-
davanjem trece vrednosti ,,
1
2
- problem ,,polupune ili polupraznecase). U
opstem slucaju, konvencionalne fazi logike se ne nalaze u Bulovom okviru
(kao ni visevrednosne). Takode, princip prosirenja (ekstenzionalnosti) nije
osnovni pojam Bulove algebre ma koliko bio koristan (suvisna aksioma u al-
gebarskom smislu, kako ce dalje biti pojasnjeno - ,,To je vrlo uobicajena i
tehnicki korisna pretpostavka(P. Hayek, Metamathematics of Fuzzy Logic)
- ali isto tako je bilo sasvim uobicajeno i tehnicki korisno smatrati u sred-
njem veku da je zemlja jedna ravna ploca). Ideja kojom bi se ovo sve moglo
prevazici je uopstavanje klasicne Bulove algebre (Calculus of Logic George
Boole, 1848), i to formalnom algebarskom denicijom Bulove logike i fazi
logike, ili npr. interpolativnom realizacijom Bulove algebre (IBA, realna
logika).
Fazi logika (njen primer) je struktura ([0, 1], t, s, n), gde je t t-norma (gen-
eralizovana konjunkcija), s s-norma (generalizovana disjunkcija), i n gener-
alizovana negacija, uz ranije pomenute aksiome (negacija ce biti objasnjena
u jednom od narednih odeljaka).
2.8.1 Konacna Bulova algebra
Konacna Bulova algebra (BA) je struktura (BA(), , , C), BA() =
P(P()), = a
1
, ..., a
n
, kod koje vaze zakoni:
asocijativnosti: (x y) z = x (y z), (x y) z = x (y z)
komutativnosti: x y = y x, x y = y x
apsorpcije: x (x y) = x, x (x y) = x
distributivnosti: x(yz) = (xy)(xz), x(yz) = (xy)(xz)
komplementarnosti: xCx = 1, xCx = 0 (principi iskljucenja treceg
i konzistentnosti)
Poznate teoreme su onda: idempotencija (aa = a, aa = a), ogranicenost
(a 0 = 0, a 1 = a, a 0 = a, a 1 = 1), involucije (a = CCa), De
Morganovi zatkoni (C(a b) = Ca Cb, C(a b) = Ca Cb). Recenice
iskaznog racuna cine takode BA, i u klasicnoj dvovrednosnoj (binarnoj) logici
vazi princip iskljucenja treceg.
18 Seminarski rad
2.8.2 Percepcija, Haseov dijagram strukture BA
Fazi logiku Zade cesto pominje kao osnovu racuna percepcijama gde se
pod percepcijom podrazumeva neka (normalizovana) brojna vrednost na
osnovu koje se moze zakljuciti neka osobina posmatranog objekta (opet
izrazena normalizovanom brojnom vrednoccu), ili doneti neka odluka (per-
cepcija kao dozivljaj alternative donosioca odluke). Te brojne vrednosti ne-
maju posebno veze sa nekakvim verovatnosnim vrednostima (uopstenje BA i
razlaz sa klasicnom logikom se prenosi i na teoriju verovatnoce u fazi slucaju).
Percepcija zavisi od coveka do coveka (ili sistema), kao i od problema do prob-
lema. Suma otezanih vrednosti atributa (npr. J(a, b) = w
a
a+w
b
b, w
a
+w
b
=
1) nije dovoljno izrazajna kao kriterijumska funkcija - primer (slike 2.8.3a i
2.8.3b ispod) je prostor boja koji se na ovaj nacin ne moze pokriti (ako su dve
atomske boje tacke u njihovoj ravni, ovakva suma je samo 1-dimenzionalna
duz izmedu njih):
(slika 2.8.3a)
(slika 2.8.3b)
Da bi se takvom interpolacijom dobio ceo prostor boja, neophodno je imati
8 atomskih boja (za 3 osnovne RGB boje):
(slika 2.8.3c)
(slika 2.8.3d)
Ovo je ilustracija razlike izmedu BA (u smislu interpolacije) i fazi logike kao
uopstenja. Ideja interpolativne realizacije BA ilustruje se (slicno prethod-
nom) Haseovim dijagramom (graf parcijalno uredenog skupa gde se ori-
jentacija podrazumeva, npr. uredenje u pravcu dole-gore):
(Haseov dijagram strukture BA)
Ovim dijagramom se slikovito prikazuje struktura elemenata BA u slucaju
= a, b, gde se za svaki ugao kvadrata (a = 0, b = 0 je donji levi) i cvora
dijagrama crnim kvadraticem npr. indikuje da li moze imati vrednost 1:
20 Seminarski rad
(tumacenje vrednosti elemenata BA)
Za svaki takav element BA (Bulovu fukciju) se onda lako moze napraviti
istinitosna tablica:
2.8.3 Generalizovan Bulov polinom
Svaki element konacne Bulove algebre moze se jednoznacno prikazati gen-
eralizovnim Bulovim polinomom (GBP) koji moze da uzima vrednosti sa
realnog intervala [0, 1]. Za ovo ce biti potreban pojam strukturne funkcije
: P() 0, 1 datog kvalitativnog atributa BA(), koja odreduje

koji su atomski atributi (elementi BA koji sadrze samo ) ukljuceni (sadrzani)
u . Za primarne atribute a
i
vazi:
a
i
(S) =
_
1, a
i
S;
0, a
i
, S.
, a
i
, S P().
U ostalim slucajevima gradi se izraz (u nekakvoj normalnoj formi, svodi se
na Zegalkinove polinome jer strukturne funkcije imaju samo dve vrednosti -
onda se gubi potreba za koecijentima i eksponentima) prema pravilima:
ab
(S) =
a
(S)
b
(S)
ab
(S) =
a
(S)
b
(S)
Ca
(S) = 1
a
(S)
Generalizovan proizvod se moze denisati na vise nacina - primeri (,
BA()):
= min (, ) (Gedelova t-norma)
= (logika proizvoda)
= max (0, + 1) (t-norma Lukasiewicz-a)
Iako je generalizovani proizvod veoma slican t-normi (koji u fazi pristupu
igra nekakvu ulogu logickog veznika, sto se u opstem slucaju ne poklapa sa
klasicnom konjunkcijom), igra sasvim drugu ulogu u IBA, i treba ga posma-
trati kao aritmeticki operator (polinoma).
Denicija 2.5 Svakom =
SP()
(S)(S) BA() dodeljuje se GBP
(x):

(x) =
(x) =
SP()
(S)
(S)(x), x X
m
22 Seminarski rad
gde je
(S) GBP za atomske elemente (S) =
a
i
S
a
i
a
j
S
Ca
j
,
S P() (vrednosno relevantan deo):
(S)(x) =
(S)(a
1
, ..., a
n
) =
CS
(1)
|C|
a
i
CS
a
i
(x)
dok je

vrednosno irelevantan (strukturni) deo.

Generalizovan proizvod ispunjava (po denicij) u potpunosti iste aksiome kao
i t-norma, i jos jednu aksiomu dodatno - aksiomu nenegativnosti :
(S)(x) 0, S P()
Strukturni deo (strukturni vektor

= [
(S)[S P()]) u potpunosti

ispunjava sve aksiome BA (dakle, vaze i iste teoreme za njega). Primer, za
= a, b:
S = a, b : a b
(S)(a, b) = a b
S = a : a Cb
(S)(a, b) = a a b
S = b : Ca b
(S)(a, b) = b a b
S = : Ca Cb
(S)(a, b) = 1 a b +a b
Primeri, dalje - ako je , BA(), onda je:
()
(x) =
(x), x X
m
( )
(x) =
()
(x)
( )
(x) =
()
(x)
(C)
(x) =
(C)

(x) = 1 ()
(x)
Ideja interpolacije GBP se moze ilustrovati odgovarajucim Haseovim dija-
gramima (zbir vrednosti atomskih elemenata u drugom sloju od dole je 1,
SP()
(S)(x) = 1), gde se razlicitim nijansama predstavljaju vrednosti

u intervalu [0, 1] (umesto klasicnog 0, 1) koje su dodeljene (vrednosti ne
moraju biti cak ni simetricne u odnosu na atomske elemente, ili atribute), a
vrednost svakog elementa je suma vrednosti njegovih atoma:
(vrednosti elemenata u interpolativnom slucaju)
(svaki element ima vrednost u [0, 1], atomski elementi nisu unija drugih atomskih elemenata)
24 Seminarski rad
2.8.4 Logicka agregacija i primer mreze
Strogo formalno, fazi logika je uopstenje BA. Prethodno opisanim uopste-
njem vaze sve aksiome i dobre osobine BA iako vrednosti GBP nisu binarne,
i upravo vrednosno relevantan deo vodi ka generalizaciji BA koja ,,dozvoljava
fazi slucajeve. Ako se denise norma atributa [[ [[ : [0, 1] i generalizo-
vani pseudo-Bulov polinom (GpBP) kao linearna konveksna suma elemenata
IBA:
([[a
1
[[, ..., [[a
n
[[) =
m
i=1
w
i
i
([[a
1
[[, ..., [[a
n
[[),
m
i=1
w
i
= 1, w
i
0, i = 1, m
iz denicije GBP sledi (
i
BA()):
([[a
1
[[, ..., [[a
n
[[) =
m
i=1
SP()
i
)
(S)
(S) =
SP()
(S)
(S)
gde je
(S) =
CP()S
(1)
|C|
a
j
SC
[[a
j
[[, a je strukturna funkcija
GpBP
i predstavlja karakteristicnu funkciju fazi skupa : P() [0, 1]

denisanu sa (slicno karakteristicnoj funkciji u ZF teoriji skupova, ali nije
isto):
(S) =
m
i=1
w
i
i
)
(S)
Funkcije
i
)
predstavljaju logicku strukturu odgovarajucih elemenata iz
BA (mogu biti aditivne, monotone ili uopstene - u fazi slucaju). Njima se
grade logicke agregacije Agg : [0, 1]
n
[0, 1] kao pseudo-logicke funkcije ko-
jima se opisuju u uopstenom slucaju vrednosti (fazi) logickih izraza, karak-
terisane merom agregacije (S) (strukturnom funkcijom) i operatorom.
Primera radi, ako je mera agregacije:
OR
(S) =
_
1, S ,= ;
0, S = .
i = min, onda je operator logicke agregacije:
Agg
min
OR
([[a
1
[[, ..., [[a
n
[[) = max ([[a
1
[[, ..., [[a
n
[[)
O svemu ovome detalji se mogu naci u [RD], [AQM] i [RD2]. Tako se mogu
graditi Bulove mreze (Bulove funkcije koje se racunaju u iteracijama slicno
Bajesovim mrezama) koje koriste [0, 1] kao ulazne vrednosti, ali i fazi mreze.
Primer: ako su a, b, c normalizovane brojne ocene nekih objekata gde se
daje prednost b ako je a veliko, odnosno c u suprotnom, i ako je veci arit-
meticki prosek vazan kriterijum onda bi primer logicke agregacije bio:
Agg
(a, b, c) =
1
2
a +b +c
3
+
1
2
(a, b, c)
gde je
(a, b, c) = ((ac) (Cab))
= b +ac ab, a mera agregacije

je =
1
6
(
a
+
b
+
c
)+
1
2
(
a
c
)(C
a
b
) (nad S P()). Za konkretnu
realizaciju agregacije dobija se brojna vrednost koja ispravno odslikava
sve zadate kriterijume.
2.8.5 Fazi logika, formalna denicija
Postoji nija hijerarhija formalnih logika, primer iz [AV] (u algebarskom
smislu):
U osnovi ove ideje lezi denicija pojma latice:
Denicija 2.6 Latica L = (X, , , ) predstavlja parcijalno ureden skup
(X, ) sa RAT aksiomama, kod koga postoji najveca donja granica x y =
infx, y ( meet) i najmanja gornja granica xy = supx, y ( join) za svako
x, y X.
26 Seminarski rad
(primer Bulove latice podskupova (| = 1|) i jedne slobodne Bulove algebre (|| = 2))
Pored partitivnog skupa proizvoljnog nepraznog skupa, postoje i mnogi drugi
primeri latica, medu kojima je i slobodna Bulova algebra generisana atom-
skim recenicama iskaznog racuna, koja je izomorfna sa klasicnom binarnom
Bulovom algebrom (taj izomorzam na BA(0, 1) je zapravo istinitosna
vrednost, i uopste, moze se pokazati da je svaka konacna BA izomorfna sa
BA nekog partitivnog skupa, a detaljnije osobine izomorzama daje Stounova
teorema reprezentacije Bulovih algebri).
Denicija 2.7 Ako je L univerzalno ogranicena latica tj. 0 x 1 za
svako x X, i ako postoji preslikavanje : L L takvo da je:
x (x) (slaba negacija)
y x ako x y (antitonost, pokazuje se da je povezana sa De
Morganovim zakonima)
0 = 1, 1 = 0 (Bulovi granicni uslovi)
onda je takav par (L, ) fazi logika (primer modela je ([0, 1], i
KD
, t
G
, s
G
, n
L
)).
Ako dodatno vazi zakon nekontradiktornosti x x = 0 za svako x L,
onda ta struktura predstavlja logiku (ovako denisana slaba negacija se zove
i pseudo komplement, a ako vazi involucija onda je to jaka negacija).
Bulova algebra se onda denise kao komplementarna distributivna latica (ne-
gacija postaje jaka, za razliku od intuicionisticke logike). Znacaj GpBP u
odnosu na ovu formalnu algebarsku deniciju fazi logike je jasnija primena,
i s druge strane, bolja formalna utemeljenost u odnosu na zadeovsku fazi
logiku (koja je vec dozivela mnoge prakticne primene, ali i kritike).
2.8.6 Hajekov pristup, fazi teorija modela i ontologije
Poseban uopsteni slucaj predstavljaju reziduirane latice kao strukture
koja predstavlja laticu + monoid + aksiome rezidualnosti ((x, y, z L)y
xz x y z x z/y, najveci y se zapisuje kao y xz tj. desni
rezidual, najveci x kao x z/y tj. levi rezidual), BL algebre BL(L, , , )
( je snazna konjunkcija) sa Hajekovim skupom aksioma (modus ponens kao
pravilo zakljucivanja) i neprekidnom t-normom kao njihovo uopstenje. U BL
jezik se dodatnim denicijama uvode dodatni logicki veznici:
slaba konjunkcija: A B A (A B)
negacija: A A (slicno intuicionistickom pristupu)
ekvivalencija: A B (A B) (B A) (sto se moze pokazati
ekvivalentnim sa (A B) (B A))
slaba disjunkcija: A B ((A B) B) ((B A) A)

Hajekove aksiome (u maniru iskaznog racuna i Hilbertovog formalnog sis-
tema) jesu:
(BL1 )(A B) ((B C) (A C))
(BL2) A B A
(BL3) A B B A (za koju se pokazalo da je suvisna)
(BL4) A (A B) B (B A)
(BL5a) (A (B C)) (A B C)
(BL5b) (A B C) (A (B C))
(BL6) (A (B C)) (((B A) C) C)
(BL7) A
Aksiome BL logike prvog reda BL1 su:
(1) (x)A(x) A(y)
(1) A(y) (x)A(x)
(2) (x)(A B) (A (x)B)
(2) (x)(A C) ((x)A C)
(2) (x)(A C) ((x)A C)
28 Seminarski rad
(y je smena za x u A, x nije slobodna u C)
Kod BL1 je moguce konstruisati tako i teoriju modela ((x)A(x) inf
x
[[A(x)[[,
(existsx)A(x) sup
x
[[A(x)[[, gde je [[A[[ V al(A) stepen istinitosti za
dati model M i t-normu). Tako razlicite t-norme denisu semantiku (a
time i s-norme, i uopstene implikacije i negacije, tj. funkcije t, c, n i i,
kako su vec ranije denisane) razlicitih fazi logika: Lukasiewicz-evu, Gede-
lovu, proizvod (produkt) logiku, ili neku drugu - i svakoj modeli odgovaraju
odredenoj algebri (BL u uopstenom slucaju, MV-algebri, G-algebri, pro-
dukt algebri) i sistemu aksioma (BL, i dodatno A A, A A A,
A ((A (A B)) (B B)), redom).
Za razliku od pristupa Hajekove fazi logike, fazi deskriptivne logika (DL)
koja polazi od dijalekta deskriptivnih logika (koje predstavljaju prosirenje
frejmova i semantickih mreza, pre svega nastale kao praktican sintaksni alat
koji je kasnije upotrebljen u standardima web ontologija). DL se sastoji iz
vise jezika cije kombinacije daju razlicite dijalekte, i svodi se na PR1 re-
strikovan na unarne i binarne predikate, i jezik za upravljanje konceptima
tj. opisima domena - razmatra se ovo prvo pre svega. Medutim, u [FDL] i
[GCI] navedeni dijalekat DL koji se prosiruje u fazi DL omogucava prakticnu
upotrebu fazi logike nad Web ontologijama (dijalekat namenjen OWL-DL
jeziku, kao i OWL koji je veoma blizak DL, jednim od osnovnih struktura
semantickog web-a). Na sintaksnom nivou DL nije potpuno formalna jer
nije moguce konstruisati odgovarajucu teoriju modela i pokazati komplet-
nost. Hajek u [PH] navodi postupak kojim se ovo moze prevazici upotrebom
posebne denicije zadovoljivosti gde je onda moguce iskazati kompletnost DL,
ali pod uslovim da se koristi iskljucivo logika Lukasiewicz-a (zbog uvodenja
logickih konstanti u jezik, sto je problematicno) i da se ne koristi kvantika-
tor ,,mnogi. Pored toga, kritikuje ovo resenje zbog kompleksnosti racunanja
(kao i klasicnu DL), kao i zbog problema implementacije.
2.8.7 Zadeov pristup
U klasicnom iskaznom racunu implikacija je logicki operator (veznik) cija
se vrednost moze zadati tabelom. U zadeovskoj fazi logici umesto iskaznih
promenljivih se koriste fazi skupovi i proizvod skupova kao implikacija. Pre
potpune denicije fazi recenica ovog tipa potrebno je denisati proizvod fazi
skupova A nad U i B nad V :
A B =
def
_
UV
A
(u)
B
(v)/(u, v)
jer se implikacijom prakticno formira fazi relacija medu fazi promenljivama.
Tako se recenica ,,Ako A onda B zapisuje kao AB (Mamdani) ili recenica
,,Ako A onda B inace C moze zapisati kao A B + A C (Zade: pa
ako se odbaci inace-grana onda se dobija A B + A V ). Dakle, u fazi
logici se implikacija moze denisati na vise nacina. Sledi deo tabele varijanti
iz [FOUND] (koje su proucavali Mizumoto, Zimmerman 1982.) kao relacija
nad U V , u U, v V :
Ra 1 (1 u + v)
Rm (u v) (1 u)
Rc u v
Rb (1 u) v
Prakticno se najcesce koriste pomenuti max-proizvod i max-min (npr.
Rc, dok Zade koristi Rb i Ra).
2.8.8 Kompoziciono pravilo zakljucivanja
Ako je je R fazi relacija od U ka V , x fazi podskup od U, y fazi podskup
nad V indukovan fazi skupom x se dobija kao kompozicija (x kao unarna
relacija):
y = x R
Ovo pravilo se smatra prosirenjem modus ponensa (uopsteni MP - General-
ized Modus Ponens, GMP). Ono dozvoljava (pored osobina klasicnog MP)
npr. da nekakva promena premise (npr. odredbama) daje nakon primene
istog pravila nekakvu promenu u zakljucku (B
= A
R, R = A B
proizvoljna kompatibilna (u smislu kompozicije) fazi relacija, A
i B
su
nastali od A i B redom, primenom ogranicenja, algebarskih operacija ili ne-
gacije ili njihovom kompozicijom). Najcesce koriscena pravila zakljucivanja
su:
uopsteni modus ponens
AB,A
gde je B
= A
(A B)
uopsteni modus tolens
AB,B
gde je A
= (A B) B
30 Seminarski rad
zakon tranzitivnosti (silogizam)
AB,BC
AC
De Morganovi zakoni (A B) = A B
(A B) = A B
Uopste, fazi iskaz se moze predstaviti kao ,,X je A (gde je X domen,
A fazi skup - problemom iskazivanja fazi vrednosti recenica ovakvog tipa
koje podsecaju na recenice prirodnog jezika se bavi posebna oblast (fazi)
racunanja recima) a fazi pravilo kao
X je A Y je B
Ovakvo pravilo uspostavlja relaciju medu fazi iskazima (nije implikacija) i
obicno se takvo pravilo zapisuje u obliku matrice. Ovakva se fazi asocija-
tivna matrica R koja mapira fazi skup A u fazi skup B zove jos i Fazi Asoci-
jativna Memorija (Fuzzy Associative Memory - FAM, Kosko, 1992). Umesto
obicnog linearnog preslikavanja b = R a zadatog matricnim mnozenjem
b
j
=
n
i=1
a
i
m
ij
, j = 1, n obicno se koristi operator max-min kompozi-
cije b = R a zadat sa b
j
= max
i=1,n
min[a
i
, m
ij
], j = 1, n (mada
moze biti i max-proizvod kompozicija). Uopsteni postupak dobijanja ma-
trice R =
AB
:
AB
=
_
_
_
V al(a
1
b
1
) V al(a
1
b
2
)
V al(a
2
b
1
)
.
.
.
.
.
.
_
_
_
= (r
ij
) = R
i vazi
B
=
AB
- zavisno od denisanja operatora implikacije (ili
i-norme) V al(a
i
b
j
) = i(a
i
, b
j
) denise se i matrica zakljucivanja R.
Ako je data skup iskaza X je A
i
Y je B
i
, ova matrica moze zapravo
biti relacija MAMD(x, y) =
_
n
i=1
(A
i
(x) B
i
(y)) (spisak svih mogucnosti,
tzv. Mamdanijeva formula), ili RULES(x, y) =
_
n
i=1
(A
i
(x) B
i
(y)) (kon-
junkcija svih implikacija) u smislu generalizovanog modus ponensa.
2.8.9 Max-Min zakljucivanje
Ako se minimumom denise operator implikacije m
ij
= V al(a
i
b
j
) =
min(a
i
, b
j
) onda se za data dva fazi skupa na osnovu ove formule denise
matrica M.
Ako su u pitanju ,,trougani fazi skupovi (granica linearna), onda se
slikanje nekog skupa A
svodi na odsecak B na visini vrha preseka A i A
na nize, sto proizilazi iz denicije i osobina ovakvog preslikavanja. Npr.

ako je
A
(x
k
) pomenuti vrh ili jedna diskretna izmerena vrednost, sto se
najcesce koristi kao ulaz (kao da su ostale vrednosti ulaznog vektora 0), vazi
za diskretne vrednosti y X:
b(y) =
A
(x
k
)
B
(y), y X
B
B
Pravilo
A B
A
A
2.8.10 Max-Proizvod zakljucivanje
Ovaj nacin zakljucivanja se dobija ako se proizvodom denise operator
implikacije m
ij
= a
i
b
j
.
32 Seminarski rad
Pravilo
B
B
A
A
B A
Preslikavanje trouglova ima osobine b(y) =
A
(x
k
)
B
(y), y X ako je
A
(x
k
) pomenuti vrh) slicne prethodnom, ali se ovde dobija ,,snizeni ali
ceo trougao umesto odsecka. Za jednu ulaznu diskretnu vrednost onda vazi:
b(y) =
A
(x
k
)
B
(y), y X
2.8.11 Pravila sa vise premisa, vise pravila i procedura zakljucivanja
Ako imamo dve premise A i B (moze ih biti i vise, analogno) razresenje
mozemo naci (Kosko, 1992) posavsi od toga kao da imamo dva pravila A C
i B C sa svojim matricama M
AC
i M
BC
td. vazi:
A
M
AC
= C
A
M
BC
= C
B
Tada se denise C
= C
A
C
B
ako je u pitanju konjunkcija (i-link) A
B C, odnosno C
= C
A
C
B
ako je u pitanju disjunkcija (ili-link)
A B C. U ranije pomenutom specijalnom slucaju trouglastih skupova,
minimum odnosno maksimum respektivno konjunkcija odnosno disjunkcija
vrhova trouglova odreduje prag odsecanja odnosno sabijanja (zavisno od toga
da li se koristi max-min ili max-proizvod zakljucivanje) skupa B. Za date
diskretne ulazne vrednosti a
i
=
A
(x
i
) i b
j
=
B
(y
j
) i diskretne vrednosti
z X domena vazi onda:
C
Spajanje Zakljucivanje
min(a
i
, b
j
)
C
(z) I Max-Min
max(a
i
, b
j
)
C
(z) ILI Max-Min
min(a
i
, b
j
)
C
(z) I Max-Proizvod
max(a
i
, b
j
)
C
(z) ILI Max-Proizvod
Ako postoji vise pravila L
1
R
1
, , L
n
R
n
sa svojim matricama
M
1
, , M
n
onda se zakljucak moze dobiti disjunkcijomM =
_
n
i=1
M
i
element-
na-element matrica svih tih pravila (vid ili-linka). U fazi ekspertnom sistemu
u svakom cilkusu racunanja prakticno sva pravila odjednom ucestvuju u svim
kombinacijama koja namece fazi mreza zakljucivanja. Postoje skoljke za
pravljenje fazi ekspertnih sistema (kao sto su to npr. FLOPS, MATLAB
Fuzzy Toolbox ili FuzzyCLIPS) ali su takvi fazi produkcioni sistemi skloni
kombinatornoj eksploziji i jos uvek daju dobre rezultate samo u specicnim
oblastima. Zavisno od prirode pravila moguce je to racunanje optimizovati
do izvesne granice. Jedan od nacina je obelezavanje pravila tezinama w
i
(npr.
srazemerno normi matrice pravila) i odbacivanje onih ispod zadatog praga,
kao i upotreba nekog od dodatnih else-linkova (pored i-linka i ili-linka):
istinitosno-kvalikacionog linka: za svako pravilo R
i
, i = 1, , n se
racuna koecijent T
i
=
_
xX

B
i
(x)/
_
xX

B
(x) i onda se uzima rezul-
tat pravila R
j
maksimalnog koecijenta T
j
= max T
i
.
aditivnog linka:
B
=
B
i
w
i
za pravila R
i
, i = 1, , n koja ucestvuju.
Moglo bi se reci da je ovakva procedura fazi zakljucivanja petorka (I, C, L, s, t)
gde je I neka relacija implikacije, C operator kompozicije, L else-link koji se
koristi, s i t izabrane (ko)norme (moguca je i kombinacija razlicitih proce-
dura). Takode, kao specicna primena ovakvih sistema (gde je moguca par-
alelizacija) javlja se racunanje ovakvih fazi mreza zakljucivanja upotrebom
odgovarajucih VLSI arhitektura kao i u kombinaciji sa drugim Soft Comput-
ing tehnikama. Ohrabrajuci rezultat je dao i Kosko 1992. teoremom kojom
pokazuje da klasa aditivnih fazi sistema uniformno aproksimira proizvoljnu
neprekidnu funkciju nad domenom koji je kompaktan (ogranicen i zatvoren
u slucaju realnog skupa).
Dijagram strukture klasicnog fazi ekspertnog sistema:
34 Seminarski rad
Mehanizam fazi zakljucivanja
Baza fazi pravila
Fazifikacija
Defazifikacija
Fazi podaci / ostri podaci
Fazi upiti / ostri upiti
Baza znanja (fazi)
Korisnicki interfejs
Karakteristicne funcije
Ucenje fazi pravila
2.9 Defazikacija (Defuzzication)
Ako imamo fazi zakljucak, za njegovo tumacenje se prakticno cesto ko-
risti defazikacija gde se obicno nekim postupkom izdvoji jedna diskretna
vrednost fazi skupa kao reprezent (postupak suprotan onom koji se naziva
,,fazikacija gde se razlictim metodama kodiraju konceptualizovani podaci
u fazi skupove - npr. nesiguran broj se opisuje trouglom kao fazi skupom).
Najcesce se koristi fazi centroid odnosno nekakva sredina u odnosu na pri-
padnost kao tezinu (najbliza vrednosti u X):
y
n
i=1
y
i
B
(y
i
)
n
i=1
y
i
tj. y =
_

B
(y)ydy
_

B
(y)dy
Ako se trazi zakljucak na osnovu vise fazi pravila A
1
B
1
, ..., A
n
B
n
onda se uzima da je ukupni fazi zakljucak B
n
i=1
B
i
tj.
B
(x) =
max
i=1,n
[
B
i
(x)] (opet vid ili-linka, i-link se realizuje minimumom) i njegov
centroid se tumaci kao diskretna vrednost zakljucka na osnovu svih polaznih
premisa A
. Za fazi sistem oblika:

pravila
_
_
Y
1
is B
1
if X
1
is A
1
1
, , X
n
is A
1
n
.
.
.
Y
m
is B
m
if X
1
is A
m
1
, , X
n
is A
m
n
X
1
is A
1
, , X
n
is A
n
(cinjenice)
L. X. Wang je pokazao da defazikacija njegovog zakljucka y is B
pred-
stavlja univerzalni aproksimator:
B
(y) =
x
1
,,x
n
__
n
i=1
i
(x
i
)
__
m
j=1
n
i=1
A
j
i
(x
i
)
_
B
j (y)
_
2.10 Kompleksnost i izracunljivost
Pokazuje se da su tautologije Hajekove logike (oblik formalizacije fazi
logike) ko-NP kompletne (nezadovoljivost je NP kompletna), zadovoljive for-
mule NP kompletne, a odgovarajuci predikatski racun je u opstem slucaju
neodluciv po Hajeku (Hanikova 2002, Hajek 2005). Ukratko, nije svaka
t norma izracunljiva. S druge strane, pokazano je da svaka aksiomati-
zabilna i kompletna fazi teorija jeste izracunljiva (uz pogodno denisanu
izracunljivost fazi skupova, Gerla, 2006 - ne postoje jos svi potrebni rezultati
u tom smislu, kao sto je to Church-ova teorema). U svakom slucaju, ocigledno
je da fazi sistemi prakticno zahtevaju vise racunanja nego klasicni (nema do-
voljno dobrih poredenja sa verovatnosnim), kao i dodatna istrazivanja u vezi
formalnog zasnivanja i teorije modela.
2.11 Fazi logika i alternativne teorije verovatnoce
Verovatnoca se bavi nekim dogadajem koji se nakon eksperimenta de-
sio ili nije - u realnosti je cesto tesko odrediti sta se desilo, ali nesto sto
se ,,otprilike desilo je koncept fazi skupa (drustvene pojave, ili npr. da
li je pala kisa ili mozda samo malo ?). Dakle, ostar dogadaj X = u za
slucajnu promenljivu X i u U sa nekom verovatnocom p(X=u) moze biti
dodeljen nekom fazi skupu A nad U nekim stepenom odredenim njegovom
karaktersticnom funkcijom (koja, ocigledno, ima potpuno drugaciju ulogu od
raspodele slucajne promenljive). Tada se moze naci verovatnoca fazi skupa
36 Seminarski rad
kao p(A) =
_
U

A
(u)p(X = u). Primer: ako je X sa uniformnom raspode-
lom na nekom skupu kardinalnosti n onda je p(A) =
A
(u)/n. Za takve
skupove se onda kaze da su fazi dogadaji. Za njih takode vaze osobine ostrih
dogadaja: p(A) = 1p(A), p(AB) = p(A) +p(B) p(AB), A B
p(A) p(B). Za karakteristicnu funkcjiju fazi dogadaja X = u se onda kaze
da je funkcija distribucije mogucnosti Poss(X = u) tog dogadaja.
Zade nejasnocu prirodnog jezika i sveta opisuje osobinom f-granularnosti
(gde se vise vrednosti nekih atributa grupisu u granule nerazdvojivoscu,
slicnoscu, blizinom ili funkcionalnoscu). On klasicnu teoriju verovatnoce kao
i logiku vezuje za merenja i merljive aktivnosti, dok fazi logiku i verovatnocu
vezuje za percepciju (perception-based probability theory = PTp). Obicna
teorija verovatnoce se nadograduje u tri nacelna koraka do PTp: najpre
se prethodno skiciranom f-generalizacijom verovatnoce, dogadaji i relacije
vezuju za fazi skupove i dobija se PT
+
. U drugom koraku se f.g-generalizacijom
verovatnoce, dogadaji i relacije cine f-granularnim. Npr. ako je Y = f(X)
preslikavanje, onda se f moze opisati kolekcijom fazi pravila ,,Y is B
i
ako X
is A
i
gde su A
i
i B
i
(i = 1, , n) fazi skupovi u X i Y , redom. Tako se do-
bija PT
++
. Poslednji korak obuhvata postupak nl-generalizacije koji se svodi
na postupak opisivanja potrebnih osobina uslovima preciziranim prirodnim
jezikom (Precisiated Natural Language = PNL), npr. X isp (P
1
[A
1
+ +
P
n
[A
n
) gde su A
i
fazi skupovi a P
i
njihove verovatnoce (detalnjije o tome u
racunanju s recima).
2.11.1 Dempster-
Sejferova teorija
Za razliku od ekspertnih sistema kao sto je PROSPECTOR baziranih na
Bajesovom principu verovatnosnog zakljucivanja ili formalizama kao sto su
Markovljevi i skriveni Markovljevi lanci (stohasticki konacni automati kod
kojih je prelazak iz stanja u stanje obelezen verovatnocom, kod skrivenih
je cak nemoguce unapred odrediti prelaske stanja vec samo posledica), ne-
verovatnosne (neprobabilisticke) teorije koriste pristup koji nije u okvirima
standardne teorije verovatnoce. Tako su Dempster i

Sejfer (Dempster 1967,
Shafer 1976) otkrili ovakav jedan pristup u kojem je polazna ideja mera
nazvana masom m(E) dogadaja u U ili skupa dogadaja i onda posma-
trati nekakvu donju i gornju granicu verovatnoce takvog skupa dogadaja
- mogucnost (credibility) Cr(E) i verovatnost (Plausibility) Pl(E). Tada
vaze aksiome Dempster-
Sejferove (D-S) teorije:

A1 0 m(E) 1 (ako je m(E) > 0 onda je E zizni element)
A2
EU
m(E) = 1
A3 Cr(E) =
CE
m(C)
A4 Pl(E) = 1 Cr(E) =
CE
m(C)
Pokazuje se da je E E Cr(E) + Cr(E) 1, Pl(E) + Pl(E)
1, Cr(E) Pl(E). Potpuno neznanje o ziznom elementu E (ili domenu)
je iskazano sa Cr(E) = Cr(E) = 0, Pl(E) = Pl(E) = 1. Nesig-
urnost u zakljucivanju se propagira niz lanac zakljucivanja ali i kombinuje
- predlaze se jednostavno sledece: ako je A
1
A
2
= A
3
,= onda vazi
m(A
3
) = m(A
1
)m(A
2
). Npr. za pravila: E
1
H
1
(
1
), E
2
H
2
(
2
) vazi
onda m(H) = m(H
1
)m(H
2
) = Cr(E
1
)
1
Cr(E
2
)
2
gde su
1
i
2
koecijenti
uverenja zakljucka. Dalje se racuna Cr(H) i Pl(H) ako je potrebeno prema
aksiomama.
2.11.2 Zakljucivanje s uverenjem
Znacenje uverenja naspram verovatnoce vezuje za prakticno iskustvo, in-
tuitivno ljudsko znanje i drugaciji formalni aparat. Uverenje predstavlja
meru da je nesto moguce odnosno verovanja da je tako (moguce naspram
verovatno). Pravilo E
1
E
2
... H tako ima faktor uverenja (certainity
factor) koji ima vrednost od 1 (potpuno netacno) do 1 (potpuno tacno).
MYCIN koristi takav pristup (Giarratano, Riley, 1989), s tim da je naglasak
bio na mehanizmu i formuli koja bi imala osobine: komutativna (da bi se
izbegla zavisnost rezultata od redosleda primene pravila) i asimptotna (svako
pravilo koje dodatno podupre uverenje ga povecava asimptotski ka 1).
2.11.3 Mere verovanja i neverovanja i ukupno uverenje
Uvode se mere verovanja
B
(belief) i neverovanja
D
(disbelief) takode
tako da budu komutativne i asimptotne. Nakon prikupljanja svih podataka
(za i protiv) i racunanja ovih mera za datu hipotezu H se odreduje ukupno
uverenje (net belief): =
B
D
. Na osnovu dokaza E uverenje u hipotezu
se moze uvecati ako je p(H[E) > p(H) ili smanjiti ako je p(H[E) < p(H)
(odnosno, povecava se neverovanje u potonjem slucaju):
38 Seminarski rad
B
(H, E) =
_
1, ako je p(H) = 1
max [p(H|E),p(H)]p(H)
1p(H)
, inace.
D
(H, E) =
_
1, ako je p(H) = 0
min[p(H|E),p(H)]p(H)
p(H)
, inace.
... i odavde se vidi da je 0
B
(H, E) 1 i 0
D
(H, E) 1. Dalje,
(H, E) =
B
(H, E)
D
(H, E) ima vrednost -1 ako E potpuno opovr-
gava H, 0 ako E nije dokaz (nedostatak dokaza - E je nezavisan od H tj.
p(H[E) = p(H) pa su obe mere i uverenje onda jednake 0), ili 1 ako E
potpuno potvrduje H. Zbir (H, E) + (H, E) uopste ne mora biti 1.
2.11.4 Propagiranje uverenja
Za dato pravilo
E H (PRAV ILO)
racuna se uverenje kao (H, E) = (E)(PRAV ILO). Ako je u pitanju
konjunkcija
E
1
E
2
... H (PRAV ILO)
onda je:
(H, E
1
E
2
...) = min
i
(E
i
)(PRAV ILO)
a ako je disjunkcija
E
1
E
2
... H (PRAV ILO)
u pitanju onda je:
(H, E
1
E
2
...) = max
i
(E
i
)(PRAV ILO)
Ako dva pravila zakljucuju o istoj hipotezi, onda se ,,akumulira uverenje
prema (Shortlie, Buchanan, 1975):
B
(H, E
1
&E
2
) =
_
0,
D
(H, E
1
&E
2
) = 1
B
(H, E
1
) +
B
(H, E
2
)(1
B
(H, E
1
)), inace.
D
(H, E
1
&E
2
) =
_
0,
B
(H, E
1
&E
2
) = 1
D
(H, E
1
) +
D
(H, E
2
)(1
D
(H, E
1
)), inace.
... odnosno, ako se odmah racuna uverenje (
1
i
2
su izracunata uverenja
dvaju pravila):
(
1
,
2
) =
_
1
+
2
(1
1
), ako je
1
,
2
> 0
1
+
2
1min [|
1
|,|
2
|]
, jedan od
1
,
2
< 0
1
+
2
(1 +
1
) inace.
Pokazuje se da se dubinom ovakvog zakljucivanja brzo gomilaju greske (racunanja).
2.11.5 Mogucnost i potrebnost
Kao uopsteni koncept mere neuverljivosti (uncertainity) nekog dogadaja
(ili skupa) E, Zade, Sugeno, Duboa i Prade (Duboius, Prade, 1988) uvode
tzv. parametar uverenja g(E) : 0 g(E) 1, E U. Kada je do-
gadaj siguran, onda je g(E) = 1 ili ako je nemoguc onda je g(E) = 0
- obratno ne mora da vazi. Mogucnost (possibility) : U [0, 1] je
stepen kojim neka hipoteza H ocenjena mogucom (npr. od strane nekog
eksperta). Mogucnosti H i H su slabo povezane za razlik od njihovih
verovatnoca: max ((H), (H)) = 1. Za nju vazi (A, B U)(A B) =
max((A), (B)). Ako je (A) = 1 i AE ,= onda je dogadaj E siguran,
inace je (A) = 0. Takode, potrebnost (necessity) je funkcija N : U [0, 1]
td. (A, B U)N(A B) min(N(A), N(B)). Pored ovih, vazna je i
funkcija raspodele mogucnosti (possibility distribution) Poss : U [0, 1] td.
Poss(E) = (E). Vaze aksiome:
a1 E
1
E
2
g(E
1
) g(E
2
) (monotonost)
a2 (A, B U)g(A B) max(g(A), g(B))
a3 (A, B U)g(A B) min(g(A), g(B))
a4 (A) = 1 N(A)
a5 min(N(A), N(A)) = 0
40 Seminarski rad
a6 (A U)(A) N(A)
a7 N(A) > 0 (A) = 1
a8 (A) < 0 N(A) = 0
a9 (A) + (A) 1
a10 N(A) + N(A) 1
Moze se pokazati da je Cr ekvivalentno potrebnosti N i Pl da je ekvivalentno
mogucnosti akko zizni elementi formiraju ugnjezdene nizove skupova (ako
su zizni elementi elementarni tj. cine ih samo pojedini dogadaji a ne skupovi,
onda je E Cr(E) = Pl(E) = p(E)), tako da su D-S i teorija mogucnosti i
posebnosti prosirenje standardne teorije verovatnoce za razliku od teorije uv-
erenja. Ako je E fazi skup onda se distribucija mogucnosti moze iz normirane
karakteristicne funkcije tog skupa.
2.12 Racunanje s recima
Ukratko, fazi racunanje s recima (CW = Computing with Words) se bavi
fazi vrednoscu kanonskih formi (canonical form) oblika: X is R gde je R fazi
relacija a X uslovljena promenljiva (constrained, u smislu bliskom ,,test-score
semantics i CLP, Constrained Logic Programming). Vise takvih uslova se
grupise oko jednog iskaza p nekog (prirodnog npr.) jezika sto se pise kao:
p X is R
i to je jedna eksplicitacija iskaza p. Spomenut je ranije u tekstu vec uslovni
oblik ,,Y is B if X is A, a ovakvi i prethodni uslovi se nazivaju osnovnim.
Prirodni jezik (NL = Natural Language) namece potebu za opstijim oblikom
uslova, i Zade predlaze generalizovani oblik uslova ,,X isr Rgde diskretna
promenljiva ,,r u kopuli ,,isr upucuje na koji nacin R uslovljava X:
e jednakost (skraceno =)
d disjunktivno (moguce - possibilistic - skraceno blanko:
ima znacenje PossX = u =
R
(u) gde je R =
X
distribucija
mogucnosti (possibility distribution))
c konjunktivno
p verovatnosno (npr. X isp N(m,
2
))
vrednost verovatnoce
u uobicajeno (usuality)
rs slucajni skup (random set, Dempster-
Sejferova teorija radi sa ovakvim i

prethodnim uslovima - kao pravilo zakljucivanja: X isp P, (X, Y ) is Q
Y isrs R)
rsf slucajni fazi skup (random fuzzy set)
fg fazi graf (lukovi su obelezene stepenom pripadnosti - vid fazi relacije R =
A
i
B
i
za pravila ,,Y is B
i
ako X is A
i
)
...
Za propagiranje ovakvih uslova se koriste fazi pravila zakljucivanja kao sto
je GMP, ali i dodatna pravila za pojedine vrste uslova kao sto su to npr.:
Konjunktivno pravilo 1
X is A, X is B
X is AB
Konjunktivno pravilo 2
X is A, Y is B
(X,Y ) is AB
Disjunktivno pravilo 1
X is A ili X is B
X is AB
Disjunktivno pravilo 2
X is A ili Y is B
(X,Y ) is (AV )(UB)
Konjunktivno pravilo za isc
X isc A, X isc B
X isc AB
Disjunktivno pravilo za isc
X isc A ili X isc B
X isc AB
42 Seminarski rad
Projektivno pravilo
(X,Y ) is A
Y is proj
V
A
gde je proj
V
A = sup
u
A
Surjektivno pravilo
X is A
(X,Y ) is AV
Kompoziciono pravilo
X is A, (X,Y ) is B
Y is AB
Uopsteni modus ponens
X is A, Y is C if X is B
Y is A(BC)
Pravilo preslikavanja (princip ekstenzije)
X is A
f(X) is f(A)
gde je f : U V i
f(A)
() = sup
u: =f(u)
A
(u)
Pravilo inverznog preslikavanja
f(X) is A
(X is f
(
1)(A)
gde je
f
(
1)(A)
(u) =
A
(f(A))
Pravilo modikacije uslova
X is mA
X is f(A)
gde je m modikator kao sto je
to negacija () ili odredba (veoma, donekle, zaista, i sl.) a f odreduje
kako modikator menja skup
Pravilo kvalikacije verovatnoce
(X is A) is
P is
gde je X slucajna promenljiva
nad domenom U sa distribucijom (gustinom verovatnoce) p(u), je
lingvisticki verovatnosni izraz (verovatno, veoma verovatno i sl.) i P je
verovatnoca fazi dogadaja X is A:
P =
_
U
A
(u)p(u)du
Konceptualna struktura racunanja s recima polazi od znacenja iskaza p koji
se dvema procedurama iz baze objasnjenja (ED = Explanatory Database)
pretvara u odg. promenljivu X i relaciju R i to je onda instanca te baze
i element baze instanci objasnjenja (EDI). Cilj je iz pocetne baze znanja
odnosno iskaza (IDS = Initial Data Set) i upita izvesti iskaz iz zavrsne baze
znjanja (TDS = Terminal Data Set).
Iskazi NL
lingv. promenljiva
Polazak Fazi skup
granula
fazi pravilo
fazi graf
iskazi NL
semantika (testscore)
fazi uslovi
propagiranje uslova
izvedeni uslovi
lingv. aproksimacija
iskazi u NL zakljucci
premise
kanonske forme
zaklj. u fazi logici
IDS CW TDS
Iskazi NL
eksplikacija
iskaza
propagiranje
uslova
transformacija
uslova
Takode, Zade izgraduje racun pitanja i odgovora (uspostavlja se fazi
relacija medu njima) kao vid pristupa slozenim i nepreciznim sistemima (koji
donosi elemente pretrage fazi baze znanja). Napomena: Zade u svojem tek-
stu koristi sa znacenjem =
def
:
Denicija 2.8 Atomsko pitanje Q je odredeno trojkom Q (X, B, A), gde
je Q skup objekata (lingvistickih promenljivih) na koje se atomsko pitanje
odnosi, B je oznaka pitanja (telo) odnostno klase objekata ili atributa, A je
skup mogucih dozvoljenih odgovora. Kada je potrebno, instance Q, X i A se
obelezavaju malim slovia q, x, a. Kada se X i A podrazumevaju pise se:
Q B
44 Seminarski rad
a specicno pitanje sa dozvoljenim odgovorom
Q/A B?a
odnosno
q/a B?a
Ova trojka se moze posmatrati kao skup promenljivih B(x), x X tako
da vazi B(x) = a i neka numericka vrednost ili lingvisticka su dodeljeni
promenljivi B(x). Npr. odgovor na pitanje ,,0.8 je da li je vaza crvenaje
ekvivalentno crvena(vaza) = 0.8. Q/A par se naziva pitanje/odgovor parom.
Pitanje je klasikaciono ako se B odnosi na fazi skup kao objekat, atribu-
ciono ako se odnosi na atribut (vrednost fazi skupa). Kod klasikacionog
pitanja, odgovor a predstavlja stepen pripadnosti x u B, npr. odgovor moze
biti ostar (numericki) a 0.8 ili lingvisticki a srednje. Kod atribu-
cionog pitanja Q = B? odgovor a predstavlja vrednost atributa B, npr.
B starost, i x Pera, gde a moze biti numericki a 35 ili lingvisticki
a veoma mlad td. vazi
mlad
= 1 S(20, 40) za domen U = [0, 100] (za-
pravo z-kriva) i sl.
Ugnjezdeno pitanje ,,Da li je tacno da je (...((x is w) is
1
)... is
n
) ima
odgovor oblika a ((x is w) is
1
is
n
).
Na primer, ako je kao ranije B starost i pitanje ,,Da li je tacno da (Pera
is mlad)tada, ako odgovor a 0.5 na pitanje onda je Perina starost zadata
sa B(Pera) =
B
1
(0.5) = 30 gde je B(Pera) =
B
1
() =
B
1
. Uopste,
za a (x is w
1
) is (w
1
je fazi podskup domena U) vazi a
x is w
2
gde
je w
2
=
w
1
1
, gde je je kompozicija fazi relacija. Tada je za prethodni
primer je lingvisticka istinitosna vrednost karakterisana sa
. Za pomenuti
ugnjezdeni upit onda vazi a
x is w
n+1
gde je:
w
n+1
=
w
n
1

n
w
n
=
w
n1
1

n1
...
w
2
=
1
1

1
Na osnovu ovoga se denisu slozena (kompozitna) pitanja sa ciniocima Q
1
, , Q
n
i telima B
1
, , B
n
koja su n-adicna (npr. ako n = 1 onda su monadicna) i
karakterisana relacionom reprezentacijom B(B
1
, , B
n
). Uvode se tabelarni
zapisi, ili skraceni algebarski: i-ti red tabele je onda zapisan kao odg. Q/A
parovi Q
1
r
1
i
Q
n
r
n
i
//Qr
i
ili samo r
1
i
r
2
i
r
n
i
//r
i
i tada je B =
i
r
1
i
r
2
i
r
n
i
//r
i
.
Postoji i analiticka interpretacija ovakvih pitanja. Granajuci upiti su onda
oblika Q
= a
2
1
a
1
1
a
3
1
//a
1
+ a
2
1
a
1
1
a
3
2
//a
2
+a
2
1
a
1
2
//a
2
+ .
Vise o tome u [words], [GRAN], [SCFL] i [FSNEW].
46 Seminarski rad
2.13 Fazi algoritmi
Fazi algoritam bi nacelno mogli opisati kao ureden skup fazi instrukcija
nakon cijeg se izvrsenja dobija priblizno resenje nekog problema ili neka akcija
(fazi instrukcije se ticu fazi skupova, verovatnoca, dogadaja, relacija, funkcija
i drugih fazi entiteta). Kod fazi ekspertnih sistema je naglasak na mehanizmu
fazi zakljucivanja kome je prepustena kontrola toka izvrsenja pojedinih op-
eracija. Kod fazi algoritama kontrola toka vise lici na klasicne algoritme
- mogu se uporediti i sa prosirenim mrezama prelaska (ATN - Augmented
Transition Networks) kojima su pridodata fazi uslovna pravila na prelasku
i operacije nad fazi skupovima i relacijama (fazi Petri mreze i fazi grafovi,
gde se fazi algoritam svodi na fazi relaciju tj. racunanje se tada svodi na
racunanje te fazi relacije). Fazi algoritam podrazumeva i ostre (klasicne)
iterativne i kontrolne elemente. Zade algoritme deli u cetiri nacelne grupe:
1. Denicioni algoritam - denise trazeni fazi skup u terminima zadatih
fazi skupova (izrazen fazi operacijama nad njima, mozda rekurzivno)
ili daje efektivnu proceduru odredivanja pripadnosti istom (npr. pred-
stavljanje slozenih pojmova kao sto je rukopis jednostavnijim fazi poj-
movima).
2. Generacioni algoritam - za razliku od prethodnih generise trazeni skup
(npr. pomenuti rukopis)
3. Relacioni i bihejvioristicki algoritam - opisuje vezu ili veze medu fazi
promenljavama, a ako pri tom opisuje (simulira) ponasanje nekog sis-
tema onde je takav algoritam bihejvioristicki.
4. Algoritam odluka - daje priblizan opis strategije ili pravila odluke (npr.
upravljanje nekim sistemom)
Na Zadeovoj stranicu [WWW] se mogu naci njegovi originalni tekstovi, ali i
prezentacije rada BISC (The Berkeley Initiative in Soft Computing), gde se
razmatraju fazi sistemi pomenuti u zadnja dva poslednja odeljka kao i neke
druge njihove primene.
3 Neuronske mreze
3.1 Uvod
Proucavanje ljudskog mozga i razmisljanja je u razlicitim oblicima staro
hiljadama godina. Osnovnim naucnim i bioloskim principima funkcionisanja
mozga raspolazemo tek nesto vis od 100-200 godina - pogotovu se dugo nije
znalo nista o funkcionisanju osnovnog gradivnog elementa nervnog sistema i
mozga - nervne celije, neurona. Mogla bi se napraviti podela disciplina koje
proucavaju funkcionisanje ljudskog mozga i strukture neurona prema broju
neurona: brojem reda 10
11
tj. na nivou celog mozga kao organa se bave
logika, psihologija, i sl. Negde na sredini bi bila, recimo, neurohirurgija, a
neurologija i neuronauke onda odatle sve do pojedinih neurona. Vestacke
neuronske mreze ili skraceno, neuronske mreze (NM), su matematicki i elek-
tronski modeli rada struktura neurona na najnizoj lestvici po broju neurona,
od pojedinih do negde reda od 10
3
do 10
4
(uglavnom daleko manje, a primera
radi, samo jedan neuron moze imati i do 10000 dendrita tj. ,,ulaza iz drugih
neurona) - i to dosta grubi modeli (ne uzimaju se obzir npr. hemijski procesi
i supstsnce, neurotransmiteri (zaduzeni za prenos potencijala u sinaptickim
spojevima), promenu strukture u toku vremena, hormone i drugo, vec se uz-
imaju u obzir samo elektricni impulsi) - ali koji dobro aproksimiraju rad NM
na tom nivou.
Istorijski gledano, prvi korak u nastajanju NM napravili su neuroziolog
1943. Varen Mekalok (Warren McCulloch) i matematicar Volter Pits (Walter
Pitts) svojim radom o tome kako bi neuroni mogli raditi i jednostavnim mod-
elom realizovanim elektricnim kolima (pokazalo se da to nije sasvim tacan
model bioloskih NM ali je znacajno uticao na kasnije modele - svaki neuron
je funkcija koja zavisi od vremena i ulaznih signala kombonovanih logickim
operacijama, npr. N
3
(t) = N
2
(t 1) N
1
(t 2)), zatim Donald Hebb 1949.
otkricem favorizovanja putanja koje su vec koriscene. Nekako s razvojem
racunarskih tehnologija i VI (od 1956. okupljanjem u Dartmutu) uporedo
postaje popularnija i ideja NM - Dzon fon Nojman predlaze osnovne elek-
tronske elemente za realizaciju neurona, 1959. prva poznata prakticna pri-
mena (ADALINE). Frenk Rozenblat 1962. daje poznatu strukturu ,,Percep-
tron u knjizi ,,Principi neurodinamike (ponderisani zbir ulaza i prag koji
daje dve vrednosti) koji je mogao da klasikuje prostor ulaza u dve klase.
Medutim Marvin Minski i Sejmur Papert 1969. u svojoj knjizi ,,Percep-
48 Seminarski rad
troni pokazuju da takva struktura nemoze da realizuje mnoge veoma jed-
nostavne operacije kao sto je to npr. logicka XOR-kapija (jer jednoslojni per-
ceptron klasikuje samo linearno separabilne skupove - dok je, kako je 1951.
S.C. Kleene pokazao, Mekalok-Pitsov model neurona sposoban racunski ek-
vivalentno elektronskim racunarima). Takvi zakljuci i pre svega losa ,,opsta
klima u vezi NM su stvorila krizu i mnogi istrazivacki projekti su ostali
bez prihoda. Tako je bilo sve do sredine 80-tih (1982. Dzon Hopld (John
Hopeld, Caltech) i Kohonen nasli nove strukture NM i primene, i nekako
back-propagation algoritam postaje ponovo popularan iako ga je grupa au-
tora otkrila jos 70-tih: Werbor, Parker, Rumelhart, Hinton, Williams).
3.2 Osnovni model neurona
Bioloski neuron, kako je pomenuto, ima mnogo dendrita (ulaza) oko some
(sredisnji deo s jedrom) i samo jedan izlaz (akson), koji se preko sinapsi
spaja s mnogo dendrita drugih neurona. Svaki dendrit moze uticati na eksc-
itaciju ili inhibiciju neurona - ako je dovoljno ekscitovan, neuron se okida tj.
salje elektricni impuls (od 70-100 mV koji nastaje kao razlika u potencijalu
tecnosti unutar i izvan celijske membrane Na-K pumpom) niz akson (u pros-
eku je frekvencija okidanja najvise 100 puta u sekundi, a signal nalik talasu
putuje od jedne do druge Ranvijeove tacke aksona - ta tacka ponovo dostize
potencijal potreban za okidanje tek za 1 ms - refraktorna perioda). Pokazuje
se da je dovoljno sve racunati u vremenski jednakim koracima (sinaptickim
kasnjenjem), iako to nije sasvim precizan model bioloske NM. Zanimljivo je
da visok stepen paralelizacije prisutan u bioloskoj NM (ciji su osnovni el-
ementi - neuroni - snage reda najvise 10
3
s) omogucava neuporedivo vecu
racunsku moc nego danasnji racunari ciji su osnovni elementi brzine reda
10
9
s.
i
r
f
a
q
y
t
in
i0
w
k
E
k k
(x , y )
x
x
* *
y
i
w
i1
w
i1
w
i1
w
w
i1
w
i1
= b (bias)
i
0
i
X
i
O
i
PE
i
i
2
i
3
i
n1
i
n
X
X
.
.
.
X
X
1
X
y
i
i
( net )
Osnovne komponente vestackog neurona (odnosno modela neurona) kao
osnovnog procesnog elementa (PE - ili procesnog cvora, jedinice) NM su:
1. ulazi sa tezinskim koecijentima (ponderima) - ulazi se obicno
predstavljaju vektorom tj. kolonom realnih brojeva x
i
= [x
i
j
]
T
j
=
[x
i
j
(t)]
T
j
(za i-ti PE), kao i ponderi (sinapticke tezine) w
ij
= w
ij
(t)
50 Seminarski rad
(takode za i-ti PE tj. neuron), koji nacelno zavise od vremena tj. od
broja iteracija t - stavise, ceo sistem moze zavisiti od vremena i tada
je dinamicki sistem).

Cesto se koristi i jedan dodatan specijalan kon-
stantni ulaz, tzv. bias b
i
, ili ako je x
i
0
= 1 za sve i onda se moze
smatrati da je jednak odgovarajucim ponderima w
i0
tj. vektor pondera
b = [w
i0
]
T
i
se moze posmatrati kao kolona kojom je matrica W = [w
ij
]
prosirena s leve strane u [b[W] - ali je krace isto obelezena sa W.
2. funkcija sumiranja - sumiranje ponderisanih ulaza (ulaza uparenih sa
svojim odgovarajucim tezinskim koecijentima, sto cesto podrazumeva
i njihovo mnozenje) odnosno njihovo agregiranje u jednu vrednost izrazenu
opet realnim brojem realizuje se odgovarajucom funkcijom net odnosno
operatorom. To je najcesce skalarni proizvod (zbir proizvoda ulaza sa
svojim ponderom - tada je vektor funkcija sumiranja svih PE linearni
operator net = [net
i
]
i
T
= Wx + b, ali moze biti i nesto drugo. Neke
funkcije na tu vrednost naknadno primenjuju i aktivacionu funkciju F
i
koja se recimo menja s vremenom ili zavisi od vremenski prethodne
vrednosti aktivacione funkcije (ako se matrica koecijenata W = [w
ij
]
prikaze kao matrica redova W = [w
i
]
T
tj. w
i
= [w
i1
, , w
ij
, ]
T
):
net
i
(t) = net([x
i
j
(t)]
j
T
, [w
ij
(t)]
j
T
) =
j
w
ij
(t)x
i
j
(t) = W(t) x
i
(t),
tj. net(w
i
, x
i
) = w
T
i
x
i
, a
i
(t) = F
i
(a
i
(t 1), net
i
(t))
Umesto indeksa i mogao bi se npr. koristiti par (h, i) indeksa od kojih
h npr. ukazuje kojem sloju pripada dati PE, ali ovako je prakticnije
rasporediti indekse u particije S
h
koje predstavljaju slojeve.
3. transfer funkcija - rezultat funkcije sumiranja se prosleduje unarnoj
funkciji y
i
(a) = f
i
(a
i
(t)) koja najcesce daje vrednost 0 osim ako se
prede prag okidanja (threshold) koji predstavlja osnovni parametar i
zato je sinonim za transfer funkciju funkcija praga okidanja. Neke klase
NM koriste funkcije transfera sa dodatnim parametrom, temperaturnim
koecijentom (sto nije isto sto i temperatura - sum koji se dodaje po-
jedinim neuronima), koji takode ucestvuje u obucavanju NM sto moze
dosta da ubrza proces ucenja. Primeri transfer funkcija (najcesce se
upotrebljavaju linearna i sigmoid funkcije izmedu ostalog zato sto su
svuda diferencijabilne) oblika y = f(a) sa pragom okidanja u nuli:
kapija, stepenasta funkcija y =
_
0, a < 0;
1, a 0.
simetricna kapija y =
_
1, a < 0;
1, a 0.
linearna (identitet) y = a
lin. sa zasicenjem y =
_
_
_
0, a < 0;
a, 0 a 1;
1, a > 1.
simetricna lin. sa zasic. y =
_
_
_
1, a < 1;
a, 1 a 1;
1, a > 1.
logaritamski sigmoid y =
1
1+e
a
hiperbolicki tangens sigmoid y =
e
a
e
a
e
a
+e
a
softmaks y =
e
net
i
j
e
net
j
pozitivna linearna y =
_
0, a < 0;
a, a 0.
integrator y(t) =
_
t
0
a()d
funcija takmicenja 1 samo ako ima najveci izlaz u sloju, 0 inace
52 Seminarski rad
4. skaliranje i ogranicenje - izlaz transfer funkcije se mnozi nekim ko-
ecijentom i dodaje mu se neka konstantna vrednost (gain) - ovo se
retko koristi, a cilj je da izlaz u bude u granicama nekog intervala (ko-
risti se u nekim specijalnim modelima bioloskih NM - James Anderson,
brain-state-in-the-box).
5. funkcija izlaza i kompeticioni ulazi - uobicajeno je da funkcija
izlaza bude jednaka izlazu transfer funkcije y
i
(t) = o
i
(t). Neke topologije
NM dozvoljavaju da izlaz bude dodatno modikovan kompeticionim
ulazima koji dolaze od susednih neurona (na istom nivou ili sa vise
nivoa) i inhibiraju ga ako nije dovoljno jak. Drugo, kompeticioni ulazi
cesto uticu na izbor neurona koji ce ucestvovati u procesu ucenja ili
adaptacije.
6. funkcija greske i povratno-propagirana vrednost - U vecini NM
koje uce racuna se razlika nekog zeljenog izlaza (nakon prethodnog
koraka) i trenutnog izlaza (npr. iz skupa ulaza i izlaza za obucavanje)
(x) = (y(x)) = y
(x) y(x) gde je (x) = [(x)

j
]
T
j
. Takva razlika
se prosleduje funkciji greske (koja moze da stepenuje razliku, zadrzi
njen znak, itd.) i dobijeni rezultat, koji se zove trenutna greska ili
term greske, se prosleduje funkciji ucenja nekog (drugog) procesnog
elementa (i to obicno propagiranjem unazad). Racuna se npr. prosecna
kvadrirana greska nad skupom obucavanja E =
1
p
x
i
m
j=1
j
(x
i
)
2
, gde
su x
i
ulazi skupa obucavanja sa p elemenata i m izlaznih neurona.
7. funkcija ucenja - u svakom krugu ucenja (koji sledi obicno nakon
prethodnih koraka i zapocinje preispitivanjem izlaznih procesnih ele-
menata) funkcija ucenja ili adaptaciona funkcija procesnih elemenata
kojima se prosledi ulaz u funkciju ucenja modikuje vrednosti koe-
cijenata svojeg neurona (npr. zbir ulaznog koecijenta sa proizvodom
ulaznog koecijenata i adaptacionog ulaza). Jedan pristupa bi mogao
biti resavanje sistema jednacina (cak diferencijalnog za mnoge klase di-
namickih i rekurentnih NM, zicki modeli) cije bi resenje (ekvilibrium)
bilo oblika w
novo
ij
= G(wi
staro
ij
, x
i
, x
j
, ) ali se to pokazuje neupotre-
bljivim za bilo koju slozeniju strukturu. Ucenje moze biti nadgledano
(supervised) gde postoji ucitelj, bilo kao skup za obucavanje (poz-
natih ispravnih ulaza i izlaza) ili spoljna ocena valjanosti rezultata.
Ucenje moze biti i nenadgledano (unsupervised) bez spoljne ocene
po nekom ugradenom pravilu - ucenje kroz rad, bez primera.
3.3 Grupisanje neurona i struktura NM
Sam neuron (pa ni jedan sloj nepovezanih neurona) nije dovoljan za iole
slozeniji problem. Prvi pokusaj nasumicnog grupisanja i povezivanja neurona
se pokazao neuspesnim - zakljucak: neophodna je struktura NM odnosno
topologija (veza) NM (ako se posmatra NM kao specican graf). Najjed-
nostavnija i dosad najcesce upotrebljavana struktura NM koja se pokazala
veoma uspesnom je rasporedivanje neurona po slojevima. Tri osnovna tipa
postoje:
1. Sloj ulaza - vektor ulaza se obicno posmatra izdvojeno od ostatka struk-
ture NM. Preko ulaza NM komunicira sa spoljasnim svetom (npr. sen-
zori) ili ulaznim datotekama
2. skriveni slojevi - nalaze se izmedu ulaznog i izlaznog sloja. Moze
ih biti vise i nepostoji posebno teorijsko ogranicenje njihovog broja
osim prakticnih iskustava i nekih delimicnih teorijskih dokaza kojima
se pokazuje da je 4-5 slojeva dovoljno za vecinu problema proizvoljne
kompleksnosti. Pokazuje se da povecanje kompleksnosti (kod topologije
primerene problemu) najcesce zahteva povecanje broja neurona po nekim
slojevima a ne broja slojeva
3. izlazni sloj - neuroni ciji se izlazi uzimaju kao rezultat racunanja NM
54 Seminarski rad
Neuroni unutar slojeva obicno nisu povezani osim u nekim slucajevima
gde se takve lateralne veze koriste za takmicenje sa drugima ili inhibiciju
(lateralna inhibicija) - sto zavisi od pondera. Moguca je razlicita upotreba
parametara i drugih komponenti (transfer funkcije npr.) po slojevima. Tok
obrade podataka (odnosno signala) ide od ulaznih neurona ka narednim slo-
jevima (skrivenim) sve do izlaznih i veze se grade samo izmedu susednih
slojeva (cesto u maniru svaki sa svakim):
ako postoji veza od i-tog do j-tog PE onda vazi o
i
= x
j
q
j
za neke indekse
ulaza q
j
(s tim da je dozvoljeno da i-ti PE bude povezan sa vise drugih
PE - jednostavnosti radi se uzima da je q
j
= i),
za vektor ulaznih vrednosti x = [x
i
]
T
i
vazi tako x
i
= x
u
q
u
gde su u indeksi
ulaznih PE a q
u
odg. indeksi ulaza (jedan ulaz moze biti povezan sa
vise PE - jednostavnosti radi uzima se da se poklapa q
u
= i),
vektor izlaznih vrednosti y = [y
j
]
T
j
je isto tako jednak [o
v
]
T
gde su v
indeksi odgovarajucih izlaznih PE
Kod ranije opisane matrice W
h
= [w
ij
] sloja h (h = 1, r, formata (u
h
+
1) s
h
) indeks i oznacava onda indeks PE u trenutnom sloju a indeks j
prethodnog sloja. Ako se posmatra matrica W (formata (s + r + n + 1)
(s +r +n+1)) svih PE X = [x
i
]
i
onda je prakticno koristiti podmatrice W
h
namenjene datom sloju h, ali se onda dodatno mora paziti na veze medu PE
(koji izlazi se dodeljuju kojim ulazima). Ako se W prikaze na sledeci nacin:
net
[h]
= Wx
[h]
=
_
_
I
1
0 0 0
W
1
0 0 0
0 I
2
0 0
0 W
2
0 0
.
.
.
.
.
.
.
.
.
0 0 I
r
0
0 0 W
r
0
m
_
_
_
_
0
.
.
.
0
x
h
1
1
0
x
h
1
x
h
1
+1
.
.
.
x
h
2
x
h2+1
0
0
.
.
.
0
_
_
, I
h
= [1, 0, , 0]
gde je s broj PE, r broj slojeva, a podmatrica W
h
ona koja se odnosi na sloj h
(ulazni sloj u x
[h]
se posmatra kao nekakav prvi niz vrednosti, zatim slede os-
tale izlazne komponente svakog od slojeva redom, sve od izlaznog; vrste I
h
su
sirine kao i W
h
, a tu su samo da sacuvaju bias za naredni sloj), onda se vektor
ulaznih vrednosti x = [x
0
, x
1
, ]
T
(bias x
0
= 1) za dati sloj moze prikazati
kao x
[h]
= [0, , 0[x
h
1
x
h
2
[0, , 0]
T
gde su h
1
i h
2
pocetni i krajnji indeks
sloja h (h
2
h
1
+1 su particije s+r+n+1, pod uslovom da su tako uredeni).
Racunanje onda pocinje ulaznim vektorom [x
0
, , x
n
, 0, , 0] R
n
i slojem
1, tako da izlazi y
[h]
= [0, , 0[y
h
1
y
h
2
[0, , 0]
T
= f(net
[h]
) = f(Wx
[h]
)
postaju ulazi narednog sloja tj. x
[2]
=y
[1]
, i tako redom do poslednjeg sloja
y
[r]
= [0, , 0, y
1
, , y
m
]
T
i vektora izlaza y R
m
(najbolje je da f vrsi
bar ,,pomeranje za svaki sloj na odg. pozicije indeksa u y, tacnije za sirinu
W
h
jer se tako onda koristi jedna matrica W za sve slojeve, npr. f(x) =
f
0
([
0
h
0
E 0
]x) ...). Ovo je samo jedan od mogucih nacina reprezentacije i al-
goritma racunjanja. Ovakav model racunanja je poznat kao racunanje napred
(feedforward) koji se prepoznaje po skoro-dijagonalnoj strukturi matrice W,
ali su moguce i druge varijante. Neki put se koriste povratne veze (feed-
56 Seminarski rad
back, rekurentne NM - ove NM narusavaju prethodno pomenutu dijagonal-
nost i cine performanse i ucenje slozenijim) - od krajnjih neurona (izlaza
obicno) ka prethodnim (npr. u smislu adaptacije ili nekog posebnog mod-
ela toka iteracija racunanja po slojevima - rekurentni ciklus daje rezultat
kada dostigne ekvilibrijum tj. postane stabilan) - ovo je formalizam oblika
konacnih automata ([NN-AA], gde se stabilnost uporeduje sa osobinom ne-
promenjivosti stanja konacnog automata, vektor pondera je stanje, funkcija
ucenja je funkcija promene stanja, itd). Takode, cesto se strukturom NM
eksplicitno ili implicitno (zavisno od nacina obuke i toka racunanja) u pro-
cesu racunanja stvaraju specijalizovani slojevi ili cak delovi slojeva kojima
se postize neki specican zadatak ili deo resenja problema (npr. ulazni neu-
roni vrse nekakvo rasporedivanje slike kao ulaznog signala unutrasnjem sloju
koji izdvaja tj. klasikuje njegove odredene osobine (,,feature selectors,
zaobljenost, vertikalne i horizontalne crte) a onda ih naredni sloj nije klasi-
kuje u odredena slova).
Na kraju, ovako opisana (jedna od najopstijih) klasa NM predstavlja neku
vrstu ,,univerzalnih klasikatora ili aproksimatora objektivne funkcije
f : R
n
R
m
, odakle slede mnoge osobine ali i ogranicenja NM (upotrebom
klasicnog aparata matematicke analize ili drugih metoda masinskog ucenja -
npr. da bi se odredio potreban broj slojeva i PE, ili potrebna velicina skupa
obucavanja i pocetni parametri obuke), i pitanje kada i koje takve funkcije
pripadaju NERF klasi (Network Eciently Representable Functions).
3.4 Obuka i ucenje NM
Brzina ucenja je jedan od bitnih parametara koji uticu na proces ucenja
NM (srazmeran je globalnom koecijentu funkcija ucenja tj. utice na velicine
koraka (delti) kojima se menjaju vrednosti u procesu ucenja). Ako je brz-
ina premala onda proces moze da traje predugo, a ako je brzina prevelika
onda se moze desiti da u procesu ucenja ne dode do nekih nijih promena i
eliminacija nepotrebnih osobina (u gradijent metodi globalni optimum moze
previlikim korakom biti preskocen; mnoge varijante obuke su vidovi gradijent
(hill-climbing) pretrazivanja prostora stanja u cilju minimizovanja greske) ili
proces moze da postane nestabilan (traze se metode koje koriste i jedno i
drugo). Topologija NM je cesto staticna (oznaceni graf tj. veze PE, broj slo-
jeva i broj PE po slojevima), cak je pozeljno npr. u matrici nalik W obeleziti
pondere koji se ne menjaju. Medutim, moguce je da se u procesu obucavanja
i topologija menja pored koecijenata. Zakoni ucenja:
Hebovo pravilo Ako su dva povezana neurona oba aktivna (ekscitovana)
onda treba povecati ponder veze izmedu njih
Hopldovo pravilo Slicno prethodnom - samo se uzima u obzir i kada oba
neurona nisu aktivna i tada se smanjuje odg. ponder, a uvecanja i
smanjenja pondera se rade srazmerno brzini ucenja
Delta pravilo Najcesce upotrebljavano, gde se ulazni koecijenti smanjuju
tako da se smanji razlika trenutnog i zeljenog izlaza. Pravilo menja
pondere tako da smanjuje prosecnu kvadriranu greku NM (Least Mean
Square = LMS metod, ili poznato kao Widrow-Ho pravilo ucenja).
Povratno propagiranje (back-propagation) kao ucenje radi tako sto
izvod transfer funkcije od delte propagira na prethodni nivo da bi
izracunao potrebne razlike pondera i tako redom sve do ulaznog nivoa,
a proces racunanja vrednosti izlaza na osnovu ulaza (i takav tip mreze)
se zove racuanje napred (feedforward). Treba voditi racuna o tome
da skup za obucavanje bude potpuno nasumicno rasporeden, inace se
moze desiti da NM nemoze da dostigne zeljenu tacnost.
Pravilo spustanja niz gradijent Gotovo isto kao i prethodno pravilo, uz
dodatni koecijent ucenja koji se mnozi vrednoscu ucenja kojom se
menja ponder - ovo se koristi npr. kod NM gde su potebne razlicite
brzine ucenja po razlicitim slojevima NM. Pokazuje se da manja brzina
u ulaznim slojevima i veca u izlaznim ubrzava konvergenciju u mnogim
slucajevima (ovo je korisno kada npr. ne postoji postoji poseban model
na osnovu koga su formirani ulazi). Optimalna vrednost brzine ucenja
je
opt
= 1/
max
gde je
max
najveca karakteristicna vrednost Hesiana
greske H(w) = [

2
E(w)
w
ki
w
kj
]
ij
(primer ocene u [LSC]), 0 <
k
< 2
opt
td.
je w
ki
(t + 1) = w
ki
(t)
k
E
w
ki
.
58 Seminarski rad
Kohonenovo pravilo ucenja (Teuvo Kohonen) procesni elementi se takmice
da bi dobili priliku da uce i menjaju svoje koecijente. Procesni element
s najvecim izlazom (,,pobednik) dobija priliku da inhibira takmace ili
da ekscitira susede. Jedino pobednikov izlaz se racuna i jedino pobed-
nik i susedi imaju pravo da menjaju svoje koecijente. Uobicajeno
je da je na pocetku denicija susedstva veca, ali da se suzava tokom
obuke. Pobednicki element je po deniciji najblizi ulazu pa se kaze da
ovavke NM modeliraju distribuciju ulaza (sto je dobro za statisticka i
topoloska modeliranja) i zovu se zato samoorganizujucim preslikavan-
jima ili samoorganizujucim topologijama.
Pravilo kaskadne korelacije Pravilo (Scott Fahlman) gde se pocinje od
nekog okvira i minimalne strukture NM, a onda se tokom obuke di-
namicki dodaju PE u skrivenim slojevima (ili citavi slojevi) i njihovi
koecijenti se zamrzavaju nakon obuke i postaju stalni detektori os-
obina (feature detectors).
3.5 Propagiranje unazad
Klasican algoritam obuke uopstenim delta pravilom i povratnim propagi-
ranjem, kao i odgovarajuca struktura NM racunanjem unapred jeste najcesce
koriscen i primenjivan oblik NM. Uopsteni zadatak je aproksimacija funkcije
: R
n
R
m
uz dovoljno dobar skup obuke (training set) S = (x
k
, y
k
)
k=1,p
gde
je y
k
= (x
k
), 1 k p i p dovljno veliki broj (kriterijumi za S i p slede
kasnije). Tada se za svaki par obucavanja (x
k
, y
k
) = ([x
ku
]
T
u
, [y
kv
]
T
v
) racuna
aproksimacija y
k
na osnovu x
k
= x
k
racunanjem unapred. Vazi x
ku
= x
ki
q
i
tj. x
ku
= x
ki
u
prema ranijoj konvenciji zapisa, gde je i indeks proizvoljnjog
ulaznog PE sa odgovarajucim indeksom ulaza q
i
= u (svi ulazni PE uzi-
maju odgovarajuce ulazne vrednosti iz x
k
), onda po ranijim formulama vazi
(zanemareno je vreme, aktivaciona funkcija je identicna funkciji sumiranja):
net
k
i
(t) = net([x
ki
j
]
T
j
, [w
k
ij
]
T
j
) =
j
w
k
ij
x
ki
j
,
tj. net(w
k
i
, x
k
) = (w
k
i
)
T
x
k
, a
k
i
= net
k
i
, o
ki
= y
ki
= f
ki
(a
k
i
)
Moze se pretpostaviti da je kod w
ij
indeks i polazna PE a indeks j naredna
PE u racunanju (W bi mogla biti prakticno kvadranta matrica svih PE uz
dodatak kolona slobodnih vektora tj. slobodnih koecijenata po ranije nave-
denoj konvenciji, ali se uglavnom racuna samo sloj po sloj, a i vektor x
k
se
onda formira na odgovorajuci nacin, npr. koordinate koje se ne racunaju su
jednake nuli). Slicno vazi za izlazne cvorove i izlazne vrednosti y
k
= [y
kj
]
T
j
:
y
kv
= o
kj
= y
kj
= f
kj
(a
k
j
), gde su j indeksi odgovarajucih izlaznih PE. Skica
algoritma povratne propagacije kod kojeg pocetne vrednosti W nisu posebno
bitne bi bila:
1. racuna se izlaz y
k
na osnovu x
k
iz skupa za obucavanje: y
k
= f(Wx
k
)
2. uporeduju se vrednosti zadatih izlaza y
k
i dobijenih y
k
:
kj
= y
kj
y
kj
,
i racuna se greska odnosno funkcija greske:
E =
2
p
k
E
k
gde je E
k
=
1
2
m
j=1
kj
2
3. racuna se funkcija ucenja (koliko treba dodati ili oduzeti svakom koe-
cijenu) na osnovu povratnih veza i delta pravila - odgovor na pitanje
koliko i u kom smeru promeniti (povecati ili smanjiti - da bi se smanjila
razlika ide se u pravcu negativnog gradijenta) koecijente daje gradi-
jent E
k
= [
E
k
w
jv
]
j
gde vazi
E
k
w
jv
= (y
kj
y
kj
)
f
j
net
k
j
net
k
j
w
jv
i gde su j
indeksi sloja neurona koji se razmatra (pocinje se od izlaznog). Prema
deniciji vazi:
net
k
j
w
jv
= (

w
jv
L
v=1
w
jv
x
kv
) = x
kv
E
k
w
jv
= (y
kj
y
kj
)f
j
(net
k
j
)x
kv
Ako se denise delta
k
w
jv
=
def
(y
kj
y
kj
)f
j
(net
k
j
)x
kv
=
kj
x
kv
,
gde je term greske
kj
=
def
(y
kj
y
kj
)f
j
(net
k
j
) =
kj
f
j
(net
k
j
), ( > 0
je brzina ucenja) onda je funkcija ucenja u tom koraku denisana sa:
w
jv
(t + 1) = w
jv
(t) +
k
w
jv
(t) = w
jv
(t) +
kj
(t)x
kv
(t)
Ako je transfer funkcija linearna, onda je f
j
= 1 i tada je
k
w
jv
=
def
(y
kj
y
kj
)x
kv
60 Seminarski rad
a ako je funkcija logaritamski sigmoid onda je f
j
= f
j
(1f
j
) = y
kj
(1
y
kj
) i tada je
k
w
jv
=
def
(y
kj
y
kj
)y
kj
(1 y
kj
)x
kv
4. promeni zadate koecijente prema prethodnom delta pravilu za sve PE
u istom sloju, a onda to ponavljaj za prethodne slojeve redom sve do
ulaznog uz pretpostavku da je ispravka ulaza trenutnog sloja jednaka
gresci izlaza prethodnog sloja:
osnovno pitanje je kako izracunatu gresku distribuirati na odgo-
varajuce izlaze prethodnog sloja:
E
k
=
1
2
m
j=1
(y
kj
y
kj
)
2
=
1
2
m
j=1
(y
kj
f
j
(net
k
j
))
2
=
=
1
2
m
j=1
(y
kj
f
j
(
v
w
k
jv
x
kj
v
))
2
gde se pretpostavlja da je veza izlaza prethodnog sloja v i ulaza
narednog sloja j: y
kv
= x
k
j
i dalje onda vazi:
E
k
w
vu
=
1
2
w
vu
(y
kj
y
kj
)
2
=
j
(y
kj
y
kj
)
f
j
net
k
u
net
k
u
w
vu
k
w
vu
= f
v
(net
k
v
)x
k
u
j
(y
kj
y
kj
)f
j
(net
k
j
)w
jv
Dakle, ispravka koecijenata prethodnog sloja zavisi od termova
gresaka narednog sloja:
k
w
vu
f
v
(net
k
v
)x
k
u
kj
w
jv
,
kv
= f
v
(net
k
v
)
kj
w
jv
w
vu
(t + 1) = w
vu
(t) +
kv
x
k
u
dakle, term greske skrivenog sloja je isti kao i term greske za ulazni
sloj. Moze biti koristan i faktor momenta :
w
vu
(t + 1) = w
vu
(t) +
kv
x
k
u
+w
vu
(t 1)
5. ponovi ove korake za sve ostale parove iz skupa obucavanja
6. ponavljaj ove korake sve dok se greska E nad svim parovima iz skupa
obucavanje ne svede ispod zadate granice
Izjednacavanje ispravke ulaza narednog sloja i greske izlaza prethodnog
je sustina povratnog propagiranja greske. Jedna iteracija kroz ceo skup
obucavanja se zove epoha. Opisani model (sa racunanjem unapred, koji nije
dinamicki, nema povratnih i lateralnih veza) je primer viseslojnog percep-
trona, s tim da se onda obicno koristi sigmoid kao transfer funkcija. Ako se
neke dodatne osobine uvedu onda vise nije dovoljno uporediti racunanje NM
sa aproksimacijom realne funkcije.
Moglo bi se reci da NM karakterisu: topologija (nacin povezanosti struk-
ture, kao kod obelezenog grafa), postupak racunanja izlaza na osnovu ulaza, i
postupak obucavanja. U narednom delu teksta ce biti dato nekoliko poznatih
primera i klasa NM. Racunanje i obuka mogu biti modelirane u klasicnoj
sekvencijalnoj arhitekturi (npr. kao program na obicnom kucnom racunaru,
ili pomocu specijalizovanog okruzenja kakvo npr. nudi MATLAB sa do-
datkom za NM), i vec tada mogu biti veoma korisna primena (primera radi,
OCR algoritmi dobrim delom tako rade, prepoznavanje govora, neegzaktna
obrada prirodnog jezika i drugo). Takav nacin realizacije je i veoma pogodan
62 Seminarski rad
za simulacije i kao razvojno okruzenje u kojem se isprobavaju razliciti modeli,
sto neke specijalizovane programibilne hardverske implementacije jos uvek ne
nude u takvom obimu (integrisana tehnologija namenjena NM). Ipak, jedna
od glavnih snaga NM lezi upravo u mogucnosti visokog stepena paralelizacije
(na nivou slojeva npr. u racunanju napred) i realizaciji u analognim VLSI
arhitekturama i drugim odgovarajucim paralelnim arhitekturama (hardver-
ski recimo SMP, softverski npr. distribuirano procesiranje koje se poklapa sa
konekcionizmom u srodnim oblastima gde se proucava mnogostruko povezi-
vanje osnovnih elemenata). Ponekad se obuka radi samo simulacijama, a
eksploatacija NM (ili ,,recall) u specijalizovanoj arhitekturi.
3.5.1 Varijante povratnog propagiranja
Varijanta povratnog propagiranja je delta-delta (Delta Bar Delta, Robert
Jacobs) pravilo, gde svaki ponder ima svoju brzinu ucenja koja se moze
menjati vremenom (trebalo bi da opada, i ponasa se heuristicki - ocekivana
greska utice na kasniju obuku) - raste linearno inkrementalno kada greska ne
menja znak, opada geomteriski ako greska cesto menja znak, greska ne utice
direktno (ne ide se najstrmijim spustom niz gradijent), a koristi se i procena
zakrivljenja povrsine greske (vece promene kod vecih zakrivljenja).
Postoji i prosireno delta-delta pravilo (Ali Minai, Ron Williams) gde
se koristi i faktor momenta (trenutna delta zavisi od prethodne - promene
su glatkije i manje je oscilacija), kao i eksponencijalnog usporavanja rasta.
Takode, pamte se greske i koecijenti svake epohe ako su bolji od prethodne
da bi se kasnije vratile (stohasticki) ako se prede prag tolerancije.
Usmerena slucajna pretraga uopste ne koristi gradijent vec nasumice
menja koecijente, pamti smer promene slicno prethodnim varijantama, ali
ne koristi povratno propagiranu gresku - samo izlaznu. Metoda je zato
dosta brza, dobro radi s manjim brojem neurona, ali mnogo vise zavisi od
razumevanja problema tj. od pocetne konguracije koecijenata. Kao u pre-
trazi po dubini pamti se najbolja nadena konguracija i greska, a koriste
se i usmerene komponente (slicno momentima) koje se dodaju svakoj na-
sumicnoj promeni, kao i samo-podesavajuce varijanse koje uticu na velicine
koraka izmene.
NM viseg reda ili funkcionalno povezane NM (Yoh-Han Pao) predstavl-
jaju prosirenja prethodnih metoda gde se samo dodaju novi ulazi kao termovi
algebarskih kombinacija ulaza. Formiraju se najpre proizvodi kombinacija
(drugog reda, treceg reda, itd.) ulaza, zatim se na njih dodatno primenjuju
neke funkcije (sin, cos, min, max).
Postoje tri osnovne preporuke (,,preko palca) u projektovanju ove klase
mreza:
1. kako raste kompleksnost odnosa ulaza i izlaza, tako povecavati broj
neurona u skrivenim slojevima. Rumelhart predlaze da neuroni koji ne
menjaju koecijente bitno u toku obuke mogu da ne ucustvuju dalje ili
da budu cak izbaceni pod nekim uslovima.
2. ako se proces kojim se resava problem i koji se modelira neuronskom
mrezom moze podeliti u vise razlicitih faza, onda treba povecati broj
skrivenih slojeva (inace dodatni slojevi ne predstavljaju dobro uopstenje
resenja vec redundansu u pamcenju)
3. broj elemenata skupa obucavanja predstavlja gornju granicu broja neu-
rona u skrivenim slojevima (veoma je vazno da broj ne bude preveliki
jer se time dobija NM koja ,,znadobro skup obucavanja ali nema dobru
generalizaciju proizvoljnog ulaza) - preporuka je da se broj elemenata
skupa obucavanja podeli sa zbirom dimenzija ulaza i izlaza n + m i
onda podeli sa faktorom koji varira od 2 do 10 za relativno cist skup
obucavanja, pa sve do 50 za skup u kome je prisutno dosta gresaka (sum
moze pozitivno da utice na konvergenciju) u podacima. Ako ulazi pri-
padaju razlicitim klasama, treba ih nasumice birati jer NM tezi ,,da
zaboraviprethodne (generalizacija je sposobnost prepoznavanja ulaza
u istoj klasi).
Inicijalne vrednosti se mogu nasumice birati (0.5) kao i bias, dok treba
da bude relativno mala (0.05 do 0.25).
3.5.2 Perceptron
Minski i Papert su konceptualizovali percpetron predikatski (za razliku
od Rozenblata koji to cini u terminima verovatnoce). Tada je izlaz =
1 akko
n
> za neki prag gde su
i
najjednostavniji predikati
oblika
i
= 1 akko je tacka na retini (ulaznom senzoru) ukljucena, a
i
su
odg. tezinski koecijenti. Binarni perceptron y(x) = f(w x + w
0
) koristi
stepenastu funkciju kao transfer funkciju (linearni perceptron - ako korsti
linearnu, inace se podrazumeva logaritamski sigmoid). Kako je pomenuto,
64 Seminarski rad
takva struktura nemoze da radi kao XOR kapija jer nemoze da klasikuje
takve ulaze - to se resava dodavanjem jednog skrivenog sloja sa 2 neurona, i
to je onda primer viseslojnog perceptrona. Priroda binarnog perceptrona je
da n-dimenzioni ulaz klasikuje u dve klase u R
n
koje razdvaja jedna n 1-
dimenziona hiperravan odredena sa w x + w
0
= 0 (w su koecijenti PE), i
tada se mogu parovi obucavanja (x
, y
), x
R
n
, y
0, 1 mogu svrstati
u 3 kategorije - uspesne (poklapaju se y = y(x
) i y
), promasene iznad T
+
w
(ne poklapaju se i y = 1) i promasene ispod T
w
(ne poklapaju se i y = 0).
Tada je pravio ucenja ojacavanjem (reinforcement):
w(t + 1) =
_
_
_
w(t), poklapaju se;
w(t) + (t)x, x T
+
w
;
w(t) (t)x, x T
w
.
za neko > 0. Ovo pravilo ucenja generalizovano znaci da ne postoji skup
obucavanja vec se povremeno vrse korekcije u interakciji sa okolinom. Prob-
lem moze nastati ako NM zaboravi polako prethodno nauceno na taj nacin
- cilj je naci strategiju tako da se greska odnosno procena ocekivane greske
smanjuje svakom korekcijom. Jos opstije, za Markovljev proces (zadat slicno
konacnim automatima: stanjima, distribucijom ulaznih vrednosti po stan-
jima (obzervacija, senzacija), distribucijom cene po stanju i distribucijom
prelaska po stanju i ulazu), cilj je pronaci Markovljev lanac najmanje cene.
Dve teoreme se mogu naci u [NN-AA] koje pokazuju dve osobine ovakvog
obucavanja kod Perceptrona - da konvergira ako postoji resenje, i kriteri-
jum konvergencije (ako su klase separabilne (n1)-dimenzionom hiperravni,
uz dodatne uslove za brzinu ucenja gde npr. tu spadaju pored konstanti i
(t) = 1/t ili (t) = t).
3.5.3 (M)ADALINE
Ova vrsta NM spada u klasu mreza namenjenih obradi vremenski uzorko-
vanog signala (medu novije vrste spadaju npr. mreze recirkulacije - Ge-
orey Hinton, James McCLelland). Iako su (M)ADALINE mreze istori-
jski medu najstarijim, njihova primena postoji i danas (uklanjanje ehoa
iz telefonskih linija tako realizovanim adaptivnim lterom (hibridom) se i
danas koristi, realizacija savremenih modema, itd). ADAptive LInear NEu-
ron (standardna funkcija sumiranja je ALC - Adaptive Linear Combiner)
je iste strukture kao i perceptron sa linearnom simetricnom transfer funkci-
jom. Ako je x(t) niz impulsa uzorkovanih tokom jednakih vremenskih raz-
maka (odmeraka), lter se moze zadati svojim odgovorom (tehnika prozora)
h(t) = R(t, (t)), (t) = 1 za t = 0 inace 0, i racunati konvolucijom
y(t) = R(t, x(t)) =
i=
h(i)x(t + i) (pored Furijeove transformacije i
drugih DSP tehnika). Transverzni lter uzima n 1 prethodnih i trenutni
uzorak - upotebom aktivacione funkcije kasnjenja (delay: a(t + 1) = net(t))
se moze realizovati ADALINE struktura ciji su ulazni vektori x(t) kojim se
realizuje takav lter (moze se koristiti i za predvidanje vrednosti tj. uzorka).
Obucavanje ADALINE se vrsi slicno delta pravilu (w(t +1) = w(t) +2
k
x
k
za
k
= y
k
y
k
i brzinu ucenja - ako je R = [x
k
x
k
]
T
matrica korelacije
ulaza a
max
njena najveca karakteristicna vrednost, onda bi trebalo da bude
0 < < 1/
max
).
Many ADALINE (MADALINE) - viseslojni ADALINE, moze se obucavati
i pravilom MRII najmanjeg poremecaja (least disturbance) gde se greska
racuna kao broj pogresnih izlaza - biraju dva PE sa najmanjom aktivacijom
(realnom sumom) i menja se ponder tako da se promeni bipolarna vrednost i
prihvata promena ako je greska smanjena nakon racunanja, a onda se ponovi
postupa za par takvih povezanih PE. Ispod se nalazi ilustracija NM koja
prepoznaje 4 razlicite kategorije - u 5 5 senzora se nalazi ulazni sloj, zatim
slede 4 skrivena sloja (zapravo jedan u 4 grupe) cije izlaze ,,skupljajedan
ADALINE (koji predstavljaju izlazni sloj sa 4 PE, sto daje 16 kombinacija
odnosno kategorija kojih ovakva NM moze da klasikuje).
66 Seminarski rad
3.6 Vrste NM i oblasti primene
Nacelne kategorije primena NM su:
predvidanje (nije obavezno isto sto i ekstrapolacija): povratno propagi-
ranje, delta-delta, usmerena slucajna pretraga, samoorganizujuca pres-
likavanja u povratno propagiranje
klasikacija: kvantizacija vektora sa ucenjem, protiv-propagacione NM,
verovatnosne NM
asociranje podataka (slicno klasikaciji, ali dodatno detektuje gresku
u ulaznim podacima): Hopldove memorije, BAM, Hemingove mreze,
prostorno-vremensko prepoznavanje, Bolcmanova masina
konceptualizacija podataka (analiza ulaznih podataka koja daje relacije
medu njima): ART, samoorganizujuce mape
lteri, kompresija podataka (npr. kao u digitalnoj obradi signala):
(M)ADALINE, recirkulacija
3.7 NM takmicenja, klasikacije i druge
Navedene klase NM se manje ili vise razlikuju od NM sa povratnim propa-
giranjem, mnoge predstavljaju pojednostavljenu varijantu odgovarajuceg re-
kurentnog dinamickog modela (za stanje u ekvilibrijumu takvog sistema
zadatog diferencijalnim jednacinama). Moguce su, naravno, i razlicite hi-
bridne vrste. Najpoznatija klasa neuronskih mreza takmicenja su one sa
transfer funkcijom takmicenja i pomenutim Kohonenovim pravilom ucenja,
kao i samoorganizujuca preslikavanja (mape, Feature Map Classier - FMC)
- varijacije takvih mreza nazivamo mrezama takmicenja ili kompetitivnim.
Samoorganizujuce mape traze PE i pobednika ciji je vektor pondera najblizi
ulaznom vektoru [[xw
i
[[ = min
j
[[x w
j
[[ koji onda dobija pravo da menja
svoje koecijente tokom ucenja i da potpuno inhibira ostale.
Racunanje se radi na uopsteniji nacin jer se dopustaju inhibitorne later-
alne veze (z
ij
moze uticati na sve u sloju ili dalje, ili samo na geometrijsko
okruzenje) i term gubitka r(y
i
(t)):
y
i
(t + t) = y
i
(t) (r(y
i
(t)) + net
i
+
j
z
ij
y
j
(t))t
gde je net
i
=
j
w
ij
x
j
. Lateralna inhibicija moze biti jednostavnija nego
trazenje najveceg izlaza. Pravilo ucenja je oblika w
i
(t + 1) = (t)(x
w
i
(t))U(y
i
) (w
i
= [w
ij
]
j
je vektor koecijenata za i-ti PE, U je oblik ste-
penaste funkcije td. je U(y
i
) = 1 za y
i
> 0, inace je U(y
i
) = 0). Obicno se ne
obucava samo pobednik vec njegovo okruzenje N
C
(susedstvo koje se denise
kao neka geometrijska okolina - kako Kohonen napominje, ova geometrijska
osobina nedostaje drugim NM) i onda je w
i
(t + 1) = w
i
(t) + (t)(x w
i
(t))
za i N
C
, inac je w
i
(t + 1) = 0.
3.7.1 Kvantizacija vektora sa ucenjem
Primer je hibridna varijanta povratnog propagiranja i Kohonenove NM
(Tuevo Kohonen) - kvantizacija vektora sa ucenjem (Learning Vector Quan-
tization). Pored ulaznog sloja, koristi se jedan Kohonenov (gde PE koji je
najblizi ulazu se proglasava pobednikom i jedino njegovom ulazu se dozvol-
java okidanje i kasnija promena koecijenata prema ispravnosti klasikacije)
skriveni sloj i jedan izlazni (u izlaznom sloju je onoliko PE koliko bi trebalo
da bude klasa). Kohonenov sloj je grupisan prema klasama (broj PE po
svakoj klasi moze biti razlicit zavisno od problema). Desava se da neki PE
suvise cesto pobeduje a neki suprotno, i zato se uvodi mehanizam svesnosti
- ako cesto pobeduje dobija ,,krivicui biva inhibiran. Meri se frekvencija
pobedivanja svakog PE kao i prosecna frekvencija, i onda se dodaje bias
proporcionalan razlici (koji se vremenom smanjuje kako ucenje napreduje).
Takode, koristi se i mehanizam ogranicenja (boundary adjustment algorithm)
kada je greska dovoljno mala, kada pobednik nije u dobroj klasi, kada je prvi
sledeci u dobroj klasi a vektor obucavanja izmedu - pobednik se udaljava od
ulaza, a drugi priblizava. U ranim fazama ucenja se ,,odbijanje iskljucuje
(ako pobednik nije u dobroj klasi).
68 Seminarski rad
3.7.2 Protiv-propagaciona NM (Counter-propagation)
Postoje slicnosti sa prethodnom strukturom, ali se ovde koristi izlaz donekle
ravnopravno u toku obuke kao i ulaz. Dodatni sloj koji normalizuje ulaz (sloj
1 - tako da bude zbir ulaza uvek jednak, npr. 1 - da bi se izbegla osobina Ko-
honenovog sloja da preveliki (po normi) vektori nadjacavaju slabije). Svaki
PE ulaznog kompetitivnog sloja 2 zajedno sa svim ulazima cini ulaznu zvezdu
(instar), a zajedno sa svim vezama ka PE u izlaznom sloju 3 cini izlaznu
zvezdu (Grossberg outstar); transfer je stepenast. Obucava se vidom delta
pravila (pod w
i
se podrazumeva vektor koecijenata krace zapisano): kao
ulazna zvezda i sa vektorom ulaza x ima w
i
= (x w
i
), a kao izlazna
zvezda za w
i
= (y
i
w
i
) za i-ti PE, s tim da kao izlazna zvezda (pobed-
nik) ima u y
i
uracunate i ulaze vektora y u toku obuke. U toku eksploatacije
je y = 0 (0 < , < 1). Postoje problemi kod ulaza koje skriveni sloj tretira
posebno iako su u istoj klasi (onda se se nekako uslovljava samo za odredene
klase). Metodu je razvio Robert Hecht-Nielsen.
3.7.3 Adaptivno-rezonantna teorija (ART)
Ove mreze predstavljaju vid prosirenja kompetitivnih mreza kao sto su
to protiv-propagaciona i druge kompeticione mreze. Nastale su kao posledica
nekih bioloskih modela, Stiven Grosberg 70-tih daje taj model podstaknut
dilemom plasticnosti i stabilnosti koja se ogleda u pitanju kada NM treba da
uci (bude plasticna) a kada da ostane stabilna kod nebitnog ulaza. Resenje
je bilo u povratnim vezama izmedu ulaznog sloja i kompetitivnog. ART
prepoznaje ulaz i brze dolazi do rezonantnog (stabilnog) stanja ako je ulaz
vec naucen ili dodatno potvrden ili dolazi do odbacivanja (reseta) - ucenje
nastupa tek nakon stabilnog stanja (ekvilibrijuma). Postoje dve varijante:
ART1 gde su ulazi binarni (iz 0, 1) i ART2 gde mogu biti realne velicine.
Sustina ART strukture je:
ulazni sloj F1 koji je povezan sa F2 po principu svaki sa svakim uz
specijalne pozitivne pondere A
1
, max(D
1
, 1) < B
1
< 1 + D
1
, C
1
, D
1
i
njima odredenu sumarnu funkciju net
i
- svaki PE ima samo jednu odg.
ulaznu vrednost I
i
kao i ulaze iz F2 i G, a izlaz se racuna obicnom
stepenastom funkcijom (prelaz u nuli) uz pravilo 2/3 (dodatnim koe-
cijentima): svaki PE u mora da ima bar 2 tipa izvora od 3: I, F2 (tj. V
i
kao klasicna sumarna funkcija), G (ovo omogucava dva stanja F1 sloja
- subliminalni, kada je u ,,rezononaci I sa F2 i supraliminalni, kada
je F2 neaktivan ali postoji ulaz) koje obezbeduje stabilnost.
kompetitivni sloj F2 se racuna sa ulazima iz F1 simetricno prethodnom,
s tim da nema ulaze, ima ulaz iz A, a izlazi ka F1 su izracunati kompet-
itivnom transfer funkcijom (izlaz samo jedne jedinice cija je sumarna
funkcija net
j
jednaka maksimumu svih sumarnih funkcija u sloju, os-
tale su 0), dok su izlazi ka svim PE u F2 izracunati takode stepenastom
funkcijom (dva izlaza se mogu dobiti kombinacijom sa po dva dodatna
specijalna PE da bi se prevazislo ogranicenje denicije osnovnog PE).
jedinica pojacanja G radi po principu da je ekscitovana samo ako je F2
neaktivan i ima nekog ulaza ([I[ =
f(I
i
) > 0), tj. F2 ga inhibira
jedinica A - prethodni PE cine sistem paznje, dok orjentacioni sistem
cini PE A i zaduzen je za koordiniranje neslaganja slojeva F1 i F2 -
ulazi su mu u vezani za F1: ako su P i Q ponderi, A se okida ako je
P[I[ Q[S[ > 0 tj. [S[/[I[ < p, 0 < p < 1 (p = P/Q 1 parametar
vigilance) i tada se desava reset: pobednicki izlaz iz F2 se anulira kao
i ostali izlazi u F2, inace je rezonanca dostignuta (ulazi su prepoznati)
i primenjuju se asimptotska pravila promene pondera
Izlazi PE se nazivaju kratkotrajnom memorijom (Short Term Memory, STM),
a ponderi dugotrajnom memorijom (LTM). Koecijenti w
ij
od F2 ka F1 (Top-
Down LTM Traces) se racunaju za indeks j sloja F2 i j sloja F1 po principu:
w
ij
=
_
_
_
w
ij
+ 1, net
j
i net
i
aktivni;
w
ij
, net
j
aktivan i net
i
neaktivan;
0, oba neaktivna.
inicijalno w
ij
(0) >
B
1
1
D
1
Asimptotske vrednosti (u ekvilibrijumu, ako je I pobuden dovoljno dugo
i ako su pocetne vrednosti dovoljno velike - postoji kriterijum) pondera
70 Seminarski rad
su 1 za sve povezane sa pobednikom, 0 ostali. Obrnuto, od F1 ka F2:
w
ji
= Ko
j
[(1 w
ji
)Lf(net
i
) w
ji
k=i
f(net
k
)], 0 < w
ji
(0) <
L
L1+M
(M
broj PE u F1, L > 1), gde je o
j
kompeticioni izlaz j-tog PE, f stepenasta
funkcija sloja F1, net ulazna sumarna funkcija, a K i L > 1 konstante koje
uticu na brzinu ucenja (opet se favorizuje pobednicki PE, postoji asimptotski
rezim ubrzanog ucenja gde je w
ji
= 0 kada je net
i
neaktivan,
L
L1+|S|
inace,
[S[ =
f(net
i
)). Eksploatacija pocinje racunanjem izlaza y
i
= f(net
i
) F1
na osnovu ulaza i net
i
=
I
i
1+A
1
(I
i
+B
1
)+C
1
, zatim propagacija od F1 ka F2 i
racunanje izlaza F2, zatim racunanje opet F1 sa net
i
=
I
i
+D
1
V
i
B
1
1+A
1
(I
i
+D
1
V
i
)+C
1
, i
onda na osnovu novih izlaza iz F1 i testiranjem A dolazi ili do reseta (odbaci-
vanja ulaza) i novog ciklusa ili do rezonovanja (prepoznavanja ulaza i ucenja
- promene pondera). ART2 je samo donekle slicna ART1 ali zahteva nesto
slozeniji mehanizam racunanja - detalji u [NNALG]. Zamerka ART NM je
osetljivost na greske u ulazima.
3.7.4 Stohasticke (verovatnosne) NM
Ucenjem sa nadgledanjem ove NM za dati skup obucavanja razvijaju
funkcije distribucije (uz upotrebu statistickih metoda u cemu su bliske meto-
dama masinskog ucenja - Bajesovih klasikatora, Parcenovog prozora - Parzen
Estimator: p(x) =
1
N
N
i=1
W(x)(x x
i
) za neko jezgro W (npr. ocekivana
Gausova kriva) kojim se distribucija slucajne promenljive procenjuje), upotre-
bljava se softmaks transfer funkcija za sloj gde ima PE koliko i kategorija
koje se klasikuju. U eksploataciji se onda ovim funkcijama procenjuje
verovatnoca da ulaz pripada nekoj od klasa. Veelenturf daje model samoorga-
nizujucih mapa koje koriste Bajesov princip i distribucije slucajnih promenljivih,
[NN-AA].
3.8 (Neo)kognitron
Posavsi od ideje funkcionisanja cula vida i nadredenih nervnih struktura
autori ove vrste NM (Fukushima, Hubel, Weisel, prvobitni kognitron datira
jos od sredine 70-tih) su dosli do strukture masivnih visenivoovskih hijer-
arhija grupa slojeva. Sustina je podela slojeva u dva tipa: grupe S-slojeva
(jednostavne, simple) i C-slojeva (kompleksne, complex) gde su veze od ulaza
ili C-slojeva ka S-slojevima mnogostruke (po jedna veza u C-sloju za svaki S-
sloj u prethodnoj grupi) ali vezane za isti polozaj (geometrijski), dok veze od
S-slojeva ka C-slojevima nisu mnogostruke ([NNALG]: najvisi PE naziva se
,,baka(grandmother) samo zbog analogije u vezi sa bioloskom kognitivnom
pretpostavkom o postojanju nervne celije u ovakvoj hijerarhiji negde u mozgu
koja se okida kada takva struktura prepozna baku). Nacin racunanja i obuke
je specican i tice se citavih slojeva (uz upotrebu varijante delta pravila). Ko-
riste se posebno i lateralna inhibicija i elementi nenadgledanog obucavanja.
3.9 Asocijaciranje podataka
3.9.1 Asocijativne memorije, BAM
Istorijski, bi-direkcione asocijativne memorije (Bart Kosko) su nastale kao
uopstenje Hopldovih memorija - uvodni pojmovi:
72 Seminarski rad
Denicija 3.1 Ako je H
n
= x = (x
1
, , x
n
) R
n
[ x
i
= 1 Hemingova
kocka (Hamming), Hemingovo rastojanje h(x, y) za x, y H
n
je
1
2
n
i=1
[x
i
y
i
[
(broj x
i
i y
i
koordinata koje se razlikuju).
Veza izmedu euklidskog rastojanja d i h je d = 2
h. Ako je S = (x
1
, y
1
), , (x
L
, y
L
)[ x
i

R
n
, y
i
R
m
(egzemplari - primeri ispravnog asociranja), onda se denisu
tri vrste asocijativnih memorija (linearni asocijatori):
1. Heteroasocijativna memorija - predstavlja preslikavanje kod koga
vazi (x) = y
i
akko je x po h najblize x
i
u odnosu na S.
2. Interpolaciona asocijativna memorija - predstavlja presikavanja
za koje vazi ((x
i
, y
i
) S)(x
i
) = y
i
, i vazi da ako je x = x
i
+d, d ,= 0
(x
i
iz S) onda postoji neko e ,= 0 td. je (x) = y + e.
3. Autoasocijativna memorija - uz pretpostavku x
i
= y
i
predstavlja
preslikavanje kod koga vazi (x) = x
i
akko je x po h najblize x
i
u
odnosu na S.
Matematicki nije tesko konstruisati ovakva preslikavanja - npr. ako je x
i
ortonormiran skup
x
i
x
j
=
ij
=
_
0, i ,= j;
1, i = j.
onda je to (x) = (y
1
x
1
T
+ +y
L
x
L
T
)x = Wx (po deniciji). Ovo je ujedno
i denicija bidirekcionih asocijativnih memorija (BAM) - ako se koriste x
i
umesto y
i
onda je BAM autoasocijativna (onda je W simetricna): preslika-
vanje net
y
= Wx i net
x
= W
T
y i x(t + 1) = f(x(t)), y(t + 1) = f(y(t))
(transfer funkcija kao simetricna linearna sa zasicenjem) cine BAM. Vektor
x je ulazni, y izlazni, i veze su dvosmerne - koecijenti su vezani za PE u oba
smera. BAM ima lepu osobinu da su koecijenti odredeni u potpunosti ako
postoji S sa L ortogonalnih elemenata i to je onda obuka u jednom prolazu
kroz skup obucavanja.
Racunanje BAM (recall) se radi na sledeci nacin:
1. prenesi (x
0
, y
0
) na PE oba sloja
2. propagiraj vrednosti x sloja na sloj y i tamo promeni koecijente
3. propagiraj nazad vrednosti iz sloja y na sloj x i tu promeni koecijente
kao i prethodnom slucaju
4. ponavljaj prethodne korake sve dok ne dode ni do jedne promene
koecijenata oba sloja
Dva nedostatka BAM: ako se preoptereti brojem egzemplara (negde do
15% broja PE kod Hopldove NM) moze se desiti da se stabilizuje u vred-
nostima koje nisu ocekivane (crosstalk), kao i ako su egzemplari previse slicni.
Ako je E(x, y) = y
T
Wx BAM funkcija energije (funkcija Ljapunova u
teoriji dinamickih sistema, vezana za kriterijum stabilnosti), moze se dokazati
teorema (iz tri dela):
Teorema 2
1. svaka promena vektora x ili y ima za posledicu smanjenje E
2. E je ogranicena odozdo sa E
min
=
ij
w
ij
3. kada se E menja, menja se za konacnu vrednost
Ova teorema opisuje E kao funkciju Ljapunova (ogranicena funkcija param-
etara dinamickog sistema) sto garantuje stabilnost BAM (jos jedna lepa os-
obina, dokaz u [NNALG]).
3.9.2 Holdove memorije
Ako se iskoristi prethodno opisana struktura autoasocijativne BAM, dva
sloja x se mogu prikazati kao jedan sa rekurentnim vezama:
74 Seminarski rad
Jedina bitna razlika struktura BAM i Hopldovih memorija je ulazni sloj
I i diskretna transfer funkcija (skoro stepenasta), za i-ti PE:
net = Wx + I, x(t + 1) =
_
_
_
1, x < U
i
;
x(t), x = U
i
;
1, x > U
i
.
, gde je U
i
prag okidanja.
Hopld je originalno koristio binarne vektore v sa v
i
0, 1 umesto
navedenih bipolarnih x
i
1, 1 - matrica W =
i
(2v
i
1)(2v
i
1)
T
se
ne menja ovim, a funkcija energije postaje (polovina BAM - polovina broja
PE):
E =
1
2
j, j=i
v
i
w
ij
v
j
i
I
i
v
i
+
i
U
i
v
i
Ovo je diskretna Hopldova memorija. Hopldova memorija je neprekidna
ako su izlazi neprekidne funkcije ulaza (racunanje je donekle drugacije) -
inace je diskretna. Izlaz PE neprekidne Hopldove memorije je:
v
i
= g(u
i
) =
1
2
(1 + tanh (u
i
))
gde je u
i
ukupni ulaz net
i
a konstanta jacine (gain). Ako onda
neprekidni model postaje diskretan - stabilne tacke nisu prelaze u temena
Hemingove kocke (ako 0 onda stabilne tacke prelaze u jednu singularnu).
Broj PE bi trebalo da bude jednak broju ulaza. Hopldove i srodne NM su
klasicni primeri rekurentnih mreza. Jedna od uspesnih primena Hopldovih
memorija je resavanje problema putujeceg trgovca.
3.9.3 Hemingova mreza
Ovu klasu NM je sredinom 80-tih smislio Ricard Lipman kao prosirenje
Hopldovih mreza u kojem se bipolarni ulaz klasikuje na osnovu najmanje
greske po Hemingovoj metrici
1
2
m
i=1
[x
i
y
i
[ = m/2
1
2
m
i=1
x
i
y
i
za [1, 1]
m
.
Obucavanje se vrsi skupom ulaza i izlaza (klasa), gde je broj PE u skrivenom
sloju (za kategorije) isti kao i broj PE u izlaznom sloju kojih ima koliko i klasa
(kategorija), odnosno kao i broj egzemplara (vektora duzine broja ulaza) - za
razliku od Hopldovih mreza gde je broj PE u skrivenom sloju jednak broju
ulaza. Ako je n broj kategorija (egzemplara y
), ulaza ima m, f pozitivna

linearna transfer funkcija i 0 < < 1/n onda za ulazni sloj (t = 0) vazi
y
i
(0) = net
i
(0) + m/2 gde su w
ij
(0) = y
i
j
, a za izlazni (kompetitivan) sloj
vazi:
w
ij
(t) =
_
1, i = j;
, i ,= j.
tj. za t > 0 je onda
y
i
(t) = f(net
i
(t)) = f[y
i
(t 1)
j=i
w
ij
y
j
(t 1)]
- nakon nekog broja iteracija tako pobeduje izlaz kategorije sa najvecim izla-
zom ulaznog sloja.
76 Seminarski rad
3.9.4 Bolcmanova masina
Ovo je donekle model slican Hopldovim memorijama (isto se denise
energija stanja koja se minimizuje) - razliku cini upotreba metode simulira-
nog ocvrscavanja (simulated annealing, Ackley, Hinton, Sejnowski, 1985) pri
eksploataciji u odnosu na iteracije Hopldovih memorija, a koristi i poseban
metod obucavanja. Povecana temperatura dodaje sum svim PE na pocetku
obucavanja, a do kraja procesa ocvrscavanja (po rasporedu) bi trebalo da
dostigne nulu (slicno odgovarajucim termodinamickim procesima). Posma-
tra se promena energije stanja i-te PE izmedu izlaza 0 i 1
i
= net
i
(posledica
denicije). Algoritam racunanja bi bio:
1. postavi izlaze ulaznih PE na ulazni vektor x
2. postavi izlaze skrivenog sloja na slucajno odabrane binarne vrednosti
3. slucajno odabranoj PE i postavi izlaz na 1 verovatnocom p =
1
1e
net
i
/T
4. ponavljaju se prethodna dva koraka odreden broj puta (recimo da sve
PE imaju istu verovatnocu promene izlaza) i to je procesni krug
5. ponavlja se prethodni korak dok se ne dostigne termalni ekvilibrijum
(ili pretpostavljeni broj koraka)
6. smanjuje se temperatura T po rasporedu (schedule) koji se odreduje
proizvoljno, idealno T
t
=
T
0
1+t
.
Ako se posmatraju distribucije pondera vidljivog sloja (ulaza i izlaza)
p
+
(v) preko skupa obucavanja i skupa istih nakon svake eksploatacije p
(v),
ispostavlja se da je njihovo rastojanje (Kullback-Leibler):
G =
v
p
+
(v) ln
p
+
(v)
p
(v)
i
G
w
ij
=
1
T
[p
+
ij
p
ij
]
gde su p
+
ij
i p
ij
verovatnoce da su PE i i j obe ukljucene u pozitivnoj i neg-
ativnoj fazi redom. Pozitivna faza obucavanja je kada su vidljivi PE ksirani
vektorima iz skupa obucavanja (clamped), inace je negativna. Obucavanje se
vrsi smenjivanjem pozitivnih i negativnih faza (uz racunanje parametara u
Konvergencija je bolja nego kod Hopldovih memorija (bolje pronalazi glob-
alni minimum), ali je ogranicenje broja egzemplara u odnosu na broj PE
isto, a proces racunanja i obucavanja prilicno slozen (racunski skup - detalji
u [NNALG]).
3.9.5 Prostorno-vremensko prepoznavanje
Na osnovu nekih Grosbergovih modela (Spatio-Temporal Pattern Recog-
nition) iz 70-tih Robert Hekt-Nilsen razvija ovu klasu NM koju naziva ,,lav-
ina(Avalanche), koja je specijalizovana za probleme prepoznavanja vre-
menskih sekvenci (koje se ponavljaju, pogotovu, recimo audio signala - niz
uzoraka moze imati i ,,prostornu dimenziju ako se posmatra npr. po
78 Seminarski rad
frekventnim kanalima kao niz koji se menja vremenom) i njihovog klasi-
kovanja. Na primer, skup obucavanja je skup nizova frekvencija u vre-
menu za svaku rec koja se prepoznaje - ako se posmatra struktura mreze
koja prepoznaje jednu rec, onda ulaza ima koliko i frekventnih kanala a
PE koliko i vremenskih sekvenci - svaki izlaz je povezan sa svim nared-
nim PE po vremenskom rasporedu. Ulaz se normalizuje i struktura se moze
uporediti sa protiv-povratnim NM ako se izuzme vremenska dimenzija. Glob-
alni bias term se dodaje svakom PE, koji postavlja promenljivi prag oki-
danja protiv koga se takmice i koji obezbeduje da najbolje poredenje pobedi.
Obucavanje je varijanta Kohonenovog (Kosko-Klopf: koecijenti ulaza se
obucavaju kompetitivno, a medu PE w
ij
= (cw
ij
+ dx
i
x
j
)U( x
i
)U( x
j
)
gde je U stepenasta funkcija, w
ii
= 0) uz funkciju A(x) koja se menja vre-
menom (funkciju napada, ,,attack function, za 0 < c < 1 je A(x) = cx
ako je x < 0, inace A(x) = x), koja se koristi i u toku eksploatacije. Ako
je net
i
=
k
q
ik
x
k
+ d
i1
j=1
y
j
(d je koecijent jacine), f pozitivna lin-
earna transfer funkcija, izlazi se onda denisu diferencijalnim jednacinama
y
i
= A(ay
i
+bf(net
i
)). Vrednost se aproksimira onda npr. racunanjem
y
i
(t + t) = y
i
(t) + y
i
t.
4 Genetski algoritmi
4.1 Uvod
Profesor Dzon Holand tokom 1960-tih pa sve do 1975. proucava sa
ucenicima (De Dzong) i predlaze zanimljivu klasu modela racunanja koje
je nazvao ,,Genetski Algoritmi(GA), koji koriste ideju bioloskih evolucionih
procesa za resavanje problema iz sirokog domena. Ideja se javljala i ranije,
Rechenberg (Evolutionsstrategie 1965-1972) je npr. razvio metod optimizacije
aerodinamickih modela. Skica algoritma kojim se ovo realizuje se zove i
kanonski GA (canonical genetic algorithm) i klasa algoritama koji predstavl-
jaju varijacije kanonskog GA daje deniciju GA u uzem smislu. U sirem
smislu, GA (evoluciono racunanje, evolutional computing) je bilo koji algo-
ritam koji koristi operatore odabiranja i rekombinacije da bi generisao nove
uzorke prostora pretrage baziranog na modelu populacije (ovi termini ce dalje
u tekstu biti razjasnjeni).
4.2 Kodiranje i problemi optimizacije
Dve osnovne komponente GA zavise od problema koji se reava - kodi-
ranje ulaznih parametara u neku internu reprezentaciju (najcesce se ko-
riste nizovi bitova ili karaktera) i funkcija evaluacije stanja u prostoru pre-
trage (ili objektivna funkcija, tradicionalno to moze biti npr. neka funkcija
f(x
1
, , x
n
) ciji se optimum trazi). Kodirani ulazni parametri mogu uneti
nepotrebnu redundansu (npr. ako ulazni parametar ima vrednosti od 0-799 i
koristi se 10 bita za internu reprezentaciju, onda ostaje 224 internih vrednosti
,,neiskorisceno - resenje mozda moze biti da i one iskoriste redundantno ili
da predstavljaju ,,lose elemente) i uticu kasnije na samu strukturu ali i
performanse sistema. S druge strane, funkcija evaluacije zbog prirode prob-
lema moze biti zadata samo nekom aproksimacijom i moze veoma da utice
na performanse sistema.
Sam prostor pretrage, prostor resenja i problem uticu na ekasnost algo-
ritma pretrage. Uopste, velicina prostora pretrage zavisi od kodiranja ulaznih
parametara i moze se primera radi predstaviti brojem bitova l (zajedno sa
pretpostavkom o nezavisnosti parametara), i tada je velicina reda 2
l
- rec-
imo da problemi pocinju negde za l > 30, a u realnosti je to cesto daleko
vece. Primer: ocena prostora pretrage u sahu je 2
400
(ako je prosecan broj
80 Seminarski rad
mogucih poteza u svakom koraku 16 i 100 ukupan broj poteza prosecne par-
tije) - kada bi svaki atom univerzuma od njegovog nastanka do danas racunao
potez po pikosekundi bili bi tek na pocetku (Winston P, 1992). Recimo da
ako broj resenja nije gust u prostoru pretrage onda nema smisla koristiti
metod grube sile, pogotovu ako je prostor pretrage veci. Alternativa gruboj
sili je algoritam koji ,,bolje poznaje problem i u tom smislu GA spadaju u
,,slabe algoritme jer nemaju posebne pretpostavke o problemu. Ako ne pos-
toji algoritam koji koristi gradijente (funkcija evaluacije nije diferencijabilna
ili ima mnogo lokalnih optimuma - GA neki svrstavaju medu opste metode
pretrage koji ne koriste gradijente) ili koristi neku heuristiku, ili ne postoji
specicno resenje (iako ce verovatno GA nalaziti resenje, to verovatno nece
biti najbolje i najekasnije ali ce biti veoma blizu) onda bi GA mogao biti
veoma dobro resenje (u suprotnom to cesto nije). Primer: mreze sortiranja
(Knuth, 1973.) elemenata predstavljaju problem u kome je cilj naci u sto
manjem broju niz poredenja (i zamena mesta) da bi se sortirao niz brojeva
- za n = 16 je nadeno najmanje resenje reda 60 (Green), dok je upotrebom
GA (Hillis, 1992.) dobijeno resenje reda 65.
4.3 Kanonski GA
Stanje pretrage GA se predstavlja populacijom sirine n koja predstavlja
skup od n nizova (binarnih) duzine l. Svaki od tih nizova se naziva hromozom
(Holand) ili genotip (Schaer, 1987) i svakome od njih je dodeljena brojna
vrednost, tnes (tness - zdravlje, jacina). Objektivna funkcija i tnes se
cesto koriste kao termini ravnopravno, ali u pravom smislu tnes je dodel-
jen jednom hromozomu i specican je bas za taj hromozom, dok objektivna
funkcija nacelno zavisi od cele populacije a ne od pojedinog hromozoma.
Obicno se racuna evaluacija f
i
hromozoma i u populaciji, a onda se tnes
racuna kao f
i
/f gde je f prosecna evaluacija hromozoma u populaciji (objek-
tivna funkcija moze biti onda f
i
, f ili max(f
i
)). Fitnes hromozoma se neki
put racuna i kao njegov rang u populaciji (Baker, 1985; Whitley, 1989) ili
kao izbor metodom turnira (Goldberg, 1990). Na osnovu pocetne populacije
(ciji izbor moze biti dosta bitan) odnosno trenutne populacije, primenom
GA transformacija (ili GA operatora) racuna se nova populacija i za ciklus
ovakvog iterativnog procesa kaze se da daje jednu generaciju GA (u smislu
broja iteracija).
4.3.1 Operatori GA
Operatori GA su:
- odabiranje (selekcija): predstavlja proces odabira hromozoma iz popu-
lacije za ucestvovanje u reprodukciji (procesu stvaranja naredne pop-
ulacije) - najprostije je (uniformno) nasumice odabrati, ali se obicno
uzima uzima u obzir tnes koji je srazmeran verovatnoci odabira hro-
mozoma (ili npr. uniformno se odabire hromozom iz kolekcije u kojoj
svaki hromozom ucestvuje onoliko puta koliki mu je tnes)
- rekombinacija (ukrstanje, crossover): postupak u kome se dva hro-
mozoma kombinuju i stvaraju dva nova hromozoma tako sto se na
odabranoj poziciji (mestu, lokusu) c prekidaju hromozomi i preostali
delovi menjaju mesta - npr. hromozomi duzine l = 16 bita:
Hromozom 1: 11010 \/ 01100101101
Hromozom 2: yxyyx /\ yxxyyyxyxxy
-------------------------------- rekombinuju se na 5. mestu u nizove:
Hromozom 1: 11010yxxyyyxyxxy
Hromozom 2: yxyyx01100101101
- mutacija: Na proizvoljnim mestima izabranog hromozoma se nasumice
menja bit (pozicija, alel - vise alela koji se kodiraju u parametar cine
onda gen)
4.3.2 Primer kanonskog GA
Konacno, jedan primer kanonskog GA izgleda ovako:
1. Kreiraj inicijalnu populaciju od n hromozoma duzine l (bita)
2. Izracunaj tnes za svaki hromozom u populaciji
3. Ponavljaj sledece dok se ne stvori n potomaka:
Vrsi odabir para hromozoma (verovatnoca odabira hromozoma
treba da bude srazmerna tnesu) principom zamene (mogu biti
izabrani ponovo hromozomi koji su vec bili odabrani)
82 Seminarski rad
Verovatnocomp
c
(,,stepen rekombinacije) napraviti rekombinaciju
hromozoma na (uniformno) slucajno odabranom mestu - ako se ne
radi rekombinacija, napraviti samo replike roditelja. Postoji vari-
janta vistruke rekombinacije (multi-crossover) na vise (uniformno)
slucajno odabranih mesta (tada stepen rekombinacije odreduje
broj mesta ukrstanja hromozoma)
Verovatnocom p
m
izvrsiti mutaciju oba potomka i smestiti ih u
populaciju novih hromozoma (ako ih ima neparan broj moze se
jedan izbaciti nasumice)
4. Zameniti trenutnu populaciju novom (prakticno, postoji privremena
populacija dobijena polazeci od trenutne, koja se u toku prethodnih
koraka transformise svakim GA operatorom navedenim redom cime se
dobija nova populacija)
5. Ici na korak 2. sve dok objektivna funkcija ne ukaze da je populacija
dostigla potrebne kriterijume (ili se npr. premasi ogranicenje broja
iteracija)
Verovatnoca p
m
se bira obicno tako da bude veoma mala (ispod 0.001),
4.4

Seme, teorema seme i posledice
4.4.1 Uloga i opis prostora pretrage
Hiperravni prostora pretrage ili seme su delovi ukupnog prostora pretrage
dobijeni ksiranjem alela reprezenta - npr. hiperravni (red o(H) je prakticno
broj ksiranih alela hiperravni) oblika 0****...*** i 1****...***, sa nji-
hovim reprezentacijama i statistikama se zovu seme prvog reda. Mogu se
dalje razmatrati podseme ili preseci sema - posebno je zanimljiva osobina
(ispravnog) GA da ako se prate brojevi hromozoma po semama (frekvence
uzorkovanja) i prosek njihovogo tnesa pre rekombinacije, nakon rekombi-
nacije broj hromozoma po podsemama proporcionalno odgovara proizvodu
prethodne frekvencije i prosecnog tnesa (kako se i ocekuje). Ova vrednost
se obelezava sa:
M(H, t + 1/2) = M(H, t)
f(H, t)
f(t)
gde se simbolicno sa t +1/2 obelezava privremena populacija nakon rekombi-
nacije (ako je t pre rekombinacije, trenutna), M(H, t) je frekvenca hiperravni
H, f(H, t) prosecni tnes za H a f(t) za celu populaciju.
Naravno, jedino se od pocetne populacije moze ocekivati da bude statisticki
verodostojan uzorak pa se te statistike kroz generacije koriguju. GA na taj
nacin implicitno paralelno obraduju i ocenjuju tnes velikog broja hipper-
ravni (nikad cele hiperravni, vec samo uzorke - tako je moguce promasiti
globalni optimum ali najbolja resenja se nalaze). Sa P(H, t) =
1
n
M(H, t)
se obelezava relativna frekvencija u odnosu na populaciju. Na ilustraciji is-
pod se vidi kako odredene podseme imaju jaci prosecni tnes od drugih, i u
svakom koraku se red uvecava i nakon rekombinacije se menjaju odnosi:
Zavisno od mesta ukrstanja nakon rekombinacije potomci mogu ostati u
istoj semi (trivijalno ako se naprave samo replike ili cak potomci nekih drugih
sema mogu da se vrati u neku postojecu) ili ne - sto onda cini narusavanje
(disrution). Npr. za niz duzine 2. reda l 11****** je verovatnoca
1
l1
da
promeni semu nakon 1-struke rekombinacije, dok je za 1******1 naravno
1. Jednostruka rekombinacija moze da se posmatra kao specijalan slucaj
dvostruke kod koje je jedno od mesta ukrstanja izmedu pocetka i kraja ako
se niz prikaze kao prsten (raniji primer 2. reda je za 2-struko ukrstanje onda
kompaktniji nego za 1-struko):
84 Seminarski rad
Ako niz sadrzi bitove (alele) koji su kompaktno rasporedeni (blizu jedni
drugima, imaju osobinu povezanosti - linkage) manja je verovatnoca da sema
bude narusena rekombinacijom. Meru kompaktnosti seme odreduje denisuca
velicina (dening length) (H) = I
x
I
y
gde je I
x
najveca pozicija alelela
koji nije *, a I
y
najmanja. Tako je onda
(H)
l1
verovatnoca da ce 1-strukim
ukrstanjem doci do narusavanja.

Cesto se koristi inverzija kao dodatni GA
operator, ali to je interesantno samo ako cuva kodiranje (ili ako kodiranje
ne zavisi od polozaja, npr. obelezavanjem bitova), inace predstavlja samo
snaznu mutaciju. Takode se koristi kao GA operator rekombinacije i uni-
formno ukrstanje gde se se alel svakog potomka racuna uzima nasumice od
bilo kojeg od roditelja redom (dobra strana mu je nezavisnost od (H) i kodi-
ranja). Verovatnoca narusavanja za uniformno ukrstanje je (1 (1/2)
o(H)1
sto je mnogo losije od 2-strukog koje se pokazuje boljim od 1-strukog ali i od
ukrstanja veceg stepena.
4.4.2 Teorema seme
Za GA je ocigledno pozeljno izbeci narusavanje sema, sto pracenje prethod-
nih statistika i naredna teorema sema fundamentalna za GA karakterisu kao
bitne osobine (dokaz npr. u [GA-TUT]):
Teorema 3
P(H, t+1) P(H, t)
f(H, t)
f
_
1 p
c
(H)
l 1
(1 P(H, t))
f(H, t)
f
_
(1p
m
)
o(H)
Osnovna posledica ove teoreme je da se narusavanje ukrstanja i mutacija
mora minimizovati - npr. smanjivanjem ili ukidanjem mutacije (mada naru-
savanje ne mora biti jedini kriterijum ekasnosti GA, npr. evaluacija se moze
dinamicki menjati vremenom u toku rada). Eksperimenti u kojima ucestvuju
samo selekcija i mutacija su pokazali da GA i onda moze da radi (sa man-
jim performansama, tacnije takav algoritam je barem reda n puta sporiji,
[GA-INTRO] - Random-Mutation Hill Climbing). Mnogo je veci problem
tzv. prevremena konvergencija - kada svih hromozomi u populaciji postanu
veoma slicni ili isti (genetska raznolikost(diversity): npr. sve jedinice ili sve
nule ako su bitovi) a nije dostignuto zadovoljavajuce resenje (to se pogotovu
desava ako je populacija dovoljno mala, kada je preporucljivije koristiti uni-
formnu i visestruka ukrstanja). Mutacija zato ima pozitivnu ulogu prover-
avanja trenutnog stanja populacije - ovo samo donekle podseca na prob-
lem prevazilazenja lokalnog minimuma gradijent metode - klasicni GA za-
pravo prestavlja model uzorkovanja hiperravni (statisticki ,,uzorkivaci sema)
odnosno model racunanja nad semama, dok u specijalnim slucajevima i al-
ternativnim oblicima radi kao hill-climbing. Prakticna posledica ovoga je da
se tnes mora skalirati (podesavati) svakom generacijom jer se varijansa pop-
ulacije smanjuje (pa je selektivni pritisak na populaciju tnesom oslabljen) -
jedno resenje je da se prati razlika tnesa i najmanjeg tnesa u populaciji ili
da se koristi tnes po rangu (ureden ravnomerni niz brojeva u datom opsegu
- rank based). Postoji i jedna osobina GA i ovakvog pogleda na seme - ,,pre-
varasema, koja se neki put desava kada razlicite seme sukobljenih osobina
zavaraju pretragu resenja GA (Goldberg, Whitley, Grefenstette).
Ilustracija ispod pokazuje kako se u 4-dimenzionalnom binarnom pros-
toru (hiperkocki) ponasa 1-struko ukrstanje (isprekidane tackice) u odnosu
na 2-struko u rekombinaciji 0000 i 1111:
To se moze posmatrati ovako: ako se trazi minimalna putanja izmedu
cvorova gde je uniformno ukrstanje u prednosti - u jednom koraku stize do
komplementarnog cvora: ako je h Hemingovo rastojanje roditelja, iskljucujuci
roditelje uniformno ukrstanje moze proizvesti 2
h
2 razlicita potomka, a 1-
struko 2(h1). Naredna dva hromozoma su prikazana pored bez zajednickih
alela koje Buker (Booker, 1987) naziva reduciranim surogatima:
0001111011010011 ----11---1-----1
0001001010010010 ----00---0-----0
86 Seminarski rad
Oba se nalaze u hiperravni 0001**101*01001* gde se rekombinacija odigrava
u 4-dimenzionalnoj hiperravni (vaze iste osobine GA operatora).
4.4.3 Binarni alfabet i n
3
argument
Za binarnu populaciju velicine n hromozoma duzine l u sema redi i bi tre-
balo da bude
n
2
i
populacije (velicina particije), a takvih sema ima 2
i
_
l
i
_
.
Ako je bitno naci broj uzoraka hiperravni najveceg reda = log(n/) pred-
stavljene datom populacijom (Fitzpatrick, Grefenstette, 1988, [GA-TUT])
tako da bude statisticki verodostojan, pokazuje se da GA racuna nad bro-
jem razlicitih hiperravni reda n
3
. Vazi 2
_
l
_
n
3
= (2
)
3
za dobro
odabranu velicinu populacije - na osnovu l ukupan moguci broj hiperravni
je 3
l
, a za n = 3
l
imamo najvise n hiperravni - dakle, potrebno je izabrati
razumno dosta manje n koje ce dati zeljene performanse.
Dva su osnovna argumenta protiv upotrebe alfabeta alela hromozoma
vece kardinalnosti: manji broj hiperravni nad kojim se vrsi racunanje, i
reprezentacija moze zahtevati vecu populaciju da bi bila statisticki oprav-
dana. S druge strane, resenje moze biti bolje prilagodeno problemu ako se
koristi alfabet vece kardinalnosti i mogu se denisati neki novi dodatni GA
operatori.
4.4.4 Kritike sema teoreme, uopstena teorema seme
Teorema seme je nejednakost dobijena majorizacijama u kojima su zane-
marani ,,neocekivani dobici i gubici rekombinacijom, i drugo, tnes pop-
ulacije se menja iz generacije u genaraciju, tako da je procena dobra samo
narednu generaciju ali ne i vise narednih bez sagledavanja svih sema u pop-
ulacijama - ali zato postoji egzaktnija verzija sema teoreme (Vose, Liepins,
Nix, 1993.). Polazi se se od modela u kome se posmatra P(S
i
, t) t-te pop-
ulacije S = S
i
1
, , S
i
n
nizova S
i
kojih za duzinu l ima v = 2
l
. Tada
je verovatnoca da je i-ti niz odabran za reprodukcij s
i
. Ako je relacija ek-
vivalencije denisana sa x y ( > 0)x = y u celoj populaciji
( =
0
/f) onda je s
i
P(S
i
, t)f(S
i
). Ako je p
t
k
= P(S
k
, t) (p
t
= [p
t
k
]
k
R
v
)
i r
i,j
(k) verovatnoca da niz k potice od rekombinacije nizova i i j, onda je
matematicko ocekivanje:
Ep
t+1
k
=
i,j
s
t
i
s
t
j
r
i,j
(k)
Ako je matrica M = [m
ij
] matrica td. m
ij
= r
i,j
(0), ovo se moze uopstiti
za bilo koji niz k operatorom ekskluzivne disjunkcije td. r
i,j
(k q) =
r
ik,jk
(q), tj. r
i,j
(k) = r
i,j
(k 0) = r
ik,jk
(0). Ekskluzivna disjunkcija
zamenjuje ukrstanje (kombinaciju) i mutaciju (rekombinacija se shvata kao
kompozicija kombinacije i mutacije), npr.:
gde se onda permutacijom td. je
j
[s
0
, , s
v1
]
T
= [s
j0
, , s
jv1
]
T
moze denisati uopsteni operator za ceo prostor pretrage:
/(s) = [(
0
s)
T
M(
0
s), , (
v1
s)
T
M(
v1
s)]
T
Ako je tnes matrica F zadata tako sto se funkcija evaluacije f(i) nalazi na
dijagonali (i-toj vrsti i koloni, ostalo nule), onda vazi
s
t+1
F/(s
t
)
Dalje prosirenje ovakvog modela se vezuje za Markovljeve lance (Vose, 1993).
4.5 Ostali modeli evolucionog racunanja
Postoje dva populaciono-bazirana algoritma racunanja koji predstavl-
jaju varijaciju Holandovog GA ili su nezavisno razvijeni: evoluciono pro-
gramiranje i evolucione strategije. Evoluciono programiranje je osno-
vano knjigom vise autora (L. Fogel, Ownes, Walsh, ,,Articial Intelligence
Through Simulated Evolution, 1966) gde su organizmi (individue tj. hromo-
zomi) konacni automati ciji se tnes meri sto uspesnijim resavanjem zadate
ciljne funkcije (npr. pomnuti Knutov problem sortiranja, ili LISP programi).
Evolucione strategije (ES) su bazirane na pomenutoj knjizi Rehenberga
(1973. kao i Schwefel, 1975. i 1981.). Dva osnovna primera su + ES
88 Seminarski rad
( roditelji daju potomke, selekcijom najboljih i od jednih i drugih se do-
bijaju naredni roditelji) i (, )-ES (koja je u skladu sa kanonskim GA gde
potomci zamenjuju roditelje pre selekcije). Rekombinacija u ES dozvoljava i
nove operatore koji npr. prave prosek parametara.
4.5.1 Dzenitor
Dzenitor (Genitor) klasa GA je nastala 1988-1989. (Whitley), a Syswerda
(1989.) ih naziva GA ,,stalnog stanja(steady state) iako su vece varijanse
nego kanonski GA (i time skloniji gresci uzorkovanja, ,,genetskom odlivu).
Osnovne razlike u odnosu na kanonski GA su:
reprodukcija daje samo jednog potomka - dva roditelja se biraju i njihov
potomak se odmah smesta u populaciju
ubacivanjem potomka u populaciju hromozom najmanjeg tnesa ,,is-
padaiz populacije (Goldberg i Deb 1991. su pokazali da ovo pravi
mnogo veci selektivni pritisak)
koristi se rangiranje pre nego uopsteni tnes (daje konstantniji pritisak
na populaciju)
Dzenitor je primer + ES - akumulacija poboljsanih hromozoma u
populaciji je monotona.
4.5.2 CHC
Ovo je opet primer GA koji prikuplja monotono najbolje potomke (Larry
Eshelman 1991. - CHC = Cross generational elitist selection, Heterogeneous
recombination (by incest prevention) and Cataclysmic mutation). CHC ek-
splicitno pozajmljuje + -ES: posle rekombinacije bira se N najbolji in-
dividua od roditlje i potomaka zajedno za narednu generaciju u kojoj se
izbacuju duplikati (Goldberg pokazuje da ovo daje dovoljan selektivni priti-
sak). CHC pored ovako ,,elitistickogodabiranja u kome se pravi nasumican
izbor takvih roditelja primenjuje i dodatni uslov na osnovu koga se pravi
izbog individua za reprodukciju: individue moraju biti udaljene medusobno
po Hemingovom rastojanju (ili nekom drugom) bar koliko neko zadato (ovo
promovise raznolikost, diverzitet tj. ,,sprecava incest). Koristi se varijanta
uniformnog ukrstanja kojim se tacno polovina bitova razmeni. Mutacija se
koristi da bi se ponovo zapocela pretraga kad populacija pocne da konvergira
i tada se primenjuje masivno ali se uvek sacuva najbolja individua u nared-
noj generaciji. Ova metoda je najekasnija za populacije manjeg obima (do
50).
4.5.3 Hibridni algoritmi
Kombinovanjem najboljih klasicnih metoda optimizacije i pretrage sa GA
daje najbolje od oba sveta (L. Davis). Dejvis koristi cesto kodiranje realnim
umesto celim brojevima i domen-specicne operatore rekombinacije. Upotre-
bom gradijent metoda i metoda optimizacije dodaje se ucenje evolucionom
procesu (kao i pomenute metode masinskog ucenja, npr. [LSC]). Kodiranje
naucene informacije je onda evolucija Lamarkovog tipa (cime se gubi osobina
racunanja nad semama). Dobro se ponasa u resavanju problema optimizacije
(kao vid visestruke i paralelne gradijent metode, a pri tom donekle zadrzava
i osobine GA). Medutim, ako se naucene informacije ne prenose u naredne
generacije ali uticu na mogucnost boljeg opstanka pojedinih individua u pop-
ulaciji onda je to domen-specicno resenje koje ne utice na seme (u biologiji
poznatko kao Boldvinov efekat).
4.6 Alternativni operatori odabiranja GA
U odnosu na ranije pomenute alternativne metode (npr. elitizma i steady-
state), metod rangiranja se razlikuje od obicne selekcije samo racunanjem
tnesa pri odabiru. Tada pomenuti problem promene varijanse tokom rada
GA se moze resiti (Forrest, 1985) i sigma skaliranjem, gde je V al(i, t) funkcija
ocekivanog tnesa u t-toj iteraciji za i-ti hromozom:
V al(i, t) =
_
1 +
f(i,t)+f(t)
2(t)
, (t) ,= 0;
1, (t) = 0.
gde je (t) standardna devijacija tnesa populacije u toj iteraciji. Kod nekih
problema se pokazao veoma korisnim poznati metod simuliranog ocvrscavanja:
V al(i, t) =
e
f(i,t)/T
[e
f(i,t)/T
]
gde se temperatura smanjuje do nule po nekom rasporedu tokom racunanja.
90 Seminarski rad
4.7 Paralelni GA
Jedna od glavnih osobina GA je pomenuta implicitna paralelnost, ali i
mogucnost masivne paralelizacije. U ovoj klasi GA cilj je raspodeliti nekako
populaciju razlicitim procesorima (kao uopstenim jedinicama racunanja) sa
sto vecim stepenom paralelizacije i sto manji obimom komunikacije medu
procesorima.
4.7.1 Globalne populacije sa paralelizmom
Najjednostavniji nacin da se ovo realizuje je da se iskoristi kanonski GA s
tim da se selekcija radi metodom turnira (nasumice se biraju dva hromozoma
i onda na osnovu evaluacije najbolji ide dalje, Goldberg, Deb, 1990-1991:
pokazuju da je ovo identicno kao i tnes po rangu). Tako n/2 (n je paran)
procesora dobija nasumice po dva hromozoma i dalje se sve odvija paralelno
u svakoj generaciji.
4.7.2 Model ostrva
Ako postoji manji broj procesora i koristi se veca populacija, onda je
potreban drugaciji model. Populacija se podeli u ostrva koja se dodele
svakom procesoru koji dalje nad njima radi bilo kojim od GA. Povremeno,
na svakih 5 generacija recimo, vrsi se migracija odnosno razmena odredenog
(manjeg) broja hromozoma cime se deli genetski materijal medu ostrvima
i procesorima (Whitley, Starkweather, Gorges-Schleuter, 1990-1991). Os-
trva mogu biti razlicite velicine i prema tome razlicitih osobina kao i vrste i
parametri GA koji rade na procesorima.
4.7.3

Celijski GA
Ako je arhitektura procesora takva da su povezani samo sa susedima u
matrici (i to npr. po stranicama samo cetiri suseda) onda je globalna na-
sumicna selekcija neprakticna, vec se koristi samo lokalno uporedivanje (koje
moze biti stohasticke prirode) sa samo jednim potomkom. Ova arhitektura
je inspirisana celijskim automatima (npr. matrica ili niz bitova kod kojih
se naredno stanje jedinstveno odreduje vrstom konacnih automata kod ko-
jih je funkcija prelaska denisana za svaku celiju i njenu okolinu a stanja su
binarna). Operatorima GA je dovoljna samo lokalna celija sa susedima u
tom slucaju. Ne postoje eksplicitna ostrva u ovom modelu, ali se implicitno
javlja struktura slicna ostrvima (ovakva separacija se naziva ,,izolacija udal-
jenoscu):
Nakon nekoliko generacija se smanjuje broj kompaktnih celina u smislu slicnosti
genetskog materijala a njihova povrsina se uvecava.
4.8 Primeri GA
Primera ima mnogo kao i u ostalim oblastima racunske inteligencije, ali
ovde izdvajamo dva problema koja se oslanjaju na ranije pomenute primere.
Od komercijalnih skoljki gde se mogu praviti modeli GA mozemo opet izd-
vojiti MATLAB sa (Direct Search Toolbox) odgovarajucim dodatkom.
4.8.1 Evoluirajuce NM
Pomenuta je primena GA k za optimizaciju neuronskih mreza. Ako je
topologija ksna i koristi se racunanje napred, osnovna primena bi mogla
biti trazenje optimalnih vrednosti pondera (David Montana, Lawrence Davis,
1989). Upotreba gradijent metode moze dati resenja koja nisu najbolja
(lokalni minimum ukupne greske), ili ga je tesko primeniti (nediferencija-
bilna transfer funkcija). Medutim jos je veci izazov trazenje odgovarajuce
topologije i menjanje topologije u toku procesa ucenja. Direktan metod (Ge-
orey Miller, Peter Todd, Shailesh Hedge, 1989) podrazumeva postupak u
kome se koristi matrica koja odreduje topologiju (npr. 1 ako je dozvoljena
92 Seminarski rad
veza izmedu PE, 0 ako nije) i dobijenu su uspesni rezultati za neke probleme.
Hiroaki Kitano 1990. pokazuje da se metodom gramatickog kodiranja mogu
dobiti ekasnije bolja resenja - kontekst slobodnim gramatikama se generise
struktura pomenute matrice koristeci pravila sa cije desnse strane se nalaze
terminali koji cine gradivne elemente matrice formata 2 2. Hromozomi
takvog metoda su kraci i metod se moze lakse prilagodavati specicnom prob-
lem, dok je u oba slucaja duzina hromozoma dinamicki promenljiva. Takode
se moze evoluirati i funkcija ucenja - npr. ako je w
ij
= f(y
i
, y
j
, y
j
, w
ij
)
linearna funkcija odredena koecijentima (ispred sabiraka koji predstavljaju
argumente funkcije kao i njihove proizvode) kao paramterima koji se opti-
mizuju GA.
Klasa NM kod kojih su ulazi grupisani u gene i kodirani u klase koje
imaju lingvisticko znacenje (npr. gen duzine 4 bita predstavlja atribut koji
ima cetiri vrednosti - cetiri boje, primera radi) kao i izlaz koji ima izlaznih
PE koliko i kategorija se mogu proucavati standardnim Data Mining meto-
dama kao crna kutija. U [DATAMINING] se daje primer GA koji koristi
hromozome ciji su geni vrednosti tezinski koecijenti (obelezeni njihovim
indeksima), gde se tnes racuna kao proizvod njihove vrednosti (pondera).
Populacija se onda tumaci kao serija ako-onda pravila koja ukazuju na vezu
ulaza i izlaznih kategorija.
4.8.2 Klasikacija i konceptualizacija
Prethodni primer predstavlja primenu GA u problemima klasikacija i
konceptualizacije znanja (u smislu otkrivanja implcitnih, unutrasnjih relacija
medu ulaznim podacima, najcesce bas tog oblika ako-onda pravila). Takav
pristup trazi najpre uocavanje nekih jednostavnih nepovezanih osobina (npr.
gura se sastoji iz odredenog broja pravih ili krivih linija, seku se ili ne seku,
postoje kruzni oblici itd.) koje mogu biti biti pripremljene drugom metodom
(NM ili neka klasicna metoda), a onda GA otkriva znacajne osobine i pravila.
GA u odnosu na klasicne metode vestacke inteligencije ima tu prednost da
ne zahteva posebno predznanje o problemu heuristicke ili neke druge prirode.
4.8.3 Ucenje fazi pravila evolucijom
Ideja je primeniti GA na hromozome koji predstavljaju skupove pravila
ciji su geni razlcitog tipa (oznake promenljivih ili kakateristicne funkcije,
njihovi parametri, koecijenti uverenja, uslovni elementi, itd.) kojim se onda
optimizuje broj pravila koji ucestvuje u radu fazi ekspertnog sistema, kao i
ostali njegovi elementi (Lim, Furuhashi). Evaluacija moze onda biti testiranje
pravila na probnom skupu podataka ili klasicna analiticki zadata funkcija.
4.8.4 Evoluiranje programa
Ideja programa koji samostalno pisu programe koji resavaju zadate prob-
leme je dugo vec izazov vestacke inteligencije bez nekog dobrog opsteg resenja.
Pristup upotrebom GA koji je razvio Dzon Koza (1992-1994.) se zasniva na
evoluciji LISP koda. Skica algoritma je sledeca:
1. (preduslov) zadat je skup mogucih funkcija i terminala (identikatora)
kao i tnes koji npr. predstavlja tabelu vrednosti funkcije ciji se kod
trazi (dakle trazi se funkcija koja vraca rezultat na osnovu ulaznog
identikatora, a time se ujedno i dodatno specican ocekivani rezultat
i prostor pretrage)
2. generise se pocetni skup proizvoljnih programa (lista) koji cine pocetnu
populaciju (koji su ogranicene duzine u smislu dubine liste kao stabla)
3. tnes se racuna na osnovu skupa zadatih vrednosti (ocekivanih ulaznih
i izlaznih vrednosti)
4. primenjuju se uobicajeni GA operatori, s tim da su ovde hromozomi
proizvoljne duzine i specicne strukture - liste, tako da se rekombinacija
svodi na razmenu delova lista (ili podstabla ako se liste posmatraju
kao drvece). Koza ostavlja 10% populacije nepromenjeno i ne koristi
mutaciju (oslanjajuci se na dovoljno veliku i raznoliku pocetnu pop-
ulaciju). Funkcija evaluacije bi trebala, naravno, da nagraduje kraca
(jednostavnija) resenja.
Ovo je samo jednostavan primer ovakvog pristupa resavanju problema, u
slozenijim slucajevima uspeh nije srazmerno veci i daleko je od toga da pos-
toji opste resenje.
Evoluirajuci jednodimenzionalni celijski automati (niz binarnih celija)
mogu se posmatrati kao modeli racunanja kod kojih se uz odgovarajucu
funkciju prelaska nakon odredenog broja iteracija dolazi do niza koji pred-
stavlja rezultat ili ne, a moze se dobiti i nestabilan proces (Mitchell, Hraber,
94 Seminarski rad
Crutcheld, 1993). Primena GA u ovom slucaju se svodi na trazenje prave
funkcije prelaska a tnes bi bio odreden stepenom poklapanja rezultata i
brzinom konvergencije. Slicno ranije pomenutom Knutovom problemu sor-
tiranja, rezultati dobijeni upotrebom GA su veoma blizu konkretnih resenja
koje su pronasli ljudi, ali ne i bolji za dovoljno slozene probleme.
Knjige koriscene tokom pisanja ovog rada, kao i sajtovi sa dokumentaci-
jom - Zade preporucuje A. Kofmana (1972-1977) za detaljniji uvid u teoriju
fazi skupova i fazi logike.
Literatura
[IC] Lot A. Zadeh: Information And Control (Ch. 8: Fuzzy Sets), 1965.
[words] Lot A. Zadeh: Fuzzy Logic = Computing With Words, (IEEE
Transactions On Fuzzy Systems, Vol. 4) 1996.
[FSNEW] Lot A. Zadeh: Outline of a New Approach to the Analysis of
Complex Systems and Decision Processes, (IEEE Transactions On Sys-
tems, Man, and Cybernetics, Vol. SMC-3 no. 1), 1973.
[PT] Lot A. Zadeh: Probability Theory and Fuzzy Logic, 2002.
[RD] Radojevic D., There is Enough Room for Zadehs Ideas, Besides Aris-
totles in a Boolean Frame, Soft Computing Applications, 2007. SOFA
2007. 2nd International Workshop on 21-23 Aug. 2007 (Pages 79 - 82),
DOI 10.1109/SOFA.2007.4318309
[AQM] Marko MIRKOVIC, Janko HODOLIC, Dragan RADOJEVIC, AG-
GREGATION FOR QUALITY MANAGEMENT
[AV] Andreas de Vries, Algebraic hierarchy of logics unifying fuzzy logic and
quantum logic, Lecture Notes - http://arxiv.org/pdf/0707.2161.pdf
[RD2] Radojevic D., Interpolative Realization of Boolean Algebra as a Con-
sistent Frame for Gradation and/or Fuzziness, ISBN 978-3-540-73184-9
[ALG] Lot A. Zadeh: A fuzzy-algorithmic approach to the denition of
complex or imprecise concepts, (Int. J. Man-Machine Studies 8) 1975.
[PH] WHat does mathematical fuzzy logic oer to description logic ? Petr
Hajek
http://www.cs.cas.cz/semweb/download.php?file=05-10-Hajek&type=pdf
[FDL] A Fuzzy Description Logic for the Semantic Web, Umberto Straccia,
http://faure.isti.cnr.it/~straccia/download/papers/BookCI06a/BookCI06a.pdf
96 Seminarski rad
[GCI] General Concept Inclusions in Fuzzy Description Logics - Giorgos Stoi-
los, Umberto Straccia, Giorgos Stamou, Je Z. Pan, 2006
[LPROFS] Ludeek Matryska: Logic Programming with Fuzzy Sets, 1993.
[SCFL] Lot A. Zadeh Soft Computing and Fuzzy Logic, 1994
[birth] L. A. Zadeh: The Birth and Evolution of Fuzzy Logic, 1990.
[FESFR] William Siler, James J. Buckley: FUZZY EXPERT SYSTEMS
AND FUZZY REASONING, (Wiley-Interscience) 2005.
[NNALG] James A. Freeman, David M. Skapura: Neural Networks - Algo-
rithms, Applications and Programming Techniques, (Addison Wesley)
1991.
[FOUND] Nikola K. Kasabov: Foundations of Neural Networks, Fuzzy Sys-
tems, and Knowledge Engineering, (MIT Press) 1996.
[GA-TUT] Darrell Whitley: A Genetic Algorithm Tutorial
[GA-INTRO] Mitchell Melanie: An Introduction to Genetic Algorithms,
(MIT Press) 1999.
[DATAMINING] Data mining neural networks with genetic algorithms, Ajit
Narayanan, Edward Keedwell, Dragan Savic
[NN-INTRO] Ben Krose, Patrick van der Smagt: An introduction to Neural
Networks, 1996.
[NN-AA] L. P. J. Veelenturf: Analysis and Applications of Articial Neural
Networks, (Prentice Hall) 1995.
[ANNT] Dave Anderson, George McNeil: Articial Neural Networks Tech-
nology, 1992
[NND] Martin T. Hagan, Howard B. Demuth, Mark Beale: Neural Networks
Design
[LSC] Learning and Soft Computing, (MIT Press) Vojislav Kecman, 2001.
[GRAN] Lot A Zadeh Toward A Theory Of Fuzzy Information Granulation
And Its Centrality, 1997
[JD] John Durkin: Expert Systems - Design and Development
[BIOINFORMATICS] Pierre Baldi, Sren Brunak: Bioinformatics, The Ma-
chine Learning Approach, (MIT Press) 2001.
[NNINT] Integrating rough set theory and fuzzy neural, 2002.
[HBTNN12] Handbook Of Brain Theory And Neural Networks Part 1 & 2,
(MIT Press) 2003.
[TB] Donald E. Knuth: The TeXbook
[PG] Predrag Janicic, Goran Nenadic: OSNOVI L
A
T
E
X-A
[WWW] http://plato.stanford.edu/entries/logic-fuzzy/
http://ieee-cis.org/
http://www.cs.berkeley.edu/~zadeh/
http://www.cs.ubc.ca/labs/lci/
http://www.genetic-programming.com/
http://www.genetic-programming.org/
http://en.wikipedia.org/wiki/BL_(logic)
http://en.wikipedia.org/wiki/Computational_Intelligence
http://en.wikipedia.org/wiki/Bioinformatics
http://en.wikipedia.org/wiki/Connectionism
http://en.wikipedia.org/wiki/Artificial_neural_network
http://en.wikipedia.org/wiki/Boltzmann_machine
http://en.wikipedia.org/wiki/Simulated_annealing
http://www.aaai.org/home.html
http://en.wikipedia.org/wiki/Universal_algebra
http://en.wikipedia.org/wiki/Logic_programming

Racunska Inteligencija SC

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Racunska Inteligencija SC

Uploaded by

Copyright:

Available Formats

Seminarski rad: Soft Computing -

SE) visokih osoba

i za proizvoljnu t-konormu c moze

. Karaktersticna funkcija unije je onda

). Ove funkcije se mogu

: P() 0, 1 datog kvalitativnog atributa BA(), koja odreduje

(S)(S) BA() dodeljuje se GBP

(S) GBP za atomske elemente (S) =

vrednosno irelevantan (strukturni) deo.

(S)[S P()]) u potpunosti

(S)(x) = 1), gde se razlicitim nijansama predstavljaju vrednosti

i predstavlja karakteristicnu funkciju fazi skupa : P() [0, 1]

(a, b, c) = ((ac) (Cab))

= b +ac ab, a mera agregacije

svodi na odsecak B na visini vrha preseka A i A

na nize, sto proizilazi iz denicije i osobina ovakvog preslikavanja. Npr.

. Za fazi sistem oblika:

Sejferove (D-S) teorije:

Sejferova teorija radi sa ovakvim i

(x) y(x) gde je (x) = [(x)

), ulaza ima m, f pozitivna

You might also like