Florin Leon - Agenti Inteligenti Cu Capacitati Cognitive

3
CUPRINS

Capitolul I
INTRODUCERE N TEORIA AGENILOR 7
1.1 Inteligena artificial distribuit. Agenii 7
1.2 Definiii. Proprieti 8
1.2.1 Agenii inteligeni 11
1.2.2 Proprietile mediului de execuie 13
1.2.3 Proprietile aciunilor agenilor 14
1.2.4 Proprietile scopurilor agenilor 16
1.2.5 Proprietile convingerilor agenilor 16
1.2.6 Caracteristicile agenilor n simularea sistemelor complexe 17
1.3 Clasificri 18
1.3.1 Taxonomia general a agenilor 18
1.3.2 Clasificarea lui Nwana 18
1.3.3 Tipuri de ageni din perspectiva mediului computaional 19
1.3.4 Tipuri de ageni n simulri complexe 21
1.4 Concluzii 23

Capitolul II
ARHITECTURI DE AGENI INTELIGENI 25
2.1 Arhitectura general a unui agent inteligent 25
2.2 Arhitecturi logice 28
2.3 Arhitecturi reactive (reflexe) 29
2.4 Arhitecturi BDI 32
2.5 Arhitecturi stratificate 38
2.6 Concluzii 39

Capitolul III
SISTEME MULTIAGENT 41
3.1 Utilitatea sistemelor multiagent 41
3.2 Caracteristici ale sistemelor multiagent 42
3.2.1 Sistemele multiagent omogene necomunicative 43
3.2.2 Sistemele multiagent eterogene necomunicative 44
3.2.3 Sistemele multiagent comunicative 45
3.3 Limbaje de comunicare interagent 45
3.3.1 Teoria actelor de vorbire 45
3.3.2 Knowledge Query and Manipulation Language (KQML) 47
3.3.3 Knowledge Interchange Format (KIF) 49
id1980436031 pdfMachine by Broadgun Software - a great PDF writer! - a great PDF creator! - http://www.pdfmachine.com http://www.broadgun.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com

4
3.3.4 COOrdination Language (COOL) 51
3.4 Tipuri de interaciuni n sistemele multiagent 53
3.4.1 Cooperare i concuren 53
3.4.2 Protocoale de cooperare. Negocierea 54
3.4.3 Modaliti de comunicare. Sisteme blackboard 55
3.5 Organizaii de ageni 56
3.6 Concluzii 58

Capitolul IV
TEORIA SISTEMELOR FUZZY 59
4.1 Noiuni fundamentale 59
4.2 Tipuri de funcii de apartenen 62
4.3 Restrictori 66
4.4 Operaii cu mulimi fuzzy 67
4.5 Procesul de inferen fuzzy 70
4.5.1 Tipul de inferen Mamdani 70
4.5.2 Tipul de inferen Takagi-Sugeno 73
4.6 Concluzii 74

Capitolul V
REELE NEURONALE 75
5.1 Introducere. Modelul biologic 75
5.2 Reele cu un singur strat 78
5.3 Perceptronul multistrat 82
5.3.1 Algoritmul backpropagation 85
5.3.2 Metode de accelerare a nvrii 88
5.3.3 Considerente practice 89
5.4 Reele bazate pe funcii radiale 92
5.4.1 Echivalena funcional dintre reelele RBF i sistemele fuzzy 94
5.5 nvarea hebbian 95
5.6 Harta de auto-organizare a lui Kohonen 96
5.7 Concluzii 97

Capitolul VI
SISTEME HIBRIDE NEURO-FUZZY 99
6.1 Soft Computing 99
6.2 Utilitatea sistemelor hibride neuro-fuzzy 100
6.3 Tipuri de hibridizri neuro-fuzzy 103
6.3.1 Reele neuronale fuzzy 103
6.3.2 Perceptronul fuzzy 104
6.3.3 Sisteme fuzzy neuronale 107
6.3.4 Sisteme hibride neuro-fuzzy 108
6.3.5 Adaptive-Network-Based Fuzzy Inference System (ANFIS) 110

5
6.4 Concluzii 112

Capitolul VII
NVAREA N SISTEMELE MULTIAGENT 113
7.1 Introducere 113
7.2 nvarea cu ntrire 114
7.2.1 Caracteristici ale nvrii cu ntrire 116
7.2.2 Metoda diferenelor temporale 117
7.2.3 Q-learning 120
7.3 Ageni concureni 122
7.3.1 Niveluri de ageni 123
7.3.2 Echilibrul unui sistem multiagent 126
7.3.3 Echilibru Nash 129
7.3.4 Jocul fictiv 131
7.3.5 Dinamica replicatorului 132
7.4 Ageni cooperani. Apariia coaliiilor 133
7.4.1 Algoritmul DFG 135
7.4.2 nvarea rolurilor ntr-o organizaie 140
7.5 Concluzii 141

Capitolul VIII
STRUCTURA UNUI AGENT INTELIGENT CU CAPACITI COGNITIVE 143
8.1 Arhitecturi cognitive 143
8.2 nvarea inductiv 145
8.2.1 Reguli, prototipuri sau exemplare? 146
8.2.2 Exemplare generalizate suprapuse i nesuprapuse 152
8.2.3 Exemplare generalizate nesuprapuse cu prototipuri 155
8.2.4 Metrici de similaritate alternative 159
8.2.5 Selecia trsturilor i clusterizarea 162
8.2.6 Reprezentarea conceptelor compuse 164
8.3 nvarea deductiv 174
8.3.1 Modelul unui context de nvare 174
8.3.2 Dinamica nvrii 176
8.3.3 nvarea conceptelor 176
8.3.4 Definirea conceptelor 177
8.3.5 Rezolvarea de probleme 178
8.3.6 Deprecierea ponderilor 181
8.3.7 Alegerea ratelor de nvare 181
8.4 Ageni inteligeni pentru e-learning 182
8.4.1 Evoluia paradigmelor calculului distribuit 184
8.4.2 Structura sistemului propus 185
8.4.3 Performative KQML. Gramatica admis pentru cunotine 189
8.4.4 Comportament bazat pe stare. Comportament acionat de evenimente 191

6
8.4.5 Modelarea bazelor de cunotine de pe servere de ctre ageni 193
8.4.6 Posibilitile de cooperare ntre ageni 194
8.4.7 Introducerea cozilor de prioriti pe servere 195
8.4.8 Echilibrarea ncrcrii 195
8.5 Metode de nvare dinamic a cii 195
8.5.1 Formalizarea problemei de gsire a cii 195
8.5.2 Strategii de nvare cu ntrire pentru ageni inteligeni mobili 196
8.5.3 nvarea cii folosind gradienii marcajelor de stare 198
8.6 Concluzii 199

Capitolul IX
STUDIU EXPERIMENTAL 201
9.1 Metodologia de test 201
9.2 Studiu comparativ al algoritmilor de nvare inductiv 201
9.2.1 Algoritmii 201
9.2.2 Problemele 204
9.2.3 Analiza performanelor pentru probleme complexe 210
9.2.4 Analiza performanelor pentru probleme logice 214
9.2.5 Metrici de distan pentru toleran la zgomot n NNGEP 215
9.2.6 Comportamentul NNGEP n probleme logice 218
9.2.7 Clasificarea prin tehnici conexioniste 219
9.2.8 Interpretarea neuronal a rezultatelor NNGEP 220
9.2.9 Interpretarea fuzzy a rezultatelor NNGEP 221
9.3 Studiul modelului de nvare deductiv 221
9.4 Analiza comportamentului sistemului multiagent 227
9.4.1 Modelarea bazelor de cunotine de pe servere de ctre ageni 227
9.4.2 Posibilitile de cooperare ntre ageni 232
9.4.3 Introducerea cozilor de prioriti pe servere 234
9.4.4 Studiu de caz 237
9.5 Studiu comparativ al tehnicilor de nvare dinamic a cii 239
9.5.1 Problema drumului n reea 240
9.5.2 Problema labirintului 242
9.6 Concluzii 252

BIBLIOGRAFIE 253

7
Capitolul I

INTRODUCERE N TEORIA AGENILOR

1.1 Inteligena artificial distribuit. Agenii
Evoluia tiinei calculatoarelor este pe ct de spectaculoas pe att
de interesant. n societatea informaional plasat sub semnul vitezei i
termenelor limit, puini sunt ns cei care mai au timp s mediteze asupra
filosofiei acestui domeniu, asupra motivaiilor i speranelor care au condus
la intrarea calculatoarelor n viaa de zi cu zi.
Pe msura dezvoltrii posibilitilor hardware i software, a devenit
din ce n ce mai clar potenialul lor de aplicabilitate n cele mai diverse
domenii. Odat cu creterea complexitii problemelor care trebuiau
rezolvate a crescut i nivelul de abstractizare a limbajelor de programare
utilizate. Limbajele de prim generaie erau limbaje main; ele constau n
numere care se adresau direct procesorului, de exemplu prin intermediul
cartelelor perforate. Urmtoarea generaie, a limbajelor de asamblare, a adus
avantajul unor instruciuni simple, astfel nct programatorul s poat utiliza
simboluri n loc de numere. Limbajele de a treia generaie, limbajele de
nivel nalt, sunt cele folosite pe scar larg n momentul actual, care conin o
serie de instruciuni mai apropiate de limbajul natural. Pasul urmtor este
cel al generatoarelor de aplicaii, care pot genera cod surs pe baza unui
dialog cu programatorul, care trebuie doar s completeze unele detalii. Prin
urmare, limbajul de a patra generaie trebuie s aib cunotine despre
domeniul de aplicaie respectiv. Pn n prezent, doar un numr limitat de
domenii au fost complet formalizate i standardizate i deci la momentul
actual aceste limbaje sunt potrivite numai pentru domenii specifice, limitate.
n strns legtur cu limbajele de programare sunt i tehnicile de
programare. Dac un limbaj poate fi considerat un instrument, un set finit de
blocuri constructive, o tehnic de programare presupune un anumit mod de
gndire, o metod de abordare a problemelor, dincolo de mijloacele
concrete de implementare.
Rspunznd n primul rnd unei necesiti sociale, programatorii i
teoreticienii au fost pui n faa unor probleme din ce n ce mai complexe.
De exemplu, n anul 1946 von Neumann aprecia c 1000 de instruciuni
reprezint o limit superioar rezonabil pentru un program. Dup 40 de ani,
programele scrise pentru naveta spaial NASA aveau circa 40 de milioane
de linii de cod.

Ageni inteligeni cu capaciti cognitive

8
Un pas important n evoluia tehnicilor de programare a fost apariia
programrii orientate obiect ca soluie la limitrile programrii structurate.
Programatorii i puteau defini clase inspirate din conceptele lumii reale.
Instanele claselor, la fel ca obiectele reale, dispun de unele proprieti care
le individualizeaz i sunt capabile s execute diferite aciuni. Pentru cele
mai multe aplicaii din prezent, acest model este suficient. Dar dac
presupunem c tehnicile de programare ar avea ca scop final modelarea
lumii reale, clasele i instanele lor rmn lucruri, obiecte statice care fac
ceea ce sunt programate s fac i asta numai atunci cnd li se trimit mesaje
din exterior. Se pune atunci problema: s-ar putea gsi o tehnic de
programare care s modeleze i fiine? Domeniul agenilor i programarea
orientat agent ncearc s propun diferite soluii n acest sens. Dup cum
se va vedea, un agent poate fi considerat un obiect autonom, care poate lua
iniiativa datorit capacitii de percepie a mediului de execuie n care este
situat.
Dincolo de aplicaiile comerciale posibile, cum ar fi de exemplu
cutrile de informaii de Internet n numele utilizatorului, autonomia
deschide calea simulrilor de sisteme complexe n special n domeniile
economic, ecologic, social i militar. Sistemul nu mai este descris la nivel
macro (sarcin care se dovedete foarte dificil de cele mai multe ori), ci la
nivel micro, prin ageni cu o structur simpl. Prin interaciunile foarte
numeroase dintre aceste componente apar de multe ori comportamente
globale neplanificate anterior n agenii individuali.
Spre deosebire de programele clasice, destinate unui anumit scop
bine definit, agenii sunt potrivii mai ales pentru a opera n medii complexe,
uneori imprevizibile. Ar fi practic imposibil ca un programator s prevad
toate situaiile posibile n care poate ajunge un agent n cursul execuiei sale.
O soluie este adugarea unor capaciti de adaptare dinamic rezultate n
urma unui proces de nvare. Aici i aduc aportul inteligena artificial i
tiinele cognitive.

1.2 Definiii. Proprieti
n ultimii ani, inteligena artificial distribuit s-a dezvoltat i
diversificat foarte mult, fiind un domeniu de cercetare care nglobeaz
concepte i rezultate din multe discipline, precum psihologia, sociologia sau
economia. Natura sa interdisciplinar face dificil elaborarea unei definiii
unanim acceptate, ns n general inteligena artificial distribuit se refer
la studiul i proiectarea sistemelor formate din mai multe entiti care
interacioneaz, distribuite din punct de vedere logic i deseori spaial i

Introducere n teoria agenilor

9
care pot fi considerate ntr-un anumit sens autonome i inteligente (Wei &
Sen, 1996).
Aceast dezvoltare a fost facilitat de progresele nregistrate n
tiina calculatoarelor. Sistemele de operare multi-tasking, procesele
comunicante, calculul distribuit i limbajele de programare orientate obiect
au favorizat proiectarea, implementarea i lansarea sistemelor bazate pe
ageni.
Domeniul inteligenei artificiale distribuite se afl la grania dintre
inteligena artificial i calculul distribuit. La rndul su, inteligena
artificial distribuit const n principal n studiul rezolvrii distribuite a
problemelor i studiul sistemelor multiagent. O reprezentare grafic a
acestor relaii se regsete n figura urmtoare (Buiu, 1999):

Figura 1.1. Domeniul inteligenei artificiale distribuite

Majoritatea sistemelor clasice de inteligen artificial sunt statice,
arhitectura lor este predefinit, n timp ce sistemele bazate pe ageni se
modific dinamic n timp. Inteligena artificial distribuit studiaz
probleme legate de proiectarea sistemelor distribuite, interactive.
Diferena principal dintre rezolvarea distribuit a problemelor
(DPS) i sistemele multiagent (MAS) se refer la faptul c primul domeniu
se ocup de managementul informaiei, pe cnd cel de-al doilea studiaz
managementul comportamentului. Totui, grania dintre acestea nu este
foarte clar. n DPS, o problem complex este descompus n mai multe


10
subprobleme mai simple care sunt rezolvate separat i apoi rezultatele
pariale sunt combinate pentru a forma soluia final. n acest sens, se
presupune c entitile care rezolv subproblemele sunt compatibile. n
MAS, nu exist asemenea garanii. Agenii pot avea arhitecturi diferite, sau
chiar scopuri conflictuale, i totui trebuie s interacioneze. De asemenea,
comportamentele individuale sunt mult mai simple dect interaciunile
dintre ei.
Utilizarea agenilor este justificat n primul rnd de faptul c sunt o
soluie pentru administrarea sistemelor complexe. Datorit autonomiei, ei
pot aciona n numele utilizatorului, fr s aib doar funcia unei simple
interfee. De exemplu, pentru gsirea unei informaii pe Internet, utilizatorul
o poate cuta singur sau poate apela la un agent care s realizeze cutarea n
locul lui i s-i returneze apoi paginile cele mai semnificative. Avem de-a
face n acest caz cu un management indirect (Dumitrescu, 1999), care
semnific un proces de cooperare ntre om i agent, care comunic,
monitorizeaz mediul i i ndeplinesc sarcinile. Agentul devine astfel un
asistent al utilizatorului uman, a crui eficien crete pe msur ce nva
preferinele acestuia. De asemenea, noul val de dezvoltare a tehnologiei i n
special Internetul necesit posibilitatea ca diverse aplicaii s comunice i s
interacioneze. n general, pentru mediile informatice eterogene, distribuite
geografic i de mari dimensiuni, o abordare centralizat este practic
imposibil.
Un al doilea motiv este rolul important jucat de sistemele multiagent
n dezvoltarea i analiza teoriilor din tiinele sociale i economice.
Simulrile bazate pe ageni sunt n acest caz mult mai apropiate de
procesele naturale i de aceea asigur rezultate superioare celor furnizate de
modelele clasice, cum ar fi sistemele de ecuaii difereniale.
Unii cercettori consider agenii o nou paradigm n sfera
cercetrii computaionale. n literatura de filosofia tiinei, acest termen are
numeroase nelesuri. Referindu-ne la modelarea i simularea prin
intermediul agenilor, acetia constituie o surs de noi instrumente de lucru
i, mai important, aduc o nou viziune asupra asupra domeniului menionat.
tiina calculatoarelor folosete cuvntul paradigm pentru a desemna o
nou metod sau metodologie, care se dovedete mai eficient, adic
rezolv un numr mai mare de probleme, i mai elegant, adic permite
combinarea soluiilor vechi i reformularea lor ntr-o manier mai compact.
Domeniul agenilor fiind recent i n continu dezvoltare, nu exist o
definiie standard unanim acceptat. n cele ce urmeaz, vom evidenia
cteva definiii propuse de diferii cercettori, plecnd de la cele mai
generale spre cele particulare. n mod esenial, se consider c autonomia


11
este noiunea central a ideii de agent (Franklin & Graesser, 1996). Dincolo
de aceasta, alte proprieti au o importan diferit, n funcie de aplicaiile
concrete considerate.
Agentul AIMA (Russel, Stuart & Norvig, 1995) este descris drept
orice lucru care i poate percepe mediul prin senzori i poate aciona
asupra acelui mediu prin efectori. Definiia depinde n mare msur de ce
se nelege prin mediu, percepie i aciune. Astfel, dac mediul asigur
intrri pentru ageni i le primete ieirile, orice program poate fi considerat
agent.
O alt definiie pentru agenii este dat de Patty Maes (1995) astfel:
Agenii autonomi sunt sisteme computaionale care populeaz un anumit
mediu dinamic complex, percept i acioneaz autonom n acest mediu i
astfel i realizeaz un set de scopuri sau sarcini pentru care au fost
proiectai. Aceast definiie insist pe situarea n mediu i pe autonomie,
ns limiteaz tipurile de mediu, astfel nct acestea s fie complexe i
dinamice.
Putem deci considera c un agent este un sistem computaional
situat ntr-un mediu de execuie i capabil de aciune autonom n acel
mediu pentru a-i ndeplini obiectivele planificate (Wooldridge, 2000).
Trebuie remarcat c definiia se refer la ageni n general, nu la
agenii inteligeni. Ea nu spune nimic despre tipul de mediu pe care l ocup
agenii, deoarece pot exista mai multe tipuri de mediu. n cele mai multe
domenii agentul nu va avea un control complet asupra mediului. n general,
va avea un control parial asupra mediului, adic l va putea influena.
De regul, un agent are o anumit gam de aciuni pe care le poate
efectua. Mulimea tuturor aciunilor posibile ale unui agent poart
denumirea de capacitate efectoric (engl. effectoric capability), adic
posibilitatea de a-i modifica mediul de execuie. Nu toate aciunile pot fi
executate ntr-o anumit situaie; ele au unele pre-condiii asociate, care
definesc strile mediului n care pot fi ndeplinite. De exemplu, un agent-
cumprtor cu scopul de a cumpra un sistem electronic nu va putea efectua
tranzacia dac n contul utilizatorului nu se gsesc destui bani pentru
acesta.

1.2.1 Agenii inteligeni
n cele ce urmeaz, vom considera cteva definiii referitoare la
agenii inteligeni.
Hayes-Roth (1995) consider c Agenii inteligeni efectueaz n
mod continuu trei funcii: perceperea condiiilor dinamice din mediu,
aciunea pentru influenarea condiiilor din mediu i raionamentul pentru


12
interpretarea percepiilor, rezolvarea problemelor, deducerea inferenelor i
determinarea aciunilor. Definiia insist asupra raionamentului necesar
selectrii aciunilor, ns dac acest concept este interpretat ntr-un sens mai
larg, arhitectectura rezultant permite i aciuni reflexe pe lng cele
planificate.
n definiia agentului IBM (Franklin & Graesser, 1996) se amintete
c Agenii inteligeni sunt entiti software care ndeplinesc anumite
operaii n numele utilizatorului sau al altui program, cu un anumit grad de
independen sau autonomie, folosind astfel cunotine sau reprezentri ale
scopurilor sau dorinelor utilizatorului. Se poate deduce de aici c orice
agent software este un program, ns un program nu se consider agent
dect dac manifest anumite caracteristici.
Probabil definiia cea mai adecvat pentru agenii inteligeni le
aparine lui Wooldridge i Jennings (1995). Ei consider c un agent
inteligent este un sistem hardware sau (mai ales) software, care se bucur de
urmtoarele proprieti:
autonomie (engl. autonomy): agentul opereaz ca un proces de
sine stttor, fr intervenie uman direct i deine controlul asupra
aciunilor i strii sale interne;
reactivitate (engl. reactivity): agentul i percepe mediul (care
poate fi de exemplu lumea fizic, un utilizator prin intermediul unei
interfee grafice, o colecie de ali ageni, Internet-ul, etc.) i
rspunde promt schimbrilor petrecute n mediul respectiv;
proactivitate (engl. pro-activeness): agentul nu numai c
reacioneaz la schimbrile mediului su de execuie, ci este capabil
s manifeste un comportament orientat spre scop prin preluarea
iniiativei;
abilitate social (engl. social ability): agentul interacioneaz cu
ali ageni (sau cu oamenii) printr-un anumit limbaj de comunicare
ntre ageni.
Cercettorii mai sus menionai apreciaz inteligena drept
capacitatea de aciune autonom flexibil, unde flexibilitatea presupune
reactivitate, proactivitate i aptitudine social.
Reactivitatea este o proprietate neceser atunci cnd agentul
acioneaz n medii nesigure, care se schimb mereu. Agentul reacioneaz
n mod continuu pentru a se adapta modificrilor. n astfel de medii
dinamice, evenimentele externe pot schimba chiar pre-condiiile considerate
iniial pentru nceperea execuiei unei aciuni. Printr-o continu reactualizare
a informaiilor despre mediu, se poate evita ncercarea de a atinge scopuri


13
inactuale. Dac nsui scopul se modific, atunci nu mai exist nici un motiv
pentru continuarea procedurii curente.
Proactivitatea se refer la comportamentul orientat spre scop. Acest
concept poate fi exemplificat printr-un simplu program scris ntr-un limbaj
imperativ. Efectele execuiei unei proceduri reprezint scopul, ceea ce
intenioneaz autorul programului s realizeze. Modelul este adecvat
mediilor statice, ns dac pre-condiiile se schimb n timpul execuiei
procedurii, rezultatul acesteia va fi imprevizibil i de obicei eronat.
Construirea sistemelor pur reactive sau pur proactive nu este foarte
dificil. Adevrata provocare o constituie gsirea unui echilibru ntre
comportamentul reflex i cel orientat spre scop. n general, se dorete ca
agentul s ncerce s-i ating n mod sistematic scopurile, ns s nu
continue o anumit aciune n condiiile n care este clar c aceasta nu va
reui. El trebuie s reacioneze la noua situaie i s-i selecteze un nou mod
de comportament. Totui, agentul nu trebuie s reacioneze n mod continuu
i astfel s nu se mai poat concentra asupra atingerii efective a scopurilor.
Abilitatea social, al treilea atribut al unui comportament flexibil, se
refer la cooperarea dintre ageni, la partajarea scopurilor. Un simplu
schimb de informaii nu poate fi considerat drept comportament social, care
se dovedete mult mai complex. Exist cazuri n care atingerea propriilor
scopuri intr n conflict cu interesele altor ageni. n astfel de cazuri se
recurge la negociere, alegerea unor aciuni alternative, etc.
Caracteristicile agenilor inteligeni se pot mpri n caracteristici
interne (autonomia, reactivitatea, raionamentul, nvarea, proactivitatea,
mobilitatea) i caracteristici externe (comunicarea, cooperarea).
Dac un agent inteligent are n plus capacitatea de a nva, de a
raiona i de a planifica, atunci este un agent cognitiv.

1.2.2 Proprietile mediului de execuie
Brian Logan (1998) propune un model de analiz a agenilor bazat
pe patru dimensiuni: proprietile mediului, proprietile aciunilor agenilor,
proprietile scopurilor agenilor i proprietile convingerilor agenilor.
Dup cum am menionat mai sus, procesul lurii deciziilor unui
agent este influenat de proprietile mediului de execuie. Acesta poate fi
(Russell, Stuart & Norvig, 1995):
accesibil sau inaccesibil: ntr-un mediu accesibil, agentul poate
obine informaii complete despre starea curent a mediului. n
condiii de inaccesibilitate, agentul vede numai parial mediul n care
acioneaz. Mediile de mare complexitate, precum lumea real sau
Internetul, sunt inaccesibile;


14
determinist sau nedeterminist: ntr-un mediu determinist, orice
aciune are un singur efect, adic nu exist incertitudini asupra strii
n care va trece mediul dup efectuarea aciunii respective. Lumea
real sau mediile complexe sunt nedeterministe, deoarece aceeai
aciune poate avea efecte diferite n condiii iniiale diferite. De
aceea, agenii trebuie s poat accepta posibilitatea eecului, chiar
dac au acionat optim n fiecare faz a procesului decizional local.
De asemenea, dac un mediu determinist este suficient de complex,
el trebuie tratat tot ntr-o manier nedeterminist;
episodic sau nonepisodic: ntr-un mediu episodic, performanele
agentului depind de un numr de episoade discrete, fr a exista o
legtur ntre performanele agentului din episoade diferite. De
exemplu, un sistem de sortare a potei electronice este episodic,
deoarece performanele de sortare viitoare nu depind de modul de
sortare a mesajelor curente;
static sau dinamic: un mediu static rmne neschimbat, cu excepia
rezultatelor aciunilor agentului. Un mediu dinamic are i alte
procese care opereaz asupra sa i astfel se poate modifica ntr-o
manier care nu mai depinde numai de aciunile agentului. Lumea
fizic real este un exemplu de mediu foarte dinamic;
discret sau continuu: un mediu discret dispune de un numr finit de
aciuni i elemente de percepie. Un exemplu de mediu discret poate
fi jocul de ah, pe cnd conducerea unui automobil aparine unui
mediu continuu.
Cele mai generale clase de medii sunt cele inaccesibile,
nedeterministe, nonepisodice, dinamice i continue.

1.2.3 Proprietile aciunilor agenilor
Aciunile agenilor pot fi de asemenea analizate pe baza unor
proprieti (Logan, 1998). O aciune este caracterizat de precondiiile sale,
de efecte i de eventualele constrngeri care specific modul n care e atins
starea dorit, cum ar fi de exemplu timpul necesar ndeplinirii unei sarcini.
Trebuie fcut diferena ntre proprietile unei aciuni abstracte i
proprietile comportamentului unui agent, care implementeaz aciunile.
Doi ageni, n condiii diferite, pot ncerca s execute aceeai aciune, dar
comportamentul lor poate fi diferit. n cele ce urmeaz, vom considera
caracteristicile unor aciuni ideale, independente de comportament:
infailibilitatea: o aciune infailibil (engl. infallible) va produce n
mod sigur efectele dorite cnd mediul i satisface precondiiile i este
executat corect. Infailibilitatea se refer n principal la intenia de a


15
efectua o aciune i nu la probabilitatea de reuit. O aciune
nedeterminist poate avea mai multe rezultate cnd este executat
ntr-o anumit stare. O aciune infailibil are mulimea rezultatelor
posibile inclus n mulimea rezultatelor ateptate, deci chiar dac
exist mai multe rezultate posibile, efectul aciunii va fi totdeauna
unul ateptat. Aruncarea unui zar este o aciune infailibil, n sensul
c va avea ntotdeauna ca rezultat una din cele ase alterrnative.
ncercarea de a da ase este ns failibil (engl. fallible, supus
greelii), deoarece rezultatul ateptat nu este posibil de fiecare dat.
Dac aciunile unui agent sunt failibile, chiar i un mediu static
trebuie considerat nedeterminist;
utilitatea: utilitatea unei aciuni este dat de utilitatea strii n care se
ajunge prin aciunea respectiv. Dac nu exist nici o modalitate de a
decide care aciune este mai bine s fie efectuat dintr-o mulime
posibil, se spune c aciunile au utiliti egale. Dac o asemenea
modalitate exist, se spune c aciunea cu utilitate maxim este
corect;
costul: diferite aciuni pot necesita diferite resurse pentru a putea fi
ndeplinite, cum ar fi consumul de energie electric, cheltuirea unei
sume de bani etc. Costurile pot fi calculate pe loc, nainte de
efectuarea unei aciuni, sau pot fi determinate la un moment de timp
ulterior. ntr-un mediu nedeterminist, costul unei aciuni nu poate fi
cunoscut cu anticipaie. O aciune este optim dac este corect i nu
exist o alt aciune corect cu un cost mai sczut.
Din punctul de vedere al schimbului de informaii cu mediul,
aciunile pot fi:
de percepie: se refer la capacitatea agentului de a-i percepe
mediul de execuie;
de micare: dac nici o aciune posibil nu poate determina
schimbarea perspectivei agentului asupra mediului su de execuie,
se spune c agentul este static. n caz contrar, avem de a face cu un
agent mobil. Noiunea de mobilitate se refer att la accepiunea
clasic, unde agentul i schimb percepiile asupra mediului prin
schimbarea poziiei, ct i la deplasarea pe o alt main pentru
continuarea execuiei;
de comunicare: comunicarea ntre ageni se refer la interaciunile
(schimbul de informaii) ntr-un anumit limbaj de comunicare inter-
agent. Dac ntr-un mediu exist mai multe tipuri de ageni, se poate
impune comunicarea n mai multe limbaje.



16
1.2.4 Proprietile scopurilor agenilor
n continuare, ne vom referi la proprietile scopurilor unui agent.
Nu toi agenii posed o mulime de scopuri definite explicit, chiar dac sunt
orientai spre un scop specific, bine definit. Un exemplu ar fi agenii care
decid aciunea urmtoare pe baza unor reguli de decizie aplicate strii
curente a mediului. Agenii cu arhitecturi ce permit reprezentarea scopurilor
i convingerilor vor fi prezentai mai detaliat n capitolul 2. Proprietile
menionate n continuare (Logan, 1998) se refer la scopurile intrinseci, care
nu sunt subscopuri ale unui alt scop deja avut n vedere (Georgeff &
Lansky, 1987) i care pot fi deci considerate scopuri de nivel nalt:
generarea autonom a scopurilor: capacitatea de a-i genera scopuri
proprii se ncadreaz ntre caracteristicile definitorii ale unui agent
autonom. n general, stabilirea de noi scopuri depinde att de agent
ct i de starea curent a mediului;
scopuri de realizare (engl. achievement) sau meninere (engl.
maintenance): un scop de realizare ncearc atingerea unei anumite
stri n cadrul mediului. Un scop de meninere ncearc pstrarea sau
conservarea unei anumite stri. De exemplu, un agent cumprtor
care ncearc s gseasc preul cel mai mic al unui produs are un
scop de realizare, pe cnd un termostat are un scop de meninere;
scopuri singulare sau multiple: dac un agent este capabil s-i
reprezinte (implicit sau explicit) mai mult de un scop, se spune c
are scopuri multiple. n caz contrar, are un scop singular;
angajamentul (engl. commitment) fa de scopuri: dac un agent
i abandoneaz un scop numai cnd acesta este atins, se spune c
agentul este puternic angajat fa de scop. Dac agentul l va
abandona i n alte circumstane, cum ar fi situaia n care se
demonstreaz c scopul nu poate fi atins sau necesit un consum
prea mare de resurse, se spune c agentul este slab angajat fa de
scop;
utilitatea scopurilor: este determinat de recompensa ndeplinirii
scopurilor;
meta-scopuri: unele condiii ale ndeplinirii unor scopuri (cum ar fi
timpul, resursele, etc.) nu pot fi modelate ca scopuri. Un meta-scop
este aadar o constrngere asupra altui scop sau, mai general, asupra
strilor interne ale unui agent.

1.2.5 Proprietile convingerilor agenilor
Convingerile unui agent semnific reprezentarea intern a mediului
su de execuie. Cu alte cuvinte, convingerile nseamn ceea ce crede


17
agentul despre mediu, i nu neaprat ceea ce este mediul n realitate.
Agentul i poate forma un model simplificat al mediului pentru a prelucra
mai uor informaiile despre acesta. De asemenea, nu toi agenii i
construiesc o reprezentare explicit a mediului. i pentru convingerile unui
agent se pot aminti cteva proprieti (Logan, 1998):
consistena: convingerile unui agent sunt consistente dac pentru
orice propoziie p, acesta nu crede simultan p i p;
sigurana: convingerile unui agent sunt sigure dac reprezentarea
convingerilor nu admite grade de certitudine. Pentru orice propoziie
p, agentul crede p sau p. n caz contrar, agentul este nesigur despre
p i i poate calcula nivelurile de ncredere cu o anumit
probabilitate. n acest scop se pot utiliza rezultatele logicii fuzzy, a
crei problematic va fi prezentat n capitolul 4;
atitudini propoziionale imbricate: convingerile unui agent conin
atitudini propoziionale imbricate dac acesta i poate reprezenta
att propriile scopuri i convingeri, ct i pe cele ale altor ageni.

1.2.6 Caracteristicile agenilor n simularea sistemelor complexe
Referindu-ne cu precdere la simularea sistemelor complexe cu
ajutorul agenilor i la sistemele multiagent, care vor fi detaliate n capitolul
3, amintim cercetrile lui John Holland (1995), care consider agenii drept
sisteme de intrare-ieire bazate pe reguli i ale cror reguli se pot adapta n
funcie de mediu. El evideniaz apte caracteristici de baz ale agenilor i
sistemelor multiagent:
agregarea (engl. aggregation): agenii grupeaz obiectele
asemntoare i ignor diferenele; astfel apar modele de organizare
la nivel colectiv;
etichetarea (engl. tagging): agenii trebuie individualizai, ei
posed o identitate;
neliniaritatea (engl. nonlinearity): comportamentul global al
sistemului nu poate fi descompus linear n comportamentele
agenilor individuali;
fluena (engl. flows): agenii sunt interconectai, interacioneaz i
transfer informaii;
diversitatea (engl. diversity): sistemele multi-agent sunt eterogene,
agenii au diferite roluri i comportamente;
modelele interne (engl. internal models): organizeaz regulile care
produc comportamentul agenilor, astfel nct acetia pot anticipa
influenele mediului;


18
blocurile constitutive (engl. building blocks): agenii sunt alctuii
din componente simple, prin combinarea crora pot rezulta ageni cu
roluri i comportamente diferite.

1.3 Clasificri
Clasificrile propuse pentru ageni sunt la fel de diverse ca i
definiiile prezentate anterior, deoarece aceast teorie se bucur n ultimii
ani de o tot mai accentuat popularitate. n funcie de domeniul de activitate,
cercettorii aleg diferite criterii de clasificare.

1.3.1 Taxonomia general a agenilor
Una dintre cele mai generale clasificri este cea propus de Kiel
(1989). n analogie cu arborele filogenetic din biologie, se urmresc
categoriile semnificative de ageni care pot fi mai apoi particularizate:

Figura 1.2. Taxonomia general a agenilor

1.3.2 Clasificarea lui Nwana
Agenii pot fi clasificai prin prisma unor caracteristici minimale pe
care trebuie s le manifeste. Nwana (1996) a identificat o list minimal cu
trei elemente: autonomie, nvare i cooperare. Dup cum am amintit,
autonomia se refer la capacitatea de operare fr intervenie uman, cu
scopul de a-i ndeplini scopurile proprii i pe cele ale utilizatorilor.
Cooperarea este motivul pentru care alegem s utilizm mai muli ageni n
sisteme multiagent, n situaii n care un singur agent nu ar putea funciona
sau nu ar putea funciona eficient. De asemenea, pentru a fi considerat
inteligent, un agent trebuie s fie capabil s nvee din interaciunile cu
mediul exterior i are drept consecin o crete a performanei n decursul


19
timpului. Din combinarea acestor atribute, se pot deduce patru tipuri de
ageni: colaborativi, colaborativi instruibili (engl. collaborative learning
agents), de interfa i ageni inteligeni.

Figura 1.3. Clasificarea lui Nwana

1.3.3 Tipuri de ageni din perspectiva mediului computaional
Termenii tehnici i cei utilizai n marketing (agent Internet, de
interfa, de cutare, wizard etc.) pot provoca uneori confuzie, deoarece se
refer la diferite componente ale agenilor, cum ar fi mediul lor de execuie
sau arhitectura prin care i reprezint cunotinele. Caglayan i Harrison
(1997) propun o clasificare n funcie de mediul computaional, de zona de
execuie, distingnd ntre ageni desktop, Internet i intranet.
Agenii desktop funcioneaz pe un PC sau pe o staie de lucru i sunt ageni
software care se execut local n sistemul de operare al unui calculator
personal, de exemplu Windows, MacOS sau Unix. n funcie de task-uri,
agenii desktop pot fi sub-categorizai n:
ageni sistem de operare: efectueaz sarcini care necesit de obicei
interaciunea utilizatorului cu sistemul de operare prin interfaa
grafic (GUI). De exemplu, astfel de ageni pot monitoriza
evenimentele de la nivelul sistemului de operare i executa diverse
task-uri atunci cnd utilizatorul nu mai lucreaz pentru o perioad.
De asemenea, agenii pot iniia sau finaliza sarcini legate de interfaa
grafic n numele utilizatorului;
ageni de aplicaie: automatizeaz unele sarcini n cadrul unei
aplicaii;
ageni din suite de aplicaii (engl. application suite agents): pot fi
componente software sau suite de aplicaii care faciliteaz
interaciune utilizatorului cu aplicaiile respective. Un exemplu n


20
acest sens este un wizard care rspunde la ntrebrile utilizatorului
n funcie de context.
La mijlocul anilor 90, s-a estimat c informaia disponibil n
general se dubleaz la fiecare 20 de luni (Piatetsky-Shapiro & Frawley,
1991). Desigur, ponderea cea mai mare o are reeaua World Wide Web.
Traficul total pe Internet crete cu 12% pe lun, ceea ce corespunde cu o
dublare a traficului la fiecare 6 luni (Witten, Moffat & Bell, 1994). Agenii
Internet au aprut din nevoia prelucrrii cantitii de informaie n continu
cretere. n cadrul acestui tip de ageni, se ntlnesc:
ageni de cutare: motoarele de cutare obinuite dispun de aa-
numii roboi, care exploreaz toate link-urile pornind de la o adres
de baz i catalogheaz informaiile din fiecare pagin vizitat;
ageni de filtrare a informaiei: spre deosebire de agenii de cutare,
care returneaz utilizatorului adrese, acetia adun informaii bazate
pe coninut, din diferite surse, le filtreaz prin prisma preferinelor
personale ale utilizatorului i propun rezultatul sub forma unei pagini
Web actualizate sau a unui mesaj de e-mail;
ageni de notificare: anun utilizatorul de anumite schimbri
petrecute, cum ar fi actualizarea unei pagini Web, primirea unui e-
mail sau reamintirea unor date de importan personal (ziua de
natere a cuiva, o ntlnire programat anterior, etc.).
Termenul intranet se refer la o reea intern a unei anumite
organizaii, bazat pe tehnologia Internet. De obicei, reeaua poate fi
accesat de angajaii organizaiei, de clieni i furnizori, pe baza unei parole.
Agenii intranet sunt ageni software localizai pe un server corporativ, care
supravegheaz i administreaz desfurarea afacerilor n numele
utilizatorilor. ntr-un asemenea mediu, modelul agenilor se aplic uor,
deoarece procesul de afaceri poate fi vzut el nsui ca o colecie de ageni
autonomi care interacioneaz n cadrul unor sarcini interdependente
(Wooldridge & Jennings, 1995). Fiecare categorie de ageni Internet i
gsete aplicabilitatea i pe reelele intranet. Agenii intranet includ i cteva
categorii suplimentare:
ageni colaborativi: se integreaz programelor colaborative,
gestionnd partajarea informaiilor de ctre un grup de utilizatori;
ageni de automatizare a proceselor: automatizeaz fluxul de
operaii n aplicaiile comerciale, cum ar fi sistemele de prelucrarea a
cererilor de date de ctre clieni;
ageni de baze de date: acioneaz ca front end-uri pentru bazele
de date ale corporaiilor, precum centralizarea n background a unor
date, pentru ntocmirea unor rapoarte periodice;


21
ageni mobili: aceti ageni se transport efectiv de pe o main
client pe diferite servere din reea pentru a ndeplini unele sarcini n
numele utilizatorului (White, 1996). n contrast cu apelurile de
proceduri la distan (remote procedure call - RPC), care se
limiteaz la transmiterea datelor ctre o procedur de pe server,
agenii mobili transport att programul ct i datele asupra crora
acioneaz.

1.3.4 Tipuri de ageni n simulri complexe
Modelarea bazat pe ageni este adecvat analizei proceselor
dinamice complexe deoarece permite o bogat reprezentare a
caracteristicilor i aciunilor agenilor, care nu ar putea fi suportate de
formalismul i rigoarea algoritmilor computaionali.
Cele mai studiate sisteme de acest tip sunt cele din domeniile
economic, ecologic i social, pentru care gsirea unui model matematic de
evoluie este foarte dificil. ns reprezentarea componentelor sistemului
prin ageni autonomi este mai natural iar studiul comportamentului de grup
poate indica proprieti generale importante, mai ales c n studiul
sistemelor complexe neliniare accentul cade pe modul global de evoluie,
ntr-un anumit interval de timp.
n orice modelare, trebuie determinat raportul dintre fidelitate i
abstractizare. Fidelitatea presupune integrarea n sistem a unui numr de
detalii realiste, iar abstractizarea ajut la generalizarea rezultatelor
experimentale dintr-un sistem i pentru alte sisteme.
Agenii ecologici se refer n general la agenii utilizai n simularea
vieii artificiale. O problem clasic este cea a evoluiei numrului de
indivizi ntr-un mediu prdtori prad. Acesta este un sistem oscilant,
deoarece creterea numrului de indivizi dintr-una din cele dou specii va
determina (ntr-un sistem stabil), n mod indirect, scderea sa ulterioar. De
exemplu, creterea numrului de prdtori va implica imediat scderea
przii, care va determina mai apoi scderea prdtorilor, care nu vor mai
avea suficient hran. n mod tradiional, problema se rezolv cu un sistem
de ecuaii difereniale. Simularea bazat pe ageni este ns mai elegant i
deseori conduce la rezultate mai apropiate de realitate.
n acest domeniu prezint interes i urmrirea evoluiei speciilor
artificiale, cu ajutorul algoritmilor de selecie genetic. De obicei se aplic
operaia de crossing-over (numit i crossover) simplificat i mutaiile,
ignorndu-se celelalte fenomene secundare implicate n transmiterea
caracteristicilor ereditare din biologie.


22
Viaa artificial s-a distanat de inteligena artificial, abordnd
problematica agenilor n mod diferit. Aici se ntlnesc de cele mai multe ori
ansambluri mari de ageni simpli, prin interaciunea crora, pe baza unor
reguli simple, bazate pe informaii locale, se urmrete apariia unor modele
de comportament globale, neplanificate explicit (de exemplu simularea unor
colonii de insecte). n inteligena artificial se prefer ansambluri mici de
ageni compleci, care posed proprieti i reguli de comportament
complexe, stabilite anterior. Se urmresc strategiile de dezvoltare,
competiia sau cooperarea dintre ageni.
O particularizare a tipului anterior o reprezint agenii sociali.
tiinele sociale, n special psihologia social, pot contribui la construirea i
nelegerea societilor artificiale, a cyber-organizaiilor (Castelfranchi,
2001). Contribuia principal a inteligenei artificiale n acest domeniu este
legat n principal de teoria legturii dintre planurile micro i macro o
problem teoretic fundamental, referitoare la posibilitatea apariiei unor
forme incontiente, neplanificate de cooperare, organizare i inteligen,
adic emergena ordinii infosociale spontane (Conte, 2001).
i aici difer gradul de complexitate al agenilor implicai. Luis
Mateus Rocha (1999) introduce noiune de ageni semiotici, suficient de
simpli pentru ca ansamblul lor s genereze comportamente emergente
neplanificate, dar n acelai timp suficient de compleci pentru a poseda o
reprezentare adecvat a cunotinelor i posibilitatea de a partaja aceste
cunotine, n ideea de a simula o cultur comun simbolic.
Un pas nainte n ceea ce privete umanizarea agenilor sociali este
adugarea unor caracteristici de ageni psihologici (Watt, 1996). Utilitatea
acestora s-ar dovedi n construirea unor sisteme hibride n care agenii i
oamenii s interacioneze din punct de vedere social, deoarece n prezent
agenii nu sunt suficient de flexibli pentru a lucra efectiv n societi umane.
Agenii psihologici ar trebui s poat descifra n mod euristic
(gr. , a gsi, a descoperi, , am gsit) strile intenionale
umane i s poat comunica folosind limbajul natural.
n lucrrile unor cercettori precum Sloman (2003) sau Wright
(1997) se prezint un agent emoional, numit MINDER1, construit cu
ajutorul mediului de dezvoltare SIM_AGENT. Trsturile emoionale sunt
simulate prin aa-numitele perturbaii n procesul normal de aciune, o
pierdere parial sau total a controlului asupra ateniei. Asupra
arhitecturilor de ageni vom insista n capitolul 2, ns amintim aici
arhitectura specific CogAff. Aceasta este organizat pe trei niveluri:
primul nivel cuprinde mecanisme reactive, fr capacitate de
reprezentare, evaluare i comparare a aciunilor posibile. Reaciile


23
concurente sunt rezolvate ntr-o manier non-deliberativ, care nu
utilizeaz inferene;
al doilea nivel este compus din mecanisme deliberative, care pot
reprezenta i analiza descrieri ale cursurilor de aciune viitoare
bazate pe scenarii ipotetice sau pe explicaii ale fenomenelor
observate anterior;
al treilea nivel conine mecanisme de meta-management, care permit
auto-observaia i auto-monitorizarea unei game largi de stri
interne, mpreun cu evaluarea i categorizarea acestora. La acest
nivel se desfoar procesele de nvare i control al aciunilor
viitoare, care pot de asemenea modifica scopurile curente.
Simularea bazat pe ageni este aplicabil i n studiul diverselor
activiti economice. Agenii economici sunt potrivii pentru studiul analitic
al comerului electronic deoarece acetia fac posibil modelarea
interconexiunilor complexe care caracterizeaz pieele electronice.
Structurile cele mai importante n acest domeniu sunt constrngerile legate
de standardele tehnologice, legislaia comerului electronic i relaiile
comerciale deja existente. O tranzacie economic implic ase stadii
(Taylor, 2003):
recunoterea problemei;
cutarea de informaii;
evaluarea alternativelor;
negocierea;
decizia de achiziionare;
evaluarea ulterioar.
Tehnologia bazat pe ageni poate fi aplicat n unele din aceste
stadii (Moukas, Guttman & Maes, 1998), deoarece piaa Internet-ului difer
de pieele tradiionale. Odat cu dezvoltarea tehnologiei pentru comerul
electronic, vor aprea i noi modele de tranzacionare care vor conduce la
scderea costurilor prin intermedierea procesului de vnzare-cumprare de
ctre ageni.

1.4 Concluzii
n acest capitol au fost menionate mai nti cteva definiii pentru
ageni n general i pentru agenii inteligeni n particular, deoarece nu exist
o definiie unanim acceptat asupra acestor noiuni. Apoi au fost detaliate
proprietile pe care se bazeaz n principal agenii, n special caracteristicile
mediului de execuie, al aciunilor, scopurilor i convingenrilor acestora. n
continuare, au fost amintite cteva clasificri ale agenilor: o taxonomie


24
general, care ncadreaz agenii n lumea real, o clasificare bazat pe
combinarea a trei atribute (autonomia, capacitatea de cooperare i de
nvare). S-au prezentat cteva tipuri de ageni din perspectiva mediului
computaional (ageni desktop, Internet i intranet) i din perspectiva
simulrilor complexe (ageni ecologici, sociali i economici).

25
Capitolul II

ARHITECTURI DE AGENI INTELIGENI

2.1 Arhitectura general a unui agent inteligent
n capitolul precedent am enunat unele proprieti ale agenilor din
punct de vedere calitativ. n cele ce urmeaz ne vom concentra asupra
formalizrii acestor concepte.
Mediul de execuie al unui agent este caracterizat de o mulime de
stri: S = {s
1
, s
2
, ...}. n orice moment, mediul se gsete n una din aceste
stri. Capacitatea efectoric a agentului este reprezentat de o mulime de
aciuni: A = {a
1
, a
2
, ...}. n aceste ipoteze, un agent poate fi vzut ca o
funcie:

A S act * : , (2.1)

care alege o aciune de executat n concordan cu starea mediului. Un agent
modelat de o astfel de funcie este un agent standard (Wooldridge, 2000).
Un agent inteligent poate ns decide aciunea urmtoare i n funcie
de strile mediului pe care le-a traversat pn la un moment dat, de
experiena acumultat. Prin urmare, i comportamentul mediului poate fi
modelat printr-o funcie:

) ( : S A S env . , (2.2)

unde ) (S . semnific mulimea prilor lui S (mulimea de mulimi care pot
fi formate cu elementele lui S). Valoarea funciei ntr-o anumit stare a
mediului, adic rezultatul aciunii agentului, reprezint o mulime de stri.
Dac aceste mulimi sunt singleton, adic au un singur element, ceea ce
nseamn c aciunea rezult ntr-o singur stare posibil a mediului, acesta
este determinist i comportamentul su poate fi anticipat. n caz contrar,
mediul este nedeterminist.
O secven:

... ... :
1 1 0
1 0

n n
a
n
a a a
s s s h (2.3)

unde s
i
reprezint stri ale mediului iar a
j
aciuni, reprezint o istorie
posibil a agentului n mediu dac i numai dac:


26
e n N, ( ) ) ,..., , (
1 0 n n
s s s act a =
e n N ) , ( , 0 :
1 1
e >
n n n
a s env s n
(2.4)

Comportamentul caracteristic al unui agent n mediu este mulimea
tuturor istoriilor care satisfac proprietile menionate. Dac o anumit
proprietate este caracteristic tuturor acestor istorii, aceasta este o
proprietate invariant a agentului n mediul su. De exemplu, s considerm
un agent care controleaz temperatura dintr-o camer. Dac n nici o istorie
posibil temperatura nu depete 30C sau nu scade sub 10C, aceste
proprieti sunt invariante.
Mulimea istoriilor agentului ag n mediul med se noteaz hist(ag,
med).
Doi ageni ag
1
i ag
2
au comportamente echivalente n raport cu un
mediu, med, dac i numai dac hist(ag
1
, med) = hist(ag
2
, med).
Doi ageni ag
1
i ag
2
au comportamente echivalente dac i numai
dac au comportamente echivalente n raport cu toate mediile: med,
hist(ag
1
, med) = hist(ag
2
, med).
n general, este interesant studiul agenilor care, prin prisma
autonomiei, nu nceteaz niciodat interaciunile cu mediul i deci au istorii
infinite.
Luarea deciziilor de ctre un agent inteligent se bazeaz pe acest
istorie a interaciunilor cu mediul. Concret, acest lucru este modelat prin
introducerea unor stri interne. Dup observarea mediului, agentul i
actualizeaz starea intern iar aciunea urmtoare este selectat n funcie de
aceast stare, dup care ntregul ciclu se reia.
Un agent este un sistem cibernetic care primete informaii din
mediu i acioneaz la rndul su asupra acestuia. Analiza unei arhitecturi
generale presupune studierea separat a celor dou componente. n cele ce
urmeaz, ne vom referi la funciile de percepie ale unui agent, care trebuie
s-i observe mediul pentru a lua deciziile de aciune.
n cazul unui agent care acioneaz n lumea real, cum ar fi de
exemplu un robot, funcia de percepie poate fi implementat hard (o camer
video sau diveri ali senzori). Un agent software trebuie s dispun de
mecanisme de examinare a mediului direct, prin accesarea unei variabile
sau a unei zone de memorie, sau indirect, prin intermediului unor mesaje.
Funcia de percepie poate fi definit astfel:

P S see : , (2.5)


Arhitecturi de ageni inteligeni

27
unde P este o mulime de elemente de percepie (engl. percepts). n acest
caz, funcia de aciune poate fi redefinit astfel:

A P act * : . (2.6)

Procesul de luare a deciziilor de aciune n funcie de percepia
mediului poate fi reprezentat ca n figura urmtoare:

Figura 2.1. Percepia i aciunea unui agent

Uneori este posibil ca dou stri distincte ale mediului s provoace
acelai element de percepie. S presupunem c un agent robotic este
nzestrat cu o camer video pe care o utilizeaz pentru a distinge culoarea
obiectelor ntlnite. Dac este permis nclzirea unor obiecte, adic se
mrete numrul strilor posibile ale mediului, mulimea elementelor de
percepie posibile ale agentului va rmne aceeai, deoarece acesta nu are
capacitatea de a detecta temperatura. Dac pentru aceeai poziie a
agentului, acelai obiect are n starea s
1
a mediului temperatura t
1
iar n
starea s
2
temperatura t
2
, atunci s
1
= s
2
, ns see(s
1
) = see(s
2
). Din punctul
de vedere al agentului, strile s
1
i s
2
sunt indistinctibile.
Dac:

) ( ) ( , : ,
2 1 2 1 2 1
s see s see s s S s s = = e , (2.7)

adic agentul poate distinge toate strile mediului, agentul este omniscient.
Putem spune c un agent este omniscient dac funcia sa de percepie este
injectiv.
La cealalt extrem, dac:

) ( ) ( , ,
2 1 2 1
s see s see S s s = e , (2.8)


28

adic toate strile mediului provoac acelai element de percepie, agentul
nu are capacitate de percepie. El nu poate distinge nici o stare; pentru el
toate strile mediului sunt identice.

2.2 Arhitecturi logice
Abordarea tradiional n ceea ce privete construirea sistemelor
artificiale inteligente se refer la nzestrarea acestora cu reprezentri
simbolice ale domeniului n care acestea funcioneaz. Astfel, agenii pot
avea o descriere a mediului la nivel de formule logice, iar rezultatul
aciunilor asupra sa ar corespunde unei deducii logice (Wooldridge, 2000).
Ideea ca un sistem bazat pe ageni s-i ndeplineasc obiectivele n
forma unei demonstraii de teoreme este foarte atrgtoare i a fost aplicat
cu succes n ultimii ani. n mod normal, o problem de o anumit
complexitate este divizat progesiv n probleme din ce n ce mai simple,
care pot fi rezolvate cu uurin (metoda divide et impera). n cazul
agenilor care acioneaz ca demonstratori de teoreme, acest proces nu are
loc; o teorem este o specificaie executabil, care este executat direct
pentru a produce un anumit comportament.
Agenii bazai pe logic au strile interne organizate sub forma unei
mulimi de formule predicative de ordinul nti, de forma:

Capacitate(floppy, 1.44)
Culoare(taxi, galben)
Citete(carte)

Fie L mulimea propoziiilor predicative de ordinul nti i ) (L D . =
baza de date format din mulimea mulimilor de formule L. Starea intern a
unui agent bazat pe logic este un element al mulimii D. Luarea unei
decizii este determinat de o mulime de reguli de inferen, . Notm prin
i
faptul c formula poate fi derivat din numai prin regulile de

inferen . Algoritmul urmtor prezint procesul decizional al unui agent
bazat pe logic (Wooldridge, 2000):

function act(: D): A
begin
foreach aeA do
if i
Do(a) then
return a
end-if
end-for


29
foreach aeA do
if 0
Do(a) then
return a
end-if
end-for
return null
end

Pe baza regulilor de inferen i a formulelor predicative, agentul
ncearc s determine aciunea urmtoare a pe care trebuie s o efectueze:
Do(a). n prima bucl for, agentul ncearc s deriveze o aciune posibil
din starea intern . Dac acest lucru este posibil, funcia va returna
aciunea respectiv i agentul o va selecta pentru execuie.
Dac nu reuete s gseasc aa ceva, agentul caut o aciune
consistent cu baza de cunotine i cu regulile de inferen, adic o aciune
care nu este interzis n mod explicit, astfel nct non(Do(a)) s nu poat fi
derivat.
n final, dac nici o aciune corect nu poate fi gsit, se returneaz
aciunea nul.

2.3 Arhitecturi reactive (reflexe)
Arhitecturile bazate pe logic, n care luarea deciziilor este un proces
de deducie, sunt arhitecturi elegante i clare deoarece comportamentul
agenilor este definit explicit. ns complexitatea inerent acestora este un
dezavantaj evident, mai ales n cazul mediilor complexe, dinamice. Apar de
asemenea i probleme de extensibilitate i robustee iar atingerea scopurilor
multiple aflate n competiie este dificil. O abordare diferit este adus de
arhitecturile reactive sau reflexe.
n ceea ce privete terminologia, n literatura romn de specialitate
se ntlnete denumirea de agent reflex pentru traducerea sintagmei
reactive agent din literatura anglo-saxon. Dei sensurile celor dou
cuvinte sunt foarte apropiate, am preferat folosirea termenului reactiv,
deoarece aceeai noiune se refer i la proprietatea de reactivitate a unui
agent, pentru care expresia reflexivitate ar fi oarecum improprie.
Spre sfritul anilor 80, cercettorii au nceput investigarea unor
alternative pentru paradigma simbolic clasic a inteligenei artificiale.
Ideea central n aceste abordri este faptul c aciunile raionale inteligente
sunt n strns legtur cu mediul n care acestea au loc. Inteligena este
astfel un produs al influenelor reciproce dintre agent i mediu.
Comportamentul inteligent emerge din interaciunile unor comportamente
mai simple (Wooldridge, 2000).


30
Una dintre cele mai cunoscute arhitecturi reactive este aa-numita
arhitectur de subsumare (engl. subsumption architecture), care i
aparine lui Rodney Brooks (1986; 1991a; 1991b). Exist dou caracteristici
definitorii ale acestei arhitecturi. n primul rnd, agentul alege un
comportament adecvat dintr-o mulime de comportamente adecvate
ndeplinirii sarcinii. Fiecare comportament poate fi gndit ca o funcie de
aciune individual, care preia intrarea perceptiv i genereaz o aciune.
n al doilea rnd, se consider c mai multe comportamente se pot
activa (sau aprinde) simultan. De aceea, trebuie s existe un mecanism de
selecie a unei aciuni unice la un moment dat. Brooks a propus existena
unei ierarhii, comportamentele fiind aezate pe diferite niveluri de
competen. Nivelurile inferioare din ierarhie pot inhiba nivelurile
superioare cu ct un nivel este mai sczut, cu att are o prioritate mai
mare. Se poate spune c nivelurile superioare reprezint comportamente mai
abstracte.
n arhitecturile reactive exist o strns legtur ntre funcia
perceptiv i cea acional intrarea senzorial nu este transformat sau
prelucrat foarte mult i nici nu se ncearc transformarea percepiilor n
reprezentri simbolice. Funcia de decizie act se realizeaz printr-o mulime
de comportamente posibile mpreun cu o relaie de inhibiie ntre acestea.
Un comportament este o relaie (c, a), unde P c _ este o mulime de
percepii numite condiii, iar A a _ este o aciune. Un comportament (c,
a) se va activa cnd mediul este n starea S s e dac i numai dac funcia
de percepie, c s see e ) ( .
Fie Beh mulimea tuturor astfel de reguli (engl. behaviour,
comportament):

} ) , {( A a P c a c Beh e . _ = . (2.12)

Cu mulimea de reguli de comportament ale agentului Beh R _ este
asociat o relaie de inhibiie binar definit pe mulimea de
comportamente: R R _ , tranzitiv, nereflexiv i antisimetric:
- R b b b e
3 2 1
, , , dac b
1
b
2
i b
2
b
3
, atunci b
1
b
3
(2.13)
- @ b R, astfel nct b b (2.14)
- R b b e
2 1
, , dac b
1
b
2
i b
2
b
1
, atunci b
1
= b
2
(2.15)



31
Dac pentru dou comportamente b
1
i b
2
avem e ) , (
2 1
b b , se
spune c b
1
inhib pe b
2
sau b
1
are prioritate fa de b
2
i se scrie
2 1
b b .
Algoritmul de alegere a funciei de aciune este urmtorul
(Wooldridge, 2000):

function act(p: P): A
var fired: .(R)
var selected: A
begin
fired = { (c,a) | (c,a) e R p e c }
foreach (c,a)e fired do
if @(c,a) e fired
such that (c,a) (c,a) then
return a
end-if
end-for
return null
end

Se calculeaz mai nti toate comportamentele care se pot activa, i
apoi pentru fiecare comportament se determin dac exist un
comportament cu prioritate mai mare. Dac un astfel de comportament nu
exist, se returneaz aciunea a corespunztoare comportamentului. Dac
nici un comportament nu se activeaz, se returneaz o aciune nul (n
momentul urmtor agentul nu va efectua nici o aciune). Complexitatea
algoritmului este n cazul cel mai defavorabil ) (
2
n O , unde n este maximum
dintre numrul de comportamente i numrul de elemente de percepie.
Arhitectura lui Brooks se adresa n principal agenilor robotici. n
acest caz, nivelurile de competen pot avea semnificaiile din exemplul
urmtor (Bergmann, 1998):
- Nivelul 0: evitarea coliziunilor cu obiecte statice sau n micare;
- Nivelul 1: micarea aleatorie cu evitarea coliziunilor;
- Nivelul 2: explorarea mprejurimilor i marcarea locurilor inaccesi-
bile;
- Nivelul 3: alctuirea unei hri a mediului i stabilirea rutelor dintre
diverse locaii;
- Nivelul 4: recunoaterea schimbrilor din mediu;
- Nivelul 5: recunoaterea obiectelor i sarcinilor aferente acestora;


32
- Nivelul 6: formularea i executarea planurilor pentru schimbarea
mediului ntr-o manier semnificativ;
- Nivelul 7: conceperea unor modaliti de control al obiectelor din
mediu i reconsiderarea n consecin a planurilor existente.
Comportamentele amintite pot fi dispuse n ierarhia urmtoare:

Nivelul 0 Nivelul 1 Nivelul 2 Nivelul 3
Nivelul 4 Nivelul 5 Nivelul 6 Nivelul 7 (2.16)

Avantajele principale ale acestei arhitecturi se refer la simplitate,
economie n ceea ce privete resursele i robustee n aciune. Ea are drept
model lumea real, evitnd n acest mod pstrarea unui model intern al
mediului. Dificultile care in de dinamica mediului sunt evitate prin
nlturarea oricror ncercri de predicie, mai ales c modelul presupune
existena unor elemente de percepie eronate (de exemplu, senzori care se
defecteaz) (Laird et al., 1994).
ns exist i unele probleme nerezolvate legate de arhitecturile pur
reactive. De vreme ce agenii nu au un model al mediului, ei trebuie s aib
suficiente date locale pentru selectarea unei aciuni acceptabile. De
asemenea, este dificil nzestrarea unor ageni reactivi cu abilitatea de a
nva i de a-i mbunti performanele n timp (Wooldridge, 2000). De
asemenea, planificarea aciunilor pentru ndeplinirea unor scopuri complexe
este problematic.
Unii cercettori au ncercat unificarea arhitecturilor raional i
reactiv (Kowalski & Sadri, 1997). n acest caz, raionalitatea este dobndit
prin utilizarea definiiilor pentru reducerea scopurilor la o mulime de
scopuri mai simple. Reactivitatea intervine prin folosirea constrngerilor de
integritate pentru simularea regulilor situaie-aciune i prin formularea
procedurilor de demonstrare a teoremelor n aa fel nct s poat fi
ntrerupte pentru efectuarea de observaii i executarea de aciuni.

2.4 Arhitecturi BDI
n acest tip de arhitectur, propus de Rao i Georgeff (1991), starea
agentului este definit de trei caracteristici: convingeri (engl. beliefs),
dorine (engl. desires) i intenii (engl. intentions). Modelul ncearc o
adaptare n domeniul agenilor a filosofiei raionamentului practic, care
presupune mai nti stabilirea scopului, printr-un proces deliberativ, i apoi
evidenierea mijloacelor disponibile pentru atingerea acelui scop.
Convingerile reprezint cunotinele pe care le are agentul despre
mediu. Acestea i pot veni agentului direct prin funcia perceptiv sau


33
indirect prin prelucrarea informaiilor rezultate n urma execuiei unor
aciuni. Dorinele corespund scopurilor agentului sau, altfel spus, task-urilor
pe care trebuie s le ndeplineasc acesta. Task-urile i pot fi atribuite de
ctre utilizator, de ctre un alt agent sau pot fi generate intern. n general,
dorinele se doresc a fi consistente, adic realizarea unei dorine s nu
mpiedice ndeplinirea alteia. Inteniile pot fi vzute ca o mulime de planuri
care, executate de obicei ntr-o ordine bine stabilit, conduc la ndeplinirea
unui scop.
S considerm de exemplu un agent care, acionnd n numele unui
utilizator uman, dorete s gseasc unele informaii n diverse baze de date
de pe Internet. S considerm c unele baze de date sunt mai mari i mai
complete, ns pot fi accesate doar contra cost, iar altele, mai numeroase dar
cu mai puine informaii, pot fi consultate gratis.
Agentul trebuie s determine opiunile disponibile, n funcie de
posibilitile de aciune. Dac utilizatorul nu are destui bani, bazele de date
complete nu pot fi utilizate. Rmne opiunea bazelor de date gratuite, care
necesit un efort mai mare de cutare, deoarece probabilitatea gsirii
informaiilor este mai redus. Alegerea acestei alternative semnific intenia
agentului.
n acelai timp, trebuie s existe convingerea c scopul poate fi atins.
Agentul trebuie s considere c exist anse pentru descoperirea datelor.
Dac probabilitatea ar fi evaluat la 0, adic dac agentul ar avea
convingerea c realizarea scopului n acest mod este imposibil, urmrirea
n continuare a inteniei curente ar fi iraional.
n continuare, dac agentul are motive s-i menin o anumit
intenie, trebuie s fac un efort acceptabil pentru mplinirea acesteia. Dac
o direcie de aciune eueaz, este necesar reluarea acesteia sau selectarea
unei alte direcii. De exemplu, dac o baz de date este inaccesibil
momentan (este nchis serverul pe care se afl ea), agentul poate ncerca din
nou, mai trziu. Dac situaia se repet, agentul poate trage concluzia c
aceste ncercri sunt inutile, c este o pist greit i n consecin va
elimina din lista sa baza de date respectiv. El va consulta n continuare
celelalte baze de date rmase.
Este important ca, n timp ce se urmrete o anumit intenie, s nu
se ncerce aciuni care intr n conflict cu aceasta. n cazul considerat,
agentul trebuie s se concentreze asupra regsirii datelor utile. Dac s-ar
ncerca simultan i descrcarea unor filme sau piese muzicale, acest lucru ar
nsemna o irosire a resurselor, ceea ce ar determina un timp de rspuns mult
mai mare.


34
Inteniile trebuie s fie persistente. Dac agentul ar renuna dup
primul eec, nu i-ar mai ndeplini niciodat sarcinile complexe. El trebuie
s fac toate eforturile pentru gsirea posibilitilor ncununate de succes.
Cu toate acestea, dac devine clar c scopul nu poate fi atins, agentul trebuie
s poat renuna la intenie. De exemplu, dac dup consultarea tuturor
bazelor de date, informaiile nu au fost gsite, este logic ca agentul s l
anune pe utilizator despre acest lucru, dei teoretic ar fi posibil o
actualizare ulterioar a unei baze de date, n care s fie adugate informaiile
dorite.
De asemenea, dac dispare motivul care st la baza unei intenii,
aceasta trebuie abandonat. Dac utilizatorul nu mai are nevoie de datele
cerute, nu mai are rost ca agentul s continue cutarea.
Sintetiznd, un agent BDI efectueaz urmtoarele funcii:
- Generarea unui liste de opiuni, mijloacele alternative pentru
satisfacerea inteniilor curente. Noile opiuni sunt generate pe baza
convingerilor i dorinelor agentului;
- Selectarea unei submulimi din aceste opiuni, pe baza convingerilor,
dorinelor i inteniilor curente. Noile intenii, adic opiunile
selectate pentru aplicare, sunt adugate structurii de intenii;
- Structura de intenii are o organizare ierarhic, pe diferite niveluri de
abstraciune. Agentul BDI i rafineaz treptat inteniile, ajungnd la
aciuni primitive care pot fi executate imediat. Dac exist o
asemenea aciune atomic n structura de intenii, ea este executat;
- Dac agentul i-a ndeplinit intenia sau a decis c intenia nu poate
fi ndeplinit, aceasta este abandonat. Se poate spune c agentul
renun la o intenie dac aceasta nu mai este justificabil (Cohen &
Levesque, 1990);
- Convingerile agentului sunt actualizate i algoritmul se reia.
O problem important este planificarea aciunilor, adic stabilirea
structurii planurilor i a ordinii n care acestea pot fi aplicate pentru
structurarea unei intenii. De obicei, agenii beneficiaz de o bibliotec
predefinit de planuri, care descrie precondiiile (adic starea agentului i a
mediului n care planul este aplicabil), o serie de aciuni punctuale (planul
propriu-zis) i postcondiiile (adic modificrile rezultate n urma efecturii
planului). Sunt interesante sistemele n care agenii i pot defini propriile
planuri, pe baza experienei cptate n decursul execuiei.
O metod foarte des utilizat n planificare este analiza mijloace-
scopuri. Ideea care st la baza sa este detectarea diferenei dintre starea
curent i starea scop i gsirea unei operaii care s micoreze aceast
diferen. ns dac operaia respectiv nu poate fi aplicat n starea curent,


35
trebuie gsit o nou stare, potrivit acestui subscop. Rezult o subproblem
care trebuie la rndul ei rezolvat i metoda se aplic recursiv. n acest scop
se utilizeaz o tabel de diferene, n care se precizeaz ce operaie este
aplicabil pentru fiecare stare a problemei.
Deseori, agenii trebuie s opereze ntr-un mediu dinamic n care
scopuri ce preau la un moment dat realizabile se dovedesc imposibil de
atins. De aceea, pentru agenii BDI este important echilibrul dintre situaiile
n care ei trebuie s-i menin i s-i urmreasc inteniile curente, chiar n
urma unui eec, i situaiile n care trebuie s-i reanalizeze i eventual s-i
abandoneze inteniile. Un agent care nu se oprete niciodat s-i
reconsidere aciunile va continua execuia chiar i atunci cnd este clar c
ncearc imposibilul. Un agent care ncearc n permanen s-i evalueze
scopurile i inteniile nu va avea suficient timp s acioneze efectiv pentru
ndeplinirea lor. Este evident c n proiectarea unui agent BDI trebuie s se
realizeze un compromis ntre aceste dou tendine.
Kinny i Georgeff (1991) au efectuat un numr de experimente ntr-
un cadru de ageni BDI numit dMARS. Ei au analizat modul n care se
comport agenii ndrznei (engl. bold) i cei prudeni (engl. cautious)
n medii cu rata schimbrilor variabil. S-a constatat c atunci cnd rata
era mic (mediul nu se schimba prea repede), agenii ndrznei au avut
evoluii superioare, deoarece nu pierdeau timpul reanalizndu-i mereu
obiectivele. Cnd era mare (mediul se schimba des), agenii prudeni se
comportau mai bine, pentru c se puteau adapta modificrilor frecvente.
Concluzia este c n mediile statice sunt mai potrivii agenii cu un
comportament proactiv, orientat spre scop, n timp ce mediile dinamice
necesit un comportament reactiv, care s modifice permanent inteniile
curente n funcie de situaie.
Pentru a formaliza componentele unei arhitecturi BDI, fie Bel
mulimea tuturor convingerilor, Des mulimea tuturor dorinelor iar Int
mulimea tuturor inteniilor posibile. n general, aceste mulimi sunt
compuse din formule logice de ordinul nti. Starea unui agent BDI, la un
moment dat, este o triplet (B, D, I ), unde Bel B _ , Des D _ i Int I _ .
n figura 2.6 se prezint schematic modul de selecie a unei aciuni
(Wooldridge, 2000).
Funcia de revizuire a convingerilor (belrev) are rolul de a actualiza
mulimea convingerilor pe baza elementelor de percepie i convingerilor
curente:

) ( ) ( : Bel P Bel belrev . . . (2.18)



36
Funcia de generare a opiunilor (optgen) are rolul de a decide cum
vor fi atinse obiectivele:

) ( ) ( ) ( : Des Int Bel optgen . . . . (2.19)

Aceast funcie trebuie s recunoasc oportunitile aprute n
mediul de execuie i s ofere agentului noi modaliti de a-i ndeplini
inteniile sau posibilitatea de a atinge obiective care nu puteau fi atinse
anterior.

Figura 2.6. Diagrama unei arhitecturi BDI

Procesul deliberativ al agentului este modelat de o funcie filtru
(filter), care actualizeaz mulimea inteniilor pe baza inteniilor prealabile i
a convingerilor i dorinelor curente:

) ( ) ( ) ( ) ( : Int Int Des Bel filter . . . . . (2.20)

Aceast funcie trebuie s asigure:
- abandonarea inteniilor irealizabile sau pentru care costul de
realizare este mai mare dect beneficiul asociat cu ndeplinirea lor;
- meninerea inteniilor nerealizate nc, dar despre care se presupune
c pot aduce un ctig;


37
- adoptarea de noi intenii, pentru realizarea inteniilor existente sau
pentru exploatarea noilor circumstane favorabile aprute.
Filtrul nu poate introduce de la sine noi intenii. Acestea sunt ori
intenii anterioare, ori opiuni nou adoptate:

D I I D B filter Int I Des D Bel B _ e. e. e. ) , , ( ), ( ), ( ), ( .(2.21)

Funcia de execuie (exec) returneaz o intenie atomic executabil:

A Int exec . ) ( : . (2.22)

Funcia de selecie a aciunii urmtoare este de forma:

A P act : (2.23)

i rezult pe baza algoritmul urmtor (Wooldridge, 2000):

function act(p: P): A
begin
B = belrev(B, p)
D = optgen(D, I)
I = filter(B, D, I)
return exec(I)
end

n practic, reprezentarea inteniilor printr-o mulime nestructurat
este prea simplist. De aceea, se poate asocia fiecrei intenii o anumit
prioritate, care s indice importana sa relativ. De asemenea, inteniile pot
fi implementate sub forma unei stive. Cnd este adoptat o intenie, aceasta
este introdus n stiv. Cnd este ndeplinit, este extras din stiv. Inteniile
mai concrete se vor gsi mai aproape de vrful stivei, iar cele mai abstracte
n partea inferioar a acesteia.
Arhitectura BDI este un model intuitiv de simbolizare a procesului
de decizie, oferind i o descompunere funcional clar a problemei pe care
trebuie s o rezolve agentul. Modelul este interesant i datorit efortului
susinut de formalizare a sa. Astfel, Rao i Georgeff (1992) au dezvoltat o
serie de logici BDI, pentru definirea unor proprieti axiomatice ale
agenilor raionali.



38
2.5 Arhitecturi stratificate
Pe parcursul lucrrii au fost menionate comportamentele de tip
reactiv i proactiv de care trebuie s dispun un agent inteligent. Acestea pot
fi asigurate prin descompunerea tipurilor amintite n subsisteme separate,
care s propun aciuni specifice. Ideea care st la baza acestui tip de
arhitectur este existena mai multor straturi care interacioneaz, fiecare cu
un anumit caracter. n funcie de modul n care se realizeaz controlul i
transmiterea informaiilor, putem deosebi dou mari categorii de arhitecturi
stratificate:
- Stratificare orizontal: Nivelurile sunt conectate direct cu senzorii i
efectorii i acioneaz n paralel. Fiecare nivel acioneaz ca un
agent, prezentnd propriile sugestii n ceea ce privete urmtoarea
aciune care trebuie executat;
- Stratificare vertical: Senzorii i efectorii sunt administrai de cel
mult un nivel fiecare.
Avantajul principal al stratificrii orizontale este simplitatea
conceptual: dac un agent trebuie s manifeste n tipuri de comportament,
atunci vor fi implementate n straturi. Totui, deoarece straturile concureaz
pentru generarea de sugestii privind aciunile, trebuie asigurat coerena
comportamental pe ansamblu (Wooldridge, 2000). De regul, se introduce
o funcie de mediere, care decide ce strat deine controlul la un moment dat.
ns proiectarea acestei funcii poate fi foarte dificil pentru n straturi care
pot propune fiecare m aciuni, funcia trebuie s fie capabil s trateze
n
m
variante posibile.

Figura 2.7. Stratificare orizontal

Aceste probleme sunt atenuate ntr-o stratificare vertical. Acest tip
de arhitectur poate fi divizat n dou subcategorii, din punctul de vedere al
modului de control (Wooldridge, 2000):
- Control cu trecere simpl (engl. one pass control): Controlul
parcurge secvenial nivelurile, pn cnd ultimul nivel genereaz o
aciune;
- Control cu trecere dubl (engl. two pass control): Primul pas
const n trimiterea informaiilor spre nivelurile superioare, iar al


39
doilea pas reprezint trimiterea deciziei de aciune napoi spre
straturile inferioare. Acest tip de control se aseamn cu procesul
lurii deciziilor ntr-o organizaie cu o ierarhie bine definit.
n ambele cazuri, complexitatea interaciunilor dintre straturi este
mai redus n comparaie cu arhitecturile stratificate orizontal. Dac fiecare
strat poate sugera m aciuni i exist n-1 interfee ntre cele n niveluri,
numrul maxim posibil de interaciuni este ) 1 (
2
n m . Dezavantajul acestei
abordri const n reducerea flexibilitii informaiile i deciziile trebuie s
parcurg toate straturile. O eroare la un anumit nivel se va propaga, afectnd
performanele agentului.

Figura 2.8. Stratificare vertical

2.6 Concluzii
n acest capitol au fost prezentate cteva arhitecturi de ageni
inteligeni. Mai nti au fost formalizate unele noiuni menionate n primul
capitol: mediu, aciune, percepie, comportament. Au fost caracterizate
arhitecturile logice, simbolice, pentru care mediul i strile agenilor sunt
mulimi de formule logice, n special predicate de ordinul nti. S-a
demonstrat c acest tip de arhitectur aduce claritate n formularea
comportamentului, dar are ca dezavantaj complexitatea reprezentrilor.
Arhitecturile reactive sunt mai apropiate de modelele lumii reale deoarece
specific mai multe niveluri ierarhizate de comportament, din care se va
alege cel mai potrivit condiiilor curente din mediu. Arhitecturile BDI
(convingeri-dorine-intenii) definesc agenii raionali, care i stabilesc
modul de aciune pe baza unui raionament practic. n final, au fost amintite
arhitecturile stratificate, care au la baz ideea separrii comportamentelor


40
reactive de cele proactive, rezultnd mai multe straturi care interacioneaz
pentru determinarea unei aciuni.

41
Capitolul III

SISTEME MULTIAGENT

3.1 Utilitatea sistemelor multiagent
Dei exist situaii n care este preferabil folosirea unui singur agent
pentru realizarea unui anumit scop (cnd problema presupune un punct de
vedere global sau o abordare distribuit este dificil), n unele cazuri acest
lucru este practic imposibil. De exemplu, s presupunem modelarea
interaciunilor dintre persoane sau organizaii cu obiective diferite i posibil
conflictuale. Ar fi inacceptabil ideea unui singur agent care s dein toate
informaiile necesare. De aceea, se impune implicarea mai multor ageni,
care s reprezinte individual interesele i prioritile fiecrei pri.
ntr-un sistem multiagent, se consider de obicei c fiecare agent are
informaii incomplete despre problem i mediu. Orice agent considerat
individual are o capacitate limitat de calcul, n general insuficient pentru a
rezolva singur problema.
Sistemele multiagent i pot gsi utilitatea i n domeniul rezolvrii
distribuite a problemelor. Dac domeniul unei probleme poate fi divizat n
mai multe subprobleme de complexitate mai redus, acestea pot fi uor
atribuite unor ageni care s le rezolve separat, n paralel, pentru ca apoi
rezultatele pariale s fie combinate pentru a forma soluia final. n cazul
cnd problema are o natur distribuit, aceast abordare este mai comod i
strategia de rezolvare este mai uor de neles i implementat. Din punctul
de vedere al programatorului, pentru subproblemele rezultate pot fi propui
algoritmi eficieni, n timp ce un algoritm centralizat ar fi prea complex sau
chiar ar putea s nu existe.
Un alt avantaj al sistemelor multiagent este robusteea. Dac
informaiile sau sarcinile de control sunt partajate de mai muli ageni,
cderea unora nu conduce la cderea sistemului. Aceast proprietate mai
este numit degradare graioas (engl. graceful degradation) i este
important mai ales n cazurile n care sistemul trebuie s-i continue
funcionarea n condiii adverse, despre care se tie c i vor afecta
performanele.
De asemenea, sistemele multiagent se bucur de scalabilitate. Fiind
modulare prin definiie, noi ageni pot fi adugai pentru creterea
randamentului. Acest lucru este n general mai uor de realizat dect
adugarea de noi funcii la un program monolitic.


42
Nu n ultimul rnd, este interesant aprecierea lui Gerhard Wei,
care consider c inteligena este profund i inevitabil legat de
interaciune (Wei, 1996). Ideea se bazeaz pe o teorie socio-biologic n
care se presupune c inteligena a aprut datorit nevoii de dezvoltare a
interaciunilor sociale. n consecin, sistemele multiagent ar deine n mod
implicit potenialul unui comportament inteligent, pe baza interaciunilor
dintre componente.
Dei muli programatori consider rezolvarea centralizat mai
intuitiv, simplitatea abordrii distribuite prezint o mare atracie i explic
dezvoltarea calculului distribuit din ultimii ani.

3.2 Caracteristici ale sistemelor multiagent
i pentru sistemele multiagent au fost propuse numeroase taxonomii.
Keith Decker (1987) consider importante patru dimensiuni ale inteligenei
artificiale distribuite:
granularitatea agenilor: poate fi mare sau fin;
eterogenitatea cunotinelor agenilor: cunotinele din sistem pot fi
redundante, atunci cnd mai muli ageni dein aceleai informaii
sau specializate, dac agenii dein cunotine distincte. Redundana
informaiilor asigur, dup cum am menionat, robusteea sistemului;
metodele de control distribuit: agenii pot coopera sau pot fi n
competiie. Organizarea lor poate fi ierarhic sau orice form de
control centralizat poate fi evitat, agenii intrnd n componena
unor echipe. De asemenea, rolul jucat de ageni (adic funcia
ndeplinit, mulimea atribuiilor) poate fi constant, static, sau
acetia i pot schimba rolurile n funcie de necesiti;
posibilitile de comunicare: comunicarea se poate realiza prin
intermediul mesajelor transmise direct de la un agent la altul sau prin
intermediul unei memorii comune (sisteme blackboard). De
asemenea, comunicaiile pot fi categorizate dup nivelul de
abstraciune al coninutului: de nivel nalt sau sczut.
Pe baza granularitii i a comunicrii, sistemele multiagent au
granularitate mare i comunicaii de nivel nalt. Din celelalte puncte de
vedere, caracteristicile lor pot varia foarte mult.
Sistemele multiagent mai pot fi clasificate din perspectiva realizrii
de aplicaii (Van Dyke Parunak, 1996). Sunt importante aici:
funcia sistemului;
arhitectura agenilor: de exemplu gradul de eterogenitate sau
modalitatea de selecie a aciunilor (reactiv sau deliberativ);

Sisteme multiagent

43
arhitectura sistemului: infrastructura de comunicaii, protocoalele,
implicarea oamenilor.
Taxonomia lui Stone (Stone & Veloso, 1997) se bazeaz pe
combinarea a dou caracteristici eseniale ale sistemelor multiagent:
eterogenitatea i comunicarea, evideniind astfel:
sisteme omogene necomunicative;
sisteme eterogene necomunicative;
sisteme comunicative.

3.2.1 Sistemele multiagent omogene necomunicative
Acesta este cel mai simplu scenariu, n care toi agenii au aceeai
structur intern, inclusiv scopurile, cunotinele despre domeniu, aciunile
posibile i procedurile de selecie a aciunilor. Singurele diferene sunt
percepiile i aciunile efective pe care le ndeplinesc, deoarece agenii sunt
situai diferit n mediul de execuie.
Se presupune c acetia nu comunic direct. Din aceast cauz,
proiectanii sistemului trebuie s decid n ce mod poate un agent s i
influeneze pe ceilali. O prim posibilitate este influena activ un agent
provoac un element de percepie pentru un altul sau i modific starea prin
aciune direct, de exemplu prin mpingere.
n mod indirect, agenii se pot influena prin dou tipuri de
stigmergie (Holland, 1996). Stigmergia activ are loc atunci cnd un agent
modific mediul astfel nct s influeneze intrrile senzoriale ale altuia, de
exemplu un agent robotic poate lsa n urm nite semne pe care alii s le
detecteze. Acest comportament este deseori ntlnit n lumea insectelor; ele
las urme de substane chimice care sunt detectate i interpretate de celelalte
insecte din colonie. Stigmergia pasiv presupune modificarea mediului
astfel nct s se schimbe efectele aciunilor altui agent. De exemplu, dac
un agent nchide apa ntr-o cldire, el va afecta rezultatul aciunii unui alt
agent, care deschide robinetul n buctria unei locuine (Stone & Veloso,
1997).
Holland (1996) ilustreaz conceptul de stigmergie pasiv prin
modelarea comportamentului unei colonii de furnici, confruntat cu
existena unui mare numr de furnici moarte n jurul muuroiului. O furnic
din colonie ridic o furnic moart, o car o distan scurt sau pn gsete
o alt furnic moart i i d drumul. Dei comportamentul pare aleatoriu,
dup cteva ore, furnicile moarte sunt adunate ntr-un numr mic de
grmezi. n timp, se formeaz din ce n ce mai puine grmezi, pn cnd
toate furnicile moarte sunt depozitate ntr-o singur grmad. Furnicile au


44
un comportament omogen i, dei nu exist nici o dovad c ar comunica
explicit, ele reuesc s coopereze pentru atingerea obiectivului.

3.2.2 Sistemele multiagent eterogene necomunicative
Existena agenilor eterogeni ntr-un sistem implic o putere mai
mare de aciune, dar i o complexitate mai ridicat. Eterogenitatea se poate
manifesta prin diferene n ceea ce privete scopurile, cunotinele sau
tipurile de aciuni.
n aceste sisteme, este important de analizat dac agenii sunt
cooperani sau concureni. Chiar dac au scopuri diferite, agenii se pot ajuta
reciproc pentru obinerea lor. Pe de alt parte, agenii i pot urma numai
propriile obiective. Aceast stare poate fi dus la extrem ntr-o situaie cu
ctig de sum zero, n care un agent ctig numai dac alt agent pierde.
Unii cercettori consider c agenii egoiti sunt mai eficieni i
mai apropiai de modelul biologic (Korf, 1992). Dac acetia coopereaz,
este pentru c au interesul direct s o fac. Alii, dimpotriv, ncearc s
demonstreze existena altruismului natural, cu forma sa cea mai nalt,
cooperarea din societile umane (Ridley, 1997).
O alt chestiune legat de acest scenariu multiagent este modul n
care agenii i reprezint scopurile, cunotinele sau aciunile celorlali. De
vreme ce nu exist comunicare, acest lucru este posibil numai pe baza
observaiilor. Agenii trebuie s deduc planurile altora pe baza
comportamentului exterior al acestora.
Dac un grup de ageni au scopuri similare, ei pot fi organizai ca o
echip, n care fiecare dintre ei va ndeplini un anumit rol. Aceste roluri pot
fi statice, n cazul agenilor specializai ntr-un domeniu, sau dinamice, n
cazul n care un agent poate ndeplini funcii diferite. Avantajul schimbrii
rolurilor este c asigur sistemului o mai mare flexibilitate.

3.2.3 Sistemele multiagent comunicative
Adevrata putere a sistemelor multiagent este relevat de capacitatea
de comunicare ntre ageni. Comunicarea poate fi vzut ca parte a
interaciunii cu mediul ns, datorit importanei acestei caracteristici, de
cele mai multe ori aceasta se analizeaz separat. n cadrul acestui scenariu,
accentul este mutat pe comunicare i n consecin natura agenilor poate fi
att omogen ct i eterogen.
Modalitile n care se realizeaz practic comunicarea sunt
numeroase: informaiile pot fi trimise ntr-o manier unu-la-unu ntre doi
ageni, difuzate tuturor agenilor (broadcast) sau plasate ntr-o zon de
memorie comun (blackboard).

Sisteme multiagent

45
n toate sistemele multiagent i n special n cele cu ageni construii
de proiectani diferii, este foarte important s existe un protocol i un limbaj
de comunicare comun, pentru ca participanii s se poat nelege.
Protocoalele se refer mai ales la formatul mesajului, coninutul su i
coordonarea dintre ageni. Cele mai utilizate limbaje proiectate pentru
acoperirea acestor aspecte sunt KQML, KIF, respectiv COOL, care vor fi
detaliate n paragraful 3.3.
Datorit capacitii de a comunica, agenii pot decide s coopereze n
atingerea unui scop comun, pentru o anumit perioad de timp. Se spune c
acetia i iau un angajament (engl. commitment). Castelfranchi (1995)
deosebete trei tipuri de angajament: intern, cnd un agent hotrte el
nsui s fac ceva, social, cnd se angajeaz fa de alt agent i colectiv,
cnd consimte la ndeplinirea unui anumit rol. n acest sens, agenii trebuie
s fie capabili s-i reprezinte scopurile altor ageni. O arhitectur potrivit
acestei cerine este arhitectura BDI, descris n capitolul 2.

3.3 Limbaje de comunicare interagent
Dup cum am menionat, agenii dintr-un sistem, chiar diferii,
trebuie s dispun de un protocol de comunicare. n acest sens, ideea de
baz este separarea semanticii protocolului de comunicare, care trebuie s
fie independent de domeniu, de semantica mesajului coninut, care poate
depinde de domeniu (Huhns & Stephens, 2000). O simpl analogie poate fi
fcut cu persoane vorbitoare de limbi diferite. S presupunem c un romn
vorbete unor persoane de alte naionaliti. Dac n auditoriu exist civa
oameni care cunosc limba romn, acetia vor nelege mesajul. Ceilali,
chiar dac nu tiu limba, i dau seama c este vorba de o comunicare
ntr-un limbaj uman, natural pe care la nevoie l pot nva. Sau pot reine
mecanic un mesaj pe care chiar dac nu l neleg, l pot transmite unor
persoane pentru care s aib o semnificaie.

3.3.1 Teoria actelor de vorbire
Teoria actelor de vorbire (engl. speech act theory) este n general
asociat cu Wittgenstein, Austin i Searle, dei rdcinile sale ideologice i
metodologice pot fi datate nc n filosofia presocratic i a vechiului
testament, rmnnd o for puternic, dei marginal, alturi de tradiia
platonician-cretin-tiinific dominant (Groden & Kreiswirth, 1997).
Formularea lui Austin (1962) a teoriei actelor de vorbire precizeaz
distincia dintre ceea ce el numete constatative (enunuri utilizate pentru
a afirma unele lucruri, pentru a transmite informaii) i performative
(enunuri utilizate pentru a face unele lucruri, pentru a efectua aciuni).


46
Fraze precum V declar so i soie, Promit s vin nu transmit informaii
i deci nu sunt nici adevrate nici false; ele efectueaz aciunile la care se
refer enunurile prin rostirea lor.
Conform lui Searle (1969), pentru a nelege un limbaj trebuie s
nelegem intenia vorbitorului. Deoarece limbajul este un comportament
intenional, el trebuie tratat ca o form de aciune. Actul de vorbire este
unitatea de baz a limbajului folosit pentru a exprima un neles, un enun
care exprim o intenie. De obicei, actul de vorbire este o propoziie, dar
poate fi i un cuvnt sau o fraz atta timp ct respect regulile necesare
pentru a ndeplini o intenie. Cnd cineva vorbete, efectueaz o aciune.
Exist patru tipuri de acte de vorbire:
acte de rostire (engl. utterance acts): cuvintele propriu-zise;
acte locuionare (engl. locutionary acts): enunuri care se refer la
alte lucruri;
acte ilocuionare (engl. illocutionary acts): enunuri care exprim
intenia de a interaciona;
acte perlocuionare (engl. perlocutionary acts): enunuri care
exprim intenia de a provoca un anumit rspuns comportamental la
asculttor.
Relaia dintre aceste tipuri de acte de vorbire este reprezentat n
figura 3.1 (Tell, 2002).

Figura 3.1. Tipuri de acte de vorbire

De exemplu, s presupunem c un barman rostete cuvintele Barul
se va nchide n cinci minute (Bach, 2004). Actul de rostire este exprimat
prin citare direct. Actul locuionar este cel de a spune c barul la care

Sisteme multiagent

47
serverte el se va nchide n cinci minute de la momentul n care se rostete
enunul i este exprimat prin citare indirect, deoarece nu este determinat
complet de cuvintele rostite, care nu conin referine despre ce bar este
vorba i despre timpul rostirii. Actul ilocuionar este de a informa clienii
despre nchiderea barului. Actul perlocuionar este de a determina clienii s
i termine buturile. Barmanul efectueaz toate aceste acte, la toate
nivelurile, doar prin rostirea unor anumite cuvinte.

3.3.2 Knowledge Query and Manipulation Language (KQML)
Pentru a interaciona, agenii trebuie s se pun de acord asupra
ctorva aspecte, la diferite niveluri de abstraciune:
transportul: cum primesc sau trimit mesajele;
limbajul: cum interpreteaz semnificaia mesajelor;
politica: cum structureaz conversaiile;
arhitectura: cum s fie conectate sistemele n conformitate cu
protocoalele constitutive.
Limbajul KQML este un protocol destinat schimbului de informaii
i cunotine, care permite programelor de aplicaii s interacioneze cu
sistemele inteligente. Acest limbaj, dezvoltat iniial n cadrul iniiativei
DARPA de partajare a cunotinelor (engl. Knowledge Sharing Effort), a
devenit un standard de facto pentru comunicaiile interagent (Finin, McKay
& Fritzson, 1992).
Un mesaj KQML const dintr-o aa numit performativ (engl.
perform a ndeplini, efectua, executa, ntruct prin trimiterea mesajului
se presupune c se va ndeplini o aciune), informaii despre expeditor i
destinatar, coninutul propriu-zis i un set de argumente opionale. Structura
fundamental a unui mesaj este urmtoarea:

( < performativ >
:sender < cuvnt >
:receiver < cuvnt >
:language < cuvnt >
:ontology < cuvnt >
:content < expresie >
...
)

Performativa se refer la tipul de aciune cerut prin mesaj. n
continuare vor fi date cteva exemple pentru ilustrarea acestui concept. Lista
complet poate fi gsit n documentul specificaiilor limbajului (DARPA,


48
1993). Presupunem c S este expeditorul (engl. sender) i R destinatarul
(engl. receiver):
advertise: S este n mod special potrivit pentru aciune;
ask-about: S vrea toate propoziiile relevante din baza virtual de
cunotine (BVC) a lui R;
ask-one: S vrea un rspuns de la R la o ntrebare;
delete: S vrea ca R s i tearg o propoziie din BVC;
deny: performativa din mesaj nu (mai) este relevant pentru S;
forward: S vrea ca R s trasmit mai departe un mesaj;
insert: S i cere lui R s i adauge n BVC coninutul mesajului;
sorry: S nu poate furniza un rspuns mai adecvat;
tell: propoziia este n BVC a lui S;
untell: propoziia nu este n BVC a lui S.
Cuvntul cheie language semnific limbajul folosit, deoarece
coninutul (precedat de content) poate fi exprimat n orice limbaj, de
exemplu SQL, KIF, CLIPS etc. Ontologia nseamn aici vocabularul
cuvintelor din mesaj. ntr-un sens mai larg, ea se refer la categoriile
utilizate n coninutul mesajului: obiecte, concepte i relaii din domeniul
respectiv. Ontologia confer semnificaie simbolurilor i expresiilor utilizate
pentru a descrie domeniul.
Un agent poate nelege un mesaj numai cnd cunoate limbajul i
ontologia acestuia.
Pentru a exemplifica, s considerm modul n care se exprim n
CLIPS relaia de prietenie dintre dou persoane:

(deffacts
(persoana Ion)
(persoana Maria)
(prieteni Ion Maria))

Un agent i va comunica altuia aceste fapte prin mesajul:

(tell
:sender Agent1
:receiver Agent2
:language CLIPS
:ontology relatii
:content (deffacts
(persoana Ion)
(persoana Maria)
(prieteni Ion Maria)))

Sisteme multiagent

49
De asemenea, dac Agent1 vrea s-i trimit aceste cunotine lui
Agent3 prin intermediul lui Agent2, mesajul va avea forma:

(forward
:sender Agent1
:receiver Agent2
:from Agent1
:to Agent3
:language KQML
:ontology kqml-ontology
:content (tell
:sender Agent1
:receiver Agent3
:language CLIPS
:ontology relatii
:content (deffacts
(persoana Ion)
(persoana Maria)
(prieteni Ion Maria))))

n acest caz, agentul sender vrea ca agentul to s prelucreze
performativa din content ca i cum ar fi venit direct de la agentul from.
Rspunsul va fi de obicei trimis tot printr-un forward, de vreme ce agentul i
rspunde agentului solicitant, ns este posibil ca s i rspund i direct
agentului care a iniiat procesul.
Protocolul KQML acioneaz ntr-o infrastructur de comunicaii
care trebuie s permit agenilor s se localizeze unul pe cellalt.
Infrastructura propriu-zis nu este precizat n specificaiile KQML i
implementarea sa cade n responsabilitatea proiectantului sistemului.

3.3.3 Knowledge Interchange Format (KIF)
Coninutul mesajului se refer n general la descrierea unor fapte
care s fie nglobate n baza virtual de cunotine a unui agent. Un
instrument matematic pentru reprezentarea cunotinelor este logica
simbolic. S-a observat c predicatele de ordinul nti pot descrie cu
suficient acuratee majoritatea informaiilor de interes, precum fapte,
definiii, abstraciuni, reguli de inferen, constrngeri i chiar
metacunotine (cunotine despre cunotine) (Huhns & Stephens, 2000).
Caracteristicile urmtoare sunt eseniale pentru acest limbaj
(Genesereth & Fikes, 1992; Genesereth, 2001):
KIF are o semantic declarativ, iar nelesul expresiilor poate fi
neles fr ajutorul unui interpretor care s le prelucreze;


50
este comprehensiv din punct de vedere logic, permind exprimarea
de propoziii logice arbitrare;
permite reprezentarea metacunotinelor, astfel nct utilizatorul
poate descrie explicit reprezentarea cunotinelor i poate de
asemenea introduce noi modaliti de reprezentare a acestora.
n acelai timp, limbajul poate fi extins pentru asigurarea:
translatabilitii (engl. translatability): o necesitate operaional
este posibilitatea de a traduce bazele de cunotine declarative n i
din diverse limbaje de reprezentare a cunotinelor;
lizibilitii (engl. readability): dei KIF nu este proiectat special
pentru interaciunea cu oamenii, lizibilitatea faciliteaz utilizarea sa
pentru descrierea semanticii limbajelor de reprezentare, pentru
publicarea exemplificrilor cu baze de cunotine sau pentru
asistarea operatorilor umani n probleme de translatare a bazelor de
cunotine;
utilizabilitii (engl. useability): dei KIF nu este proiectat ca un
limbaj de reprezentare sau comunicare n cadrul aplicaiilor, limbajul
poate fi utilizat i n acest scop.
KIF a fost propus ca un standard pentru descrierea cunotinelor din
sistemele expert, baze de date, ageni inteligeni etc. Acest limbaj este o
versiune prefixat a calculului predicativ de ordinul nti, cu extensii care
suport raionamente non-monotone i definiii (Finin, Labrou & Mayfield,
2003). De exemplu, dac dorim s descriem un automobil, o putem face
printr-o triplet numr, culoare, marc:

(masina IS-01-GHA albastru Cielo)
(masina B-12-PXB rosu Dacia)
(masina PH-02-TPN galben Matiz)

Prin combinarea mai multor termeni se pot obine informaii mai
complexe. Dac vrem s reprezentm faptul c o piramid are volumul mai
mare dect alta, vom scrie:

( >
(/ (* (arie_baza p1) (inaltime p1)) 3)
(/ (* (arie_baza p1) (inaltime p1)) 3))

Deducia c, dac a, b, c R, a < b i b < c implic a < c, se poate
scrie:


Sisteme multiagent

51
( =>
and ( (< (real ?a) (real ?b))
(< (real ?b) (real ?c)))
(< ?a ?c))

Cu ajutorul operatorilor apostrof ( ' ) i virgul ( , ) KIF poate coda
metacunotine. Dac un agent A este interesat de informaiile privind o
main, desemnate prin tripleta sugerat anterior, acest fapt va fi desemnat
prin:

(interesat A '(masina, ?n, ?c, ?m))

Folosirea virgulei indic faptul c variabilele nu trebuie luate literal.
Fr virgule, semnificaia ar fi c agentul este interesat de propoziia
(masina ?n ?c ?m) n sine i nu de instanele ei.
n KIF se mai pot descrie proceduri, adic se pot scrie
programe sau scripturi pe care agenii le pot executa. De exemplu, afiarea
unui mesaj n CLIPS, este transmis n form KIF astfel:

(scrie_clips (printout t "Scrie un mesaj" crlf))

Cnd sisteme diferite comunic, ele pot avea capaciti de nelegere
diferite. n acest caz, dac un agent primete un mesaj pe care nu-l poate
procesa, l poate ignora, chiar dac nelege anumite poriuni. Dac i se cere
ns un rspuns, destinatarul va putea raporta o eroare expeditorului.

3.3.4 COOrdination Language (COOL)
n medii cu resurse limitate, agenii trebuie s-i coordoneze
activitile pentru promovarea propriilor interese i ndeplinirea scopurilor
de grup. Aciunile agenilor trebuie coordonate deoarece acestea sunt
interdependente i nici un agent nu are competena, resursele sau
cunotinele necesare atingerii de unul singur a scopurilor sistemului. De
exemplu, coordonarea se poate referi la trimiterea prompt de informaii
altor ageni, sincronizarea aciunilor agenilor sau evitarea rezolvrii
redundante de probleme.
Dac KQML se adreseaz nivelului intenional al interaciunii dintre
ageni, iar KIF coninutului informaional, limbajul COOL trateaz nivelul
de coordonare i este utilizat n principal pentru a proiecta, reprezenta i
valida mecanismele i protocoalele de coordonare n sistemele multiagent.
Activitatea de coordonare este modelat ca o conversaie ntre doi sau mai


52
muli ageni, specificat cu ajutorul unui automat cu stri finite (Barbuceanu
& Fox, 1995):
Strile automatului reprezint strile n care se poate gsi
conversaia. Exist o stare iniial distinct n care ncepe orice
conversaie i cteva stri finale care semnalizeaz terminarea
conversaiei;
Mesajele schimbate sunt reprezentate de performative ale limbajului
de comunicare interagent. Nivelul coninutului performativelor nu
aparine protocolului de negociere, dar determin cursul unei
negocieri individuale i este utilizat n procesul de luare a deciziilor
de ctre ageni;
Mulimea de reguli de conversaie specific modul cum un agent
aflat ntr-o stare primete mesaje de un anumit tip, execut aciuni
locale, trimite mesaje i trece ntr-o alt stare;
Mulimea de reguli pentru refacere n caz de eroare specific modul
n care sunt tratate incompatibilitile dintre starea curent a
conversaiei i mesajele primite;
Mulimea de reguli de continuare specific modul cum agenii
accept cererile pentru noi conversaii sau selecteaz continuarea
unei conversaii;
Clasele de conversaie indic strile, regulile de conversaie i
regulile de eroare specifice unui tip de conversaie. Un agent dispune
de cteva clase de conversaie pe care le poate utiliza cnd comunic
cu ali ageni;
Conversaiile efective instaniaz clasele de conversaie i sunt create
oricnd agenii se angajeaz ntr-un proces de comunicare.
Performativelor standard KQML le-au fost adugate cteva noi, de
nivel mai nalt:
propose: propune unui agent atingerea unui subscop;
counter-propose: o contra-propunere este un alt subscop care
satisface parial scopul iniial al unei propuneri;
accept, reject: semnaleaz acceptarea sau respingerea unei propuneri
sau contra-propuneri;
satisfy, fail: anun succesului sau eecului ndeplinirii unui scop.
Furnizarea unui anumit produs industrial prin intermediul unui agent
poate fi cerut prin regula de conversaie prezentat n exemplul urmtor
(Barbuceanu & Fox, 1995). Dac este posibil satisfacerea criteriului
cantitativ (numrul de buci) ns nu n intervalul de timp solicitat, se

Sisteme multiagent

53
transmite o contra-propunere, cu un termen limit care poate fi respectat de
productor:

(def-conversation-rule r1
:current-state 2
:received (propose
:sender ?initiator
:content (produce (?what ?amount)(time ?date)))
:such-that
(and
(achievable (produce ?what ?amount))
(not-achievable (time ?date))
(possible-alternative (time ?date)
(time ?date1)))
:next-state 3
:transmit (counter-propose
:content
(produce (?what ?amount)(time ?date1))))

Coordonarea este n strns legtur cu angajamentele agenilor i
conveniile dintre acetia: angajamentele asigur organizarea necesar
pentru interaciuni predictibile iar conveniile sociale asigur gradul dorit de
ajutor reciproc.

3.4 Tipuri de interaciuni n sistemele multiagent
n orice sistem multi-agent, fiecare agent i alege comportamentul
cel mai potrivit pentru a-i atinge scopul. ntr-un sistem multiagent, este
normal ca scopurile agenilor s nu fie ntotdeauna n concordan. Uneori,
agenii pot avea scopuri incompatibile (satisfacerea unui scop conduce la
eecul altuia).

3.4.1 Cooperare i concuren
Un prim criteriu de clasificare a situaiilor de interaciune este acela
al compatibilitii scopurilor. Situaia de interaciune este o situaie de
cooperare sau de indiferen dac scopurile sunt compatibile i o situaie de
competiie, n cazul unor scopuri incompatibile. Ferber (1995) propune o
clasificare a situaiilor de interaciune, prezentat n tabelul 3.1.
Situaiile de indiferen nu pun probleme deosebite, dar sunt rar
ntlnite n realitate. Situaiile de cooperare necesit diverse strategii de
realocare a resurselor, a task-urilor pentru a evita situaiile antagoniste
conflictuale (individuale sau colective). Pentru a evita situaiile de blocaj,
trebuie aplicate strategii de negociere, pentru a ajunge la scopuri cel puin
parial compatibile. n cazul cnd apar conflicte din cauza resurselor sau a


54
competenelor insuficiente, se aplic aceleai strategii de reditribuire a
acestora.

Tabelul 3.1. Clasificarea situaiilor de interaciune n sisteme multiagent
Scopuri Resurse Competene Situaii Catgorie
compatibile suficiente suficiente independen indiferen
compatibile suficiente insuficiente colaborare simpl
compatibile insuficiente suficiente blocaj
compatibile insuficiente insuficiente colaborare coordonat
cooperare
incompatibile suficiente suficiente competiie individual
incompatibile suficiente insuficiente competiie colectiv
incompatibile insuficiente suficiente conflicte individuale
incompatibile insuficiente insuficiente
conflicte colective
datorate resurselor
concuren

3.4.2 Protocoale de cooperare. Negocierea
O strategie fundamental pentru rezolvarea problemelor complexe
este descompunerea acestora n task-uri mai simple, distribuite. Aceast
abordare divide et impera reduce complexitatea problemei, deoarece
subtask-urile necesit ageni cu mai puine competene i mai puine resurse.
Totui, descompunerea problemei trebuie s in seama de resursele i
capacitile agenilor, precum i de evitarea interaciunilor nedorite i a
conflictelor ntre acetia. Descompunerea problemei poate fi fcut de
proiectant, n etapa de implementare, sau dinamic, de ctre ageni, n timpul
execuiei. Odat create, subtask-urile pot fi distribuite n conformitate cu
urmtoarele criterii (Durfee, Lesser & Corkill, 1987):
evitarea suprancrcrii resurselor critice;
atribuirea sarcinilor ctre ageni cu abiliti potrivite;
selectarea unui agent cu o perspectiv mai larg, care s mpart
sarcini celorlali ageni;
atribuirea agenilor de responsabiliti care se suprapun, pentru
atingerea coerenei;
atribuirea de sarcini interdependente agenilor n proximitate spaial
sau semantic, pentru a minimiza costurile de comunicare i
sincronizare;
reatribuirea sarcinilor atunci cnd acest lucru este necesar pentru
terminarea task-urilor urgente.
n unele situaii, distribuirea subtask-urilor nu poate fi realizat
eficient dect n timpul execuiei. Agenii trebuie s decid singuri ce sarcini
vor ndeplini, n funcie de propriile scopuri, interese i capaciti. O form

Sisteme multiagent

55
frecvent de interaciune care apare ntre agenii cu scopuri diferite este
negocierea, procesul prin care este luat o decizie comun de ctre doi sau
mai muli ageni care ncearc fiecare ndeplinirea unui scop individual
(Huhns & Stephens, 2000). Mecanismul de negociere trebuie s
demonstreze, n mod ideal, o serie de proprieti:
eficien: agenii nu trebuie s iroseasc resurse pentru a ajunge la
un acord;
stabilitate: nici un agent nu trebuie s fie tentat s nu respecte o
strategie convenit;
simplitate: mecanismul de negociere trebuie s aib costuri
computaionale mici i s se realizeze cu comunicaii minimale;
distribuire: mecanismul nu trebuie s necesite un proces decizional
centralizat;
simetrie: mecanismul trebuie s fie imparial fa de toi agenii
implicai.

3.4.3 Modaliti de comunicare. Sisteme blackboard
Infrastructura de comunicaie ntr-un sistem multiagent poate lua
mai multe forme. O prim strategie este transmiterea de mesaje ntre ageni,
punct-la-punct sau broadcast. Este posibil ca un agent s se comporte ca un
client care s cear sau s transmit informaii ctre altul, cu rol de server.
Comunicaiile n aceast manier pot fi sincrone, cnd un rspuns este
ateptat pentru fiecare cerere, sau asincrone, cnd rspunsurile serverului
vin la intervale neregulate de timp.
Alte alternative includ tehnologii de sisteme distribuite, precum RPC
(Remote Procedure Call), RMI (Remote Method Invocation) sau CORBA
(Common Object Request Broker Architecture). Muli ageni sunt
implementai n limbajul Java, deoarece codul poate fi executat pe orice
platform care suport o aa numit main virtual, far a fi necesar
recompilarea iar acest limbaj are numeroase faciliti pentru comunicarea n
reele de calculatoare.
O alt abordare este utilizarea unei memorii comune, la care s aib
acces toi agenii i prin intermediul creia s poat comunica. Acestea sunt
sistemele blackboard (engl. blackboard tabl), n care rezolvarea unei
probleme este prezentat deseori cu ajutorul urmtoarei metafore (Huhns &
Stephens, 2000): S ne imaginm un grup de specialiti aezai lng o
tabl mare. Ei lucreaz mpreun pentru rezolvarea unei probleme, scriind
pe tabl pentru a dezvolta soluia. Mai nti, sunt inscripionate problema i
datele iniiale. Specialitii urmresc tabla, cutnd o ocazie pentru a-i pune
n valoare cunotinele. Cnd un specialist capt suficiente informaii


56
pentru a-i aduce aportul, el i nregistreaz contribuia pe tabl. Aceste
informaii suplimentare vor permite altor specialiti s-i aplice cunotinele.
Procesul adugrii de informaii pe tabl continu pn cnd problema este
rezolvat.
Metafora evideniaz o serie de caracteristici importante ale
sistemelor blackboard:
independena cunotinelor: Specialitii (numii i surse de
cunoatere, SC) nu sunt instruii s lucreze exclusiv ntr-un anumit
grup. Fiecare este expert n unele aspecte ale problemei i poate
contribui la soluie independent de ceilali specialiti;
diversitatea tehnicilor de rezolvare: reprezentarea intern i
mecanismele de inferen utilizate de SC sunt ascunse;
reprezentarea flexibil a informaiilor: nu exist restricii apriori
asupra informaiilor care vor fi plasate pe tabl;
limbajul comun de interaciune: specialitii trebuie s interpreteze
corect informaiile nregistrate pe tabl. n practic, exist un
compromis ntre expresivitatea de reprezentare specializat
accesibil numai unui numr mic de SC i o reprezentare mai
general, neleas de toate SC;
activarea bazat pe evenimente: SC sunt activate de evenimente
legate de tabl adugarea de noi informaii, schimbrile n
informaiile existente sau tergerea unor informaii;
necesitatea controlului: o component de control, separat de SC,
este responsabil pentru administrarea desfurrii rezolvrii
problemei. Cnd contribuia curent a unui specialist se termin,
componenta de control selecteaz SC cea mai potrivit pentru
activare. Componenta de control trebuie s estimeze calitatea i
costul participrii fiecrei SC. Acestea o pot informa de fiecare dat
asupra acestor date, fr a lucra efectiv la rezolvarea problemei n
starea respectiv. n funcie de estimri, componenta de control
decide aciunea urmtoare;
generarea incremental a soluiei: specialitii contribuie la soluie
uneori rafinnd, alteori contrazicnd informaiile existente sau
iniiind o nou linie de raionament.

3.5 Organizaii de ageni
n mod tradiional, cercetrile de inteligen artificial s-au ocupat de
modul n care poate fi construit un agent care s funcioneze inteligent, cu
un loc intern unic de raionament i controlat ntr-o arhitectur von

Sisteme multiagent

57
Neumann. ns sistemele inteligente nu funcioneaz n izolare, ci sunt
integrate n medii din care mai fac parte i alte sisteme inteligente.
Un grup de ageni poate forma o mic organizaie n care joac
diverse roluri. Grupul definete rolurile, iar acestea definesc angajamentele
asociate. Cnd un nou agent intr ntr-un anumit grup, o face pe un anumit
rol. El se altur n mod autonom organizaiei, dar trebuie s accepte
constrngerile rezultate din angajamentele rolului respectiv. Grupurile
definesc astfel contextul social n care interacioneaz agenii.
Tehnicile de administrare a organizaiilor de ageni autonomi sunt
utile nu numai n medii informaionale deschise, de mari dimensiuni, ci i n
cazul mediilor fizice. De exemplu, aceste tehnici i pot demonstra utilitatea
n logistica de aprare, prin considerarea fiecrui material drept o entitate
inteligent al crei scop este atingerea unei destinaii.
Noiunea de agenie (organizaie multiagent) social se bazeaz pe
abstraciuni din sociologie i teoria organizaiilor. De vreme ce agenii sunt
privii n contextul social, studiul ageniei n ansamblu este important. Dei
primitivele inspirate din psihologie (precum convingerile, dorinele sau
inteniile) sunt potrivite unui numr de situaii, ele nu sunt suficiente pentru
nelegerea tuturor aspectelor interaciunilor sociale.
Angajamentele sociale sunt angajamentele unui agent fa de altul.
Ele reprezint o modalitate flexibil de constrngere a comportamentului
autonom. n strns legtur cu acestea se afl un concept important, cel de
dependen social, definit astfel (Huhns & Stephens, 2000):

(DependenSocial x y a p) (Scop x p)
(PoateExecuta x a) (PoateExecuta y a)
(3.1)
((ExecutatDe y a)
(Atingere p)).

Agentul x depinde de agentul y n ceea ce privete aciunea a pentru
atingerea scopului p, pe care x nu l poate realiza, n timp ce y poate.
Dependenele sociale pot fi compuse; pot exista dependene
reciproce cnd x i y depind unul de cellalt pentru realizarea unui scop
comun p iar acesta poate fi atins prin cel puin dou aciuni diferite: x
depinde de y n ceea ce privete aciunea a
y
iar y depinde de x n ceea ce
privete aciunea a
x
:

p ((DependenSocial x y a
y
p)
(DependenSocial y x a
x
p)). (3.2)



58
Cooperarea este o form de dependen reciproc atunci cnd x i
y depind unul de cellalt pentru realizarea de scopuri diferite: p
x
pentru x i
p
y
pentru y:

p
x
p
y
((DependenSocial x y a
y
p
x
)
(DependenSocial y x a
x
p
y
)). (3.3)

Schimburile sociale sunt o form de cooperare. Dincolo de acestea,
comportamentul unui numr mare de ageni dintr-o organizaie este
guvernat de legi sociale.

3.6 Concluzii
n acest capitol au fost precizate cteva domenii n care i gsesc
utilitatea sistemele multiagent. Abordarea distribuit a rezolvrii de
probleme este n general mai simpl dect abordarea centralizat i se
bazeaz pe o serie de trsturi ale sistemelor multiagent, precum robusteea,
degradarea graioas sau scalabilitatea. Din punctul de vedere al comunicrii
i eterogenitii, aceste sisteme pot fi clasificate n: sisteme omogene
necomunicative, cele mai simple, sisteme eterogene necomunicative, cu o
diversitate de scopuri, cunotine sau tipuri de aciuni accesibile agenilor, i
sisteme comunicative, care dezvluie adevrata putere a sistemelor
multiagent. Comunicarea se realizeaz cu diverse protocoale, pe niveluri
specifice. Pentru formatului mesajului se utilizeaz n general limbajul
KQML, pentru reprezentarea coninutului informaional limbajul KIF, iar
pentru coordonarea agenilor s-a propus limbajul COOL. Sistemele
blackboard sunt o infrastructur de comunicaii cu memorie comun, n care
agenii contribuie succesiv, pe msura competenelor, la rezolvarea unei
anumite probleme complexe. Domeniul organizaiilor de ageni aduce n
discuie contextul social, n care agenii colaboreaz pe diferite roluri,
autonomia fiind constrns pe baza angajamentelor luate n cadrul grupului.
Studiul interaciunilor sociale pune n eviden comportamente globale, care
nu pot fi identificate exclusiv prin analiza capacitilor individuale ale
agenilor.

59
Capitolul IV

TEORIA SISTEMELOR FUZZY

4.1 Noiuni fundamentale
Logica clasic considera valoarea de adevr a propoziiilor n
termeni de adevrat sau fals. Legea terului exclus a lui Aristotel fcea
imposibil o alt variant. n viaa de zi cu zi, ne confruntm totui cu foarte
multe situaii n care o astfel de abordare este nerealist. S considerm
afirmaia cerul este albastru. Uneori cerul este ntr-adevr albastru, cnd
afar este senin. Dar dac sunt nori? Dar noaptea? Este clar c o manier
strict de evaluare a valorii de adevr a propoziiilor nu coincide cu modul
mult mai flexibil n care gndesc oamenii, n condiii de incompletitudine.
Incompletitudinea unei informaii se exprim pe dou scri:
- scara incertitudinii se refer la ncrederea care i se acord
informaiei (dac sursa de informaie, instrumentul de msur sau
expertul sunt complet siguri, demni de ncredere, informaia este
cert);
- scara impreciziei se refer la coninutul informaional (informaia
este precis dac mulimea valorilor specificate n enunul
corespunztor este singleton, adic are o valoare unic).
Un suport teoretic valoros care trateaz incompletitudinea este teoria
mulimilor fuzzy.
Un tip incipient de logic fuzzy a aprut nc din 1920, propus de
matematicianul polonez Jan ukasiewicz (inventatorul notaiei poloneze).
Sistemul su permitea extinderea valorii de adevr a unei propoziii la toate
numerele reale din intervalul [0,1]. Un numr din acest interval era
interpretat drept posibilitatea ca propoziia considerat s fie adevrat sau
fals. Aceste cercetri au dus la apariia teoriei posibilitii, o tehnic de
raionament n condiii de inexactitate.
Lotfi Zadeh (1965) a extins teoria posibilitii ntr-un sistem formal
de logic matematic. De asemenea, a adus n discuie modalitile de lucru
cu termeni nuanai ai limbajului natural. Acest instrument de reprezentare i
manipulare a termenilor nuanai se numete logica fuzzy. Logica
tradiional consider c un obiect poate aparine sau nu unei mulimi.
Logica fuzzy permite o interpretare mai flexibil a noiunii de apartenen.
Astfel, mai multe obiecte pot aparine unei mulimi n grade diferite. De
exemplu, dac avem n vedere mulimea oamenilor tineri. Un copil de 10
ani e cu siguran tnr, n timp ce o persoan de 60 de ani cu siguran nu.


60
Dar un om de 30 de ani? Sau de 40? n acest caz, putem afirma c persoana
de 30 de ani aparine mulimii respective ntr-o msur mai mare dect cea
de 40.
Fie X universul discursului, cu elemente notate x. O mulime fuzzy A
a universului de discurs X este caracterizat de o funcie de apartenen
) (x
A
u care asociaz fiecrui element x un grad de apartenen la mulimea
A:

] 1 , 0 [ : ) ( X x
A
u (4.1)

Pentru a reprezenta o mulime fuzzy, trebuie s-i definim mai nti
funcia de apartenen. n acest caz, o mulime fuzzy A este complet definit
de mulimea tuplelor:

} | )) ( , {( X x x x A
A
e = u (4.2)

Dac X este o mulime finit X = {x
1
, ... , x
n
}, atunci se folosete de
multe ori notaia:

=
= + + =
n
i
i i n n
x x x A
1
1 1
/ / ... / u u u (4.3)

Dac universul X este continuu, atunci scriem:

=
x
x a x A / ) ( (4.4)

Pe un univers de discurs pot fi definite mai multe submulimi fuzzy.
De exemplu, pentru universul vrstelor unor persoane, putem defini
submulimile oamenilor tineri, btrni sau de vrst mijlocie. Aceste
submulimi se pot intersecta (este chiar recomandat acest fapt). Aceeai
persoan va aparine submulimii oamenilor tineri cu un grad de 70%,
submulimii oamenilor de vrst mijlocie cu un grad de 90% i submulimii
oamenilor btrni cu un grad de 30%.
Fie A o submulime fuzzy a universului de discurs X. Se numete
suportul lui A submulimea lui X ale crei elemente au grade de apartenen
nenule n A:


Teoria sistemelor fuzzy

61
supp(A) = } 0 ) ( | { > e x X x
A
u . (4.5)

nlimea lui A se definete drept cea mai mare valoare a funciei de
apartenen:

h(A) = ) ( sup x
A
X x
u
e
. (4.6)

O submulime fuzzy A a lui X este normal dac h(A) = 1, adic
X x e - astfel nct 1 ) ( = x
A
u . n caz contrar, A este subnormal.
Se numete nucleul lui A submulimea lui X ale crei elemente au
grade de apartenen unitare n A:

n(A) = } 1 ) ( | { = e x X x
A
u . (4.7)

Fie A i B submulimi fuzzy ale lui X. Spunem c A este o
submulime a lui B dac:

X x x x
B A
e s ), ( ) ( u u . (4.8)

Figura 4.1. Submulime fuzzy

Fie A i B submulimi fuzzy ale lui X. Spunem c A i B sunt egale
dac B A c i A B c :

X x x x B A
B A
e = = ), ( ) ( u u . (4.9)

Fie A o submulime fuzzy a lui X i ] 1 , 0 [ e o . Se numete tietur-
(engl. -cut) a lui
A
u mulimea:

} | { ] [ o u u
o
> e =
A
X x (4.10)


62

Figura 4.2. Tietura- a funciei de apartenen

4.2 Tipuri de funcii de apartenen
De multe ori, oamenii nu pot caracteriza precis informaiile
numerice, folosind formulri precum aproape 0, n jur de 100 etc. n
teoria mulimilor fuzzy, aceste numere pot fi reprezentate ca submulimi
fuzzy ale mulimii numerelor reale.
Un numr fuzzy este o mulime fuzzy pe universul de discurs al
mulimii numerelor reale, cu o funcie de apartenen convex i continu i
suport mrginit. Unii autori (Dubois & Prade, 1987) consider c un numr
fuzzy trebuie s ndeplineasc urmtoarele condiii:
- e -
0
unic x R astfel nct 1 ) (
0
= x
A
u ;
- e y x, R.
O mulime fuzzy A se numete numr fuzzy triunghiular cu centrul
c, limea la stnga 0 > o i limea la dreapta 0 > | dac funcia sa de
apartenen are forma:

+ s <
s s
=
altfel , 0
, 1
, 1
) , , , ( |
|
o
o
| o u c x c
c x
c x c
x c
c x
A
(4.11)

|
|
.
|
\
|
|
|
.
|
\
| + +
= 0 , , min max ) , , , (
|
|
o
o
| o u
x c x c
c x
A
(4.12)



63

Figura 4.3. Funcie de apartenen triunghiular

Este evident c supp(A) ) , ( | o + = c c . Semnificaia unui numr
fuzzy triunghiular cu centrul c este x este aproximativ egal cu c.
Un cvasi-numr fuzzy este o mulime fuzzy A pe universul de discurs
al mulimii numerelor reale, cu o funcie de apartenen convex i continu
care satisface condiia: 0 ) ( lim =

x
A
x
u .
O mulime fuzzy A este un cvasi-numr fuzzy gaussian cu centrul
(media) c i deviaia standard dac funcia sa de apartenen are forma:

2
2
1
e ) , , (
|
.
|
\
|
=
o
o u
c x
A
c x (4.13)

Figura 4.4. Funcie de apartenen gaussian

Generaliznd conceptul de numr fuzzy, definim un interval fuzzy ca
fiind o mulime fuzzy A pe universul de discurs al mulimii numerelor reale,
cu o funcie de apartenen care satisface condiia:
- e -
0 0
, y x R
0 0
, y x < astfel nct ] , [ , 1 ) (
0 0
y x x x
A
e = u i
] , [ , 1 ) (
0 0
y x x x
A
e < u .
O mulime fuzzy A se numete interval fuzzy trapezoidal cu
intervalul de toleran [c,d], limea la stnga 0 > o i limea la dreapta
0 > | dac funcia sa de apartenen are forma:



64

+ s <
s <
s s
=
altfel , 0
, 1
, 1
, 1
) , , , , (
|
|
o
o
| o u
d x d
d x
d x c
c x c
x c
d c x
A
(4.14)

|
|
.
|
\
|
|
|
.
|
\
| + +
= 0 , , 1 , min max ) , , , , (
|
|
o
o
| o u
x d x c
d c x
A
(4.15)

Figura 4.5. Funcie de apartenen trapezoidal

Aici supp(A) ) , ( | o + = d c . Semnificaia unui interval fuzzy
trapezoidal cu intervalul de toleran [c,d] este x este aproximativ ntre c i d .
O alt funcie de apartenen foarte utilizat este funcia Bell
generalizat. Pentru un cvasi-numr fuzzy A cu centrul c. Fie
5 , 0
] [
A
a u = i
X q e astfel nct 5 , 0 ) ( = q
A
u . Dac panta lui
A
u n q este 0 2 > = a b m ,
atunci:

b A
a
c x
b a c x
2
1
1
) , , , (
+
= u (4.16)

ma A
a
c x
m a c x
4
1
1
) , , , (
+
= u (4.17)


65

Figura 4.6. Funcie de apartenen Bell generalizat

n general, laturile cresctoare i descresctoare ale unui (cvasi-)
numr sau interval fuzzy pot fi determinate de funcii diferite. Fie
) , 0 [ : , R L R dou funcii strict descresctoare, cu 1 ) 0 ( ) 0 ( = = R L . O
mulime fuzzy A pe universul de discurs al mulimii numerelor reale se
numete interval fuzzy de tip L-R dac e - r l M M , , ,
2 1
R cu
2 1
M M s ,
l > 0 i r > 0, astfel nct:

< <
>
|
.
|
\
|

s
|
.
|
\
|

=
2 1
2
2
1
1
, 1
,
,
M x M
M x
r
M x
R
M x
l
x M
L
A
u (4.18)

O funcie de apartenen monoton cresctoare des ntlnit este cea
sigmoid. Fie X c e astfel nct 5 , 0 ) ( = c
A
u i panta lui
A
u n c este
4 a m = . Atunci:

) (
e 1
1
) , , (
c x a
A
a c x

+
= u (4.19)

) ( 4
e 1
1
) , , (
c x m
A
m c x

+
= u (4.20)



66

Figura 4.7. Funcie de apartenen sigmoid

4.3 Restrictori
Dup cum am menionat, mulimile fuzzy pot reprezenta n mod
cantitativ termeni lingvistici vagi. n vorbirea curent, oamenii folosesc o
serie de adverbe pentru nuanarea acestora, precum foarte, aproape,
oarecum etc. Teoria mulimilor fuzzy face posibil reprezentarea lor cu
ajutorul unor restrictori (engl. hedge, gard viu, restricie n general), care
modific matematic funcia de apartenen a mulimii fuzzy considerat.
Concentrarea (foarte) are ca efect reducerea valorilor de
apartenen ale elementelor cu grad de apartenen mici:
2
) (
)) ( ( ) ( x x
A A CON
u u = .

Figura 4.8. Concentrare

Puterea (foarte foarte) este o extensie a concentraiei:
n
A A CON
x x )) ( ( ) (
) (
u u = .

Figura 4.9. Putere



67
Dilatarea (oarecum) dilat elementele fuzzy prin mrirea valorilor
de apartenen ale elementelor cu grade de apartenen mici:
) ( ) (
) (
x x
A A DIL
u u = .

Figura 4.10. Dilatare

Intensificarea (ntr-adevr) are ca efect mrirea gradelor de
apartenen de peste 0,5 i micorarea celor sub 0,5:
>
s
=
5 , 0 ) ( , )) ( 1 ( 2 1
5 , 0 ) ( , )) ( ( 2
2
2
) (
x x
x x
A A
A A
A INT
u u
u u
u .

Figura 4.11. Intensificare

4.4 Operaii cu mulimi fuzzy
Operaiile cu mulimile fuzzy sunt o extindere a celor din logica
clasic. Dac mulimile fuzzy implicate au grade de apartenen 0 i 1,
semnificaia operaiilor este aceeai ca n teoria clasic a mulimilor, de
aceea i simbolurile utilizate sunt aceleai.
Fie A i B submulimi fuzzy ale universului de discurs X. Intersecia
lor se definete astfel:

X x x x x x x
B A B A B A
e . = =
), ( ) ( )) ( ), ( min( ) ( u u u u u (4.21)



68

Figura 4.12. Intersecia a dou mulimi fuzzy

Fie A i B submulimi fuzzy ale universului de discurs X. Reuniunea
lor se definete astfel:

X x x x x x x
B A B A B A
e v = =
), ( ) ( )) ( ), ( max( ) ( u u u u u (4.22)

Figura 4.13. Reuniunea a dou mulimi fuzzy

Fie A o submulime fuzzy a universului de discurs X. Complementul
lui A este:

X x x x
A
A
C
e = ), ( 1 ) ( u u (4.23)

n general, aceste operaii pot fi definite cu ajutorul unor funcii
numite norme triunghiulare sau t-norme.
O funcie ] 1 , 0 [ ] 1 , 0 [ :
2
T se numete t-norm dac respect:
- ) , ( ) , ( , v u T y x T v y u x s s s (monotonia);
- ) , ( ) , ( x y T y x T = (comutativitatea);
- )) , ( , ( ) ), , ( ( z y T x T z y x T T = (asociativitatea);
- x x T T = = ) 1 , ( , 0 ) 0 , 0 ( (condiiile de limit).



69
O funcie ] 1 , 0 [ ] 1 , 0 [ :
2
S se numete t-conorm dac i numai dac
este comutativ, asociativ, monoton nedescresctoare n raport cu ambele
argumente i satisface condiiile de limit 1 ) 1 , 1 ( , ) 0 , ( = = S x x S .
Funcia ) 1 , 1 ( 1 ) , ( y x T y x S = se numete t-conorma dual a lui T.
Trebuie precizat c funciile T i S satisfac extinderea n cazul
mulimilor fuzzy a legilor lui De Morgan: B A B A = i
B A B A = , deoarece condiiile impuse definesc intersecia, respectiv
reuniunea mulimilor fuzzy:

X x x x T x
B A B A
e =
)), ( ), ( ( ) ( u u u
X x x x S x
B A B A
e =
)), ( ), ( ( ) ( u u u . (4.24)

Funciile T i S pot avea diverse forme, ns t-normele cele mai
utilizate n aplicaii sunt urmtoarele:

) , min( ) , ( y x y x T
min
= ,__ ) , max( ) , ( y x y x S
min
= (4.25)
y x y x T
produs
= ) , ( ,__ y x y x y x S
produs
+ = ) , ( (4.26)
) 1 , 0 max( ) , ( + = b a y x T
z Lukasiewic
,__ ) 1 , min( ) , ( b a y x S
z Lukasiewic
+ = (4.27)

Se poate demonstra c aceste t-norme sunt membri ai familiei
fundamentale de norme Frank:

} 1 { ) , 0 ( ,
1
) 1 )( 1 (
1 log ) , ( e
|
|
.
|
\
|

+ =

y x
y x T
) 1 , 1 ( 1 ) , ( y x T y x S =

(4.28)

Particulariznd, pentru = 0 se obin t-normele min, pentru = 1 se
obin t-normele produs iar pentru se obin t-normele ukasiewicz.
O alt familie interesant de norme este familia Weber:

) , 1 ( , 0 ,
1
1
max ) , ( e
|
.
|
\
|
+
+ +
=
xy y x
y x T

|
.
|
\
|
+
+ = 1 ,
1
min ) , (
xy
y x y x S (4.29)



70
Particulariznd, pentru = 0 se obin t-normele ukasiewicz, pentru
se obin t-normele produs iar pentru 1 se obin t-normele
drastice (produs drastic, respectiv sum drastic):

=
=
=
altfel , 0
1 ,
1 ,
) , (
1
x y
y x
y x T ,__
=
=
=
altfel , 1
0 ,
0 ,
) , (
1
x y
y x
y x S (4.30)

4.5 Procesul de inferen fuzzy
n logica fuzzy i raionamentul aproximativ, cea mai important
regul de inferen este Modus Ponens generalizat. n logica clasic, aceast
regul de inferen era de forma q q p p . )) ( ( , adic:

premis: dac p, atunci q
fapt: p
consecin: q

4.5.1 Tipul de inferen Mamdani
n logica fuzzy, regula de inferen corespunztoare sugerat de
Mamdani (1977) este urmtoarea:

premis: dac x este A, atunci y este B
fapt: x este A'
consecin: y este B', unde ) ( ' ' B A A B = (4.31)

De exemplu: Premis: Dac presiunea este mare, atunci volumul
este mic. Fapt: Presiunea este foarte mare. Consecin: Volumul este foarte
mic.. Presiunea i volumul sunt variabile lingvistice, iar mare i
mic sunt valori lingvistice, caracterizate de funcii de apartenen.
Dac A' = A i B' = B, regula se reduce la Modus Ponens clasic.
Matricea B A deseori se noteaz cu M i se numete memorie
asociativ fuzzy (Kosko, 1992). Procesul de inferen fuzzy este vzut ca o
mapare a unei mulimi fuzzy ntr-o alt mulime fuzzy. M are semnificaia
unei matrici de posibiliti condiionate ale elementelor din A i B:



71

...
...
...
1 2
2 1 1 1
|
b a
b a b a
M
A B

= H = (4.32)

Pentru operaia de implicaie pot fi utilizate diferite funcii de
evaluare:
- ukasiewicz: ) 1 , 1 min(
B A B A
u u u + =
;
- Kleene-Dienes: ) , 1 max(
B A B A
u u u =
;
- Zadeh: )) , min( , 1 max(
B A A B A
u u u u =
;
- Gdel:
>
s
=
B A B
B A
B A
u u u
u u
u
,
, 1
;
- Goguen:
=
=
=
0 ), , 1 min(
0 , 1
A
A
B
A
B A
u
u
u
u
u ;
- Reichenbach:
B A A B A
u u u u + =
1 .
De cele mai multe ori, se prefer pentru implicaie operatorul minim,
adic: ) , min(
j i ij
b a m = sau produs:
j i ij
b a m = .
n primul caz, submulimea indus n B, B' se calculeaz astfel:
)) , (min( max
'
ij i
i
j
m a b = . Avem de-a face aici cu regula max-min, din care
rezult o mulime ce reprezint o variant retezat a lui B, la nlimea
fixat de A'.

Figura 4.14. Inferen Mamdani prin regula max-min

n cel de-al doilea caz, regula max-produs, B' se calculeaz cu:
) ( max
'
ij i
i
j
m a b = , rezultnd o mulime care este o variant scalat a lui B.



72

Figura 4.15. Inferen Mamdani prin regula max-produs

De multe ori n practic apar situaii n care o concluzie trebuie
extras din premise multiple, cum ar fi Dac A i B, atunci C. Dac tim
A' i B', mulimile induse de acestea n C se calculeaz mai nti
independent, prin max-min sau max-produs, i apoi se combin:

AC A
M A C '
'
'
=
BC B
M B C '
'
'
=

'
'
'
'
'
B A
C C C . = (4.33)

Dup ce am determinat mulimea fuzzy indus de o regul de
inferen, n unele aplicaii trebuie obinut o valoare singular, strict, pe
baza acestei mulimi. Procesul se numete defuzzyficare. Cea mai utilizat
tehnic de defuzzyficare este metoda centroidului:

=
i
i A
i
i A i
x
x x
y
) (
) (
u
u
(4.34)

Dac universul de discurs este continuu, atunci:

=
dx x
dx x x
y
A
A
) (
) (
u
u
(4.35)

Figura 4.16. Defuzzyficare


73
4.5.2 Tipul de inferen Takagi-Sugeno
O alt abordare a procesului de inferen fuzzy a fost conceput de
Takagi i Sugeno (1985). n acest caz, regula general de inferen are
urmtoarea form:

dac
1
x este
1
A i
2
x este
2
A i ... i
n
x este
n
A
atunci ) ,..., , (
2 1 n r
x x x f y = ,
unde Y X X X f
n r
... :
2 1
sunt n general funcii liniare:

) ( ) (
1
) (
1 2 1
... ) ,..., , (
r
n
r
n
r
n r
a x a x a x x x f + + + = , k r ,..., 1 = (4.36)

Rezultatul inferenei (ca valoare strict) se obine ca o medie
ponderat a rezultatelor pariale ale regulilor considerate individual:

=
=

=
k
r
r
k
r
n r r
w
x x f w
y
1
1
1
) ,..., (
(4.37)

De exemplu, s considerm o inferen pe baza a dou reguli:

dac x este A
1
i y este B
1
, atunci
1 1 1
r y q x p Z + + = .
dac x este A
2
i y este B
2
, atunci
2 2 2
r y q x p Z + + = . (4.38)

Figura 4.17. Inferen Takagi-Sugeno


74
Vom avea:

1 1 1 1
r y q x p z + + =

2 2 2 2
r y q x p z + + = (4.39)

Rezultatul strict va fi:

2 1
2 2 1 1
w w
z w z w
z
+
+
= . (4.40)

4.6 Concluzii
Teoria mulimilor fuzzy este cea mai general teorie a
incompletitudinii formulat pn n prezent. Logica fuzzy ofer posibilitatea
de a reprezenta i raiona cu cunotine comune, formulate n mod obinuit
i de aceea i-a gsit aplicabilitatea n numeroase domenii. Termenii i
regulile vagi pot fi reprezentate i manipulate cu ajutorul calculatorului,
caracteristic foarte valoroas n domeniul ingineriei bazelor de cunotine,
unde cunotinele experilor sunt formulate de obicei n limbaj obinuit.
Logica fuzzy are o valoare deosebit i n aplicaiile de control automat
unde este dificil sau imposibil de dezvoltat un sistem de control tradiional.
n acest capitol, s-au prezentat cele mai importante mrimi care
caracterizeaz mulimile fuzzy, diferite tipuri de funcii de apartenen
(triunghiular, gaussian, trapezoidal, Bell generalizat, respectiv
sigmoid), a cror alegere depinde de aplicaiile n care sunt utilizate. S-au
amintit civa restrictori, modificatori matematici ai funciilor de
apartenen pentru termeni lingvistici. S-au precizat operaiile efectuabile
asupra mulimilor fuzzy, insistndu-se asupra conceptului de norm
triunghiular.
Comparnd tipurile de inferen propuse de Mamdani i Sugeno, se
poate considera n general c metoda Mamdani este mai intuitiv i deci mai
potrivit pentru aplicaiile n care oamenii trebuie s introduc date direct.
Un alt avantaj al su const n larga rspndire i acceptare de care se
bucur. Pe de alt parte, metoda Sugeno este mai eficient din punct de
vedere computaional, se preteaz la tehnicile adaptive i de optimizare i
este deci mai potrivit pentru analiza bazat pe tehnici matematice.

75
Capitolul V

REELE NEURONALE

5.1 Introducere. Modelul biologic
Preocuparea pentru reelele neuronale artificiale, denumite n mod
curent reele neuronale, a fost motivat de recunoaterea faptului c
modul n care calculeaz creierul fiinelor vii este complet diferit de cel al
calculatoarelor numerice convenionale. Spre deosebire de mainile von
Neumann, unde exist o unitate de procesare care execut instruciunile
stocate n memorie n mod serial, numai o instruciune la un moment dat,
reelele neuronale utilizeaz n mod masiv paralelismul. Fiind modele
simplificate ale creierului uman, ele dein capacitatea de a nva, spre
deosebire de calculatoarele convenionale, care rmn totui mai eficiente
pentru sarcinile bazate pe operaii aritmetice precise i rapide. Reelele
neuronale nu dispun de uniti de procesare puternice, dimpotriv, acestea
sunt caracterizate printr-o simplitate extrem, ns interaciunile lor pe
ansamblu produc rezultate complexe datorit numrului mare de conexiuni.
Pentru a nelege mai bine aceast abordare, trebuie precizat modul
de funcionare al sistemului nervos. Constituienii structurali ai creierului
sunt neuronii, conectai prin sinapse (gr. , punct de legtur). Se
estimeaz c n cortexul uman exist circa 10 miliarde de neuroni i 60 de
trilioane de sinapse. Trebuie precizat ns c neuronii nu sunt cele mai
numeroase celule din creier. Celulele gliale sunt de 10 ori mai multe. n mod
tradiional, se considera c acestea au numai funcii de nutriie i protecie,
ns n ultimul timp au demarat cercetri privitoare la influena lor potenial
asupra activitii de procesare a neuronilor.
Neuronul const n principal din trei componente: corpul celulei,
soma (gr. , corp), dendrite i axon. Dendritele (numite astfel datorit
asemnrii cu un copac, gr. ) sunt intrrile neuronului, fibre
scurte ramificate, de civa milimetri, care primesc impulsuri. Axonul
(gr. , ax), ieirea, este o fibr mai lung, de civa centimetri,
putnd ajunge ns la 1-1,5 metri. Fiecare neuron are un singur axon i mai
multe (10-20) de dendrite.
O schi a unui neuron este prezentat n figura urmtoare (Ascoli,
2001):



76

Figura 5.1. Schia unui neuron biologic

Neuronii nu se ating n mod direct, ci sunt separai prin spaii numite
sinapse. Acestea sunt uniti structurale i funcionale elementare care
mediaz interaciunile dintre neuroni. Tipul cel mai rspndit de sinaps este
sinapsa chimic, ce opereaz astfel: un proces presinaptic elibereaz o
substan transmitoare, care difuzeaz peste jonciunea sinaptic dintre
neuroni i apoi acioneaz asupra unui proces postsinaptic. Astfel o sinaps
convertete un semnal electric presinaptic ntr-un semnal chimic (ioni de
sodiu i potasiu) i apoi din nou ntr-un semnal electric postsinaptic.
n descrierile tradiionale ale organizrii neuronale, se consider c o
sinaps este o conexiune simpl care poate impune excitare sau inhibare, dar
nu ambele, neuronului receptor. Ambele efecte sunt locale; ele se propag
pe o distan mic n corpul celulei i sunt nsumate la nivelul axonului.
Dac suma potenialelor de excitare depete un anumit prag, atunci
neuronul este activat i transmite un impuls mai departe.
Cea mai important trstur a reelei neuronale biologice este
plasticitatea. Ca rspuns la stimulrile primite, la nivelul conexiunilor se
produc schimbri pe termen lung, astfel nct conexiunile care ajut la
obinerea de rezultate pozitive sunt ntrite, iar cele care determin rezultate
nedorite sunt slbite. De asemenea, neuronii pot forma n timp noi conexiuni
cu ali neuroni. Aceste mecanisme stau la baza capacitii de adaptare a
creierului la stimulii primii, pe care o numim n mod convenional nvare.
n mod analog funcioneaz i o reea neuronal artificial. n cea
mai general form a sa, o reea neuronal este o main proiectat pentru a
modela felul n care creierul rezolv o anumit problem sau execut o

Reele neuronale

77
funcie cu un anumit scop; reeaua este de obicei implementat folosindu-se
componente electronice sau simulat printr-un program.
Simon Haykin (1994) consider c o reea neuronal este un
procesor masiv paralel, distribuit, care are o tendin natural de a
nmagazina cunotine experimentale i de a le face disponibile pentru
utilizare. Ea se aseamn cu creierul n dou privine:
- Cunotinele sunt cptate de reea printr-un proces de nvare;
- Cunotinele sunt depozitate nu n unitile de procesare (neuroni), ci
n conexiunile interneuronale, cunoscute drept ponderi sinaptice.
Procedura folosit pentru a executa procesul de nvare se numete
algoritm de nvare, funcia cruia este de a modifica ponderile sinaptice
ale reelei ntr-un stil sistematic pentru a atinge obiectivul dorit de
proiectare. Printre numeroasele proprietai interesante ale unei reele
neuronale, cea mai semnificativ este abilitatea acesteia de a nva prin
intermediul mediului nconjurtor, i prin aceasta s-i mbunteasc
performanele; creterea performanelor are loc n timp i conform cu unele
reguli prestabilite. O reea neuronal i nva mediul printr-un proces
iterativ de ajustri aplicate conexiunilor i pragurilor sale sinaptice. n mod
ideal, reeaua devine mai inteligent dup fiecare iteraie a procesului de
nvare.
n contextul reelelor neuronale vom defini astfel nvarea: un
proces prin care parametrii variabili ai unei reele neuronale se adapteaz
printr-un proces continuu de stimulare din partea mediului n care este
inclus. Tipul de nvare este determinat de modul n care au loc
schimbrile parametrilor. Aadar, nvarea n contextul unei reele
neuronale se caracterizeaz prin urmtoarele elemente:
- Reeaua neuronal este stimulat de un mediu;
- Reeaua neuronal sufer schimbri datorit acestor stimulri;
- Reeaua neuronal rspunde n mod diferit mediului datorit
schimbrilor care au aprut n structura sa intern.
Cu toate c asemnarea ntre sistemul nervos biologic i reelele
neuronale artificiale este relativ mic, reelele neuronale artificiale prezint
un numr surprinztor de caracteristici ale creierului. De exemplu, acestea
pot nva din experien, generaliza din anumite exemple altele noi i
sintetiza caracteristicile eseniale din intrri ce conin si date irelevante. Un
mare avantaj al reelelor neuronale este c pot descrie o problem i s o
rezolve n acelai timp, prin auto-organizarea lor i nu prin program. Acest
proces de auto-organizare are loc pe parcursul unui proces de nvare
obinut prin cooperarea unei topologii iniiale, a unor reguli de nvare i a


78
unui numr mare de antrenamente. Caracteristicile cele mai importante ale
reelelor neuronale sunt:
- Capacitatea de a nva: Reelele neuronale artificiale nu necesit
programe puternice, ci sunt mai degrab rezultatul unor
antrenamente asupra unui set de date. Reelele neuronale artificiale
au un algoritm de nvare, dup care ponderile conexiunilor sunt
ajustate pe baza unor modele prezentate. Cu alte cuvinte, reelele
neuronale nva din exemple, precum copii nva s recunoasc un
obiect pe baza unor instane ale acelui tip de obiect;
- Capacitatea de generalizare: Dac au fost instruite corespunztor,
reelele sunt capabile s dea rspunsuri corecte i pentru intrri
diferite fa de cele cu care au fost antrenate;
- Capacitatea de sintez: Reelele neuronale artificiale pot lua decizii
sau trage concluzii cnd sunt confruntate cu informaii afectate de
zgomote sau cu informaii irelevante sau pariale.
Datorit acestor trsturi ale prelucrrii informaiei reelele
neuronale pot rezolva probleme complexe care sunt dificil de abordat prin
metode clasice. Cu toate acestea, cercettorii recunosc c mai au un drum
lung de parcurs pn vor ajunge s construiasc un calculator care s imite
creierul omenesc. Inteligena la care au ajuns n prezent cele mai
sofisticate reele neuronale este sub nivelul unui copil de civa ani. Cu toate
acestea nu trebuie minimizat sau ignorat importana reelelor neuronale
artificiale i este posibil ca pe viitor, cu ajutorul lor s ajungem la o
cunoatere mai aprofundat a fenomenelor ce au loc in creierul uman. Ceea
ce recomand reelele neuronale artificiale este raportul favorabil
performan-complexitate, aflat ntr-o continu cretere i care este superior
sistemelor de inteligen artificial implementate prin alte tehnologii.

5.2 Reele cu un singur strat
nceputul reelelor neuronale artificiale este legat de problema
clasificrii unor obiecte definite de o serie de atribute. Cel mai simplu model
era funcia I logic ntre anumite atribute (prezente sau absente), care s
determine o anumit clas. Totui, unele clase pot avea atribute comune, iar
unele valori, n cazul n care provin dintr-un mecanism perceptual, pot fi
afectate de zgomot. Soluia s-a bazat pe faptul de bun sim c unele atribute
sunt mai importante dect altele pentru determinarea unei anumite clase. O
clas era determinat dac sumarea valorilor ponderate depea un anumit
prag, n bun concordan cu legea biologic totul sau nimic (dac un
impuls nu depete un prag minim, el nu produce nici un rspuns).

Reele neuronale

79
Warren McCulloch i Walter Pitts (1943) au propus un astfel de
model, care rmne pn n prezent fundamentul structural pentru
majoritatea reelelor neuronale.

Figura 5.2. Modelul unui neuron

Fiecrei conexiuni i corespunde o valoare real, numit pondere
sinaptic, care determin efectul intrrii respective asupra nivelului de
activare a neuronului. Suma ponderat a intrrilor poart denumirea de
intrare net (engl. net input). n figura 5.2, x
i
reprezint intrrile, w
i

ponderile sinaptice, f o funcie de activare, valoarea prag iar y ieirea, care
se calculeaz dup formula:

|
.
|
\
|
=

=
u
i
n
i
i
x w f y
1
(5.1)

McCulloch i Pitts foloseau o funcie de activare signum, cu valorile
1 i 1:

>
<
=
0 , 1
0 , 1
) (
s
s
s f (5.2)

Se punea acum problema determinrii automate a acestor ponderi, n
cazul n care neuronului i erau prezentate mai multe obiecte, mpreun cu
clasa creia aparineau acestea. Rezolvarea a fost adus de Frank Rosenblatt
(1960), care a imaginat un algoritm de nvare pentru aa-numitul
perceptron, o reea cu un singur neuron, la fel ca aceea din figura 5.2.
Ideea principal este de a face mici ajustri ale ponderilor pentru a reduce
diferena dintre ieirea real a perceptronului i ieirea dorit (Negnevitsky,
2002). Ponderile iniiale sunt iniializate aleatoriu (n general n intervalul


80
[-0.5, 0.5]) i apoi actualizate treptat astfel nct ieirea s se apropie de
valorile dorite. Exemplele de antrenare sunt prezentate succesiv, n orice
ordine. Dac n pasul p ieirea real este y(p) iar ieirea dorit este y
d
(p),
atunci eroarea este:

e(p) = y
d
(p) y(p) (5.3)

Dac eroarea e este pozitiv, trebuie s mrim y ; dac este negativ,
y trebuie micorat. Avnd n vedere c fiecare intrare are contribuia
i i
w x ,
atunci dac x
i
este pozitiv, o cretere a ponderii w
i
va avea ca efect o
cretere a ieirii perceptronului. Invers, dac x
i
este negativ, creterea
ponderii w
i
va determina scderea ieirii y. De aici poate fi stabilit regula
de nvare a perceptronului:

) ( ) ( ) ( ) 1 ( p x p e p w p w
i i i
+ = + n , (5.4)

unde ) 1 , 0 ( e n este numit rata de nvare.
Cu ajutorul perceptronului pot fi nvate de exemplu funcii binare
elementare, precum I, SAU etc. (figura 5.3). Pe abscis i ordonat sunt
reprezentate valorile celor dou intrri, iar culoarea cercurilor reprezint
rezultatul operaiei (alb = 0, negru = 1). Perceptronul mparte planul n dou
regiuni de decizie (datorit pragului funciei de activare). n cazul n-
dimensional, spaiul soluiilor va fi divizat tot n dou regiuni de un
hiperplan. Acestea sunt probleme liniar separabile. Aici poate fi observat
i utilitatea pragului: n lipsa acestuia, hiperplanul separator ar trece
ntotdeauna prin origine, ceea ce nu este de dorit n orice situaie.

Figura 5.3. Probleme liniar separabile: I, SAU


Reele neuronale

81
Algoritmul de antrenare garanteaz clasificarea corect a dou clase
pe baza setului de antrenare, cu condiia ca acele clase s fie liniar
separabile. Scopul iniial al perceptronului a fost recunoaterea optic a
caracterelor. Rosenblatt a reuit s construiasc n 1968 un sistem bazat pe
implementarea sa hardware, Mark I Perceptron, care e considerat primul
neurocomputer funcional.
Foarte multe probleme sunt ns liniar neseparabile. De exemplu
funcia XOR (figura 5.4) nu poate fi nvat de un perceptron simplu.
Minsky i Papert (1969) au demonstrat limitrile serioase ale reelelor de tip
perceptron n aceste situaii i c sunt imposibile generalizrile globale pe
baza exemplelor nvate local. De asemenea, ei au studiat posibilitatea
utilizrii perceptronilor pentru calculul predicatelor, demonstrndu-le
limitele n comparaie cu maina Turing. Concluzia crii lor a fost c i
reelele multistrat vor prezenta aceleai impedimente, ceea ce a determinat
practic pierderea interesului pentru cercetrile n domeniul reelelor
neuronale pentru aproape 20 de ani, cnd a fost gsit o soluie fezabil
pentru problemele neseparabile liniar. Trebuie totui menionat faptul c
XOR-ul multidimensional (suma modulo 2 a argumentelor) continu s fie o
funcie greu de nvat i pentru reelele neuronale actuale.

Figura 5.4. Problem liniar neseparabil: XOR

O alt arhitectur de mare importan istoric este adaline (adaptive
linear element) (Widrow, 1962), prezentat doar la cteva luni dup
publicarea algoritmului lui Rosenblatt. Spre deosebire de perceptron, ieirea
nu este discret, ci continu, deoarece folosete funcia de activare liniar:
f(s) = s. De asemenea, algoritmul de antrenare este diferit, bazndu-se pe
metoda celor mai mici ptrate, sau regula delta. Scopul este minimizarea
erorii ptratice medii dintre ieirea real i cea dorit cu ajutorul unei
metode de tip gradient descendent numit coborrea cea mai abrupt (engl.
steepest descent). Dei metodologia de lucru este diferit, actualizarea


82
ponderilor se face dup aceeai formul ca la perceptron (5.4), cu precizarea
c eroarea e are acum valori reale.
Din punctul de vedere al comportamentului, spre deosebire de
perceptron, adaline converge repede i nvarea e n general stabil chiar n
probleme de clasificare neseparabile liniar. Dezavantajul su principal este
faptul c nu poate garanta separarea celor dou clase, chiar dac acestea sunt
liniar separabile.
Widrow (1962) a generalizat modelul la o arhitectur cu mai multe
straturi numit madaline (many adalines). Aceasta const dintr-un strat de
neuroni adalini care pot fi antrenai i ale cror ieiri sunt conectate ntr-un
al doilea strat, stratul de ieire, format din neuroni care funcioneaz ca pori
logice: I, SAU sau vot majoritar. Ponderile neuronilor din acest strat de
ieire nu sunt antrenabile, ci fixate, ceea ce conduce la clasificarea
arhitecturii madaline tot ca o reea cu un singur strat.

5.3 Perceptronul multistrat
ncercrile de rezolvare a problemelor neseparabile liniar au condus
la diverse variante privind numrul de straturi de neuroni i funciile de
activare utilizate. Perceptronul multistrat (engl. multilayer perceptron,
MLP) este tipul de reea neuronal cel mai cunoscut i mai des folosit. De
cele mai multe ori, semnalele se transmit n interiorul reelei ntr-o singur
direcie: de la intrare spre ieire. Nu exist bucle, ieirea fiecrui neuron
neafectnd neuronul respectiv. Aceast arhitectur se numete cu propagare
nainte (engl. feed-forward) (figura 5.5). Straturile care nu sunt conectate
direct la mediu se numesc ascunse. Exist n literatura de specialitate o
controvers privind considerarea primului strat (de intrare) ca strat propriu-
zis n reea, de vreme ce singura sa funcie este transmiterea semnalelor de
intrare spre straturile superioare, fr a face vreo prelucrare asupra intrrilor.
n cele ce urmeaz, vom numra numai straturile formate din neuroni
propriu-zii, ns vom spune c intrrile sunt grupate n stratul de intrare.
Exist i reele recurente (engl. feed-back), n care impulsurile se
pot transmite n ambele direcii, datorit unor conexiuni de reacie n reea.
Aceste tipuri de reele sunt foarte puternice i pot fi extrem de complicate.
Sunt dinamice, starea lor schimbndu-se permanent, pn cnd reeaua
ajunge la un punct de echilibru iar cutarea unui nou echilibru are loc la
fiecare schimbare a intrrii.
Introducerea mai multor straturi a fost determinat de necesitatea
creterii complexitii regiunilor de decizie. Dup cum am artat n
paragraful anterior, un perceptron cu un singur strat i o ieire genereaz
regiuni de decizie de forma unor semiplane. Adugnd nc un strat, fiecare

Reele neuronale

83
neuron se comport ca un perceptron standard asupra ieirii neuronilor din
stratul anterior i astfel ieirea reelei poate aproxima regiuni de decizie
convexe, rezultate din intersecia semiplanelor generate de neuroni. La
rndul su, un perceptron cu trei straturi poate genera zone de decizie
arbitrare (figura 5.6).

Figura 5.5. Reea neuronal feed-forward multistrat

Din punctul de vedere al funciei de activare a neuronilor, s-a
constatat c reelele multistrat nu asigur o cretere a puterii de calcul n
raport cu reelele cu un singur strat dac funciile de activare rmn liniare,
deoarece o funcie liniar de funcii liniare este tot o funcie liniar. Puterea
perceptronului multistrat provine tocmai din funciile de activare neliniare.
Aproape orice funcie neliniar poate fi folosit n acest scop, cu excepia
funciilor polinomiale. n prezent, funciile cele mai des utilizate n prezent
sunt sigmoida unipolar (sau logistic), afiat n figura 5.7:

s
s f
+
=
e 1
1
) ( (5.5)

i sigmoida bipolar (tangenta hiperbolic), afiat n figura 5.8 pentru
a = 2:

s a
s a
s f

+
=
e 1
e 1
) ( . (5.6)



84

Figura 5.6. Regiunile de decizie ale perceptronilor multistrat

0
0.5
1
-6 0 6

Figura 5.7. Funcia de activare sigmoid unipolar

Reele neuronale

85
-1
0
1
-6 0 6

Figura 5.8. Funcia de activare sigmoid bipolar

Se poate constata c funciile sigmoide se comport aproximativ
liniar pentru valori absolute mici ale argumentului i se satureaz, prelund
oarecum rolul de prag, pentru valori absolute mari ale argumentului.
Funahashi (1989) a demonstrat c o reea (posibil infinit) cu un
singur strat ascuns este capabil s aproximeze orice funcie continu. Astfel
se justific proprietatea perceptronului multistrat de aproximator universal.
De asemenea, aplicnd teorema Stone-Weierstrass n domeniul
reelelor neuronale, s-a demonstrat c acestea pot calcula anumite expresii
polinomiale: dac exist dou reele care calculeaz exact dou funcii f
1
,
respectiv f
2
, atunci exist o reea mai mare care calculeaz exact o expresie
polinomial de f
1
i f
2
.

5.3.1 Algoritmul backpropagation
Algoritmul backpropagation este cel mai cunoscut i utilizat
algoritm de nvare supervizat. Numit i algoritmul delta generalizat
deoarece extinde modalitatea de antrenare a reelei adaline (regula delta), el
se bazeaz pe minimizarea diferenei dintre ieirea dorit i ieirea real, tot
prin metoda gradientului descendent (gradientul ne spune cum variaz o
funcie n diferite direcii). Metoda a fost propus pentru prima dat de
Bryson i Ho (1969), dar la momentul respectiv a fost practic ignorat,
deoarece presupunea un volum de calcule prea mare pentru vremea
respectiv. A fost redescoperit apoi de Werbos (1974), ns abia la mijlocul
anilor 80 a fost lansat de Rumelhart, Hinton i Williams (1986) ca
instrument general acceptat de antrenare a perceptronului multistrat. Ideea


86
de baz este gsirea minimului funciei de eroare e(w) n raport cu ponderile
conexiunilor.
Algoritmul pentru un perceptron multistrat cu un strat ascuns este
urmtorul (Negnevitsky, 2002):

Pasul 1: Iniializarea
Toate ponderile i pragurile reelei sunt iniializate cu valori aleatorii
nenule, distribuite uniform ntr-un mic interval, de exemplu
|
|
.
|
\
|
i i
F F
4 . 2
,
4 . 2
,
unde F
i
este numrul total de intrri ale neuronului i (Haykin, 1994).
Dac valorile acestea sunt 0, gradienii care vor fi calculai pe
parcursul antrenrii vor fi tot 0 (dac nu exist o legtur direct ntre intrare
i ieire) i reeaua nu va nva. Este chiar indicat ncercarea mai multor
antrenri, cu ponderi iniiale diferite, pentru gsirea celei mai bune valori
pentru funcia cost (minimul erorii). Dimpotriv, dac valorile iniiale sunt
mari, ele tind s satureze unitile respective. n acest caz, derivata funciei
sigmoide este foarte mic. Ea acioneaz ca un factor de multiplicare n
timpul nvrii i deci unitile saturate vor fi aproape blocate, ceea ce face
nvarea foarte lent.

Pasul 2: O nou epoc de antrenare
O epoc reprezint prezentarea tuturor exemplelor din setul de
antrenare. n majoritatea cazurilor, antrenarea reelei presupune mai multe
epoci de antrenare.
Pentru a pstra rigoarea matematic, ponderile vor fi ajustate numai
dup ce toi vectorii de test vor fi aplicai reelei. n acest scop, gradienii
ponderilor trebuie memorai i ajustai dup fiecare model din setul de
antrenare, iar la sfritul unei epoci de antrenare, se vor modifica ponderile
o singur dat (exist i varianta on-line, mai simpl, n care ponderile
sunt actualizate direct; n acest caz, poate conta ordinea n care sunt
prezentai reelei vectorii de test).
Se iniializeaz toi gradienii ponderilor i eroarea curent cu 0:
0 = A
ij
w , E = 0.

Pasul 3: Propagarea semnalului nainte
3.1. La intrrile reelei se aplic un exemplu din setul de antrenare.
3.2. Se calculeaz ieirile neuronilor din stratul ascuns:


Reele neuronale

87
|
.
|
\
|
=

=
n
i
j ij i j
p w p x f p y
1
) ( ) ( ) ( u , (5.7)

unde n este numrul de intrri ale neuronului j din stratul ascuns, iar f este
funcia de activare sigmoid.
3.3. Se calculeaz ieirile reale ale reelei:

|
.
|
\
|
=

=
m
i
k jk jk k
p w p x f p y
1
) ( ) ( ) ( u , (5.8)

unde m este numrul de intrri ale neuronului k din stratul de ieire.
3.4. Se actualizeaz eroarea pe epoc:

( )
2
) (
2
p e
E E
k
+ = . (5.9)

Pasul 4: Propagarea erorilor napoi i ajustarea ponderilor
4.1. Se calculeaz gradienii erorilor pentru neuronii din stratul de
ieire:

) ( ' ) ( p e f p
k k
= o , (5.10)

unde ' f este derivata funciei de activare iar eroarea
) ( ) ( ) (
,
p y p y p e
k k d k
= .
Dac folosim sigmoida unipolar (ecuaia 5.5), derivata acesteia
este:

( )
( ) ) ( 1 ) (
1
) ( '
2
x f x f
e
e
x f
x
x
=
+
=

. (5.11)

Dac folosim sigmoida bipolar (ecuaia 5.6), derivata acesteia este:

( )
( ) ( ) ) ( 1 ) ( 1
2
1
2
) ( '
2
x f x f
a
e
e a
x f
x a
x a
+ =
+
=

. (5.12)



88
n continuare, s presupunem c funcia utilizat este sigmoida
unipolar. Atunci relaia (5.10) devine:

( ) ) ( ) ( 1 ) ( ) ( p e p y p y p
k k k k
= o . (5.13)

4.2. Se actualizeaz gradienii ponderilor dintre stratul ascuns i
stratul de ieire:

) ( ) ( ) ( ) ( p p y p w p w
k j jk jk
o + A = A , (5.14)

4.3. Se calculeaz gradienii erorilor pentru neuronii din stratul
ascuns:

( )

=
=
l
k
jk k j j j
p w p p y p y p
1
) ( ) ( ) ( 1 ) ( ) ( o o , (5.15)

unde l este numrul de ieiri ale reelei.
4.4. Se actualizeaz gradienii ponderilor dintre stratul de intrare i
stratul ascuns:

) ( ) ( ) ( ) ( p p x p w p w
j i ij ij
o + A = A . (5.16)

Pasul 5. O nou iteraie
Dac mai sunt vectori de test n epoca de antrenare curent, se trece
la pasul 3.
Dac nu, se actualizeaz ponderile tuturor conexiunilor pe baza
gradienilor ponderilor:

ij ij ij
w w w A + = n , (5.17)

unde n este rata de nvare.
Dac s-a ncheiat o epoc, se testeaz dac s-a ndeplinit criteriul de
terminare (
max
E E < ) sau s-a atins un numr maxim de epoci de antrenare).
Dac nu, se trece la pasul 2. Dac da, algoritmul se termin.

5.3.2 Metode de accelerare a nvrii
Antrenarea unui perceptron multistrat este deseori destul de lent,
necesitnd mii sau zeci de mii de epoci pentru probleme complexe. Cele mai

Reele neuronale

89
cunoscute metode de accelerare a nvrii sunt: metoda momentului i
aplicarea unei rate de nvare variabile.

Metoda momentului
Metoda momentului (engl. momentum) (Rumelhart, Hinton &
Williams, 1986) propune adugarea unui termen la ajustarea ponderilor.
Acest termen este proporional cu ultima modificare a ponderii, adic
valorile cu care se ajusteaz ponderile sunt memorate i influeneaz n mod
direct toate ajustrile ulterioare:

) 1 ( ) ( ) ( A + A = A p w p w p w
ij ij ij
o , (5.18)

Adugarea noului termen se face dup actualizarea gradienilor
ponderilor din relaiile 5.14 i 5.16.

Metoda ratei de nvare variabile
Aceast metod este o tehnic simpl de accelerare a nvrii (Silva
& Almeida, 1990) i const n utilizarea unei rate de nvare individuale
pentru fiecare pondere i adaptarea acestor parametri n fiecare iteraie, n
funcie de semnele succesive ale gradienilor:

A = A
A = A
=
)) 1 ( sgn( )) ( sgn( ), 1 (
)) 1 ( sgn( )) ( sgn( ), 1 (
) (
p w p w p d
p w p w p u
p
ij ij ij
ij ij ij
ij
n
n
n (5.19)

Dac pe parcursul antrenrii eroarea ncepe s creasc, n loc s
scad, ratele de nvare se reseteaz la valorile iniiale i apoi se continu
procesul.

5.3.3 Considerente practice
n implementarea algoritmului apar o serie de probleme practice,
legate n special de alegerea parametrilor antrenrii i a configuraiei reelei.
n primul rnd, o rat de nvare mic determin o convergen
lent a algoritmului, pe cnd una prea mare poate cauza eecul (algoritmul
va sri peste soluie). Pentru probleme relativ simple o rat de nvare
n = 0.7 este acceptabil, ns n general se recomand rate de nvare n jur
de 0.2. Pentru accelerarea prin metoda momentului, o valoare satisfctoare
pentru este 0.9. n cazul ratei de nvare variabile, valori tipice care
funcioneaz bine n cele mai multe situaii sunt: u = 1.2 i d = 0.8.


90
Alegerea funciei de activare pentru stratul de ieire al reelei
depinde de natura problemei care trebuie rezolvat.
Pentru neuronii din straturile ascunse, se prefer funcii sigmoide,
deoarece au avantajul att al neliniaritii ct i al difereniabilitii (condiie
necesar pentru aplicarea algoritmului backpropagation). Influena cea mai
mare a unei sigmoide asupra performanelor algoritmului se pare c o are
simetria fa de origine (Almeida, 1997). Sigmoida bipolar este simetric
fa de origine, n timp ce sigmoida unipolar este simetric fa de punctul
(0, 0.5), ceea ce scade viteza de convergen.
Pentru neuronii de ieire se recomand funcii de activare adaptate
distribuiei datelor de ieire. Astfel, pentru probleme de categorizare binar
(0/1), este potrivit sigmoida unipolar. Pentru categorizare cu n clase,
fiecare corespunznd unei ieiri binare a reelei (de exemplu, ntr-o aplicaie
de recunoatere optic a caracterelor), se poate folosi extensia softmax a
sigmoidei unipolare:

=
=
n
i
y
y
k
i
k
y
1
e
e
' (5.20)

Pentru valori continue se poate realiza o preprocesare i o
postprocesare a datelor, astfel nct reeaua s opereze cu valori scalate, de
exemplu n intervalul [-0.9, 0.9] pentru tangenta hiperbolic. De asemenea,
pentru valori continue funcia de activare a neuronilor de ieire poate fi
liniar, mai ales dac nu exist limite cunoscute pentru intervalul n care se
pot gsi acestea.
O alt problem caracteristic acestui mod de antrenare este dat de
minimele locale. ntr-un minim local, gradienii erorii devin 0 i nvarea
nu mai continu. O soluie este ncercarea mai multor antrenri
independente, cu ponderi iniializate diferit la nceput, ceea ce crete
probabilitatea gsirii minimului global. Pentru probleme mari, acest lucru
poate fi greu de realizat i atunci pot fi acceptate i minime locale, cu
condiia ca erorile s fie suficient de mici. De asemenea, se pot ncerca
diferite configuraii ale reelei, cu un numr mai mare de neuroni n stratul
ascuns sau cu mai multe straturi ascunse, care n general conduc la minime
locale mai mici. Totui, dei minimele locale sunt ntr-adevr o problem, n
practic nu reprezint dificulti de nesoluionat.
O chestiune important este alegerea unei configuraii ct mai bune
pentru reea din punctul de vedere al numrului de neuroni n straturile

Reele neuronale

91
ascunse. n majoritatea situaiilor, un singur strat ascuns este suficient. Nu
exist nite reguli precise de alegere a numrului de neuroni. n general,
reeaua poate fi vzut ca un sistem n care numrul vectorilor de test
nmulit cu numrul de ieiri reprezint numrul de ecuaii iar numrul
ponderilor reprezint numrul necunoscutelor. Ecuaiile sistemului sunt n
general neliniare i foarte complexe i deci este foarte dificil rezolvarea lor
exact prin mijloace convenionale. Algoritmul de antrenare urmrete
tocmai gsirea unor soluii aproximative care s minimizeze erorile.
O reea neuronal trebuie s fie capabil de generalizare. Dac
reeaua aproximeaz bine setul de antrenare, aceasta nu este o garanie c va
gsi soluii la fel de bune i pentru datele din alt set, cel de test.
Generalizarea presupune existena n date a unor regulariti, a unui model
care poate fi nvat. n analogie cu sistemele liniare clasice, aceasta ar
nsemna nite ecuaii redundante. Astfel, dac numrul de ponderi este mai
mic dect numrul de vectori de test, pentru o aproximare corect reeaua
trebuie s se bazeze pe modelele intrinseci din date, modele care se vor
regsi i n datele de test. O regul euristic (Almeida, 1997) afirm c
numrul de ponderi trebuie s fie n jur sau sub o zecime din produsul dintre
numrul de vectori de antrenare i numrul de ieiri. n unele situaii ns
(de exemplu, dac datele de antrenare sunt relativ puine), numrul de
ponderi poate fi chiar jumtate din produs.
Pentru un perceptron multistrat se consider c numrul de neuroni
dintr-un strat trebuie s fie suficient de mare pentru ca acest strat s
furnizeze trei sau mai multe laturi pentru fiecare regiune convex
identificat de stratul urmtor (Dumitrescu, 1999). Deci numrul de neuroni
dintr-un strat trebuie s fie de peste trei ori mai mare dect cel din stratul
urmtor.
Dup cum am menionat, un numr insuficient de ponderi conduce la
sub-potrivire (engl. under-fitting), n timp ce un numr prea mare de
ponderi conduce la supra-potrivire (engl. over-fitting), fenomene
prezentate n figura 5.9. Acelai lucru apare dac numrul de epoci de
antrenare este prea mic sau prea mare.
O metod de rezolvare a acestei probleme este oprirea antrenrii n
momentul n care se atinge cea mai bun generalizare. Pentru o reea
suficient de mare, s-a verificat experimental faptul c eroarea de antrenare
scade n mod continuu pe msur ce crete numrul epocilor de antrenare.
Totui, pentru date diferite de cele din setul de antrenare, se constat c
eroarea scade la nceput pn la un punct n care ncepe din nou s creasc.
De aceea, oprirea antrenrii trebuie fcut n momentul cnd eroarea pentru
setul de validare este minim. Acest lucru se face mprind datele de


92
antrenare n dou: n jur de 90% din date vor fi utilizate pentru antrenarea
propriu-zis iar restul, numit set de validare ncruciat (engl. cross-
validation) este folosit pentru msurarea erorii. Antrenarea se oprete atunci
cnd ncepe s creasc eroarea pentru setul de validare ncruciat, moment
numit punct de maxim generalizare.

Figura 5.9. Capacitatea de aproximare a unei reele neuronale
n funcie de numrul de ponderi

n funcie de performanele reelei n acest moment, se pot ncerca
apoi diferite configuraii, crescnd sau micornd numrul de neuroni din
stratul (sau straturile) intermediar(e).

5.4 Reele bazate pe funcii radiale
n cadrul problemelor de clasificare, o reea bazat pe neuroni cu
funciii de activare din cele prezentate anterior mparte spaiul de decizie n
hiperplane. n acest paragraf vom considera un tip diferit de reele, n care
neuronii au funcii de activare radiale, ceea ce le permite mprirea spaiului
de decizie n hipervolume (sau hipersfere, dac se utilizez metrica
euclidian). La fel ca i perceptronul multistrat, reelele bazate pe funcii
radiale (engl. radial basis function, RBF) pot fi utilizate att n probleme
de clasificare, ct i de aproximri funcionale. Acest tip de reele a fost
introdus de Broomhead i Lowe (1988) i de Moody i Darken (1989).
Topologia unei reele RBF (figura 5.10) este foarte simpl; ea const
dintr-un strat de intrare care retransmite intrarea fr nici o prelucrare, un
strat de neuroni RBF i un strat de ieire format din neuroni prevzui cu
funcii de activare liniare.
Numrul N
2
de neuroni RBF se poate considera n prim instan
egal cu numrul N de exemple de antrenare. Vectorul de ponderi dintre

Reele neuronale

93
vectorul de intrare i neuronul RBF cu indicele j este egal cu vectorul de
intrare al vectorului de antrenare cu indicele j:
j
j
x w = .

Figura 5.10. Reea neuronal RBF

Ieirea neuronului j este atunci:

( )
=
=
N
j
j
ij i
x x w x y
1
) ( o , (5.21)

unde o : R
+
R este o funcie continu monoton descresctoare, este o
norm de distan, x este vectorul de intrare iar x
j
sunt exemplele de
antrenare (Jutten, 1997). n timpul antrenrii se ajusteaz ponderile w
ij
dintre
neuronii RBF i neuronii din stratul de ieire.
De obicei, pentru o se folosete funcia gaussian, astfel nct relaia
5.21 devine:

=

=
N
j
x x
ij i
j
j
w x y
1
2
1
2
2
e ) (
o
. (5.22)

Centrele gaussienelor sunt exemplele x
j
iar deviaiile standard o
j
. n
general, pentru se consider distana euclidian:



94
( )
=
k
j
k k
j
x x x x
2
. (5.23)

Antrenarea se realizeaz prin ajustarea ponderilor w
ij
i a deviaiilor
standard o
j
. De asemenea, ntruct N este uneori foarte mare, ceea ce
genereaz o reea de complexitate excesiv, numrul de neuroni RBF poate
fi redus prin metode supervizate sau nesupervizate, rezultnd o reea
neuronal cu funcii de baz radial generalizat.
Reelele neuronale cu funcii de baz eliptic (engl. elliptical basis
function, EBF) sunt o extensie a reelelor RBF (Girosi, 1992; Mak &
Kung, 2000). Utiliznd distana Mahalanobis (Fisher, 2002), funcia de
ieire a unui neuron este n acest caz:

( ) ( )
=
E

=
N
j
x x x x
ij i
j
j
T
j
w x y
1
2
1
1
e ) ( , (5.24)

unde
j
E este matricea de covarian (Weisstein, 2004) corespunztoare
unui centru j, n care un element este definit ca:

( )( )
p p k k kp
x x u u = E . (5.25)

n capitolele urmtoare, pentru a facilita interpretarea lingvistic a
rezultatelor algoritmului de nvare inductiv, se vor utiliza funcii de baz
eliptic paralel cu axele (engl. axis-parallel elliptical basis functions), n
care matricea de covarian are elemente nenule numai pe diagonal:

=
=
= E
p k
p k
k
kp
, 0
,
2
o
. (5.26)

5.4.1 Echivalena funcional dintre reelele RBF i sistemele fuzzy
Jang i Sun (1993) au demonstrat c reelele cu funcii de baz
radial sunt echivalente din punct de vedere funcional cu sistemele de
inferen fuzzy. Exist cteva restricii minore care trebuie respectate pentru
aceasta:
- numrul unitilor cmpului receptor din reeaua RBF trebuie s fie
egal cu numrul de reguli fuzzy;

Reele neuronale

95
- inferenele fuzzy sunt de tip Takagi-Sugeno iar ieirea fiecrei reguli
fuzzy este compus dintr-o constant;
- funciile de apartenen din fiecare regul fuzzy sunt funcii
gaussiene cu aceeai deviaie standard:
2
2
1
e ) , , (
|
.
|
\
|
=
o
o u
c x
A
c x ;
- operatorul utilizat pentru a calcula puterea de aprindere a fiecrei
reguli este cel de multiplicare;
- att reeaua RBF ct i sistemul de inferen fuzzy folosesc aceeai
metod (sum ponderat sau medie ponderat) pentru a-i deriva
ieirile generale.
Datorit acestui rezultat, este posibil extragerea de reguli
interpretabile fuzzy din reele cu funcii de baz radial (Jin & Sendhoff,
2003).
n mod analog, reelele neuronale cu funcii de baz eliptic paralele
cu axele generalizate sunt echivalente cu numerele fuzzy gaussiene
multidimensionale, cu deviaii standard diferite pe dimensiuni diferite.

5.5 nvarea hebbian
nvarea nesupervizat are ca scop clusterizarea datelor de intrare,
adic gruparea obiectelor similare i separarea celor diferite, n lipsa unor
informaii a priori n acest sens. De cele mai multe ori, reelele neuronale
care utilizeaz aceast paradigm de nvare sunt foarte simple, cu un
singur strat. Neexistnd un instructor, reeaua trebuie s se auto-organizeze
n conformitate cu unele reguli interne ca rspuns la stimulii din mediul
extern.
Una din cele mai plauzibile legi de nvare din punct de vedere
biologic poart numele de nvare hebbian, dup numele
neurofiziologului Donald Hebb (1949). Ideea de baz este modificarea
ponderii unei conexiuni proporional cu produsul intrrii i ieirii conexiunii
respective:

i i
x y w n = A , (5.27)

unde este rata de nvare, y reprezint ieirea conexiunii iar x
i
este o
intrare a acesteia.
Una din problemele nvrii hebbiene este faptul c ponderile pot
crete nelimitat dac intrarea nu este normalizat corespunztor, iar
nvarea nu se termin niciodat. O normalizare foarte eficient a regulii lui
Hebb a fost propus de E. Oja (1982):


96
) (
i i i
w y x y w = A n . (5.28)

Regula lui Oja produce un sistem optim, care maximizeaz
semnalele utile n raport cu zgomotul i care poate fi folosit pentru
extragerea de trsturi. Reeaua poate fi extins pentru M uniti de ieire:

|
|
.
|
\
|
= A
kj
k
i j i ij
w y x y w n , (5.29)

unde:

=
j
j ij i
x w y , i = 1, , M (5.30)

5.6 Harta de auto-organizare a lui Kohonen
Algoritmul (Kohonen, 1995) trateaz mulimea celor m vectori ai
ponderilor ca variabile care trebuie nvate. Este necesar normalizarea
acestora. Acest tip de nvare se mai numete i nvingtorul ia tot,
deoarece la un moment dat este actualizat numai vectorul ponderilor cel mai
similar cu o intrare. Este selectat vectorul w
r
pentru care
i
m i
r
w x w x =
= ,..., 1
min . Indexul r desemneaz neuronul nvingtor, ale
crui ponderi sunt cele mai bune aproximri ale intrrii curente x.
Algoritmul poate fi sintetizat n urmtorii pai:
- Pasul 1: ) (
r r r
w x w w + = n , unde rata de nvare se alege de
obicei ntre 0.1 i 0.7 iar ieirea 1 =
r
o
- Pasul 2: Se normalizeaz vectorii:
r
r
r
w
w
w =
- Pasul 3: Neuronii nectigtori rmn neschimbai: w
i
= w
i
, o
i
= 0,
pentru r i =
La sfritul procesului, vectorii ponderilor indic centrele de greutate
ale claselor descoperite:


Reele neuronale

97

Figura 5.11. Clusterizare

Reeaua poate fi antrenat numai dac clasele sunt liniar separabile
de hiperplane care trec prin origine. Pentru a asigura separabilitatea
acestora, nvarea se poate face cu un numr excesiv de mare de neuroni. n
timpul antrenrii, unii neuroni nu-i vor dezvolta ponderile sau acestea vor
evolua n mod haotic. Ei nu vor fi luai n consideraie la final. Ponderile
celorlali neuroni se vor stabiliza la valorile care indic clusterele.

5.7 Concluzii
Reelele neuronale i dovedesc n principal utilitatea n rezolvarea
unor probleme dificile, cum sunt cele de estimare, identificare i predicie
sau de optimizare complex. Datorit independenei efecturii operaiilor
din interiorul componentelor fa de celelalte componente din sistem,
modelele conexioniste au un potenial mare de paralelism.
Modul de memorare i procesare a datelor difereniaz reelele
neuronale artificiale de programele clasice, care urmeaz instruciunile ntr-
o ordine secvenial predefinit, iar informaia este memorat n zone bine
definite. Datorit capacitii lor de a rezolva probleme complexe pe baza
unei mulimi consistente de exemple, sistemele conexioniste au un spectru
larg de aplicabilitate: de la sisteme de recunoatere de forme (caractere,
semnturi, etc.) sau de semnale sonore, pn la sisteme pentru controlul
unor procese complexe, cum ar fi sistemele de auto-reglare sau piloii
automai.
n acest capitol au fost prezentate caracteristicile principale ale unei
reele neuronale artificiale. Mai nti au fost precizate asemnrile i
deosebirile dintre reelele neuronale i un sistem nervos biologic, insistndu-
se asupra capacitii unei reele neuronale de a nva i nmagazina
cunotine, pe baza unui proces de ajustri ale ponderilor conexiunilor dintre
neuroni. Apoi au fost amintite diverse tipuri de neuroni, cu anumite funcii


98
de activare, precum i arhitecturile cele mai cunoscute de reele. De
asemenea, au fost descrii unii algoritmi de antrenare de nvare
supervizat i nesupervizat.

99
Capitolul VI

SISTEME HIBRIDE NEURO-FUZZY

6.1 Soft Computing
Termenul Soft Computing a fost introdus de Lotfi Zadeh, cu scopul
de a exploata tolerana la imprecizie, incertitudine i adevr parial pentru a
dobndi flexibilitate, robustee, costuri sczute ale soluiilor i o legtur
mai bun cu realitatea (Zadeh, 1995).
Aceast caracteristic l face s difere fundamental de computing-ul
convenional (hard), caracterizat tocmai de lipsa impreciziei i a
adevrurilor pariale. inta final ar fi de fapt egalarea i chiar depirea
performanelor minii umane.
Soft computing-ul se caracterizeaz printr-un parteneriat al mai
multor domenii, dintre care cele mai importante sunt reelele neuronale,
algoritmii genetici, logica fuzzy i raionamentele probabilistice. Relaiile
dintre aceste componente sunt prezentate n figura 6.1.

Figura 6.1. Domeniul Soft Computing

Avnd la baz modelul gndirii umane, soft computing-ul grupeaz
aceste domenii, aflate nu ntr-o relaie de tip concurenial ci una de
complementaritate, n care fiecare partener contribuie cu avantajele i
tehnicile proprii la soluionarea unor probleme imposibil de rezolvat n alt
mod. Astfel, reelele neuronale au capacitatea de a nva i de a se adapta,
logica fuzzy ofer posibilitatea aproximrii, n timp ce algoritmii genetici
pot realiza o cutare sistematizat a soluiei optime.
Situat ntre sistemele de inteligen artificial i computing-ul
convenional, soft computing-ul reprezint problema de rezolvat de o aa


100
manier nct starea curent a sistemului poate fi msurat i comparat cu
starea ce se dorete a fi obinut. Starea sistemului st la baza adaptrii
parametrilor, care ncetul cu ncetul converg ctre soluia optim.

6.2 Utilitatea sistemelor hibride neuro-fuzzy
Fiecare tehnic inteligent are unele proprieti computaionale
tipice (de exemplu, capacitatea de a nva, explicarea deciziilor) care i
confer aplicabilitatea pentru anumite probleme i prezint dezavantaje n
rezolvarea altora. De exemplu, reelele neuronale au avantajul recunoaterii
modelelor, ns nu pot explica satisfctor modul n care au ajuns la o
concluzie. Dimpotriv, sistemele fuzzy pot raiona cu informaii imprecise i
i pot explica raionamentul, dar nu pot achiziiona automat regulile pe care
le utilizeaz pentru luarea deciziilor.
Aceste limitri au fost principalul motiv pentru care s-a ncercat
crearea de sisteme inteligente hibride, n care dou sau mai multe tehnici pot
fi combinate pentru a depi dezavantajele tehnicilor individuale.
Modelarea cu reguli fuzzy, de tip dac-atunci, este n general
potrivit pentru modelarea calitativ. Totui, n multe situaii, datorit
incompletitudinii cunoaterii, inerente unor situaii reale, aceast abordare
se dovedete insuficient. De aceea se face apel la unele metode
conexioniste, cum ar fi reelele neuronale. Sistemele neuro-fuzzy sunt astfel
capabile s nvee din exemple, s generalizeze pe baza cunotinelor
acumulate i, pe baza datelor primite, s sintetizeze cunotine n forma
regulilor fuzzy.
n ultimii ani, sistemele neuronale hibride au suscitat un deosebit
interes. Aceast abordare s-a dovedit ncununat de succes n diferite
domenii, precum diagnoza echipamentelor industriale, robotica sau
controlul proceselor dinamice. Motivul principal al studierii sistemelor
neuronale hibride este crearea de sisteme de reprezentare subsimbolic, n
special a reelelor neuro-fuzzy. Din punctul de vedere al tiinelor cognitive,
reprezentarea neuronal ofer avantajul omogenitii, a capacitii de
nvare prin exemple i a generalizrii, precum i efectuarea de sarcini
distribuite, n medii cu date incomplete sau afectate de zgomote. Din
punctul de vedere al sistemelor bazate pe cunotine, reprezentrile
simbolice au avantajul interpretrii umane, al controlului explicit i al
abstractizrii cunoaterii.
n inteligena artificial, procedeul tradiional este prelucrarea
simbolic. n modelele conexioniste ns, accentul cade pe posibilitile de
nvare. Combinarea celor dou abordri este subiectul de cercetare n
sistemele hibride, cum ar fi sistemele neuro-fuzzy. Modelele conexioniste

Sisteme hibride neuro-fuzzy

101
sunt instrumente puternice de prelucrare a cunotinelor, eficiente mai ales
n situaii n care percepia i reacia sunt fundamentale i unde regulile
explicite nu pot fi aplicate n mod natural sau direct. Totui, nvarea prin
exemple nu este o soluie general, n multe situaii entitile inteligente se
bazeaz pe reguli formulate anterior de experi.
Cele dou abordri pot fi utilizate n mod complementar. Aceasta
este premisa crerii de sisteme hibride inteligente, care combin trsturi
conexioniste (neuronale) i simbolice (fuzzy). n astfel de sisteme, mai nti
se introduc informaii simbolice n reeaua neuronal, apoi se folosesc
exemplele de instruire pentru rafinarea cunotinelor iniiale. n final, se
proceseaz rezultatul pentru un set de intrri i, prin metode specifice, se
extrag informaii simbolice din reeaua antrenat.
Din momentul n care sistemele fuzzy au fost puse n practic n
aplicaiile industriale, proiectanii i-au dat seama de dificultile care
surveneau n mod inerent. Problema gsirii funciilor membre potrivite este
de multe ori o chestiune de generare de valori i ndeprtarea celor eronate.
Aceste soluii sunt greu de gsit, mai ales ntr-un proces industrial dinamic.
De aceea s-a ivit ideea aplicrii algoritmilor de nvare sistemelor fuzzy,
ceea ce a determinat apariia controllerelor fuzzy adaptabile sau cu auto-
organizare.
Sarcinile de lucru complexe pot da natere la minime locale, de
aceea paradigma nvrii prin exemple se poate folosi mai mult pentru
probleme simple. O rezolvare este mprirea problemei n subprobleme,
rezolvate de diferite module neuro-fuzzy. n timp ce logica fuzzy asigur
mecanismele de inferen n cazul incertitudinii cognitive, reelele neuronale
ofer avantajele nvrii, adaptabilitii, toleranei la defecte, paralelismului
i generalizrii.
Sistemele neuro-fuzzy moderne au caracteristici care le fac adecvate
controlului unor procese industriale: sunt sisteme fuzzy instruite printr-un
algoritm de nvare euristic, derivat n general din reele neuronale, pot fi
reprezentate printr-o arhitectur de reea neuronal feed-forward multistrat
i pot fi interpretate n termeni de reguli dac-atunci. Totui, ntr-un sistem
real, pot exista zeci de semnale de intrare. Un numr excesiv de intrri poate
deteriora transparena modelului considerat i crete complexitatea
calculelor. De aceea, este necesar selectarea intrrilor relevante i
considerarea de prioriti.
Din punct de vedere teoretic, sistemele fuzzy i reelele neuronale
sunt echivalente, deoarece sunt inter-convertibile. Hayashi i Buckley
(1994) au demonstrat c:


102
- orice sistem fuzzy bazat pe reguli poate fi aproximat de o reea
neuronal;
- orice reea neuronal (feed-forward multistrat) poate fi aproximat
de un sistem fuzzy bazat pe reguli.
n practic ns, fiecare are avantajele i dezavantajele sale
(Abraham, 2001; Nauck, 1999):
Tabelul 6.1. Comparaie ntre sistemele fuzzy i reelele neuronale
Sisteme fuzzy Reele neuronale
avantaje
- ncorporeaz cunotine predefinite
bazate pe reguli
- Sunt interpretabile (reguli dac-atunci)
- Ofer o implementare simpl
- Cunotinele sunt disponibile n orice
moment
- Pot nva fr nici o informaie iniial
- Exist mai multe paradigme de
nvare, potrivite diverselor situaii
- Exist o multitudine de algoritmi de
nvare disponibili n literatura de
specialitate
dezavantaje
- Nu pot nva
- Trebuie s dispun de reguli stabilite a-
priori
- Nu exist metode formale pentru
ajustarea regulilor
- Sunt cutii negre sub-simbolice
- Nu pot utiliza cunotine a-priori
- Necesit algoritmi de nvare
compleci
- Nu exist garania c nvarea
converge spre soluie
- Prezint dificulti n extragerea
cunotinelor structurale

Sistemele fuzzy prezint n principal avantajul explicrii
comportamentului pe baza unor reguli i deci performanele lor pot fi
ajustate prin modificarea acestora. Totui, achiziionarea cunotinelor este
dificil iar universul de discurs al fiecrei variabile de intrare trebuie divizat
n mai multe intervale i de aceea, aplicaiile sistemelor fuzzy sunt restrnse
la domeniile n care sunt disponibile cunotinele experilor iar numrul
variabilelor de intrare este relativ mic.
Pentru reelele neuronale, cunotinele sunt achiziionate automat
printr-un algoritm (de exemplu, back-propagation), dar procesul de nvare
este relativ lent iar analiza reelei antrenate este dificil (o reea neuronal
este deseori considerat o cutie neagr, n care avem acces numai la intrri
i la ieiri, fr a ti precis ce se ntmpl n interior). Nu este posibil nici
extragerea cunotinelor structurale (reguli) din reeaua antrenat, nici
integrarea de informaii speciale despre problem, pentru a simplifica
procedura de nvare.


103
Utilizarea sistemelor hibride neuro-fuzzy minimizeaz dezavantajele
i maximizeaz avantajele celor dou tehnici. Reelele neuronale sunt
folosite pentru adaptarea funciilor de apartenen ale sistemelor fuzzy n
aplicaiile de control automat al proceselor dinamice. Dei logica fuzzy
permite codarea cunotinelor de tip expert prin termeni lingvistici, de obicei
proiectarea i reglarea funciilor de apartenen care definesc cantitativ
aceti termeni este un demers greoi. Tehnicile de nvare ale reelelor
neuronale pot automatiza procesul i deci pot reduce substanial costul i
timpul de dezvoltare a aplicaiilor, conducnd i la creterea performanelor.
Pentru a depi problema achiziiei cunotinelor, reelele neuronale pot fi
proiectate s extrag automat reguli fuzzy din date numerice. Alte abordri
presupun folosirea reelelor neuronale pentru optimizarea unor anumii
parametri ai sistemelor fuzzy sau pentru preprocesarea datelor de intrare n
sistemele fuzzy (Fullr, 1995).

6.3 Tipuri de hibridizri neuro-fuzzy
n funcie de modul de combinare a modulului simbolic fuzzy cu
modulul conexionist subsimbolic, exist mai multe tipuri de hibridizri, care
vor fi detaliate n continuare.

6.3.1 Reele neuronale fuzzy
O reea neuronal fuzzy (engl. fuzzy neural network, FNN)
reprezint o reea neuronal care dispune de capacitatea de a prelucra
informaii fuzzy.
ntr-o astfel de reea, semnalele de intrare i/sau ponderile
conexiunilor i/sau ieirile sunt submulimi fuzzy sau mulimi de valori de
apartenen la mulimi fuzzy. De obicei, se utilizeaz ca modele termeni
lingvistici precum mic, mediu, mare, numere sau intervale fuzzy
(Mitra & Hayashi, 2000). Structura acestui tip de sistem este urmtoarea
(MacRae & Pickering, 1998):
Se observ c modulele conexioniste implementeaz aici funciile
unui sistem fuzzy. O reea efectueaz fuzzyficarea datelor stricte de intrare,
regulile fuzzy sunt realizate pe baza unei alte reele, iar operaia de
defuzzyficare este ndeplinit de o a treia reea, pentru a furniza datele
stricte de ieire (Azvine, Azarmi & Tsui, 1996).
Reelele neuronale cu neuroni fuzzy intr de asemenea n aceast
categorie deoarece sunt capabile s prelucreze informaii fuzzy. Aceste
tipuri de reele sunt utile n aplicaii de regresie fuzzy (descoperirea de
relaii funcionale ntre date fuzzy), control, rezolvarea ecuaiilor matriceale
fuzzy (folosite n economie) sau clasificare fuzzy.


104

Figura 6.2. Reea neuronal fuzzy

6.3.2 Perceptronul fuzzy
n literatura de specialitate exist o multitudine de abordri cu
privire la implementarea unei reele neuronale fuzzy, chiar ntr-o form
foarte simpl, cea a perceptronului multistrat. Detlef Nauck (1994) a
ncercat o sistematizare a acestor propuneri, rezultnd o arhitectur generic
de perceptron fuzzy, pe care apoi a utilizat-o n sistemul NEFCON (NEural
Fuzzy CONtrol). Ideea central este identificarea unui model care poate fi
iniializat pe baza unor cunotine a-priori i care poate fi antrenat cu
metode specifice reelelor neuronale.
Perceptronul fuzzy are arhitectura unui perceptron multistrat
obinuit, ns ponderile sunt modelate sub forma unor mulimi fuzzy.
Funciile de activare, ieire i propagare sunt modificate n consecin.
Astfel, perceptronul fuzzy cu 3 straturi este definit ca o reea
neuronal feed-forward cu 3 straturi (U, W, NET, A, O, ex) cu urmtoarele
specificaii:
-
} 3 , 2 , 1 { e
=
i
i
U U este o mulime nevid de uniti. } 3 , 2 , 1 { , , e = j i U
i
o
i o =
j i
U U pentru j i = .
1
U se numete strat de intrare,
2
U
strat de reguli (ascuns) iar
3
U strat de ieire;
- Structura reelei (conexiunile) este definit ca: U U W : F(R),
astfel nct exist numai conexiuni ) , ( v u W cu
i
U ue i
}) 2 , 1 { (
1
e e
+
i U v
i
. F(R) este mulimea tuturor submulimilor fuzzy
din R;
- A definete o funcie de activare
u
A pentru fiecare U u e :
o pentru unitile de intrare i ascunse:
2 1
U U u e , :
u
A
RR, ) (
u u u
net A a =
o pentru unitile de ieire:
3
U ue , :
u
A F(R) F(R),
) (
u u u
net A a = ;
- O definete o funcie de ieire
u
O pentru fiecare U u e :


105
o pentru unitile de intrare i ascunse:
2 1
U U u e , :
u
O
RR, ) (
u u u
a O o =
o pentru unitile de ieire: ,
3
U ue :
u
O F(R) R,
) ( ) (
u u u u u
a DEFUZZ a O o = = , unde
u
DEFUZZ este o funcie
potrivit de defuzzyficare;
- NET definete o funcie de propagare
u
NET pentru fiecare U u e ,
care calculeaz intrarea net
u
net :
o pentru unitile de intrare:
1
U u e , :
u
NET RR,
u u
ex net =
o pentru unitile ascunse exist relaiile: ,
2
U u e
u
NET :
(RF(R)) ] 1 , 0 [
1
U
, ) ), , ' ( (
'
'
1
u
U u
u
o u u W T net
e
= , unde T este o
t-norm
o pentru unitile de ieire exist relaiile: ,
3
U u e
u
NET : ([0,
1]F(R))
2
U
F(R), ) )), , ' ( , ( ( ) (
'
'
2
x u u W o T S x net
u
U u
u
e
= , unde
S este o t-conorm;
-
1
:U ex R definete pentru fiecare unitate de intrare
1
U u e ieirea
extern
u
ex u ex = ) ( .
Scopul perceptronului fuzzy nu este fuzzyficarea integral a unei
reele neuronale de tip perceptron i nici modelarea unui sistem de inferen
bazat pe logica fuzzy. Se observ c numai ponderile, intrrile nete i
funciile de activare ale unitilor de ieire sunt reprezentate ca mulimi
fuzzy. Perceptronul fuzzy prezentat mai sus este asemntor cu perceptronul
clasic, utilizat pentru aproximri de funcii. Avantajul su este posibilitatea
de a asocia termeni lingvistici cu ponderile sale fuzzy i astfel, reeaua poate
fi creat parial sau integral pe baza unor reguli fuzzy de tip dac-atunci.
Gsirea unui algoritm de antrenare (supervizat) pentru perceptronul
fuzzy este mai dificil dect n cazul perceptronului clasic neuronal
deoarece funciile de activare ale unitilor sunt definite sub forma unor t-
norme i t-conorme care n general nu sunt difereniabile i deci metoda
gradientului descendent nu poate fi utilizat.
Nauck propune urmtorul algoritm de retro-propagare fuzzy a erorii
(fuzzy back-propagation). Presupunem c ponderile antecedente (dintre
stratul de intrare i cel ascuns)
2 1 ,
, ), , ( U u U u u u W
j i j i j i
e e = u i ponderile
concluzive (dintre stratul ascuns i cel de ieire)
3 2 ,
, ), , ( U u U u u u W
k j k j k j
e e = v sunt modelate sub forma unor numere


106
fuzzy triunghiulare (conform relaiei 1.11). Setul de antrenare conine
modele de forma , ] 1 , 0 [ ] 1 , 0 [ ) , (
) ( ) ( m n p p
t i p e = unde i desemneaz intrrile
n reeaua neuronal fuzzy iar t ieirile dorite. Se iniializeaz eroarea E = 0.
- Pasul 1: Se alege un model p din setul de antrenare care nu a mai
fost ales n cadrul epocii curente de antrenare. Se propag vectorul
de intrare
) ( p
i ;
- Pasul 2: Se calculeaz diferenele
u
o pentru toate unitile
3 2
U U u e :
e
e
=

e
3
2
) ( ) (
3
) ( ) ( ) (
) (
,
, ) sgn(
U v
p
v
p
u
p
u
p
u
p
u
p
u
U u a
U u E o t
o
o
Eroarea fuzzy
2
) ( ) (
) ( ) (
min max
) (
e 1
|
|
|
.
|
\
|
=
p
u
u
p
u
u
p
u
p
u
o o
o t
p
u
E
, unde este un factor de

scalare.
Se actualizeaz eroarea total:
e
=
p U u
p
u
E E
3
) (
;
- Pasul 3: Se determin parametrii care vor fi ajustai pentru ponderile
fuzzy. S presupunem c ponderile antecedente sunt definite de
funcii de apartenen cu centrul c, limita la stnga o = c l i limita
la dreapta . | + = c r Dac aceti parametri pot fi modificai cu rate
de nvare diferite: e
r c l
o o o , , R pentru
k j ,
v i cu e
r c l
n n n , , R
pentru
j i ,
u , atunci:
) (
, , ,
) (
k j k j u l k j
p
l c l
k
= A o o

) (
, , ,
) (
k j k j u c k j
p
l r c
k
= A o o
) (
, , ,
) (
k j k j u r k j
p
c r r
k
= A o o

) (
, , ,
) (
j i k j u l j i
p
l c l
j
= A o n
) (
, ,
) (
j i u u c j i
p
c a c
i j
= A o n
) (
, , ,
) (
k j j i u r j i
p
c r r
j
= A o n
- Pasul 4: Dac
MAX
E E > , E = 0 i se ncepe o nou epoc de
antrenare la Pasul 1.
Ideea care st la baza algoritmului este reglarea parametrilor care
definesc mulimile fuzzy corespunztoare ponderilor. n unele cazuri,
suportul unei mulimi trebuie deplasat la dreapta sau la stnga pentru ca


107
centrul s aproximeze mai bine o anumit valoare, n altele suportul trebuie
mrit pentru a include ct mai multe valori.
Ratele de nvare diferite permit schimbri de mrimi diferite ale
parametrilor. De exemplu, acestea pot fi utilizate dac se doresc numai
deplasri mici ale suportului unei mulimi fa de poziia sa iniial, iar
nvarea trebuie s se fac n principal prin lrgirea sau strmtarea
suportului.
Aceast arhitectur poate fi folosit pentru aproximaii funcionale
pe baza unor eantioane de date, iar sistemul antrenat poate servi pentru
probleme de clasificare, control, etc.

6.3.3 Sisteme fuzzy neuronale
Un sistem fuzzy neuronal (engl. neural fuzzy system, NFS) este un
sistem fuzzy prevzut cu o reea neuronal pentru dezvoltarea unor
caracteristici precum flexibilitate, vitez i adaptabilitate.
Schema bloc funcional a unui astfel de sistem este prezentat n
figura 6.3.

Figura 6.3. Sistem fuzzy neuronal

Cunoaterea de tip expert este convertit mai nti ntr-o form
simbolic (1) i apoi utilizat pentru iniializarea reelei neuronale (2). n
continuare, reeaua este antrenat pe baza intrrilor i ieirilor unui sistem
real (3). Cunotinele obinute din reeaua neuronal (4) sunt prelucrate apoi
ntr-o manier fuzzy pentru determinarea unor reguli de inferen fuzzy,
comunicate n final expertului (5).
Pentru a nelege mai bine funcionarea sa, vom considera un
exemplu. Sistemul poate fi vzut ca un doctor cruia i se predau mai nti
noiuni medicale teoretice n sala de curs. El va folosi aceste cunotine
generale pentru a nelege mai apoi ce se ntmpl cnd i se prezint cazuri
i operaii reale. n final, va fi el nsui capabil s pun n practic cele
nvate.


108
Aceste sisteme sunt potrivite n special pentru achiziia de cunotine
i nvare. Ele pot realiza procesul de inferen fuzzy cu ajutorul ponderilor
conexiunilor reelei care corespund parametrilor raionamentului. Folosind
algoritmi de nvare cum ar fi back-propagation, aceste sisteme pot
identifica reguli fuzzy, pentru ca apoi s nvee funciile de apartenen ale
inferenelor. Un sistem fuzzy neuronal ar trebui, teoretic, s poat nva i
reguli lingvistice sau s optimizeze regulile deja existente. Exist aici trei
posibiliti (Nauck, Klawonn & Kruse, 1997):
- Sistemul nu dispune iniial de nici o regul. El trebui s creeze noi
reguli pn cnd problema de nvare este rezolvat. Crearea unei
reguli noi este determinat de un model de antrenare care nu este
acoperit suficient de baza curent de reguli;
- Sistemul pornete cu toate regulile care pot fi create prin
partiionarea variabilelor. Pe parcursul antrenrii, el elimin regulile
inutile din baza de reguli prin evaluarea perfomanelor acestora;
- Sistemul are iniial un numr fix de reguli. n timpul nvrii,
acestea sunt modificate sau nlocuite printr-un proces de optimizare.

6.3.4 Sisteme hibride neuro-fuzzy
Acestea sunt cele mai studiate sisteme hibride la ora actual.
Sistemele hibride neuro-fuzzy sunt o combinaie de reele neuronale i logic
fuzzy n care ambele tehnici joac un rol cheie: logica fuzzy asigur
structura n care poate fi exploatat capacitatea de nvare a reelelor
neuronale.
Unii autori (Nauck & Kruse, 1998) consider c un sistem neuro-
fuzzy este definit de urmtoarele caracteristici:
- este un sistem fuzzy antrenat printr-un algoritm de nvare
(euristic), derivat din tehnicile specifice reelelor neuronale;
- poate fi reprezentat printr-o arhitectur de reea neuronal feed-
forward;
- poate fi oricnd interpretat n termenii regulilor fuzzy dac-atunci;
- procedura de antrenare ia n calcul semantica modelului fuzzy pentru
a conserva interpretabilitatea sa lingvistic;
- poate realiza (cazuri speciale) de aproximare funcional.
n acest domeniu au fost propuse mai multe modaliti de combinare
a celor dou tehnici (Azvine, Azarmi & Tsui, 1996). n primul rnd, reelele
neuronale pot fi utilizate pentru generarea i reglarea funciilor de
apartenen a sistemului fuzzy (figura 6.4). Sistemele neuro-fuzzy pot avea
arhitecturi de tip serie sau paralel. n figura 6.5 se prezint un sistem neuro-


109
fuzzy n care reeaua neuronal joac rolul de preprocesare.

Figura 6.4. Reglarea neuronal a funciilor de apartenen a unui sistem fuzzy

Figura 6.5. Arhitectur de sistem neuro-fuzzy de tip serie

Utilitatea acestui tip de sistem se evideniaz n situaiile n care
intrarea n sistemul fuzzy nu poate fi legat direct la o ieire a unui senzor.
Apare deci necesitatea ca ieirea senzorului s fie preprocesat de reeaua
neuronal i apoi ieirea reelei s constituie intrarea pentru sistemul fuzzy.
Exist de asemenea i sisteme de postprocesare, atunci cnd ieirea
sistemului fuzzy nu poate fi conectat direct cu echipamente externe. n
acest caz, reeaua neuronal se constituie ntr-o interfa care realizeaz o
mapare care ar fi mai greu realizabil prin tehnici analitice.
n figura urmtoare este schiat un sistem neuro-fuzzy cu o
arhitectur de tip paralel, cu scopul ajustrii ieirii (figura 6.6). Reeaua
neuronal regleaz ieirea sistemului fuzzy pe baza a ceea ce a nvat
despre preferinele personale ale utilizatorului din ajustrile anterioare pe
care acesta le-a efectuat.
Sistemele neuro-fuzzy se bucur de apreciere n mai multe domenii.
Un exemplu notabil este cel al controlului automat, n special aplicaiile
aeronautice i aerospaiale, n care pilotul automat trebuie s simuleze
capacitatea uman de a raiona n diverse situaii (Noor, 1996). Alt exemplu
este cel al recunoaterii trsturilor faciale (Lee, Ham & Park, 1996).
Trsturile sunt identificate i fuzzyficate pentru a le scdea sensibilitatea
fa de variaiile inerente care apar chiar n cazul aceleiai persoane. Aceste


110
caracteristici fuzzyficate sunt apoi introduse ntr-o reea neuronal care
implementeaz procesul propriu-zis de recunoatere.

Figura 6.6. Arhitectur de sistem neuro-fuzzy de tip paralel

6.3.5 Adaptive-Network-Based Fuzzy Inference System (ANFIS)
Sistemul de Inferen Fuzzy bazat pe Reele Adaptive, realizat de
Jang (1993), implementeaz un sistem de inferen fuzzy bazat pe modelul
Takagi-Sugeno, prezentat n paragraful 4.5.2. Arhitectura ANFIS este
structurat pe 5 straturi:

Figura 6.7. Arhitectura ANFIS

Primul strat realizeaz fuzzyficarea datelor de intrare, adic
convertete intrrile stricte x i y n valori ale funciilor de apartenen fuzzy
corespunztoare nodurilor. De exemplu, ieirea nodului A
1
va fi:
) (
1 1
1
x O
A A
u = . Analog, ieirea nodului B
2
va fi: ) (
2 2
1
x O
B B
u = . Pentru acest
model se folosesc n general funcii de apartenen Bell generalizate (relaia
4.16) sau gaussiene (relaia 4.13), care au avantajul c sunt continue i
difereniabile.


111
n al doilea strat (stratul de reguli), se multiplic semnalele de
intrare: . 2 , 1 ), ( ) (
2
= = = i y x w O
i i
B A i i
u u La ieire se poate aplica i o t-
norm asupra produsului. Ieirile nodurilor din acest strat semnific puterile
de aprindere (engl. firing strengths) ale regulilor corespunztoare.
n al treilea strat se face normalizarea puterilor de aprindere, astfel
nct suma acestora s fie 1. Normalizarea este foarte simpl, fiecare semnal
de intrare se divide cu suma total a intrrilor:
2 1
1
3
w w
w
w O
i i
+
= = . Ieirile se
numesc puteri de aprindere normalizate ale regulilor.
Al patrulea strat este un strat de defuzzyficare. Aici se aplic modelul
Takagi-Sugeno, se calculeaz un polinom de ordin nti (o funcie liniar)
de variabilele de intrare i apoi rezultatul este ponderat cu puterile de
aprindere normalizate calculate anterior:
). (
1 1 1
4
i i i i
r y q x p w f w O + + = = Constantele p
i
, q
i
i r
i
sunt parametrii
concluzivi ai sistemului de inferen.
Ultimul strat este format dintr-un singur neuron sumator, care
calculeaz suma ieirilor din straturile de defuzzyficare i produce ieirea
din sistemul ANFIS:
= =
i
i
O O O
4 5
.
nvarea ntr-un sistem ANFIS se bazeaz pe o schem hibrid. Mai
nti, utilizatorul decide numrul de reguli i modul lor de interaciune,
construind astfel cunotinele integrate a-priori despre structura soluiei.
Funciile de apartenen trebuie iniializate astfel nct s mpart ct mai
egal universul discursului i s aib suficiente suprapuneri. n pasul
nainte al antrenrii, se calculeaz ieirile neuronilor pn n stratul 4 iar
parametrii concluzivi (coeficienii funciei liniare) sunt calculai prin metoda
celor mai mici ptrate. n pasul napoi, semnalele de eroare sunt retro-
propagate i se actualizeaz parametrii antecedeni (ai funciilor de
apartenen) prin metoda gradientului descendent.
Baza de reguli trebuie cunoscut a-priori, deoarece ANFIS nu poate
dect s ajusteze funciile de apartenen ale parametrilor antecedeni i
concluzivi. Deoarece este uor de implementat, acest sistem este atractiv
pentru aplicaii. Totui, algoritmul de nvare necesit mari resurse de
calcul, iar modelul are dificulti n privina problemelor de mari
dimensiuni, care implic un mare numr de partiii, reguli i deci parametri
concluzivi, mai ales c fiecrui termen lingvistic i corespunde o singur
mulime fuzzy (Mitra & Hayashi, 2000).



112
6.4 Concluzii
Sistemele fuzzy i reelele neuronale sunt estimatori numerici i n
acelai timp sisteme dinamice, care prezint capacitatea de a dezvolta
inteligena agenilor care acioneaz n medii nesigure, imprecise i afectate
de zgomot. Este i dezideratul domeniului soft computing-ului, care
ncearc simularea performanelor minii umane prin combinarea unor
tehnici precum reelele neuronale, sistemele fuzzy i algoritmii genetici.
Relaia dintre reelele neuronale i cunotinele lingvistice este
bidirecional. De aceea, sistemele de clasificare bazate pe reele neuronale
pot fi antrenate cu date numerice i cunotine lingvistice, iar sistemele de
clasificare fuzzy bazate pe reguli pot fi proiectate cu ajutorul cunotinelor
lingvistice i a regulilor fuzzy extrase din reele neuronale.
Logica fuzzy i modelele conexioniste au necesiti contrastante din
punctul de vedere al aplicaiilor practice. Sistemele fuzzy sunt potrivite
atunci cnd exist suficient cunoatere de tip expert. Reelele neuronale
sunt adecvate dac exist suficiente date disponibile sau msurabile.
Sistemele fuzzy conduc la o abordare calitativ-simbolic, pe cnd reelele
neuronale se preteaz mai ales la o abordare cantitativ-numeric.
Combinarea sistemelor fuzzy cu reelele neuronale conduce la
reducerea i chiar eliminarea dezavantajelor individuale ale celor dou
tehnici. n acelai tip, prin diverse modaliti de hibridizare, se pot pune n
valoare avantajele incontestabile ale acestora: capacitatea de nvare a
reelelor neuronale i reprezentarea explicit, simbolic a cunotinelor prin
intermediul sistemelor fuzzy.
Reelele neuronale fuzzy menin proprietile de baz ale reelelor
neuronale, la care se adaug fuzzyficarea unora din elementele lor
caracteristice pentru a putea prelucra informaii fuzzy. Pentru concretizare,
au fost descrise structura i algoritmul de nvare ale unui perceptron fuzzy.
Sistemele fuzzy neuronale ncearc ajustarea regulilor din sistemul
fuzzy prin metode tipice reelelor neuronale, fr a-i pierde caracteristicile
eseniale (fuzzyficarea, defuzzyficarea, motorul de inferen i fundamentul
logicii fuzzy).
n abordarea hibrid neuro-fuzzy, att tehnicile fuzzy ct i cele
conexioniste joac un rol cheie, fiecare ndeplinind funcii diferite n sistem,
potrivite naturii sale. n aceast categorie intr Sistemul de Inferen Fuzzy
bazat pe Reele Adaptive (ANFIS).

113
Capitolul VII

NVAREA N SISTEMELE MULTIAGENT

7.1 Introducere
ntre noiunea de inteligen i capacitatea de nvare exist o
strns legtur. n general se consider c un sistem inteligent trebuie s fie
capabil s nvee i reciproc, un sistem care nva poate fi considerat
inteligent. Fiind un concept care a suscitat dintotdeauna un mare interes, n
literatura de specialitate exist o multitudine de definiii, considerate din
diferite perspective: biologic, psihologic sau, mai nou, din punctul de
vedere al domeniului nvrii automate (engl. machine learning).
nvarea este o caracteristic general a lumii vii, incluznd
fenomene foarte variate, care implic o gam larg de efectori, receptori,
recepii senzoriale i motivaii, ncepnd cu obinuirea prezent la
organismele cele mai simple i terminnd cu formele cele mai sofisticate ale
memoriei umane.
De aceea, este util s amintim o definiie a nvrii din perspectiv
psihologic (Hildard & Bower, 1975). Astfel, nvarea se refer la
schimbarea din comportamentul unui subiect ntr-o anumit situaie,
determinat de experiene repetate n acea situaie, n cazul n care
schimbarea nu poate fi explicat pe baza tendinelor native, maturizrii sau
strilor temporare (precum oboseala, consumul de substane psihotrope
etc.). Psihologia cognitiv (Zlate, 1999) restrnge aceast definiie la
modificrile comportamentului unui organism care pot fi atribuite
experienei sale senzoriale anterioare. n cadrul acestei definiii, termenii
nvare i memorie nu mai sunt complementari, ca n limbajul comun;
primul desemneaz achiziia unor informaii sau aptitudini practice, n timp
ce al doilea relev pstrarea i evocarea acestora.
Din punctul de vedere al inteligenei artificiale (Sen & Wei, 2000),
nvarea apare ca achiziia de noi cunotine i capaciti motorii i
cognitive i ncorporarea acestora n activiti viitoare, cu condiia ca
achiziia i ncorporarea s fie fcute de sistemul nsui i s conduc la o
mbuntire a performanelor sale.
Indiferent de perspectiva din care este abordat conceptul, trebuie
subliniate cele dou componente principale ale nvrii (Rich, 1983):
- achiziia de noi cunotine;
- integrarea acestora n baza de cunotine a sistemului i deducerea
ulterioar de noi informaii n lipsa faptelor concrete necesare.


114
nvarea automat este unul din domeniile eseniale ale inteligenei
artificiale, ns aplicaiile n inteligena artificial distribuit nu s-au
remarcat dect relativ recent. Aici cercetrile s-au concentrat n special
asupra sistemelor multiagent cu structur i comportament proiectate
detaliat i n consecin necesitatea flexibilizrii prin nvare nu a fost
considerat o prioritate. Pe de alt parte, urmnd tradiia inteligenei
artificiale de a simula funciile intelectului uman, nvarea automat s-a
axat pe o abordare centralizat, n care nvarea era privit ca un proces
izolat n sisteme de sine stttoare, care nu se gseau neaprat n
interaciune cu altele.
Colaborarea celor dou subdiscipline a aprut din necesitatea
echiprii sistemelor multiagent, din ce n ce mai complexe, cu posibiliti de
nvare i a extinderii domeniului nvrii automate pentru identificarea
principiilor care stau la baza proceselor de natur social, att din sistemele
artificiale ct i din cele naturale.
Sisteme multiagent actuale trebuie s acioneze n medii de
dimensiuni foarte mari (de exemplu Internetul), imprevizibile i deci este
practic imposibil codarea a priori a tuturor aciunilor care pot i trebuie
efectuate n diversele situaii care pot aprea n decursul funcionrii. Astfel,
sistemele trebuie s se poat adapta dinamic prin nzestrarea agenilor cu
unele capaciti de nvare. Crescnd performanele individuale, vor crete
i performanele sistemului ca ansamblu.
A doua cauz a creterii interesului pentru nvarea n sisteme
distribuite este nelegerea faptului c un sistem multiagent este mai mult
dect simpla sum a agenilor componeni (este un sistem superaditiv).
Datorit multiplelor interaciuni dintre indivizi, comportamentul adaptiv al
sistemului este o extensie a proceselor de nvare individuale.
Exist deci dou tipuri principale de nvare n sistemele
multiagent:
- nvarea centralizat (izolat), atunci cnd procesul de nvare este
efectual n totalitate de un singur agent, n mod independent, fr a
necesita interaciuni cu ali ageni;
- nvarea descentralizat (interactiv), atunci cnd mai muli ageni
sunt angajai n acelai proces de nvare.

7.2 nvarea cu ntrire
Cercetrile asupra nvrii n lumea vie au relevat faptul c un rol
crucial l deine interaciunea cu mediul. Exersarea legturilor senzorial-
motorii cu mediul nconjrtor produce o mare cantitate de informaii de tip
cauz-efect despre consecinele aciunilor i deciziile potrivite pentru

nvarea n sistemele multiagent

115
atingerea scopurilor. Aceste interaciuni sunt o surs major de cunotine
asupra mediului i a celorlali indivizi. n fiecare moment, suntem contieni
de modul n care mediul reacioneaz la aciunile noastre i cutm s
influenm acest lucru prin propriul nostru comportament. Interaciunea este
cauza fundamental care st la baza tuturor teoriilor despre nvare i
inteligen.
ntr-un sistem multiagent, nvarea cu ntrire (engl. reinforcement
learning) se refer la legturile pe care un agent trebuie s le fac ntre
situaii i aciuni astfel nct s maximizeze un semnal, n general numeric,
numit recompens. Trebuie menionat faptul c acest tip de nvare nu este
definit prin caracterizarea algoritmilor ci a problemei de nvare. Orice
algoritm potrivit unei astfel de probleme este considerat un algoritm de
nvare cu ntrire.
Una din modalitile practice de implementare este cea a reelelor
neuronale, algoritmii putnd fi vzui ca variaiuni ale algoritmului back-
propagation. n acest abordare, nvarea cu ntrire este o clas
intermediar de nvare, unde nu exist un instructor, ca n nvarea
supervizat, ci un critic, care indic nivelul de corectitudine al rspunsului
(de multe ori, el precizeaz doar dac rspunsul e bun sau ru). Sistemul
trebuie s nvee ce trebuie s fac pentru maximizarea recompensei. Nu i se
spune direct ce aciune trebuie s aleag n pasul urmtor, ci trebuie s
descopere singur ce aciuni prezint cel mai mare beneficiu. n cele mai
interesante cazuri, o aciune nu afecteaz numai recompensa imediat, ci i
situaia urmtoare i deci toate recompensele ulterioare. Aceste dou
caracteristici, ncercare i eroare i recompensa ntrziat, sunt cele mai
importante trsturi prin care se distinge nvarea cu ntrire.
Acest tip de nvare se deosebete de nvarea supervizat, care
folosete exemple furnizate de un supervizor extern. Acest model nu este
totui potrivit nvrii pe baza interaciunilor. Deseori, n probleme
interactive sunt dificil de obinut exemple de comportament att corecte ct
i reprezentative pentru toate situaiile n care se poate gsi sistemul. n
situaii de nedeterminare, acesta trebuie s nvee din propria experien.
Ideea de baz este perceperea celor mai importante aspecte ale
problemei reale pe care o ntmpin un agent n interaciunea cu mediul su
nconjurtor pentru a atinge scopul urmrit. Agentul trebuie s poat detecta
starea sistemului ntr-o anumit msur i s poat realiza aciuni astfel nct
s schimbe acea stare. n acelai timp, agentul trebuie s aib unul sau mai
multe scopuri privind starea sistemului.
O problem specific nvrii cu ntrire este compromisul care
trebuie stabilit ntre explorare i exploatare. Pentru a obine o recompens


116
suficient de mare, sistemul prefer alegerea unor aciuni pe care le-a ncercat
anterior i care s-au dovedit eficiente. Dar pentru descoperirea unor
asemenea aciuni, el trebuie s aleag i aciuni pe care nu le-a selectat n
trecut. Sistemul trebuie s exploateze ceea ce tie deja pentru a obine o
recompens, dar trebuie n acelai timp s exploreze posibilitatea gsirii
altor aciuni potrivite pentru viitor. Sistemul trebuie s ncerce o varietate de
aciuni i apoi s le aleag pe acelea care par optime.
O alt trstur esenial a nvrii cu ntrire este faptul c se ia n
considerare problema n ansamblu. Aceasta constrasteaz cu multe abordri
de tip divide et impera care nu studiaz i modul n care subproblemele se
ncadreaz n imaginea general a problemei.

7.2.1 Caracteristici ale nvrii cu ntrire
nvarea cu ntrire prezint o serie de caracteristici de mare
importan:
- tactica agentului;
- funcia recompens;
- funcia valoare;
- modelul mediului.
Tactica (engl. policy) definete modul de comportare al agentului
la un moment dat. Ea se refer la asocierea dintre strile cunoscute ale
mediului i aciunile preferate din acele stri. Aceasta corespunde asocierii
stimul-rspuns din psihologie. n unele cazuri, tactica poate fi aleatorie, o
funcie simpl sau o tabel de cutare, pe cnd n altele poate implica
calcule laborioase, de exemplu un proces de cutare. Tactica este nucleul
comportamentului unui agent care nva prin ntrire.
Funcia recompens definete scopul ntr-o problem de nvare cu
ntrire. Aceasta ascociaz strile (sau perechile stare-aciune) cunoscute cu
un semnal numeric care indic dezirabilitatea strii respective. Obiectivul
agentului este maximizarea recompenselor pe care le primete n timp.
Funcia recompens definete care sunt situaiile bune i rele pentru
agent. ntr-un sistem biologic, putem identifica recompensa cu plcerea i
durerea. Acestea sunt caracteristicile imediate i definitorii ale problemei
cu care se confrunt agentul. Din acest motiv, funcia recompens trebuie
fixat i poate fi folosita ca o baz pentru modificarea tacticii. De exemplu,
dac o aciune selectat de tactic produce o recompens sczut, atunci
tactica poate fi schimbat astfel nct s selecteze o alt aciune n viitor. n
general, funciile recompens pot fi stohastice.
n timp ce funcia recompens indic dezirabilitatea n viitorul
imediat, funcia valoare specific dezirabilitatea pe o perioad mai


117
ndelungat de timp. Valoarea unei stri este recompensa total la care se
poate atepta agentul n viitor, ncepnd cu acea stare i lund n considerare
i strile probabile ce pot aprea dupa aceasta, mpreun cu recompensele
corespunztoare acestor stri. De exemplu, o stare poate implica o
recompens imediat mic, dar poate avea o valoare mare deoarece este
urmat de obicei de alte stri cu recompense mari. Recompensa rezult
dintr-o prelucrare primar, pe cnd valoarea presupune o prelucrare
secundar, superioar. n evaluarea i luarea deciziilor pentru alegerea
aciunilor, valorile sunt cele care conteaz. Scopul agentului nu trebuie s
fie ctigul imediat, ci un ctig ct mai mare n timp. Din pcate,
determinarea valorilor este mult mai dificil dect determinarea
recompenselor. Recompensele sunt semnale directe ale mediului
nconjurtor, pe cnd valorile trebuie calculate sau estimate pe baza
observaiilor pe care le face n mod continuu agentul. Componenta cea mai
important a unui algoritm de nvare cu ntrire este metoda de calcul al
valorii, ntr-un mod ct mai eficient i ct mai corect.
Modelul mediului confer indicii asupra comportrii mediului de
execuie. Dac mediul este previzibil, dintr-o anumit stare i cu o anumit
aciune, agentul poate prevedea care va fi starea urmtoare a mediului i,
implicit, care va fi recompensa aferent. Modelul mediului este utilizat
pentru planificarea aciunilor, adic luarea unor decizii asupra aciunilor n
stri viitoare care nu au fost experimentate nc, dar au fost prevzute. n
faza iniial, sistemele de nvare cu ntrire se bazau doar pe ncercare i
eroare. ncorporarea modelelor pentru mediu este o direcie relativ nou,
determinat de recunoaterea legturii ntre acest tip de sisteme i
programarea dinamic i metodele stare-spaiu de planificare.

7.2.2 Metoda diferenelor temporale
Metoda diferenelor temporare (Sutton, 1988) a avut o contribuie
central i novatoare n dezvoltarea domeniului nvrii cu ntrire, reuind
pe de o parte s determine nvarea din experiena propriu-zis, fr un
model al dinamicii mediului, i pe de alta s actualizeze estimrile valorilor
pe baza altor estimri nvate anterior, fr a atepta rezultatul final.
Mediul de execuie al unui agent poate fi modelat printr-un proces de
decizie Markov, discret n timp, cu stri finite. Acesta este vzut ca o
4-tupl S, A, P, r , unde S este o mulime de stri, A este o mulime de
aciuni, ] 1 , 0 [ : A S S P reprezint probabilitatea de deplasare din
starea s
1
n starea s
2
prin aciunea a, iar A S r : R este o funcie scalar
de recompens.


118
O decizie Markov determinist este una n care tranziiile strilor
sunt deterministe (o aciune realizat n starea x
t
determin ntotodeauna
tranziia ctre aceeai stare succesoare x
t+1
). Alternativ, ntr-un process
Markov nedeterminist, o distribuie de probabilitate definete o mulime de
stri succesoare poteniale pentru o aciune dat ntr-o anumit stare. Dac
procesul de decizie Markov este nedeterminist, este necesar s determinm
aciunea care returneaz valoarea maxim ateptat (suma ncercrilor i
integrala peste toate strile succesoare posibile pentru o anumit aciune).
De exemplu, pentru a gsi valoarea ateptat a strii urmtoare asociat cu o
aciune anume, trebuie s realizm acea aciune de un numr infinit de ori i
s calculm integrala peste toate valorile posibile ale strilor succesoare
pentru aciunea respectiv.
S presupunem c agentul se afl la momentul de timp t i ncearc
determinarea valorilor. La momentul 1 + t , metoda presupune formarea unei
inte i actualizarea valorilor, pe baza recompensei observate
1 + t
r i a
estimrii ) (
1 + t
s V . n varianta TD(0), aceast actualizare este de forma:

)) ( ) ( ( ) ( ) (
1 1 t t t t t
s V s V r s V s V + + =
+ +
n , (7.1)

unde ] 1 , 0 [ e este rata de reducere (engl. discount rate), care determin
valoarea prezent a recompenselor viitoare iar n este constant mic numit
rat de nvare.
Deoarece metoda i bazeaz actualizrile pe estimri deja existente,
spunem c e o metod bootstrap, ca i programarea dinamic. inta este o
estimare fiindc ) (
1 + t
s V
t
nu este cunoscut i n locul su se folosete
estimarea curent ) (
1 + t t
s V . Algoritmul TD(0) pentru estimarea valorii
t
V
este prezentat n continuare (Sutton & Barto, 1998):

se iniializeaz V(s) n mod arbitrar i cu tactica de evaluat;
repet pentru fiecare episod:
iniializeaz s;
repet pentru fiecare pas al episodului:
a = aciunea dat de pentru s;
ndeplinete aciunea a, observ recompensa r i
starea urmtoare s';
V(s) = V(s) + (r + V(s' ) V(s))
s = s' ;
pn cnd s este o stare terminal.



119
Se poate observa cu uurin c n acest caz sunt luate n considerare
numai starea curent i starea urmtoare, sau, dac dorim s efectum o
analiz cauzal, starea curent i starea anterioar.
Pentru ca algoritmul de nvare s fie mai eficient, trebuie s
studiem i stri mai distanate n timp de starea curent. Avem de-a face
astfel cu studiul cilor prin care un agent a ajuns ntr-o anumit stare, n
vederea prediciei modalitilor de aciune viitoare. Definim astfel noiunea
de urm de eligibilitate (engl. eligibility trace) ca fiind o nregistrare
temporar a apariiei unui eveniment, cum ar fi vizitarea unei stri sau
ndeplinirea unei aciuni. Aceast urm indic parametrii de memorie
asociai cu evenimentele drept eligibili pentru a suferi schimbri prin
nvare. Cnd apare o eroare, numai strile sau aciunile eligibile sunt
considerate responsabile. Astfel, urmele de eligibilitate conecteaz
evenimentele i informaiile de antrenare pe parcursul unor perioade mai
lungi de timp.
O variant mai general a metodei diferenelor temporale este TD().
Aici este necesar o variabil suplimentar, care memoreaz urmele de
eligibilitate. Urma de eligibilitate pentru starea s la momentul t se noteaz
e ) (s e
t
R
+
. La fiecare pas, acestea se micoreaz cu , iar urma de
eligibilitate pentru starea vizitat n acel pas este incrementat cu 1:

= +
=
=
t t
t t
t
s s s e
s s s e
s e
, 1 ) (
), (
) (
1
1

(7.2)

pentru toate strile nonterminale s, unde este rata de reducere iar
parametrul de degradare a urmei (engl. trace-decay parameter), care arat
ct de departe n timp privete algoritmul i ct de repede descrete
importana strilor odat cu diferena de timp. n unele cazuri, se pot alege
alte modaliti de a caracteriza viteza de degradare, de exemplu o constant
de timp sau un factor de njumtire. Acest tip de urm de eligibilitate
poart denumirea de urm de acumulare, deoarece crete de fiecare dat
cnd starea este vizitat i apoi scade gradual cnd starea nu mai este
vizitat.
Evenimentele de ntrire care ne intereseaz sunt erori de un pas,
moment cu moment:

) ( ) (
1 1 t t t t t t
s V s V r + =
+ +
o (7.3)



120
Semnalul global de eroare pentru TD() determin actualizri
proporionale pentru toate strile vizitate recent, semnalate de urmele lor de
eligibilitate nevide:

S s s e s V
t t t
e = A ), ( ) ( o n (7.4)

Actualizrile pot fi efectuate dup fiecare pas, ceea ce constituie un
algoritm de nvare online, sau pot fi salvate pn la sfritul episodului,
producnd un algoritm offline. Algoritmul TD() online este descris mai jos
(Sutton & Barto, 1998):

se iniializeaz V(s) n mod arbitrar i e(s)=0 pentru toate strile S s e
iniializeaz s;
a = aciunea dat de pentru s;
starea urmtoare s';
= r + V(s' ) V(s);
e(s) = e(s) + 1;
pentru toate strile s:
V(s) = V(s) + e(s);
e(s) = e(s);
s = s' ;

7.2.3 Q-learning
O mare importan pentru nvarea cu ntrire a avut-o apariia
algoritmului Q-learning (Watkins, 1989). n acest caz, funcia aciune-
valoare nvat, Q, aproximeaz direct funcia optim Q*, independent de
tactica urmat. Acest fapt simplific foarte mult analiza algoritmului i i
crete viteza de convergen. Tactica are totui efect, ntruct determin ce
perechi stare-aciune sunt vizitate i actualizate. S-a demonstrat c
aproximarea discret n timp Q
t
converge cu probabilitatea 1 la Q*.
S presupunem c agentul are o tactic t , care mapeaz starea
curent n aciunile dezirabile din acea stare. Valoarea ateptat ntr-o stare
x, pe baza tacticii t , este:

)
`
=0
,
t
t s
t
r E V
t t
, (7.5)



121
unde
t
t s
r
,
este o variabil corespunztoare recompensei primite de agent la t
pai de timp dup ce ncepe s foloseasc tactica t n starea s.
Se observ c o recompens primit dup k pai de timp are o
valoarea unei recompense imediate nmulite cu
1 k
. Dac 1 < , suma
infinit are o valoare finit, atta vreme ct irul de recompense este
mrginit. Dac 0 = , agentul este interesat numai de maximizarea
recompensei imediate,
t
1 , + t s
r . n general, o astfel de strategie reduce accesul
la recompense viitoare, astfel nct ctigul total poate fi mai mic. Cu ct
se apropie de 1, cu att crete pentru agent importana recompenselor
viitoare.
Algoritmul are ca scop gsirea unei tactici * t care maximizeaz
S s s V e ), (
t
. Tactica de decizie este reprezentat de o funcie

A S Q: R, care estimeaz recompensele reduse pe termen lung pentru
fiecare pereche stare-aciune. Valorile Q sunt definite astfel:

) ( ) , (
;
s V a s Q
a t
= , (7.6)

unde t ; a denot secvena de evenimente determinat de alegerea aciunii a
n starea curent, urmat de alegerea aciunilor bazate pe tactica t .
Aciunea a care trebuie ndeplinit n starea s este selectat astfel nct s
maximizeze recompensa:

S s a s Q s V
A a
e =
e
), , ( max ) (
* * t
. (7.7)

Dac o aciune a n starea s produce o ntrire r i o tranziie ctre
starea s', valoarea Q corespunztoare se modific astfel:

)) , ( ) ' , ' ( max ( ) , ( ) , (
'
a s Q a s Q r a s Q a s Q
A a
+ + =
e
n . (7.8)

Tactica optim pe care trebuie s o urmeze agentul este:

) , ( max arg * a s Q
a
= t . (7.9)

n cele ce urmeaz, este schiat algoritmul Q-learning (Sutton &
Barto, 1998):


122

se iniializeaz Q(s,a) n mod arbitrar;
iniializeaz s;
alege a din s folosind tactica derivat din Q
(de ex.: -greedy);
starea urmtoare s';
Q(s,a) = Q(s,a) + (r + ) ' , ' ( a s Q
a'
max Q(s,a))
s = s' ;

7.3 Ageni concureni
ntr-un sistem multiagent, n care fiecare agent poate interaciona cu
ceilali n diferite moduri, abordarea centralizat a nvrii se dovedete
insuficient. Proiectarea unui astfel de sistem are ca scop o comportare ct
mai performant a ansamblului, care, dup cum am menionat, nu poate fi
determinat numai pe baza comportamentelor adaptive individuale.
Ignorarea acestor aspecte conduce de multe ori la evoluia impredictibil sau
nedorit a sistemului. nvarea n acest caz este un mecanism necesar
pentru selectarea unei aciuni potrivite n condiii de incertitudine.
Cnd un agent este plasat ntr-un sistem multiagent, unele axiome
ale nvrii automate nu mai sunt ndeplinite. Agentul nu mai nva pe
baza unor exemple bine definite dintr-un set determinat de antrenare;
dimpotriv, conceptele sale int (conceptele care trebuie nvate) se
modific permanent, n funcie de dinamica adaptiv a celorlali ageni.
Agentul nu nva doar s rspund ct mai adecvat la schimbrile mediului
de execuie, el trebuie s prevad ntr-o msur mai mic sau mai mare i
evoluia celorlali ageni.
Am vzut c algoritmii de nvare cu ntrire, des utilizai n
domeniul agenilor inteligeni, presupun maximizarea beneficiilor
individuale, a ctigului imediat sau a estimrii unor ctiguri viitoare.
Totui, n cadrul interaciunilor dintre ageni, apar deseori situaii
conflictuale, cnd scopurile participanilor sunt diferite sau chiar opuse, iar
aciunile lor conduc la rezultate diferite pentru agenii implicai.
Cea mai simpl abordare a acestei probleme este proiectarea unor
ageni egoiti, care s ncerce s ctige n fiecare situaie ct mai mult.
Avem de-a face n acest caz cu ageni concureni. O rezolvare mai
interesant este construirea unor ageni cooperani, care s colaboreze
pentru o valorificare ct mai bun a resurselor sistemului. Apar astfel


123
organizaii de ageni n care indivizii adopt roluri potrivite propriilor
capaciti, iar sistemul poate rezolva sarcini pe care, datorit complexitii
sau dificultii, nu le-ar putea rezolva nici un agent de unul singur.

7.3.1 Niveluri de ageni
Datorit interaciunilor dintr-un sistem multiagent, se pune problema
nivelului de complexitate a modelului pe care fiecare agent trebuie s i-l
construiasc despre ceilali ageni. Un model corect l va ajuta s estimeze
aciunile celorlali i s determine cele mai potrivite aciuni pe care el nsui
s le efectueze. Analiza complexitii acestor modele st la baza metodei
modelrii recursive a agenilor (Gmytrasiewicz & Durfee, 1995; Vidal &
Durfee, 1997). Aceast metod abordeaz sistemul multiagent din
perspectiva unui agent individula care ncearc s decid ce aciune
efectoare sau de comunicare trebuie s ndeplineasc n momentul imediat
urmtor. Agentul se presupune c este raional, adic ncearc s-i
maximizeze utilitatea ateptat, n funcie de convingeri. Metoda propune o
reprezentare formalizat a convingerilor agentului despre mediu, a
capacitilor i preferinelor sale, mpreun cu o procedur care opereaz
asupra acestei reprezentri i care indic aciunea raional necesar. Pentru
a lua o decizie, agentul trebuie s tie i ce vor face agenii ceilali, cu o
anumit probabilitate i deci trebuie s modeleze i reprezentarea intern a
acestora. ns i ceilali ageni pot modela participanii din sistemul
multiagent, inclusiv agentul considerat iniial. Acest fapt conduce la o
recursivitate de imbricare a modelelor. Astfel, agenii pot fi mprii pe mai
multe niveluri, n funcie de gradul lor de contien social (engl. social
awareness):
- Agenii de nivel 0 nu modeleaz comportamentul celorlali ageni.
Practic, acetia nu sunt contieni de existena altor ageni n mediu.
Ei nva s aleag o aciune ntr-o anumit stare a mediului numai
pe baza recompensei pe care o primesc dup efectuarea acesteia;
- Agenii de nivel 1 recunosc existena altor ageni n mediul de
execuie i faptul c aciunile acestora le influeneaz propriile
recompense. Ei au i un set de cunotine despre utilitatea unor serii
de aciuni conjugate. Un agent de acest nivel tie, de exemplu, ce
utilitate va avea o aciune a sa, n condiiile n care un alt agent
acioneaz ntr-un anume fel. Prin observarea comportamentului
celorlali, el i construiete modele probabilistice pentru a putea
prevedea aciunile lor viitoare i pentru a putea rspunde n
consecin;


124
- Agenii de nivel 2 consider c toi ceilali ageni din sistem sunt
ageni de nivel 1. Ei i construiesc astfel modele despre modelele
acestora despre ceilali ageni. Un astfel de agent aplic algoritmul
de nivel 1 celorlali ageni pentru a le prezice distribuia de
probabilitate a aciunilor i pentru a selecta astfel propria aciune
adecvat;
- n general, agenii de nivel n consider c toi ceilali ageni sunt
ageni de nivel n1.
Aceast categorizare ajut la estimarea costului computaional al
algoritmilor de nvare automat potrivii pentru o problem dat. Nivelul 0
este cel mai uor de implementat, deoarece necesit nvarea unei singure
funcii, fr cunotine suplimentare. nvarea la nivelul 1 presupune
memorarea aciunilor corecte corespunztoare mulimii de aciuni efectuate
de ceilali ageni. Aceste cunotine trebuie integrate n structura agenilor.
Pentru a exemplifica, vom considera un sistem de comer electronic
studiat de Vidal i Durfee (1998), cu ageni de diferite niveluri. Strategiile
corespunztoare agenilor de nivel 0 i 1 sunt descrise n continuare.
S presupunem c n sistem exist numai ageni de nivel 0. Un
cumprtor de nivel 0 alege un vnztor s* pentru achiziionarea unui bun g
astfel:

) ( max arg *
g
s
g
S s
p f s
e
= , (7.10)

unde S este mulimea vnztorilor iar funcia ) ( p f
g
returneaz valoarea
ateptat de cumprtor pentru bunul g la preul p. Aceast funcie este
nvat prin ntrire:

) , ( ) ( ) 1 ( ) (
1
q p V p f p f
g
b
g
t
g
t
+ =
+
n n , (7.11)

unde este rata de nvare care descrete n timp de la 1 ctre o valoare
final
min
n .
Cumprtorul trebuie s realizeze i un compromis ntre exploatare
i explorare. Astfel, el poate alege un vnztor la ntmplare, cu
probabilitatea , care descrete de asemenea n timp.
Un vnztor s trebuie s vnd un produs g la un pre mai mare sau
egal dect costul su:
g
s
g
s
c p > , iar preul de vnzare este ales altfel nct s-i
maximizeze profitul:



125

) ( max arg
*
p h p
g
s
c p
P p
s
g
s
>
e
= , (7.12)

unde P este mulimea preurilor iar funcia ) ( p h
g
s
returneaz profitul
ateptat de vnztor pentru bunul g la preul p. i n acest caz funcia profit
este nvat prin ntrire:

) ( ) ( ) 1 ( ) (
1
p V p h p h
g
s
g
t
g
t
+ =
+
n n , (7.13)

=
altfel
vinde se g dac c p
p V
g
s g
s
, 0
,
) ( (7.14)

n cazul cnd agenii sunt de nivel 1, strategiile lor se modific. Un
cumprtor de nivel 1 modeleaz fiecare vnztor cu o funcie de densitate
de probabilitate de forma ) (x q
g
s
, unde x reprezint calitile unui vnztor
s care a vndut n trecut un produs g. Cumprtorul va alege un vnztor s*
pentru achiziionarea unui bun g astfel nct s-i maximizeze valoarea
ateptat:

e
e e
= =
Q x
g
s
g
b
g
s
S s
g
s
g
s
g
b
S s
x p V x q
Q
x q p V E s ) , ( ) (
1
max arg ))) ( , ( ( max arg * ,(7.15)

unde Q este mulimea nivelurilor de caliti posibile. Un cumprtor de
nivel 1 nu-i construiete modele i despre ceilali cumprtori.
Un vnztor de nivel 1 modeleaz la rndul su fiecare cumprtor b
al bunuilui g cu o funcie de densitate de probabilitate de forma ) ( p m
g
b
, care
reprezint probabilitatea ca b s aleag preul p pentru bunul g. Vnztorul
trebuie s-i modeleze i pe ceilali vnztori s ai bunului g cu o funcie
) ( y n
g
b
, unde y este preul cerut de s pentru bunul g. Pe baza acestor
informaii, vnztorul va cere un pre care s-i maximizeze profitul ateptat:

I
e
e
=
} { '
) ' , , ' , , , ( ) ( max arg *
s S s
g
s
P p
p p s s b g N c p p , (7.16)



126

s
=
altfel
p m p m dac p n
p p s s b g N
g
b
g
b
g
s
, 0
) ( ) ' ( ), ' (
) ' , , ' , , , (
'
(7.17)

Funcia alege cea mai bun ofert, calculnd pentru fiecare ofert
posibil probabilitatea ca aceasta s ctige licitaia cu un profit ct mai
mare. Probabilitatea de ctig este obinut nmulind probabilitile de a
cere un pre mai mic dect ceilali vnztori. Probabilitatea de a cere mai
puin dect un anumit vnztor este obinut prin sumarea probabilitilor
corespunztoare tuturor ofertelor ale acelui vnztor, pentru care
cumprtorul va prefera oferta vnztorului considerat.
n concluzie, studiile privind agenii de nivel n au artat c un agent
de nivel n va avea ntotdeauna performane superioare ntr-un sistem care
conine ageni de nivel n1. Pe de alt parte, costurile computaionale ale
trecerii pe un nivel urmtor cresc exponenial. Pe msur ce agenii din
sistem i incrementeaz nivelul, ctigurile agentului considerat se
micoreaz. Motivul este faptul c un agent de nivel n poate specula lipsa de
echilibru dinamic al sistemului de ageni de nivel n1. Cnd toi agenii
devin de nivel n, sistemul atinge mai repede o stare de echilibru, aa nct
avantajele gndirii strategice se reduc. n acest caz, este mai comod pentru
ageni s aleag strategia de echilibru, nemaiinnd seama de
comportamentul celorlali ageni. Totui, dac agenii nu mai nva i n
sistem apare un nou agent care nva, acesta va putea profita de situaia
existent. De aceea, agenii din sistem tot trebuie s nvee pentru a pstra
robusteea sistemului, chiar dac nvarea nu mai are rezultate vizibile
(Vidal, 2003).

7.3.2 Echilibrul unui sistem multiagent
Proiectantul unui sistem multiagent trebuie s in seama de faptul
c mediul de execuie este n permanent schimbare i c un agent
individual nu are dect o perspectiv local, limitat, asupra sistemului ca
ntreg. Se pune problema atunci dac s optimizeze configuraia agenilor
individuali, sau s se concentreze asupra eficienei globale a sistemului?
Vom ncerca n cele ce urmeaz s rspundem la aceast ntrebare dintr-o
perspectiv descentralizat, concentrndu-ne asupra instrumentelor teoretice
utile pentru construirea unui sistem multiagent capabil s-i ating scopul
desemnat, n ciuda faptului c este format din ageni concureni, cu scopuri
individuale posibil diferite.
Un element central al unui sistem multiagent dinamic este echilibrul,
adic o mulime de stri n care toi agenii i maximizeaz mpreun


127
utilitatea. O stare de echilibru nu nseamn neaprat o stare n care un
anumit agent individual ctig cel mai mult, ci o stare optim din punct de
vedere colectiv.
Dup cum optimizarea este de fapt o idealizare a comportamentului
unui agent individual (n paragrafele precedente s-au prezentat cteva
metode pentru estimarea beneficiului maxim), la fel i echilibrul este o
idealizare a comportamentului unui sistem multiagent.
Pentru studierea acestui concept vom aminti unele rezultate
valoroase din teoria jocurilor, care pot fi aplicate cu succes i n analiza
sistemelor distribuite de tip multiagent. Un joc poate fi vzut ca o serie de
aciuni (decizii) luate de prile implicate, cu interese diferite, posibil opuse.
n mod formal, se definete (Mor, Goldman & Rosenschein, 1998) un joc
drept o triplet u n G , ,o = , unde:
- n este numrul de juctori (ageni);
- { }
i
o o = , cu i = 1...n i { }
i
M
i i
i
o o o ,...,
1
= , este mulimea de aciuni
disponibile pentru juctorul i;
-
n n
u R o o ... :
1
este funcia de ctig (engl. payoff), care
atribuie fiecrui juctor un numr real reprezentnd ctigul, pentru
orice combinaie a aciunilor tuturor celorlali juctori.
Se poate consta cu uurin apropierea conceptual dintre un joc
definit astfel i un sistem format din ageni concureni. Din aceast
perspectiv, nvarea se concretizeaz n faptul c un agent i schimb
convingerile i deci lanseaz un proces dinamic, care poate duce sau nu la
un comportament de echilibru.
n funcie de complexitatea modelului, distingem dou tipuri
principale de nvare. nvarea mioap presupune un model de nvare
simplu, pe termen scurt. nvarea strategic este mai complex i ia n
calcul echilibrul pe termen lung al sistemului i modeleaz procesul de
nvare al celorlali ageni. nvarea mioap converge ctre un echilibru
prevzut de teoria jocurilor pentru un sistem de ageni raionali cu informaii
complete despre mediul de execuie i despre ceilali ageni. Dei este mai
simplu, n funcie de modul n care este proiectat, s-a constatat c un agent
care utilizeaz nvarea mioap se poate descurca totui acceptabil
mpotriva unui agent bazat pe nvare strategic (Parkes & Ungar, 1997;
Krautwasser, 2002).
Cel mai simplu tip de joc este acela cu o singur mutare, efectuat
simultan de juctori. Toi agenii trebuie s efectueze o aciune, iar aceste
aciuni se desfoar simultan. Fiecare agent primete apoi o recompens
corespunztoare mulimii combinate de aciuni. n jocurile mai complexe,


128
fiecare agent mut pe rnd i primete recompensa la sfritul unei serii de
aciuni. Totui, s-a constatat c multe scenarii reale de sisteme multiagent
pot fi descrise ca secvene de aciuni simultane.
n acest caz, se spune c fiecare agent i alege o aciune
i i
A a e , unde
i
A este mulimea strategiilor agentului i, adic aciunile pe care acesta le
poate efectua. Mulimea tuturor aciunilor selectate de toi agenii este
profilul strategic sau profilul de aciune al jocului:
n
A A A a e ...
1
.
Dup ce toi agenii i aleg o aciune, fiecare agent i va primi o utilitate, pe
baza unei funcii ) (a u
i
.
Pentru a nelege mai bine acest mecanism, s considerm cteva
exemple de sistem n care, pentru simplitate, evolueaz numai doi ageni.
Aceast situaie este deseori reprezentat sub forma unei matrice de
ctiguri (engl. payoff matrix).
Unul dintre cele mai cunoscute jocuri strategice este aa numita
dilem a arestatului (engl. prisoners dillema). Se presupune c doi
suspeci ntr-o crim sunt deinui n celule separate. Exist probe pentru a fi
condamnai pentru o infraciune minor, ns nu pot fi condamnai pentru
crima grav dect dac unul dintre ei depune mrturie mpotriva celuilalt.
Dac amndoi aleg s tac, vor fi condamnai la 1 an nchisoare. Dac
numai unul recunoate, el va fi eliberat i va fi folosit ca martor mpotriva
celuilalt, care va fi condamnat la 5 ani de nchisoare. Dac amndoi
mrturisesc, vor fi condamnai la 3 ani de nchisoare.
Matricea de ctiguri corespunztoare este urmtoarea:

Tabelul 5.1. Matricea de ctiguri pentru dilema arestatului
Agentul 2

Tace (A) Mrturisete (B)
Tace (A) -1, -1 -5, 0
Agentul 1
Mrturisete (B) 0, -5 -3, -3

Funcia de utilitate va avea valori de forma: 1 ) , (
1
= A A u ,
5 ) , (
1
= B A u , 0 ) , (
2
= B A u , 3 ) , (
2
= B B u etc.
Dac de fiecare dat cnd joac, un agent alege o strategie A ae n
mod determinist, avem de-a face cu o strategie pur. Dac agenii introduc
elemente probabilistice n luarea deciziilor, adic folosesc o distribuie de
probabilitate pe mulimea strategiilor, se spune c urmeaz strategii mixte.


129
Pentru matricea de mai sus, o strategie mixt ar putea fi, de exemplu:
agentul i alege strategia A cu probabilitatea de 30% iar strategia B cu
probabilitatea de 70%.
7.3.3 Echilibru Nash
Se pune problema: ce aciune trebuie s aleag cei implicai?
Trebuie s avem n vedere c agenii sunt decideni raionali, deci fiecare va
selecta strategia disponibil optim. ns strategia optim a unui agent
depinde de aciunile celuilalt, astfel nct fiecare trebuie s aib o serie de
convingeri asupra inteniilor adversarului. Singura posibilitate este
observarea comportamentului anterior al acestuia i extragerea unor ipoteze
probabilistice asupra aciunilor sale curente.
Dac presupunem c fiecare agent i alege aciunea raional, n
funcie de convingerile sale corecte despre aciunile celorlali, putem defini
noiunea de echilibru Nash drept o mulime de strategii i ctiguri
corespunztoare, cu proprietatea c nici un agent nu poate beneficia de pe
urma schimbrii strategiei curente ct vreme ceilali ageni i menin
propriile strategii neschimbate.
n mod formal, putem defini aceast noiune dup cum urmeaz
(Osborne, 2001). Fie a un profil de aciune, n care aciunea corespunztoare
agentului i este
i
a . Fie
i
a' orice aciune a agentului i, identic sau diferit de
i
a . Fie ) , ' (
i i
a a

profilul de aciune n care fiecare agent j cu excepia lui i
alege aciunea
j
a specificat de a, n timp ce i alege
i
a' . Fie
i
u funcia de
ctig care reprezint preferinele lui i.
Spunem atunci c un profil de aciune a
*
este un echilibru Nash
dac, pentru orice agent i i orice aciune
i
a a lui i, a
*
este cel puin la fel de
bun din punctul de vedere al lui i ca profilul de aciune ( )
*
,
i i
a a

:

( ) ( )
i i i i i
a a a u a u >

, ,
* *
(7.18)

Dac inegalitatea este strict, atunci vorbim despre un echilibru
Nash strict.
Pentru exemplul anterior, dilema arestatului, constatm c singurul
echilibru Nash este atins atunci cnd ambii mrturisesc.
S presupunem c agentul 1 alege A. Dac agentul 2 alege i el A, se
vede c primul ar ctiga mai mult alegnd B (0 > -1). Dac agentul 2 alege
B, avem aceeai situaie (-3 > -5). n consecin, agentul 1 este n ambele
cazuri motivat s-i schimbe strategia i deci profilurile de aciune (A, A) i


130
(A, B) nu sunt echilibre Nash. Analog, profilul de aciune (B, A) nu poate fi
echilibru Nash, ntruct agentul 2 este motivat s-i schimbe strategia.
Cnd agentul 1 alege B, agentul 2 ctig cel mai mult dac alege tot
B. Se ajunge la o situaie n care nici unul dintre ei nu dorete s-i modifice
strategia. Dac s-ar ntmpla acest lucru, agentul n cauz ar primi -5 n loc
de -3, n condiiile n care cellalt agent continu s joace strategia de
echilibru.
Echilibrul Nash corespunde astfel unei stri stabile a sistemului, n
care nici un agent nu are motiv s aleag o alt aciune dect cea indicat de
strategia de echilibru. Altfel spus, echilibrul Nash este echivalent cu o
norm social, de la care nici un individ nu este ncurajat s devieze, atta
timp ct toi ceilali o respect.
Definiia nu nseamn c un joc strategic are un singur (sau cel mult
un) echilibru Nash. Exist jocuri cu un singur echilibru Nash, cu mai multe,
sau fr nici unul.
S considerm jocul numit btlia sexelor (engl. battle of the
sexes): Ion i Maria vor s ias mpreun; Ion vrea s mearg la un meci de
fotbal, iar Maria la oper. Din pcate, lui Ion nu i place prea mult opera, iar
pe Maria nu o intereseaz fotbalul. Matricea de ctiguri corespunztoare
este:

Tabelul 5.2. Matricea de ctiguri pentru btlia sexelor
Maria

Meci (A) Oper (B)
Meci (A) 2, 1 0, 0
Ion
Oper (B) 0, 0 1, 2

Aceast situaie are dou stri de echilibru Nash: (A, A) i (B, B).
Chiar dac au gusturi diferite, fiecare prefer s mearg la un eveniment
care nu l pasioneaz dect s nu fie mpreun cu cellalt. Aici se poate
vedea importana nvrii strategice. De exemplu, considernd c Ion
dorete i el s-i nvee strategia, Maria poate ncerca s-i influeneze
convingerile, pentru a-l determina s urmeze strategia dorit de ea. ntr-un
joc iterat, ea poate alege necondiionat B pentru o anumit perioad, chiar cu
preul unei recompense 0, pentru a-l determina pe Ion s joace i el B.
Exist i jocuri n care nu exist nici un echilibru Nash, de exemplu
aa-numitul joc de potrivire a monedelor (engl. matching pennies).
Altfel spus, este un joc pur conflictual, cu urmtoarele reguli: dou persoane
decid simultan s arate capul sau pajura unei monede. Dac amndoi arat
aceeai fa, persoana a doua i pltete primeia 1$. Dac arat fee diferite,


131
prima i pltete 1$ celei de-a doua. Jocul poate fi reprezentat prin
urmtoarea matrice:

Tabelul 5.3. Matricea de ctiguri pentru potrivirea monedelor
Agentul 2

Cap (A) Pajur (B)
Cap (A) 1, -1 -1, 1
Agentul 1
Pajur (B) -1, 1 1, -1

Se observ uor c interesele agenilor sunt diametral opuse: prima
persoan dorete s adopte aceeai aciune ca persoana a doua, iar aceasta
vrea la rndul ei s selecteze aciunea opus.
ntr-o asemenea situaie, alegerea unei strategii mixte d rezultate
superioare la nivelul analizei sistemului. S-a demonstrat c un sistem n care
sunt permise strategii mixte are ntotdeauna cel puin un echilibru Nash.
Aceste strategii sunt binevenite i n situaiile n care agenii nu doresc s-i
dezvluie direct modul de aciune; modelarea unui comportament bazat pe
probabiliti este mai complex, ceea ce determin un efort computaional
mai mare din partea adversarilor.

7.3.4 Jocul fictiv
ntr-un sistem multiagent real, ca i ntr-un joc, agenii nva i se
comport dup un anumit algoritm. n acest context, se dorete analiza
modului n care sistemul va ajunge la echilibru, indiferent de mecanismele
de nvare specifice utilizate. Un model foarte studiat este cel al jocului
fictiv (engl. fictitious play).
Aceast metod utilizeaz o form simpl de nvare: un agent
memoreaz toate aciunile celorlali i i construiete o distribuie de
probabilitate pentru strategiile adversarilor. S considerm din nou cazul cu
doi juctori, i i j. Agentul i are o funcie pondere,
j i
A k : R
+
, care se
modific n timp, pe msur ce agentul nva. Valoarea funciei la un
moment de timp t,
t
i
k , numr de cte ori j a selectat o anumit aciune.
Dac la momentul t, j selecteaz aciunea
t
j
a , i i actualizeaz funcia
pondere astfel:

=
=
+ =
+
j
t
j
j
t
j
j
t
i j
t
i
a a dac
a a dac
a k a k
, 0
, 1
) ( ) (
1
(7.19)



132
Cu ajutorul acestei funcii, agentul i poate calcula probabilitatea ca j
s aleag o anumit aciune
j j
A a e :

e
=
j j
A a
j
t
i
j
t
i
j
t
i
a k
a k
a P
'
) ' (
) (
) ( . (7.20)

Fudenberg i Kreps au artat (1990) c dac jocul fictiv converge la
o strategie pur, atunci aceasta este un echilibru Nash. De asemenea, dac
sistemul se afl ntr-un echilibru Nash strict la momentul t, atunci el va
rmne n cadrul aceluiai profil de aciune la toate momentele de tipm
ulterioare t t > ' . Demonstraia acestui fapt este destul de simpl: dac toi
agenii urmeaz acelai profil de aciune, va crete probabilitatea acestei
strategii. Prin urmare, un anumit agent va fi din ce n ce mai sigur c
adversarii vor alege strategia respectiv i rspunsul su raional este s
urmeze i el acelai profil de aciune.
Trebuie menionat totui c presupunerea din metoda jocului fictiv,
conform creia agenii nu ncearc s influeneze viitorul sistemului nu este
foarte corect, deoarece fiecare agent consider c ceilali ageni, spre
deosebire de el nsui, nu sunt adaptivi i au o distribuie staionar a
strategiilor.

7.3.5 Dinamica replicatorului
Un alt model de nvare este dinamica replicatorului (engl.
replicator dynamics). Acesta presupune c proporia agenilor care aleg o
anumit aciune crete sau scade n funcie de rezultatele pe care aciunea
respectiv le-a avut asupra populaiei de ageni. Se consider c sistemul
este format din ageni omogeni.
Fie ) (a
t
o numrul de ageni care folosesc strategia a la momentul t.
Proporia lor n populaia total este:

e
=
A a
t
t
t
a
a
a
'
) ' (
) (
) (
o
o
u (7.21)

Utilitatea ateptat de un agent i care alege a va fi:

e
=
A a
t t
a a u a a u
'
) ' , ( ) ' ( ) ( u , (7.22)


133

unde ) ' , ( a a u
i
reprezint utilitatea primit de agentul i care alege a n
interaciune cu un agent j care alege ' a . Rata de replicare pentru fiecare
agent este proporional cu modul n care s-a comportat n pasul anterior:

)) ( 1 )( ( ) (
1
a u a a
t t t
+ =
+
o o . (7.23)

Dac o strategie aduce o utilitate pozitiv, ea va fi urmat de un
numr din ce n ce mai mare de ageni. n mod analog, aciunile incorecte,
cu utilitate negativ, vor fi abandonate progresiv de ageni.
Pentru a analiza evoluia sistemului, putem considera fraciunea din
populaia de ageni care alege fiecare strategie ca fiind o strategie mixt
pentru joc. Sistemul este n echilibru Nash dac fraciunea din populaie
care alege o strategie este egal cu probabilitatea ca acea strategie s fie
selectat n starea de echilibru Nash. n cazul unei strategii pure, echilibrul
Nash presupune c toi agenii aleg aceeai aciune.
ntr-un sistem multiagent real, ns, se poate considera c toi agenii
ar trebui s aleag direct strategia optim din pasul anterior, i nu
proporional cu rezultatele anterioare. Totui, convergena dinamicii
sistemului ctre echilibrul Nash ilustreaz importana acestui concept ca
atractor al dinamicii agentului care nva (Vidal, 2003).

7.4 Ageni cooperani. Apariia coaliiilor
n paragraful anterior am prezentat sisteme formate din ageni
concureni, care i urmresc n mod egoist propriile interese. Se pune
problema dac aceast filosofie comportamental este ntr-adevr optim n
orice situaie. S revedem celebra dilem a arestatului. Am demonstrat c
echilibrul Nash al sistemului este atins cnd ambii acuzai se comport
raionat i mrturisesc crima, primind fiecare 3 ani de nchisoare. ns este
evident c rezultatul cel mai bun pe care l-ar putea obine ar fi dac,
dimpotriv, amndoi ar tcea i ar primi fiecare un singur an de nchisoare.
Acest lucru ar presupune ca agenii s coopereze, adic nici unul s nu-l
trdeze pe cellalt, chiar dac posibilitatea eliberrii este mai atrgtoare.
Implicaiile sociale ale dilemei sunt evideniate mai pregnant n
contextul generalizrii problemei la un sistem cu mai muli ageni
participani. Un astfel de exemplu este aa-numita tragedie a terenului
comunal (engl. tragedy of the commons). Fiecare membru al unui grup
de fermieri prefer s-i lase vaca s pasc pe terenul comunal, dect pe
propriul teren. Totui, dac prea multe vaci pasc pe terenul comunal, toat


134
iarba va fi mncat iar terenul nu va mai putea fi folosit de nimeni. n
general, aceast situaie reflect o chestiune socio-economic fundamental,
legat de exploatarea unei resurse limitate.
O problem similar este dilema voluntarului. Un grup are nevoie
de unul sau mai muli voluntari, care ar putea muri n misiune. Bineneles
c restul grupului va avea de ctigat de pe urma lor. Dac ns nu se ofer
nimeni ca voluntar, tot grupul va suferi.
Putem trage concluzia c exist un beneficiu social pe care l
primesc toi membrii grupului dac suficient de muli membri pltesc un
anumit cost. Matricea de ctiguri pentru un agent individual va fi
urmtoarea (Kuhn, 2001):

Tabelul 5.4. Matricea de ctiguri pentru dilema voluntarului, cazul multiagent
Ceilali ageni
Numrul de ageni
cooperani m s
Numrul de ageni
cooperani > m
Cooperare C B C
Un agent
individual
Individualism 0 B

Costul (C) este un numr negativ, iar beneficiul (B) este un numr
pozitiv, astfel nct:

C C B B > > > 0 . (7.24)

Ca i n varianta cu doi ageni, tentaia este de a primi beneficiul fr
a plti vreun cost, ns ctigurile cele mai mari se obin prin cooperare.
Este ilustrat astfel conflictul dintre raionalitatea individual i cea colectiv.
S-a vzut c echilibrul Nash este stabil n condiiile n care un singur
agent ar vrea s urmeze o strategie diferit. Totui, dac doi sau mai muli
ageni ncep s coopereze i gsesc o strategie mai bun pentru ei, sistemul
nu mai rmne n echilibru. Aceasta nseamn c echilibrul Nash nu este
stabil dac este permis apariia coaliiilor.
Definim echilibrul Nash Pareto optim (Kokesen & Ok, 2003) al
unui joc strategic ca fiind orice echilibru Nash ) ,..., (
* *
1
*
n
a a a = , astfel nct
nu exist alt echilibru Nash ) ,..., (
* *
1
*
n
b b b = cu:

n i b u a u
i i
... 1 ), ( ) (
* *
= < . (7.25)



135
O situaie de echilibru Nash Pareto optim ntr-un joc cu doi ageni
este foarte interesant, deoarece juctorii nu mai au motivaie s devieze nici
individual (dup cum cere echilibrul Nash), nici mpreun (dup cum cere
optimalitatea Pareto).
Considernd problema nvrii ntr-un sistem multiagent, prin
analogie cu societatea uman i chiar cu organizarea social a unor fiine
inferioare, este clar c un agent nu ar trebui s nvee totul pornind de la
zero, numai pe baza propriei experiene. El poate primi direct informaii de
la ceilali ageni din sistem i poate transmite la rndul su informaii. Cnd
o sarcin este prea complex pentru a fi rezolvat de un singur agent, o
soluie logic este cooperarea mai multor ageni pentru soluionarea
problemei.
n continuare, vom prezenta unii algoritmi care descriu modalitile
de apariie i disoluie a grupurilor n sisteme multiagent, de coordonare a
aciunilor ntre membrii unui grup i de specializare pe roluri a agenilor.

7.4.1 Algoritmul DFG
Algoritmul DFG (Disoluia i Formarea Grupurilor, Wei, 1994)
formalizeaz dou procese inerente nvrii distribuite: atribuirea
meritului, adic aproximarea relevanei activitilor agenilor i grupurilor
de ageni din punctul de vedere al scopului sistemului i dinamica
grupurilor, adic formarea de noi grupuri i dizolvarea unora mai vechi.
Scopul algoritmului este de a permite coordonarea aciunilor agenilor n
sistemul multiagent considerat.
Se consider c un grup const dintr-un conductor i mai muli
membri. Un conductor este reprezentat de un agent individual, pe cnd
membrii grupului pot fi att ageni individuali, ct i alte grupuri. Membrii
unui grup trebuie s aib activiti compatibile, adic aciunile unui agent nu
trebuie s provoace schimbri n mediul de execuie care s impieteze
asupra activitii altui agent din grup. Sarcina conductorului de grup este s
reprezinte interesele grupului respectiv; de exemplu, dac grupul s rmn
o structur organizaional autonom, dac s coopereze cu alt grup sau s
se dizolve.
n mare, funcionarea unui sistem multiagent deriv din execuia
repetat a urmtoarelor faze de lucru:
- Selectarea activitii: Agenii i grupurile verific posibilitatea de a
deveni activi (adic de a ndeplini o aciune) n starea curent a
mediului. Pe baza relevanei scopurilor lor, agenii concureaz
pentru dreptul de a-i ndeplini aciunile. Ctigtorul i efectueaz
aciunea i modific n consecin starea mediului de execuie;


136
- Atribuirea meritului: Agenii i grupurile i ajusteaz estimrile
asupra relevanei scopurilor prin atribuirea meritului sau vinei
corespunztoare rezultatului unei aciuni;
- Dinamica grupurilor: Grupurile existente care nu contribuie la
atingerea scopului sistemului se dizolv, iar agenii i grupurile care
doresc s coopereze formeaz grupuri noi.
Pentru prezentarea formal a algoritmului, vom utiliza urmtoarele
notaii. Fie S mulimea strilor mediului. Fie
i
U o unitate organizaional a
sistemului multiagent, reprezentat fie de un agent individual, fie de un
grup. Dac
i
U sugereaz un grup, vom nota cu
i
U conductorul grupului.
Dac
i
U este un singur agent,
i i
U U = . Dac un grup
i
U are n membri,
atunci vom scrie:
in i i
U U U ,...,
1
= . Fie ] , [
j i
S U contextul de activitate al
unitii
i
U n starea
j
S a mediului de execuie, adic informaiile pe care le
deine unitatea despre starea respectiv.

Selectarea activitii
n fiecare stare a mediului
j
S , unitile organizaionale sunt n
competiie pentru activare. Mai nti, conductorul grupului selecteaz
unitile potenial active i autonome. Un agent este potenial activ dac ar fi
capabil s ndeplineasc o aciune. n ceea ce privete termenul autonom,
el trebuie privit strict n contextul organizrii unui sistem multiagent; din
punctul de vedere al autorului, un agent (sau un grup) este autonom dac nu
este membru al unui grup potenial activ.
Trebuie s facem aici o mic parantez. Considerm c alegerea
acestui termen este oarecum nefericit, ntruct poate provoca o confuzie. S
ne amintim c unul din atributele definitorii ale unui agent, n general, este
autonomia, adic posibilitatea ca agentul s opereze ca un proces de sine
stttor i s dein controlul asupra aciunilor i strii sale interne. Din
aceast perspectiv general, toi agenii sunt autonomi. Pentru a respecta
totui terminologia autorului, n prezentarea algoritmului vom utiliza
noiunea de autonomie n sensul su restrns descris anterior.
Aadar, dup selecia unitilor, conductorul grupului face o ofert:

j
i
j
i
j
i
E E B + = | o , (7.26)

unde este o constant mic numit factor de risc, este un numr
aleatoriu mic numit factor de zgomot, iar
j
i
E este o valoare scalar numit


137
estimare. Primul termen al adunrii reprezint partea determinist, adic
fraciunea din
j
i
E pe care conductorul este dispus s o rite pentru ca
grupul s devin activ. Al doilea termen, partea stohastic, introduce zgomot
n ofert pentru evitarea minimelor locale.
j
i
E este estimarea relevanei
scopului lui
i
U n contextul de activitate ] , [
j i
S U . Prima dat cnd
i
U este
potenial activ n
j
S ,
i
U iniializeaz
j
i
E cu valoarea de iniializare
predefinit
init
E .
n final, este determinat unitatea cu cea mai bun ofert:

} { max arg
j
k
k
B i = , (7.27)

care este declarat ctigtoarea competiiei i creia i se permite s devin
activ.

Atribuirea meritului
Fie
i
U unitatea ctigtoare n starea curent
j
S i
k
U unitatea
ctigtoare n starea anterioar,
l
S . Acest lucru nseamn c la un moment
dat mediul era n starea
l
S ,
k
U a devenit activ i a provocat trecerea
mediului ntr-o nou stare
j
S .
Atribuirea meritului se realizeaz pe baza ajustrii colective a
estimrilor
j
i
E .
i
U i reduce estimarea cu partea determinist, pe care i-o
paseaz lui
k
U :

j
i
l
k
l
k
j
i
j
i
j
i
E E E
E E E
+ =
=
o
o
(7.28)

Aceste cantiti sunt recompense interne. n plus, dac activitatea
unitii
i
U conduce la o nou stare cu o recompens extern (ntrire),
i
U
adaug recompensa respectiv la estimarea
j
i
E .
n mare, n irul de uniti ctigtoare, fiecare unitate pltete o
recompens intern predecesorului i primete o recompens de la succesor
i, posibil, de la mediu. Astfel, estimarea relevanei scopului unei uniti
crete dac primete mai multe recompense dect d la rndul su i
descrete n caz contrar. De asemenea, o schimbare de estimare se propag


138
n timp ctre predecesori, ceea ce conduce la stabilizarea irului de uniti
ctigtoare atunci cnd ultima unitate din ir primete n mod regulat
recompense externe i la dezintegrarea irului, altfel.

Dinamica grupurilor
Dinamica grupurilor include dou mari categorii de procese:
formarea i dizolvarea grupurilor, care se bazeaz pe o serie de principii
generale:
- la nceput, fiecare agent i fiecare grup nou creat se comport n mod
egoist i nu dorete s coopereze;
- un agent (sau un grup) nu dorete s coopereze atta vreme ct
estimarea relevanei scopului su tinde s creasc;
- un agent (sau un grup) dorete s coopereze dac estimarea
relevanei scopului su tinde s stagneze;
- agenii i grupurile compatibile care doresc s coopereze formeaz
noi grupuri;
- un grup se dizolv n membrii componeni dac estimarea relevanei
scopului su devine prea mic.
Din punct de vedere practic, pentru a putea decide asupra apariiei
sau disoluiei unor grupuri, fiecare
i
U calculeaz valorile medii ale
estimrilor din episoadele precedente, unde un episod reprezint intervalul
de timp dintre dou recompense externe de ntrire ale mediului. n fiecare
episod 1 + t ,
i
U evalueaz valoarea medie glisant a estimrii sale:

+ =
= +
t
v t
v
t
1
] [
1
] 1 [
T
j
i
j
i
T E M , (7.29)

unde este o constan numit dimensiunea ferestrei glisante, iar ] [T E
j
i

este valoarea lui
j
i
E la sfritul episodului T.
Vom considera n continuare problema formrii grupurilor. n starea
mediului
j
S i n episodul curent 1 + t , pentru fiecare unitate
i
U , potenial
activ i autonom, conductorul decide dac este gata s coopereze i s
formeze un nou grup cu alte uniti dac:

] [ ] 1 [ v t o t s +
j
i
j
i
E M , (7.30)



139
unde este o constant numit factor de cooperare, care indic uurina cu
care o unitate este gata s formeze noi grupuri. Semnificaia inegalitii este
urmtoarea: unitatea decide s coopereze dac estimarea sa crete prea lent,
stagneaz sau descrete.
Unitile care doresc s coopereze formeaz noi grupuri n funcie de
propriile estimri. Fie ' U mulimea unitilor care vor s coopereze n
j
S .
Algoritmul de formare a noilor grupuri este urmtorul:

repet pn cnd o = ' U :
fie ' U U
i
e o unitate astfel nct } ' : { max
l
U U E E
l
j
l
j
i
e = ;

i
U trimite o ofert de cooperare celorlalte uniti;
pentru fiecare ' U U
l
e compatibil cu
i
U :

l
U trimite un rspuns de cooperare lui
i
U ;
fie ' U U
r
_ mulimea unitilor care rspund;

i
U alege unitatea
r
k
U U e cu o probabilitate proporional cu
j
k
E ;

i
U i
k
U formeaz un nou grup,
cu membrii
i
U i
k
U i conductorul
i
U sau
k
U ;
} , { ' '
K i
U U U U = .

Se observ c algoritmul ia n considerare formarea de grupuri din
numai doi membri. Totui, el poate fi extins cu uurin dac lui
i
U i se
permite s aleag mai muli parteneri de cooperare.
Disoluia grupurilor va fi discutat n cadrul acelorai ipoteze: fie
j
S starea mediului i 1 + t episodul curent. Pentru fiecare unitate
i
U ,
potenial activ i autonom, conductorul decide dac grupul trebuie s se
dizolve n membrii componeni atunci cnd:

init j
i
E M s + p t ] 1 [ , (7.31)

unde este o constant numit factor de disoluie, care influeneaz
robusteea grupurilor existente, iar
init
E este valoarea cu care se iniializeaz
estimrile.
Aceasta nseamn c un grup se dizolv dac media estimrii sale pe
mai multe episoade scade sub un nivel minim permis. Condiia de
autonomie asigur faptul c un grup nu se poate dizolva ct vreme este
membru al altui grup.


140
Trebuie menionat c procesele de dinamic a grupurilor depind n
mare msur de contextul problemei i nu necesit schimburi de informaii
despre mediu ntre unitile organizaionale.

7.4.2 nvarea rolurilor ntr-o organizaie
O problem important a sistemelor multiagent eterogene este modul
n care agenii cooperani nva s adopte roluri specifice n anumite
situaii. Se presupune c fiecare agent poate ndeplini mai multe roluri, iar la
un moment dat, n funcie de condiiile existente, el va alege s joace un
anume rol. Scopul nvrii este n acest caz selectarea celui mai potrivit rol
ntr-o stare dat a sistemului (Nagendra Prasad, Lesser & Lander, 1996).
Rezolvarea se bazeaz pe utilizarea estimrilor de utilitate,
probabilitate i cost (UPC) pentru un rol adoptat ntr-o anume situaie.
Utilitatea este estimarea agentului asupra beneficiului strii finale dorite.
Probabilitatea se refer la ansele ca starea final s fie atins cu succes.
Costul reprezint efortul computaional depus n acest scop. n plus, se mai
memoreaz pentru fiecare rol potenialul de a descoperi informaii i
constrngeri globale pertinente.
Fie
i
S mulimea situaiilor pentru un agent i, iar
i
R mulimea
rolurilor pentru acelai agent. Acesta memoreaz maximum
i i
R S vectori
de valori UPC i de potenial O pentru descrierea estimrilor rolurilor n
diverse situaii. n timpul fazei de nvare, probabilitatea ca agentul s
selecteze un rol r ntr-o situaie s este:

e
=
i
R j
js js js js
rs rs rs rs
O C P U f
O C P U f
r P
) , , , (
) , , , (
) ( , (7.32)

unde f este o funcie obiectiv care evalueaz rolul pe baza factorilor
memionai mai sus.
nvarea acestor valori se realizeaz cu metode de nvare cu
ntrire. Problema este rezolvat n mod repetat, pentru actualizarea
progresiv a estimrilor valorilor dorite cu o rat de nvare , astfel nct
1 0 s sn . Fie
m
rs
m
rs
m
rs
O P U

,
estimrile utilitii, probabilitii i potenialului

rolului r n situaia s dup m actualizri. Fie ' S mulimea situaiilor ntlnite
din momentul adoptrii rolului r n s i momentul atingerii unei stri finale
dorite
f
s .
Valorile de utilitate vor fi actualizate dup cum urmeaz:


141

f
s
m
rs
m
rs
U U U + =
+
n n

) 1 (
1
. (7.33)

Fie o funcie } 1 , 0 { ' : S G care returneaz 1 dac starea dat s-a
atins cu succes i 0 n caz contrar. Atunci actualizarea valorilor de
probabilitate este:

) (
) 1 (
1
f
m
rs
m
rs
s G P P + =
+
n n . (7.34)

Fie ) ' (S H o funcie care returneaz 1 dac n drumul spre starea
final sunt detectate conflicte ntre ageni, urmate de schimburi de informaii
pentru rezolvarea lor, i 0 n caz contrar. Actualizarea valorilor de potenial
va fi de forma:

) ' (
) 1 (
1
S H O O
m
rs
m
rs
+ =
+
n n . (7.35)

Aceste actualizri sunt efectuate pentru toate rolurile alese n fiecare
din situaiile ' S ntlnite n drumul ctre starea final.
Dup ncheierea fazei de nvare, un anumit rol ntr-o situaie dat
este ales n mod determinist:

) , , , ( max arg
js js js js
R j
O C P U f r
i
e
= . (7.36)

Trebuie precizat faptul c valorile de cost i funcia f depind de
domeniul problemei. De exemplu, Nagendra Prasad, Lesser i Lander
(1996), folosesc pentru nvarea rolurilor de organizare ntr-o problem de
proiectare a unui condensator de aburi funcii de evaluare care ignor costul:
O P U O C P U f + = ) , , , ( i P U O C P U f = ) , , , ( .

7.5 Concluzii
n acest capitol a fost definit mai nti noiunea de nvare din
punctul de vedere al mai multor tiine, dup care s-au prezentat
caracteristicile celor dou tipuri principale de nvare n sistemele
multiagent: centralizat i descentralizat. Datorit rolului important pe care
l ocup n proiectarea sistemelor bazate pe ageni, nvarea cu ntrire a
fost descris separat, evideniindu-se caracteristicile principale i apoi


142
descriindu-se algoritmii diferenelor temporale i Q-learning. Pentru tratarea
nvrii descentralizate, s-a amintit clasificarea agenilor pe niveluri, n
funcie de gradul de contien social i apoi s-au detaliat probleme legate
de analiza sistemelor formate din ageni concureni, respectiv cooperani.
Pentru studiul echilibrului unui sistem de ageni concureni, s-a demonstrat
utilitatea aplicrii rezultatelor din teoria jocurilor, insistndu-se pe noiunea
de echilibru Nash. S-a artat apoi c ntr-un sistem format din ageni
cooperani apar noi probleme, legate de formarea coaliiilor, i s-au
prezentat civa algoritmi care modeleaz dinamica grupurilor (apariia i
dizolvarea grupurilor), precum i modalitile prin care agenii pot nva
s-i asume diverse roluri n organizaiile de ageni.

143
Capitolul VIII

STRUCTURA UNUI AGENT INTELIGENT CU
CAPACITI COGNITIVE

8.1 Arhitecturi cognitive
Scopul inteligenei artificiale este crearea de programe care s se
comporte ca nite fiine umane inteligente. Deocamdat, acest deziderat a
fost atins doar n domenii limitate, bine precizate. Una din ramurile sale
principale era normal s se refere la capacitatea de rezolvare a problemelor,
la raionament i planificare. Prin analogie cu rezolvrile din logica
matematic, acestea se bazeaz n principal pe metode simbolice de
reprezentare a cunotinelor, care pot fi astfel manipulate explicit.
O alt ramur, complementar, i de multe ori considerat n
opoziie cu prima, este cea conexionist, care ncearc s modeleze structura
de nivel sczut a sistemului nervos biologic. Utilitatea acestor metode s-a
remarcat mai ales n problemele care imit percepia, precum recunoaterea
modelelor vizuale, analiza sunetelor, probleme pentru care rezolvrile s-au
dovedit mult mai simple dect prin metode simbolice. Un alt mare avantaj al
reprezentrilor conexioniste este capacitatea de nvare i tolerana la
zgomote.
Aceste dou direcii studiaz fenomene situate la niveluri diferite de
abstractizare. Reprezentrile conexioniste sunt mai adecvate prelucrrilor
primare, automate, pe cnd cele simbolice sunt mai potrivite pentru
prelucrrile secundare, legate de raionament i care se bazeaz pe agregarea
ierarhic a cunotinelor. n cazul proiectrii unei arhitecturi similare
creierului uman, ar trebui combinate avantajele fiecreia dintre cele dou
modaliti.
Pe msur ce tiinele cognitive s-au dezvoltat, ele au pus la
dispoziia cercettorilor rezultate valoroase privind mecanismele de
prelucrare informaional care determin funcionarea subsistemelor din
structura unei fiine biologice i care la rndul lor genereaz prin interaciuni
comportamentul acesteia.
Din intersecia multidisciplinar a inteligenei artificiale cu
psihologia cognitiv i calculul distribuit a aprut ideea realizrii unor
arhitecturi specifice care s reprezinte modelul cognitiv al unor ageni
inteligeni. S-a pus astfel problema unei teorii unificate a cogniiei (Newell,
1990), care s explice detaliile tuturor aspectelor care intervin n diferitele
probleme ale domeniului i care s confirme i s explice de asemenea


144
rezultatele anterioare. Scopul final al unei astfel de teorii este determinarea
structurii necesare i suficiente pentru inteligen general, adic pentru
emularea, la un nivel acceptabil, a capacitilor cognitive umane.
n acest context, arhitectura cognitiv a unui agent poate fi definit
ca poriunea din sistem care asigur i gestioneaz resursele primitive ale
agentului (Wray et al., 2000). Arhitecturile cognitive se pliaz de obicei pe
un ciclu informaional care ncepe cu receptarea informaiilor prin
monitorizarea mediului de execuie, continu cu filtrarea i prelucrarea
acestora, memorarea cunotinelor relevante, luarea unei decizii pe baza
strii curente i a experienei anterioare i presupune n final efectuarea unei
aciuni.
Un sistem care implementeaz o astfel de arhitectur ar trebui s fie
capabil s ndeplineasc o gam divers de sarcini cognitive, utiliznd un
numr de metode de rezolvare a problemelor i de reprezentare a
informaiilor i s poat nva ct mai multe aspecte legate de sarcinile de
lucru i de succesul ndeplinirii lor. Teoretic, cu o arhitectur pentru
inteligen general, orice aspect al inteligenei ar fi studiat, sistemul ar
trebui s l poat modela n cadrul structurii considerate (Van de Velde,
1995).
n literatura de specialitate exist mai multe arhitecturi cognitive
bazate pe reprezentare simbolic, precum SOAR (Laird, Newell &
Rosenbloom, 1987), ACT* (Anderson, 1983), THEO (Mitchell et al., 1990)
sau ICARUS (Langley et al., 1991). Utilizate cu succes n rezolvarea a
numeroase probleme punctuale i mai ales din perspectiv centralizat, a
unui agent individual, ele rmn s-i demonstreze aplicabilitatea n context
multiagent i n probleme reale de nvare i planificare a
comportamentului social.
O arhitectur care a suscitat mult interes i multe controverse este
cea a lui Minsky (1986), care prezint mintea uman ca o societate de ageni
concureni, adic de procese autonome de mici dimensiuni care sunt n
permanent competiie pentru a-i aduce contribuia la procesul cognitiv.
Gndirea inteligent apare numai prin gruparea acestor ageni, pe baza
interaciunilor dintre ei. Ideea principal este c la apariia unui anumit
eveniment, se creeaz o aa-numit linie de cunoatere (K-line), care
conecteaz toi agenii implicai n acea experien (Patterick, 2001). Cnd
apare o situaie similar, linia respectiv este reactivat, ceea ce determin
reactivarea agenilor angajai n rezolvarea primei situaii.
n strns legtur cu perspectiva evoluionist asupra apariiei
inteligenei, aceast arhitectur permite ca mai muli ageni s poat rezolva

Structura unui agent inteligent cu capaciti cognitive

145
o problem, chiar dac n maniere diferite. Agentului care o poate rezolva
cel mai bine i se d controlul, iar ceilali sunt inactivai. n cazul unui
eventual accident, cnd subsistemul optim nu mai poate funciona, unul din
celelalte subsisteme i ia imediat locul. Dei bazat pe un model natural
plauzibil, principalul dezavantaj al acestei arhitecturi este deosebita
dificultate a implementrii.
n ciuda dezvoltrii din ultimul deceniu a metodelor legate de
reelele neuronale artificiale, nici o arhitectur cognitiv bine cunoscut nu
se bazeaz exclusiv pe acestea, mai ales datorit imposibilitii reprezentrii
explicite a cunotinelor despre mediu. Exist ns metode hibride, neuro-
simbolice, de reprezentare i prelucrare a cunotinelor, care presupun
introducerea unor reguli n reelele neuronale, antrenarea n mod clasic a
reelelor i apoi extragerea unor reguli din reele.
Cogniia epistemologic, referitoare la obinerea i nmagazinarea
cunotinelor despre mediu, este strns legat de cogniia practic, asociat
cu capacitatea agentului de a lua decizii de aciune i de a ntocmi planuri
(Pollock, 1998). La baza comportamentului inteligent st presupunerea c
agenii sunt raionali, adic selecteaz ntotdeauna aciunea care se
presupune c le va aduce utilitatea maxim (pe termen scurt sau lung). O
perspectiv general asupra agenilor raionali este dat de arhitectura BDI
(engl. beliefs-desires-intentions, Rao & Georgeff, 1991), detaliat n
paragraful 2.4, care nzestreaz agenii cu o triplet de convingeri
(cunotine), dorine (scopuri) i intenii (planuri). Implementri ale acestei
arhitecturi sau ale unor variante pot fi considerate sisteme precum: PRS
(Georgeff & Lansky, 1987), HOMER (Vere & Bickmore, 1990), IRMA
(Bratman, Israel & Pollack, 1988) sau OSCAR (Pollock, 1990).
n acest capitol se va ncerca conturarea structurii unui agent
cognitiv, adic al unui agent inteligent capabil de nvare, planificare i
rezolvare de probleme.

8.2 nvarea inductiv
Una din caracteristicile cele mai importante ale unui agent inteligent
este capacitatea de a nva. Din punctul de vedere al inteligenei artificiale,
nvarea reprezint achiziia de noi cunotine i abiliti motorii i
cognitive i ncorporarea acestora n activiti viitoare ale sistemului, cu
condiia ca achiziia i ncorporarea s fie efectuate de ctre sistemul nsui
i s conduc la o cretere a performanelor sale (Sen & Wei, 2000).
nvarea din experien implic faptul c agentul poate recunoate
detaliile strii n care se afl i le poate reprezenta intern ntr-o manier


146
eficient. Psihologia cognitiv aduce rezultate valoroase n acest domeniu
de cercetare. Trind ntr-un mediu extrem de complex, omul este nevoit s
reduc numrul i diversitatea stimulilor pentru a-l controla mai bine. Una
din strategiile folosite este categorizarea, adic stabilirea de clase care
includ un grup de obiecte sau stimuli cu trsturi fizice sau funcionale
comune.
nvarea inductiv ncearc s formuleze ipoteze, sau descrieri
generale ale conceptelor, pe baza instanelor acestor concepte. n nvarea
inductiv, categoriile nvate sunt considerate a fi descrise de o mulime de
atribute, care pot fi numerice sau simbolice (nominale). Instanele sunt
descrise de valorile diferite ale acestor atribute sau domenii. Instanele, mai
ales dac atributele lor sunt numerice, pot fi reprezentate ca puncte ntr-un
spaiu n-dimensional, unde n este numrul de atribute. De obicei, pentru a
nu favoriza o anumit dimensiune, valorile sunt normalizate. Scopul
nvrii este gsirea unei descrieri generale a fiecrei categorii
(submulimea de valori ale atributelor care pot identifica n mod unic clasa
respectiv). Dup stabilirea descrierilor conceptelor, este important
clasificarea adecvat a instanelor care nu au mai fost ntlnite n prealabil
(predicia apartenenei acestora la una din clasele existente).
Multe sisteme de nvare inductiv automat sunt neincrementale,
adic mulimea de antrenare trebuie s fie disponibil nc de la nceputul
procesului de nvare iar descrierea conceptului este indus lundu-se n
considerare simultan toate exemplele. Dac noi instane de antrenare devin
disponibile dup nceperea procesului de nvare, singura modalitate
posibil de a le lua n calcul este repornirea ntregului proces de nvare cu
mulimea de nvare actualizat (do Carmo Nicoletti & Santos, 1996).
Pentru ca un agent inteligent s fie capabil de nvare inductiv, trebuie
luat n considerare natura implicit incremental a nvrii.
De la nceputul cercetrilor n domeniul categorizrii, au existat
cteva tendine semnificative n modelarea proceselor care stau la baza
acestui fenomen: construcia de reguli (Bruner et al., 1956; Trabasso &
Bower, 1968), abstractizarea prototipurilor (Posner & Keele, 1968; Reed,
1972; Homa, 1984) sau stocarea i regsirea exemplarelor (Medin &
Schaffer, 1978; Hintzman, 1986; Nosofsky, 1986).

8.2.1 Reguli, prototipuri sau exemplare?
Primele teorii despre categorizare presupuneau c ori regulile ori
prototipurile ori exemplarele sunt utilizate n mod exclusiv pentru
reprezentarea mental a categoriilor de obiecte. Mai recent, au fost fost


147
propuse teorii hibride care combin aceste forme de reprezentare a
categoriilor. Aceste modele au fost dezvoltate n concordan cu
experimentele psihologice care au indicat c ar putea exista diferene ntre
categorizarea bazat pe reguli i cea bazat pe exemplare. Sortarea n funcie
de similaritate este modul implicit de prelucrare care ns este extins de un
mod mai lent i mai solicitant n ceea ce privete atenia, i anume cel bazat
pe reguli. Forarea unor rspunsuri rapide i existena unor sarcini
concurente se pare c ntrerupe acest mod analitic de raionament (Johansen
& Palmeri, 2002).
O definiie operaional simpl a categorizrii bazate pe reguli este
aceea c regulile sunt verbalizabile, spre deosebire de modurile de
categorizare implicite precum cele bazate pe exemplare. Folosirea regulilor
verbale pare s caracterizeze comportamentul oamenilor atunci cnd nva
unele categorii pentru prima oar. Dei verbalizarea nu este tratat n mod
direct n majoritatea modelelor formale ale categorizrii bazate pe reguli,
acest criteriu se pare c a avut o influen indirect asupra formalizrii
acestor modele. Regulile, spre deosebire de exemplare, se presupune c
depind de un numr limitat de dimensiuni ale stimulilor, deoarece oamenii
pot verbaliza doar un numr limitat de combinaii ale acestor dimensiuni sau
atribute.
Un model care ncearc s produc reguli de clasificare este RULEX
(RULE plus Exception, Nosofsky, Palmeri & McKinley, 1994). Strategia
algoritmului este caracterizat de patru tipuri diferite de cutare: cutare
exact (cutarea unei reguli care discrimineaz perfect clasele, folosind un
singur atribut), cutare imperfect (cutarea unei reguli care discrimineaz
suficient de bine clasele, dar nu neaprat perfect, folosind din nou un singur
atribut), cutare conjunctiv (cutarea unei reguli care discrimineaz
suficient de bine clasele folosind atribute multiple) i cutare de excepii
(cutarea excepiilor la reguli).
RULEX ncepe ntotdeauna cu o cutare exact, n care o regul este
meninut pn cnd clasific greit un stimul. Dac toate regulile eueaz
astfel, RULEX ncepe ori o cutare imperfect (cu probabilitatea ), ori o
cutare conjunctiv (cu probabilitatea 1). Dac una din regulile adoptate
n timpul acestei cutri funcioneaz suficient de bine, atunci este
adoptat permanent i ncepe cutarea excepiilor. Dac nici o regul nu este
suficient de bun, RULEX ncearc cellalt tip de cutare (conjunctiv sau
imperfect) i pornete din nou cutarea excepiilor dac gsete o regul
suficient de bun.


148
Se utilizeaz cinci parametri pentru a decide cnd trebuie comutate
regulile i ce nseamn suficient de bine. n acest model o regul este de
fapt un hiperplan definit folosindu-se valoarea unui singur atribut sau
trstur. Cnd se folosesc reguli conjunctive, dou astfel de clasificatoare
mpart spaiul trsturilor n patru regiuni i se asociaz o categorie fiecrei
regiuni. La cutarea excepiilor, dac regula nvat eueaz la predicia
rspunsului corect, se memoreaz excepia cu o anumit probabilitate
determinat de probabilitatea stocrii, a capacitii i de numrul de excepii
nvate deja. Modelul are de asemenea un parametru de decizie care
msoar probabilitatea de a da rspunsul contrar fa de cel prezis de regul
sau excepie.
O alt paradigm pentru nvarea categoriilor este utilizarea
prototipurilor pentru stabilirea apartenenei la o clas. Unul din primele
astfel de modele a fost modelul prototipurilor (engl. prototype model,
PRT) al lui Reed (1972), unde probabilitatea de a decide dac al i-lea stimul
S
i
aparine categoriei C
K
este o probabilitate multinomial proporional cu
similaritatea stimulului S
i
fa de categoria C
K
. Conform lui Shepard (1987),
similaritatea stimulilor se presupune a fi o funcie exponenial
descresctoare de distan ntr-un spaiu Minkowski m-dimensional. Deci
similaritatea s
ij
dintre al i-lea i al j-lea stimul este:

r
r
m
k
jk ik k
x x w
ij
s
/ 1
1
e
|
|
|
.
|
\
|

=
=
, (8.1)

unde x
ik
este valoarea atributului sau trsturii lui S
i
n dimensiunea k. n
aceast ecuaie, w
k
denot proporia de atenie aplicat dimensiunii cu
indexul k, r determin metrica iar denot panta descreterii exponeniale,
numit gradient de generalizare.
Studii ulterioare (Grdenfors, 2000) au confirmat faptul c atunci
cnd subiecii se confrunt cu dimensiuni sau domenii integrale, care depind
unul de altul dintr-un anumit punct de vedere, se utilizeaz distana
euclidian, unde r = 2. Dac dimensiunile sau domeniile sunt separabile
(independente unul de altul), se utilizeaz o metric city block (sau distana
Manhattan), unde r = 1.
PRT presupune c fiecare categorie este reprezentat de un singur
prototip S
K
, care poate fi sau nu un stimul observat anterior. n acest model,
probabilitatea ca stimulul observat S
i
s aparin categoriei C
K
este dat de
urmtoarea ecuaie:


149

=
J
iJ
iK
i K
s
s
S C P ) | ( . (8.2)

Se presupune c prototipul se comport ca un stimul a crui valoare
a trsturii pe dimensiunea k este:

e
=
K
C j
jk k
x
n
V
1
, (8.3)

unde n este numrul de stimuli care aparin categoriei C
K
.
Exist cercettori (Minda & Smith, 2001) care argumenteaz c
formarea prototipurilor servete ca un prim principiu de organizare n
reprezentarea categoriilor. Ei propun ipoteza c, mai ales n primele etape
ale nvrii, reprezentrile categoriilor sunt bazate pe prototipuri. Pe msur
ce nvarea este continuat pe o mulime restrns de exemplare, se pot
forma n final amintiri ale acelor exemplare care pot ajuta n continuare la
clasificarea vechilor instane de antrenare. Generalizarea pentru noile
entiti se presupune c rmne guvernat de similaritatea cu prototipul.
Totui, s-a dovedit c modelele bazate numai pe prototipuri sunt
insuficiente pentru a explica fenomenele legate de categorizare, mai ales n
situaiile n care subiecii care nva au fost expui n mod repetat la
exemplare individuale din fiecare categorie. Amintirile acestor exemplare
individuale par s joace un rol semnificativ n asemenea situaii (Nosofsky
& Zaki, 2002).
Un reprezentant al clasei de modele de generalizare bazat pe
exemplare este modelul contextului, propus de Medin i Schaffer (1978),
generalizat de Nosofsky (1984, 1986) i extins ulterior de Ashby i Maddox
(1993). Conform acestui model, probabilitatea ca o instan i s fie
clasificat n categoria A este dat de ecuaia:

( )
( )
e
e
=
C C c
ic
A a
ia
s
s
i A P
) | ( , (8.4)



150
unde
ia
s denot suma similaritilor instanei i fa de exemplarele
categoriei A, numitorul exprim suma similaritilor instanei fa de toate
exemplarele tuturor categoriilor, iar este un parametru de scalare a
rspunsurilor. Parametrul , introdus n modelul contextului generalizat
(engl. generalized context model) de Ashby i Maddox (1993) rezultnd
modelul GCM-, guverneaz msura n care rspunsul este stohastic sau
determinist. Cnd = 1, rspunsul este stohastic, comparndu-se
similaritile sumate relative ale fiecrei categorii, iar cnd
> 1, rspunsurile sunt deterministe ntr-o mai mare msur, indicnd
categoria cu o similaritate sumat mai mare.
Conform modelului contextului generalizat, n situaii n care avem
dimensiuni binare separabile, distana dintre exemplarele i i j este:

=
=
M
m
jm im m ij
x x w d
1
, (8.5)

unde x
im
i x
jm
denot respectiv valorile exemplarelor i i j pe dimensiunea
m, w
m
este ponderea atenional dat dimensiunii m, iar M este numrul
dimensiunilor n care variaz stimulii. Parametrii ponderilor atenionale sunt
normalizai. n acest model, dimensiunile sunt binare i deci diferena este
ori 0 (dac exemplarele au aceeai valoare pe dimensiunea m) sau 1 (dac au
valori diferite pe aceast dimensiune).
La fel ca n PRT, similaritatea dintre exemplarele i i j este o funcie
exponenial descresctoare de distan (Shepard, 1987):

ij
d c
ij
e s

= , (8.6)

unde c este un parametru de sensibilitate general care determin rata cu
care similaritatea scade cu distana.
n literatura de specialitate pot fi gsite studii (Navarro, Myung &
Pitt, 2004) realizate pentru a compara modelul contextului generalizat i
modelul prototipurilor PRT din punct de vedere al complexitii i
capacitii lor de a imita comportamentul uman de categorizare.
Modelul ALCOVE (Attention Learning COVEring map) propus
de Kruschke (1992) este un alt model asociativ al nvrii de categorii bazat
pe exemplare. Cnd este prezentat un nou stimul, este calculat similaritatea
cu fiecare dintre ceilali stimuli printr-o funcie exponenial descresctoare


151
de distanele city block dintre vectorii lor reprezentativi, ponderai
atenional. Dup estimarea acestor similariti, ALCOVE determin puterea
rspunsurilor (engl. response strengths) pentru fiecare din categoriile
posibile. Acestea sunt calculate folosind ponderi asociative meninute ntre
fiecare stimul i categorii. Probabilitatea alegerii unei categorii este
calculat prin regula softmax, adic prin raportul exponenialei ieirii
corespunztoare categoriei cu suma exponenialelor ieirilor pentru toate
categoriile. Dup determinarea probabilitilor pentru fiecare din
rspunsurile de categorizare posibile, ALCOVE primete o reacie dintr-o
surs extern, care ia forma unui vector de tip intructor umil (engl.
humble teacher), unde nvarea este necesar numai n cazurile n care
rspunsul dat a fost greit. Se aplic apoi dou reguli de nvare, ambele
ncercnd s minimizeze eroarea ptratic sumat dintre puterile
rspunsurilor i vectorul de antrenare, folosind pentru optimizare o abordare
simpl de tip gradient descendent. Apoi ALCOVE i actualizeaz ponderile
asociative i ponderile atenionale.
Un studiu comparativ ntre ALCOVE i RULEX (Navarro, Myung
& Pitt, 2004) arat c n ciuda faptului c modelele difer mult n ceea ce
privete presupunerile teoretice, ele explic fenomene similare, astfel nct
pot produce rezultate foarte asemntoare pentru o gam larg de valori ale
parametrilor.
O extensie a modelului ALCOVE este AMBRY (Kruschke, 1996),
care ncearc s simuleze unele fenomene psihologice cunoscute drept
schimbri (engl. shifts) n nvarea categorizrii.
Ideea de a combina reguli cu exemplare a devenit destul de popular.
Unele modele demne de a fi menionate care utilizeaz aceast paradigm
sunt ATRIUM (Erickson & Kruschke, 1998), care permite un proces de
potrivire bazat pe similaritate gradat, i COVIS (Ashby et al., 1998), cu
potrivire/nepotrivire strict.
Alt model apropiat de ALCOVE este SUSTAIN (Supervised and
Unsupervised STratified Adaptive Incremental Network, Love, Medin &
Gureckis, 2004). Algoritmul se bazeaz pe cinci principii nrudite: iniial
este direcionat ctre soluii simple, stimulii similari se grupeaz
(clusterizeaz) mpreun n memorie, nvarea implic procese
nesupervizate i supervizate, reacia (feedback-ul) afecteaz structura indus
de categorii iar selecia clusterelor este competitiv. Mai nti se presupune
o structur de categorii simpl. Dac soluiile simple se dovedesc nepotrivite
i SUSTAIN se confrunt cu un eveniment surprinztor (de exemplu, i se
spune c liliacul este un mamifer i nu o pasre), se formeaz un cluster


152
suplimentar care reprezint evenimentul respectiv. Clusterele nou create pot
explica evenimente viitoare i pot evolua ele nsele n prototipuri/reguli.
SUSTAIN extinde modelele de nvare a categoriilor spre studii privind
nvarea de inferene, nvarea nesupervizat, construirea categoriilor i
contexte n care nvarea prin identificare este mai rapid dect nvarea
prin clasificare.

8.2.2 Exemplare generalizate suprapuse i nesuprapuse
Teoria exemplarelor generalizate suprapuse (engl. nested
generalized exemplars, NGE) propus de Salzberg (1991) este o form
incremental de nvare inductiv din exemple care extinde metoda de
clasificare de tip nearest neighbor (cel mai apropiat vecin). NGE este o
paradigm de nvare bazat pe exemplare ale claselor, n care o ipotez
indus are forma geometric a unei mulimi de hiperdreptunghiuri ntr-un
spaiu euclidian n-dimensional. Exemplarele claselor sunt ori
hiperdreptunghiuri ori instane de antrenare izolate (puncte), numite
hiperdreptunghiuri banale.
Intrarea n NGE este o mulime de exemple de antrenare, prezentate
incremental, fiecare exemplu fiind descris ca un vector de perechi numerice
atribut/valoare mpreun cu clasa asociat. Cele n atribute folosite pentru a
descrie exemplele definesc un spaiu euclidian n-dimensional n care va fi
reprezentat conceptul. Atributele au valori reale stricte de la 2 la infinit iar
clasele pot fi binare, discrete sau continue.
NGE generalizeaz o mulime iniial de puncte, definit de
utilizator, extinznd-o (sau n anumite situaii speciale restrngnd-o) pe una
sau mai multe dimensiuni pe msur ce sunt prezentate noi exemple de
antrenare. Alegerea hiperdreptunghiurilor care trebuie generalizate depinde
de metrica folosit pentru distan. Deoarece atributele au valori stricte, o
astfel de metric este distana euclidian ponderat, de la punct la punct sau
de la un punct la un hiperdreptunghi.
NGE iniializeaz procesul de nvare prin alegerea aleatorie a unui
numr definit de utilizator de puncte care sunt transformate n exemplare;
aceste puncte devin hiperdreptunghiuri virtuale ce reprezint punctul de start
pentru reprezentarea conceptului. Apoi pentru fiecare nou instan de
antrenare E
new
, NGE gsete printre hiperdreptunghiurile deja construite pe
cel mai apropiat de E
new
, H
closest1
i pe urmtorul cel mai apropiat, H
closest2
;
acetia sunt candidaii pentru generalizare. Dac E
new
i H
closest1
aparin
aceleiai clase, H
closest1
este extins pentru a-l include pe E
new
, proces numit
generalizare; altfel, se vor compara clasele lui E
new
i H
closest2
. Dac aparin


153
aceleiai clase, NGE l va specializa pe H
closest1
, reducndu-i dimensiunea
prin mutarea laturilor mai departe de E
new
, astfel nct H
closest2
s devin mai
apropiat de E
new
dect H
closest1
pe dimensiunea respectiv i mrindu-l pe
H
closest2
astfel nct acesta s-l includ pe E
new
. Dac clasa lui E
new
difer de
clasele hiperdreptunghiurilor H
closest1
i H
closest2
, E
new
devine el nsui un nou
exemplar, lund forma unui hiperdreptunghi banal.
Modelul NGE a fost extins de do Carmo Nicoletti i Santos (1996)
pentru a gestiona instane i exemplare fuzzy.
Un alt studiu (Wettschereck & Dietterich, 1994) a artat c
performanele NGE sunt sczute pentru multe probleme, n special datorit
supra-generalizrii. S-a formulat ipoteza c aceste probleme apar deoarece
hiperdreptunghiurile se pot suprapune.
Brent Martin (1995) a propus o soluie pentru evitarea tuturor
formelor de supra-generalizare evitnd suprapunerea exemplarelor ntr-un
algoritm numit al exemplarelor generalizate nesuprapuse (engl. non-nested
generalized exemplars, NNGE). Fiecare nou generalizare potenial este
testat pentru a asigura faptul c nu acoper nici un exemplu negativ. De
asemenea, orice generalizare care se dovedete ulterior c nu respect
aceast regul este modificat. Aceast euristic permite un nivel rezonabil
de generalizare prevenind n acelai timp supra-generalizarea care ar aprea
dac fiecare exemplu ar fi generalizat la cel mai apropiat vecin din aceeai
clas, chiar dac exemplarul ar fi la distan mare n spaiul trsturilor, cu
numeroase exemple negative intermediare. Deoarece NNGE previne supra-
generalizarea prin corectarea suprapunerilor, el nu mai are nevoie de
euristica celei de-a doua anse. n schimb, el ncearc ntotdeauna s
generalizeze noile exemple cu cel mai apropiat exemplar de aceeai clas,
dar dac acest lucru este imposibil datorit exemplelor negative
intermediare, nu are loc nici o generalizare. Dac o generalizare intr
ulterior n conflict cu un exemplu negativ, ea este modificat pentru
meninerea consistenei reprezentrii.
Funcia utilizat pentru a calcula distana dintre o instan i un
hiperdreptunghi este comun algoritmilor NGE i NNGE:

=
|
|
.
|
\
|
=
m
i i i
i
i H
minval maxval
H I d
w w H I d
1
2
) , (
) , ( , (8.7)

cu


154

<
>
=
altfel , 0
dac ,
dac ,
) , (
i i
i i
lower i i lower
upper i upper i
i
H I I H
H I H I
H I d , (8.8)

unde w
H
este ponderea exemplarului (hiperdreptunghiului), w
i
sunt
ponderile trsturilor (atributelor), I
i
este a i-a valoare a lui I, maxval
i
i
minval
i
sunt limitele superioar i inferioar ale domeniului pe dimensiunea
i iar H
upper
i H
lower
sunt limitele superioar i inferioar ale
hiperdreptunghiului H.
Pentru atributele simbolice,

e
e
=
i i
i i
i
H I
H I
H I d
dac , 1
dac , 0
) , ( . (8.9)

Ajustarea ponderilor este adoptat de NGE ca o msur pentru
ntrirea relevanei trsturilor n procesul de clasificare. O asemenea
ntrire (engl. reinforcement) poate fi pozitiv sau negativ, n funcie de
contribuia fiecrei trsturi la clasificarea corect a exemplelor. n timpul
procesului de nvare, creterea relevanei unei trsturi este reflectat de
scderea valorii ponderii asociate i viceversa. O tehnic similar este
folosit pentru ponderile asociate exemplarelor, adic ponderea unui
exemplar variaz invers cu ncrederea relativ (cu ct e mai mare ponderea,
cu att e mai puin sigur exemplarul).
ntr-o implementare ulterioar (Witten & Frank, 2000), NNGE
utilizeaz schema de ponderare a trsturilor IB4 (Aha, 1992) i informaiile
reciproce (engl. mutual information, Shannon, 1948), renunnd la
ponderarea exemplarelor. IB4 este un algoritm de nvare bazat pe
instane, caracterizat de toleran la zgomote, necesar redus de memorie i o
funcie incremental de ponderare a atributelor (Mohri & Tanaka, 1994).
Ponderile atributelor sunt mrite cnd prezic corect clasificarea i micorate
n caz contrar. Metoda poate gestiona att atribute numerice ct i simbolice.
Atributele numerice sunt normalizate iar distana dintre valorile simbolice
este distana Hamming:

=
=
=
i i
i i
i
J I
J I
J I d
dac , 1
dac , 0
) , ( . (8.10)



155
Ponderile trsturilor pot fi calculate folosind informaiile reciproce dintre
valorile unei trsturi i clasa vectorilor de antrenare. Informaia reciproc a
dou variabile se definete drept reducerea incertitudinii asupra valorii uneia
dintre variabile fiind cunoscut valoarea celei de-a doua, adic
(Wettschereck & Aha, 1995):

( )
( )
( ) ( )
e e
= =
= . =
= . = =
f
V v C c
f c
f c
f c f
v x P c x P
v x c x P
v x c x P w log , (8.11)

unde ) ( c x P
c
= este probabilitatea ca x
c
, clasa unui vector arbitrar de
antrenare x, s fie c, ) ( v x P
f
= este probabilitatea ca valoarea sa pentru
trstura f s fie v, iar mulimea valorilor posibile pentru f este V
f
.
Alturi de aceste metode, exist i algoritmi locali de ponderare a
trsturilor, cum ar fi ReliefF (Kononenko, 1994), care calculeaz relevana
unui atribut pentru o instan considernd diferena dintre instana
considerat i instanele apropiate aparinnd aceleiai clase, respectiv fa
de instanele apropiate aparinnd unor clase diferite. O abordare alternativ
este utilizarea unor tehnici de optimizare, precum algoritmii genetici, care s
gseasc ponderile atributelor astfel nct s se maximizeze similaritatea
intracategorial i s se minimizeze similaritatea intercategorial (Zaharia,
Leon & Glea, 2003c).

8.2.3 Exemplare generalizate nesuprapuse cu prototipuri
Dup cum am menionat, rezultate experimentale au artat c nu
toate elementele unei categorii sunt prelucrate la fel, unele elemente sunt
considerate mai tipice pentru categorie dect altele. Acesta este cunoscut
sub numele de efect al prototipicalitii (Miclea, 1999). Pentru un european,
un mr este mai reprezentativ pentru categoria fructelor dect o nuc de
cocos. Psihologia cognitiv d dou interpretri posibile pentru prototip
(Medin & Ross, 1991). El poate reprezenta unul sau mai multe exemplare
reale, care apar cel mai frecvent atunci cnd subiecii umani sunt rugai s
exemplifice o categorie. n al doilea rnd, prototipul este considerat un
exemplar ideal care sumeaz caracteristicile mai multor membri ai
categoriei.
n cadrul cercetrilor, s-a urmrit extinderea modelului NNGE
pentru a include informaii despre prototipuri pentru fiecare regul sau
hiperdreptunghi. De vreme ce un exemplar generalizat conine mai multe


156
instane, nu este obligatoriu ca media statistic a acestor instane s coincid
cu centrul hiperdreptunghiului corespunztor (figura 8.1).
Modelul propus (exemplare generalizate nesuprapuse cu prototipuri,
engl. non-nested generalized exemplars with prototypes, NNGEP) are o
natur incremental i de aceea prototipurile trebuie de asemenea calculate
incremental.
Adugarea unei noi instane la un hiperdreptunghi este o
particularizare a cazului general de contopire a dou prototipuri gaussiene,
cu mediile
1
i
2
i deviaiile standard
1
respectiv
2
. Prin contopire se
nelege calcularea mediei i deviaiei standard pentru un nou prototip
gaussian care ar fi rezultat dac toate instanele celor dou prototipuri surs
i-ar fi fost adugate de la nceput.

Figura 8.1. Decalajul dintre prototipul i centrul unui hiperdreptunghi

Ecuaiile corespunztoare (Xu et al., 1998) sunt (8.12) i (8.13),
unde n
1
i n
2
reprezint numrul de instane incluse n cele dou prototipuri.
Numrul de instane ale prototipului rezultant este desigur n = n
1
+ n
2
.

2 1
2 2 1 1
n n
n n
+
+
=
u u
u (8.12)



157

( )
( )
2
2 1
2
2 1 2 1
2 1
2
2 2
2
1 1
n n
n n
n n
n n
+

+
+
+
=
u u o o
o (8.13)

Cnd se adaug o singur instan nou I unui hiperdreptunghi H, o
putem considera un prototip cu media egal cu coordonatele i cu deviaia
nul. Deci, prototipul hiperdreptunghiului existent este actualizat conform
ecuaiilor (8.14) i (8.15).

1
'
+
+
=
H
I H H
H
n
n u u
u (8.14)

( )
1
) 1 (
'
2
2
+
+ +
=
H
I H H H H H
H
n
n n n u u o
o (8.15)

Astfel se faciliteaz calcularea similaritii dintre o instan dat i
cel mai apropiat exemplar generalizat. Dei categorizarea se bazeaz pe
similaritate, cele dou noiuni nu sunt identice. Chiar dac unei instane i-a
fost atribuit o anumit categorie datorit unei reguli existente, instana
respectiv ar putea fi nereprezentativ pentru categorie. ntr-un sistem
multiagent cooperant sau ntr-un sistem de e-learning, dac agenii trebuie
s exemplifice o clas prin raportarea unei instane create, n loc s dea o
descriere comprehensiv a clasei bazat pe reguli, agenii ar trebui s
genereze instane reprezentative, cu similaritate mare fa de prototipul
clasei.
Soluia propus are un important avantaj i anume faptul c
apartenena instanelor la categorii poate fi acum gradat, ceea i ce permite
o interpretare fuzzy utiliznd numere fuzzy cu funcii de apartenen
gaussiene, care sunt n acelai timp echivalente din punct de vedere
funcional cu reelele neuronale cu funcii de baz radial.
Procedura de mai sus poate fi aplicat numai atributelor numerice.
Cnd atributele sunt simbolice sau discrete, valoarea medie nu poate fi
calculat. n schimb, se poate calcula valoarea modal a mulimii de valori
ale atributelor, adic valoarea care apare cel mai frecvent ntr-o mulime
dat. Distana pe o dimensiune ntre o instan i un prototip este 0 dac
valoarea atributului instanei este aceeai cu a valorii modale i 1 n caz
contrar.


158
Experimentele din psihologia cognitiv au demonstrat c
similaritatea este o funcie exponenial descresctoare de distan:

) , (
e ) , (
P I d c
P I s

= , (8.16)

unde d() este de obicei distana city block iar c este un paramentru de
sensibilitate global. Aceste probleme vor fi discutate pe larg n studiul
experimental din capitolul 9. n prezenta abordare, recunoatem faptul c
atributele (dimensiunile) au ponderi diferite i c distribuia unei clase poate
fi mai mare pe o dimensiune dect pe alta. Media i deviaia standard sunt
calculate independent pe fiecare dimensiune. Prin urmare, utilizm pentru
calcularea similaritii funcii de baz eliptic paralel cu axele, descrise n
paragraful 5.4, care generalizeaz funciile de baz radial:

( )
D
P I d w
i i i
P I s
2
/ ) , (
2 2
e ) , (
o
, (8.17)

unde w
i
sunt ponderile atributelor, d
i
() este distana proiectat pe
dimensiunea i,
i
este deviaia standard pentru dimensiunea i, iar D este
numrul de dimensiuni unde valorile atributelor sunt definite (cunoscute)
pentru instana considerat I.
De asemenea, ponderile sunt normalizate dup antrenare i se
utilizeaz o metric pentru distan uor diferit fa de cea utilizat n
algoritmul NNGE standard. Astfel, distana dintre o instan I i un
exemplar generalizat E este:

( )
=
2
) , ( ) , ( E I d w E I d
i i
, (8.18)

astfel nct:

=1
i
w . (8.19)

Aceast normalizare faciliteaz aplicarea algoritmului NNGEP
pentru concepte compuse (paragraful 8.2.6).



159
8.2.4 Metrici de similaritate alternative
Modelul contextului generalizat descrie probabilitatea de
categorizare a unei instane ca o funcie de similaritile dintre instan i
exemplarele din categoriile existente (ecuaia 8.4). Totui, datorit naturii
exponenial negative a funciei de similaritate, este clar c doar exemplarele
cele mai apropiate vor conta efectiv n formul. Fie s
1
i s
2
similaritile
instanei fa de cele mai apropiate dou prototipuri, iar s similaritatea
instanei fa de clasa dominant. Se va propune o euristic pentru
determinarea similaritii unei instane fa de o clas existent lund n
considerare doar aceste cele mai apropiate dou prototipuri de exemplare
generalizate:
- Dac cele dou exemplare aparin aceleiai categorii, atunci
s = max (s
1
, s
2
) = s
1
;
- Dac cele dou exemplare aparin unor clase diferite, atunci
s = s
1
s
2
.
Aceast euristic sugereaz faptul c dac cele mai apropiate dou
exemplare aparin aceleiai categorii, al doilea exemplar nu influeneaz
decizia dat de primul. Dac cele dou exemplare sunt n conflict, apare o
form de inhibiie lateral ntre cele dou clase concurente; clasa cea mai
puternic nvinge, dar efectul su este diminuat.
n figura 8.2, se prezint harta similaritii pentru o sub-problem
bidimensional a problemei florilor de Iris (Fisher, 1936), ce va fi detaliat
n capitolul 4. S-a considerat numai efectul prototipurilor; influena
hiperdreptunghiurilor a fost ignorat. De asemenea, pentru simplitatea
demonstraiei, s-au considerat doar trei prototipuri, cte unul pentru fiecare
clas. n figura 8.2a se presupune c toate trei clasele formeaz de fapt o
singur clas Iris (o clas cu trei prototipuri). n figura 8.2b se presupune c
prototipurile aparin unor clase diferite.
Se poate observa efectul interesant de mbinare care apare cnd dou
prototipuri similare sunt apropiate unul de cellalt. De asemenea, cnd
prototipurile sunt diferite, elipsele normale sunt deformate de influena
prototipului concurent. Zonele deschise la culoare semnific similariti
ridicate fa de prototipuri.



160

Figura 8.2a. Harta similaritii fa de prototipuri: prototipuri de aceeai clas

Figura 8.2b. Harta similaritii fa de prototipuri: prototipuri de clase diferite



161

Figura 8.3. Harta ncrederii

Figura 8.4. Harta NNGEP pentru un model simplu

Alt problem apare din faptul c similaritatea cu care o instan este
asociat cu un prototip nu indic i ncrederea cu care instana respectiv


162
este considerat ca aparinnd clasei prototipului. Modelul contextului
generalizat rezolv problema ncrederii calculnd probabilitile de
apartenen. O abordare alternativ este de a considera iari n ordine
descresctoare a valorilor similaritile s
1
i s
2
i de a defini ncrederea c
drept:

=
diferite clase unor apartin si daca ,
clase aceleiasi apartin si daca , 1
2 1
1
2 1
2 1
P P
s
s s
P P
c (8.20)

Figura 8.3 prezint harta ncrederii pentru aceeai problem, unde
toate trei prototipurile reprezint clase diferite. Zonele mai luminoase indic
o ncredere ridicat, iar cele ntunecate sunt regiuni cu ncredere redus. Se
poate observa c zonele din jurul prototipurilor i cele izolate la extreme au,
dup cum era de ateptat, o ncredere apropiat de 1, deoarece n aceste zone
influena prototipurilor concurente este minim.

8.2.5 Selecia trsturilor i clusterizarea
n acest paragraf, vom descrie pe scurt dou noi mbuntiri care
pot fi aplicate algoritmului NNGEP pentru a simplifica regulile furnizate i
pentru a sesiza mai exact distribuia datelor problemei.
Algoritmul dispune de un mecanism implicit de ponderare a
trsturilor. Totui, regulile rezultate iau n considerare toate dimensiunile,
chiar dac unele dintre acestea sunt complet irelevante. Mai mult, unele
trsturi pot fi relevante pentru o clas i irelevante pentru alta. De exemplu,
s considerm o problem reprezentnd un model simplu, definit astfel:

if x < 0.3 or x > 0.7 then
type = 0
else
if (y > 0.5) then
type = 1
else
type = 2;
end-if
end-if



163
Se pot genera aleatoriu 1000 de instane dup aceast distribuie,
rezultnd imaginea prezentat n figura 8.4. Clasa 0 este roie, clasa 1 este
verde iar clasa 2 este albastr.
NNGEP gsete patru reguli:

Clasa 0 (320 instane)
x: 0.0002 0.2995 Prototip: 0.1597 (0.0885)
y: 0.0022 0.9958 Prototip: 0.5115 (0.2929)

x: 0.7012 0.9998 Prototip: 0.8530 (0.0857)
y: 0.0020 0.9988 Prototip: 0.4887 (0.2835)
x: 0.3028 0.6998 Prototip: 0.5123 (0.1216)
y: 0.0003 0.4977 Prototip: 0.2573 (0.1459)

x: 0.3001 0.6986 Prototip: 0.4936 (0.1177)
y: 0.5028 0.9997 Prototip: 0.7707 (0.1389)

Ponderile trsturilor corespunztoare sunt:

w
x
= 0.6218, w
y
= 0.3782. (8.21)

Este clar c ambele dimensiuni sunt relevante pentru a descrie
clasele 1 i 2. Totui, clasa 0 poate fi descris numai de x. Deci, o metod
pentru selecia trsturilor este cea descris n urmtorul pseudocod:

foreach hyperrectangle H do
S
H
C // S
H
este mulimea atributelor selectate pentru hiperdreptunghiul H
foreach attribute A in descending order of weights do
S
H
S
H
A
selection_ok true
foreach instance I e H and selection_ok = true do
if I e H according to the
reduced attribute set S
H
then
selection_ok false
end-if
end-for
foreach instance I e H and selection_ok = true do
if I e H according to the
reduced attribute set S
H
then
selection_ok false


164
end-if
end-for
end-for
end-for
Procedura euristic prezentat se bazeaz pe ideea c atributele cu
pondere global mare vor avea cu probabilitate mare o influen similar
asupra unei clase individuale. Dac atributul cel mai important din punct de
vedere global nu este suficient pentru a distinge exemplele pozitive i
negative ale clasei respective, se ia n considerare i urmtorul atribut ca
importan. n final, dac nici o simplificare nu este posibil, clasa va fi
descris de toate atributele domeniului. n condiiile n care datele sunt
afectate de zgomot, se poate introduce un prag al proporiei de instane care
i pstreaz apartenena la hiperdreptunghiul iniial n condiiile unei
mulimi reduse de atribute. Este evident c metoda prezentat are o
complexitate mult mai mic, liniar, n comparaie cu verificarea exhaustiv
a tuturor combinaiilor posibile de atribute, care are o complexitate
exponenial.
Un caz special este cel al exemplarelor cu numr mic (sau unitar) de
instane, care pot fi considerate excepii ale regulilor problemei. Dac
mulimea lor de atribute este redus, acest lucru poate afecta performanele
algoritmului n ceea ce privete predicia. De exemplu, s considerm c o
instan afectat de zgomot este introdus n problema modelului simplu din
figura 8.4 n clasa 0. Dac nici o alt instan din mulimea de antrenare nu
are aceeai valoare pentru x, atunci dimensiunea y poate fi de asemenea
ignorat i pentru clasa instanei introduse. Totui, n faza de predicie, pot
aprea mai multe instane cu acelai x, i y diferit, iar acestea nu vor fi
clasificate corect n clasa 0, ci n clasa instanei afectate de zgomot.
Experimente suplimentare trebuie efectuate pentru a stabili numrul maxim
de instane aparinnd unui exemplar-excepie pentru a preveni reducerea
complet sau parial a trsturilor sale.
O alt mbuntire a NNGEP este impunerea faptului ca o instan
nou s extind un hiperdreptunghi numai dac similaritatea ei fa de
prototipul hiperdreptunghiului este mai mare dect un anumit prag
s
.
Astfel, NNGEP poate aciona ca o metod de clusterizare pentru probleme
de nvare nesupervizat.

8.2.6 Reprezentarea conceptelor compuse
Vom explica aceast metod printr-un exemplu simplu. S
considerm domeniul plantelor, descris de trei atribute: culoare: simbolic,


165
cu valori posibile {rou, verde, galben, alb}, nlime: numeric, cu valori
reale, respectiv prezena spinilor: simbolic/boolean, cu valori posibile {da,
nu}. S presupunem trei clase: {trandafir, cactus, panselu}. Instanele
folosite pentru antrenare sunt prezentate n tabelul 8.1.

Tabelul 8.1. Datele de antrenare pentru domeniul plantelor
Culoare nlime (cm) Spini Nume
rou 30 da trandafir
rou 40 da trandafir
alb 40 da trandafir
galben 35 nu trandafir
verde 70 da cactus
verde 50 da cactus
verde 40 da cactus
alb 10 nu panselu
galben 15 nu panselu
rou 10 nu panselu

Algoritmul NNGEP gsete trei hiperdreptunghiuri:

Clasa trandafir (4 instane)
culoare: {rou, galben, alb} Mod: rou (2)
nlime: [30.0000, 40.0000] Prototip: 36.2500 (4.1458)
spini: {da, nu} Mod: da (3)

Clasa panselu (3 instane)
culoare: {rou, galben, alb} Mod: rou (1)
nlime: [10.0000, 15.0000] Prototip: 11.6667 (2.3570)
spini: {nu} Mod: nu (3)

Clasa cactus (3 instane)
culoare: {verde} Mod: verde (3)
nlime: [40.0000,70.0000] Prototip: 53.3333 (12.4722)
spini: {da} Mod: da (3)

n aceste rezultate, prototipurile sunt descrise prin medie i, n
paranteze, deviaie standard, n timp ce valorile modale sunt reprezentate
drept cea mai frecvent valoare simbolic i, n paranteze, numrul de
instane care au valoarea respectiv. n general, unele clase pot fi
multimodale (de exemplu, clasa panselu de mai sus); totui, pentru
simplitate, n acest caz s-a considerat numai prima valoare modal.
Ponderile atributelor sunt:


166

w
culoare
= 0.3212, w
nlime
= 0.4470, w
spini
= 0.2318. (8.21)

Pentru predicie, s presupunem datele din tabelul 8.2. Ultima
coloan indic rezultatele prediciei.

Tabelul 8.2. Datele pentru predicie n domeniul plantelor
Culoare nlime (cm) Spini Clasa dorit Clasa prezis
galben 35 da trandafir trandafir OK
rou 30 nu trandafir trandafir OK
alb 40 da trandafir trandafir OK
alb 20 nu panselu panselu OK
galben 15 nu panselu panselu OK
rou 10 nu panselu panselu OK
verde 50 da cactus cactus OK
galben 35 da trandafir trandafir OK
alb 20 nu panselu panselu OK
verde 70 nu cactus cactus OK

Acum, s considerm urmtoarea problem: Mariei i plac
trandafirii galbeni i panseluele, nici o alt plant, dar numai cnd vremea
este frumoas. Putem gndi situaia prezentat n termenii unor cadre (engl.
frames). Cadrele au fost introduse de Marvin Minsky (1975), care le
descrie informal dup cum urmeaz: Un cadru este o structur de date
pentru reprezentarea unei situaii stereotipe, precum cea de a fi ntr-un
anumit tip de camer, sau a merge la petrecerea aniversar a unui copil.
Ataate fiecrui cadru sunt mai multe tipuri de informaii. Unele din aceste
informaii se refer la utilizarea cadrului. Unele se refer la ceea ce s-ar
putea ntmpla n continuare. Unele se refer la ce trebuie fcut dac aceste
ateptri nu sunt confirmate. Ne putem gndi la un cadru ca la o reea de
noduri i relaii. Nivelurile superioare ale cadrului sunt fixe i reprezint
lucrurile care sunt ntotdeauna adevrate n legtur cu presupusa situaie.
Nivelurile inferioare au o serie de terminale fante (engl. slots) care
trebuie completate cu instane sau date specifice. Fiecare terminal poate
specifica condiiile care trebuie ndeplinite de atribuirile sale. (Atribuirile
nsei sunt de obicei subcadre mai mici.) Condiiile simple sunt specificate
de marcaje care ar putea necesita ca o atribuire de terminal s fie o persoan,
un obiect cu anumit valoare sau un pointer la un subcadru de un anume tip.
Condiiile mai complexe pot specifica relaii ntre lucrurile atribuite mai
multor terminale.


167
n cazul discutat, situaia de a primi un cadou poate fi considerat
un cadru cu dou fante: floarea primit i starea vremii. Valorile stereotipe
pentru fante sunt prototipul i valorile modale ale hiperdreptunghiurilor
descoperite de NNGEP. n condiiile stereotipe efective, aceste valori rmn
practic neschimbate i pot fi folosite drept niveluri superioare fixe al
cadrului.
Totui, de vreme ce definiia clasic a cadrului este mai larg,
incluznd aciuni care pot fi efectuate de ctre cadru sau asupra sa, vom
utiliza aici termenul de concept compus, deoarece ne vom referi doar la
structura cadrelor i la caracteristicile instanelor. Dac i aciunile pot fi
descrise de asemenea ca o mulime de atribute cu anumite valori este nc o
problem controversat. Mai degrab, aciunile reprezint diferenele
valorilor atributelor ntre dou stri.
De aceea, considerm domeniul plantelor ca un concept compus i
vremea ca un atribut simplu. Problema de clasificare este de a determina
dispoziia Mariei prin analiza florii pe care o primete i a strii vremii.
O modalitate simpl de a aborda aceast problem este de a
considera atributele domeniului plantelor ca fiind tot atribute ale domeniului
general. Deci, vor exista patru atribute: cadou.culoare: simbolic, cu valori
posibile {rou, verde, galben, alb}, cadou.nlime: numeric, cu valori reale
cadou.spini: simbolic/boolean, cu valori posibile {da, nu}, respectiv vreme:
simbolic, cu valori posibile {soare, ploaie}. Exist dou clase care exprim
dispoziia: {bun, rea}. Instanele utilizate pentru antrenare sunt prezentate
n tabelul 8.3.

Tabelul 8.3. Datele de antrenare pentru domeniul dispoziiei Mariei
Descriere n
limbaj natural
Cadou.culoare Cadou.nlime Cadou.spini Vreme Dispoziie
trandafir galben galben 35 nu soare bun
rou 30 da soare rea
trandafir rou
rou 40 da soare rea
trandafir alb alb 40 da soare rea
alb 10 nu soare bun
galben 15 nu soare bun panselu
rou 10 nu soare bun
verde 53 da ploaie rea
cactus
verde 53 da soare rea
trandafir rou 36 da ploaie rea
panselu rou 12 nu ploaie rea



168
Dup considerarea varietilor de plante, apare un fenomen
asemntor problemei cadrelor (engl. frame problem). Varietile
implicite trebuie de asemenea reflectate n mulimea de antrenare, ceea ce
poate conduce la o cretere exponenial a numrului de instane de
antrenare. n cadrul cercetrilor, s-a ncercat evitarea acestei probleme prin
considerarea numai a prototipurilor exemplarelor (ultimele patru linii din
tabelul 8.3), i nu a tuturor combinaiilor de valori ale atributelor. Utiliznd
aceste instane, algoritmul NNGEP gsete trei hiperdreptunghiuri:

Clasa rea (6 instane)
cadou.culoare: {rou, verde, alb} Mod: rou (3)
cadou.nlime: [30, 53] Prototip: 42.0000 (8.4656)
cadou.spini: {da} Mod: da (6)
vreme: {soare, ploaie} Mod: soare (4)

Clasa bun (4 instane)
cadou.culoare: {rou, galben, alb} Mod: galben (2)
cadou.spini: {nu} Mod: nu (4)
vreme: {soare} Mod: soare (4)

Clasa rea (1 instan)
cadou.culoare: {rou} Mod: rou (1)
cadou.spini: {nu} Mod: nu (1)
vreme: {ploaie} Mod: ploaie (1)


w
cadou.culoare
= 0.2503, w
cadou.nlime
= 0.2694,
w
cadou.spini
= 0.3548, w
vreme
= 0.1255. (8.22)

Pentru predicie, s-au folosit datele din tabelul 8.4. Ultima coloan
indic rezultatele.
Este clar c aceast abordare de a considera pur i simplu toate
atributele fr a lua n calcul structura compus a domeniului nu este
viabil. Prin urmare, modelul NNGEP trebuie extins astfel nct s trateze
instane compuse i s creeze hiperdreptunghiuri de astfel de instane.
De vreme ce procesul de generalizare este imediat (exemplarele sunt
extinse pentru a include instane compuse pe fiecare dimensiune/atribut),
problema este gsirea unei metrici potrivite pentru calcularea distanei dintre


169
instane compuse, problem echivalent cu gsirea unei metrici pentru
distana dintre exemplarele generalizate.

Tabelul 8.4. Datele pentru predicie n domeniul dispoziiei Mariei
Cadou.culoare Cadou.nlime Cadou.spini Vreme Clasa dorit Clasa prezis
galben 35 da soare bun rea GREIT
rou 30 nu soare rea rea GREIT
alb 40 da soare rea rea OK
alb 20 nu soare bun bun OK
galben 15 nu soare bun bun OK
rou 10 nu soare bun bun OK
verde 50 da soare rea rea OK
galben 35 da ploaie rea rea OK
alb 20 nu ploaie rea bun GREIT
verde 70 nu soare rea bun GREIT

n formalizarea matematic a spaiilor conceptuale (Grdenfors,
2000), Aisbett i Gibbon (2001) sugereaz folosirea distanei Hausdorff ca
msur pentru regiunile convexe din spaiile conceptuale:

( ) ( ) ( ) ( )
|
.
|
\
|
=
e
e
e
e
) , ( inf sup , ) , ( inf sup max ) , ( b a d b a d B A d
A a
B b
B b
A a
H
, (8.23)

unde A i B sunt dou regiuni date iar d() este o funcie distan ntre dou
puncte.
Pentru situaia dat, putem considera hiperdreptunghiurile drept
regiuni convexe i intenionm s gsim o distan adecvat ntre ele. De
asemenea, metrica pentru distan trebuie s menin compatibilitatea cu
distana dintre instane i hiperdreptunghiuri folosit pn acum. Dac se
utilizeaz metrica Hausdorff, cnd se consider o instan ca fiind un
hiperdreptunghi a crui mrime pe orice dimensiune este nul, distana este
cea prezentat n figura 8.5.

Figura 8.5. Distana Hausdorff i distana dorit
dintre o instan i un hiperdreptunghi


170
Pentru a menine compatibilitatea, putem utiliza funcia min n loc de
max:

( ) ( ) ( ) ( )
|
.
|
\
|
=
e
e
e
e
) , ( inf sup , ) , ( inf sup min ) , ( b a d b a d B A d
A a
B b
B b
A a
. (8.24)

Distana total este aceeai ca n NNGEP standard (ecuaia 8.18).
Doar distana dintre valorile atributelor pe dimensiuni individuale se
modific. Formula pentru calcularea distanei dintre dou hiper-
dreptunghiuri este cea din relaia (8.25).

( )
( )
( )
( )
|
|
.
|
\
|

=
simbolic este dac
,
) ( card
) ( ) ( card
,
) ( card
) ( ) ( card
min
numeric este dac
), | ) ( ) ( | |, ) ( ) ( | min(
) , ( sau ) , ( dac , 0
) , (
2
1 2
1
2 1
2 1 2 1
1 2 2 1
2 1
i
i
i i
i
i i
i
i i i i
i
D
H symbols
H symbols H symbols
H symbols
H symbols H symbols
D
H maxval H maxval H minval H minval
H H Contine H H Contine
H H d
(8.25)

unde symbols
i
(H) este mulimea de valori simbolice ale lui H pentru
dimensiunea/atributul i.
Distana astfel definit are avantajul simetriei. Totui, experimentele
din psihologie arat c oamenii nu percep distana dintre concepte ca fiind
neaprat simetric (Miclea, 1999). Revenind la exemplul de la nceputul
paragrafului 8.2.3, un european poate considea o nuc de cocos ca fiind mai
asemntoare cu un mr dect un mr cu o nuc de cocos, deoarece mrul
are mai multe valori cunoscute ale atributelor dect nuca de cocos.
Folosind relaia (8.25), se introduce distana unilateral dintre
concepte pe o dimensiune simbolic drept:

( )
( ) ) ( card
) ( ) ( card
) , (
1
2 1
2 1
H symbols
H symbols H symbols
H H d
i
i i
u
i
= , (8.26)



171
unde card reprezint cardinalitatea unei mulimi iar symbols
i
este mulimea
de valori simbolice corespunztoare dimensiunii i.
n exemplul cu mrul i nuca de cocos, fie n numrul valorilor
comune ale atributelor, m numrul valorile atributelor caracteristice mrului
dar nu i nucii de cocos, iar c numrul valorilor atributelor caracteristice
nucii de cocos dar nu i mrului, cu m > c. Deci ) /( ) , ( m n m C M d
u
+ = i
) /( ) , ( c n c M C d
u
+ = . Putem vedea n continuare c:

0
) )( (
) (
) )( (
) ( ) (
) , ( ) , ( >
+ +

=
+ +
+ +
=
c n m n
c m n
c n m n
m n c c n m
M C d C M d
u u
,(8.27)

ceea ce implic ) , ( ) , ( M C d C M d
u u
> i ) , ( ) , ( M C s C M s
u u
< , deoarece
similaritatea este o funcie exponenial negativ de distan. (q.e.d.)
Pentru conceptul compus de plant, trebuie mai nti identificate
subclusterele care corespund varietilor de trandafir necesare pentru
antrenare (tabelul 8.5).

Tabelul 8.5. Datele de antrenare pentru varietile de trandafir
Culoare nlime Spini Nume
rou 30 da trandafir_rou
rou 40 da trandafir_rou
alb 40 da trandafir_alb
galben 35 nu trandafir_galben

Hiperdreptunghiurile pentru aceste tipuri sunt urmtoarele:

Clasa trandafir_rou (2 instane)
culoare: {rou} Mod: rou (2)
nlime: [30, 40] Prototip: 35.0000 (5.0000)

Clasa trandafir_alb (1 instan)
culoare: {alb} Mod: alb (1)
nlime: [40, 40] Prototip: 40.0000 (0.0000)

Clasa trandafir_galben (1 instan)
culoare: {galben} Mod: galben (1)
nlime: [35, 35] Prototip: 35.0000 (0.0000)
spini: {nu} Mod: nu (1)


172
Chiar dac exist mai multe varieti ale clasei trandafir, trandafirul
nsui nu poate fi considerat un concept compus, deoarece toate varietile
sunt definite pe aceeai mulime de atribute. Exemplarele pentru cactus i
panselu sunt aceleai ca mai sus.
Exemplarele generalizate gsite de NNGEP sunt:

plant: {trandafir_rou, trandafir_alb, cactus} Mod:
trandafir_rou (2)
vreme: {soare, ploaie} Mod: soare (3)

plant: {trandafir_galben, panselu} Mod:
trandafir_galben (1)
vreme: {ploaie} Mod: ploaie (2)

Clasa bun (2 instane)
plant: {trandafir_galben, panselu} Mod:
trandafir_galben (1)
vreme: {soare} Mod: soare (2)


w
plant
= 0.5765, w
vreme
= 0.4235. (8.28)

Lund n considerare relaiile (8.21), rezult c dac o instan este
specificat de mulimea complet a atributelor sale, ponderile globale sunt:

w
cadou.culoare
= 0.1852, w
cadou.nlime
= 0.2577,
w
cadou.spini
= 0.1336, w
vreme
= 0.4235, (8.29)

unde se nmulete w
plant
cu fiecare din ponderile normalizate ale
domeniului plantelor (w
culoare
, w
nlime
, and w
spini
).
Aceste valori sunt clar diferite de cele exprimate de relaiile (8.22).
Se observ c prediciile din tabelul 8.6 sunt n mod semnificativ mai bune
dect nainte, cu numai o singur eroare.
Mai trebuie s examinm cauza clasificrii greite a instanei (rou,
30, nu, soare). n tabelul 8.2 putem vedea c instana (rou, 30, nu) a fost
clasificat ca trandafir. Cnd am extins domeniul plantelor, exemplarul
global trandafir a fost ignorat i instana a fost categorizat ca panselu,
dup cum arat tabelul 8.7.


173
Tabelul 8.6. Datele pentru predicie
n domeniul compus dispoziia Mariei
Culoare nlime Spini Vreme Clasa dorit Clasa prezis
galben 35 da soare bun bun OK
rou 30 nu soare rea bun GREIT
alb 40 da soare rea rea OK
alb 20 nu soare bun bun OK
galben 15 nu soare bun bun OK
rou 10 nu soare bun bun OK
verde 50 da soare rea rea OK
galben 35 da ploaie rea rea OK
alb 20 nu ploaie rea rea OK
verde 70 nu soare rea rea OK

Tabelul 8.7. Distana de la instana excepie
la exemplarele generalizate ale domeniului
Clasa Distana
trandafir 0
panselu 0.0557
cactus 0.2506
trandafir_rou 0.1605
trandafir_alb 0.2506
trandafir_galben 0.1898

Pentru a avea o clasificare precis, trebuie luate n considerare toate
informaiile despre structura domeniului. n aceast situaie poate fi
adecvat o metodologie ierarhic. Astfel, o nou instan poate fi
descompus n mulimi de valori ale atributelor aparinnd unor domenii
simple, clasificarea se poate face separat pe fiecare domeniu i apoi se pot
impune constrngeri asupra clasificrii globale altfel nct s fie validate
clasificrile pariale de nivel nalt.
Pentru cazul luat n discuie, instana (rou, 30, nu) este clasificat
mai nti ca un trandafir n domeniul plantelor pe nivelul superior. Apoi,
cnd se calculeaz distanele fa de exemplarele domeniului cu varietile
de trandafir, numai exemplarele trandafir_rou, trandafir_alb i
trandafir_galben vor fi luate n considerare iar instana va fi categorizat ca
trandafir_rou. O modalitate de a impune modificrile n categorizarea
global este prin nlocuirea valoarii instanei cu o valoare prototip pe
dimensiunile n care aceasta difer cel mai mult fa de prototip. Aici,
valoarea atributului spini se modific din nu n da, deoarece da este
valoarea modal a atributului spini n clasa trandafir_rou. Acest fenomen


174
poate fi perceput i n prelucrrile cognitive umane, unde odat ce un obiect
a fost clasificat, diferenele fa de valorile prototipice (obinuite) sunt
ignorate i tratate ca excepii. n acest mod, clasificarea poate fi mbuntit
suplimentar, chiar dac aceast cretere a performanelor se realizeaz pe
seama timpului de prelucrare/reacie.

8.3 nvarea deductiv
Pn de curnd, metodele inteligenei artificiale se bazau pe dou
paradigme principale: simbolic i conexionist. Metodele simbolice extind
logica clasic i sunt utilizate mai ales pentru rezolvarea automat de
probleme i raionament, pe cnd metodele conexioniste, subsimbolice sunt
folosite de obicei pentru recunoaterea modelelor i aproximri funcionale.
Prima are avantajul reprezentrii explicite a cunotinelor ns nvarea este
dificil, iar a doua are avantajul posibilitii de nvare, dar aceste modele
sunt numite cutii negre (engl. black box) ntruct reprezentarea
cunotinelor nu este explicit.
Psihologia cognitiv definete un sistem cognitiv drept un sistem
fizic cu dou caracteristici: de reprezentare i de prelucrare. Pentru modelul
propus (Zaharia, Leon & Glea, 2004b), aceste dou componente vor fi
prezentate n paragrafele urmtoare.

8.3.1 Modelul unui context de nvare
Informaiile nu sunt primite i codificate izolat. Fiecare informaie
este legat de alte informaii, apropiate din punct de vedere spaial, temporal
sau semantic. Acesta este motivul pentru care mici fragmente ale
circumstanelor nvrii pot determina reamintirea ntregii situaii (Miclea,
1999).
Schemele sunt structuri mentale ipotetice pentru stocarea n memorie
a conceptelor generice, a informaiilor categorizate adecvat. Ele pot fi
privite ca un tip de structur general pentru reprezentarea cunoaterii.
Schemele sunt similare cu definiiile de tip (structurile). Un tip de concept
poate avea cel mult o definiie, dar arbitrar de multe scheme. Schemele se
consider c stocheaz cunotine generice, abstracte sau prototip, adic
ncapsuleaz regularitile percepute n experienele din care au existat mai
multe instane particulare. Odat formate, ele sunt folosite pentru ghidarea
ulterioar a codrii, organizrii i regsirii informaiilor (Leon, Glea &
Zbancioc, 2002).
Definim un context de nvare ca o mulime de scheme nrudite
semantic care sunt conectate direct sau indirect n reprezentare:


175
{ } 1 ) , ( , , | = = e e =
j i j i
s s link j i S s S s LC , (8.30)

unde } 1 , 0 { :
2
S link este definit precum urmeaz:

= e - v -
=
altfel
s s link s s link S s s s directlink
s s link
j k k i k j i
j i
, 0
) 1 ) , ( ) , ( , ( ) , ( , 1
) , ( (8.31)

Baza de cunotine (engl. knowledge base) a agentului conine
mulimea contextelor de nvare:

{ } n i LC KB
i
, 1 | = = , (8.32)

unde n este numrul de contexte de nvare din baza de cunotine.
Definim un concept drept orice element al limbajului natural care
poate avea un neles n mod independent. Dintr-o perspectiv funcional,
un concept poate reprezenta un obiect, o aciune sau un atribut.
Baza de cunotine este reprezentat ca o reea neuronal localizat,
n care nodurile corespund conceptelor. Acelai concept poate aprea n
contexte de nvare diferite care i pot da diferite interpretri. De aceea, este
necesar diferenierea ntre dou tipuri de noduri: noduri simple de
prelucrare i noduri dicionar. Un nod dicionar este un nod care
corespunde unic unui concept din limbajul natural. Un nod de prelucrare
poate fi conectat att cu un nod dicionar, ct i cu unul sau mai multe
noduri de prelucrare. Nodurile de prelucrare sunt folosite pentru prelucrarea
efectiv a informaiilor, n timp ce nodurile dicionar preiau rezultatele
calculelor interne i acioneaz ca o interfa pentru comunicaiile externe.
Aceast distincie este bazat de asemenea pe modelul minii umane,
unde exist zone speciale de prelucrare a limbajului (Penrose, 1996; Sikes,
2002). Dou zone foarte importante sunt zona Broca, o regiune situat n
partea inferior posterioar a lobului frontal i zona Wernike, situat n
interiorul i n jurul prii superior posterioar a lobului temporal. Zona
Broca contribuie la formularea propoziiilor, iar zona Wernike este
rspunztoare de nelegerea limbajului.
La fel ca ntr-o reea neuronal clasic, nodurile sunt legate prin
conexiuni cu anumite ponderi. Ponderile conexiunilor pot fi pozitive
(conexiuni excitatoare) sau negative (conexiuni inhibitoare). Nodurile au
funcii de activate sigmoide bipolare fr valori prag:


176

s
s
s
s
=
+
=
e 1
e 1
1
e 1
2
) f( . (8.33)

8.3.2 Dinamica nvrii
Pe msur ce agentul primete noi informaii, el i construiete
structura cognitiv prin adugarea sau actualizarea conexiunilor dintre
nodurile corespunztoare conceptelor pe care trebuie s le prelucreze.
nvarea poate aprea n patru situaii:
- nvarea conceptelor: Cnd agentul descoper un nou concept, el
creeaz un nou nod dicionar care memoreaz conceptul i un nou
nod de prelucrare n contextul de nvare curent, care este conectat
cu primul;
- Definirea conceptelor: Cnd un agent ntlnete definiia unui
concept, adic un concept-obiect este descris de o serie de concepte-
atribut, el gsete nodurile de prelucrare corespunztoare conceptelor
din definiie i apoi creeaz sau actualizeaz conexiunile dintre nodul de
prelucrare al conceptului-obiect i nodurile de prelucrare ale
conceptelor-atribut;
- Rezolvarea de probleme: Cnd agentul trebuie s rezolve o problem
deductiv, adic s gseasc o cale n structura bazei sale de
cunotine care s lege un concept-obiect de un concept-atribut, el
actualizeaz ponderile conexiunilor de pe cale (dac poate fi gsit o
cale) i creeaz o nou conexiune direct ntre nodul de prelucrare al
conceptului-obiect i nodurile de prelucrare ale conceptului-atribut.
Dac este gsit o cale, acestei noi conexiuni i se acord o pondere
pozitiv; altfel, i se acord o pondere negativ;
- Deprecierea ponderilor: Acest mecanism poate fi asemnat cu
uitarea n contextul biologic. Dei nvarea i uitarea par antonimice
n limbajul comun, n cadrul prezentului model definim nvarea
ntr-un sens mai general, care se refer la schimbrile survenite n
valoarea ponderilor conexiunilor de memorie. Astfel, uitarea
nseamn scderea valorii absolute a ponderilor conexiunilor nainte
ca un nou context s fie nvat.

8.3.3 nvarea conceptelor
Fie C un nou concept ntlnit de agent. n acest caz sunt automat
create dou noduri: un nod dicionar ) (C N
d
i un nod de prelucrare
p
N .
Ele sunt apoi legate prin dou conexiuni unidirecionale, ale cror ponderi


177
sunt iniializate precum urmeaz:

1
)) ( , ( ) ), ( ( n = = C N N weight N C N weight
d p p d
, (8.34)

unde
1
n este rata de nvare.
Cele dou conexiuni sunt necesare deoarece, la fel ca n cazul minii
umane, o imagine mental poate fi activat prin nelegerea cuvntului
corespunztor sau, invers, o imagine mental poate determina gsirea unui
cuvnt care s o descrie.
O valoare acceptabil pentru
1
n este 0.2 (vezi paragraful 8.3.7).

8.3.4 Definirea conceptelor
n acest caz, agentul descoper o relaie ntre un concept-obiect
obj
C
i o mulime de concepte-atribut { }
i
attr
C . Relaia poate fi pozitiv sau
negativ, de exemplu George este nalt sau Floarea nu e roie.
Algoritmul de nvare este:

find the dictionary node N
d
(C
obj
) associated with C
obj

find the processing node N
po
linked to N
d
(C
obj
)
foreach concept C
attr
in {C
i;attr
}
begin
d
(C
attr
)
associated with C
attr

pa
linked to N
d
(C
attr
)
if the relation is excitatory then
weight(N
po
, N
pa
) weight(N
po
, N
pa
) +
2

else // relaia este inhibitoare
weight(N
po
, N
pa
) weight(N
po
, N
pa
) -
2

end-if
end-for

Trebuie precizat faptul c aceste conexiuni unidirecionale sunt
create doar de la conceptul-obiect ctre fiecare concept-atribut. Motivul este
evident: Cinele este animal este o propoziie adevrat, ns Animalul
este cine este fals, ntruct nu orice animal este un cine.
Se utilizeaz aici o alt rat de nvare,
2
n , care poate fi iniializat
cu 0.1. Dac o conexiune nu exist, ea este creat i ponderea ei este setat
la
2
n or
2
n , conform polaritii relaiei.



178
8.3.5 Rezolvarea de probleme
n cadrul modelului prezentat mai sus, definim o problem deductiv
drept o ncercare de gsire a unei ci n spaiul conceptelor n reprezentare
intern ntre un concept-obiect i un concept-atribut.
Soluia propus intenioneaz s reflecteze analogia cu modelul
memoriei umane. n mod tradiional, psihologia distinge dou tipuri de
memorie: de lung durat i de scurt durat (Miclea, 1999; Zlate, 1999).
Memoria de lung durat (MLD) stocheaz n special informaii de mare
importan i utilitate pentru viaa individului. Memoria de scurt durat
(MSD) permite prelucrarea informaiilor recente, imediate, care au doar o
importan momentan. n timp ce memoria de scurt durat d consisten
i neles momentului, memoria de lung durat asigur continuitatea
ntregului curs al vieii.
Diferite experimente au artat c aceste dou tipuri de memorie se
difereniaz nu doar prin coninut, ci au i caracteristici distincte:
- Capacitate: MSD are o capacitate de 2 7 componente (engl.
chunks) informaionale; MLD are o capacitate aproape nelimitat;
- Tipul de codificare a informaiei: n MSD codificarea are n
principal un caracter verbal (fonologic) sau imagistic (stocheaz
modele de sunete sau imagini); n MLD exist o codificare
semantic;
- Meninerea informaiilor: n MSD meninerea este realizat prin
repetiie continu; n MLD este realizat prin repetiii elaborative
care formeaz asociaii ntre entitile existente;
- Regsirea informaiilor: n MSD, regsirea se presupune a avea un
caracter serial (de exemplu reamintirea unei entiti dintr-o list
prezentat anterior se realizeaz prin compararea entitii cu toate
celelalte entiti din list); n MLD se presupune a avea un caracter
paralel (de exemplu utilizarea limbajului).
Cercetrile recente din psihologia cognitiv propun un model
unificat, n care MSD i MLD nu sunt structuri mnezice separate.
Diferenele au o natur funcional, nu structural, i rezult n special din
nivelurile diferite de activare. MSD este cauzat de activarea temporar a
unor pri din MLD.
n modelul propus, avem de asemenea o memorie de scurt durat
(sau de lucru):

{ } 0 ) ( | > e =
i i
nod activare MLD nod MSD . (8.35)


179
Cnd un agent trebuie s rezolve o problem, el activeaz succesiv
diferite noduri din memorie, formnd astfel o cale de activare de la
conceptul-obiect la conceptul-atribut.
Algoritmul de gsire i nvare a cii este urmtorul:

d
(C
obj
) associated with C
obj

d
(C
attr
) associated with C
attr

activation(N
d
(C
obj
)) 1 // activeaz nodul dicionar N
d
(C
obj
) asociat cu C
obj

activation(N
d
(C
attr
)) 1 // activeaz nodul dicionar N
d
(C
attr
) asociat cu C
attr

N = N
d
(C
obj
)
solution not found

while solution is not found and
the set of non-activated nodes is not void
begin
if there exists a direct connection from N to
N
d
(C
attr
) then
solution found
break while
end-if

// se iau n calcul valorile absolute ale ponderilor
find the maximum weighted direct connection
from N to a non-activated node N
next

// activeaz nodul N
next
prin aplicarea funciei de activare asupra netinput-ului
activation(N
next
) tanh(activation(N) * weight(N, N
next
))

// evit conexiunile inhibitoare
if activation(N
next
) > 0 then
N N
next
end-if

// o conexiune inhibitoare sugereaz posibilitatea, nu certitudinea,
// c o cale nu va fi gsit
if activation(N
next
) < 0 and
the dictionary node associated with N
next
is N
d
(C
attr
)
then
display warning (path may not be found) or
break while

end-if

end-while



180
po
linked to N
d
(C
obj
)
pa
linked to N
d
(C
attr
)

if solution is found then
foreach connection CN on the path from N
d
(C
obj
) to N
d
(C
attr
)
weight(CN) weight(CN) +
3
end-for
weight(N
po
, N
pa
) weight(N
po
, N
pa
) +
2

else
weight(N
po
, N
pa
) weight(N
po
, N
pa
)
2

end-if

Se observ faptul c pe calea de la conceptul-obiect la conceptul-
atribut ponderile conexiunilor sunt mrite de fiecare dat cnd problema e
rezolvat. De aceea, cu ct este mai mare ponderea unei conexiuni, cu att
este mai mare probabilitatea ca acea conexiune s fie util i pentru
rezolvarea problemei curente. Prin analogie cu mintea uman, cnd oamenii
ncearc s rezolve o problem, ei tind s aplice mai nti metodele pe care
le-au folosit mai des i s-au dovedit ncununate de succes.
Dup ce se trage o concluzie, se creeaz sau se actualizeaz
conexiunea direct de la conceptul-obiect la conceptul-atribut. Odat ce
problema este rezolvat, rezultatele pot fi aplicate direct pentru sarcinile
ulterioare, fr a mai trebui rezolvat problema din nou. Totui, acest lucru
s-ar putea s nu fie simplu la nceput. Pn cnd un subiect se obinuiete cu
o nou abordare, s-ar putea s-i fie mai uor s foloseasc metodele
anterioare, chiar dac acestea necesit un timp mai ndelungat pentru
rezolvarea problemei.
Pentru a simula acest comportament, s-a ales o a treia rat de
nvate, 05 . 0
3
= n . El poate fi vzut ca o generalizare a regulei de nvare
hebbian (Hebb, 1949), care afirm c schimbarea ponderii unei conexiuni
este proporional cu produsul intrrii i ieirii acelei conexiuni. n modelul
propus am simplificat aceast idee astfel nct ponderea unei conexiuni este
mrit sau micorat n conformitate cu semnul produsului dintre activrile
nodurilor de intrare i ieire. n consecin, dac se gsete o cale cu activri
pozitive care rezolv problema, atunci tuturor conexiunilor de pe acea cale li
se vor mri ponderile cu rata de nvare. Micorarea celorlalte conexiuni nu
este necesar, deoarece acestea nu sunt neaprat inutile. Dac nu au ajutat la
gsirea unei anumite soluii, asta nu nseamn c nu vor ajuta la gsirea unei
alte soluii n viitor.
Utilizarea nodurilor activate mpiedic apariia buclelor infinite


181
pentru definiii circulare. Dac pe parcursul procesului de nvare agentul
atinge un nod activat anterior (care nu este soluia), pur i simplu l ignor i
trece la urmtorul nod neactivat.

8.3.6 Deprecierea ponderilor
Dup nvarea unui context, sau oricnd este necesar acest lucru,
valoarea absolut a ponderilor conexiunilor este micorat cu un factor
proporional, 1 <
f
n :

foreach connection CN
weight(CN) weight(CN) *
f
end-for

Exist dou motive pentru aceast operaie. Primul este evitarea
saturrii funciei sigmoide. Dac valorile ponderilor ar crete nelimitat,
funcia de activare ar produce rezultate din ce n ce mai apropiate de 1 sau
1. Prin meninerea ponderilor ntr-un interval acceptabil, efectele nvrii
sunt difereniate mai precis. Al doilea motiv este c prin micorarea
valorilor, experienele noi devin mai importante dect cele vechi. O valoare
acceptabil pentru factorul de depreciere a ponderilor este 0.8.

8.3.7 Alegerea ratelor de nvare
Pe parcursul procesului de nvare n cadrul modelului cognitiv
propus sunt folosite trei rate de nvare:
-
1
n : rata de nvare utilizat pentru iniializarea ponderii conexiunii
dintre nodul dicionar al unui concept nou ntlnit i nodul su de
prelucrare corespunztor;
-
2
n : rata de nvare utilizat pentru iniializarea i actualizarea
ponderii conexiunii dintre oricare dou noduri din memorie n alte
situaii dect cea anterioar;
-
3
n : rata de nvare utilizat pentru creterea ponderilor conexiunilor
pe calea de la un concept-obiect la un concept-atribut atunci cnd
este rezolvat o problem deductiv.
Aceste rate de nvare trebuie s verifice urmtoarea relaie:

3 2 1
n n n > > . (8.36)



182

1
n dicteaz puterea cu care simbolul (de exemplu cuvntul) care
desemneaz un concept este legat de reprezentarea intern. Am presupus c
aceast putere trebuie s fie mai mare sau cel puin egal cu puterea cu care
sunt legate dou reprezentri interne (
2
n ), pentru a sublinia importana
interfeei lingvistice cu exteriorul, adic comunicarea cu utilizatorul sau cu
ali ageni. De asemenea,
2
n trebuie s fie mai mare dect
3
n pentru a
asigura faptul c o nou conexiune direct ntre doi termeni ai unei
probleme deductive va putea atinge n cele din urm o putere mai mare
dect calea utilizat pentru gsirea soluiei, astfel nct dup ce agentului i
se prezint problema de cteva ori, acesta s poat alege calea direct.

8.4 Ageni inteligeni pentru e-learning
E-learning-ul este definit n general ca instruirea bazat pe mijloace
electronice. Indiferent dac accesul utilizatorului se realizeaz prin browser
(n Internet sau ntr-un intranet) sau prin alte mijloace, precum CD-ROM-
urile, tendina principal este creterea flexibilitii i disponibilitii prin
utilizarea avantajelor puse la dispoziie de continua expansiune a reelei
mondiale World Wide Web. E-learning-ul a fost n permanen perfecionat,
astfel nct acum poate include animaii bazate pe context, simulri i
sarcini interactive, pe lng metodologia clasic audio-video.
Coninutul poate fi transmis n cadrul unor forumuri de discuii
electronice, prin cursuri la distan, documente i teste online i poate spori
eficiena leciilor datorit eficienei din punctul de vedere al costurilor.
Dintre avantajele principale, se pot meniona (CarsonMedia, 2003):
- Instruire promt: Utilizatorii pot fi instruii dup cum le permite
programul i dup ritmul fiecruia. Aceast mare disponibilitate
ajut angajaii s-i organizeze mai bine timpul;
- Funcionare bazat pe browser: Coninutul este prezentat n mediul
familiar al unui browser. Muli angajai sunt conectai la reeaua unei
companii sau au acces la Internet;
- Uurin n actualizare: Modificrile sunt realizate pe serverul care
stocheaz coninutul, iar actualizarea poate fi accesat imediat;
- Disponibilitate global: cursurile de e-learning pot fi accesate
practic de oriunde, ceea ce implic anularea costurilor de distribuie
pentru utilizatori distribuii geografic.
Numeroi cercettori au studiat modalitile n care e-learning-ul
poate fi realizat practic. Dou tehnologii au anse mari de a contribui la
implementarea cu succes a sistemelor de e-learning (Hill, 2003):


183
- Vortalurile (portaluri verticale sau ni): Sunt portaluri specializate
i dedicate care adapteaz strategii specifice de nvare colaborativ
cu scopul creterii performanelor i furnizrii informaiilor
necesare. Un portal de nvare trebuie s prezinte interfee diferite
pentru diferite tipuri de utilizatori: o anumit interfa pentru un elev
vizual, o alta pentru un elev auditiv i alta pentru unul kinestezic. Pe
msur ce utilizatorul capt experien, opiunile selectate frecvent
trebuie s le nlocuiasc pe cele iniiale, implicite. Cu ct portalul
este mai individualizat, cu att mai mare este i impactul su;
- Agenii inteligeni: Sunt instrumente care pot gestiona
suprancrcarea informaional, pot servi ca experi teoretici i pot
crea medii de programare pentru utilizatori. n acest mod, procesul
de nvare este intensificat prin existena mai multor ageni (a
sistemelor multiagent) care colaboreaz sau concureaz pentru
ndeplinirea unor scopuri prestabilite. Agenii inteligeni trebuie s
fie capabili s modeleze utilizatorul pentru a-i putea memora
cunotinele, aptitudinile i stilul de nvare.
Agenii inteligeni pentru e-learning sunt instrumente software
autonome corelate cu alte programe de aplicaii i baze de date care ruleaz
ntr-un mediu computerizat. Funcia principal a unui agent inteligent de e-
learning este cea de a-l ajuta pe utilizator s interacioneze cu o aplicaie
care prezint un domeniu de nvare. Dup cum am menionat, agenii i
regsesc potenialul educaional pe trei dimensiuni principale (Baylor,
1999): pot gestiona suprancrcarea informaional, pot servi ca experi
pedagogici i pot crea chiar medii de programare pentru utilizatorul elev.
n timp ce conceptul de nvmnt la distan asigur un acces
virtual mai convenabil pentru elevii din orice locaie geografic, el introduce
i unele limitri i deficiene (Jafari, 2001), mai ales din perspectivele
comunicrii, colaborrii, pedagogiei i administrrii cursului. Una din
limitrile cele mai importante apare datorit lipsei de interaciune direct
dintre profesor i elev. Utiliznd agenii inteligeni ntr-un mediu de
nvare, unele dintre aceste restricii pot fi depite.
Astfel, un agent inteligent trebuie s fie ntotdeauna disponibil
pentru cursani, trebuie s neleag i s interpreteze problemele
utilizatorilor (ntrebri i cereri), s aib sau s cunoasc un set de aciuni
care s se activeze n conformitate cu recunoaterea necesitilor elevului,
iar rspunsurile i deciziile trebuie s depind de programul cursului, de


184
progresele elevului, de problemele sale individuale i interesele sale speciale
(Gadomski & Fontana, 2001).

8.4.1 Evoluia paradigmelor calculului distribuit
Din punctul de vedere al calcului distribuit, o problem foarte
important este creterea asincronicitii comunicaiilor n scopul scderii
costurilor comunicaiei. O paradigm clasic n calculul distribuit este
metoda client-server. Serverul gestioneaz un numr de servicii legate de
diferite resurse. Clientul pur i simplu utilizeaz serviciile de care are
nevoie. Este important de subliniat c serviciile sunt executate pe server,
care trebuie s aib codul i puterea de calcul necesare pentru a satisface
cererile clienilor. Numeroase tehnologii suport aceast paradigm (Orfali
& Harkey, 1998): RPC (Remote Procedure Calling), CORBA (Common
Object Request Broker Architecture), RMI (Remote Method Invocation).
O alt abordare este paradigma cod la cerere (engl. code on demand). n
acest caz, dac o main (clientul) nu tie cum s execute un task, adic nu
are codul necesar, poate gsi o alt main n reea (serverul) care s aib
codul dorit. Serverul trimite clientului numai codul de executat i toate
calculele se desfoar pe maina client (Lange, 2001). Exemple ale acestei
paradigme sunt applet-urile Java, care sunt descrcate de pe Internet i sunt
executate local. Astfel, clientul nu are nevoie de o conexiune permanent cu
serverul, deoarece el trebuie numai s-i transfere codul necesar.
O paradigm recent este cea bazat pe ageni. Agenii mobili se
definesc ca programe care pot fi transferate (engl. dispatched) de pe un
calculator pe altul pentru execuie i interaciune cu ali ageni (Harrison,
Chess & Kershenbaum, 1995). Ei nu sunt fixai pe sistemul unde ncep
execuia, ci se pot deplasa pe diferite maini din reea. Astfel, sistemul
devine foarte flexibil deoarece calculele pot fi realizate pe oricare main
prin intermediul agenilor, care se pot muta n scopul obinerii resurselor i
puterii de calcul necesare pentru ndeplinirea task-urilor. Lange i Oshima
(1999) menioneaz apte motive pentru utilizarea agenilor mobili ntr-o
aplicaie distribuit: agenii reduc ncrcarea reelei prin reducerea fluxului
de date brute prin reea, rezolv parial problema latenei reelei n sistemele
de timp real, ncapsuleaz protocoale, adic stabilesc canale pentru
comunicaie, execuie este asincron i autonom, adaptare este dinamic
(agenii percep mediul i se pot adapta la schimbri), eterogenitate,
robustee i toleran la erori.
Agenii mobili pot fi o abordare eficient pentru calculele distribuite
sau cutarea de date, deoarece n acest mod se evit transferul costisitor al


185
unui volum mare de date prin reea. Totui, mobilitatea impune creterea
complexitii agentului inteligent, deoarece trebuie luate n considerare
securitatea i costul (Seydim, 1999).
Dac agentul trebuie s acioneze n numele utilizatorului, trebuie s
i se asigure o metod de autentificare corespunztoare pentru mainile
gazd. n acest scop, trebuie implementate sisteme de securitate pentru
prevenirea abuzurilor. Pn n prezent au fost propuse numai cteva sisteme
care trateaz aceste probleme dificile, precum anularea unui certificat de
autentificare sau restricionarea lui ntr-o anumit manier (Waldo, 2001).
Mai mult, dac agentul trebuie s se autentifice, apare urmtoarea problem:
cnd are loc aceasta? ntruct agentul este un obiect activ, la momentul n
care destinatarul devine contient de prezena agentului, acesta ruleaz deja
i deci are posibilitatea potenial de a ataca maina gazd. Invers, dac
agentul transport informaii importante, cum poate ti el dac destinaia
este de ncredere?
O alt problem care trebuie luat n considerare este modelul
eecului agentului. ntr-un LAN se poate garanta funcionarea staiilor. n
alte tipuri de reele (n special pe Internet), acest lucru este imposibil. Astfel,
proiectantul trebuie s aib n vedere perioada dintre momentul la care
utilizatorul trimite un agent i momentul la care trebuie s trimit altul
fiindc primul nu s-a ntors nc.
O soluie la aceste probleme este nzestrarea agenilor cu un anumit
grad de inteligen care le sporete flexibilitatea i capacitatea de adaptare la
un mediu dinamic.

8.4.2 Structura sistemului propus
Sistemul propus const dintr-un numr de servere de ageni care au
capacitatea de a gzdui i transporta ageni n reea. De asemenea, pe servere
exist baze de cunotine pe care agenii le pot consulta prin intermediul
cte unui agent local static de baze de cunotine.
Agenii au o arhitectur BDI (engl. beliefs-desires-intentions),
bazat pe o triplet de convingeri, dorine i intenii (Rao & Georgeff,
1991). Se va descrie mai nti tipul de informaii pe care l pot gestiona
agenii. S-a studiat posibilitatea ca agenii s caute cunotine distribuite
pentru un sistem de e-learning. Astfel, s-a presupus c entitile de
cunoatere (engl. knowledge items) pot fi de dou tipuri (Glea, Leon &
Zaharia, 2003):
- perceptive: cunotine pe care utilizatorul care nva le poate


186
nelege direct, fr informaii anterioare (de exemplu conceptul de
numr natural sau culoare);
- extinse: cunotine care necesit nelegerea anterioar a altor
concepte (de exemplu un limbaj de programare nu poate fi neles
fr a ti ce este un calculator).
S-a presupus c piesele de cunoatere se bazeaz pe un numr limitat
de entiti perceptive. Sistemul a fost proiectat foarte general i flexibil,
astfel nct s nu memoreze informaii specifice, ci referine la acestea. De
exemplu, dac un anumit concept necesit un film i un text pentru a fi
nvat, agentul va gsi referina la film pe un server i apoi va cuta n
continuare conceptele necesare pentru nelegerea filmului i textului.
Agentul va descoperi de fapt un subgraf n graful de cunotine, astfel nct
toate entitile de cunoatere corespunztoare s fie direct sau indirect (prin
fii) bazate pe percepie. Nu este practic pentru un agent mobil s transporte
un film prin reea, dar este important s pstreze informaia asupra locaiei
sale, pentru ca acesta s poat fi descrcat la momentul potrivit.
Figura 8.6 prezint un exemplu de 4 entiti de cunoatere perceptive
i 16 entiti de cunoatere extinse. Pentru simplitate, am impus ca o entitate
de cunoatere extins s se bazeze pe un numr ntre doi i patru de alte
entiti de cunoatere (perceptive sau extinse).
Sintaxa general a celor dou variante este exprimat mai jos, n
format BNF (Backus-Naur Form):

<knowledge_item> := <perceptual_knowledge_item> |
<extended_knowledge_item>
<perceptual_knowledge_item > := <concept> perceptual
<extended_knowledge_item> :=
<concept> extends { <concept> }

O alt informaie permis care poate fi transferat prin coninutul
unui mesaj este lista de servere pe care se poate transporta un agent:

<server_list> := serverlist { <server_name> }

Baza de cunotine va conine entiti precum:

KI_1 perceptual
KI_2 perceptual
KI_5 extends KI_3 KI_2
KI_14 extends KI_13 KI_8 KI_12


187

Figura 8.6. Graf de cunotine

Aceast baz de cunotine este distribuit pe serverele de ageni. S-a
acceptat o redundan informaional de 20%, adic aceeai informaie se
poate regsi cu o probabilitate de 20% n mai multe baze de cunotine
locale.
Dorinele agenilor sunt iniializate aleatoriu. De exemplu, o list
precum:

KI_5 KI_7 KI_14 KI_19

va obliga agentul s gseasc o cale de la fiecare din cele patru entiti de
cunoatere ctre percepie, prin vizitarea serverelor disponibile.
Cnd un agent ajunge pe un server, el ntreab agentul local de baze
de cunotine despre definiiile conceptelor necunoscute. Agenii comunic
prin mesaje KQML (limbaj descris n paragraful 3.3.2). Dup ce agentul
static local rspunde, agentul de cutare adaug definiiile n lista sa de
convingeri i i actualizeaz dorinele. Conceptele care acum sunt definite
sunt eliminate din lista de dorine. Totui, dac conceptul extinde alte
concepte care nu sunt nc n lista de convingeri (concepte pe care agentul
nu le-a mai ntlnit), acestea trebuie adugate de asemenea n lista de
dorine.
S considerm urmtorul exemplu: agentul are ca dorin referina
KI_9. Dac primete rspunsul KI_9 extends KI_1 KI_4, el va scoate KI_9


188
din lista de dorine, va introduce rspunsul n lista de convingeri i i va
genera dou noi dorine: KI_1 KI_4. Dac va primi un rspuns la un
moment dat KI_1 perceptual, agentul nu-i va mai genera o nou dorin,
deoarece scopul su este s aduc toate referinele de entiti de cunoatere
la o baz perceptiv.
Cnd agentul local nu mai are rspunsuri, agentul de cutare alege
aleatoriu un server vecin nevizitat nc pentru a se transporta pe acesta.
Dup ce agentul a vizitat toate serverele, este posibil s mai aib nc
dorine nendeplinite. n acest caz ncepe un nou ciclu de vizitare. Procesul
continu pn cnd tuturor entitilor din lista de dorine li se gsesc
definiii perceptive directe sau indirecte. Dac agentul trebuie s gseasc
subgraful unui concept pe un nivel nalt n ierarhia conceptual, el trebuie s
gseasc o submulime cu un mare numr de elemente a mulimii de
concepte. Pentru a-i ndeplini scopul pot fi necesare mai multe cicluri de
vizitare.
Sintetiznd cele descrise mai sus, sistemul propus este compus din
trei entiti (Zaharia, Leon & Glea, 2003a):
- servere: sunt responsabile pentru asigurarea unui mediu de execuie
pentru ageni i pentru transportarea agenilor pe serverele
nvecinate;
- ageni statici de baze de cunotine: sunt ageni dispui cte unul pe
fiecare server, fiind responsabili de managementul bazei de
cunotine locale; rolul lor principal este s le furnizeze agenilor de
cutare informaiile solicitate;
- ageni mobili de cutare: sunt ageni care stocheaz informaii n
propriile baze de cunotine i care se pot muta de pe un server pe
altul pentru a-i ndeplini sarcinile.
Arhitectura general a sistemului este prezentat n figura 8.7 (ova,
Leon & Glea, 2004).
Serverele au, pe lng rolul standard de a lansa i transporta ageni,
nc dou funcii distincte. Deoarece agenii de cutare au prioriti,
serverele au responsabilitatea de a controla coada de prioriti a agenilor de
cutare, astfel nct numai un numr maxim de ageni s se poat executa la
un moment dat. n acest fel se evit suprancrcrile, ntruct dimensiunea
unei cozi poate fi stabilit dinamic, lund n calcul performanele
calculatorului unde este instalat serverul. De asemenea, serverele trebuie s
verifice certificatele de securitate astfel nct numai agenii nregistrai s
aib acces la bazele de cunotine.


189

Figura 8.7. Arhitectura sistemului multiagent distribuit

Pentru asigurarea toleranei la erori, agenii statici de baze de
cunotine pot avea posibilitatea de a se replica pe alte servere. Aceast
operaiune ar trebui realizat numai rareori, pentru a nu suprancrca reeaua
(aceti ageni pot avea dimensiuni foarte mari, n funcie de volumul
cunotinelor depozitate). De vreme ce agenii de baze de cunotine pot
salva local modificrile n bazele lor de cunotine, replicarea trebuie
considerat numai o msur extrem, cnd maina este n pericol de a fi
avariat sau izolat pentru o perioad lung de timp.

8.4.3 Performative KQML. Gramatica admis pentru cunotine
Agenii i serverele comunic prin mesaje n limbajul KQML.
Pentru implementarea sistemului s-a utilizat doar o submulime a
performativelor (indicatorilor de aciune) standard:

tell
:content <expression>
:language <word>
:ontology <word>
:in-reply-to <expression>
:force <word>
:sender <word>
:receiver <word>


190
Aceast performativ este utilizat numai atunci cnd un server i
comunic unui agent c a ajuns i c i poate ncepe execuia. Utilizarea n
program a performativei este:

(tell :sender server_x :receiver agent_y :content arrived)

ask-about
:language <word>
:ontology <word>
:reply-with <expression>
:sender <word>
:receiver <word>

Performativa ask-about este folosit de ageni pentru a pune ntrebri
agentului local de baze de cunotine n scopul descoperirii de informaii
despre entitile de cunoatere din lista de dorine:

(ask-about :sender agent_x :receiver kbserver_y :content KI_z)

broadcast
:from <word>
:ontology <word>
:language <word>
:sender <word>
:receiver <word>

Cnd agentul vrea s adreseze ntrebri celorlali ageni de pe acelai
server, el i trimite serverului o cerere de emisie:

(broadcast :sender agent_x :receiver server_w :content KI_z)

Serverul trimite ntrebarea tuturor celorlali ageni, nlocuind
destinatarul:

(ask-about :sender agent_x :receiver agent_y :content KI_z)

reply
:language <word>
:ontology <word>
:in-reply-to <expression>


191
:force <word>
:sender <word>
:receiver <word>

Aceast performativ este utilizat pentru trimiterea rspunsurilor,
att de ctre agentul local de baze de cunotine ct i de agenii de cutare:

(reply :sender kbserver_x :receiver agent_y :content ...)
(reply :sender agent_x :receiver agent_y :content ...)

Pentru cererile de expediere a agenilor pe alte servere, s-a utilizat o
performativ nestandard; trebuie menionat c n lista performativelor
standard KQML exist performativa transport-address, care se refer ns la
asocierea unui nume simbolic cu o adres (de exemplu asocierea unui nume
de agent cu adresa la care poate fi contactat acesta). Pentru a evita orice
confuzie, s-a propus performativa dispatch, cu sintaxa prezentat n
continuare:

dispatch
:content <destination server>
:sender <agent>
:receiver <host server>

n program, ea va fi utilizat astfel:

(dispatch :sender agent_x :receiver server_y :content server_z)

Se poate constata c, pentru simplificarea comunicrii, din mesaje
s-au omis informaiile referitoare la limbajul utilizat pentru coninut
(:language) i la ontologie (:ontology), care erau aceleai n toate situaiile.
De asemenea, nu s-au utilizat cmpurile :in-reply-to i :force.
Mesajele se transmit printr-o memorie comun partajat
(blackboard), concept descris n paragraful 3.4.3.

8.4.4 Comportament bazat pe stare. Comportament acionat de evenimente
Dup cum am amintit, agenii de cutare au o arhitectur BDI. Se va
analiza n cele ce urmeaz modul n care acetia rspund la apariia unor
evenimente externe i cum i reprezint intern starea. Acelai
comportament poate fi descris att ntr-o manier bazat pe stare (engl.


192
state-based), ct i ntr-o manier acionat de evenimente (engl. event-
driven).
S considerm comportamentul unui agent de cutare. El are o
mulime de dorine (care poate fi iniializat de ctre utilizator) i ajunge pe
un server. Agentul cere agentului local de baze de cunotine informaiile de
care are nevoie pentru a-i ndeplini dorinele. Pe msur ce primete
rspunsuri, el i actualizeaz convingerile i i poate genera noi dorine.
Cnd nu mai primete rspunsuri de la un server, agentul alege n mod
aleatoriu un server nevizitat nc i trimite ctre server o cerere de transport.
Alegerea se poate face n mod aleatoriu pentru a elimina tendinele
subiective asupra unei anumite direcii de parcurgere. n paragraful 8.5.6 se
va prezenta o metod de planificare dinamic a cii bazat pe metoda
nvrii cu ntrire. Cnd agentul i ndeplinete toate dorinele, se ntoarce
la serverul de origine i raporteaz utilizatorului.
O soluie este proiectarea unui comportament bazat pe stare. Pentru
comportamentul descris mai sus, agentul poate avea ase stri:
- Inactiv: Starea n care agentul se gsete n timpul transportului.
Dac primete un mesaj de la serverul pe care a ajuns, el intr n
starea interogativ;
- Interogativ: Starea n care agentul trimite o mulime de mesaje
agentului local de baze de cunotine, mesaje care corespund
dorinelor sale. Apoi agentul intr n starea de ascultare;
- Ascultare: Starea n care agentul ascult mesajele primite de la
agentul local de baze de cunotine. Pe msur ce primete noi
informaii, i actualizeaz propria baz de cunotine, mai exact
convingerile. Apoi, dac nu mai exist pe server informaii care s-l
intereseze, agentul trimite o cerere de transport i intr n starea
inactiv. Dac i-a ndeplinit toate dorinele, se transport pe severul
de origine i intr n starea de raportare. Altfel, se rentoarce n
starea interogativ;
- Transport (engl. dispatch): Agentul trimite serverului o cerere de
transport ctre un server din reea sau ctre serverul de origine dac
nu mai are dorine de ndeplinit;
- Raportare: Agentul i comunic utilizatorului convingerile i intr n
starea de suspendare;
- Suspendare: Agentul nu mai acioneaz asupra mediului; el poate
doar s fie restartat din exterior pentru o nou sarcin sau s fie
nchis dac nu mai este util.


193
O alt abordare este utilizarea unui comportament acionat de
evenimente, care corespunde paradigmei eveniment-condiie-aciune (sau
cnd-dac-atunci, engl. when-if-then). Trebuie menionat c aceast
abordare nu exclude prezena strilor. Ar fi aproape imposibil ca un agent s
acioneze cu un anumit grad de inteligen fr a-i menine unele informaii
de stare. Evenimentele pentru acelai comportament sunt prezentate n
continuare:
- Sosire (eveniment extern): Agentul este informat de ctre server c a
sosit. Dac mai exist dorine nendeplinite, agentul se pregtete s
pun ntrebri, adic i actualizeaz convingerea c serverul curent
poate fi folositor (agentul nu pune nici o ntrebare propriu-zis n
acest moment, deoarece punerea ntrebrilor ar fi o aciune
determinat de o decizie, care este un eveniment intern);
- Mesaj nou (eveniment extern): Agentul primete un mesaj de la
agentul local de baze de cunotine ca rspuns la ntrebri. n
consecin, i actualizeaz baza proprie de cunotine;
- Selecia aciunii (eveniment intern):
o Dac nu mai exist evenimente externe la care s reacioneze,
agentul i poate dovedi acum proactivitatea i preia
iniiativa;
o Dac nu mai exist dorine nendeplinite i este pe serverul
de origine, el raporteaz utilizatorului i intr n starea de
suspendare;
o Dac nu mai exist dorine nendeplinite dar nu este pe
serverul de origine, se transport pe acesta;
o Dac exist dorine dar agentul local de baze de cunotine
nu mai are informaii utile, agentul se transport pe un alt
server din reea;
o Dac agentul local de baze de cunotine mai are rspunsuri,
agentul pune ntrebrile corespunztoare dorinelor sale.
Trebuie menionat c a doua metod propus este mai bine
structurat i mai apropiat de procesele cognitive din mintea uman, dei
funcionalitatea agentului este exact aceeai n ambele cazuri.

8.4.5 Modelarea bazelor de cunotine de pe servere de ctre ageni
Comportamentul prezentat mai sus nu poate fi considerat inteligent.
Un agent i pune un numr de ntrebri agentului local pe de server. Dup
primirea unor rspunsuri, i actualizeaz baza de cunotine. Dorinele la


194
care agentul static local nu a rspuns rmn n lista de dorine, alturi de
noile dorine rezultate din prelucrarea rspunsurilor. n runda urmtoare de
ntrebri, agentul va repeta i unele din ntrebrile pe care le-a pus anterior
i la care agentul local nu are cum s rspund, pentru c nu are cunotinele
necesare. Apar deci o serie de mesaje inutile.
O prim optimizare este modelarea de ctre ageni a bazelor de
cunotine de pe servere (Leon, Zaharia & Glea, 2003a). Agenii
memoreaz ntrebrile la care nu au primit rspuns i nu le mai adreseaz
din nou aceluiai server. Memorarea nu se face totui n lista de convingeri,
ci ntr-o memorie de lucru, care pstreaz i informaiile de stare, deoarece
se poate presupune c o baz de cunotine de pe un server poate fi
actualizat ntre dou vizite ale unui agent. De aceea, la fiecare nou sosire
pe un server, aceast list de ntrebri la care nu s-a primit rspuns este
resetat.

8.4.6 Posibilitile de cooperare ntre ageni
Pentru creterea suplimentar a performanelor sistemului, s-a
introdus posibilitatea ca agenii s poat coopera pentru rezolvarea
problemelor (Leon, Zaharia & Glea, 2003b). Dac un agent local de pe un
server nu cunoate rspunsul la o ntrebare, acel rspuns poate fi cunoscut
totui de un alt agent de pe acel server, care a vizitat n prealabil un alt
server. Rspunsurile celorlali ageni pot reduce numrul de transporturi,
demonstrnd avantajele cooperrii.
Mecanismul de execuie al unui agent se modific: agentul i
adreseaz ntrebri agentului local de pe server pn cnd nu mai primete
rspunsuri, apoi adreseaz (prin intermediul serverului, care realizeaz
practic operaia de broadcast) ntrebri celorlali ageni. Dac nu primete
nici un rspuns, se transport pe alt server. Dac primete rspunsuri, i
actualizeaz baza de cunotine intern i apoi reia ntrebrile (evident,
numai ntrebrile noi) ctre agentul local de baze de cunotine, ciclul
relundu-se.
Pentru nuanarea cooperrii, s-a introdus un aa numit factor de
cooperare, care indic probabilitatea ca un agent s rspund la ntrebarea
altui agent. Un agent necooperant va avea un factor de cooperare nul, n
timp ce un agent total cooperant va avea un factor de cooperare unitar.
Un dezavantaj al cooperrii agenilor este apariia numrului mare de
mesaje. O soluie pentru acest neajuns este descris n paragraful urmtor.



195
8.4.7 Introducerea cozilor de prioriti pe servere
Creterea masiv a numrului de mesaje n condiii de cooperare este
determinat n principal de comunicarea ntrebrilor pentru toi ceilali
ageni de pe server. Reducerea numrului de mesaje se poate realiza scznd
numrul agenilor activi de pe server, meninnd n acelai timp posibilitatea
agenilor de a coopera.
n acest scop, s-a introdus un mecanism de prioriti pentru ageni.
Prioritile sunt generate aleatoriu la iniializarea agenilor. ntr-un caz real,
sistemul de prioriti i menine utilitatea, ntruct nii utilizatorii pot avea
diferite prioriti, avnd n msuri diferite dreptul de a accesa resursele
sistemului. Prioritile utilizatorilor se pot transmite astfel asupra agenilor
care i reprezint.
S-a presupus c serverele menin agenii n cozi de prioriti, astfel
nct numai un numr maxim de ageni s poat fi executai la un moment
dat. Introducerea agenilor n aceste cozi de execuie se face n ordinea
descresctoare a prioritilor. Situaiile de egalitate se rezolv aleatoriu.

8.4.8 Echilibrarea ncrcrii
Sistemul de ageni poate fi utilizat i pentru rezolvarea problemelor
de echilibrare a ncrcrii. O strategie de echilibrare a ncrcrii const n
distribuirea proceselor sau task-urilor pe procesoarele disponibile, evitndu-
se situaia n care unele procesoare sunt nefolosite iar altele au task-uri
multiple n coada de deservire. S-au propus mai multe abordri pentru
problema echilibrrii ncrcrii, de la utilizarea unor algoritmi clasici pe
diverse topologii de reele (ova, Amarandei & Gavril, 2004; Zaharia,
Leon & Glea, 2003b) pn la utilizarea algoritmilor genetici pentru
distribuirea eficient a proceselor (Zaharia, Leon & Glea, 2004a).

8.5 Metode de nvare dinamic a cii
Mobilitatea poate fi o caracteristic de mare importan pentru un
agent inteligent. Fiind situat n mediul de execuie, el trebuie s aib
capacitatea de a-l explora pentru a acumula cunotine i a-i duce la
ndeplinire scopul, indiferent c este vorba de un agent software ntr-o reea
de calculatoare sau de un agent robotic acionnd n mediul fizic real.

8.5.1 Formalizarea problemei de gsire a cii
O problem de gsire a cii are dou componente principale (Yokoo
& Ishida, 2000):


196
- o mulime de noduri N, unde fiecare nod N ne reprezint o stare;
- o mulime de arce direcionate L, unde fiecare arc L l e este un
operator disponibil pentru rezolvarea problemei.
n general, dac problema este rezolvat de un agent acionnd ntr-
un mediu multiagent, operatorii sunt aciuni care pot fi ndeplinite de agent
n starea curent. De obicei, exist un nod unic N s e care reprezint starea
iniial a agentului i o mulime de noduri scop N G c care semnific
strile dorite, adic soluiile problemei de gsire a cii.
Fiecare arc are asociat o pondere
l
w care reprezint costul aplicrii
operatorului (sau ndeplinirii aciunii). Uneori, ponderea conexiunii este
distana dintre dou noduri. Nodurile care au arce direcionate de la un
anumit nod sunt vecinii acestuia.

8.5.2 Strategii de nvare cu ntrire pentru ageni inteligeni mobili
Extinznd structura sistemului de gsire a cunotinelor prezentat n
paragraful 8.4, s presupunem c baza de cunotine distribuit poate fi
compus din mai multe tipuri de cunotine aparinnd unor domenii
diferite. Totui, chiar dac mai multe entiti de cunoatere complexe depind
de informaii specifice din acelai domeniu, toate au n final o baz
perceptiv. Figura 8.8 prezint un exemplu de 3 entiti de cunoatere
perceptive i 9 extinse aparinnd la dou domenii generice, sugerate aici
prin A i B.

Figura 8.8. Graf de cunotine cu domenii multiple

S-a considerat cazul general n care serverele nu sunt complet
conectate; un server poate avea conexiuni directe numai cu o parte din


197
celelalte servere. De asemenea, bazele de cunotine pariale de pe servere
pot conine explicitri ale entitilor de cunoatere din diferite domenii, n
cantiti diferite. Un server poate fi specializat pe un anumit domeniu, n
timp ce altul poate conine entiti din toate domeniile n proporii
aproximativ egale. Se presupune c i conexiunile dintre servere se pot
modifica n timp (de exemplu, pot fi introduse noi legturi directe) i noi
cunotine pot fi adugate la bazele de cunotine de pe servere. De aceea,
agenii trebuie s dispun de un mecanism de nvare pentru a descoperi
topologia iniial a reelei i distribuia cunotinelor pentru a se adapta
dinamic la schimbrile intervenite n mediul de execuie. nvarea cu
ntrire, detaliat n paragraful 8.3, este o metod deosebit de util care se
poate aplica n acest caz.
Pentru a aplica algoritmul Q-learning, agenii trebuie s rein o
matrice cu valorile Q estimate. Totui, aceeai matrice poate fi utilizat
pentru dou probleme diferite: gsirea cii n reea i estimarea cantitii de
entiti de cunoatere aparinnd unui anumit domeniu pe fiecare server. O
matrice tridimensional poate fi proiectat pentru valori Q, unde:
- prima dimensiune reprezint serverul curent unde se afl agentul la
un moment dat;
- a doua dimensiune semnific domeniul majoritar cruia aparin
cunotinele neexplicitate nc;
- a treia dimensiune reprezint serverul int pe care trebuie s se mute
agentul la momentul urmtor.
Cnd agenii nva mediul de execuie, ei primesc o recompens
negativ mare de fiecare dat cnd ncearc s se mute pe un server
neconectat cu serverul curent. Recompensa este aplicat pentru toate tipurile
de cunotine din matrice, deoarece serverul respectiv este indisponibil
indiferent de domeniul de cunotine de care este interesat agentul.
A doua problem este nvarea distribuiei domeniilor de cunotine
pe servere. Agenii capt o recompens pozitiv proporional cu numrul
de ntrebri la care primesc rspuns de la server, pentru fiecare domeniu sau
tip de entitate de cunoatere. De exemplu, dac un agent primete dou
rspunsuri care explic entiti de tip A i patru rspunsuri care explic
entiti de tip B, valorile Q corespunztoare pentru tipurile A i B de pe acel
server sunt actualizate conform ecuaiei (8.60), unde recompensele sunt 2,
respectiv 4.
Prin aceast metod se demonstreaz (Leon, ova & Glea, 2004b)
c aceeai matrice de valori Q poate fi utilizat att pentru memorarea


198
distribuiei cunotinelor n mediu (reea) ct i pentru gsirea cii optime, n
cazul n care nu este garantat conexiunea ntre oricare dou servere.

8.5.3 nvarea cii folosind gradienii marcajelor de stare
O alt metod pentru gsirea cii este inspirat din lumea vie. Multe
animale las urme de natur chimic care marcheaz traseul parcurs, iar
aceste urme pot fi utilizate ulterior. Dac un agent marcheaz strile pe care
le viziteaz, prin analogie cu lumea real, marcajele se depreciaz (se
volatilizeaz) n timp, iar acest fapt poate fi folosit de agent pentru gsirea
cii ctre soluie. Agentul trece de asemenea prin faze de explorare i
exploatare. Ideea fundamental este c n prima faz el ncearc tot timpul
s treac ntr-o stare cu marcaj minim, care corespunde unei stri nevizitate.
n cea de a doua, el ncearc s urmeze gradientul ascendent al marcajelor
de stare, care l conduce din starea iniial ctre starea scop.
Se propune urmtorul algoritm (Leon, Zaharia & Glea, 2004):

episode 1
initialize state marks with 0
initialize state s with the initial state

while (s is not terminal)
// alegerea aciunii
get state marks for the neighbors
wantedDirection min(possibleDirections)
choose the action corresponding
to the wantedDirection

if (more actions possible) then
favor the previous direction with
a probability given by consistencyRate
ties are broken randomly
end-if

// executarea aciunii
get next state s

// actualizarea marcajelor de stare
for all states t
marks(t) marks(t) / decayRate
end-for

marks(s) 1
s s


199
if (s = initial state and
for all neighbors sn, marks(sn)>0) then
episode episode + 1
restart
end-if
end-while

Dup cum am menionat, agentul trebuie s aleag o aciune care l
va plasa ntr-o stare nevizitat, sau cel puin o stare vizitat n urm cu mult
timp. Dup gsirea soluiei, agentul are urma drumului su i deci trebuie
doar s l urmeze din starea iniial, folosind gradientul ascendent al
marcajelor de stare. Datorit deprecierii, strile vizitate recent au marcaje
mai mari. Ultima stare vizitat este soluia.
Ultimul test al algoritmului previne cazurile n care agentul intr
ntr-o bucl. Aceast situaie nu este posibil pentru ci unice, dar este
inivitabil atunci cnd exist ci multiple din starea iniial ctre soluie.
Dac, dup o bucl, agentul revine n starea iniial, marcajele de stare sunt
resetate i ncepe un nou episod de nvare.
Faza de exploatare este realizat utiliznd acelai algoritm, dar n
acest caz aciunea la un anumit moment este selectat considernd funcia
maximum n loc de minimum:

wantedDirection max(possibleDirections)

Se folosesc dou constante: rata de depreciere (engl. decay rate) i
rata de consecven (engl. consistency rate). Rata de depreciere arat ct
de repede se diminueaz marcajele de stare. O valuare acceptabil pentru ea
este 1.01. Scopul ei devine clar dac agentul ignor marcajele de stare sub o
anumit valoare. Rata de consecven reprezint probabilitatea ca agentul s
i menin direcia curent, dac acest lucru este posibil.

8.6 Concluzii
Mai nti, s-a introdus modelul exemplarelor generalizate
nesuprapuse, care are avantajul extragerii de reguli din date i calcularea
prototipurilor hiperdreptunghiurilor formate ntr-o manier de nvare
bazat pe exemple. Calcularea prototipurilor ajut categorizarea conceptelor
compuse (sau cadrelor) cu valori stereotipe pentru unele atribute.
Algoritmul NNGEP este destinat pentru proiectarea sistemului cognitiv al
unui agent inteligent. El poate ajuta agentul s i categorizeze strile i s
i planifice aciunile ntr-un cadru de raionament bazat pe cazuri. De


200
asemenea, n unele situaii cnd agenii coopereaz, poate fi util capacitatea
de a da exemple atunci cnd este interogat despre un anumit concept de un
utilizator uman sau de un alt agent, n loc de a trimite pur i simplu un set de
reguli. Aceast tehnic se dovedete eficient ntr-un sistem de e-learning,
unde exemplificarea s-a dovedit ntotdeauna o tehnic puternic.
Modelul cognitiv descris n continuare demonstreaz posibilitatea
utilizrii unei infrastructuri conexioniste pentru raionament deductiv
simbolic, alturi de achiziia i integrarea de noi fapte n baza de cunotine
existent.
Sistemul multiagent propus indic o modalitate de cutare a
conceptelor ntr-o reea pentru e-learning. S-au prezentat etapele de realizare
a sistemului. La nceput, agenii adreseaz ntrebri agenilor locali de baze
de cunotine de pe servere, fr modelarea acestora. Apoi, agenii
modeleaz bazele de cunotine de pe servere pentru a evita adresarea
aceleiai ntrebri de dou ori dac agentul local nu cunoate rspunsul. n
continuare, s-a introdus posibilitatea ca agenii s coopereze, adic s-i
poat adresa ntrebri unii altora dac se gsesc pe acelai server. S-au
implementat pe servere cozi de prioriti, astfel nct numai un numr
maxim fixat de ageni s fie deservii la un moment dat, n ordinea
descresctoare a prioritilor.
De asemenea, s-a prezentat o metod de nvare cu ntrire pentru
aflarea distribuiei cunotinelor n cazul n care sistemul dispune de
cunotine din domenii multiple. n cazul general de nvare a drumului
printr-un labirint, s-a propus metoda gradienilor marcajelor de stare, pe care
agenii o pot utiliza prin simpla inspectare a marcajelor locaiei curente.

201
Capitolul IX

STUDIU EXPERIMENTAL

9.1 Metodologia de test
n acest capitol ne propunem compararea din punctul de vedere al
performanelor a celor mai cunoscui algoritmi de clasificare, lund n
considerare acurateea rezultatelor nvrii i, nu n ultimul rnd, timpul de
execuie. Apoi vom studia performanele mai multor variante ale
algoritmului NNGEP propus n comparaie cu cei mai eficieni algoritmi
clasici, distingnd ntre problemele complexe, cu un numr mare de instane
i atribute i cele logice, cu un numr mic de date de antrenare, care exprim
ns reguli sintetice ce trebuie detectate de clasificatori.
Pe baza modelului de raionament deductiv vor fi efectuate cteva
studii de caz pentru a pune n eviden comportamentul algoritmilor propui
n condiii de raionament circular, definiii negative i propoziii exprimate
n limbaj cvasinatural.
Sistemul distribuit va fi supus unei analize extinse privind influena
configuraiei i a valorilor parametrilor asupra modului de comportament al
agenilor inteligeni mobili i a performanelor sistemului ca ansamblu.
n contextul nvrii cu ntrire, vor fi studiai algoritmii de nvare
a cii ntr-o reea de calculatoare i, ntr-un cadru mai general, ntr-un
labirint din mediul fizic n care agenii sunt situai. Se va compara
algoritmul gradienilor marcajelor de stare cu ali algoritmi binecunoscui de
gsire a cii.
n final, vor fi analizate operaiile de data mining spaial pe care le
pot efectua agenii inteligeni ntr-un sistem geografic bazat pe cunotine.

9.2 Studiu comparativ al algoritmilor de nvare inductiv
n cele ce urmeaz, se vor descrie succint algoritmii i problemele de
test, dup care se vor prezenta testele efectuate, mpreun cu discuia
referitoare la parametrii algoritmului NNGEP i interpretarea rezultatelor
acestuia att din perspectiv neuronal, ct i fuzzy.

9.2.1 Algoritmii
Algoritmii testai sunt binecunoscui n nvarea automat (engl.
machine learning). Din punct de vedere al implementrii, s-au considerat
versiunile descrise n cartea de data mining scris de Witten i Frank (2000).


202
Unul din scopurile acestor algoritmi este de a reine natura
distribuiei datelor pentru a avea clasificri bune cu erori mici la predicie. O
structur simpl de nvare inductiv este arborele de decizie. Dat fiind o
instan a unui concept, specificat de o mulime de proprieti, arborele
returneaz o decizie de tip da sau nu n legtur cu apartenena instanei
la o clas. Fiecare nod intern din arbore reprezint un test asupra uneia sau
mai multor proprieti, iar ramurile care pornesc din nodul respectiv sunt
etichetate cu rezultatele posibile ale testului. Fiecare nod frunz este un
clasificator boolean pentru instana de intrare, deci din punct de vedere
logic, arborii de decizie ncearc nvarea unei mulimi de implicaii
echivalente regulilor, mulime numit predicat-scop (Doyle, 2000).
C4.5 (Quinlan, 1993) este un algoritm de inducie a arborilor de
decizie, fiind o extensie a algoritmului ID3 care spre deosebire de acesta
rezolv unele probleme precum supra-potrivirea datelor, tratarea atributelor
continue i a atributelor cu valori lips, mrirea eficienei computaionale
(Hamilton et al., 2002). Algoritmul C4.5 genereaz un arbore de decizie prin
partiionarea recursiv a mulimii de date (Joshi, 1997), printr-o strategie de
parcurgere n adncime (engl. depth-first). Algoritmul ia n considerare
toate testele posibile pentru partiionarea mulimii de date i selecteaz
testul care aduce cel mai mare ctig informaional. Dac prin entropie se
nelege impuritatea unei mulimi de exemple de antrenare S, se poate
estima eficiena unui atribut pentru clasificarea acestor exemple. Ctigul
informaional (engl. information gain) msoar reducerea ateptat a
entropiei cauzat de partiionarea mulimii dup valorile unui atribut A.

e
=
) (
) (
) ( card
) ( card
) ( ) , (
A Val v
v
v
S H
S
S
S H A S IG , (9.1)

unde Val(A) este mulimea valorilor atributului A, S
v
este submulimea lui S
pentru care atributul A are valoare v, iar H(S) este entropia mulimii S cu n
clase, fiecare cu probabilitile de apariie p
i
:

=
=
n
i
i i
p p S H
1
2
log ) ( . (9.2)

Pentru fiecare atribut discret se propune un test cu un numr de
rezultate egal cu numrul de valori distincte ale atributului respectiv. Pentru
fiecare atribut continuu se aleg teste binare care implic toat gama de valori
ale atributului. Dup gsirea partiiilor de date, procesul se reia n mod

Studiu experimental

203
recursiv asupra acestora. O alt caracteristic important a algoritmului este
simplificarea (engl. pruning) arborelui dup terminarea nvrii, adic
eliminarea testelor care nu i aduc un aport semnificativ la problema de
decizie global. O variant ulterioar a algoritmului este C5, utilizat n
sisteme comerciale. Pentru studiul de fa, s-au considerat performanele
algoritmului C4.5 cu i fr simplificare (notate C4.5, respectiv C4.5U).
Clasificatorul bazat pe arbori aleatorii (engl. random tree, RT) a
fost propus de Eibe Frank i Richard Kirkby. El construiete un arbore care
ia n calcul k trsturi aleatorii pe fiecare nod i nu realizeaz nici o
simplificare. De aceea, rata de eroare pe mulimea de antrenare este destul
de sczut. O pdure aleatorie (engl. random forest, RF, Breiman, 2001)
este compus din mai muli arbori de clasificare. Pentru clasificarea unui
nou obiect, vectorul de intrare este testat pe fiecare din arborii pdurii i
acetia propun o clasificare, considerat ca un vot pentru clasa respectiv.
Pdurea alege clasificarea cu cele mai multe voturi.
Arborele cu simplificare bazat pe eroarea redus (engl. reduced
error pruning tree, REPT) este un clasificator rapid care construiete un
arbore de decizie folosind ctigul informaional sau reducerea varianei i l
simplific pentru reducerea erorii. Valorile atributelor numerice sunt sortate
o singur dat. Algoritmul trateaz i valori necunoscute ale atributelor, ca
i C4.5.
nvarea bazat pe instane reduce efortul de nvare prin stocarea
exemplelor prezentate. De aceea, acest tip de nvare se mai numete
lene (engl. lazy), spre deosebire de metodele nerbdtoare (engl.
eager), care realizeaz prelucrrile nainte de construirea modelului intern
al problemei. n nvarea bazat pe instane clasificarea noilor obiecte se
face prin msurarea distanei fa de vecini, adic instane ntlnite
anterior, cu valori similare ale atributelor. Din aceast clas de algoritmi, s-a
ales pentru testare metoda exemplarelor generalizate nesuprapuse (engl.
non-nested generalized exemplars, NNGE), prezentat detaliat n
paragraful 3.2.2.
Un alt algoritm considerat este PART (Frank & Witten, 1998), un
algoritm destul de simplu care nu efectueaz optimizri globale pentru a
produce reguli de mare acuratee, ci adopt o strategie separ i cucerete,
adic formeaz o regul, terge instanele acoperite de aceasta i continu
recursiv crearea de reguli pentru instanele rmase pn cnd nu mai exist
instane rmase.
Simplificarea repetat incremental pentru producerea reducerii
erorii (engl. repeated incremental pruning to produce error reduction,
RIPPER, Cohen, 1995) ncearc s mreasc acurateea regulilor prin


204
nlocuirea sau revizuirea regulilor individuale. Utilizeaz simplificarea
bazat pe eroare, care izoleaz unele date de antrenare pentru a decide cnd
trebuie oprit adugarea de noi condiii la o regul. Ca i criteriu de
terminare, se folosete o euristic bazat pe principiul lungimii minime a
descrierii (engl. minimum description length). Inducia de reguli este
urmat de o etap de post-procesare, n care se revizuiesc regulile pentru a
aproxima rezultatul care s-ar fi obinut printr-o strategie de simplificare
global.
Inducia bayesian de reguli se bazeaz pe teorema lui Bayes (1763)
privind probabilitile condiionate, care determin distribuia de
probabilitate posterioar a unui eveniment X (distribuia de probabilitate a
mulimii obiectelor identice cu instana X dat fiind mulimea obiectelor din
clasa Y):

) (
) ( ) | (
) | (
Y P
X P X Y P
Y X P

= . (9.3)

n contextul clasificrii, intereseaz probabilitile de apartenen a
unei instane la o clas, pe baza valorilor atributelor instanei respective. n
general, o instan este caracterizat de mai multe (n) atribute X
i
. Atunci
formula devine:

=
n
j
j j
i i
i
X P X Y P
X P X Y P
Y X P
1
) ( ) | (
) ( ) | (
) | ( . (9.4)

Clasificatorul bayesian naiv (engl. Nave Bayes, NB) calculeaz
probabilitile condiionate ale claselor presupunnd c toate atributele sunt
independente. O reea bayesian (engl. Bayesian Network, BN) este un
graf asociat cu o mulime de tabele de probabiliti. Nodurile reprezint
variabilele iar arcele reprezint relaii cauzale ntre variabile; prin urmare
ntr-o reea bayesian o variabil este conectat numai cu variabilele de care
depinde aceasta.

9.2.2 Problemele
n acest paragraf vor fi descrise pe scurt problemele benchmark
considerate pentru testarea algoritmilor. Pe lng probleme clasice de
nvare automat, s-au introdus dou noi probleme de clasificare, una cu o

Studiu experimental

205
structur destul de greu de nvat i una cu o structur foarte simpl, pentru
a verifica performanele algoritmilor n prezena zgomotului.
Problema florilor de Iris este probabil cea mai cunoscut baz de
date din literatura de recunoatere a modelelor. Lucrarea lui Fisher (1936)
este una clasic i este refereniat frecvent (Duda & Hart, 1973). Setul de
date conine 3 clase cu 50 de instane fiecare, iar fiecare clas reprezint un
tip de iris: Setosa, Versicolor i Virginica. Clasa Setosa este liniar separabil
de celelalte dou, iar acestea la rndul lor nu sunt liniar separabile ntre ele.
Exist 4 atribute numerice: lungimea petalelor, limea petalelor, lungimea
sepalelor i limea sepalelor, toate exprimate n centimetri. Nu exist
atribute lips.
Dac se dorete o imagine asupra distribuiei datelor trebuie s se
in cont de faptul c Irisul este o problem 4-dimensional iar vizualizarea
bidimensional poate fi dificil. Totui, primele dou atribute (lungimea i
limea petalelor) conin cele mai multe informaii. n aceast ordine de idei,
figura 9.1 prezint distribuia instanelor i rezultatele algoritmului NNGEP
pentru o subproblem cu numai aceste dou atribute.

Figura 9.1. Rezultalele NNGEP pentru o subproblem bidimensional a florilor de Iris

Problema boabelor de soia (engl. soybean, Michalski &
Chilausky, 1980) ncearc categorizarea acestora n 19 clase: diaporthe-
stem-canker, charcoal-rot, rhizoctonia-root-rot, phytophthora-rot,
brown-stem-rot, powdery-mildew, downy-mildew, brown-spot,


206
bacterial-blight, bacterial-pustule, purple-seed-stain, anthracnose,
phyllosticta-leaf-spot, alternarialeaf-spot, frog-eye-leaf-spot,
diaporthe-pod-&-stem-blight, cyst-nematode, 2-4-d-injury i
herbicide-injury, pe baza a 35 de atribute discrete, unele cu valori
booleene. Exist atribute cu valori lips (necunoscute).
O alt problem este cea a votului (engl. vote, Schlimmer, 1987),
care conine nregistrrile a 435 de voturi din congresul Statelor Unite din
1984 privind 16 probleme: handicapped infants, water project cost
sharing, adoption of the budget resolution, physician fee freeze, El
Salvador aid, religious groups in schools, anti satellite test ban, aid to
Nicaraguan contras, MX missile, immigration, synthetic fuels
corporation cutback, education spending, superfund right to sue,
crime, duty free exports, export to South Africa administration act.
Scopul este de a identifica orientarea politic a unei persoane (democrat sau
republican) n funcie de voturi (yea pentru, nay mpotriv,
necunoscut).
Setul de date privind cancerul de sn (engl. breast cancer, BC,
Michalski et al., 1986) i are originea de la centrul medical universitar al
institutului de oncologie din Ljubljana (fosta Iugoslavie, actuala Slovenie).
Include 286 de instane aparinnd la 2 clase: evenimente de recidiv sau
lipsa evenimentelor de recidiv. Exist 9 atribute discrete, reale sau
nominale, precum: vrst, menopauz, dimensiunea tumorii, iradiere etc.
Problema forei de munc (engl. labor) se refer la rezultatele
finale ale negocierilor de angajare din industria canadian. Exist 57 de
instane definite de 16 atribute: duration of agreement, wage increase in
first year of contract, wage increase in second year of contract, wage
increase in third year of contract, cost of living allowance, number of
working hours during week, employer contributions to pension plan,
standby pay, shift differential (supplement for work on second and third
shift), education allowance, number of statutory holidays, number of
paid vacation days, employer's help during employee long term
disability, employers contribution towards the dental plan, employer's
financial contribution towards the covering the costs of bereavement,
employer's contribution towards the health plan. Unele atribute sunt
numerice, altele sunt discrete sau booleene. Nu exist valori necunoscute.
Scopul problemei este de a decide dac o slujb este bun sau rea.
Problema ciupercilor (engl. mushroom, Lincoff & Knopf, 1981)
conine date dintr-un ghid de specialitate cu descrieri ale unor exemplare
aparinnd la 23 de specii de ciuperci din familiile Agaricus i Lepiota,
fiecare specie identificat ca veninoas sau comestibil. Exist 8124 de

Studiu experimental

207
instane cu 22 de atribute, toate cu valori nominale: cap shape, cap
surface, cap color, bruises, odor, gill attachment, gill spacing,
gill size, gill color, stalk shape, stalk root, stalk surface above
ring, stalk surface below ring, stalk color below ring, veil type, veil
color, ring number, ring type, spore print color, population,
habitat.
Cele trei probleme MONKs sunt un alt exemplu de benchmark-uri
utilizate n numeroase studii (Thrun et al., 1991). Ele i au originea n
domeniul roboticii, unde un robot se presupune ca fiind descris de 6
atribute: forma capului (rotund, ptrat, octagonal), forma corpului (rotund,
ptrat, octagonal), dac zmbete (da, nu), obiectul pe care l ine (sabie,
balon, steag), culoarea jachetei (roie, galben, verde, albastr), dac are
cravat (da, nu). nvarea presupune o clasificare binar. Fiecare problem
este dat de o descriere logic a unei clase. Roboii aparin sau nu acestei
clase. n loc s se furnizeze o descriere complet a clasei pentru problema de
nvare, se d numai o submulime de 432 de roboi posibili. Clasificatorul
trebuie s generalizeze pe baza unei submulimi destul de restrnse a celor
432 de exemple i s prezic apartenena la o clas pentru celelalte instane.
Problema 1 este definit astfel: (forma capului = forma corpului)
sau (culoarea jachetei este roie). Din cele 432 de exemple, se selecteaz
aleatoriu 124 pentru antrenare, fr clasificri greite (zgomot). Problema
este n form normal disjunctiv i se presupune c ar trebui s fie nvat
uor de algoritmii de nvare simbolic.
Problema 2 este: exact dou din cele ase atribute au prima lor
valoare. Din cele 432 de exemple, se selecteaz aleatoriu 169 pentru
antrenare, fr zgomot. Problema este asemntoare cu problemele de
paritate i combin diverse atribute ntr-o manier care face dificil
descrierea n form normal conjunctiv sau disjunctiv doar pe baza
atributelor date.
Problema 3 se definete astfel: (culoarea jachetei este verde i ine
o sabie) sau (culoarea jachetei nu este albastr i forma corpului nu este
octagonal). Din cele 432 de exemple, se selecteaz aleatoriu 122 pentru
antrenare, cu 5% clasificri greite. Problema este tot n FND i are scopul
de a evalua algoritmii n prezena zgomotului.
Prima din cele dou probleme propuse, sgeata (engl. arrow)
pleac de la observaia c funcia XOR este n general de greu de nvat
pentru majoritatea algoritmilor. Diagonala este dificil pentru algoritmii de
inducie a arborilor de decizie non-oblici. De aceea, aceast problem de
categorizare const n 3 clase definite de o funcie de 2 atribute numerice
normalizate, x i y:


208

if ' x
2
y
2
' < 0.1 then
type = 0
else
if (x > 0.5) then
type = 1
else
type = 2;
end-if
end-if

Instane din aceast distribuie pot fi generate aleatoriu, rezultnd n
imaginea din figura 9.2a. Clasa 0 este roie, clasa 1 este verde iar clasa 2
este albastr. Pentru analiz s-au generat 5000 de instane. Harta
hiperdreptunghiurilor cu prototipuri dat de NNGEP este prezentat n
figura 9.2b.
O variant a acestei probleme se bazeaz pe aceeai distribuie, dar
se adaug un nou atribut:
) 1 ( 2
1
+
+
=
y
x
ratio . Problema testeaz
performanele clasificatorilor cnd atributele sunt corelate. De asemenea,
acest atribut ajut clasificarea instanelor din clasa 0, care sunt distribuite
mai mult diagonal, i despre care putem spune c au aceeai form.
Numim aceast variant sgeat plus form (engl. arrow plus shape,
AS).

Figura 9.2a. Problema sgeat: distribuia teoretic

Studiu experimental

209

Figura 9.2b. Problema sgeat: harta NNGEP

O alt problem propus presupune un model simplu pentru a testa
performanele algoritmilor pentru distribuii regulate, mai ales n prezena
zgomotului. Modelul i imaginea sa au fost descrise n paragraful 8.2.5.
O problem de dimensiuni reduse este cea a medicamentelor (engl.
drugs), care ncearc s gseasc regulile de prescriere a unuia din cele
dou clase de medicamente, n concordan cu vrsta, tensiunea arterial i
sexul pacientului. Atributul vrst este numeric iar celelalte dou sunt
nominale: tensiunea poate fi mic, normal sau mare, sexul poate fi
masculin sau feminin. Un clasificator bun ar trebui s detecteze faptul c
atributul sex este irelevant. Considernd cele dou clase de medicamente A
i B, instanele de antrenare sunt prezentate n tabelul 9.1.
Shepard, Hovland i Jenkins (1961) au studiat comportamentul
subiecilor umani n probleme de clasificare. Ei au propus o serie de
probleme care implic 8 stimuli mprii n mod egal n 2 categorii. Stimulii
rezult din mulimea tuturor variantelor de combinare posibile a trei
dimensiuni binare. S-a observat c dac aceste dimensiuni sunt privite ca
interschimbabile, exist doar ase structuri posibile de categorizare, indicate
n tabelul 9.2 (Navarro, Myung & Pitt, 2004).
n prima problem, numai primul atribut este semnificativ pentru
categorizare. A doua problem este de tip XOR. Problemele 3, 4 i 5 sunt
probleme regul plus excepie. n studiul prezent, s-a testat numai
problema 4, deoarece problemele 3 i 5 sunt similare. Problema 6 oblig


210
subiectul s memoreze toi stimulii, deoarece nu exist nici o regul de
grupare a lor.

Tabelul 9.1. Datele de antrenare pentru problema medicamentelor
Sex Vrst Tensiune Medicament
masculin 20 normal A
feminin 73 normal B
feminin 37 mare A
masculin 33 mic B
feminin 48 mare A
masculin 29 normal A
feminin 52 normal B
masculin 42 mic B
masculin 61 normal B
feminin 30 normal A
feminin 26 mic B
masculin 54 mare A

Tabelul 9.2. Problemele Shepard
Clas
Stimul Atribute
1 2 3 4 5 6
1 0 0 0 A A A A A A
2 0 0 1 A A A A A B
3 0 1 0 A B A A A B
4 0 1 1 A B B B B A
5 1 0 0 B B B A B B
6 1 0 1 B B A B B A
7 1 1 0 B A B B B A
8 1 1 1 B A B B A B

9.2.3 Analiza performanelor pentru probleme complexe
Tabelul 9.3 arat performanele algoritmilor pentru problemele
complexe cu un numr mare de atribute i instane. Liniile gri indic rata de
eroare iar liniile albe precizeaz timpul de execuie. Experimentele au fost
efectuate pe un calculator cu procesor Duron cu frecvena de 700 MHz, cu
256 Mb RAM. Testarea a fost realizat n dou moduri: cu formarea
modelului de clasificare lund n calcul ntregul set de date, respectiv fcnd
antrenarea cu dou treimi din setul de date i testarea asupra treimii rmase,
astfel nct s fie pus n eviden puterea de predicie a algoritmilor (Leon,
Zaharia & Glea, 2004b).

Studiu experimental

211
Tabelul 9.3. Analiza performanelor pentru probleme complexe

Figurile 9.3a i 9.3b prezint grafic ratele de eroare pentru
problemele de test. La fiecare problem exist doi indicatori: primul arat
rata de eroare numai pe setul de antrenare, iar al doilea arat rata de eroare
cnd antrenarea se face cu dou treimi din date i testarea pe treimea
rmas.
Se observ c problemele Soybean, Breast-cancer, Labor i
Arrow sunt cele mai dificile. Dimpotriv, problema Mushroom pare s
fie uor de rezolvat de majoritatea clasificatorilor. De asemenea, Random
Forest i Random Tree au performane bune pe mulimea de antrenare,
dar generalizeaz destul de ru. Reelele bayesiene i Nave Bayes
generalizeaz bine deoarece se bazeaz pe estimarea distribuiei de
probabilitate a datelor, dar din nefericire au rate mari de eroare n ambele
situaii. C4.5 n general are rate de eroare bune pe mulimea de antrenare
(mai ales n versiunea nesimplificat) i capaciti de generalizare
accepatbile.



212

Figura 9.3a. Ratele de eroare pentru probleme complexe

Figura 9.3b. Ratele de eroare pentru probleme complexe

Problema sgeat plus form pare s obin rezultate mai bune
dect sgeata simpl, deoarece atributul compus ajut clasificarea clasei 0.
Totui, se observ diferenele mari de erori ntre cazurile n care testarea se

Studiu experimental

213
face numai pe setul de antrenare n comparaie cu situaia 2/3. Cei mai
muli algoritmi generalizeaz ineficient pentru aceste probleme. Din acest
punct de vedere, C4.5 se comport mai bine pentru Arrow dect pentru
Arrow plus shape. Reelele bayesiene i Nave Bayes au performane
similare n cele dou situaii, dar ratele lor de eroare sunt oricum mari.

Figura 9.4. Timpii de execuie ai algoritmilor

Figura 9.4 prezint o comparaie ntre timpii de execuie ai
algoritmilor, n secunde. n trei cazuri, acest timp depete 3s, atingnd
aproape 16s. Totui, graficul a fost scalat la 3s pentru a evidenia
performanele algoritmilor mai rapizi. Desigur, problemele mai mici
necesit un timp mai scurt de rezolvare. Totui, se poate observa c
Random Forest i RIPPER sunt cei mai leni algoritmi, n timp ce
Bayesian Networks i Nave Bayes sunt cei mai rapizi. PART are de
asemenea performane bune. C4.5 are un timp de execuie satisfctor, ceea
ce este un indicator bun avnd n vedere ratele bune de eroare.
Tabelul 9.4 prezint performanele algoritmilor pentru cele trei
probleme MONKs. Se utilizeaz aceleai convenii ca mai sus pentru
afiarea datelor.
n acest caz, toate problemele sunt similare ca mrime, iar
diferenele de timp pot fi explicate doar prin nivelurile diferite de dificultate.
Figura 9.5 prezint grafic ratele de eroare ale algoritmilor testai. Pentru


214
prima problem, PART, RIPPER i NNGE au cele mai bune rezultate.
Pentru a doua problem, NNGE este tot cel mai bun, urmat de Random
Forest, care este ns mai lent. Pentru a treia problem, toi algoritmii au
rezultate mai bune, mai ales C4.5, Bayesian Networks i Nave Bayes.

Tabelul 9.4. Analiza performanelor pentru problemele MONKs

Figura 9.5. Ratele de eroare pentru problemele MONKs

9.2.4 Analiza performanelor pentru probleme logice
Problemele grupate n categoria logic se bazeaz pe o mulime de
reguli care trebuie descoperite de clasificator. Unele atribute sunt irelevante
i trebuie ignorate, iar altele pot fi grupate pentru a forma reguli utile.
Estimarea timpului de execuie este inadecvat n aceast situaie, deoarece
toate problemele sunt de dimensiuni foarte mici. Tabelul 9.5 arat
performanele algoritmilor pentru aceste probleme.
Problemele medicamentelor i Shepard 1 sunt simple, mai ales a
doua, i nu pun probleme clasificatorilor. Problema Shepard 6, pe de alt
parte, este dificil i nu poate fi rezolvat precis de nici unul dintre

Studiu experimental

215
algoritmii considerai. Majoritatea reuesc s clasifice corect doar jumtate
din instane.

Tabelul 9.5. Analiza performanelor pentru probleme logice
Problema C4.5 C4.5U RT RF REPT NNGE PART RIPPER BN NB
Drugs 0% 0% 0% 0% 0% 0% 0% 8.333% 25% 0%
Shepard 1 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%
Shepard 2 50% 0% 50% 12.5% 50% 50% 50% 25% 50% 50%
Shepard 4 25% 25% 0% 0% 25% 0% 25% 50% 0% 0%
Shepard 6 50% 50% 50% 12.5% 50% 50% 50% 50% 50% 50%

9.2.5 Metrici de distan pentru toleran la zgomot n NNGEP
n cele ce urmeaz se vor analiza performanele algoritmului
NNGEP, descris n paragraful 8.2.3. Algoritmul NNGE standard este de tip
nearest neighbor (NN) i deci are probleme atunci cnd exist zgomot n
date, dei utilizeaz un mecanism de ponderare a trsturilor pentru evitarea
acestor probleme. Se propune examninarea unor diferite metrici de distan,
inspirate de modelele psihologiei cognitive, pentru a mbunti
performanele algoritmului NNGEP n condiii de zgomot. Se va testa
algoritmul pentru mai multe probleme de clasificare, fiind comparat cu
algoritmii C4.5 i NNGE standard, care au dat cele mai bune rezultate n
analiza din paragrafele anterioare. Se va considera algoritmul C4.5 fr
simplificare, deoarece n acest caz ratele de eroare sunt mai mici.
Tabelul 9.6 prezint ratele de eroare pentru algoritmii i metricile de
distan considerate, att pentru testare ct i pentru predicie. Metodologia
este aceeai cu cea de mai sus. Pentru fiecare problem, se consider situaia
n care setul de antrenare conine 25% zgomot, adic eticheta clasei are o
valoare diferit de cea corect. Se utilizeaz metrica definit de ecuaia
(9.16), cu diferite valori pentru parametrul de sensibilitate c. De asemenea,
se realizeaz o comparaie a performanelor algoritmului cu distana
euclidian, respectiv cu distana city block.
Prin folosirea unei funcii expondenial negative i a sumei
similaritilor fa de exemplare, se ia n calcul influena mai multor vecini,
fapt foarte util atunci cnd cel mai apropiat vecin este afectat de zgomot.
Totui, aceast abordare, echivalent cu k-NN sau regresie de nucleu (engl.
kernel regression), d rezultate mai proaste cnd nu exist zgomot n date,
mai ales cnd se testeaz setul de antrenare.
n general pentru o regresie de nucleu, limea ideal a nucleului
depinde de problem. n cazul nostru, mrirea parametrului c nseamn
scderea limii nucleului, deoarece numai exemplarele cele mai apropiate


216
(cele mai puternice) vor influena categorizarea. O valoare mare pentru c
este echivalent cu abordarea NN standard.

Tabelul 9.6. Ratele de eroare pentru diferite metrici de distan

Tendinele ratelor de eroare cnd variaz c sunt diferite, depinznd
de prezena sau absena zgomotului n date. Cnd nu exist zgomot (figura
9.6), distana NN standard ofer rezultate mai bune n comparaie cu
algoritmul C4.5 i cu distanele cognitive, att pentru testare, ct i pentru
predicie. Desigur, pe msur ce crete c, rezultatele tind s se apropie de
cele date de NN. Dei rata de eroare la predicie este acceptabil, erorile pe
setul de antrenare sunt destul de mari pentru o lime mare a nucleului, ceea
ce cauzeaz ca exemplare mai deprtate, din clase diferite, s afecteze

Studiu experimental

217
influena celor mai apropiate. De asemenea, este clar c distana euclidian
asigur performane mai bune n comparaie cu distana city block.

Figura 9.6. Ratele de eroare pentru problema votului fr zgomot

Figura 9.7. Ratele de eroare pentru problema votului cu 25% zgomot

Dup cum s-a menionat, abordarea cognitiv i dovedete
avantajele cnd datele sunt afectate de zgomot. n figura 9.7, se prezint
ratele de eroare pentru problema votului cu 25% zgomot. Urmrindu-se
tendinele ratelor de eroare la predicie, se poate observa un fenomen similar
celui de la antrenarea unei reele neuronale folosind validarea ncruciat


218
(engl. cross-validation). Acurateea prediciei crete pn ntr-un anumit
punct (de maxim generalizare) i apoi ncepe s scad, chiar dac setul de
antrenare este din ce n ce mai bine aproximat.
Pentru date afectate de zgomot, NN standard nu este o tehnic
potrivit; att testarea ct i predicia au rate mari de eroare. Folosind
metoda cognitiv, erorile la antrenare scad mai repede, deoarece n final
algoritmul va tinde s supra-potriveasc datele de antrenare. Acest efect este
mai rapid atunci cnd se utilizeaz distana euclidian.
Spre deosebire de situaia fr zgomot, predicia este acum mai bun
ct se folosete metrica city block, dup cum susin experimentele
psihologice cu dimensiuni separabile. Pentru problema votului, o alegere
bun pentru valoarea lui c este n jur de 100 pentru distana euclidian i n
jur de 250 pentru distana city block. Este important de notat faptul c rata
de eroare la predicie scade acum sub 5%, dei proporia zgomotului din
datele de antrenare este de cinci ori mai mare!

9.2.6 Comportamentul NNGEP n probleme logice
Spre deosebire de algoritmii testai n paragraful 9.2.4, normalizarea
ponderilor n NNGEP permite nvarea corect a tuturor problemelor
logice considerate.
Pentru problema medicamentelor, rezultatele NNGEP sunt
urmtoarele:

Clasa A (5 instane)
sex: female male Mod: female (3)
age: 20.0000 48.0000 Prototip: 32.8000 (9.3252)
blood_pressure: high normal Mod: normal (3)

Clasa B (3 instane)
sex: female male Mod: male (2)
age: 26.0000 42.0000 Prototip: 33.6667 (6.5490)
blood_pressure: low Mod: low (3)

Clasa B (3 instane)
sex: female male Mod: female (2)
age: 52.0000 73.0000 Prototip: 62.0000 (8.6023)
blood_pressure: normal Mod: normal (3)

Clasa A (1 instan)
sex: male Mod: male (1)
age: 54.0000 54.0000 Prototip: 54.0000 (0.0000)
blood_pressure: high Mod: high (1)


Studiu experimental

219
Ponderile trsturilor corespunztoare sunt:

w
sex
= 0, w
age
= 0.25, w
blood_pressure
= 0.75. (9.5)

Pentru problema Shepard 1, rezultatele sunt:

Clasa B (4 instane)
x1: 1 Mod: 1 (4)
x2: 0 1 Mod: 0 (2)
x3: 0 1 Mod: 0 (2)

Clasa A (4 instane)
x1: 0 Mod: 0 (4)
x2: 0 1 Mod: 0 (2)
x3: 0 1 Mod: 0 (2)

Ponderile trsturilor sunt:

w
x1
= 1, w
x2
= 0, w
x3
= 0. (9.6)

Pentru problema Shepard 6, rezultatele sunt 8 hiperdreptunghiuri,
cte unul pentru fiecare instan, cu ponderile celor 3 trsturilor egale cu 1/3.

9.2.7 Clasificarea prin tehnici conexioniste
nc de la nceputul acestui subdomeniu al inteligenei artificiale,
una din aplicaiile reelelor neuronale a fost recunoaterea modelelor. De
obicei, o reea neuronal de tip perceptron multistrat pentru clasificare are
cte o ieire corespunztoare fiecrei clase. Dup cum am explicat n
capitolul 5, aplicnd la intrare un model (vector de antrenare format din
valorile atributelor instanei respective), ieirea corespunztoare clasei este
evideniat fa de celelalte (de exemplu este 1, n timp ce ieirile celelalte
sunt 0 sau 1). O problem este reprezentarea trsturilor simbolice,
discrete. Majoritatea reelelor neuronale actuale lucreaz prin excelen cu
numere reale (extinznd primele modele binare). De aceea, pentru
reprezentarea intrrilor nominale pot exista mai multe abordri. Dac
valorile unei astfel de trsturi sunt discrete, dar numerice i ordinale, atunci
se poate folosi o singur intrare n reea, cu valorile propriu-zise. Dac sunt
pur simbolice, nominale, se poate atribui arbitrar o valoare numeric fiecrei
valori simbolice, ns acest lucru poate conduce la rezultate slabe ale
antrenrii. O abordare alternativ este de a considera cte o intrare pentru
fiecare valoare nominal (reprezentare echivalent cu reprezentarea ieirilor
discrete). n acest caz ns, poate crete mult numrul intrrilor reelei i un


220
anumit atribut simbolic poate avea un numr corespunztor de intrri
disproporionat de mare n comparaie cu un atribut numeric, de exemplu. n
funcie de natura problemei, proiectantul are sarcina de a alege o
configuraie potrivit.
n paragraful 5.4.1 s-a prezentat echivalena funcional dintre
anumite tipuri de reele neuronale i sisteme fuzzy. Datorit acestei
echivalene, rezultatele algoritmului NNGEP propus au simultan o natur
conexionist i una simbolic.

9.2.8 Interpretarea neuronal a rezultatelor NNGEP
Pentru a exemplifica modul de interpretare neuronal a rezultatelor
algoritmului NNGEP, se va considera problema clasic a florilor de Iris.
Datele de antrenare sunt prezentate n tabelul 9.8.

Tabelul 9.8. Datele de antrenare pentru problema florilor de Iris
Lungimea
petalelor
Limea
petalelor
Lungimea
sepalelor
Limea
sepalelor
Clasa
1.4 0.2 5.1 3.5 Setosa
1.4 0.2 4.9 3.0 Setosa
1.3 0.2 4.7 3.2 Setosa
...
4.7 1.4 7.0 3.2 Versicolor
4.5 1.5 6.4 3.2 Versicolor
4.9 1.5 6.9 3.1 Versicolor
...
6.0 2.5 6.3 3.3 Virginica
5.1 1.9 5.8 2.7 Virginica
5.9 2.1 7.1 3.0 Virginica
...

Tabelul 9.9. Interpretarea neuronal a rezultatelor NNGEP
pentru problema florilor de Iris
mpetallength opetallength mpetalwidth opetalwidth msepallength osepallength msepalwidth osepalwidth Clasa
1.4640 0.1718 0.2440 0.1061 5.0060 0.3489 3.4180 0.3772 Setosa
4.2348 0.4254 1.3087 0.1717 5.9413 0.4976 2.7652 0.3108 Versicolor
5.6588 0.5380 2.1706 0.1871 6.7059 0.6216 3.0441 0.3219 Virginica
5.4100 0.5108 1.8000 0.0000 6.5000 0.4195 2.9100 0.1921 Virginica
5.2333 0.2625 1.4667 0.0471 6.1333 0.1247 2.5333 0.2494 Virginica
4.8000 0.3000 1.7500 0.0500 5.4000 0.5000 2.7500 0.2500 Virginica
5.0500 0.0500 1.6500 0.0500 6.3500 0.3500 2.8500 0.1500 Versicolor
4.8000 0.0000 1.8000 0.0000 5.9000 0.0000 3.2000 0.0000 Versicolor
3.3000 0.0000 1.0000 0.0000 4.9000 0.0000 2.4000 0.0000 Versicolor
5.8000 0.0000 1.6000 0.0000 7.2000 0.0000 3.0000 0.0000 Virginica

Datorit prototipurilor, hiperdreptunghiurile pot fi interpretate ca
reele neuronale cu funcii de baz eliptic paralel cu axele generalizate,
ntruct utilizeaz mecanismul de selecie a centrelor specific algoritmului

Studiu experimental

221
NNGEP. Pentru problema considerat, la antrenarea cu tot setul de date,
rezult 10 centre, afiate n tabelul 9.9, identificate ca medie i deviaie
standard pentru fiecare din cele 4 dimensiuni.

Tabelul 9.10. Interpretarea fuzzy a rezultatelor NNGEP
pentru problema florilor de Iris
Lungimea
petalelor
Limea
petalelor
Lungimea
sepalelor
Limea
sepalelor
Clasa
Grad de
apartenen
1.4 0.2 5.1 3.5 Setosa 0.9839
1.4 0.2 4.9 3.0 Setosa 0.9682
1.3 0.2 4.7 3.2 Setosa 0.9331
...
4.7 1.4 7.0 3.2 Versicolor 0.8257
4.5 1.5 6.4 3.2 Versicolor 0.8881
4.9 1.5 6.9 3.1 Versicolor 0.7699
...
6.0 2.5 6.3 3.3 Virginica 0.8375
5.1 1.9 5.8 2.7 Virginica 0.8145
5.9 2.1 7.1 3.0 Virginica 0.9758
...

9.2.9 Interpretarea fuzzy a rezultatelor NNGEP
Limitele hiperdreptunghiurilor pot fi interpretate ca reguli stricte de
apartenen a unei instane la o clas. Datorit prezenei prototipurilor,
apartenena la o clas poate fi gradat i deci acelorai rezultate li se poate
da i o interpretare fuzzy. n tabelul 9.10 se prezint gradele de apartenen
ale instanelor la clasele induse, considernd acest grad de apartenen
echivalent cu similaritatea fa de prototip. Ponderile trsturilor sunt:

w
petallength
= 0.3503, w
petalwidth
= 0.3664,
w
sepallength
= 0.1771, w
sepalwidth
= 0.1062. (9.7)

9.3 Studiul modelului de nvare deductiv
n cele ce urmeaz, va fi prezentat un studiu asupra modelului de
raionament deductiv bazat pe algoritmii din paragraful 8.3. Pentru a testa
diferite situaii, s-a dezvoltat un limbaj scriptic care permite introducerea de
noi cunotine i enunarea problemelor deductive (Zaharia, Leon & Glea,
2004). Sintaxa permis a acestui limbaj este descris mai jos:

<knowledge> := define <concept> is [not] { <concept> }
<problem> := find <concept> <concept>
<forgetting> := forget
<list_all> := list
<list_processing> := listproc



222
Urmtoarele dou linii sunt exemple valide de cunotine:

define ANIMAL is BEING MOVE SENSE
define ANIMAL is not PLANT

Urmtoarele dou linii sunt exemple valide de probleme deductive:

find GEORGE SENSE
find ANIMAL PLANT

Fie scriptul de mai jos:

define A is B C
define B is not D
define D is E F
define C is A F
find A F

Cele ase piese de cunoatere genereaz graful din figura 9.8.
Se observ c acest exemplu conine un raionament circular: A este
definit drept C i viceversa. Procedura de raionament decurge astfel:

Start reasoning
Activate Dict(A): 1
Activate Dict(F): 1
Activate Node0: 0.148885
Update connection: Dict(A) - Node0: 0.350000
Dict(A) already activated: 1.000000
Update connection: Node0 - Node1: 0.150000
Activate Dict(B): 0.001117
Update connection: Node1 - Dict(B): 0.350000
Node1 already activated: 0.007444
Update connection: Node1 - Dict(B): 0.300000
Activate Dict(C): 0.001117
Update connection: Node2 - Dict(C): 0.350000
Update connection: Node2 - Dict(C): 0.300000
Dict(F) already activated: 1.000000
Path found

Studiu experimental

223
New connection: Node0 - Node5: 0.100000
Deactivate working memory nodes
End reasoning

Figura 9.8. Model de memorie pentru raionament circular

Agentul nu intr ntr-o bucl infinit datorit memoriei sale de lucru,
care conine nodurile activate ale memoriei de lung durat. Cnd este
ntlnit un nod deja vizitat, agentul nu l activeaz din nou, ci doar
recunoate situaia: Node X already activated (Nodul X deja activat).
Nodul scop este activat de la nceput. Dac un nod activat este soluia,
nseamn c s-a gsit o cale. De asemenea, se poate observa c ponderile
conexiunilor de pe cale se mresc.
Urmtorul script determin o situaie n care nu poate fi gsit nici o
cale:

define A is B
define B is not C
find A C
find A C

Procedura de raionament corespunztoare este:

Start reasoning
Activate Dict(A): 1
Activate Dict(D): 1
Activate Node0: 0,099668
Update connection: Dict(A) - Node0: 0,250000


224
Dict(A) already activated: 1,000000
Activate Node1: 0,004983
Update connection: Node0 - Node1: 0,150000
Activate Dict(B): 0,000748
Update connection: Node1 - Dict(B): 0,350000
Node1 already activated: 0,004983
Update connection: Node1 - Dict(B): 0,300000
Connection: Node1 - Node2: -0,100000
A path may not be found
Update connection: Node0 - Node1: 0,100000
Update connection: Dict(A) - Node0: 0,200000
Path not found
New connection: Node0 - Node2: -0,100000
Deactivate working memory nodes
End reasoning

Cnd agentul gsete o conexiune inhibitoare ctre un nod de
prelucrare legat de nodul scop, el prezint o atenionare A path may not be
found (Gsirea unei ci ar putea fi imposibil). Totui, agentul continu
cutarea deoarece pot exista alte ci. Dac sarcina nu este foarte important
sau dac exist o limit de timp pentru ndeplinirea sa, agentul poate s
opreasc n acest moment cutarea i s trag o concluzie negativ. Dup
cutare, o conexiune direct inhibitoare se creeaz ntre A i C. Memoria
agentului dup a doua cutare este prezentat n figura 9.9.

Figura 9.9. Model de memorie pentru propoziii negative

Urmtorul script demonstreaz capacitatea de nvare a modelului
cognitiv propus:


Studiu experimental

225
define A is B C
define B is D
define D is G H
define C is E F
find A F
forget
find A E
forget
find A H
forget
find A H
forget
define H is I
find A I
list

n figura 9.10 se prezint o structur simpl, mai intuitiv, a bazei de
cunotine corespunztoare.

Figura 9.10. Structur simplificat a unei baze de cunotine

La nceput, cnd agentul trebuie s gseasc o cale de la A la F, el
viziteaz nodurile de prelucrare corespunztoare urmtoarelor noduri
dicionar: A B D G H C E F. Deoarece poate fi gsit o cale (A
C F), ponderile conexiunilor dintre aceste noduri sunt mrite. Astfel,
ponderea conexiunii dintre nodurile de prelucrare ale lui A i B devine mai
mic dect conexiunea corespunztoare nodurilor A i C. Cnd agentul
trebuie s gseasc o cale ntre A i E, ordinea n care sunt vizitate nodurile
se schimb: A C F E.
Ponderea conexiunii dintre nodurile de prelucrare care corespund lui
A, respectiv C, este nc o dat mrit. Cnd agentul trebuie s gseasc
calea dintre A i H, mai nti proceseaz legtura dintre A i C. Nu gsete o
soluie n acest mod, aa c se ntoarce mai trziu n B i gsete calea ctre
H. Nodurile sunt activate n aceast ordine: A C E F B D G H.
A doua oar, legtura dintre A i B este tot mai slab dect cea dintre


226
A i C. La fel i legtura nou creat ntre A i H. Singura diferen n
rspunsul agentului este faptul c G nu mai este activat, deoarece
conexiunea dintre D i H este acum mai mare dect cea dintre D i G.
Ordinea de activare devine: A C E F B D H.
Un nou concept, I, este introdus i legat de H. O cale de la A la I
trebuie s treac prin H. Dar o legtur direct ntre A i H a fost creat
prima dat i ntrit a doua oar, astfel nct nodurile activate sunt acum
doar: A H I. Acest exemplu demonstreaz clar capacitatea de nvare a
modelului.
Desigur, baza de cunotine poate conine i concepte ale limbajului
natural. Scriptul urmtor arat modul n care aceste concepte sunt integrate
n memoria agentului:

define HUMAN is RATIONAL ANIMAL
define GEORGE is MAN
define MAN is MALE HUMAN
define GEORGE is TALL
define ANIMAL is BEING MOVE SENSE
define ANIMAL is not PLANT
find GEORGE RATIONAL
find GEORGE PLANT
find GEORGE SENSE

Agentul poate demonstra c George este raional, c poate simi, dar
nu poate demonstra c e plant. Figura 9.11 ilustreaz faptul c o baz de
cunotine foarte simpl bazat pe un astfel de limbaj cvasinatural necesit
un numr mare de noduri de memorie.

Figura 9.11. Model de memorie pentru propoziii n limbaj cvasinatural


Studiu experimental

227
9.4 Analiza comportamentului sistemului multiagent
n acest paragraf, se vor studia performanelor sistemului multiagent
propus, pentru diferite configuraii i valori ale parametrilor implicai.

9.4.1 Modelarea bazelor de cunotine de pe servere de ctre ageni
Fie Ag numrul de ageni, S numrul de servere din sistem, PKI
numrul de entiti de cunoatere perceptive iar EKI numrul de entiti de
cunoatere extinse din bazele de cunotine. Fie Q numrul de ntrebri puse
de un agent iar A numrul de rspunsuri pe care l primete un agent de la
agentul local de baze de cunotine. Fie D numrul de transporturi (engl.
dispatches) al unui agent iar M numrul total de mesaje transmise ntre
ageni i servere ntr-o sesiune de rezolvare de probleme n context
multiagent.
Tabelul 9.11 prezint performanele sistemului pentru diferite
condiii iniiale, n ipoteza c agenii nu modeleaz bazele de cunotine de
pe server. Asupra datelor, dup 10 rulri ale sistemului, s-au realizat
prelucrri statistice, calculndu-se media i deviaia standard.

Tabelul 9.11. Performanele sistemului cnd agenii
nu modeleaz bazele de cunotine de pe servere
Nr. crt. Ag S PKI EKI mQ Q mA A mD D mM M
1 10 3 4 16 35.48 9.57 12.8 1.83 4.25 1.49 587.8 12.24
2 10 3 8 16 43.54 9.05 14.5 1.8 3.56 1.08 671.6 11.26
3 10 3 2 18 42.2 11.4 13.2 2.27 4.3 1.39 660 22.15
4 10 3 8 12 33.3 8.3 12.2 2.79 4.08 1.33 556.6 5.34
5 50 5 10 90 193.69 60.65 36.16 8.9 13.19 3.06 12911.1 110.7
6 10 5 10 90 177 65.2 33.2 9.47 12.35 2.33 2369 70.63
7 50 2 10 90 98.32 31.67 38.12 9.46 3.24 0.97 7246 0
8 50 10 10 10 329.02 124.05 36.5 11.19 27.92 6.98 21168.2 182.06
9 50 20 10 90 526.55 180.49 34.38 9.84 57.66 13.78 33912.3 436.86
10 100 5 10 90 194.25 72.37 36.55 10.99 13.23 2.89 25926.9 173.92

Toate determinrile au fost realizate n urmtoarele condiii
prestabilite: o entitate de cunoatere extins se bazeaz pe un numr ntre 2
i 4 de alte entiti, redundana informaional este de 20% iar n lista
iniial de dorine a unui agent exist ntre 3 i 5 de entiti de cunoatere.
Este evident c numrul de rspunsuri (A) i de transporturi (D) nu
depinde de modelul pe care agentul l face serverelor. Numrul de
rspunsuri este acelai deoarece numrul de cunotine din baza de
cunotine este independent de modelul cognitiv al agentului agentul local
rspunde numai la ntrebrile la care cunoate rspunsul; dac agentul pune
mai multe ntrebri, restul sunt ignorate. Numrul de transporturi este de


228
asemenea acelai, ntruct depinde numai de rspunsurile primite de la
agentul static local de baze de cunotine de pe server.

Figura 9.12. Influena tipurilor de cunotine asupra numrului
mediu de rspunsuri ale agentului local de pe server

Figura 9.12 prezint influena tipurilor de cunotine asupra
numrului mediu de rspunsuri ale agentului local de pe server, n condiiile
meninerii constante a numrului de ageni (Ag = 50) i servere (S = 5).
La acelai numr total de entiti de cunoatere (knowledge items),
PKI + EKI = 100, creterea numrului de itemi perceptivi determin
scderea numrului de rspunsuri. Fenomenul este cauzat de faptul c dac
exist mai muli itemi extini, acetia vor determina de asemenea
explicitarea conceptelor din lista de definiie.
Figura 9.13 prezint influena numrului de ageni asupra numrului
de transporturi pe care le efectueaz un agent, n condiiile meninerii
constante a numrului de servere (S = 5) i entiti de cunoatere (PKI = 10,
EKI = 90).

Figura 9.13. Influena numrului de ageni
asupra numrului de transporturi

Studiu experimental

229
Se remarc faptul c numrul de transporturi pe care le efectueaz un
singur agent este relativ independent de numrul de ageni din sistem. Este
normal s fie aa, deoarece n acest stadiu al sistemului, agenii se comport
practic independent, evoluia unuia nedepinznd de evoluia celorlali.
Avem de-a face cu un sistem multiagent omogen necomunicativ. n
paragrafele urmtoare, vor fi prezentate mai multe modaliti de crete a
complexitii sistemului, prin integrarea posibilitii comunicrii directe
ntre agenii de cutare.
Figura 9.14 prezint influena numrului de servere asupra
numrului de transporturi pe care le efectueaz un agent, n condiiile
meninerii constante a numrului de ageni (Ag = 50) i entiti de
cunoatere (PKI = 10, EKI = 90).
Se remarc faptul c numrul de transporturi pe care le efectueaz un
agent crete aproximativ liniar cu numrul de servere din sistem.

Figura 9.14. Influena numrului de servere
asupra numrului de transporturi

Figura 9.15. Influena numrului de ageni
asupra numrului de ntrebri



230
n tabelul 9.12 se prezint performanele sistemului pentru diferite
condiii iniiale, n ipoteza c agenii modeleaz bazele de cunotine de pe
server (Leon, Zaharia & Glea, 2003a). Aceleai prelucrri statistice s-au
realizat asupra datelor, dup 10 rulri. Au fost omise informaiile referitoare
la rspunsuri i transporturi, ntruct sunt egale cu cele din tabelul 9.11.
Figura 9.15 prezint influena numrului de ageni asupra numrului
de ntrebri puse de un agent, n condiiile meninerii constante a numrului
de servere (S = 5) i entiti de cunoatere (PKI = 10, EKI = 90).
Ca i n figura 9.13, se constat c numrul mediu de ntrebri puse
de un agent nu depinde de numrul agenilor din sistem. Dimpotriv,
numrul de ntrebri crete aproximativ liniar cu numrul de servere,
ntruct agentul poate pune aceleai ntrebri fiecrui server n parte.

Tabelul 9.12. Performanele sistemului cnd agenii
modeleaz bazele de cunotine de pe servere
Nr. crt. Ag S PKI EKI m
Q

Q
m
M

M

1 10 3 4 16 22.2 5.42 453 9.41
2 10 3 8 16 24.06 4.32 477.8 4.88
3 10 3 2 18 25.41 6.61 490.1 8.81
4 10 3 8 12 20.39 4.97 426.5 9.33
5 50 5 10 90 113.39 30.86 8879 84.38
6 10 5 10 90 103.71 30.77 1636.1 21.57
7 50 2 10 90 52.8 14.36 4970 0
8 50 10 10 10 199.97 69.41 14707.5 165.23
9 50 20 10 90 368.48 118.03 25998.3 368.71
10 100 5 10 90 112.49 36.15 17743 82.52

Figura 9.16 prezint influena numrului de servere asupra
numrului de ntrebri puse de un agent, n condiiile meninerii constante a
numrului de ageni (Ag = 5) i entiti de cunoatere (PKI = 10, EKI = 90).

Figura 9.16. Influena numrului de servere


Studiu experimental

231
Figura 9.17 prezint influena numrului de entiti de cunoatere
asupra numrului de ntrebri puse de un agent, n condiiile meninerii
constante a numrului de ageni (Ag = 50) i servere (S = 5). Este normal ca
numrul de ntrebri s creasc dac exist mai multe concepte care trebuie
cutate.

Figura 9.17. Influena numrului de entiti de cunoatere

n final, se va compara numrul total de mesaje vehiculate n cele
dou situaii analizate; acest numr este un indicator al activitii generale a
sistemului. Utilitatea modelrii bazelor de cunotine de pe server apare
evident datorit scderii numrului de mesaje, demonstrat de figura 9.18.
Abscisa corespunde numrului total de mesaje n condiiile modelrii
bazelor de cunotine, iar ordonata identific raportul dintre numrul de
mesaje n condiiile lipsei modelului i numrul de mesaje n condiiile
modelrii. Se observ c scderea numrului de mesaje este relativ constant.
n condiiile modelrii, numrul de mesaje scade cu aproximativ 25%.

Figura 9.18. Scderea numrului total de mesaje n condiiile
modelrii bazelor de cunotine de ctre ageni


232
Studiind din nou tabelele 9.11 i 9.12, se constat pe linia 7 c
deviaia standard a mesajelor este 0 dac numrul de servere este 2. Acest
lucru sugereaz c evoluia sistemului este determinist, ntruct agenii vor
pendula ntre cele dou servere pn gsesc toate cunotinele de care au
nevoie. Pentru ca toi agenii s rezolve problemele de cutare, sunt necesare
mai multe runde de server, adic secvena de rulare a serverelor de ctre
platform trebuie executat de mai multe ori. Figura 9.19 arat modul cum
variaz numrul de mesaje transmise n funcie de rundele de server.
Graficul este o msur global a evoluiei sistemului.
Se constat c mai nti numrul de mesaje are o tendin
cresctoare. Agenii au pus ntrebrile iniiale i ncep s adune din ce n ce
mai multe concepte neexplicate. Pe msur ce viziteaz tot mai multe
servere, numrul dorinelor ncepe s descreasc. Apoi din ce n ce mai
muli ageni i ndeplinesc scopul, intr n starea de suspendare i deci nu
mai contribuie la transmiterea de mesaje. Spre sfrit, n sistem mai exist
numai civa ageni care mai caut rspunsuri la un numr restrns de
ntrebri.

Figura 9.19. Variaia numrului de mesaje transmise
pe parcursul execuiei sistemului

9.4.2 Posibilitile de cooperare ntre ageni
n tabelul 9.13 sunt prezentate performanele sistemului pentru
diferite valori ale factorului de cooperare (FC). Sunt prelucrate statistic
urmtoarele valori: numrul de transporturi (D) i numrul de runde de
agent necesare pentru atingerea scopului (R), n condiiile unui sistem cu 10
ageni care ruleaz pe 5 servere cu 100 de entiti de cunoatere (Leon,
Zaharia & Glea, 2003b).


Studiu experimental

233
Tabelul 9.13. Performanele sistemului pentru
diferii factori de cooperare
FC m
D

D
m
R

R

0 12.4 2.42 53.63 9.23
0.25 10.91 2.44 52.21 9.91
0.5 9.91 2.1 48.92 8.93
0.75 9.27 2.88 46.83 11.17
1 8.75 2.38 45.77 9.92

Figura 9.20 arat tendina de scdere a numrului de transporturi pe
msur ce crete factorul de cooperare.

Figura 9.20. Scderea numrului de transporturi
pe msura creterii factorului de cooperare

Mai mult, chiar i numrul de runde de execuie n care este
rezolvat problema scade odat cu creterea cooperrii, dup cum indic
figura 9.21.

Figura 9.21. Scderea numrului rundelor de execuie
pe msura creterii factorului de cooperare



234
Totui, cooperarea inter-agent se face pe baza transmiterii unor
ntrebri ctre toi agenii de pe server (broadcast). Acest fapt conduce la
creterea numrului de mesaje transmise n sistem. Tabelul 9.14 prezint o
comparaie ntre numrul de mesaje n condiii de funcionare independent
(vezi i tabelul 9.12) i numrul de mesaje n condiii de cooperare.
Se observ c numrul de mesaje crete foarte mult cnd numrul
mediu de ageni de pe un server este mare (deoarece fiecare i trimite
ntrebrile fiecruia dintre ceilali). Se observ pe ultima linie a tabelului c
numrul de mesaje nu mai este determinist n condiii de cooperare,
deoarece intervin i mesajele transmise ntre ageni. Figura 9.22 prezint
dependena aproximativ liniar dintre
MI MC
m m / i S Ag / .

Tabelul 9.14. Comparaie ntre numrul de mesaje
n condiii de independen i cooperare
Ag S PKI EKI m
MI

MI
m
MC

MC

10 3 4 16 453 9.41 990.2 53.27
50 5 10 90 8879 84.38 42651 1035.53
10 5 10 90 1636.1 21.57 4123 108.06
50 2 10 90 4970 0 41311.7 525.25

Figura 9.22. Dependena dintre numrul mediu de ageni pe server
i raportul mesajelor n prezena sau absena cooperrii

9.4.3 Introducerea cozilor de prioriti pe servere
Tabelul 9.15 prezint cteva msurtori ale numrului de
transporturi (D) i ale numrului de mesaje transmise (M) pentru un sistem

Studiu experimental

235
cu 50 de ageni rulnd pe 5 servere care conin 100 de entiti de cunoatere.
Agenii au un factor de cooperare unitar.

Tabelul 9.15. Influena cozilor de prioriti asupra performanelor sistemului
m
D

D
m
M

M

fr coad de prioriti 5.65 2.19 43198.3 2799.22
coad de prioriti cu capacitatea Q=5 6.97 3.06 19716.7 134.4

Se observ scderea numrului de mesaje transmise (de dou ori mai
mare), n timp ce numrul de transporturi este acceptabil. n urma acestor
msurtori se poate trage concluzia c introducerea cozilor de prioriti pe
servere reduce mult numrul de mesaje determinat de cooperarea agenilor,
n timp ce numrul transporturilor rmne la valori rezonabile, mai ales dac
ar fi comparat cu valoarea sa pentru un factor de cooperare nul (m
D
= 13,
D
= 2.84).
Se pune acum problema: ce capacitate este cea mai potrivit pentru
cozile de prioriti. ntr-un sistem real distribuit eterogen, n care
calculatoarele pot avea performane diferite, capacitatea cozii de prioriti de
pe un server poate fi n direct relaie cu capacitatea de procesare a acelui
calculator. n sistemul prezentat, s-au fcut un numr de teste pentru
configuraia de mai sus, modificnd capacitatea cozii. Rezultatele sunt
prezentate n tabelul 9.16. Plecnd de la premisa c aceast capacitate va
influena i viteza cu care agenii i ndeplinesc scopurile (deoarece agenii
mai puini prioritari sunt practic blocai n unele situaii), s-au inclus n tabel
i date referitoare la numrul mediu de runde de server necesare pentru
agent pentru a-i ndeplini scopul.

Tabelul 9.16. Influena capacitii cozilor de prioriti
asupra performanelor sistemului
Capacitate m
D

D
m
M

M
m
SR

SR

2 9.69 2.98 13611.6 121.13 160.82 73.96
3 8.47 2.96 15445.3 179.84 107.02 47.82
5 6.97 3.06 19716.7 134.4 66.4 24.05
7 6.55 3.36 25583 175.08 53.13 20.41

O capacitate a cozii egal cu numrul de ageni echivaleaz cu lipsa
mecanismului de prioritate. Dup cum indic i figura 9.23, numrul mediu
de transporturi crete cu ct capacitatea cozii scade, ntruct la limit, cnd
coada are capacitate mic, se anuleaz practic cooperarea interagent.



236

Figura 9.23. Dependena dintre numrul mediu de
transporturi i capacitatea cozilor de prioriti

Din acelai motiv crete i numrul de mesaje transmise atunci cnd
capacitatea cozii este mare. Cnd agenii sunt mai puin restricionai, ei
ncep s comunice din ce n ce mai mult, fenomen prezentat n figura 9.24.

Figura 9.24. Dependena dintre numrul mediu de
mesaje i capacitatea cozilor de prioriti

Deoarece o parte din ageni (cei cu prioriti mai mici) sunt blocai
pe servere pn termin agenii cu prioritate mare, numrul mediu de runde
de server necesare pentru ndeplinirea dorinelor scade atunci cnd
capacitatea cozii crete (figura 9.25).
Pentru a preciza i mai clar influena prioritii asupra
performanelor agenilor, tabelul 9.17 descrie numrul mediu de runde de
server necesare pentru ndeplinirea scopurilor n funcie de prioritatea
agentului. Datele din tabel sunt redate mai sugestiv de figura 9.26. Se
observ c pe msur ce prioritatea agentului crete, el i poate realiza mai
rapid obiectivele.


Studiu experimental

237

Figura 9.25. Dependena dintre numrul mediu de runde de server
necesare pentru ndeplinirea scopului i capacitatea cozilor de prioriti

Tabelul 9.17. Influena prioriti asupra intervalului
de timp necesar pentru ndeplinirea scopului
Prioritate m
SR

SR

1 96.96 15.31
2 94 12.31
3 79.33 11.32
4 74.8 18.74
5 70.73 12.13
6 55.22 11.3
7 51.58 9.86
8 44.13 8.94
9 39.28 8.45
10 38.22 5.67

Figura 9.26. Influena prioriti asupra intervalului
de timp necesar pentru ndeplinirea scopului

9.4.4 Studiu de caz
n cele ce urmeaz, se va descrie explicit comportamentul sistemului
pentru unele setri iniiale. Se consider un sistem foarte simplu, format din


238
3 ageni care ruleaz pe 2 servere cutnd informaii despre 20 de entiti de
cunoatere (4 perceptive i 16 extinse). Structurile iniiale ale agenilor i
serverelor (mai exact ale agenilor locali de baze de cunotine de pe
servere) sunt prezentate n cele ce urmeaz:

agent1.kbf

[Beliefs]
Origin server1
Priority 1
[Desires]
KI_5 KI_7 KI_14 KI_19
agent2.kbf

[Beliefs]
Origin server1
Priority 2
[Desires]
KI_2 KI_3 KI_14
agent3.kbf

[Beliefs]
Origin server2
Priority 3
[Desires]
KI_1 KI_2 KI_3 KI_17 KI_19 KI_20

server1.kbf

Serverlist Server1 Server2
KI_3 perceptual
KI_4 perceptual
server2.kbf

KI_1 perceptual
KI_2 perceptual

n decursul execuiei, n funcie de prioritate, un agent poate fi:
- n execuie: agentul este executat normal;
- n ateptare: pe server se afl mai muli ageni dect numr maxim
admis pentru execuie iar agentul este n coada de ateptare ntruct
are prioritate prea mic pentru a fi executat;
- suspendat: agentul este suspendat deoarece i-a ndeplinit scopul i
nu mai contribuie cu nimic la funcionarea sistemului.
Dup terminare, baza intern de cunotine a agenilor arat astfel:

agent1.kbf

[Beliefs]
Origin server1
Priority 1
KI_5 from kbserver1
KI_14 from kbserver1
agent2.kbf

[Beliefs]
Origin server1
Priority 2
KI_3 perceptual
KI_3 from kbserver1
agent3.kbf

[Beliefs]
Origin server2
Priority 3
KI_1 perceptual
KI_1 from kbserver2
KI_2 perceptual
KI_2 from kbserver2

Studiu experimental

239
KI_3 perceptual
KI_3 from kbserver1
KI_4 perceptual
KI_4 from kbserver1
Serverlist from kbserver1
Visited 0 server1 server2
KI_7 from kbserver2
KI_2 perceptual
KI_2 from kbserver2
KI_8 from kbserver2
KI_6 from kbserver2
KI_9 from kbserver2
KI_1 perceptual
KI_1 from kbserver2
[Desires]
KI_5 from kbserver1
KI_4 perceptual
KI_4 from kbserver1
KI_2 perceptual
KI_2 from agent3
KI_8 from agent3
KI_6 from agent3
KI_9 from kbserver2
KI_1 perceptual
KI_1 from kbserver2
[Desires]
KI_7 from kbserver2
KI_8 from kbserver2
KI_5 from kbserver2
KI_6 from kbserver2
KI_3 perceptual
KI_3 from kbserver1
KI_4 perceptual
KI_4 from kbserver1
Visited 1 server2
KI_9 from kbserver2
[Desires]

Trebuie remarcat faptul c n baza de cunotine, de fapt n seciunea
de convingeri, ntruct seciunea de dorine e acum vid, avem cunotine
care corespund att memoriei semantice (care reine cunotine generale,
fr legtur direct cu experiena individual), de exemplu KI_9 extends
KI_1 KI_4, ct i memoriei episodice (care reine cunotine legate de
experiena proprie subiectiv), de exemplu KI_9 from kbserver2.
Explicitarea unei entiti de cunoatere este unic, altfel baza de cunotine
de pe servere ar fi inconsistent, ns de vreme ce un concept poate fi gsit
pe mai multe servere (datorit redundanei informaionale) sau poate fi
trimis de un alt agent, gsirea definiiilor are un caracter subiectiv i poate
diferi de la un agent la altul.

9.5 Studiu comparativ al tehnicilor de nvare dinamic a cii
n acest paragraf se va insista asupra performanelor algoritmilor de
nvare dinamic a cii. Mai nti se va considera problema gsirii
drumului ntr-o reea de calculatoare utiliznd algoritmul Q-learning ntr-un


240
mod n care s permit o folosire eficient a matricei de valori Q. Apoi se va
studia cazul general de gsire a drumului ntr-un labirint, comparndu-se
algoritmii Q-learning, LRTA* i algoritmul propus bazat pe gradienii
marcajelor de stare.

9.5.1 Problema drumului n reea
Pentru testarea metodei descrise n paragraful 8.5.2, se va considera
o reea cu topologia din figura 9.27 (Leon, ova & Glea, 2004b). Exist
trei domenii (tipuri) de entiti de cunoatere: A, B i C. Pentru domeniul A
exist 20 de entiti de cunoatere perceptive i 180 de entiti de cunoatere
extinse. Pentru domeniul B exist 10 entiti de cunoatere perceptive i 90
de entiti de cunoatere extinse. Pentru domeniul C exist 10 entiti de
cunoatere perceptive i 140 de entiti de cunoatere extinse. Acestea sunt
distribuite pe servere n diferite proporii. De exemplu, se poate vedea n
figura 9.27 c server3 este specializat pe domeniul B, deoarece menine
80% din cantitatea total de entiti de cunoatere de tip B.
Lista iniial de dorine (scopuri) a agenilor conine 7-10 itemi.
Parametrii algoritmului Q-learning utilizai sunt: o rat iniial de explorare
egal cu 1 (agenii trebuie mai nti s exploreze deoarece nu dein
cunotine iniiale despre mediu); aceast rat descrete cu 0.03 de fiecare
dat cnd agentul de mut pe alt server, dar nu scade sub 0.1, deoarece
agenii trebuie s i pstreze ansa de a explora din timp n timp chiar i
atunci cnd au suficiente informaii, pentru a se putea adapta la schimbri
ulterioare. Rata de nvare este 0.2. Recompensa negativ pentru
ncercarea de mutare pe un server neconectat cu locaia curent este 100.

Figura 9.27. Topologia reelei de test

S-au studiat dou posibiliti pentru factorul de reducere . Scopul a
fost de a da agenilor o imagine precis asupra distribuiei cunotinelor de

Studiu experimental

241
pe fiecare server. O valoare mare pentru ar lua n calcul recompensele
viitoare. De exemplu, pe server3 valorile Q pentru tipurile A i C ar fi
nenule, deoarece agentul ar putea gsi aceste tipuri mutndu-se de pe
server3 pe server4.
Mai nti, s-a ales = 0.2. Dup o epoc de nvare, matricea Q a
unui agent avea valorile din tabelul 9.18, cu parametrii descrii n paragraful
3.5.2. Se poate vedea c dup doar o epoc de nvare, matricea Q arat
conexiunile inexistente dintre servere drept valori negative. Pe msur ce
antrenarea progreseaz, matricea tinde s indice valori apropiate de
distribuia tipurilor de entiti de cunoatere. Este important de subliniat
faptul c un agent are doar o viziune local, parial, a sistemului, care
depinde de sarcinile specifice pe care trebuie s le ndeplineasc. De aceea,
este posibil ca agenii s nu ajung s aib niciodat o descriere complet a
mediului de execuie. De exemplu, server3 are doar cunotine de tip B;
totui, dac sarcinile agentului nu includ acest tip, el nu va primi niciodat o
recompens pe server3 i deci nu va reui s modeleze distribuia
domeniului de cunotine de pe acest server.

Tabelul 9.18. Matricea Q a unui agent dup o epoc de antrenare cu = 0.2
Q[1,A,1] = 0.123 Q[1,A,2] = 0.106 Q[1,A,3] = -32.542 Q[1,A,4] = 0.310 Q[1,A,5] = 0.189
Q[1,B,1] = 0.046 Q[1,B,2] = 0.153 Q[1,B,3] = -32.766 Q[1,B,4] = 0.006 Q[1,B,5] = 0.011
Q[1,C,1] = 0.316 Q[1,C,2] = 0.254 Q[1,C,3] = -32.414 Q[1,C,4] = 0.405 Q[1,C,5] = 0.410
Q[2,A,1] = 0.098 Q[2,A,2] = 0.090 Q[2,A,3] = -85.146 Q[2,A,4] = 0.248 Q[2,A,5] = -63.430
Q[2,B,1] = 0.046 Q[2,B,2] = 0.153 Q[2,B,3] = -84.963 Q[2,B,4] = 0.006 Q[2,B,5] = -63.438
Q[2,C,1] = 0.296 Q[2,C,2] = 0.232 Q[2,C,3] = -85.019 Q[2,C,4] = 0.351 Q[2,C,5] = -63.379
Q[3,A,1] = -8.482 Q[3,A,2] = 0.106 Q[3,A,3] = 0.200 Q[3,A,4] = 0.310 Q[3,A,5] = -13.278
Q[3,B,1] = -8.309 Q[3,B,2] = 0.326 Q[3,B,3] = 1.255 Q[3,B,4] = 0.266 Q[3,B,5] = -13.101
Q[3,C,1] = -8.404 Q[3,C,2] = 0.241 Q[3,C,3] = 0.335 Q[3,C,4] = 0.404 Q[3,C,5] = -13.153
Q[4,A,1] = 0.123 Q[4,A,2] = 0.106 Q[4,A,3] = 0.200 Q[4,A,4] = 0.310 Q[4,A,5] = 0.189
Q[4,B,1] = 0.286 Q[4,B,2] = 0.326 Q[4,B,3] = 1.255 Q[4,B,4] = 0.266 Q[4,B,5] = 0.330
Q[4,C,1] = 0.316 Q[4,C,2] = 0.254 Q[4,C,3] = 0.338 Q[4,C,4] = 0.405 Q[4,C,5] = 0.410
Q[5,A,1] = 0.123 Q[5,A,2] = -8.504 Q[5,A,3] = -86.450 Q[5,A,4] = 0.310 Q[5,A,5] = 0.189
Q[5,B,1] = 0.000 Q[5,B,2] = -8.493 Q[5,B,3] = -86.554 Q[5,B,4] = 0.000 Q[5,B,5] = 0.000
Q[5,C,1] = 0.303 Q[5,C,2] = -8.459 Q[5,C,3] = -86.387 Q[5,C,4] = 0.344 Q[5,C,5] = 0.360

n situaia studiat, dup 5 epoci de antrenare, agentul poate gsi
relaii precum:
- Conexiune inexistent ntre server5 i server2: Q[5,*,2] = -94.312;
- Domenii de cunotine pe server3: Q[*,A,3] = 1.274, Q[*,B,3] =
5.314, Q[*,C,3] = 2.344;
- Domenii de cunotine pe server1: Q[*,A,1] = 1.967, Q[*,B,1] =
0.377, Q[*,C,1] = 8.236.
Valorile de mai sus sunt mediile pentru toate tipurile (n cazul
detectrii prezenei unei conexiuni) i pentru toate serverele (n cazul


242
nvrii distribuiei tipurilor de entiti de cunoatere). Distribuia tipurilor
de entiti de cunoatere este mediat doar pentru valorile pozitive, cnd
agentul se poate muta efectiv pe serverul respectiv din locaia sa curent. Se
poate observa influena factorului de reducere nenul, deoarece apar valori
diferite de zero chiar i pentru tipuri de cunotine care nu sunt prezente pe
serverele considerate. Valorile nu reflect procentajele absolute, ci au o
natur subiectiv, parial i ordinal a distribuiei cunotinelor. Totui,
utilitatea lor apare din faptul c i dau agentului posibilitatea de a alege
serverul int cu recompensa potenial maxim n faza de exploatare cnd
numai ordinea recompenselor poteniale ale destinaiilor este important
pentru el.
ntr-un al doilea experiment, factorul de reducere a fost setat la 0.
De asemenea, s-a permis agenilor s execute sarcini diferite reinndu-i
valorile Q ntre sarcini. Dup trei epoci de antrenare, matricea Q a unui
agent a fost cea prezentat n tabelul 9.19.

Tabelul 9.19. Matricea Q a unui agent dup trei epoci de antrenare cu = 0
Q[1,A,1] = 0.447 Q[1,A,2] = 0.134 Q[1,A,3] = -1.439 Q[1,A,4] = 0.039 Q[1,A,5] = 2.756
Q[1,B,1] = 0.000 Q[1,B,2] = 0.218 Q[1,B,3] = 1.620 Q[1,B,4] = 0.000 Q[1,B,5] = 0.000
Q[1,C,1] = 0.146 Q[1,C,2] = 0.000 Q[1,C,3] = -1.439 Q[1,C,4] = 0.000 Q[1,C,5] = 1.892
Q[2,A,1] = 0.447 Q[2,A,2] = 0.134 Q[2,A,3] = -1.433 Q[2,A,4] = 0.039 Q[2,A,5] = -24.070
Q[2,B,1] = 0.000 Q[2,B,2] = 0.218 Q[2,B,3] = 1.626 Q[2,B,4] = 0.000 Q[2,B,5] = -26.008
Q[2,C,1] = 0.146 Q[2,C,2] = 0.000 Q[2,C,3] = -1.433 Q[2,C,4] = 0.000 Q[2,C,5] = -24.783
Q[3,A,1] = -79.931 Q[3,A,2] = -0.244 Q[3,A,3] = 0.000 Q[3,A,4] = 0.039 Q[3,A,5] = -95.185
Q[3,B,1] = -80.020 Q[3,B,2] = -0.160 Q[3,B,3] = 3.092 Q[3,B,4] = 0.000 Q[3,B,5] = -95.361
Q[3,C,1] = -79.992 Q[3,C,2] = -0.378 Q[3,C,3] = 0.000 Q[3,C,4] = 0.000 Q[3,C,5] = -95.269
Q[4,A,1] = 0.447 Q[4,A,2] = 0.134 Q[4,A,3] = 0.000 Q[4,A,4] = 0.039 Q[4,A,5] = 2.756
Q[4,B,1] = 0.000 Q[4,B,2] = 0.218 Q[4,B,3] = 3.092 Q[4,B,4] = 0.000 Q[4,B,5] = 0.000
Q[4,C,1] = 0.146 Q[4,C,2] = 0.000 Q[4,C,3] = 0.000 Q[4,C,4] = 0.000 Q[4,C,5] = 1.892
Q[5,A,1] = 0.447 Q[5,A,2] = -8.219 Q[5,A,3] = -1.420 Q[5,A,4] = 0.039 Q[5,A,5] = 2.756
Q[5,B,1] = 0.000 Q[5,B,2] = -8.096 Q[5,B,3] = 1.639 Q[5,B,4] = 0.000 Q[5,B,5] = 0.000
Q[5,C,1] = 0.146 Q[5,C,2] = -8.265 Q[5,C,3] = -1.420 Q[5,C,4] = 0.000 Q[5,C,5] = 1.892

Se poate observa c matricea indic modelul de conectare a
serverelor i reine o reprezentare mai precis a distribuiei domeniilor de
cunotine.

9.5.2 Problema labirintului
Pentru problema labirintului (Leon, Zaharia & Glea, 2004a),
mulimea de aciuni posibile este:

} , , , { vest sud est nord A = , (9.6)

iar mulimea strilor:

Studiu experimental

243

{ }, 1 , 1 , latime j inaltime i s S
ij
s s s s = (9.7)
} , , , { stop start obstacol liber s
ij
e . (9.8)

Recompensele utilizate sunt:
- 100 pentru atingerea strii scop;
- 100 pentru ncercarea de a se muta ntr-o stare obstacol;
- 0 pentru mutarea ntr-o alt stare liber.
ntr-o prim abordare, nu s-au pus constrngeri asupra micrilor
agentului. Astfel, el se putea muta ntr-o stare obstacol, aceasta s-ar fi
considerat o stare terminal i algoritmul s-ar fi restartat ntr-un nou episod
de nvare. Totui, pentru a accelera nvarea, s-a decis ca agentul s
primeasc o penalizare de 100 pentru mutarea ntr-o stare obstacol, dar s
i pstreze poziia anterioar. Aceast abordare este mai realist
considernd situaia n care un robot se mic printr-un labirint fizic. Cnd
atinge un zid, nu este obligatoriu s se defecteze pentru ca nvarea s fie
reluat de la nceput.
S-a ales o rat iniial de explorare } 1 , 9 . 0 , 8 . 0 {
0
e c i s-au efectuat
mai multe teste de performan. Cnd agentul gsete o soluie, rata scade
cu 0.05, totui nu scade sub 0.1 (dac dup mai multe episoade funcia Q nu
a convers, agentul trebuie s mai aib ansa de a gsi soluia prin explorare).
S-au considerat dou situaii: n prima, agentul aplic pur i simplu
Q-learning; n cea de a doua, el marcheaz strile vizitate i primete o
penalizare de 10 dac se ntoarce din nou ntr-o stare deja vizitat. Astfel,
este descurajat s intre n bucle.
Performana agentului este dat de numrul de episoade de antrenare
n care nva calea. Trebuie menionat faptul c nvarea cii nu este
acelai lucru cu gsirea cii. Agentul va gsi calea de multe ori, ns
important este ajustarea valorilor Q astfel nct s poat gsi soluia ntr-un
singur episod, bazndu-se numai pe acestea.

Figura 9.28. Calea ntr-un labirint simplu cu soluie unic


244

Figura 9.29. Calea ntr-un labirint complex cu soluie unic

Figura 9.30. Ci posibile ntr-un labirint complex cu soluii multiple

Studiu experimental

245
Algoritmul a fost testat pe trei labirinturi: unul simplu (11x11) cu o
singur soluie posibil, unul mai complex (25x25) tot cu o singur soluie i
nc unul complex (19x30), care permite soluii multiple (figurile 9.28, 9.29,
respectiv 9.30). S-a msurat numrul de episoade de nvare i numrul
total de pai necesari pentru atingerea soluiei. Datele au fost prelucrate
statistic, calculndu-se media i deviaia standard.
Tabelul 9.20 prezint rezultatele pentru diferite valori ale ratei
iniiale de explorare
0
c , obinute dup 20 de epoci de nvare.

Tabelul 9.20. Performanele algoritmului Q-learning cu diferite rate iniiale de
explorare, n prezena i absena marcajelor de stare
Labirint Marcaje
0
m
episodes

episodes
m
totalsteps

totalsteps

1 9.1 3.375 19727 5880
0.9 13.15 4.028 13516 3067 Nu
0.8 17.75 7.569 14814 6134
1 8.9 4.625 21671 9627
0.9 8.25 2.385 8830 2203
simplu (11x11)
soluie unic
Da
0.8 9.85 2.475 5907 1573
1 18.55 4.717 1368121 285868
0.9 191.8 26.658 749443 60625 Nu
0.8 295.65 37.936 779560 137781
1 >1000 ~73900000
0.9 12.6 4.363 106253 30783

complex (25x25)
soluie unic
Da
0.8 13.45 3.263 57640 14753
1 43.7 10.194 138489 26510
0.9 99.55 22.675 106341 16196 Nu
0.8 151.3 34.134 98464 15771
1 101.3 51.424 329483 169084
0.9 68.8 23.134 74729 19438
complex (19x30)
soluii multiple
Da
0.8 59 18.501 41541 8003

Trebuie notat c n ambele cazuri, rate iniial de explorare are o
influen mare asupra numrului de episoade de nvare. Cnd agentul nu-i
amintete strile vizitate, nvarea este cea mai rapid cnd
0
c este 1
(figura 9.31).
Totui, numrul de pai din fiecare episod de nvare este mai mare
cnd
0
c este mai mare. Dac agentul are un comportament condus doar de
explorare, el acioneaz ntr-o manier aleatorie i deci numrul de stri prin
care trece este mai mare. Cnd
0
c este mai mic, avem un numr mai mare
de episoade de nvare, dar n fiecare episod agentul gsete soluia mai
repede, deoarece se bazeaz mai mult pe cunotinele reale (figura 9.32) .


246

Figura 9.31. Numrul de pai pe episod de nvare pentru un labirint simplu
cu soluie unic, fr marcaje de stare i rat iniial de explorare c
0
= 1

Figura 9.32. Numrul de pai pe episod de nvare pentru un labirint simplu
0
= 0.9

Figura 9.33. Numrul de pai pe episod de nvare pentru un labirint complex
0
= 0.9

Studiu experimental

247
Dup fiecare episod de nvare reuit, rata de explorare este
micorat i agentul ncepe s-i foloseasc informaiile dobndite anterior,
deci numrul de pai pentru atingerea soluiei n fiecare episod de nvare
se diminueaz gradat (figura 9.33). Mai exist nc impulsuri, deoarece rata
de explorare nu este niciodat nul iar o decizie aleatorie ntr-o stare cheie
(de exemplu o bifurcaie unde o cale duce spre soluie iar alta ntr-o
fundtur) poate influena rezultatul procesului de nvare.
Un alt fenomen apare cnd agentul marcheaz strile i primete o
penalizare pentru revenirea ntr-o stare deja vizitat. n acest caz, cele mai
bune performane sunt obinute cu 9 . 0
0
= c , i nu cu 1
0
= c (figura 9.34).

Figura 9.34. Numrul de pai pe episod de nvare pentru un labirint complex
cu soluii multiple, cu marcaje de stare i rat iniial de explorare c
0
= 0.8

Caracterul aleatoriu ntr-o mai mare msur a procesului de nvare
impieteaz asupra performanelor agentului, deoarece exist mai multe
anse ca agentul s se ntoarc ntr-o stare marcat. Agentul i modific
valorile Q i ncearc s evite starea respectiv, dei aceasta ar putea fi o
stare util. Cu o rat iniial de explorare subunitar, algoritmul are
performane mai bune dect n cazul simplu. De asemenea, cnd 9 . 0
0
= c ,
numrul pailor pe episod este de obicei mai mic dect n situaia fr
marcaje.
Dup ce s-a demonstrat c agentul nva mai repede dac folosete
marcaje de stare cu o rat iniial de explorare de 0.9, se va analiza influena
ratei de nvare i a factorului de reducere asupra eficienei cu care este
nvat calea. Tabelul 9.21 prezint rezultatele pentru valori diferite ale lui
i , obinute dup 20 de epoci de nvare.



248
Tabelul 9.21. Performanele algoritmului Q-learning cu marcaje de stare
pentru diferite valori ale ratei de nvare i factorului de reducere
Labirint m
episodes

episodes
m
totalsteps

totalsteps

0.1 7.6 2.458 14780 6048
0.5 8.15 2.574 8374 2797 0.1
0.9 12.8 4.082 9368 2284
0.1 5.5 2.674 6272 2734
0.5 5.7 2.61 4124 1230 0.5
0.9 6.95 1.658 4292 724
0.1 13.55 13.204 11861 12152
0.5 21.8 17.882 15513 12753
simplu (11x11)
soluie unic
0.9
0.9 6.05 1.687 4042 1139
0.1 20.95 7.074 369139 147502
0.5 14.95 4.189 131756 50757 0.1
0.9 47.15 16.135 183783 32608
0.1 >1000 ~5500000
0.5 >1000 ~8300000 0.5
0.9 >1000 ~4500000
0.1 >1000 ~18300000
0.5 >1000 ~12800000
complex (25x25)
soluie unic
0.9
0.9 >1000 ~8100000
0.1 71.7 19.662 78764 19135
0.5 70.4 32.469 73511 26015 0.1
0.9 78.15 19.764 78814 13126
0.1 >1000 ~1400000
0.5 >1000 ~1200000 0.5
0.9 46.8 9.026 46736 6517
0.1 >1000 ~1600000
0.5 >1000 ~1400000
complex (19x30)
soluii multiple
0.9
0.9 391.7 385.956 319561 306239

Dei pentru probleme simple o rat de nvare medie este
satisfctoare, n general o rat de nvare mai mic produce rezultate mai
bune. Dac este mare, valoarea curent a lui Q(s,a) devine mai puin
important iar valoarea urmtoare este determinat n principal de
recompens i starea urmtoare: ) ' , ' ( max
'
a s Q r
A a
. Cnd labirintul este
simplu, un factor de reducere mare produce rezultate mai bune, dar n
labirinturi complexe, pentru rate de nvare mici, se prefer o valoare
medie.
Figura 9.35 arat schimbrile de performan pentru un labirint
simplu (11x11) cu soluie unic, atunci cnd rata de nvare este constant
(0.1) iar factorul de reducere variaz. Se poate observa c numrul de
episoade de nvare este mai mic atunci cnd factorul de reducere este mic,

Studiu experimental

249
adic agentul se concentreaz asupra recompensei imediate. Totui, dup
cum s-a artat, numrul total de pai pentru gsirea soluiei are o tendin
opus.

Figura 9.35.
a) Numrul de episoade cnd = 0.1 i variaz
b) Numrul total de pai cnd = 0.1 i variaz

Figura 9.36 indic schimbrile de performan pentru acelai
labirint, de aceast dat meninnd factorul de reducere constant (0.5) i
variind rata de nvare. n acest caz, att numrul de episoade ct i
numrul total de pai pentru gsirea soluiei sunt minime cnd rata de
nvare este medie.

Figura 9.36.
a) Numrul de episoade cnd = 0.5 i variaz
b) Numrul total de pai cnd = 0.5 i variaz

O abordare clasic pentru determinarea cii de cost minim este A*
(Hart, Nilsson & Raphael, 1968), un algoritm de cutare off-line care
calculeaz ntreaga cale pn la soluie nainte de a executa primul pas de pe
cale. Totui, ntr-un sistem multiagent nu este ntotdeauna posibil


250
efectuarea de calcule locale pentru toate nodurile, din cauza limitrilor de
timp. Algoritmul LRTA* (Korf, 1990) rezolv aceast problem impunnd
ca agentul s efectueze calcule numai pentru nodurile vecine. S-a
demonstrat c prin iteraii multiple rezultatul converge n final ctre soluia
optim. Agentul trebuie s estimeze distana ctre scop h(i) pentru fiecare
nod i vizitat. Algoritmul LRTA* este prezentat mai jos (Yokoo & Ishida,
2000):

Look-ahead:
calculate h(j) j) k(i, f(j) + for each neighbor j
of the current node i,
where h(j) is the current estimate of the shortest distance
from j to the goal node, and k(i,j) is the link cost from i to j
Update the estimate of node i:
f(j) min h(i)
j

Action selection:
move to the neighbor j that has the minimum f(j) value
(ties are broken randomly)

Deoarece agentul determin aciunea urmtoare n timp constant,
LRTA* este considerat un algoritm de timp real, on-line. El actualizeaz
estimrile cu cea mai bun valoare de pn la un anumit moment pentru a
nu supraestima costul real. De aceea, valoarea iniial a lui h(i) trebuie s fie
optimist, adic s nu supraestimeze niciodat valoarea real. S-a
demonstrat (Cakir & Polat, 2002) c metodele de cutare de timp real sunt
metode sub-optime puternice care pot depi metodele de cutare off-line
din punctul de vedere al timpului total de execuie.
S-a utilizat LRTA* pentru gsirea soluiilor pentru labirinturile
propuse. S-au msurat numrul de pai pe episod de nvare i numrul
total de pai n care agentul gsete soluia. Rezultatele sunt prezentate n
tabelul 9.22.
Este evident c LRTA* are performane mai bune dect Q-learning
pentru aceste probleme de gsire a cii. LRTA* este un algoritm special
proiectat pentru acest tip de probleme, pe cnd tehnicile de nvare cu
ntrire sunt metode generale de nvare.
Considernd acum algoritmul propus n paragraful 8.5.3, tabelul
9.23 precizeaz rezultatele nvrii cu diferite rate de consecven, dup
100 de epoci de antrenare.


Studiu experimental

251
Tabelul 9.22. Performanele algoritmului LRTA* pentru problemele considerate
Labirint m
episodes

episodes
m
steps/ep

steps/ep
m
totalsteps

totalsteps

simplu (11x11)
soluie unic
15.3 0.461 47.111 23.428 720.8 7.369
complex (25x25)
soluie unic
111.2 0.402 213.439 87.273 23734.4 45.026
complex (19x30)
soluii multiple
96.6 23.02 77.172 81.232 7454.8 951.227

Este clar c n cazul unui labirint cu soluie unic, unde calea este
foarte strict, rata de consecven nu este important. Agentul va fi
constrns de structura labirintului i singurele decizii pe care le poate lua se
refer la punctele de ramificaie. Pentru labirinturi complexe, cu soluii
multiple, dac rata de consecven este mare, numrul total de pai pentru
gsirea soluiei este mai mic, deoarece agentul va aciona mai puin ntr-o
manier aleatorie, crescndu-i deci ansele s descopere mai repede soluia.

Tabelul 9.23. Performanele algoritmului gradienilor marcajelor de stare
pentru diferite rate de consecven
Labirint
Rat de
consecven
m
episodes

episodes
m
totalsteps

totalsteps

0.9 1 0 68.8 13.717
0.8 1 0 58.8 22.454
0.5 1 0 50.6 21.514
simplu (11x11)
soluie unic
0.1 1 0 50.32 23.981
0.9 1 0 260.4 80.039
0.8 1 0 261.6 87.447
0.5 1 0 237.2 76.578
complex (25x25)
soluie unic
0.1 1 0 242.48 86.238
0.9 2.9 2.385 614.56 505.517
0.8 3.25 2.875 612.76 462.663
0.5 4.25 3.708 637.92 450.715
complex (19x30)
soluii multiple
0.1 6.36 5.572 811.28 544.777

Algoritmul propus se dovedete mai eficient dect Q-learning i
LRTA*, deoarece descoper soluia n mult mai puine episoade de
antrenare (un singur episod dac nu sunt permise bucle n labirint). De
asemenea, numrul de pai n care agentul atinge nodul scop este
aproximativ de zece ori mai mic dect numrul de pai necesari algoritmului
LRTA*!



252
9.6 Concluzii
S-a artat c algoritmul NNGEP are rate de eroare mai mici dect
clasificatorii cu care s-a realizat comparaia i de asemenea metricile pentru
distan bazate pe rezultatele din psihologia cognitiv asigur toleran la
zgomotele din date, astfel nct este posibil situaia ca rata de eroare de la
predicie s fie de aproximativ cinci ori mai mic dect rata erorilor de
clasificare din setul de antrenare.
S-a efectuat apoi o analiz a modelului de raionament simbolic
deductiv pe infrastructur conexionist, studiindu-se comportamentul
acestuia n cazul raionamentelor circulare i a relaiilor dintre concepte
exprimate ntr-un limbaj cvasinatural, evideniindu-se posibilitatea de
nvare a relaiilor deduse prin crearea i ntrirea ponderilor dintre
concepte.
n continuare, s-a efectuat un studiu detaliat asupra performanelor
sistemului distribuit de ageni inteligeni mobili, artndu-se influena
asupra comportamentului global a schimbrii unor parametri precum
modelarea bazelor de cunotine de pe servere, cooperarea ntre ageni,
cozile de prioritate de pe servere i gsirea dinamic a cii n reea prin
metode de nvare cu ntrire. n cazul general al gsirii drumului ntr-un
labirint, s-a propus un algoritm bazat pe detectarea gradienilor marcajelor
de stare, care rezolv problema mult mai repede dect algoritmi precum
Q-learning i de zece ori mai eficient chiar dect algoritmi dedicai precum
LRTA*.

253

BIBLIOGRAFIE

[1] Abraham, A. (2001). Beyond Neuro-Fuzzy Systems: Reviews,
Architectures, Perspectives and Directions, MENDEL 2001, 7th
International Mendel Conference on Soft Computing, Brno, Czech
Republic.
[2] Aflori, C., Leon, F. (2004). Efficient Distributed Data Mining using
Intelligent Agents, in Proceedings of the Eighth International
Symposium on Automatic Control and Computer Science, Iai.
[3] Agrawal, R., Srikant, R. (1994). Fast Algorithms for Mining
Association Rules, Proc. 20th Int. Conf. Very Large Data Bases,
VLDB.
[4] Aha, D. (1992). Tolerating noisy, irrelevant and novel attributes in
instance-based learning algorithms, International Journal of Man-
Machine Studies, 36: 267-287.
[5] Aisbett, J., Gibbon, G. (2001). A general formulation of conceptual
spaces as a meso level representation, Elsevier, Artificial Intelligence
133, 189232.
[6] Almeida, L. B. (1997). Multilayer perceptrons, in Handbook of Neural
Computation, IOP Publishing Ltd and Oxford University Press.
[7] Anderson, J. R. (1983). The Architecture of Cognition, Harvard
University Press, Cambridge, MA.
[8] rzn, K. E. (2003). Real-Time Systems, Lund Institute of Technology,
Suedia, http://www.control.lth.se/~kurstr/L9_01_slides8.pdf.
[9] Ascoli, G. (2001). Physiological Psychology, http://www.krasnow.
gmu.edu/ascoli/Teaching/Psyc372_01/Cla1.html.
[10] Ashby, F. G., Alfonso-Reese, L. L., Turken, A. U., Waldron, E. M.
(1998). A Neuropsychological theory of multiple systems in category
learning, Psychological Review, 105, 442-482.
[11] Ashby, F. G., Maddox, W. T. (1993). Relations between prototype,
exemplar, and decision-bound models of categorization, Journal of
Mathematical Psychology, 37, 372400.
[12] Austin, J. (1962). How to do things with words, Harvard University
Press.
[13] Azvine, B., Azarmi, N., Tsui, K. C. (1996). Soft computing - a tool for
building intelligent systems, BT Technology Journal, vol. 14, no.4.
id-684130187 pdfMachine by Broadgun Software - a great PDF writer! - a great PDF creator! - http://www.pdfmachine.com http://www.broadgun.com


254
[14] Bach, K. (2004). Speech Acts in Routledge Encyclopedia of
Philosophy, http://userwww.sfsu.edu/~kbach/ spchacts.html.
[15] Barbuceanu, M., Fox, M. S. (1995). COOL: A Language for
Describing Coordination in Multi Agent Systems, Proceedings of the
First International Conference of Multi-Agent Systems.
[16] Bayes, Rev. T. (1763). An Essay Toward Solving a Problem in the
Doctrine of Chances, Philos. Trans. R. Soc. London 53, pp. 370-418.
[17] Baylor, A. (1999). Intelligent agents as cognitive tools for education,
Educational Technology, Volume XXXIX (2), 36-41.
[18] Bergmann, K. (1998). Anstze von Rodney Brooks, Subsumption
Architecture, Seminar Lernalgorithmen in der Robotik,
http://www.cis.tugraz.at/igi/STIB/WS98/Bergmann/ einleitung.htm.
[19] Bowling, M., Veloso, M. M. (2000). An Analysis of Stochastic Game
Theory for Multiagent Reinforcement Learning, Technical Report
CMU-CS-00-165, Computer Science Department, Carnegie Mellon
University.
[20] Bratman, M., Israel, D., Pollack, M. (1988). Plans and Resource-
Bounded Practical Reasoning, Computational Intelligence, 4, 349-355.
[21] Breiman, L. (2001). Random Forests, Machine Learning, 45 (1):5-32.
[22] Brooks, R. A. (1986). A Robust Layered Control System For A Mobile
Robot, IEEE Journal Of Robotics And Automation, RA-2, 14-23.
[23] Brooks, R. A. (1991a). Intelligence without Reason, Proceedings of the
Twelfth International Joint Conference on Artificial Intelligence
(IJCAI-91), 569-595, Sydney, Australia.
[24] Brooks, R. A. (1991b). Intelligence without Representation, Artificial
Intelligence, 47: 139-159.
[25] Broomhead, D. S., Lowe, D. (1988). Multivariable functional
interpolation and adaptive networks, Complex Syst. 2, 32155.
[26] Brudaru, O., Leon, F., Buzatu, O. (2004). Genetic Algorithm for
Solving Fuzzy Equations, in Proceedings of the 8
th
International
[27] Bruner, J. S., Goodnow, J. J., Austin, G. A. (1956). A study of thinking,
New York, Wiley.
[28] Bryson, A. E., Ho, Y. C. (1969). Applied Optimal Control, Blaisdell,
New York.
[29] Buiu, C. (1999). Distributed Artificial Intelligence, http://www.cl.inf.
tu-dresden.de/compulog/lectures/winter99/lpisa/mod_1_07.html.
[30] Bulea, M. (1997). Structuri i algoritmi paraleli pentru prelucrarea
imaginilor i recunoaterea formelor, Tez de doctorat, Universitatea
Tehnic Gh. Asachi Iai, Facultatea de Automatic i Calculatoare.

Bibliografie

255
[31] Caglayan, A., Harrison, C. G. (1997). Agent Sourcebook: Commercial
Agent Software, Wiley & Sons Computer Publishing.
[32] Cakir, A., Polat, F. (2002). Coordination of intelligent agents in real-
time search, Expert Systems, Vol. 19, No.2.
[33] CarsonMedia, Inc. (2003). Why Use eLearning?,
http://www.carsonmedia.com/pages/elearning/whyElearning.htm.
[34] Casas Pardo, J., Montoro-Pons, J. D. (2000). Cooperative Behavior In
The Prisoner Dilemma: The Role Of Rules In Institutions,
http://www.ucm.es/info/iudem/casas.DT00-3.pdf.
[35] Castelfranchi, C. (1995). Commitments: From Individual Intentions to
Groups and Organizations, In Proceedings of the First International
Conference on Multi-Agent Systems, 41-48, Menlo Park, California,
AAAI Press.
[36] Castelfranchi, C. (2001). The theory of social functions: challenges for
computational social science and multi-agent learning, Journal of
Cognitive Systems Research 2, 5-38, http://www.cecs.missouri.edu/
~rsun/si-mal/article1.pdf.
[37] Cohen, P., Levesque, H. (1990). Intention is Choice with Commitment,
Artificial Intelligence, 42.
[38] Cohen, W. W. (1995). Fast effective rule induction, in Proc. Of the 12
th

International Conference on Machine Learning, pp. 115-123, Morgan
Kaufmann.
[39] Conte, R. (2001). Emergent (info)institutions, Journal of Cognitive
Systems Research 2, 97-110.
[40] Curteanu, S., Leon, F., Glea, D. (2003). Neural Network Models for
Free Radical Polymerization of Methyl Methacrylate, Eurasian
Chemico-Technological Journal, volume 5, number 3, pp. 225-231,
http://eurasianchemtech.vub.ac.be/contents/2003v5n3.html.
[41] Curteanu, S., Petrila, C., Ungureanu, ., Leon, F. (2003). Genetic
Algorithms and Neural Networks Used in Optimization of a Radical
Polymerization Process, Buletinul Universitii Petrol-Gaze din
Ploieti, vol. LV, seria tehnic, nr. 2/2003, pp. 85-93.
[42] Cybenko, G. (1989). Approximation by superpositions of a sigmoidal
function, Math. Control, Signal Syst. 2 30314.
[43] Decker, K. S. (1987). Distributed problem solving: A survey, IEEE
Transactions on Systems, Man, and Cybernetics, 17(5):729-740.
[44] Dimitriu, G. (2001). Sisteme informatice geografice GIS, Editura
Albastr, Cluj-Napoca.
[45] do Carmo Nicoletti, M., Santos, M. O. (1996). A Fuzzified Nested
Generalized Exemplar Theory, Universidade Federal de So Carlos,


256
Departamento de Computao, http://www.dc.ufscar.br/~carmo/
relatorios/Alemanha.ps.
[46] Doyle, P. (2000). AI Qual Summary: Learning, http://www-cs-
students.stanford.edu/~pdoyle/ quail/notes/pdoyle/learning.html.
[47] Dubois, D., Prade, H. (1987). Fuzzy numbers: an overview, in: J.
Bezdek (ed.), Analysis of Fuzzy Information, CRC Press, Boca Raton,
FL, pp. 112-148.
[48] Duda, R. O., Hart, P. E. (1973). Pattern Classification and Scene
Analysis, John Wiley & Sons, p. 218.
[49] Dumitrescu D. (1999). Principiile inteligenei artificiale, Ed. Albastr,
Cluj-Napoca.
[50] Dumitrescu, D., Costin, H. (1996). Reele neuronale, Teorie i
aplicaii, Ed. Teora, Bucureti.
[51] Durfee, E. H., Lesser, V. R., Corkill, D. D. (1987). Coherent
Cooperation among Communicating Problem Solvers, IEEE
Transactions on Computers, C-36(11):1275-1291.
[52] Erickson, M. A., Kruschke, J. K. (1998). Rules and exemplars in
category learning, Journal of Experimental Psychology: General, 127,
107-140.
[53] Ester, M., Frommelt, A., Kriegel, H. P., Sander, J. (1999). Spatial Data
Mining: Database Primitives, Algorithms and Efficient DBMS Support,
Integration of Data Mining with Database Technology, Data Mining
and Knowledge Discovery, an International Journal, Kluwer Academic
Publishers.
[54] European Commission (2002). Sixth Framework Programme (2002-
2006), http://europa.eu.int/comm/ research/fp6/index_en.html.
[55] Ferber, J. (1995). Les systmes multi-agents vers une intelligence
collective, InterEditions, Paris.
[56] Finin, T., Labrou, Y., Mayfield, J. (2003). A Brief Introduction to the
Knowledge Interchange Format, http://www.cs.umbc.edu/kse/kif/
kif101.shtml.
[57] Fisher, B. (2002). Mahalanobis Distance, http://homepages.inf.ed.ac.uk/
rbf/CVonline/LOCAL_COPIES/FISHER/MAHAL/mahal.htm.
[58] Fisher, R. A. (1936). The use of multiple measurements in taxonomic
problems, Annual Eugenics, 7, Part II, 179-188.
[59] Florea, A. M. (2002). Multi-Agent Systems , Lecture 8: MAS Learning,
Computer Science WPI http://www.cs.wpi.edu/~cs525m/s02/Lec8.pdf.
[60] Frank, E., Witten, I. H. (1998). Generating Accurate Rule Sets Without
Global Optimization, in Shavlik, J. (ed.), Machine Learning:

Bibliografie

257
Proceedings of the Fifteenth International Conference, Morgan
Kaufmann Publishers, San Francisco, CA.
[61] Franklin, S., Graesser, A. (1996). Is it an Agent, or just a Program?: A
Taxonomy for Autonomous Agents, Proceedings of the Workshop on
Intelligent Agents III, Agent Theories, Architectures, and Languages
pp. 21-35.
[62] Fudenberg, D., Kreps, D. (1990). Lectures on learning and equilibrium
in strategic-form games, Technical report, CORE Lecture Series.
[63] Fullr, R. (1995). Neural Fuzzy Systems, bo Akademis tryckeri, bo,
Finland.
[64] Funahashi K. (1989). On the approximate realization of continuous
mappings by neural networks, Neural Networks, 2:183-192.
[65] Gadomski, A. M., Fontana, F. (2001). Intelligent Agents in Distance
Learning Systems, The UNINFO & eForm Meeting, Roma,
http://erg4146.casaccia.enea.it/FAD-UNINF-5may01.pdf.
[66] Glea, D., Leon, F., Zaharia, M. H. (2003). E-learning Distributed
Framework using Intelligent Agents, in M. Craus, D. Glea, A. Valachi
(eds.) - New Trends in Computer Science and Engineering,
Anniversary Volume, Department of Computer Engineering, Faculty
of Automatic Control and Computer Engineering, Technical
University "Gh. Asachi", Polirom Press, Iai, Romania, pp. 159-163.
[67] Grdenfors, P. (2000). Conceptual Spaces: The Geometry of Thought,
MIT Press, Cambridge, MA.
[68] Genesereth, M. R. (2001). Knowledge Interchange Format, Draft
proposed American National Standard (dpANS),
http://logic.stanford.edu/kif/dpans.html.
[69] Genesereth, M. R., Fikes, R. E. (1992). Knowledge Interchange
Format, Version 3.0, Reference Manual, Technical Report Logic-92-1,
Computer Science Department, Stanford University,
http://logic.stanford.edu/sharing/papers/kif.ps.
[70] Georgeff, M. P., Lansky, A. L. (1987). Reactive Reasoning and
Planning, In Proceedings of the Sixth National Conference on
Artificial Intelligence, AAAI-87, 677-682.
[71] Georgiou, G. M. (1997). Single-layer networks, in Handbook of Neural
Computation, IOP Publishing Ltd and Oxford University Press.
[72] Girosi, F. (1992). Some extensions of radial basis functions and their
applications in artificial intelligence, Computers Math. Applic.,
24(12):61-80.


258
[73] Glossary of Medical Terms (2006). Medical School, Aristotle
University of Thessaloniki, http://www.med.auth.gr/depts/forlang/eng/
Glossary_gr.htm.
[74] Gmytrasiewicz, P. J., Durfee, E. H. (1995). A Rigorous, Operational
Formalization of Recursive Modeling, in Proceedings of the First
International Conference on Multi-Agent Systems, pp. 125-132.
[75] Groden, M., Kreiswirth, M. (1997). Speech Acts in The Johns Hopkins
Guide to Literary Theory and Criticism, The Johns Hopkins University
Press, http://www.press.jhu.edu/books/hopkins_guide_to_literary_
theory/speech_acts.html.
[76] Grumbach, A. (1994). Cognition artificielle. De rflexe la rflexion,
ditions Addison-Wesley France.
[77] Gudauskas, R. (2001). Information and knowledge management in the
context of European Union research policy, Swedish-Lithuanian
seminar on Information management research issues, University
College of Bors, Sweden, http://www.infobalt.lt/docs/
Gudauskas.doc.
[78] Hamilton, H., Gurak, E., Findlater, L., Olive, W. (2002). Knowledge
Discovery in Databases, University of Regina, Canada,
http://www2.cs.uregina.ca/~hamilton/courses/831/notes/ml/dtrees/c4.5
/tutorial.html.
[79] Harrison, C. G., Chess, D. M., Kershenbaum, A. (1995). Mobile
Agents: Are they a good idea?, IBM Research Report, T.J.Watson
Research Center, NY.
[80] Hart, P. E., Nilsson, N. J., Raphael, B. (1968). A formal basis for the
heuristic determination of minimum cost paths, IEEE Transactions on
System Science and Cybernetics, 4, pp. 100-107.
[81] Harvey I.: Untimed and Misrepresented: Connectionism and the
Computer Metaphor, http://citeseer.nj.nec.com/harvey92untimed.html,
1992
[82] Hayashi, Y., Buckley, J. J. (1994). Approximations between fuzzy
expert systems and neural networks, Int. J. Approx. Reas., vol. 10, pp.
6373, 1994.
[83] Hayes-Roth, B. (1995). An Architecture for Adaptive Intelligent
Systems, Artificial Intelligence: Special Issue on Agents and
Interactivity, 72, 329-365.
[84] Haykin, S. (1994). Neural Networks: A Comprehensive Foundation,
Macmillan/IEEE Press.
[85] Hebb, D. O. (1949). The Organization of Behavior, Wiley & Sons,
New York.

Bibliografie

259
[86] Hildard, E. R., Bower, G. H. (1975). Theories of Learning, Prentice-
Hall, Englewood Cliffs, New Jersey.
[87] Hill, L. (2003). Implementing a Practical e-Learning System,
http://www.lakeheadu.ca/~publications/agora/december2002/elearning
.html.
[88] Hintzman, D. L. (1986). Schema abstraction in a multiple-trace
memory model, Psychological Review, 93, 411-428.
[89] Holecy, M. (1997). Application of Neural-Fuzzy Systems in Financial
Management, Technical University of Koice, Department of
Cybernetics and Artificial Intelligence, http://neuron-ai.tuke.sk/cig/
source/publications/thesis/master_thesis/1997/holecy/html.
[90] Holland, J. H. (1995). Hidden Order: How Adaptation Builds
Complexity, Addison-Wesley.
[91] Holland, O. E. (1996). Multiagent Systems: Lessons from Social
Insects and Collective Robotics, In Adaptation, Coevolution and
Learning in Multiagent Systems: Papers from the AAAI Spring
Symposium, 57-62, Menlo Park,CA, AAAI Press.
[92] Homa, D. (1984). On the nature of categories, Psychology of Learning
and Motivation, 1 8, 49-94.
[93] Huhns, M. N., Stephens, L. M. (2000). Multiagent Systems and
Societies of Agents, in G. Wei (ed.), Multiagent Systems - A Modern
Approach to Distributed Artificial Intelligence, The MIT Press,
Cambridge, Massachusetts.
[94] IC Tech, Inc. (2000). Fuzzy Control Methods and their Real System
Applications, http://www.ic-tech.com/Fuzzy%20Logic.
[95] Ishibuchi, H., Nii, M., Turksen, I. B. (1998). Bidirectional bridge
between neural networks and linguistic knowledge: Linguistic rule
extraction and learning from linguistic rules, in Proc. IEEE Int. Conf.
Fuzzy Syst. FUZZ-IEEE98, Anchorage, AK, USA, pp. 1112-1117.
[96] Jafari, A. (2001). Conceptualizing Intelligent Agents For Teaching and
Learning, School of Engineering and Technology, Indiana University
Purdue University Indianapolis, http://www.cren.net/know/techtalk/
events/jafar.pdf.
[97] Jang, J. S. R. (1993). ANFIS: Adaptive-network-based fuzzy inference
system, IEEE Trans. Syst., Man, Cybern., vol. 23, no. 3, pp. 665-685.
[98] Jang, J. S. R., Sum C. T., Mizutani, E. (1996). Neuro-fuzzy and Soft
Computing, Pearson Higher Education.
[99] Jang, J. S. R., Sun, C. T. (1993). Functional Equivalence between
Radial Basis Function Networks and Fuzzy Inference Systems, IEEE
Transactions on Neural Networks, 4, 1, 156-159.


260
[100] Jin, Y., Sendhoff, B. (2003). Extracting Interpretable Fuzzy Rules
from RBF Networks, Neural Processing Letters, 17(2), pp.149-164.
[101] Johansen, M. K., Palmeri, T. J. (2002). Are there representational
shifts during category learning?, Cognitive Psychology, 45, 482-553.
[102] Joshi, K. P. (1997). Analysis of Data Mining Algorithms,
http://userpages.umbc.edu/~kjoshi1/ data-mine/proj_rpt.htm.
[103] Jutten, C. (1997). Supervised composite networks, in Handbook of
Neural Computation, IOP Publishing Ltd and Oxford University Press.
[104] Keil, F. C. (1989). Concepts, Kinds, and Cognitive Development,
Cambridge, MA, MIT Press.
[105] Kinny, D., Georgeff, M. P. (1991). Commitment and Effectiveness of
Situated Agents, Proceedings of the Twelfth International Joint
Conference on Artificial Intelligence, 82-88, Sydney, Australia.
[106] Kokesen, L., Ok, E. A. (2003). The Nash Equilibrium,
http://www.columbia.edu/~lk290/ uglect2.pdf.
[107] Kohonen, T. (1995). Self-Organizing Maps, Springer Verlag, Berlin.
[108] Kononenko, I. (1994). Estimation Attributes: Analysis and
Extensions of RELIEF, European Conference on Machine Learning,
Catana, Italy, Springer-Verlag.
[109] Korf, R. E. (1990). Real-time heuristic search, Artificial
Intelligence, 42, pp. 189-211.
[110] Korf, R. E. (1992). A Simple Solution to Pursuit Games, in Working
Papers of the 11th International Workshop on Distributed Artificial
Intelligence, 183-194.
[111] Kosko, B. (1992). Neural Networks and Fuzzy Systems, Prentice
Hall, Englewood Cliffs, NJ.
[112] Kowalski, R., Sadri, F. (1997). An Agent Architecture that Unifies
Rationality with Reactivity, Department of Computing, Imperial
College, London, UK, http://citeseer.nj.nec.com/
kowalski97agent.html.
[113] Krautwasser, S. (2002). Learning and Strategy in Multiagent
Systems, Universitt Mannheim, Germany, http://www.bwl.uni-
mannheim.de/Heinzl/de/ downloads/Seminar/Krautwasser.pdf.
[114] Kruschke, J. K. (1996). Dimensional Relevance Shifts in Category
Learning, Connection Science, Vol. 8, No. 2, 225-247.
[115] Kruschke, J.K. (1992). ALCOVE: An Exemplar-Based Connectionist
Model of Category Learning, Psychological Review, Vol. 99, No. 1,
22-44.
[116] Kruse, R., Gebhardt, J., Klawonn, F. (1994). Foundations of Fuzzy
Systems, John Wiley & Sons, Chichester, England.

Bibliografie

261
[117] Kuhn, S. (2001). Prisoner's Dilemma, The Stanford Encyclopedia of
Philosophy (Winter 2001 Edition), E. N. Zalta (ed.),
http://plato.stanford.edu/archives/win2001/entries/prisoner-dilemma.
[118] Laird, J. E., Newell, A., Rosenbloom, P. S. (1987). SOAR: An
Architecture for General Intelligence, Artificial Intelligence, 33: 1-64.
[119] Laird, J., Dexter, S., McKown, D., Rogers, S., Simpson, R., Walsh,
W. (1994). Subsumption Architecture Background,
http://ai.eecs.umich.edu/cogarch3/Brooks/Brooks_Background.html.
[120] Lange, D. B. (2001). Mobile Objects and Mobile Agents: The Future
of Distributed Computing?, General Magic, Inc., California,
http://www.ifs.uni-linz.ac.at/~ecoop/cd/papers/1445/ 14450001.pdf.
[121] Lange, D. B., Oshima, M. (1999). Seven Good Reasons for Mobile
Agents, Communications of the ACM, vol. 42, no. 3, pp. 88-89.
[122] Langley, P., Thompson, K., Iba, W., Gennari, J., Allen, J. (1991). An
Integrated Cognitive Architecture for Autonomous Agents, Technical
report, Department of Information and Computer Science, University
of California, Irvine, CA.
[123] Lee, S. Y., Ham, Y. K., Park, P. H. (1996). Recognition of human
front faces using knowledge-based feature extraction and neuro-fuzzy
algorithm, Pattern Recognition, vol. 29, no. 11.
[124] Leon F. (2005). Noi clase de ageni inteligeni cu capaciti
cognitive, Tez de doctorat, Universitatea Tehnic Gh. Asachi Iai
[125] Leon, F., Glea, D., Zaharia, M. H. (2002). Load Balancing In
Distributed Systems Using Cognitive Behavioral Models, Bulletin of
Technical University of Iai, tome XLVIII (LII), fasc. 1-4.
[126] Leon, F., Glea, D., Zbancioc, M. (2002). Knowledge
Representation Through Interactive Networks, in Proceedings of the
European Conference on Intelligent Systems, Iai.
[127] Leon, F., ova, I., Glea, D. (2004). Reinforcement Learning
Strategies for Intelligent Agents in Knowledge-Based Information
Systems, in Proceedings of the Eighth International Symposium on
Automatic Control and Computer Science, Iai.
[128] Leon, F., Zaharia, M. H., Glea, D. (2003a). Agent-Based
Framework with Optimized Knowledge Queries, Bulletin of Technical
University of Iai, tome XLIX (LIII), fasc. 1-4, pp. 103-110.
[129] Leon, F., Zaharia, M. H., Glea, D. (2003b). Cooperative Multiagent
Framework for Knowledge Retrieval, Bulletin of Technical University
of Iai, tome XLIX (LIII), fasc. 1-4, pp. 95-102.


262
[130] Leon, F., Zaharia, M. H., Glea, D. (2004). A New Approach in
Agent Path-Finding using State Mark Gradients, Computer Science
Journal of Moldova, volume 12, number 3, pp. 406-423, Chiinu.
[131] Leon, F., Zaharia, M. H., Glea, D. (2004). Performance Analysis of
Categorization Algorithms, in Proceedings of the Eighth International
[132] Lincoff, G. H., Knopf, A. A. (1981). The Audubon Society Field
Guide to North American Mushrooms, pp. 500-525.
[133] Logan, B. (1998). Classifying Agent Systems, in Software Tools for
Developing Agents: Papers from the 1998 Workshop, J. Baxter and B.
Logan Cochairs, Technical Report WS-98-10, AAAI Press, pp 11-21.
[134] Love, B. C., Medin, D. L, Gureckis, T. M (2004). SUSTAIN: A
Network Model of Category Learning, Psychological Review, 111,
309-332.
[135] Lynch M.: NeuroDraughts, An Application of Temporal Difference
Learning to Draughts, http://www.ai.univie.ac.at/~juffi/lig/Papers/
lynch-thesis.ps.gz
[136] MacQueen, J. (1967). Some methods for classification and analysis
of multivariate observations, in Proc. 5th Berkeley Symposium, 1, pp.
281-297.
[137] MacRae, M., Pickering, M. (1998). Surprise '98 report on Soft
Negotiation, http://www.iis.ee.ic.ac.uk/~frank/surp98/report/mgm1.
[138] Maes, P. (1995). Artificial Life Meets Entertainment: Life like
Autonomous Agents, Communications of the ACM, 38, 11, 108-114.
[139] Mak, M. W., Kung, S. Y. (2000). Estimation of Elliptical Basis
Function Parameters by the EM Algorithm with Application to Speaker
Verification, IEEE-NN, vol. 11, no. 4, 2000, http://citeseer.ist.psu.edu/
mak00estimation.html.
[140] Mamdani, E. H. (1977). Application of Fuzzy Logic to Approximate
Reasoning Using Linguistic Systems, IEEE Trans. on Computers,
26:1182-1191.
[141] Mare, M. (1994). Computation Over Fuzzy Quantities, CRC Press,
Boca Raton.
[142] Martin, B. (1995). Instance-Based Learning: Nearest Neighbour
with Generalisation, Master of Science Thesis, University of Waikato,
Hamilton, New Zealand.
[143] McCulloch, W. S., Pitts, W. (1943). A logical calculus of the ideas
immanent in nervous activity, Bulletin of Mathematical Biophysics, 5,
115-137.
[144] Medin, D. L., Ross, B. (1991). Cognitive Psychology, San Diego.

Bibliografie

263
[145] Medin, D. L., Schaffer, M. M. (1978). A context theory of
classification learning, Psychological Review, 85, 207-238.
[146] Michalski, R. S., Chilausky, R. L. (1980). Learning by Being Told
and Learning from Examples: An Experimental Comparison of the
Two Methods of Knowledge Acquisition in the Context of Developing
an Expert System for Soybean Disease Diagnosis, International Journal
of Policy Analysis and Information Systems, Vol. 4, No. 2.
[147] Michalski, R. S., Mozetic, I., Hong, J., Lavrac, N. (1986). The Multi-
Purpose Incremental Learning System AQ15 and its Testing
Application to Three Medical Domains, in Proceedings of the Fifth
National Conference on Artificial Intelligence, 1041-1045,
Philadelphia, PA, Morgan Kaufmann.
[148] Miclea, M. (1999). Psihologie cognitiv, Modele teoretico-
experimentale, Ed. Polirom, Iai.
[149] Minda, J. P., Smith, J. D. (2001). Prototypes in category learning:
The effects of category size, category structure, and stimulus
complexity, Journal of Experimental Psychology: Learning, Memory,
and Cognition, 27, 775799.
[150] Minsky, M. (1975). A Framework for Representing Knowledge, in P.
Winston (ed.), The Psychology of Computer Vision, McGraw-Hill.
[151] Minsky, M. (1986). The Society of Mind, Simon and Schuster, New
York.
[152] Minsky, M., Papert, S. A. (1969). Perceptrons, MIT Press,
Cambridge, MA.
[153] Mitchell, T., Allen, J., Chalasani, P., Cheng, J., Etzioni, O.,
Ringuette, M., Schlimmer, J. (1990). Theo: A Framework for Self-
Improving Systems, in K. van Lehn (ed.), Architectures for
Intelligence, Erlbaum, Hillsdale, NJ.
[154] Mitra, S., Hayashi, Y. (2000). NeuroFuzzy Rule Generation:
Survey in Soft Computing Framework, IEEE Transactions on Neural
Networks, vol. 11, no. 3, http://icat.snu.ac.kr/ review_paper/22.pdf.
[155] Mohri, T., Tanaka, H. (1994). An optimal weighting criterion of case
indexing for both numeric and symbolic attributes, in D. W. Aha (ed.),
Case-Based Reasoning: Papers from the 1994 Workshop, AAAI Press,
Menlo Park, CA.
[156] Moody, J. E., Darken, C. J. (1989). Fast learning in networks of
locally-tuned processing units, Neural Comput. 1 28194.
[157] Mor, Y., Goldman, C. V., Rosenschein, J. S. (1998). Learn Your
Opponents Strategy (in Polynomial Time), Hebrew University,


264
Jerusalem, Israel, http://www-ai.cs.uni-dortmund.de/LEHRE/
SEMINARE/AGENTEN98/Seminar98.ps.gz.
[158] Moukas, A., Guttman, R., Maes, P. (1998). Agent-mediated
Electronic Commerce: An MIT Media Laboratory Perspective,
http://ecommerce.media.mit.edu.
[159] Nagendra Prasad, M. V., Lesser, V. R., Lander, S. E. (1996).
Learning organizational roles in a heterogenous multi-agent system, in
Proceedings of the second international conference on multiagent
systems, pp 291-298, http://citeseer.nj.nec.com/82504.html.
[160] Nauck, D. (1994). A Fuzzy Perceptron as a Generic Model for
Neuro-Fuzzy Approaches, GI-Workshop Fuzzy-Systeme '94, Munich,
Germany.
[161] Nauck, D., Klawonn, F., Kruse, R. (1997). Foundations of Neuro
Fuzzy Systems, Wiley, Chichester, U.K.
[162] Nauck, D., Kruse, R. (1998). NEFCLASS-X: A Soft Computing Tool
to build Readable Fuzzy Classifiers, BT Technology Journal, vol. 16,
no. 3, Martelsham Heath, Ipswich.
[163] Nauck, U. (1999). Konzeption und Implementierung eines Neuro-
Fuzzy-Datenanalysetools in Java, Technische Universitt
Braunschweig, Institut fr Betriebssysteme und Rechnerverbund,
http://www.gsi.dit.upm.es/~lssii/soft/papr/nefclass/nefclassj-doc.pdf.
[164] Navarro, D. J., Myung, J. I., Pitt, M. A. (2004). Comparing the
Qualitative Performance of the ALCOVE and RULEX Models of
Category Learning, in Proc. of the Third Annual Summer
Interdisciplinary Conference, Cavalese, Italy.
[165] Navarro, D. J., Myung, J. I.., Pitt, M. A. (2004). Does Response
Scaling Cause the Generalized Context Model to Mimic a Prototype
Model?, Psychonomic Bulletin & Review.
[166] Negnevitsky, M. (2002). Artificial Intelligence. A Guide to
Intelligent Systems, Addison-Wesley, Pearson Education.
[167] NeuroDimensions Inc.: NeuroSolutions 4.20 Help,
http://www.nd.com/public/help/ NeuroSolutionsHelpPDF.zip
[168] Newell, A. (1990). Unified Theories of Cognition, Harvard
University Press, Cambridge, MA.
[169] Nilsson, N. J. (1996). Introduction To Machine Learning,
Department of Computer Science, Stanford University,
http://robotics.stanford.edu/people/nilsson/mlbook.html.
[170] Noor, A. K. (1996). A hard look at soft computing, Aerospace
America.

Bibliografie

265
[171] Nosofsky, R. M. (1984). Choice, similarity, and the context theory of
classification, Journal of Experimental Psychology: Learning,
Memory, and Cognition, 10, 104114.
[172] Nosofsky, R. M. (1986). Attention, similarity, and the identification-
categorization relationship, Journal of Experimental Psychology:
General, 115, 3957.
[173] Nosofsky, R. M., Palmeri, T. J., McKinley, S. C. (1994). Rule-plus-
exception model of classiffication learning, Psychological Review,
101(1), 53-79.
[174] Nosofsky, R. M., Zaki, S. R. (2002). Exemplar and Prototype
Models Revisited: Response Strategies, Selective Attention, and
Stimulus Generalization, Journal of Experimental Psychology:
Learning, Memory, and Cognition, Vol. 28, No. 5, 924-940.
[175] Nwana, H. S. (1996). Software Agents: An Overview, Knowledge
Engineering Review.
[176] Oja, E. (1982). A simplified neuron model as a principal component
analyzer, J. Math. Biol., 15:267-273.
[177] Orfali, R., Harkey, D. (1998). Client Server Programming with Java
and CORBA, John Wiley & Sons, USA.
[178] Osborne, M. J. (2001). An introduction to game theory,
http://www.cs.buffalo.edu/~sbraynov/multiagent/Resources/Osborne.pdf.
[179] Parkes, D. C., Ungar, L. H. (1996). The Tragedy of the Commons:
Pricing Social Welfare in Multiagent Systems, Computer and
Information Science Department, University of Pennsylvania, USA,
http://citeseer.nj.nec.com/169492.html.
[180] Parkes, D. C., Ungar, L. H. (1997). Learning and Adaption in
Multiagent Systems, in Proc. AAAI-97 Workshop on Multiagent
Learning, Providence, http://www.eecs.harvard.edu/~parkes/pubs/
learning.pdf.
[181] Partridge, D., Hussain, K. M. (1995). Knowledge Based Information
Systems, Mc Graw-Hill Book Company Europe, London.
[182] Patterick, J. (2001). The Society of Mind, http://cis519.bus.
umich.edu/cgi-bin/cis551-01.board.pl?read=1065.
[183] Pedrycz, W. (1997). Computational Intelligence: An Introduction,
CRC Press, Boca Raton.
[184] Penrose, R. (1996). Mintea noastr... cea de toate zilele Despre
gndire, fizic i calculatoare, Ed. Tehnic, Bucureti.
[185] Piatetsky-Shapiro, G., Frawley, W. J. (1991). Knowledge Discovery
in Databases, Menlo Park, CA, AAAI Press.


266
[186] Poggio, T., Girosi, F. (1990). Networks for approximation and
learning, Proc. IEEE 78 148197.
[187] Pollock, J. L. (1990). OSCAR: A General Theory of Rationality,
Journal of Experimental and Theoretical AI, 1, 209-226.
[188] Pollock, J. L. (1998). Planning Agents, in Rao A. S. and Wooldridge
M. (eds.), Foundations of Rational Agency, Kluwer.
[189] Posner, M. I., Keele, S. W. (1968). On the genesis of abstract ideas,
Journal of Experimental Psychology, 77, 353-363.
[190] Principe, J. C., Euliano, N. R., Lefebvre, W. C. (2000). Neural and
Adaptive Systems. Fundamentals Through Simulations, John Wiley &
Sons, Inc.
[191] Quinlan, R. (1993). C4.5: Programs for Machine Learning, Morgan
Kaufmann Publishers, San Mateo, CA.
[192] Rao, A. S., Georgeff, M. P. (1991). Modeling rational agents within
a BDI-architecture, Proceedings of the 2nd International Conference
on Principles of Knowledge, Representation and Reasoning, Morgan
Kaufmann Publishers, 473-484.
[193] Rao, A. S., Georgeff, M. P. (1992). An abstract architecture for
rational agents, in C. Rich, W. Swartout, B. Nebel, (eds.), Proceedings
of Knowledge Representation and Reasoning, 439- 449.
[194] Reed, S. K. (1972). Pattern recognition and categorization,
Cognitive Psychology, 3, 382-407.
[195] Rich, E. (1983). Artificial Intelligence, Mc Graw-Hill Book
Company, New York.
[196] Ridley, M. (1997). The Origins of Virtue: Human Instincts and the
Evolution of Cooperation, Viking Press.
[197] Rocha, L. M. (1999). From Artificial Life to Semiotic Agent Models:
Review and Research Directions, Los Alamos National Laboratory
Internal Report.
[198] Rosenblatt, F. (1958). The perceptron: a probablistic model for
information storage and organization in the brain, n J. Andersen, E.
Rosenfeld (eds.): Neurocomputing: foundations of research, Bradford
books, MIT Press, Cambridge, Mass., chapter 8.
[199] Rosenblatt, F. (1960). On the convergence of reinforcement
procedures in simple perceptrons, Cornell Aeronautical Laboratory
Report VG-1196-G-4 Buffalo, NY.
[200] Rumelhart, D. E., Hinton, G. E., Williams, R. J. (1986). Learning
internal representations by error propagation, n D. E. Rumelhart, J.
L. McClelland (eds.): Parallel Distributed Processing: Explorations in

Bibliografie

267
the Microstructure of Cognition, Volume 1, 318-362, The MIT Press,
Cambridge, MA.
[201] Russell, S. J., Stuart, J., Norvig, P. (1995). Artificial Intelligence: A
Modern Approach, Englewood Cliffs, NJ, Prentice Hall.
[202] Rzevski, G. (2002). Knowledge Management Fundamentals,
MADIRA Paper 025, Version 1.0, http://www.brunel.ac.uk/research/
madira/papers/p25.pdf.
[203] Salzberg, S.L. (1991). A Nearest Hyperrectangle Learning Method,
Machine Learning 6, pp 251-276.
[204] Sampson, D., Karagiannidis, C., Kinshuk (2002). Personalised
Learning: Educational, Technological and Standardisation
Perspective, Interactive Educational Multimedia, 4, 24-39.
[205] Searle, J. R. (1969). Speech Acts, Cambridge University Press.
[206] Sen, S., Wei, G. (2000). Learning in Multiagent Systems, in G.
Wei (ed.), Multiagent Systems A Modern Approach to Distributed
Artificial Intelligence, The MIT Press, Cambridge, Massachusetts.
[207] Setzer, V. W. (2001). Data, Information, Knowledge and
Competency, http://www.ime.usp.br/~vwsetzer/data-info.html.
[208] Seydim, A. Y. (1999). Intelligent Agents: A Data Mining
Perspective, Department of Computer Science and Engineering,
Southern Methodist University, Dallas, http://engr.smu.edu/~yasemin/
agentsdm.pdf.
[209] Shannon, C. E. (1948). A mathematical theory of communication,
Bell SystemsTechnology Journal, 27, 379-423.
[210] Shepard, R. N. (1987). Toward a universal law of generalization for
psychological science, Science, 237, 13171323.
[211] Shepard, R. N., Hovland, C. I., Jenkins, H. M. (1961). Learning and
memorization of classiffications, Psychological Monographs, 75.
[212] Sikes, R. W. (2002). Neuroanatomy, Northeastern University,
Department of Physical Therapy, Boston, http://physicaltherapy.
neu.edu/pth1366b/LectureSlides/CerebralCortexIntro.ppt.
[213] Silva, F. M., Almeida, L. B. (1990). Speeding up backpropagation n
Advanced Neural Computers, ed. R. Eckmiller (Amsterdam: Elsevier),
pp. 15160.
[214] Silva, F. M., Almeida, L. B. (1990). Acceleration techniques for the
backpropagation algorithm, in L. B. Almeida, C. J. Wellekens (eds.),
Neural Networks, Springer, Berlin, pp 11019.
[215] Sloman, A. (2003). Varieties of Affect and the CogAff Architecture
Schema, Proceedings of the ACM symposium on Applied computing,
Melbourne, Florida, pp 637-644.


268
[216] ova, I., Amarandei, C. M., Gavril, I. (2004). Dynamic Load
Balancing in Tree-Topology Distributed Mobile Agents System, in
Proceedings of the Eighth International Symposium on Automatic
Control and Computer Science, Iai.
[217] ova, I., Leon, F., Glea, D. (2004). Improving the Performance of
Knowledge Intelligent Agents using a Distributed Framework, in
Proceedings of the Eighth International Symposium on Automatic
Control and Computer Science, Iai.
[218] Stone, P., Veloso, M. (1997). Multiagent Systems: A Survey from a
Machine Learning Perspective, Computer Science Department,
Carnegie Mellon University, Pittsburgh, Pennsylvania, http://www-
2.cs.cmu.edu/afs/cs/usr/pstone/public/papers/97MAS-survey/revised-
survey.html.
[219] Sutton, R. S. (1988). Learning to predict by the method of temporal
differences, Machine Learning, 3:9-44.
[220] Sutton, R. S., Barto, A. G. (1998). Reinforcement Learning: An
Introduction, MIT Press, Cambridge, Massachusetts.
[221] Takagi, H., Sugeno, M. (1985). Fuzzy Identification of Systems and
its Application to Modelling and Control, IEEE Trans. on Systems,
Man, and Cybernetics, 15:116-132.
[222] Tan, M. (1993). Multi-Agent Reinforcement Learning: Independent
vs. Cooperative Agents, http://citeseer.nj.nec.com/33726.html.
[223] Taylor, R. I. (2003). Agent-Based Modelling Incorporating
Qualitative and Quantitative Methods: A Case Study Investigating the
Impact of E-commerce upon the Value Chain., ESSA Conference,
Groningen University, Netherlands.
[224] Tell, A. W. (2002). Speech Act Theory, http://openebxml.
sourceforge.net/methodology/SAT/sat.html.
[225] Tesauro, G. (1995). Temporal Difference Learning and TD-
Gammon, Communications of the ACM, vol. 38, no. 3,
http://www.research.ibm.com/massive/tdl.html.
[226] The DARPA Knowledge Sharing Initiative, External Interfaces
Working Group (1993). Specification of the KQML, Agent-
Communication Language, http://www.cs.umbc.edu/kqml/papers/
kqmlspec.ps.
[227] Thrun, S. (1995). Learning to play the game of chess,
http://satirist.org/learn-game/systems/neurochess.html.
[228] Thrun, S. B., et al. (1991). The MONKs Problems A Performance
Comparison of Different Learning Algorithms, Technical Report CS-
CMU-91-197, Carnegie Mellon University.

Bibliografie

269
[229] Trabasso, T., Bower, G. H. (1968). Attention in learning: Theory and
research, New York, Wiley.
[230] Van de Velde, W. (1995). Cognitive Architectures From
Knowledge Level to Structural Coupling, http://citeseer.nj.nec.com.
[231] Van Dyke Parunak, H. (1996). Applications of Distributed Artificial
Intelligence in Industry, in G. M. P. OHare, N. R. Jennings (eds.),
Foundations of Distributed Artificial Intelligence, 139-164, Wiley
Interscience.
[232] Vere, S., Bickmore, T. (1990). A Basic Agent, Computational
Intelligence, 6, 41-60.
[233] Vidal, J. M. (2003). Learning in Multiagent Systems: An
Introduction from a Game-Theoretic Perspective, in E. Alonso (ed.),
Adaptive Agents: LNAI 2636, pp. 202-215, Springer Verlag.
[234] Vidal, J. M., Durfee, E. H. (1997). Agents learning about agents: A
framework and analysis, in Working Notes of the AAAI-97 workshop
on Multiagent Learning, pp. 71-76.
[235] Vidal, J. M., Durfee, E. H. (1998). Learning nested models in an
information economy, Journal of Experimental and Theoretical
Artificial Intelligence 10, pp. 291-308.
[236] Waldo, J. (2001). Mobile Code, Distributed Computing, and Agents,
Sun Microsistems, http://www.computer.org/intelligent/ex2001/pdf/
x2010.pdf.
[237] Watkins, C. J. C. H. (1989). Learning from Delayed Rewards, PhD
Thesis, Kings College, Cambridge University.
[238] Watt, S. N. K. (1996). Artificial societies and psychological agents,
British Telecom Technology Journal, 14(4).
[239] Wei, G. (1994). Some studies in Distributed Machine Learning and
Organizational Design, Institut fr Informatik, Technische Universitt
Mnchen, Germany, http://citeseer.nj.nec.com/weiss94some.html.
[240] Wei, G. (1996). Ecai-96 Workshop on Learning in Distributed
Artificial Intelligence.
[241] Wei, G., Sen, S. (eds.) (1996). Adaptation and Learning in
Multiagent Systems, Springer Verlag, Berlin.
[242] Weisstein, E.W. (2004). Covariance Matrix, from MathWorld A
Wolfram Web Resource, http://mathworld.wolfram.com/
CovarianceMatrix.html.
[243] Werbos P. J. (1974a). The Roots of Backpropagation, John Wiley &
Sons, New York.


270
[244] Werbos, P. J. (1974b). Beyond regression: new tools for prediction
and analysis in the behavioral sciences, PhD Thesis, Harvard
University, Cambridge, MA.
[245] Wettschereck, D., Aha, D. W. (1995). Weighting Features, in M.
Veloso, A. Aamodt (eds.), Case-Based Reasoning, Research and
Development, First International Conference, Springer Verlag, Berlin.
[246] Wettschereck, D., Dietterich, G. (1994). An experimental
comparison of the nearest-neighbour and nearest-hyperrectangle
algorithms, Machine Learning, 19(1):5-27.
[247] White, J. E. (1996). Mobile Agents, Menlo Park, CA, AAAI Press,
MIT Press.
[248] Widrow, B., Hoff, M. E. (1960). Adaptive switching circuits, IRE
WESCON Convention Record, vol. 4, pp. 96-104.
[249] Widrow, B. (1962). Generalisation and information storage in
networks of adaline, in Yovits et al. (eds.), Self-organizing systems,
Wiley, Washinton, DC.
[250] Witten, I. H., Frank, E. (2000). Data Mining: Practical machine
learning tools with Java implementations, Morgan Kaufmann, San
Francisco.
[251] Witten, I. H., Moffat, A., Bell, T. C. (1994). Managing Gigabytes,
New York, Van Nostrand Reinhold.
[252] Wooldridge, M. (2000). Intelligent Agents, in G. Wei (ed.),
Multiagent Systems - A Modern Approach to Distributed Artificial
Intelligence, The MIT Press, Cambridge, Massachusetts.
[253] Wooldridge, M., Jennings, N. R. (1995). Agent Theories,
Architectures, and Languages: a Survey, in Wooldridge and Jennings
(eds.), Intelligent Agents, Springer Verlag, Berlin.
[254] Wray, R., Chong, R., Phillips, J., Rogers, S., Walsh, B. (2000). A
Survey of Cognitive and Agent Architectures, http://ai.eecs.umich.edu.
[255] Wright, I. P. (1997). Emotional Agents, PhD thesis, School of
Computer Science, The University of Birmingham.
[256] Wu, J. K. (1994). Neural Networks and Simulation Methods, Marcel
Dekker, New York.
[257] Xu, W., Duchateau, J., Demuynck, K., Dologlou, I. (1998). A new
approach to merging gaussian densities in large vocabulary
continuous speech recognition, in Proc. IEEE Benelux Signal
Processing Symposium, pp. 231-234, Leuven, Belgium.
[258] Yokoo, M., Ishida, T. (2000). Search Algorithms for Agents in G.
Wei (ed.): Multiagent Systems - A Modern Approach to Distributed

Bibliografie

271
[259] Yokoo, M., Ishida, T. (2000). Search Algorithms for Agents, in G.
Wei (ed.): Multiagent Systems A Modern Approach to Distributed
[260] Zadeh, L. (1995). Foreword to the inaugural issue of Intelligent
Automation and Soft Computing, http://wacong.com/autosoft/autosoft-
Zadeh_foreword.html.
[261] Zadeh, L. A. (1965). Fuzzy Sets, Information and Control, 8:338-
353.
[262] Zaharia, M. H., Leon, F., Glea, D. (2003a). A Framework for
Distributed Computing using Mobile Intelligent Agents, in M. Craus,
D. Glea, A. Valachi (eds.) - New Trends in Computer Science and
Engineering, Anniversary Volume, Department of Computer
Engineering, Faculty of Automatic Control and Computer Engineering,
Technical University "Gh. Asachi", Polirom Press, Iai, Romania, pp.
219-223.
[263] Zaharia, M. H., Leon, F., Glea, D. (2003b). A Simulator for Load
Balancing Analysis in Distributed Systems, in A. Valachi, D. Glea, A.
M. Florea, M. Craus (eds.) - Tehnologii informaionale, Editura
Universitii Suceava, 53-59.
[264] Zaharia, M. H., Leon, F., Glea, D. (2003c). On Finding an
Optimized Categorization in Conceptual Spaces using Genetic
Algorithms, Bulletin of Technical University of Iai, tome XLIX
(LIII), fasc. 1-4, pp. 111-120.
[265] Zaharia, M. H., Leon, F., Glea, D. (2004a). Parallel Genetic
Algorithms for Cluster Load Balancing, in Proceedings of the Third
European Conference on Intelligent Systems & Technologies ECIT
2004, Performantica Press, Iai.
[266] Zaharia, M. H., Leon, F., Glea, D. (2004b). Symbolic Deductive
Reasoning using Connectionist Models, Computer Science Journal of
Moldova, volume 12, number 1 (34), pp. 127-145, Chiinu.
[267] Zlate, M. (1999). Psihologia mecanismelor cognitive, Ed. Polirom,
Iai, 1999


Florin Leon - Agenti Inteligenti Cu Capacitati Cognitive

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Florin Leon - Agenti Inteligenti Cu Capacitati Cognitive

Uploaded by

Copyright:

Available Formats

3

faptul c formula poate fi derivat din numai prin regulile de

, unde este un factor de

. Tactica de decizie este reprezentat de o funcie

estimrile utilitii, probabilitii i potenialului

You might also like