Professional Documents
Culture Documents
Capitolul I
INTRODUCERE N TEORIA AGENILOR
1.1 Inteligena artificial distribuit. Agenii
1.2 Definiii. Proprieti
1.2.1 Agenii inteligeni
1.2.2 Proprietile mediului de execuie
1.2.3 Proprietile aciunilor agenilor
1.2.4 Proprietile scopurilor agenilor
1.2.5 Proprietile convingerilor agenilor
1.2.6 Caracteristicile agenilor n simularea sistemelor complexe
1.3 Clasificri
1.3.1 Taxonomia general a agenilor
1.3.2 Clasificarea lui Nwana
1.3.3 Tipuri de ageni din perspectiva mediului computaional
1.3.4 Tipuri de ageni n simulri complexe
1.4 Concluzii
7
7
8
11
13
14
16
16
17
18
18
18
19
21
23
Capitolul II
ARHITECTURI DE AGENI INTELIGENI
2.1 Arhitectura general a unui agent inteligent
2.2 Arhitecturi logice
2.3 Arhitecturi reactive (reflexe)
2.4 Arhitecturi BDI
2.5 Arhitecturi stratificate
2.6 Concluzii
25
25
28
29
32
38
39
Capitolul III
SISTEME MULTIAGENT
3.1 Utilitatea sistemelor multiagent
3.2 Caracteristici ale sistemelor multiagent
3.2.1 Sistemele multiagent omogene necomunicative
3.2.2 Sistemele multiagent eterogene necomunicative
3.2.3 Sistemele multiagent comunicative
3.3 Limbaje de comunicare interagent
3.3.1 Teoria actelor de vorbire
3.3.2 Knowledge Query and Manipulation Language (KQML)
3.3.3 Knowledge Interchange Format (KIF)
3
41
41
42
43
44
45
45
45
47
49
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
51
53
53
54
55
56
58
Capitolul IV
TEORIA SISTEMELOR FUZZY
4.1 Noiuni fundamentale
4.2 Tipuri de funcii de apartenen
4.3 Restrictori
4.4 Operaii cu mulimi fuzzy
4.5 Procesul de inferen fuzzy
4.5.1 Tipul de inferen Mamdani
4.5.2 Tipul de inferen Takagi-Sugeno
4.6 Concluzii
59
59
62
66
67
70
70
73
74
Capitolul V
REELE NEURONALE
5.1 Introducere. Modelul biologic
5.2 Reele cu un singur strat
5.3 Perceptronul multistrat
5.3.1 Algoritmul backpropagation
5.3.2 Metode de accelerare a nvrii
5.3.3 Considerente practice
5.4 Reele bazate pe funcii radiale
5.4.1 Echivalena funcional dintre reelele RBF i sistemele fuzzy
5.5 nvarea hebbian
5.6 Harta de auto-organizare a lui Kohonen
5.7 Concluzii
75
75
78
82
85
88
89
92
94
95
96
97
Capitolul VI
SISTEME HIBRIDE NEURO-FUZZY
6.1 Soft Computing
6.2 Utilitatea sistemelor hibride neuro-fuzzy
6.3 Tipuri de hibridizri neuro-fuzzy
6.3.1 Reele neuronale fuzzy
6.3.2 Perceptronul fuzzy
6.3.3 Sisteme fuzzy neuronale
6.3.4 Sisteme hibride neuro-fuzzy
6.3.5 Adaptive-Network-Based Fuzzy Inference System (ANFIS)
99
99
100
103
103
104
107
108
110
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
6.4 Concluzii
112
Capitolul VII
NVAREA N SISTEMELE MULTIAGENT
7.1 Introducere
7.2 nvarea cu ntrire
7.2.1 Caracteristici ale nvrii cu ntrire
7.2.2 Metoda diferenelor temporale
7.2.3 Q-learning
7.3 Ageni concureni
7.3.1 Niveluri de ageni
7.3.2 Echilibrul unui sistem multiagent
7.3.3 Echilibru Nash
7.3.4 Jocul fictiv
7.3.5 Dinamica replicatorului
7.4 Ageni cooperani. Apariia coaliiilor
7.4.1 Algoritmul DFG
7.4.2 nvarea rolurilor ntr-o organizaie
7.5 Concluzii
113
113
114
116
117
120
122
123
126
129
131
132
133
135
140
141
Capitolul VIII
STRUCTURA UNUI AGENT INTELIGENT CU CAPACITI COGNITIVE
8.1 Arhitecturi cognitive
8.2 nvarea inductiv
8.2.1 Reguli, prototipuri sau exemplare?
8.2.2 Exemplare generalizate suprapuse i nesuprapuse
8.2.3 Exemplare generalizate nesuprapuse cu prototipuri
8.2.4 Metrici de similaritate alternative
8.2.5 Selecia trsturilor i clusterizarea
8.2.6 Reprezentarea conceptelor compuse
8.3 nvarea deductiv
8.3.1 Modelul unui context de nvare
8.3.2 Dinamica nvrii
8.3.3 nvarea conceptelor
8.3.4 Definirea conceptelor
8.3.5 Rezolvarea de probleme
8.3.6 Deprecierea ponderilor
8.3.7 Alegerea ratelor de nvare
8.4 Ageni inteligeni pentru e-learning
8.4.1 Evoluia paradigmelor calculului distribuit
8.4.2 Structura sistemului propus
8.4.3 Performative KQML. Gramatica admis pentru cunotine
8.4.4 Comportament bazat pe stare. Comportament acionat de evenimente
143
143
145
146
152
155
159
162
164
174
174
176
176
177
178
181
181
182
184
185
189
191
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
193
194
195
195
195
195
196
198
199
Capitolul IX
STUDIU EXPERIMENTAL
9.1 Metodologia de test
9.2 Studiu comparativ al algoritmilor de nvare inductiv
9.2.1 Algoritmii
9.2.2 Problemele
9.2.3 Analiza performanelor pentru probleme complexe
9.2.4 Analiza performanelor pentru probleme logice
9.2.5 Metrici de distan pentru toleran la zgomot n NNGEP
9.2.6 Comportamentul NNGEP n probleme logice
9.2.7 Clasificarea prin tehnici conexioniste
9.2.8 Interpretarea neuronal a rezultatelor NNGEP
9.2.9 Interpretarea fuzzy a rezultatelor NNGEP
9.3 Studiul modelului de nvare deductiv
9.4 Analiza comportamentului sistemului multiagent
9.4.1 Modelarea bazelor de cunotine de pe servere de ctre ageni
9.4.2 Posibilitile de cooperare ntre ageni
9.4.3 Introducerea cozilor de prioriti pe servere
9.4.4 Studiu de caz
9.5 Studiu comparativ al tehnicilor de nvare dinamic a cii
9.5.1 Problema drumului n reea
9.5.2 Problema labirintului
9.6 Concluzii
201
201
201
201
204
210
214
215
218
219
220
221
221
227
227
232
234
237
239
240
242
252
BIBLIOGRAFIE
253
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul I
care pot fi considerate ntr-un anumit sens autonome i inteligente (Wei &
Sen, 1996).
Aceast dezvoltare a fost facilitat de progresele nregistrate n
tiina calculatoarelor. Sistemele de operare multi-tasking, procesele
comunicante, calculul distribuit i limbajele de programare orientate obiect
au favorizat proiectarea, implementarea i lansarea sistemelor bazate pe
ageni.
Domeniul inteligenei artificiale distribuite se afl la grania dintre
inteligena artificial i calculul distribuit. La rndul su, inteligena
artificial distribuit const n principal n studiul rezolvrii distribuite a
problemelor i studiul sistemelor multiagent. O reprezentare grafic a
acestor relaii se regsete n figura urmtoare (Buiu, 1999):
este noiunea central a ideii de agent (Franklin & Graesser, 1996). Dincolo
de aceasta, alte proprieti au o importan diferit, n funcie de aplicaiile
concrete considerate.
Agentul AIMA (Russel, Stuart & Norvig, 1995) este descris drept
orice lucru care i poate percepe mediul prin senzori i poate aciona
asupra acelui mediu prin efectori. Definiia depinde n mare msur de ce
se nelege prin mediu, percepie i aciune. Astfel, dac mediul asigur
intrri pentru ageni i le primete ieirile, orice program poate fi considerat
agent.
O alt definiie pentru agenii este dat de Patty Maes (1995) astfel:
Agenii autonomi sunt sisteme computaionale care populeaz un anumit
mediu dinamic complex, percept i acioneaz autonom n acest mediu i
astfel i realizeaz un set de scopuri sau sarcini pentru care au fost
proiectai. Aceast definiie insist pe situarea n mediu i pe autonomie,
ns limiteaz tipurile de mediu, astfel nct acestea s fie complexe i
dinamice.
Putem deci considera c un agent este un sistem computaional
situat ntr-un mediu de execuie i capabil de aciune autonom n acel
mediu pentru a-i ndeplini obiectivele planificate (Wooldridge, 2000).
Trebuie remarcat c definiia se refer la ageni n general, nu la
agenii inteligeni. Ea nu spune nimic despre tipul de mediu pe care l ocup
agenii, deoarece pot exista mai multe tipuri de mediu. n cele mai multe
domenii agentul nu va avea un control complet asupra mediului. n general,
va avea un control parial asupra mediului, adic l va putea influena.
De regul, un agent are o anumit gam de aciuni pe care le poate
efectua. Mulimea tuturor aciunilor posibile ale unui agent poart
denumirea de capacitate efectoric (engl. effectoric capability), adic
posibilitatea de a-i modifica mediul de execuie. Nu toate aciunile pot fi
executate ntr-o anumit situaie; ele au unele pre-condiii asociate, care
definesc strile mediului n care pot fi ndeplinite. De exemplu, un agentcumprtor cu scopul de a cumpra un sistem electronic nu va putea efectua
tranzacia dac n contul utilizatorului nu se gsesc destui bani pentru
acesta.
1.2.1 Agenii inteligeni
n cele ce urmeaz, vom considera cteva definiii referitoare la
agenii inteligeni.
Hayes-Roth (1995) consider c Agenii inteligeni efectueaz n
mod continuu trei funcii: perceperea condiiilor dinamice din mediu,
aciunea pentru influenarea condiiilor din mediu i raionamentul pentru
11
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
inactuale. Dac nsui scopul se modific, atunci nu mai exist nici un motiv
pentru continuarea procedurii curente.
Proactivitatea se refer la comportamentul orientat spre scop. Acest
concept poate fi exemplificat printr-un simplu program scris ntr-un limbaj
imperativ. Efectele execuiei unei proceduri reprezint scopul, ceea ce
intenioneaz autorul programului s realizeze. Modelul este adecvat
mediilor statice, ns dac pre-condiiile se schimb n timpul execuiei
procedurii, rezultatul acesteia va fi imprevizibil i de obicei eronat.
Construirea sistemelor pur reactive sau pur proactive nu este foarte
dificil. Adevrata provocare o constituie gsirea unui echilibru ntre
comportamentul reflex i cel orientat spre scop. n general, se dorete ca
agentul s ncerce s-i ating n mod sistematic scopurile, ns s nu
continue o anumit aciune n condiiile n care este clar c aceasta nu va
reui. El trebuie s reacioneze la noua situaie i s-i selecteze un nou mod
de comportament. Totui, agentul nu trebuie s reacioneze n mod continuu
i astfel s nu se mai poat concentra asupra atingerii efective a scopurilor.
Abilitatea social, al treilea atribut al unui comportament flexibil, se
refer la cooperarea dintre ageni, la partajarea scopurilor. Un simplu
schimb de informaii nu poate fi considerat drept comportament social, care
se dovedete mult mai complex. Exist cazuri n care atingerea propriilor
scopuri intr n conflict cu interesele altor ageni. n astfel de cazuri se
recurge la negociere, alegerea unor aciuni alternative, etc.
Caracteristicile agenilor inteligeni se pot mpri n caracteristici
interne (autonomia, reactivitatea, raionamentul, nvarea, proactivitatea,
mobilitatea) i caracteristici externe (comunicarea, cooperarea).
Dac un agent inteligent are n plus capacitatea de a nva, de a
raiona i de a planifica, atunci este un agent cognitiv.
1.2.2 Proprietile mediului de execuie
Brian Logan (1998) propune un model de analiz a agenilor bazat
pe patru dimensiuni: proprietile mediului, proprietile aciunilor agenilor,
proprietile scopurilor agenilor i proprietile convingerilor agenilor.
Dup cum am menionat mai sus, procesul lurii deciziilor unui
agent este influenat de proprietile mediului de execuie. Acesta poate fi
(Russell, Stuart & Norvig, 1995):
accesibil sau inaccesibil: ntr-un mediu accesibil, agentul poate
obine informaii complete despre starea curent a mediului. n
condiii de inaccesibilitate, agentul vede numai parial mediul n care
acioneaz. Mediile de mare complexitate, precum lumea real sau
Internetul, sunt inaccesibile;
13
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
1.3 Clasificri
Clasificrile propuse pentru ageni sunt la fel de diverse ca i
definiiile prezentate anterior, deoarece aceast teorie se bucur n ultimii
ani de o tot mai accentuat popularitate. n funcie de domeniul de activitate,
cercettorii aleg diferite criterii de clasificare.
1.3.1 Taxonomia general a agenilor
Una dintre cele mai generale clasificri este cea propus de Kiel
(1989). n analogie cu arborele filogenetic din biologie, se urmresc
categoriile semnificative de ageni care pot fi mai apoi particularizate:
24
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul II
(2.1)
(2.2)
s n
...
(2.3)
n N, an act ( s0 , s1 ,..., sn )
(2.4)
(2.5)
26
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(2.6)
s1 , s 2 S : s1 s 2 , see( s1 ) see( s 2 ) ,
(2.7)
adic agentul poate distinge toate strile mediului, agentul este omniscient.
Putem spune c un agent este omniscient dac funcia sa de percepie este
injectiv.
La cealalt extrem, dac:
s1 , s 2 S , see( s1 ) see( s2 ) ,
(2.8)
27
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
28
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Beh {(c, a ) c P a A} .
(2.12)
@ b R, astfel nct b b
(2.14)
(2.15)
30
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
end-if
end-for
return null
end
p c }
(2.16)
(2.18)
35
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(2.19)
(2.20)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(2.22)
(2.23)
37
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
2.6 Concluzii
n acest capitol au fost prezentate cteva arhitecturi de ageni
inteligeni. Mai nti au fost formalizate unele noiuni menionate n primul
capitol: mediu, aciune, percepie, comportament. Au fost caracterizate
arhitecturile logice, simbolice, pentru care mediul i strile agenilor sunt
mulimi de formule logice, n special predicate de ordinul nti. S-a
demonstrat c acest tip de arhitectur aduce claritate n formularea
comportamentului, dar are ca dezavantaj complexitatea reprezentrilor.
Arhitecturile reactive sunt mai apropiate de modelele lumii reale deoarece
specific mai multe niveluri ierarhizate de comportament, din care se va
alege cel mai potrivit condiiilor curente din mediu. Arhitecturile BDI
(convingeri-dorine-intenii) definesc agenii raionali, care i stabilesc
modul de aciune pe baza unui raionament practic. n final, au fost amintite
arhitecturile stratificate, care au la baz ideea separrii comportamentelor
39
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
40
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul III
SISTEME MULTIAGENT
3.1 Utilitatea sistemelor multiagent
Dei exist situaii n care este preferabil folosirea unui singur agent
pentru realizarea unui anumit scop (cnd problema presupune un punct de
vedere global sau o abordare distribuit este dificil), n unele cazuri acest
lucru este practic imposibil. De exemplu, s presupunem modelarea
interaciunilor dintre persoane sau organizaii cu obiective diferite i posibil
conflictuale. Ar fi inacceptabil ideea unui singur agent care s dein toate
informaiile necesare. De aceea, se impune implicarea mai multor ageni,
care s reprezinte individual interesele i prioritile fiecrei pri.
ntr-un sistem multiagent, se consider de obicei c fiecare agent are
informaii incomplete despre problem i mediu. Orice agent considerat
individual are o capacitate limitat de calcul, n general insuficient pentru a
rezolva singur problema.
Sistemele multiagent i pot gsi utilitatea i n domeniul rezolvrii
distribuite a problemelor. Dac domeniul unei probleme poate fi divizat n
mai multe subprobleme de complexitate mai redus, acestea pot fi uor
atribuite unor ageni care s le rezolve separat, n paralel, pentru ca apoi
rezultatele pariale s fie combinate pentru a forma soluia final. n cazul
cnd problema are o natur distribuit, aceast abordare este mai comod i
strategia de rezolvare este mai uor de neles i implementat. Din punctul
de vedere al programatorului, pentru subproblemele rezultate pot fi propui
algoritmi eficieni, n timp ce un algoritm centralizat ar fi prea complex sau
chiar ar putea s nu existe.
Un alt avantaj al sistemelor multiagent este robusteea. Dac
informaiile sau sarcinile de control sunt partajate de mai muli ageni,
cderea unora nu conduce la cderea sistemului. Aceast proprietate mai
este numit degradare graioas (engl. graceful degradation) i este
important mai ales n cazurile n care sistemul trebuie s-i continue
funcionarea n condiii adverse, despre care se tie c i vor afecta
performanele.
De asemenea, sistemele multiagent se bucur de scalabilitate. Fiind
modulare prin definiie, noi ageni pot fi adugai pentru creterea
randamentului. Acest lucru este n general mai uor de realizat dect
adugarea de noi funcii la un program monolitic.
41
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Sisteme multiagent
Sisteme multiagent
Sisteme multiagent
<
<
<
<
<
cuvnt >
cuvnt >
cuvnt >
cuvnt >
expresie >
:sender
:receiver
:language
:ontology
:content
Agent1
Agent2
CLIPS
relatii
(deffacts
(persoana Ion)
(persoana Maria)
(prieteni Ion Maria)))
48
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Sisteme multiagent
scrie:
50
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Sisteme multiagent
( =>
Sisteme multiagent
Sisteme multiagent
Sisteme multiagent
(3.1)
(3.2)
57
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(3.3)
58
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul IV
A ( x) : X [0,1]
(4.1)
(4.2)
i 1
(4.3)
(4.4)
60
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
supp(A) = {x X | A ( x) 0} .
(4.5)
(4.6)
(4.7)
A ( x) B ( x), x X .
(4.8)
(4.9)
(4.10)
61
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
1 , c x c
xc
A ( x , c, , ) 1
,c xc
0, altfel
(4.11)
c x c x
A ( x, c, , ) max min
,
, 0
(4.12)
62
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
A ( x , c, ) e
1 xc
(4.13)
A ( x) 1, x [ x0 , y0 ] .
O mulime fuzzy A se numete interval fuzzy trapezoidal cu
intervalul de toleran [c,d], limea la stnga 0 i limea la dreapta
0 dac funcia sa de apartenen are forma:
63
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
cx
1 , c x c
1, c x d
A ( x , c, d , , )
xd
,d xd
1
0, altfel
(4.14)
c x
d x
A ( x, c, d , , ) max min
, 1,
, 0
(4.15)
A ( x , c, a , b )
A ( x, c, a, m)
xc
1
a
2b
(4.16)
4 ma
(4.17)
xc
1
a
64
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
x M2
A R
, x M 2
r
1, M 1 x M 2
(4.18)
A ( x, c, a )
A ( x, c , m )
1 e
1 e
a( x c)
4m( x c)
(4.19)
(4.20)
65
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
4.3 Restrictori
Dup cum am menionat, mulimile fuzzy pot reprezenta n mod
cantitativ termeni lingvistici vagi. n vorbirea curent, oamenii folosesc o
serie de adverbe pentru nuanarea acestora, precum foarte, aproape,
oarecum etc. Teoria mulimilor fuzzy face posibil reprezentarea lor cu
ajutorul unor restrictori (engl. hedge, gard viu, restricie n general), care
modific matematic funcia de apartenen a mulimii fuzzy considerat.
Concentrarea (foarte) are ca efect reducerea valorilor de
apartenen ale elementelor cu grad de apartenen mici:
CON ( A) ( x) ( A ( x)) 2 .
Puterea (foarte
CON ( A ) ( x) ( A ( x ))n .
foarte)
este
extensie
concentraiei:
66
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(4.21)
67
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(4.22)
A ( x) 1 A ( x), x X
C
(4.23)
68
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
A B ( x) T ( A ( x), B ( x)), x X
A B ( x) S ( A ( x), B ( x)), x X .
(4.24)
(4.25)
(4.26)
(4.27)
S ( x, y ) 1 T (1 x, 1 y )
(4.28)
xy
S ( x, y ) min x y
, 1
1
(4.29)
69
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
T1 ( x, y ) y, x 1 ,__ S 1 ( x, y ) y, x 0
0, altfel
1, altfel
(4.30)
dac p, atunci q
p
q
(4.31)
70
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
M B| A
a1 b1
a2 b1
...
a1 b2 ...
...
(4.32)
1, A B
Gdel: A B
;
B , A B
1, A 0
Goguen: A B
;
min(1, B ), A 0
A
Reichenbach: A B 1 A A B .
De cele mai multe ori, se prefer pentru implicaie operatorul minim,
adic: mij min( ai , b j ) sau produs: mij ai b j .
n primul caz, submulimea indus n B, B' se calculeaz astfel:
b j max(min(ai' , mij )) . Avem de-a face aici cu regula max-min, din care
71
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(4.33)
x (x )
y
(x )
i
(4.34)
x ( x) dx
( x) dx
A
(4.35)
72
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(4.36)
w
k
r 1
f r ( x1 ,..., xn )
w
k
r 1
(4.37)
73
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Vom avea:
z1 p1 x q1 y r1
z2 p2 x q2 y r2
(4.39)
w1 z1 w2 z 2
.
w1 w2
(4.40)
4.6 Concluzii
Teoria mulimilor fuzzy este cea mai general teorie a
incompletitudinii formulat pn n prezent. Logica fuzzy ofer posibilitatea
de a reprezenta i raiona cu cunotine comune, formulate n mod obinuit
i de aceea i-a gsit aplicabilitatea n numeroase domenii. Termenii i
regulile vagi pot fi reprezentate i manipulate cu ajutorul calculatorului,
caracteristic foarte valoroas n domeniul ingineriei bazelor de cunotine,
unde cunotinele experilor sunt formulate de obicei n limbaj obinuit.
Logica fuzzy are o valoare deosebit i n aplicaiile de control automat
unde este dificil sau imposibil de dezvoltat un sistem de control tradiional.
n acest capitol, s-au prezentat cele mai importante mrimi care
caracterizeaz mulimile fuzzy, diferite tipuri de funcii de apartenen
(triunghiular, gaussian, trapezoidal, Bell generalizat, respectiv
sigmoid), a cror alegere depinde de aplicaiile n care sunt utilizate. S-au
amintit civa restrictori, modificatori matematici ai funciilor de
apartenen pentru termeni lingvistici. S-au precizat operaiile efectuabile
asupra mulimilor fuzzy, insistndu-se asupra conceptului de norm
triunghiular.
Comparnd tipurile de inferen propuse de Mamdani i Sugeno, se
poate considera n general c metoda Mamdani este mai intuitiv i deci mai
potrivit pentru aplicaiile n care oamenii trebuie s introduc date direct.
Un alt avantaj al su const n larga rspndire i acceptare de care se
bucur. Pe de alt parte, metoda Sugeno este mai eficient din punct de
vedere computaional, se preteaz la tehnicile adaptive i de optimizare i
este deci mai potrivit pentru analiza bazat pe tehnici matematice.
74
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul V
REELE NEURONALE
5.1 Introducere. Modelul biologic
Preocuparea pentru reelele neuronale artificiale, denumite n mod
curent reele neuronale, a fost motivat de recunoaterea faptului c
modul n care calculeaz creierul fiinelor vii este complet diferit de cel al
calculatoarelor numerice convenionale. Spre deosebire de mainile von
Neumann, unde exist o unitate de procesare care execut instruciunile
stocate n memorie n mod serial, numai o instruciune la un moment dat,
reelele neuronale utilizeaz n mod masiv paralelismul. Fiind modele
simplificate ale creierului uman, ele dein capacitatea de a nva, spre
deosebire de calculatoarele convenionale, care rmn totui mai eficiente
pentru sarcinile bazate pe operaii aritmetice precise i rapide. Reelele
neuronale nu dispun de uniti de procesare puternice, dimpotriv, acestea
sunt caracterizate printr-o simplitate extrem, ns interaciunile lor pe
ansamblu produc rezultate complexe datorit numrului mare de conexiuni.
Pentru a nelege mai bine aceast abordare, trebuie precizat modul
de funcionare al sistemului nervos. Constituienii structurali ai creierului
sunt neuronii, conectai prin sinapse (gr. , punct de legtur). Se
estimeaz c n cortexul uman exist circa 10 miliarde de neuroni i 60 de
trilioane de sinapse. Trebuie precizat ns c neuronii nu sunt cele mai
numeroase celule din creier. Celulele gliale sunt de 10 ori mai multe. n mod
tradiional, se considera c acestea au numai funcii de nutriie i protecie,
ns n ultimul timp au demarat cercetri privitoare la influena lor potenial
asupra activitii de procesare a neuronilor.
Neuronul const n principal din trei componente: corpul celulei,
soma (gr. , corp), dendrite i axon. Dendritele (numite astfel datorit
asemnrii cu un copac, gr. ) sunt intrrile neuronului, fibre
scurte ramificate, de civa milimetri, care primesc impulsuri. Axonul
(gr. , ax), ieirea, este o fibr mai lung, de civa centimetri,
putnd ajunge ns la 1-1,5 metri. Fiecare neuron are un singur axon i mai
multe (10-20) de dendrite.
O schi a unui neuron este prezentat n figura urmtoare (Ascoli,
2001):
75
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Reele neuronale
Reele neuronale
y f wi xi
i 1
1 i 1:
(5.1)
(5.2)
(5.3)
(5.4)
80
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Reele neuronale
Reele neuronale
1
1 e s
(5.5)
1 e a s
.
1 e a s
(5.6)
83
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
0.5
0
-6
84
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Reele neuronale
-1
-6
85
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
86
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Reele neuronale
y j ( p ) f xi ( p ) wij ( p ) j ,
i 1
(5.7)
unde n este numrul de intrri ale neuronului j din stratul ascuns, iar f este
funcia de activare sigmoid.
3.3. Se calculeaz ieirile reale ale reelei:
m
y k ( p ) f x jk ( p ) w jk ( p) k ,
i 1
(5.8)
ek ( p) 2
2
(5.9)
k ( p ) f ' ek ( p ) ,
(5.10)
unde
f'
este derivata funciei de activare iar eroarea
ek ( p ) y d , k ( p ) y k ( p ) .
Dac folosim sigmoida unipolar (ecuaia 5.5), derivata acesteia
este:
f ' ( x)
ex
1 e
x 2
f ( x) 1 f ( x) .
(5.11)
2 a e a x
1 e
ax 2
a
1 f ( x) 1 f ( x) .
2
(5.12)
87
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
k ( p ) y k ( p ) 1 y k ( p ) ek ( p ) .
(5.13)
(5.14)
j ( p ) y j ( p ) 1 y j ( p ) k ( p ) w jk ( p ) ,
l
k 1
(5.15)
(5.16)
(5.17)
Reele neuronale
(5.18)
(5.19)
e yk
(5.20)
yi
i 1
Reele neuronale
antrenare n dou: n jur de 90% din date vor fi utilizate pentru antrenarea
propriu-zis iar restul, numit set de validare ncruciat (engl. crossvalidation) este folosit pentru msurarea erorii. Antrenarea se oprete atunci
cnd ncepe s creasc eroarea pentru setul de validare ncruciat, moment
numit punct de maxim generalizare.
Reele neuronale
yi ( x) wij x x j
N
j 1
(5.21)
j 1
2 2j
x x j
(5.22)
xxj
xkj
(5.23)
1
xx j
2
x x
T
1
j
j 1
(5.24)
(5.25)
kp
.
kp
(5.26)
Reele neuronale
(5.27)
wi y ( xi y wi ) .
(5.28)
wij yi x j yi wkj ,
k
(5.29)
yi wij x j , i = 1, , M
(5.30)
unde:
crui ponderi sunt cele mai bune aproximri ale intrrii curente x.
Algoritmul poate fi sintetizat n urmtorii pai:
Pasul 1: wr wr ( x wr ) , unde rata de nvare se alege de
obicei ntre 0.1 i 0.7 iar ieirea or 1
w
Pasul 2: Se normalizeaz vectorii: wr r
wr
96
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Reele neuronale
98
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul VI
Reele neuronale
avantaje
ncorporeaz cunotine predefinite Pot nva fr nici o informaie iniial
bazate pe reguli
Exist mai multe paradigme de
Sunt interpretabile (reguli dac-atunci)
nvare, potrivite diverselor situaii
Ofer o implementare simpl
Exist o multitudine de algoritmi de
nvare disponibili n literatura de
Cunotinele sunt disponibile n orice
specialitate
moment
dezavantaje
Nu pot nva
Sunt cutii negre sub-simbolice
Trebuie s dispun de reguli stabilite a- Nu pot utiliza cunotine a-priori
priori
Necesit
algoritmi
de
nvare
Nu exist metode formale pentru
compleci
ajustarea regulilor
Nu exist garania c nvarea
converge spre soluie
Prezint dificulti n extragerea
cunotinelor structurale
au Au (net u ) ;
O definete o funcie de ieire Ou pentru fiecare u U :
104
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
t-norm
o pentru unitile de ieire exist relaiile: u U 3 , NETu : ([0,
S este o t-conorm;
ex :U1 R definete pentru fiecare unitate de intrare u U1 ieirea
extern ex(u ) exu .
Scopul perceptronului fuzzy nu este fuzzyficarea integral a unei
reele neuronale de tip perceptron i nici modelarea unui sistem de inferen
bazat pe logica fuzzy. Se observ c numai ponderile, intrrile nete i
funciile de activare ale unitilor de ieire sunt reprezentate ca mulimi
fuzzy. Perceptronul fuzzy prezentat mai sus este asemntor cu perceptronul
clasic, utilizat pentru aproximri de funcii. Avantajul su este posibilitatea
de a asocia termeni lingvistici cu ponderile sale fuzzy i astfel, reeaua poate
fi creat parial sau integral pe baza unor reguli fuzzy de tip dac-atunci.
Gsirea unui algoritm de antrenare (supervizat) pentru perceptronul
fuzzy este mai dificil dect n cazul perceptronului clasic neuronal
deoarece funciile de activare ale unitilor sunt definite sub forma unor tnorme i t-conorme care n general nu sunt difereniabile i deci metoda
gradientului descendent nu poate fi utilizat.
Nauck propune urmtorul algoritm de retro-propagare fuzzy a erorii
(fuzzy back-propagation). Presupunem c ponderile antecedente (dintre
stratul de intrare i cel ascuns) i , j W (ui , u j ), ui U1 , u j U 2 i ponderile
concluzive
(dintre
stratul
ascuns
i
cel
de
ieire)
j , k W (u j , uk ), u j U 2 , uk U 3 sunt modelate sub forma unor numere
105
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
( p)
u
a ( p ) ( p ) , u U
v
2
vU 3 u
tu( p ) ou( p )
( p)
( p)
max ou min ou
u
u
p uU 3
( p)
u
( p ) l j ,k l uk (c j ,k l j ,k )
( p ) c j ,k c uk (r j ,k l j ,k )
( p ) r j ,k r u k (r j ,k c j ,k )
( p ) li , j l u j (c j ,k li , j )
( p ) ci , j c u j (aui ci , j )
( p ) ri , j r u j ( ri , j c j ,k )
106
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
111
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
6.4 Concluzii
Sistemele fuzzy i reelele neuronale sunt estimatori numerici i n
acelai timp sisteme dinamice, care prezint capacitatea de a dezvolta
inteligena agenilor care acioneaz n medii nesigure, imprecise i afectate
de zgomot. Este i dezideratul domeniului soft computing-ului, care
ncearc simularea performanelor minii umane prin combinarea unor
tehnici precum reelele neuronale, sistemele fuzzy i algoritmii genetici.
Relaia dintre reelele neuronale i cunotinele lingvistice este
bidirecional. De aceea, sistemele de clasificare bazate pe reele neuronale
pot fi antrenate cu date numerice i cunotine lingvistice, iar sistemele de
clasificare fuzzy bazate pe reguli pot fi proiectate cu ajutorul cunotinelor
lingvistice i a regulilor fuzzy extrase din reele neuronale.
Logica fuzzy i modelele conexioniste au necesiti contrastante din
punctul de vedere al aplicaiilor practice. Sistemele fuzzy sunt potrivite
atunci cnd exist suficient cunoatere de tip expert. Reelele neuronale
sunt adecvate dac exist suficiente date disponibile sau msurabile.
Sistemele fuzzy conduc la o abordare calitativ-simbolic, pe cnd reelele
neuronale se preteaz mai ales la o abordare cantitativ-numeric.
Combinarea sistemelor fuzzy cu reelele neuronale conduce la
reducerea i chiar eliminarea dezavantajelor individuale ale celor dou
tehnici. n acelai tip, prin diverse modaliti de hibridizare, se pot pune n
valoare avantajele incontestabile ale acestora: capacitatea de nvare a
reelelor neuronale i reprezentarea explicit, simbolic a cunotinelor prin
intermediul sistemelor fuzzy.
Reelele neuronale fuzzy menin proprietile de baz ale reelelor
neuronale, la care se adaug fuzzyficarea unora din elementele lor
caracteristice pentru a putea prelucra informaii fuzzy. Pentru concretizare,
au fost descrise structura i algoritmul de nvare ale unui perceptron fuzzy.
Sistemele fuzzy neuronale ncearc ajustarea regulilor din sistemul
fuzzy prin metode tipice reelelor neuronale, fr a-i pierde caracteristicile
eseniale (fuzzyficarea, defuzzyficarea, motorul de inferen i fundamentul
logicii fuzzy).
n abordarea hibrid neuro-fuzzy, att tehnicile fuzzy ct i cele
conexioniste joac un rol cheie, fiecare ndeplinind funcii diferite n sistem,
potrivite naturii sale. n aceast categorie intr Sistemul de Inferen Fuzzy
bazat pe Reele Adaptive (ANFIS).
112
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul VII
suficient de mare, sistemul prefer alegerea unor aciuni pe care le-a ncercat
anterior i care s-au dovedit eficiente. Dar pentru descoperirea unor
asemenea aciuni, el trebuie s aleag i aciuni pe care nu le-a selectat n
trecut. Sistemul trebuie s exploateze ceea ce tie deja pentru a obine o
recompens, dar trebuie n acelai timp s exploreze posibilitatea gsirii
altor aciuni potrivite pentru viitor. Sistemul trebuie s ncerce o varietate de
aciuni i apoi s le aleag pe acelea care par optime.
O alt trstur esenial a nvrii cu ntrire este faptul c se ia n
considerare problema n ansamblu. Aceasta constrasteaz cu multe abordri
de tip divide et impera care nu studiaz i modul n care subproblemele se
ncadreaz n imaginea general a problemei.
7.2.1 Caracteristici ale nvrii cu ntrire
nvarea cu ntrire prezint o serie de caracteristici de mare
importan:
tactica agentului;
funcia recompens;
funcia valoare;
modelul mediului.
Tactica (engl. policy) definete modul de comportare al agentului
la un moment dat. Ea se refer la asocierea dintre strile cunoscute ale
mediului i aciunile preferate din acele stri. Aceasta corespunde asocierii
stimul-rspuns din psihologie. n unele cazuri, tactica poate fi aleatorie, o
funcie simpl sau o tabel de cutare, pe cnd n altele poate implica
calcule laborioase, de exemplu un proces de cutare. Tactica este nucleul
comportamentului unui agent care nva prin ntrire.
Funcia recompens definete scopul ntr-o problem de nvare cu
ntrire. Aceasta ascociaz strile (sau perechile stare-aciune) cunoscute cu
un semnal numeric care indic dezirabilitatea strii respective. Obiectivul
agentului este maximizarea recompenselor pe care le primete n timp.
Funcia recompens definete care sunt situaiile bune i rele pentru
agent. ntr-un sistem biologic, putem identifica recompensa cu plcerea i
durerea. Acestea sunt caracteristicile imediate i definitorii ale problemei
cu care se confrunt agentul. Din acest motiv, funcia recompens trebuie
fixat i poate fi folosita ca o baz pentru modificarea tacticii. De exemplu,
dac o aciune selectat de tactic produce o recompens sczut, atunci
tactica poate fi schimbat astfel nct s selecteze o alt aciune n viitor. n
general, funciile recompens pot fi stohastice.
n timp ce funcia recompens indic dezirabilitatea n viitorul
imediat, funcia valoare specific dezirabilitatea pe o perioad mai
116
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(7.1)
unde [0,1] este rata de reducere (engl. discount rate), care determin
valoarea prezent a recompenselor viitoare iar este constant mic numit
rat de nvare.
Deoarece metoda i bazeaz actualizrile pe estimri deja existente,
spunem c e o metod bootstrap, ca i programarea dinamic. inta este o
estimare fiindc V ( st 1 ) nu este cunoscut i n locul su se folosete
estimarea curent Vt ( st 1 ) . Algoritmul TD(0) pentru estimarea valorii V
este prezentat n continuare (Sutton & Barto, 1998):
se iniializeaz V(s) n mod arbitrar i cu tactica de evaluat;
repet pentru fiecare episod:
iniializeaz s;
repet pentru fiecare pas al episodului:
a = aciunea dat de pentru s;
ndeplinete aciunea a, observ recompensa r i
starea urmtoare s';
V(s) = V(s) + (r + V(s' ) V(s))
s = s' ;
pn cnd s este o stare terminal.
118
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(7.2)
t rt 1 Vt ( st 1 ) Vt ( st )
(7.3)
119
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(7.4)
7.2.3 Q-learning
O mare importan pentru nvarea cu ntrire a avut-o apariia
algoritmului Q-learning (Watkins, 1989). n acest caz, funcia aciunevaloare nvat, Q, aproximeaz direct funcia optim Q*, independent de
tactica urmat. Acest fapt simplific foarte mult analiza algoritmului i i
crete viteza de convergen. Tactica are totui efect, ntruct determin ce
perechi stare-aciune sunt vizitate i actualizate. S-a demonstrat c
aproximarea discret n timp Qt converge cu probabilitatea 1 la Q*.
S presupunem c agentul are o tactic , care mapeaz starea
curent n aciunile dezirabile din acea stare. Valoarea ateptat ntr-o stare
x, pe baza tacticii , este:
V E t rs,t ,
t 0
(7.5)
120
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Q ( s, a) Va; ( s ) ,
(7.6)
V * ( s) max Q * ( s, a ), s S .
aA
(7.7)
(7.8)
* arg max Q ( s, a ) .
a
(7.9)
s = s' ;
pn cnd s este o stare terminal.
(7.10)
(7.11)
(7.12)
p P
p c sg
(7.13)
(7.14)
sS
1
Q
q
xQ
g
s
N ( g , b, s, s', p, p' ) ,
s 'S { s}
(7.16)
125
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(7.17)
Funcia alege cea mai bun ofert, calculnd pentru fiecare ofert
posibil probabilitatea ca aceasta s ctige licitaia cu un profit ct mai
mare. Probabilitatea de ctig este obinut nmulind probabilitile de a
cere un pre mai mic dect ceilali vnztori. Probabilitatea de a cere mai
puin dect un anumit vnztor este obinut prin sumarea probabilitilor
corespunztoare tuturor ofertelor ale acelui vnztor, pentru care
cumprtorul va prefera oferta vnztorului considerat.
n concluzie, studiile privind agenii de nivel n au artat c un agent
de nivel n va avea ntotdeauna performane superioare ntr-un sistem care
conine ageni de nivel n1. Pe de alt parte, costurile computaionale ale
trecerii pe un nivel urmtor cresc exponenial. Pe msur ce agenii din
sistem i incrementeaz nivelul, ctigurile agentului considerat se
micoreaz. Motivul este faptul c un agent de nivel n poate specula lipsa de
echilibru dinamic al sistemului de ageni de nivel n1. Cnd toi agenii
devin de nivel n, sistemul atinge mai repede o stare de echilibru, aa nct
avantajele gndirii strategice se reduc. n acest caz, este mai comod pentru
ageni s aleag strategia de echilibru, nemaiinnd seama de
comportamentul celorlali ageni. Totui, dac agenii nu mai nva i n
sistem apare un nou agent care nva, acesta va putea profita de situaia
existent. De aceea, agenii din sistem tot trebuie s nvee pentru a pstra
robusteea sistemului, chiar dac nvarea nu mai are rezultate vizibile
(Vidal, 2003).
7.3.2 Echilibrul unui sistem multiagent
Proiectantul unui sistem multiagent trebuie s in seama de faptul
c mediul de execuie este n permanent schimbare i c un agent
individual nu are dect o perspectiv local, limitat, asupra sistemului ca
ntreg. Se pune problema atunci dac s optimizeze configuraia agenilor
individuali, sau s se concentreze asupra eficienei globale a sistemului?
Vom ncerca n cele ce urmeaz s rspundem la aceast ntrebare dintr-o
perspectiv descentralizat, concentrndu-ne asupra instrumentelor teoretice
utile pentru construirea unui sistem multiagent capabil s-i ating scopul
desemnat, n ciuda faptului c este format din ageni concureni, cu scopuri
individuale posibil diferite.
Un element central al unui sistem multiagent dinamic este echilibrul,
adic o mulime de stri n care toi agenii i maximizeaz mpreun
126
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
127
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
128
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
ui a * ui ai , a* i , ai
(7.18)
Aceast situaie are dou stri de echilibru Nash: (A, A) i (B, B).
Chiar dac au gusturi diferite, fiecare prefer s mearg la un eveniment
care nu l pasioneaz dect s nu fie mpreun cu cellalt. Aici se poate
vedea importana nvrii strategice. De exemplu, considernd c Ion
dorete i el s-i nvee strategia, Maria poate ncerca s-i influeneze
convingerile, pentru a-l determina s urmeze strategia dorit de ea. ntr-un
joc iterat, ea poate alege necondiionat B pentru o anumit perioad, chiar cu
preul unei recompense 0, pentru a-l determina pe Ion s joace i el B.
Exist i jocuri n care nu exist nici un echilibru Nash, de exemplu
aa-numitul joc de potrivire a monedelor (engl. matching pennies).
Altfel spus, este un joc pur conflictual, cu urmtoarele reguli: dou persoane
decid simultan s arate capul sau pajura unei monede. Dac amndoi arat
aceeai fa, persoana a doua i pltete primeia 1$. Dac arat fee diferite,
130
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(7.19)
131
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Pi t (a j )
(7.20)
a' j A j
t (a)
t (a)
t (a ' )
(7.21)
a 'A
a ' A
(7.22)
132
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
t 1(a ) t (a )(1 u t (a )) .
(7.23)
Costul (C) este un numr negativ, iar beneficiul (B) este un numr
pozitiv, astfel nct:
B B C 0 C .
(7.24)
ui ( a* ) ui (b* ), i 1...n .
(7.25)
134
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(7.26)
i arg max{Bkj } ,
k
(7.27)
Ei j Ei j Ei j
Ekl Ekl Ei j
(7.28)
1
Ei j [T ] ,
T 1
(7.29)
(7.30)
138
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(7.31)
P(r )
(7.32)
jRi
U rsm 1 (1 ) U rsm U s f .
(7.33)
Fie o funcie G : S ' {0,1} care returneaz 1 dac starea dat s-a
atins cu succes i 0 n caz contrar. Atunci actualizarea valorilor de
probabilitate este:
Prsm1 (1 ) Prsm G ( s f ) .
(7.34)
(7.35)
(7.36)
7.5 Concluzii
n acest capitol a fost definit mai nti noiunea de nvare din
punctul de vedere al mai multor tiine, dup care s-au prezentat
caracteristicile celor dou tipuri principale de nvare n sistemele
multiagent: centralizat i descentralizat. Datorit rolului important pe care
l ocup n proiectarea sistemelor bazate pe ageni, nvarea cu ntrire a
fost descris separat, evideniindu-se caracteristicile principale i apoi
141
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
142
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul VIII
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
m
wk xik x jk
k 1
r 1 / r
(8.1)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
P(C K | S i )
siK
.
siJ
(8.2)
1
n
jC K
jk
(8.3)
s
P( A | i)
s
aA
C cC
ia
(8.4)
ic
149
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
m 1
(8.5)
c d ij
(8.6)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
di ( I , H )
,
d ( I , H ) wH wi
maxvali minvali
i 1
2
(8.7)
cu
153
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
I i H upperi ,
d i ( I , H ) H loweri I i ,
0,
dac I i H upperi
dac I i H loweri ,
altfel
(8.8)
0,
di ( I , J )
1,
dac I i J i
(8.10)
154
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
P x
vV f cC
c x f v log
P xc c x f v
P xc c P x f v
(8.11)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
n1 1 n2 2
n1 n2
(8.12)
156
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
n1 12 n2 22 n1 n2 1 2
n1 n2
n1 n2 2
(8.13)
'H
'H
H nH I
nH 1
(8.14)
n H ( nH 1) H2 nH H I
nH 1
(8.15)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(8.16)
unde d() este de obicei distana city block iar c este un paramentru de
sensibilitate global. Aceste probleme vor fi discutate pe larg n studiul
experimental din capitolul 9. n prezenta abordare, recunoatem faptul c
atributele (dimensiunile) au ponderi diferite i c distribuia unei clase poate
fi mai mare pe o dimensiune dect pe alta. Media i deviaia standard sunt
calculate independent pe fiecare dimensiune. Prin urmare, utilizm pentru
calcularea similaritii funcii de baz eliptic paralel cu axele, descrise n
paragraful 5.4, care generalizeaz funciile de baz radial:
s( I , P) e
wi di ( I ,P ) 2 / i2
2D
(8.17)
d (I , E)
w d ( I , E )
(8.18)
astfel nct:
1.
(8.19)
158
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
159
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
160
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(8.20)
162
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
0.8530 (0.0857)
0.4887 (0.2835)
0.5123 (0.1216)
0.2573 (0.1459)
(8.21)
163
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
nlime (cm)
30
40
40
35
70
50
40
10
15
10
Spini
da
da
da
nu
da
da
da
nu
nu
nu
Nume
trandafir
trandafir
trandafir
trandafir
cactus
cactus
cactus
panselu
panselu
panselu
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(8.21)
nlime (cm)
35
30
40
20
15
10
50
35
20
70
Spini
da
nu
da
nu
nu
nu
da
da
nu
nu
Clasa dorit
trandafir
trandafir
trandafir
panselu
panselu
panselu
cactus
trandafir
panselu
cactus
Clasa prezis
trandafir OK
trandafir OK
trandafir OK
panselu OK
panselu OK
panselu OK
cactus OK
trandafir OK
panselu OK
cactus OK
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
trandafir
panselu
Cadou.culoare
galben
rou
rou
alb
alb
galben
rou
verde
verde
rou
rou
Cadou.nlime
35
30
40
40
10
15
10
53
53
36
12
Cadou.spini
nu
da
da
da
nu
nu
nu
da
da
da
nu
Vreme
soare
soare
soare
soare
soare
soare
soare
ploaie
soare
ploaie
ploaie
Dispoziie
bun
rea
rea
rea
bun
bun
bun
rea
rea
rea
rea
167
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(8.22)
Pentru predicie, s-au folosit datele din tabelul 8.4. Ultima coloan
indic rezultatele.
Este clar c aceast abordare de a considera pur i simplu toate
atributele fr a lua n calcul structura compus a domeniului nu este
viabil. Prin urmare, modelul NNGEP trebuie extins astfel nct s trateze
instane compuse i s creeze hiperdreptunghiuri de astfel de instane.
De vreme ce procesul de generalizare este imediat (exemplarele sunt
extinse pentru a include instane compuse pe fiecare dimensiune/atribut),
problema este gsirea unei metrici potrivite pentru calcularea distanei dintre
168
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Cadou.nlime
35
30
40
20
15
10
50
35
20
70
Cadou.spini
da
nu
da
nu
nu
nu
da
da
nu
nu
Vreme
soare
soare
soare
soare
soare
soare
soare
ploaie
ploaie
soare
Clasa dorit
bun
rea
rea
bun
bun
bun
rea
rea
rea
rea
Clasa prezis
rea GREIT
rea GREIT
rea OK
bun OK
bun OK
bun OK
rea OK
rea OK
bun GREIT
bun GREIT
(8.23)
unde A i B sunt dou regiuni date iar d() este o funcie distan ntre dou
puncte.
Pentru situaia dat, putem considera hiperdreptunghiurile drept
regiuni convexe i intenionm s gsim o distan adecvat ntre ele. De
asemenea, metrica pentru distan trebuie s menin compatibilitatea cu
distana dintre instane i hiperdreptunghiuri folosit pn acum. Dac se
utilizeaz metrica Hausdorff, cnd se consider o instan ca fiind un
hiperdreptunghi a crui mrime pe orice dimensiune este nul, distana este
cea prezentat n figura 8.5.
169
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(8.24)
card symbolsi ( H 1 )
card symbolsi ( H 2 )
(8.25)
unde symbolsi(H) este mulimea de valori simbolice ale lui H pentru
dimensiunea/atributul i.
Distana astfel definit are avantajul simetriei. Totui, experimentele
din psihologie arat c oamenii nu percep distana dintre concepte ca fiind
neaprat simetric (Miclea, 1999). Revenind la exemplul de la nceputul
paragrafului 8.2.3, un european poate considea o nuc de cocos ca fiind mai
asemntoare cu un mr dect un mr cu o nuc de cocos, deoarece mrul
are mai multe valori cunoscute ale atributelor dect nuca de cocos.
Folosind relaia (8.25), se introduce distana unilateral dintre
concepte pe o dimensiune simbolic drept:
d iu ( H1 , H 2 )
cardsymbolsi ( H 1 ) symbolsi ( H 2 )
,
cardsymbolsi ( H1 )
(8.26)
170
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
unde card reprezint cardinalitatea unei mulimi iar symbolsi este mulimea
de valori simbolice corespunztoare dimensiunii i.
n exemplul cu mrul i nuca de cocos, fie n numrul valorilor
comune ale atributelor, m numrul valorile atributelor caracteristice mrului
dar nu i nucii de cocos, iar c numrul valorilor atributelor caracteristice
nucii de cocos dar nu i mrului, cu m > c. Deci d u ( M , C ) m /(n m) i
d u (C , M ) c /( n c) . Putem vedea n continuare c:
d u ( M , C ) d u (C , M )
m ( n c ) c ( n m)
n (m c)
0 ,(8.27)
( n m)( n c )
( n m)( n c)
nlime
30
40
40
35
Spini
da
da
da
nu
Nume
trandafir_rou
trandafir_rou
trandafir_alb
trandafir_galben
171
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Chiar dac exist mai multe varieti ale clasei trandafir, trandafirul
nsui nu poate fi considerat un concept compus, deoarece toate varietile
sunt definite pe aceeai mulime de atribute. Exemplarele pentru cactus i
panselu sunt aceleai ca mai sus.
Exemplarele generalizate gsite de NNGEP sunt:
Clasa rea (6 instane)
plant: {trandafir_rou, trandafir_alb, cactus} Mod:
trandafir_rou (2)
vreme: {soare, ploaie} Mod: soare (3)
Clasa rea (2 instane)
plant: {trandafir_galben, panselu}
trandafir_galben (1)
vreme: {ploaie} Mod: ploaie (2)
Clasa bun (2 instane)
plant: {trandafir_galben, panselu}
trandafir_galben (1)
vreme: {soare} Mod: soare (2)
Mod:
Mod:
(8.28)
(8.29)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Culoare
galben
rou
alb
alb
galben
rou
verde
galben
alb
verde
nlime
35
30
40
20
15
10
50
35
20
70
Spini
da
nu
da
nu
nu
nu
da
da
nu
nu
Vreme
soare
soare
soare
soare
soare
soare
soare
ploaie
ploaie
soare
Clasa dorit
bun
rea
rea
bun
bun
bun
rea
rea
rea
rea
Clasa prezis
bun OK
bun GREIT
rea OK
bun OK
bun OK
bun OK
rea OK
rea OK
rea OK
rea OK
Distana
0
0.0557
0.2506
0.1605
0.2506
0.1898
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
LC si S | s j S , i j , link ( si , s j ) 1 ,
(8.30)
KB LCi | i 1, n ,
(8.32)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
f(s)
2
1 es
1
.
1 e s
1 e s
(8.33)
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(8.34)
i
. Relaia poate fi pozitiv sau
i o mulime de concepte-atribut C attr
negativ, de exemplu George este nalt sau Floarea nu e roie.
Algoritmul de nvare este:
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
(8.35)
178
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
179
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Se observ faptul c pe calea de la conceptul-obiect la conceptulatribut ponderile conexiunilor sunt mrite de fiecare dat cnd problema e
rezolvat. De aceea, cu ct este mai mare ponderea unei conexiuni, cu att
este mai mare probabilitatea ca acea conexiune s fie util i pentru
rezolvarea problemei curente. Prin analogie cu mintea uman, cnd oamenii
ncearc s rezolve o problem, ei tind s aplice mai nti metodele pe care
le-au folosit mai des i s-au dovedit ncununate de succes.
Dup ce se trage o concluzie, se creeaz sau se actualizeaz
conexiunea direct de la conceptul-obiect la conceptul-atribut. Odat ce
problema este rezolvat, rezultatele pot fi aplicate direct pentru sarcinile
ulterioare, fr a mai trebui rezolvat problema din nou. Totui, acest lucru
s-ar putea s nu fie simplu la nceput. Pn cnd un subiect se obinuiete cu
o nou abordare, s-ar putea s-i fie mai uor s foloseasc metodele
anterioare, chiar dac acestea necesit un timp mai ndelungat pentru
rezolvarea problemei.
Pentru a simula acest comportament, s-a ales o a treia rat de
nvate, 3 0.05 . El poate fi vzut ca o generalizare a regulei de nvare
hebbian (Hebb, 1949), care afirm c schimbarea ponderii unei conexiuni
este proporional cu produsul intrrii i ieirii acelei conexiuni. n modelul
propus am simplificat aceast idee astfel nct ponderea unei conexiuni este
mrit sau micorat n conformitate cu semnul produsului dintre activrile
nodurilor de intrare i ieire. n consecin, dac se gsete o cale cu activri
pozitive care rezolv problema, atunci tuturor conexiunilor de pe acea cale li
se vor mri ponderile cu rata de nvare. Micorarea celorlalte conexiuni nu
este necesar, deoarece acestea nu sunt neaprat inutile. Dac nu au ajutat la
gsirea unei anumite soluii, asta nu nseamn c nu vor ajuta la gsirea unei
alte soluii n viitor.
Utilizarea nodurilor activate mpiedic apariia buclelor infinite
180
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
1 2 3 .
(8.36)
181
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
unui volum mare de date prin reea. Totui, mobilitatea impune creterea
complexitii agentului inteligent, deoarece trebuie luate n considerare
securitatea i costul (Seydim, 1999).
Dac agentul trebuie s acioneze n numele utilizatorului, trebuie s
i se asigure o metod de autentificare corespunztoare pentru mainile
gazd. n acest scop, trebuie implementate sisteme de securitate pentru
prevenirea abuzurilor. Pn n prezent au fost propuse numai cteva sisteme
care trateaz aceste probleme dificile, precum anularea unui certificat de
autentificare sau restricionarea lui ntr-o anumit manier (Waldo, 2001).
Mai mult, dac agentul trebuie s se autentifice, apare urmtoarea problem:
cnd are loc aceasta? ntruct agentul este un obiect activ, la momentul n
care destinatarul devine contient de prezena agentului, acesta ruleaz deja
i deci are posibilitatea potenial de a ataca maina gazd. Invers, dac
agentul transport informaii importante, cum poate ti el dac destinaia
este de ncredere?
O alt problem care trebuie luat n considerare este modelul
eecului agentului. ntr-un LAN se poate garanta funcionarea staiilor. n
alte tipuri de reele (n special pe Internet), acest lucru este imposibil. Astfel,
proiectantul trebuie s aib n vedere perioada dintre momentul la care
utilizatorul trimite un agent i momentul la care trebuie s trimit altul
fiindc primul nu s-a ntors nc.
O soluie la aceste probleme este nzestrarea agenilor cu un anumit
grad de inteligen care le sporete flexibilitatea i capacitatea de adaptare la
un mediu dinamic.
8.4.2 Structura sistemului propus
Sistemul propus const dintr-un numr de servere de ageni care au
capacitatea de a gzdui i transporta ageni n reea. De asemenea, pe servere
exist baze de cunotine pe care agenii le pot consulta prin intermediul
cte unui agent local static de baze de cunotine.
Agenii au o arhitectur BDI (engl. beliefs-desires-intentions),
bazat pe o triplet de convingeri, dorine i intenii (Rao & Georgeff,
1991). Se va descrie mai nti tipul de informaii pe care l pot gestiona
agenii. S-a studiat posibilitatea ca agenii s caute cunotine distribuite
pentru un sistem de e-learning. Astfel, s-a presupus c entitile de
cunoatere (engl. knowledge items) pot fi de dou tipuri (Glea, Leon &
Zaharia, 2003):
perceptive: cunotine pe care utilizatorul care nva le poate
185
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
186
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
:content <expression>
:language <word>
:ontology <word>
:in-reply-to <expression>
:force <word>
:sender <word>
:receiver <word>
189
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
:content <expression>
:language <word>
:ontology <word>
:in-reply-to <expression>
190
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
198
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
200
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Capitolul IX
STUDIU EXPERIMENTAL
9.1 Metodologia de test
n acest capitol ne propunem compararea din punctul de vedere al
performanelor a celor mai cunoscui algoritmi de clasificare, lund n
considerare acurateea rezultatelor nvrii i, nu n ultimul rnd, timpul de
execuie. Apoi vom studia performanele mai multor variante ale
algoritmului NNGEP propus n comparaie cu cei mai eficieni algoritmi
clasici, distingnd ntre problemele complexe, cu un numr mare de instane
i atribute i cele logice, cu un numr mic de date de antrenare, care exprim
ns reguli sintetice ce trebuie detectate de clasificatori.
Pe baza modelului de raionament deductiv vor fi efectuate cteva
studii de caz pentru a pune n eviden comportamentul algoritmilor propui
n condiii de raionament circular, definiii negative i propoziii exprimate
n limbaj cvasinatural.
Sistemul distribuit va fi supus unei analize extinse privind influena
configuraiei i a valorilor parametrilor asupra modului de comportament al
agenilor inteligeni mobili i a performanelor sistemului ca ansamblu.
n contextul nvrii cu ntrire, vor fi studiai algoritmii de nvare
a cii ntr-o reea de calculatoare i, ntr-un cadru mai general, ntr-un
labirint din mediul fizic n care agenii sunt situai. Se va compara
algoritmul gradienilor marcajelor de stare cu ali algoritmi binecunoscui de
gsire a cii.
n final, vor fi analizate operaiile de data mining spaial pe care le
pot efectua agenii inteligeni ntr-un sistem geografic bazat pe cunotine.
9.2 Studiu comparativ al algoritmilor de nvare inductiv
n cele ce urmeaz, se vor descrie succint algoritmii i problemele de
test, dup care se vor prezenta testele efectuate, mpreun cu discuia
referitoare la parametrii algoritmului NNGEP i interpretarea rezultatelor
acestuia att din perspectiv neuronal, ct i fuzzy.
9.2.1 Algoritmii
Algoritmii testai sunt binecunoscui n nvarea automat (engl.
machine learning). Din punct de vedere al implementrii, s-au considerat
versiunile descrise n cartea de data mining scris de Witten i Frank (2000).
201
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
IG ( S , A) H ( S )
card ( S v )
H (S v ) ,
vVal ( A ) card ( S )
(9.1)
i 1
(9.2)
Studiu experimental
P (Y | X ) P( X )
.
P (Y )
(9.3)
P (Y | X i ) P ( X i )
P(Y | X
n
j 1
) P( X j )
(9.4)
Studiu experimental
Studiu experimental
if x2 y2 < 0.1
type = 0
else
if (x > 0.5)
type =
else
type =
end-if
end-if
then
then
1
2;
208
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
Vrst
20
73
37
33
48
29
52
42
61
30
26
54
Tensiune
normal
normal
mare
mic
mare
normal
normal
mic
normal
normal
mic
mare
Medicament
A
B
A
B
A
A
B
B
B
A
B
A
Atribute
0
0
0
0
1
1
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
1
0
1
1
A
A
A
A
B
B
B
B
2
A
A
B
B
B
B
A
A
Clas
3 4
A A
A A
A A
B B
B A
A B
B B
B B
5
A
A
A
B
B
B
B
A
6
A
B
B
A
B
A
A
B
210
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
Tabelul 9.3. Analiza performanelor pentru probleme complexe
211
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
Studiu experimental
C4.5
0%
0%
50%
25%
50%
C4.5U
0%
0%
0%
25%
50%
RT
0%
0%
50%
0%
50%
RF
0%
0%
12.5%
0%
12.5%
REPT
0%
0%
50%
25%
50%
NNGE
0%
0%
50%
0%
50%
PART
0%
0%
50%
25%
50%
RIPPER
8.333%
0%
25%
50%
50%
BN
25%
0%
50%
0%
50%
NB
0%
0%
50%
0%
50%
Studiu experimental
218
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
(9.5)
(9.6)
Limea
petalelor
0.2
0.2
0.2
4.7
4.5
4.9
1.4
1.5
1.5
6.0
5.1
5.9
2.5
1.9
2.1
Lungimea
sepalelor
5.1
4.9
4.7
...
7.0
6.4
6.9
...
6.3
5.8
7.1
...
Limea
sepalelor
3.5
3.0
3.2
Setosa
Setosa
Setosa
3.2
3.2
3.1
Versicolor
Versicolor
Versicolor
3.3
2.7
3.0
Virginica
Virginica
Virginica
Clasa
petallength
0.1718
0.4254
0.5380
0.5108
0.2625
0.3000
0.0500
0.0000
0.0000
0.0000
mpetalwidth
0.2440
1.3087
2.1706
1.8000
1.4667
1.7500
1.6500
1.8000
1.0000
1.6000
petalwidth
0.1061
0.1717
0.1871
0.0000
0.0471
0.0500
0.0500
0.0000
0.0000
0.0000
msepallength
5.0060
5.9413
6.7059
6.5000
6.1333
5.4000
6.3500
5.9000
4.9000
7.2000
sepallength
0.3489
0.4976
0.6216
0.4195
0.1247
0.5000
0.3500
0.0000
0.0000
0.0000
msepalwidth
3.4180
2.7652
3.0441
2.9100
2.5333
2.7500
2.8500
3.2000
2.4000
3.0000
sepalwidth
0.3772
0.3108
0.3219
0.1921
0.2494
0.2500
0.1500
0.0000
0.0000
0.0000
Clasa
Setosa
Versicolor
Virginica
Virginica
Virginica
Virginica
Versicolor
Versicolor
Versicolor
Virginica
Studiu experimental
Limea
petalelor
0.2
0.2
0.2
Lungimea
sepalelor
5.1
4.9
4.7
4.7
4.5
4.9
1.4
1.5
1.5
7.0
6.4
6.9
6.0
5.1
5.9
2.5
1.9
2.1
6.3
5.8
7.1
Limea
sepalelor
3.5
3.0
3.2
...
3.2
3.2
3.1
...
3.3
2.7
3.0
...
Setosa
Setosa
Setosa
Grad de
apartenen
0.9839
0.9682
0.9331
Versicolor
Versicolor
Versicolor
0.8257
0.8881
0.7699
Virginica
Virginica
Virginica
0.8375
0.8145
0.9758
Clasa
(9.7)
221
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
A
B
D
C
F
is
is
is
is
B C
not D
E F
A F
222
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
New connection: Node0 - Node5: 0.100000
Deactivate working memory nodes
End reasoning
A is B
B is not C
C
C
223
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
224
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
define
define
define
define
find A
forget
find A
forget
find A
forget
find A
forget
define
find A
list
A
B
D
C
F
is
is
is
is
B C
D
G H
E F
E
H
H
H is I
I
226
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
Nr. crt.
1
2
3
4
5
6
7
8
9
10
Ag
10
10
10
10
50
10
50
50
50
100
S
3
3
3
3
5
5
2
10
20
5
PKI
4
8
2
8
10
10
10
10
10
10
EKI
16
16
18
12
90
90
90
10
90
90
mQ
35.48
43.54
42.2
33.3
193.69
177
98.32
329.02
526.55
194.25
Q
9.57
9.05
11.4
8.3
60.65
65.2
31.67
124.05
180.49
72.37
mA
12.8
14.5
13.2
12.2
36.16
33.2
38.12
36.5
34.38
36.55
A
1.83
1.8
2.27
2.79
8.9
9.47
9.46
11.19
9.84
10.99
mD
4.25
3.56
4.3
4.08
13.19
12.35
3.24
27.92
57.66
13.23
D
1.49
1.08
1.39
1.33
3.06
2.33
0.97
6.98
13.78
2.89
mM
587.8
671.6
660
556.6
12911.1
2369
7246
21168.2
33912.3
25926.9
M
12.24
11.26
22.15
5.34
110.7
70.63
0
182.06
436.86
173.92
228
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
229
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Ag
10
10
10
10
50
10
50
50
50
100
S
3
3
3
3
5
5
2
10
20
5
PKI
4
8
2
8
10
10
10
10
10
10
EKI
16
16
18
12
90
90
90
10
90
90
mQ
22.2
24.06
25.41
20.39
113.39
103.71
52.8
199.97
368.48
112.49
Q
5.42
4.32
6.61
4.97
30.86
30.77
14.36
69.41
118.03
36.15
mM
453
477.8
490.1
426.5
8879
1636.1
4970
14707.5
25998.3
17743
M
9.41
4.88
8.81
9.33
84.38
21.57
0
165.23
368.71
82.52
230
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
231
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
232
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
Tabelul 9.13. Performanele sistemului pentru
diferii factori de cooperare
FC
0
0.25
0.5
0.75
1
mD
12.4
10.91
9.91
9.27
8.75
D
2.42
2.44
2.1
2.88
2.38
mR
53.63
52.21
48.92
46.83
45.77
R
9.23
9.91
8.93
11.17
9.92
233
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
S
3
5
5
2
PKI
4
10
10
10
EKI
16
90
90
90
mMI
453
8879
1636.1
4970
MI
9.41
84.38
21.57
0
mMC
990.2
42651
4123
41311.7
MC
53.27
1035.53
108.06
525.25
Studiu experimental
mD
5.65
6.97
D
2.19
3.06
mM
43198.3
19716.7
M
2799.22
134.4
mD
9.69
8.47
6.97
6.55
D
2.98
2.96
3.06
3.36
mM
13611.6
15445.3
19716.7
25583
M
121.13
179.84
134.4
175.08
mSR
160.82
107.02
66.4
53.13
SR
73.96
47.82
24.05
20.41
235
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Deoarece o parte din ageni (cei cu prioriti mai mici) sunt blocai
pe servere pn termin agenii cu prioritate mare, numrul mediu de runde
de server necesare pentru ndeplinirea dorinelor scade atunci cnd
capacitatea cozii crete (figura 9.25).
Pentru a preciza i mai clar influena prioritii asupra
performanelor agenilor, tabelul 9.17 descrie numrul mediu de runde de
server necesare pentru ndeplinirea scopurilor n funcie de prioritatea
agentului. Datele din tabel sunt redate mai sugestiv de figura 9.26. Se
observ c pe msur ce prioritatea agentului crete, el i poate realiza mai
rapid obiectivele.
236
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
mSR
96.96
94
79.33
74.8
70.73
55.22
51.58
44.13
39.28
38.22
SR
15.31
12.31
11.32
18.74
12.13
11.3
9.86
8.94
8.45
5.67
agent1.kbf
agent2.kbf
agent3.kbf
[Beliefs]
Origin server1
Priority 1
[Desires]
KI_5 KI_7 KI_14 KI_19
[Beliefs]
Origin server1
Priority 2
[Desires]
KI_2 KI_3 KI_14
[Beliefs]
Origin server2
Priority 3
[Desires]
KI_1 KI_2 KI_3 KI_17 KI_19 KI_20
server1.kbf
server2.kbf
agent1.kbf
agent2.kbf
agent3.kbf
[Beliefs]
Origin server1
Priority 1
KI_5 extends KI_3 KI_4 KI_2
KI_5 from kbserver1
KI_14 extends KI_8 KI_13 KI_12
KI_14 from kbserver1
KI_19 extends KI_7 KI_8
KI_19 from kbserver1
[Beliefs]
Origin server1
Priority 2
KI_3 perceptual
KI_3 from kbserver1
KI_14 extends KI_8 KI_13 KI_12
KI_14 from kbserver1
KI_13 extends KI_5 KI_6
KI_13 from kbserver1
[Beliefs]
Origin server2
Priority 3
KI_1 perceptual
KI_1 from kbserver2
KI_2 perceptual
KI_2 from kbserver2
KI_19 extends KI_7 KI_8
KI_19 from kbserver2
238
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
KI_3 perceptual
KI_3 from kbserver1
KI_4 perceptual
KI_4 from kbserver1
KI_13 extends KI_5 KI_6
KI_13 from kbserver1
KI_12 extends KI_5 KI_9
KI_12 from kbserver1
Serverlist Server1 Server2
Serverlist from kbserver1
Visited 0 server1 server2
KI_7 extends KI_5 KI_6 KI_1
KI_7 from kbserver2
KI_2 perceptual
KI_2 from kbserver2
KI_8 extends KI_6 KI_4
KI_8 from kbserver2
KI_6 extends KI_3 KI_2
KI_6 from kbserver2
KI_9 extends KI_1 KI_4
KI_9 from kbserver2
KI_1 perceptual
KI_1 from kbserver2
[Desires]
Studiu experimental
Q[1,A,2] = 0.106
Q[1,B,2] = 0.153
Q[1,C,2] = 0.254
Q[2,A,2] = 0.090
Q[2,B,2] = 0.153
Q[2,C,2] = 0.232
Q[3,A,2] = 0.106
Q[3,B,2] = 0.326
Q[3,C,2] = 0.241
Q[4,A,2] = 0.106
Q[4,B,2] = 0.326
Q[4,C,2] = 0.254
Q[5,A,2] = -8.504
Q[5,B,2] = -8.493
Q[5,C,2] = -8.459
Q[1,A,3] = -32.542
Q[1,B,3] = -32.766
Q[1,C,3] = -32.414
Q[2,A,3] = -85.146
Q[2,B,3] = -84.963
Q[2,C,3] = -85.019
Q[3,A,3] = 0.200
Q[3,B,3] = 1.255
Q[3,C,3] = 0.335
Q[4,A,3] = 0.200
Q[4,B,3] = 1.255
Q[4,C,3] = 0.338
Q[5,A,3] = -86.450
Q[5,B,3] = -86.554
Q[5,C,3] = -86.387
Q[1,A,4] = 0.310
Q[1,B,4] = 0.006
Q[1,C,4] = 0.405
Q[2,A,4] = 0.248
Q[2,B,4] = 0.006
Q[2,C,4] = 0.351
Q[3,A,4] = 0.310
Q[3,B,4] = 0.266
Q[3,C,4] = 0.404
Q[4,A,4] = 0.310
Q[4,B,4] = 0.266
Q[4,C,4] = 0.405
Q[5,A,4] = 0.310
Q[5,B,4] = 0.000
Q[5,C,4] = 0.344
Q[1,A,5] = 0.189
Q[1,B,5] = 0.011
Q[1,C,5] = 0.410
Q[2,A,5] = -63.430
Q[2,B,5] = -63.438
Q[2,C,5] = -63.379
Q[3,A,5] = -13.278
Q[3,B,5] = -13.101
Q[3,C,5] = -13.153
Q[4,A,5] = 0.189
Q[4,B,5] = 0.330
Q[4,C,5] = 0.410
Q[5,A,5] = 0.189
Q[5,B,5] = 0.000
Q[5,C,5] = 0.360
Q[1,A,2] = 0.134
Q[1,B,2] = 0.218
Q[1,C,2] = 0.000
Q[2,A,2] = 0.134
Q[2,B,2] = 0.218
Q[2,C,2] = 0.000
Q[3,A,2] = -0.244
Q[3,B,2] = -0.160
Q[3,C,2] = -0.378
Q[4,A,2] = 0.134
Q[4,B,2] = 0.218
Q[4,C,2] = 0.000
Q[5,A,2] = -8.219
Q[5,B,2] = -8.096
Q[5,C,2] = -8.265
Q[1,A,3] = -1.439
Q[1,B,3] = 1.620
Q[1,C,3] = -1.439
Q[2,A,3] = -1.433
Q[2,B,3] = 1.626
Q[2,C,3] = -1.433
Q[3,A,3] = 0.000
Q[3,B,3] = 3.092
Q[3,C,3] = 0.000
Q[4,A,3] = 0.000
Q[4,B,3] = 3.092
Q[4,C,3] = 0.000
Q[5,A,3] = -1.420
Q[5,B,3] = 1.639
Q[5,C,3] = -1.420
Q[1,A,4] = 0.039
Q[1,B,4] = 0.000
Q[1,C,4] = 0.000
Q[2,A,4] = 0.039
Q[2,B,4] = 0.000
Q[2,C,4] = 0.000
Q[3,A,4] = 0.039
Q[3,B,4] = 0.000
Q[3,C,4] = 0.000
Q[4,A,4] = 0.039
Q[4,B,4] = 0.000
Q[4,C,4] = 0.000
Q[5,A,4] = 0.039
Q[5,B,4] = 0.000
Q[5,C,4] = 0.000
Q[1,A,5] = 2.756
Q[1,B,5] = 0.000
Q[1,C,5] = 1.892
Q[2,A,5] = -24.070
Q[2,B,5] = -26.008
Q[2,C,5] = -24.783
Q[3,A,5] = -95.185
Q[3,B,5] = -95.361
Q[3,C,5] = -95.269
Q[4,A,5] = 2.756
Q[4,B,5] = 0.000
Q[4,C,5] = 1.892
Q[5,A,5] = 2.756
Q[5,B,5] = 0.000
Q[5,C,5] = 1.892
(9.6)
Studiu experimental
(9.7)
(9.8)
243
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
244
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
Marcaje
Nu
simplu (11x11)
soluie unic
Da
Nu
complex (25x25)
soluie unic
Da
Nu
complex (19x30)
soluii multiple
Da
0
1
0.9
0.8
1
0.9
0.8
1
0.9
0.8
1
0.9
0.8
1
0.9
0.8
1
0.9
0.8
mepisodes
9.1
13.15
17.75
8.9
8.25
9.85
18.55
191.8
295.65
>1000
12.6
13.45
43.7
99.55
151.3
101.3
68.8
59
episodes
3.375
4.028
7.569
4.625
2.385
2.475
4.717
26.658
37.936
4.363
3.263
10.194
22.675
34.134
51.424
23.134
18.501
mtotalsteps
19727
13516
14814
21671
8830
5907
1368121
749443
779560
~73900000
106253
57640
138489
106341
98464
329483
74729
41541
totalsteps
5880
3067
6134
9627
2203
1573
285868
60625
137781
30783
14753
26510
16196
15771
169084
19438
8003
246
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
247
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
0.1
simplu (11x11)
soluie unic
0.5
0.9
0.1
complex (25x25)
soluie unic
0.5
0.9
0.1
complex (19x30)
soluii multiple
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
0.1
0.5
0.9
mepisodes
7.6
8.15
12.8
5.5
5.7
6.95
13.55
21.8
6.05
20.95
14.95
47.15
>1000
>1000
>1000
>1000
>1000
>1000
71.7
70.4
78.15
>1000
>1000
46.8
>1000
>1000
391.7
episodes
2.458
2.574
4.082
2.674
2.61
1.658
13.204
17.882
1.687
7.074
4.189
16.135
19.662
32.469
19.764
9.026
385.956
mtotalsteps
14780
8374
9368
6272
4124
4292
11861
15513
4042
369139
131756
183783
~5500000
~8300000
~4500000
~18300000
~12800000
~8100000
78764
73511
78814
~1400000
~1200000
46736
~1600000
~1400000
319561
totalsteps
6048
2797
2284
2734
1230
724
12152
12753
1139
147502
50757
32608
19135
26015
13126
6517
306239
Studiu experimental
Figura 9.35.
a) Numrul de episoade cnd = 0.1 i variaz
b) Numrul total de pai cnd = 0.1 i variaz
Figura 9.36.
a) Numrul de episoade cnd = 0.5 i variaz
b) Numrul total de pai cnd = 0.5 i variaz
Action selection:
move to the neighbor j that has the minimum f(j) value
(ties are broken randomly)
250
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Studiu experimental
Tabelul 9.22. Performanele algoritmului LRTA* pentru problemele considerate
Labirint
simplu (11x11)
soluie unic
complex (25x25)
soluie unic
complex (19x30)
soluii multiple
mepisodes
episodes
msteps/ep
steps/ep
mtotalsteps
totalsteps
15.3
0.461
47.111
23.428
720.8
7.369
111.2
0.402
213.439
87.273
23734.4
45.026
96.6
23.02
77.172
81.232
7454.8
951.227
Este clar c n cazul unui labirint cu soluie unic, unde calea este
foarte strict, rata de consecven nu este important. Agentul va fi
constrns de structura labirintului i singurele decizii pe care le poate lua se
refer la punctele de ramificaie. Pentru labirinturi complexe, cu soluii
multiple, dac rata de consecven este mare, numrul total de pai pentru
gsirea soluiei este mai mic, deoarece agentul va aciona mai puin ntr-o
manier aleatorie, crescndu-i deci ansele s descopere mai repede soluia.
Tabelul 9.23. Performanele algoritmului gradienilor marcajelor de stare
pentru diferite rate de consecven
Labirint
simplu (11x11)
soluie unic
complex (25x25)
soluie unic
complex (19x30)
soluii multiple
Rat de
consecven
0.9
0.8
0.5
0.1
0.9
0.8
0.5
0.1
0.9
0.8
0.5
0.1
mepisodes
episodes
mtotalsteps
totalsteps
1
1
1
1
1
1
1
1
2.9
3.25
4.25
6.36
0
0
0
0
0
0
0
0
2.385
2.875
3.708
5.572
68.8
58.8
50.6
50.32
260.4
261.6
237.2
242.48
614.56
612.76
637.92
811.28
13.717
22.454
21.514
23.981
80.039
87.447
76.578
86.238
505.517
462.663
450.715
544.777
251
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
9.6 Concluzii
S-a artat c algoritmul NNGEP are rate de eroare mai mici dect
clasificatorii cu care s-a realizat comparaia i de asemenea metricile pentru
distan bazate pe rezultatele din psihologia cognitiv asigur toleran la
zgomotele din date, astfel nct este posibil situaia ca rata de eroare de la
predicie s fie de aproximativ cinci ori mai mic dect rata erorilor de
clasificare din setul de antrenare.
S-a efectuat apoi o analiz a modelului de raionament simbolic
deductiv pe infrastructur conexionist, studiindu-se comportamentul
acestuia n cazul raionamentelor circulare i a relaiilor dintre concepte
exprimate ntr-un limbaj cvasinatural, evideniindu-se posibilitatea de
nvare a relaiilor deduse prin crearea i ntrirea ponderilor dintre
concepte.
n continuare, s-a efectuat un studiu detaliat asupra performanelor
sistemului distribuit de ageni inteligeni mobili, artndu-se influena
asupra comportamentului global a schimbrii unor parametri precum
modelarea bazelor de cunotine de pe servere, cooperarea ntre ageni,
cozile de prioritate de pe servere i gsirea dinamic a cii n reea prin
metode de nvare cu ntrire. n cazul general al gsirii drumului ntr-un
labirint, s-a propus un algoritm bazat pe detectarea gradienilor marcajelor
de stare, care rezolv problema mult mai repede dect algoritmi precum
Q-learning i de zece ori mai eficient chiar dect algoritmi dedicai precum
LRTA*.
252
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
BIBLIOGRAFIE
Bibliografie
[46]
[47]
[48]
[49]
[50]
[51]
[52]
[53]
[54]
[55]
[56]
[57]
[58]
[59]
[60]
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Bibliografie
[61]
[62]
[63]
[64]
[65]
[66]
[67]
[68]
[69]
[70]
[71]
[72]
257
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Bibliografie
[86] Hildard, E. R., Bower, G. H. (1975). Theories of Learning, PrenticeHall, Englewood Cliffs, New Jersey.
[87] Hill, L. (2003). Implementing a Practical e-Learning System,
http://www.lakeheadu.ca/~publications/agora/december2002/elearning
.html.
[88] Hintzman, D. L. (1986). Schema abstraction in a multiple-trace
memory model, Psychological Review, 93, 411-428.
[89] Holecy, M. (1997). Application of Neural-Fuzzy Systems in Financial
Management, Technical University of Koice, Department of
Cybernetics and Artificial Intelligence, http://neuron-ai.tuke.sk/cig/
source/publications/thesis/master_thesis/1997/holecy/html.
[90] Holland, J. H. (1995). Hidden Order: How Adaptation Builds
Complexity, Addison-Wesley.
[91] Holland, O. E. (1996). Multiagent Systems: Lessons from Social
Insects and Collective Robotics, In Adaptation, Coevolution and
Learning in Multiagent Systems: Papers from the AAAI Spring
Symposium, 57-62, Menlo Park,CA, AAAI Press.
[92] Homa, D. (1984). On the nature of categories, Psychology of Learning
and Motivation, 1 8, 49-94.
[93] Huhns, M. N., Stephens, L. M. (2000). Multiagent Systems and
Societies of Agents, in G. Wei (ed.), Multiagent Systems - A Modern
Approach to Distributed Artificial Intelligence, The MIT Press,
Cambridge, Massachusetts.
[94] IC Tech, Inc. (2000). Fuzzy Control Methods and their Real System
Applications, http://www.ic-tech.com/Fuzzy%20Logic.
[95] Ishibuchi, H., Nii, M., Turksen, I. B. (1998). Bidirectional bridge
between neural networks and linguistic knowledge: Linguistic rule
extraction and learning from linguistic rules, in Proc. IEEE Int. Conf.
Fuzzy Syst. FUZZ-IEEE98, Anchorage, AK, USA, pp. 1112-1117.
[96] Jafari, A. (2001). Conceptualizing Intelligent Agents For Teaching and
Learning, School of Engineering and Technology, Indiana University
Purdue University Indianapolis, http://www.cren.net/know/techtalk/
events/jafar.pdf.
[97] Jang, J. S. R. (1993). ANFIS: Adaptive-network-based fuzzy inference
system, IEEE Trans. Syst., Man, Cybern., vol. 23, no. 3, pp. 665-685.
[98] Jang, J. S. R., Sum C. T., Mizutani, E. (1996). Neuro-fuzzy and Soft
Computing, Pearson Higher Education.
[99] Jang, J. S. R., Sun, C. T. (1993). Functional Equivalence between
Radial Basis Function Networks and Fuzzy Inference Systems, IEEE
Transactions on Neural Networks, 4, 1, 156-159.
259
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Bibliografie
261
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Bibliografie
Bibliografie
Bibliografie
Bibliografie
269
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com
Bibliografie
271
Florin Leon (2006). Agenti inteligenti cu capacitati cognitive, Tehnopress, Iasi, ISBN 978-973-702-422-0
http://florinleon.byethost24.com