Ch-¬ng 1: m« h×nh neuron vµ CÊu tróc m¹ng

§1. c¸c kh¸i niÖm c¬ b¶n

M¹ng neuron nh©n t¹o ®-îc lÊy c¶m høng tõ c¸c neuron sinh häc. Bé n·o ng-êi cã
mét sè l-îng rÊt lín c¸c neuron (cì 1011) nèi víi nhau (mçi neuron cã 104 mèi nèi víi c¸c
neuron kh¸c). Mçi neuron theo quan ®iÓm cña chóng ta cã 3 phÇn chÝnh: phÇn h×nh c©y, nh©n
neuron vµ sîi trôc (axon). PhÇn h×nh c©y lµ m¹ng c¸c sîi thÇn kinh cã d¹ng c©y dïng ®Ó
chuyÓn tÝn hiÖu ®iÖn vµo th©n tÕ bµo. Th©n tÕ bµo céng c¸c tÝn hiÖu vµ x¸c ®Þnh ng-ìng cho
c¸c tÝn hiÖu ®ã. Sîi trôc lµ mét sîi thÇn kinh ®¬n dïng ®Ó truyÒn tÝn hiÖu tõ neuron sang
neuron kh¸c. §iÓm tiÕp xóc gi÷a mét axon vµ mét h×nh c©y ®-îc gäi lµ khíp.
Mét neuron sinh häc cã h×nh d¹ng nh- h×nh 1.1:

H×nh 1.1 S¬ ®å m¹ng neuron sinh häc

M¹ng neuron nh©n t¹o kh«ng thÓ phøc t¹p nh- bé n·o. Tuy vËy vÉn cã 2 ®iÓm t-¬ng tù
gi÷a m¹ng neuron nh©n t¹o vµ m¹ng neuron sinh häc. Thø nhÊt c¸c khèi cña hai m¹ng ®Òu lµ
c¸c thiÕt bÞ tÝnh to¸n ®-îc liªn kÕt cao víi c¸c khèi kh¸c. Thø hai lµ c¸c liªn kÕt gi÷a c¸c
neuron x¸c ®Þnh chøc n¨ng cña mét m¹ng.
Chóng ta quy -íc :
• c¸c ®¹i l-îng v« h-íng dïng ch÷ in nghiªng
• c¸c vec t¬ dïng ch÷ in ®Ëm
• c¸c ma trËn dïng ch÷ hoa in ®Ëm
• p1 → p{1}
• p 2 → p ( 2)
• p12 → p{1}(2)
• p1 (k − 1) → p{1, k − 1}
• ab → a * b
§2. m« h×nh neuron - ANN-Artificial Neural Network
1. Neuron ®¬n gi¶n:Mét neuron cã 1 ®Çu vµo ®-îc m« t¶ nh- h×nh 1.2:
Inputs General Neuron

p w  n
f a

b
1

H×nh 1.2 M¹ng neuron mét ®Çu vµo

1
 §Çu vµo v« h-íng p ®-îc nh©n trÞ sè víi ®¹i l-îng v« h-íng w(träng sè) ®Ó t¹o ra tÝch
wp lµ mét ®¹i l-îng v« h-íng. L-îng wp ®-îc chuyÓn cho bé tæng. §Çu vµo kh¸c lµ 1 ®-îc
nh©n víi ®é dèc b råi chuyÓn cho bé tæng. §Çu ra cña bé tæng lµ n ®-îc gäi lµ ®Çu vµo cña
m¹ng vµ lµ ®èi sè cña hµm truyÒn f. §Çu ra v« h-íng cña neuron lµ a. So s¸nh víi neuron sinh
häc ta thÊy w t-¬ng øng víi ®é lín cña khíp nèi, th©n cña tÕ bµo t-¬ng øng víi bé tæng vµ
hµm truyÒn cßn a lµ tÝn hiÖu trªn axon. §Çu ra cña neuron ®-îc tÝnh lµ:
a = f(wp+b) (1-1)
NÕu vÝ dô cho w = 3,p = 2 vµ b =-1.5 th×:
a = f(32-1.5) = f(4.5) (1-2)
2. C¸c hµm truyÒn:Mét trong c¸c d¹ng hµm truyÒn c¬ b¶n nh- sau:

1 a

0 n
-1

H×nh 1.3 Hµm truyÒn hardlim

Hµm truyÒn hardlim nh- trªn h¹n chÕ ®Çu ra cña neuron b»ng 0. NÕu ®Çu vµo n 0 hay 1 nÕu
n0. C¸c neuron cã hµm truyÒn nµy ®-îc dïng trong c¸c bµi to¸n ph©n lo¹i. Trong MATLAB
ta cã hµm truyÒn hardlim ®Ó thùc hiÖn hµm truyÒn cã giíi h¹n to¸n häc nµy.Ta cã thÓ nhËp m·
nh- sau :
n = -5:0.1:5;
plot(n,hardlim(n),'c+:');
M· trªn t¹o ra hµm hardlim trong ®o¹n -5 tíi 5.
Hµm truyÒn tuyÕn tÝnh cã d¹ng nh- sau:
a
1
n
0
-1
H×nh 1.4 Hµm truyÒn tuyÕn tÝnh
Neuron lo¹i nµy ®-îc dïng trong c¸c bé läc tuyÕn tÝnh thÝch nghi.
Hµm truyÒn d¹ng log-sigmoid cã trÞ sè ®Çu vµo n»m trong kho¶ng (-  ) vµ ®Çu ra
bÞ nÐn trong kho¶ng tõ 0 ®Õn 1. Hµm truyÒn nµy ®-îc dïng trong c¸c m¹ng lan truyÒn ng-îc.
KÝ hiÖu trong « vu«ng bªn c¹nh c¸c hµm truyÒn lµ lµ biÓu diÔn ®å ho¹ cña c¸c hµm truyÒn.
a a
1 1

0 n -b/w p

-1 -1

Hinh 1.5 Hµm truyÒn log-sigmoid

2
 Dïng Neuron Network Design Demonstration One-input neuron nnd2n1 ®Ó minh
ho¹
3. Neuron cã vec t¬ ®Çu vµo: Mét neuron cã thÓ cã nhiÒu ®Çu vµo vµ t¹o nªn mét vec t¬ ®Çu
vµo. Mét neuron víi R ®Çu vµo ®-îc m« t¶ trªn h×nh 1.6.
Inputs General Neuron
p1 w1,1
p2  n
f a

w1,R
pR b
1

H×nh 1.6 M¹ng neuron nhiÒu ®Çu vµo

C¸c ®Çu vµo p1,p2,...,pR ®-îc nh©n víi c¸c träng sè w1,w2,...,wR cña ma trËn träng sè W.
Neuron cã ®é dèc b ®-îc céng víi c¸c ®Çu vµo ®· nh©n víi träng sè ®Ó t¹o ra ®Çu vµo cña
m¹ng n. Tæng nµy, n, lµ ®èi sè cña hµm truyÒn f:
n = w1,1p1 + w1,2p2 +. . .+ w1,RpR + b
hay n = Wp + b
vµ a = f(Wp+b)
BiÓu thøc nµy cã thÓ viÕt d-íi d¹ng m· MATLAB:
n = W*p + b (1-3)
H×nh vÏ mét neuron trªn chøa rÊt nhiÒu chi tiÕt. Khi chóng ta xem xÐt mét m¹ng víi nhiÒu
neuron vµ cã thÓ cã nhiÒu líp neuron th× sÏ cã nhiÒu chi tiÕt nh- vËy vµ h×nh vÏ trë nªn rèi. §Ó
®¬n gi¶n ta minh ho¹ neuron nh- h×nh 1.7. Trong h×nh nµy vec t¬ ®Çu vµo p ®-îc biÓu diÔn
b»ng thanh ®Ëm mµu ®en ë bªn tr¸i. KÝch th-íc cña p ®-îc chØ bªn d-íi kÝ hiÖu p trong h×nh
lµ R1. Nh- vËy p lµ vec t¬ cã R phÇn tö. C¸c phÇn tö nµy ®-îc nh©n ma trËn W cã R cét.
Input Multi-input Neuron

p
W a
Rx1 n
x1 w
1R + f 11
11
1 b x1
R x1
S
11

H×nh 1.7 Neuron cã R ®Çu vµo, rót gän

Còng nh- tr-íc ®©y h»ng sè 1 ®-îc ®-a vµo neuron nh- mét ®Çu vµo vµ ®-îc nh©n víi
®é dèc v« h-íng b. §Çu vµo n cña hµm truyÒn f lµ tæng cña ®é dèc b vµ Wp. Tæng nµy ®-îc
®-a tíi hµm truyÒn f ®Ó cã ®-îc ®Çu ra cña neuron vµ trong tr-êng hîp nµy lµ ®¹i l-îng v«
h-íng. NÕu cã nhiÒu neuron, ®Çu ra sÏ lµ mét vec t¬.
Dïng Neuron Network Design Demonstration One-input neuron nnd2n2 ®Ó minh
ho¹
§3. CÊu tróc m¹ng
1. M¹ng mét líp neuron: M¹ng mét líp neuron cã c¸c phÇn tö ®Çu vµo R vµ S neuron nh-
h×nh 1.8.

3
 Mçi mét ®Çu vµo ®-îc nèi víi mét neuron vµ ma trËn träng sè cã S hµng. Líp bao gåm
ma trËn träng sè, c¸c bé tæng, vec t¬ ®é dèc b, c¸c hµm truyÒn vµ vec t¬ ®Çu ra a. Mçi phÇn tö
cña vec t¬ ®Çu vµo p ®-îc nèi víi mét neuron qua ma trËn träng sè W. Mçi neuron cã ®é dèc
bi, mét bé tæng, mét hµm truyÒn f, mét ®Çu ra ai. KÕt hîp chóng ta c¸c vec t¬ ®Çu ra a.

Inputs Layer of S Neuron

n1 aS
 f
p1 b1
1
p2 n2 aS
 f
b1
p3
1
pS
nS aS
 f
bS
1

H×nh 1.8 Líp cã S neuron

Nãi chung sè ®Çu vµo kh¸c sè neuron(RS). C¸c neuron trong mét líp cã thÓ cã hµm truyÒn
kh¸c nhau. C¸c phÇn tö cña ma trËn W
 w1,1 w1, 2    w1, R 
w w 2, 2    w 2, R 
W=  2 ,1
(1-4)
 ... 
 
w S,1 w S, 2    w S, R 
C¸c chØ sè hµng cña c¸c phÇn tö trong ma trËn W chØ neuron ®Ých ®-îc kÕt hîp víi
träng sè trong khi chØ sè cét chØ ®Çu vµo nguån cña träng sè ®ã. Nh- vËy w3,2 nãi r»ng träng sè
nµy biÓu diÔn viÖc nèi nguån thø 2 vµo neuron thø 3. M¹ng S neuron, R ®Çu vµo, mét líp ®-îc
vÏ d-íi d¹ng rót gän nh- h×nh 1.9
Input Layer of S Neurons

p
W a
Rx1 n
x1 w
SR + f S1
S1
1 b x1
R x1
S
S1
H×nh 1.9 Neuron cã R ®Çu vµo,rót gän

2. M¹ng nhiÒu líp neuron: B©y giê ta kh¶o s¸t mét m¹ng cã nhiÒu líp. Mçi líp cã ma trËn
träng sè W, vec t¬ ®é dèc b vec t¬ ®Çu vµo m¹ng n vµ vec t¬ ®Çu ra a cña nã. Ta cÇn ®-a thªm
mét sè kh¸i niÖm phô ®Ó ph©n biÖt gi÷a c¸c líp. Ta dïng chØ sè trªn ®Ó chØ c¸c líp. Nh- vËy
ma trËn träng sè cña líp thø nhÊt lµ W1 vµ cña líp thø 2 lµ W2.. M¹ng cã 3 líp nh- h×nh 1.10 :

4
 Theo h×nh vÏ ta thÊy cã R ®Çu vµo, S1 neuron trong líp thø nhÊt, S2 neuron trong líp thø 2 vµ
S3 neuron trong líp thø 3. C¸c líp kh¸c nhau cã thÓ cã sè neuron kh¸c nhau. §Çu ra cña líp
nµy lµ ®Çu vµo cña líp kia.
Inputs First Layer Second Layer Third Layer
1
n11 a11 n21 a21 n31 3 a 1
 f 1
 f2  f
p1 1
b1 b11 b11
1 1 1
n12 1 a12 n22 2 a22 n32 3 a12
p2  f  f  f
1
1
b2
1
b1 b1
p3 1 1
1
p1
n1s a1s n2s 2 a2s n3s 3 a1s
 f1  f  f
1
b1s
1
b1 b1
1 1 1

H×nh 1.10 M¹ng 3 líp

Líp mµ ®Çu ra cña nã lµ ®Çu ra cña toµn m¹ng ®-îc gäi lµ líp ra vµ c¸c líp kh¸c gäi lµ
líp Èn. Nh- vËy líp ra trong h×nh trªn lµ líp 3 vµ líp 1 vµ 2 lµ c¸c líp Èn. Ta cã thÓ dïng s¬ ®å
rót gän nh- h×nh1.11:
Inputs First Layer Second Layer Third Layer

p a1 a2 W1 a3
W1 W1
R1 1 S 1 2 1
1
S 1 3 2
2 S 1
3
S R S S S S
+ n1
+ S2n1 + n 3 f3
2
f1 f2
1 S 1
1
S 1
3

1 b1 1 b1 1 b1
R S11
1
S S21 S2
S31 S3

H×nh 1.11. M¹ng 3 líp,rót gän

M¹ng nhiÒu líp m¹nh h¬n m¹ng mét líp. VÝ dô m¹ng 2 líp cã líp thø nhÊt lµ sigmoid
vµ líp thø 2 lµ tuyÕn tÝnh cã thÓ xö lÝ mét hµm xÊp xØ bÊt k× mµ m¹ng 1 líp kh«ng lµm ®-îc.
NÕu ta cã 4 biÕn bªn ngoµi ®-îc dïng nh- lµ ®Çu vµo th× sè ®Çu vµo m¹ng lµ 4. T-¬ng
tù nÕu cÇn 7 biÕn ra th× sè neuron trong líp ra lµ 7. Cuèi cïng ®Æc tÝnh cña tÝn hiÖu ®Çu ra gióp
cho viÖc chän hµm truyÒn cña líp ra. VÝ dô nÕu ®Çu ra cÇn tÝn hiÖu trong kho¶ng -1 vµ 1 th×
hµm truyÒn hardlimit ®èi xøng sÏ ®-îc sö dông. Nh- vËy cÊu tróc cña mét m¹ng mét líp hoµn
toµn ®-îc x¸c ®Þnh b»ng sè liÖu ban ®Çu gåm sè ®Çu vµo, ®Çu ra vµ ®Æc tÝnh tÝn hiÖu.
3. M¹ng håi quy: Tr-íc khi xem xÐt m¹ng håi quy ta ®-a thªm mét sè khèi. Sau ®©y lµ khèi
trÔ(h×nh 1.12 a) vµ khèi tÝch ph©n (h×nh 1.12 b):
Delay Integrator

u(t) a(t) u(t) a(t)

D

a(0 5
a(0
) )
H×nh 1.12
TÝn hiÖu ra cña khèi trÔ:
a(t) = u(t-1) (1-5)
nghÜa lµ tÝn hiÖu ra lµ tÝn hiÖu vµo cã trÔ mét b-íc thêi gian.
TÝn hiÖu khèi tÝch ph©n cã d¹ng nh- sau:
1
a(t ) =  u()d + a(0) (1-6)
0
§iÒu kiÖn ®Çu a(0) ®-îc thÓ hiÖn b»ng mòi tªn vµo phÝa d-íi khèi tÝch ph©n.
B©y giê ta xÐt ®Õn m¹ng håi quy. M¹ng håi quy lµ m¹ng cã håi tiÕp. Mét sè ®Çu ra
®-îc nèi víi ®Çu vµo. Mét trong c¸c m¹ng håi tiÕp ®-îc cho trªn h×nh 1.13
Initial Condition Recurrent Layer

p
W a(t)
n(t+1) a(t+1))
Sw
xS + D
S x1 S x1 S x1
1 b
S x1 S

S x1
S

H×nh 1.13 M¹ng håi tiÕp

Trong m¹ng nµy,vec t¬ p cung cÊp ®iÒu kiÖn ®Çu.TÝn hiÖu ra lµ:
a(1) = satlin[Wa(0) + b] , a(2) = satlin[Wa(1) + b] , . . . (1-7)
§3. mét vÝ dô
1. ThiÕt lËp bµi to¸n:Trªn mét b¨ng t¶i cã t¸o vµ cam. Ta cÇn ph©n lo¹i chóng ra. §Ó ph©n
lo¹i ta dùa trªn 3 yÕu tè: h×nh d¹ng, t×nh tr¹ng bÒ mÆt vµ khèi l-îng. Sensor ph©n lo¹i sÏ ®-a
ra tÝn hiÖu vµo m¹ng neuron ®Ó quyÕt ®Þnh ®ã lµ t¸o hay cam.
Sensor h×nh d¹ng (1) sÏ ®-a ra trÞ sè 1 nÕu h×nh d¹ng tr¸i c©y gÇn trßn vµ -1 nÕu tr¸i
c©y kh«ng trßn. Sensor bÒ mÆt (2) sÏ cho trÞ sè 1 nÕu bÒ mÆt tr¸i c©y nh·n vµ -1 nÕu bÒ mÆt
kh«ng nh½n. Sensor khèi l-îng (3) sÏ ®-a ra trÞ sè 1 nÕu khèi l-îng cì 100g vµ -1 nÕu khèi
l-îng kh¸c 100g. TÝn hiÖu ra cña 3 sensor sÏ ®-îc ®-a vµo m¹ng neuron vµ m¹ng sÏ quyÕt
®Þnh ®ã lµ lo¹i nµo ®Ó ®-a vµo c¸c thïng chøa thÝch hîp. Nh- vËy mçi tr¸i c©y qua sensor ®-îc
biÓu diÔn b»ng mét vec t¬ 3 phÇn tö. PhÇn tö ®Çu tiªn lµ h×nh d¹ng, phÇn tö thø hai lµ bÒ mÆt
vµ phÇn tö thø 3 lµ khèi l-îng. Cô thÓ :

M¹ng
neuron

Sensor Ph©n
lo¹i

T¸o Cam

6
 p = [h×nh d¹ng, bÒ m¨t, khèi l-îng]T
Nh- vËy cam sÏ cã ma trËn:
p1 = [ 1 , -1, -1]T = [tròn – không nhẵn – khác 100g] (1-8)
vµ t¸o cã ma trËn:
p2 = [ 1 , 1, -1]T = [tròn - nhẵn - khác 100g] (1-9)
M¹ng neuron sÏ nhËn ®-îc mét vec t¬ ®Çu vµo cã 3 phÇn tö vµ sÏ quyÕt ®Þnh ®ã lµ cam (p1)
hay t¸o (p2). B©y giê ta sÏ xem xÐt 3 m¹ng neuron cã thÓ gi¶i quyÕt bµi to¸n nµy.
2. Perceptron:M¹ng neuron ®Çu tiªn mµ chóng ta nghiªn cøu lµ perceptron mét líp cã hµm
truyÒn hard lim nh- h×nh 1.14.
Inputs Sym. Hard limit layer

p
W a
n
Rx1 Sw
xR + S x1
x1 S x1
1 b
R
S x1 S

H×nh 1.14 Perceptron mét líp

a. Tr-êng hîp hai ®Çu vµo:Tr-íc khi dïng perceptron ®Ó gi¶i quyÕt bµi to¸n nhËn
d¹ng cam vµ t¸o(®ßi hái 3 ®Çu vµo R = 3) ta xem xÐt kh¶ n¨ng cña mét perceptron mét neuron
hai ®Çu vµo( R = 2) nh- h×nh 1.15:

Inputs Two-Inputs Neuron

p1 w1,1

n a
p2 w1,2
b
1
H×nh 1.15 Perceptron mét neuron hai ®Çu vµo
Perceptron mét neuron cã thÓ ph©n lo¹i c¸c vec t¬ vµo thµnh 2 lo¹i.VÝ dô víi
perceptron hai ®Çu vµo nÕu w1,1 = -1 vµ w1,2 = 1 th×:
a = hardlims(n) = hardlims([ -1 1])p + b) = hardlims((-p1 + p2) + b) (1-10)
Nh- vËy nÕu tÝch cña W víi p lín h¬n hay b»ng -b th× ®Çu ra sÏ b»ng 1. §iÒu ®ã chia kh«ng
gian vµo thµnh 2 phÇn. Trªn h×nh vÏ lµ tr-êng hîp b = -1. §-êng 1 biÓu diÔn c¸c ®iÓm cã n = 0
n = [ -1 1]p - 1 = 0 (1-11) p2
§-êng biªn nµy lu«n lu«n vu«ng gãc víi ma trËn
W vµ ®-êng biªn sÏ dÞch chuyÓn nÕu ta thay ®æi hÖ
sè b. Bªn tr¸i ®-êng th¼ng lµ vïng chøa tÊt c¶ c¸c W 1
vec t¬ ®Çu vµo ®Ó t¹o ra ®Çu ra lµ 1. Nh- vËy n<0
perceptron mét neuron cã thÓ chia c¸c vec t¬ vµo n>0
thµnh 2 lo¹i. §-êng biªn gi÷a hai lo¹i tho¶ m·n p1
ph-¬ng tr×nh: -1 1
Wp + b = 0 (1-12)

H×nh 1.16 Biªn quyÕt ®Þnh cña perceptron

Do ®-êng biªn lµ th¼ng nªn perceptron mét líp ®¬n
chØ cã thÓ dïng ®Ó nhËn d¹ng c¸c mÉu ®-îc ph©n
chia tuyÕn tÝnh.
b. VÝ dô nhËn d¹ng mÉu:B©y giê ta xÐt bµi
to¸n nhËn d¹ng mÉu t¸o vµ cam.
Vec t¬ ®Çu vµo cã 3 phÇn tö ( R = 3) do ®ã ph-¬ng tr×nh cña perceptron lµ:
  p1  
 
a = hard lim s w 1,1 w 1, 2 w 1,3  p 2  + b  (1-13)
  p 3  
 
Ta muèn chän ®é dèc b vµ c¸c phÇn tö cña ma trËn träng sè sao cho perceptron cã thÓ ph©n
biÖt t¸o vµ cam.VÝ dô ta muèn ®Çu ra cña perceptron b»ng 1 khi ®Çu vµo lµ t¸o vµ b»ng -1 khi
®Çu vµo lµ cam. Dïng kh¸i niÖm minh ho¹ trªn h×nh trªn ta cÇn t×m biªn tuyÕn tÝnh ph©n chia
t¸o vµ cam. C¸c vec t¬ mÉu p1 vµ p2 ®-îc minh ho¹ trªn h×nh 1.17:
p3

p2

p1(cam)

p2(t¸o)
p1
H×nh 1.17 C¸c vec t¬ nguyªn mÉu
Tõ h×nh 1.17 ta thÊy r»ng biªn tuyÕn tÝnh chia hai vec t¬ nµy mét c¸ch ®èi xøng lµ mÆt ph¼ng
p1p3. MÆt ph¼ng nµy cã ph-¬ng tr×nh:
p2 = 0 (1-14)
 p1 
hay: 0 1 0 p 2  + 0 = 0 (1-15)
 p 3 
Do ®ã ma trËn träng sè W = [ 0 1 0 ] vµ ®é dèc b = 0.Ta sÏ thÊy perceptron ph©n lo¹i tèt cam
vµ t¸o. ThËt vËy víi cam:
  1 
   
a = hard lim s 0 1 0   − 1 + 0  = −1 (cam) (1-16)
  − 1 
 
vµ víi t¸o:
  1 
   
a = hard lim s 0 1 0  1 + 0  = 1 (t ¸o) (1-17)
  − 1 
 
§iÒu g× sÏ x¶y ra nÕu ta ®Æt mét qu¶ cam kh«ng hoµn thiÖn lªn b¨ng t¶i ®Ó ph©n lo¹i? Ta cho
r»ng qu¶ cam cã d¹ng elip. Nh- vËy vec t¬ vµo sÏ lµ:
p = [-1 -1 -1]T (1-18)

8
 vµ ®¸p øng cña m¹ng lµ :
 − 1 
   
a = hard lim s 0 1 0 − 1 + 0  = −1 (cam) (1-19)
 − 1 
 
Nh- vËy bÊt k× mét vec t¬ nµo gÇn víi vec t¬ mÉu cña cam sÏ ®-îc ph©n lo¹i lµ cam.
M« pháng b»ng Neuron Network Design Demonstration Perceptron Classification
nnd3pc
3. M¹ng Hamming:M¹ng tiÕp theo chóng ta sÏ kh¶o s¸t lµ m¹ng Hamming. Nã ®-îc thiÕt kÕ
®Ó gi¶i quyÕt bµi to¸n nhËn d¹ng nhÞ ph©n trong ®ã mçi phÇn tö cña vec t¬ vµo chØ cã 2 gi¸ trÞ
cã thÓ cã(trong vÝ dô cña chóng ta lµ 1 vµ -1). M¹ng nµy cã dïng líp kh«ng håi tiÕp vµ líp håi
tiÕp.
Mét m¹ng Hamming chuÈn nh- h×nh 1.18.
Feedforward Layer Recurrent Layer

p
W1
n1 a1 n2(t+1) n2(t+1) a2(t)
R1 2
SR + W D
S1 S1 S1 S1 S1
1 b 1 SS
S S
S1
R

H×nh 1.18 M¹ng Hamming

Chó ý lµ sè neuron trong hai líp b»ng nhau. Môc tiªu cña m¹ng Hamming lµ quyÕt
®Þnh xem vec t¬ mÉu nµo gÇn nhÊt víi vec t¬ ®Çu vµo. QuyÕt ®Þnh nµy ®-îc thÓ hiÖn ë ®Çu ra
cña líp håi tiÕp. Mçi mét mÉu chuÈn cã mét neuron trong líp håi tiÕp. Khi líp håi tiÕp héi tô,
sÏ chØ cã mét neuron cã ®Çu ra kh¸c zero. Neuron nµy chØ ra mÉu chuÈn gÇn nhÊt víi vec t¬
®Çu vµo.
a. Líp feedforward : Líp nµy thùc hiÖn sù t-¬ng quan hay néi tÝch gi÷a mÉu chuÈn vµ
c¸c mÉu ®-a vµo. §Ó líp kh«ng cã håi tiÕp thùc hiÖn ®-îc mèi t-¬ng quan nµy, c¸c hµng cña
ma trËn träng sè trong líp ®-îc biÓu diÔn b»ng ma trËn nèi W1 lµ mét tËp hîp nguyªn mÉu
cña mÉu. §èi víi vÝ dô t¸o vµ cam ta cã :
 pT  1 − 1 − 1
W1 =  1T  =  (1-20)
 1 − 1
 p2   1
Líp feedforward dïng hµm truyÒn tuyÕn tÝnh vµ mçi phÇn tö cña vec t¬ ®é dèc b»ng
R trong ®ã R lµ sè phÇn tö trong vec t¬ ®Çu vµo. Trong vÝ dô cña chóng ta:
b1 = 3 (1-21)
3
Nh- vËy ®Çu ra cña líp feedforward lµ:
 pT   pT p + 3
a1 = W1 p + b1 =  1T  p + 3 =  1T
3  p2 p + 3
(1-22)
 p2 
CÇn chó ý lµ c¸c ®Çu ra cña líp feedforward b»ng néi tÝch cña mçi mÉu chuÈn víi ®Çu vµo
céng R. Víi hai vec t¬ cã ®é dµi b»ng nhau(chuÈn), néi tÝch cña chóng sÏ lín nhÊt khi c¸c vec
t¬ cã cïng h-íng vµ nhá nhÊt khi c¸c vec t¬ ng-îc h-íng. Do ta céng thªm R nªn ®Çu ra cña
líp feedforward kh«ng bao giê ©m. §iÒu nµy b¶o ®¶m cho líp håi tiÕp lµm viªc tin cËy. M¹ng
9
nµy gäi lµ m¹ng Hamming v× c¸c neuron trong líp feedforward cã ®Çu ra lín nhÊt t-¬ng øng
víi mÉu chuÈn cã kho¶ng c¸ch Hamming tíi mÉu vµo nhá nhÊt. (Kho¶ng c¸ch Hamming gi÷a
hai vec t¬ b»ng sè phÇn tö kh¸c nhau gi÷a hai vec t¬ ®ã. Nã ®-îc ®Þnh nghÜa chØ ë c¸c vec t¬
nhÞ ph©n).
b. Líp håi quy :Líp nµy trong m¹ng Hamming ®-îc gäi lµ líp c¹nh tranh. C¸c neuron
trong líp nµy ®-îc khëi g¸n b»ng ®Çu ra cña líp feedforward. Sau ®ã chóng c¹nh tranh víi
nhau ®Ó x¸c ®Þnh ng-êi chiÕn th¾ng. Sau khi c¹nh tranh chØ mét neuron cã ®Çu ra kh¸c kh«ng.
Neuron chiÕn th¾ng sÏ chØ lo¹i ®Çu vµo vµ trong vÝ dô cña ta ®ã lµ cam hay t¸o. C¸c ph-¬ng
tr×nh m« t¶ c¹nh tranh lµ:
a2(0) = a1 (®iÒu kiÖn ®Çu) (1-23)
vµ:
a2(t + 1) = poslin(W2a2(t)) (1-24)
(ChØ sè trªn lµ sè líp chø kh«ng ph¶i lµ sè mò)
Hµm truyÒn poslin lµ tuyÕn tÝnh ®èi víi c¸c d-¬ng vµ zero ®èi víi c¸c gi¸ trÞ ©m. Ma
trËn träng sè W2 cã d¹ng:
1 − 
W2 =  (1-25)
−  1
Trong ®ã  lµ mét gi¸ trÞ nµo ®ã nhá h¬n1/(S-1) vµ S lµ sè neuron trong líp håi quy. ViÖc lÆp
cña líp håi tiÕp thùc hiÖn nh- sau:
  1 −   2  a12 (t ) − a 22 (t ) 
a (t + 1) = poslin  a (t) = poslin  2  
2
(1-26)
 −  1   a1 (t ) − a 2 (t ) 
2

Mçi phÇn tö bÞ gi¶m ®i mét l-îng b»ng  nh©n víi trÞ sè cña phÇn tö kh¸c. PhÇn tö lín h¬n bÞ
gi¶m Ýt vµ phÇn tö nhá h¬n bÞ gi¶m nhiÒu nªn sù kh¸c nhau gi÷a phÇn tö lín vµ phÇn tö nhá
t¨ng lªn. HiÖu qu¶ lµ c¸c ®Çu ra cña c¸c neuron cña líp recurrent b»ng zero ngo¹i trõ neuron
cã gi¸ trÞ ®Çu lín nhÊt.
§Ó minh ho¹ sù lµm viÖc cña m¹ng Hamming ta kh¶o s¸t l¹i vÝ dô vÒ qu¶ cam cã d¹ng
ellip. Nguyªn mÉu cña nã lµ:
p = [ -1 -1 -1 ]T (1-27)
§Çu ra cña líp feedforward :
− 1
1 − 1 − 1   3 4
a =
1
 −1 + = (1-28)
1 1 − 1   3 2 
− 1
vµ ®©y lµ ®iÒu kiÖn ®Çu cho líp håi quy.
Ma trËn träng sè lÊy víi  = 0.5(víi bất k× gi¸ trÞ nµo nhá hon 1). LÇn lÆp ®Çu tiªn cña
líp cho kÕt qu¶:
 1 − 0.5 4     3   3 
a 2 (1) = poslin (W2a 2 (0)) = poslin   
 2   = poslin     =   (1-29)
 0  0
 − 0 .5 1      
vµ lÇn lÆp thø hai:
 1 − 0.5 3    3  3
( )
a 2 (2) = poslin W2 a 2 (1) = poslin       = poslin     =   (1-30)
1 0   1.5  0
 − 0.5     
V× ®Çu ra cña c¸c lÇn lÆp liªn tiÕp cho cïng mét kÕt qu¶ nªn m¹ng héi tô. MÉu chuÈn sè
1(cam) ®-îc chän khi so khíp ®óng v× chØ cã neuron sè 1 cã ®Çu ra kh¸c kh«ng. §©y lµ sù lùa
chän ®óng v× kho¶ng c¸hc Hamming tõ mÉu chuÈn cña cam tíi mÉu vµo lµ 1 vµ kho¶ng c¸ch
®ã tõ mÉu chuÈn cña cam tíi mÉu vµo lµ 2.
§Ó simulation ta dïng Neuron Network Design Demonstration Hamming
Classification (ch-¬ng tr×nh nnd3hamc)
4. M¹ng Hopffield :M¹ng cuèi cïng mµ chóng ta th¶o luËn trong vÝ dô nµy lµ m¹ng Hopfield.
§©y lµ mét m¹ng håi tiÕp cã mét vµi ®iÓm t-¬ng tù líp håi tiÕp cña m¹ng Hamming. M¹ng cã

10
s¬ ®å nh- h×nh 1.19. Neuron trong m¹ng ®-îc khëi g¸n b»ng vec t¬ vµo vµ m¹ng sÏ lặp cho
®Õn khi héi tô. Khi m¹ng lµm viÖc ®óng, ®Çu ra ra sÏ lµ mét trong c¸c vec t¬ chuÈn. Nh- vËy
trong khi trong m¹ng Hamming neuron cã ®Çu ra kh¸c kh«ng chØ ra mÉu chuÈn nµo ®-îc chän
th× m¹ng Hopfield t¹o ra mÉu chuÈn ®-îc chän ë ®Çu ra.
Recurrent Layer
Initial Condition

p
W
S1 n(t+1) a(t+1) a(t)
SS + D
S1 S1 S1
1 b
S
S1
S

H×nh 1.19. M¹ng Hamming

Ph-¬ng tr×nh m« t¶ sù lµm viÖc cña m¹ng lµ:

a(0) = p (1-31)
vµ : a(t + 1) = satlins(Wa(t) + b) (1-32)
Trong ®ã satlins lµ hµm truyÒn, tuyÕn tÝnh trong ®o¹n [-1 , 1] vµ b·o hoµ ë 1 khi ®Çu vµo lín
h¬n 1 vµ ë -1 khi ®Çu vµo nhá h¬n -1. §Ó minh ho¹ c¸c lµm viÖc cña m¹ng ta xÐt bµi to¸n ph©n
lo¹i cam vµ t¸o víi c¸c ma trËn träng sè vµ ®é dèc :
0.2 0 0  0.9
W =  0 1.2 0 b=  0 (1-33)
 0 0 0.2 − 0.9
Ph-¬ng tr×nh lµm viÖc cña m¹ng Hopfield trªn c¬ së c¸c ma trËn trªn lµ:
a1(t + 1) = satlins(0.2a1(t) + 0.9) (1-34)
a2(t + 1) = satlins(1.2a2(t) ) (1-35)
a3(t + 1) = satlins(0.2a3(t) - 0.9) (1-36)
Bá qua gi¸ trÞ ®Çu, a1(0), phÇn tö ®Çu tiªn sÏ t¨ng cho ®Õn khi nã b·o hoµ t¹i 1 vµ phÇn tö thø 3
sÏ gi¶m cho ®Õn khi nã b·o hoµ t¹i -1. PhÇn tö thø 2 ®-îc nh©n víi sè lín h¬n 1. Do ®ã nÕu
gi¸ trÞ ®Çu lµ ©m, nã sÏ b·o hoµ ë -1 vµ ng-îc l¹i. Nh- vËy víi qu¶ cam ellip sau 3 lÇn lÆp ta
cã:
− 1 0.7  1  1
a(0) = − 1 a(1) =  − 1 a(2) = − 1 a(3) = − 1 (1-37)
− 1  − 1 − 1 − 1
M¹ng héi tô vÒ cam gièng nh- m¹ng Hamming vµ perceptron tuy r»ng mçi m¹ng lÆp theo
c¸ch kh¸c nhau. Perceptron cã mét ®Çu ra duy nhÊt, cã trÞ sè 1 (cam) hay -1 (t¸o). Trong m¹ng
Hamminh, neuron cã ®Çu ra kh¸c zero chØ ra mÉu chuÈn nµo so khíp ®óng nhÊt. NÕu neuron
®Çu tiªn cã ®Çu ra kh¸c zero, mÉu vµo lµ cam. NÕu neuron thø hai cã ®Çu ra kh¸c zero, mÉu
vµo lµ t¸o. Trong m¹ng Hopfield, mÉu chuÈn tù xuÊt hiÖn ë ®Çu ra cña m¹ng.
§Ó simulation ta dïng Neuron Network Design Demonstration Hamming
Classification (ch-¬ng tr×nh nnd3hopc)

11