Bao Cao

§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.
vn
-----------------------------------------------------------------------------------------------------------
MỞ ĐẦU
Kỹ thuật nhận dạng hiện nay đang được nhiều người quan tâm, bởi đây là
một ngành khoa học có rất nhiều ứng dụng trong khoa học kỹ thuật, tin học, sinh
học và cả trong lĩnh vực an ninh quốc gia. Nó là một bộ phận quan trọng trong
các hệ thống thông minh; được sử dụng trong việc dò tìm, xử lý số liệu và hỗ trợ
ra quyết định,… Nói một cách tổng quát thì nhận dạng là một bộ môn khoa học
có liên quan một cách hữu cơ đến việc phân lớp, tính toán các độ đo.
Bài toán nhận dạng ký tự là một bài toán con trong lớp bài toán nhận dạng
và xử lý ảnh. Có rất nhiều phương pháp khác nhau để giải quyết bài toán này và
phương pháp áp dụng mạng neuron đã mang lại hiệu quả khá cao.
“Nhận dạng ký tự số bằng mạng neuron ” là nội dung đề tài. Để nhận

dạng các ký tự số tôi lựa chọn “Mạng neuron 2 lớp lan truyền ngược sai số”.
Mặc dù đã có nhiều cố gắng trong quá trình thực hiện nhưng đề tài không thể
tránh được những thiếu sót mong sự góp ý của thầy giáo và các ban.
Tôi xin chân thành cảm ơn sự hướng dẫn của Thầy giáo TS. Đào Thanh
Tĩnh – Khoa CNTT – HVKTQS, xin cảm ơn sự góp ý quý báu của các bạn học
viên .
Người thực hiện.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
1
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng n¬ ron
i. tæng quan vÒ nhËn d¹ng
NhËn d¹ng lµ qu¸ tr×nh ph©n lo¹i çc ®èi t−îng ®−îc biÓu diÔn theo mét m«
h×nh nµo ®ã vµ g¸n cho chóng vµo mét líp (g¸n cho ®èi t−îng mét tªn gäi) dùa
theo nh÷ng quy luËt vµ çc mÉu chuÈn. Qu¸ tr×nh nhËn d¹ng dùa vµo nh÷ng mÉu
häc biÕt tr−íc gäi lµ nhËn d¹ng cã thµy hay häc cã thµy (supervised learning);
trong tr−êng hîp ng−îc l¹i gäi lµ häc kh«ng cã thµy (non supervised learning).
Chóng ta sÏ lÇn l−ît giíi thiÖu çc kh¸i niÖm nµy.
1.1 Kh«ng gian biÓu diÔn ®èi t−îng, kh«ng gian diÔn dÞch
Kh«ng gian biÓu diÔn ®èi t−îng
Çc ®èi t−îng khi quan s¸t hay thu thËp ®−îc, th−êng ®−îc biÓu diÔn bëi
tËp çc ®Æc tr−ng hay ®Æc tÝnh. Nh− trong tr−êng hîp xö lý ¶nh, ¶nh sau khi ®−îc
t¨ng c−êng ®Ó n©ng cao chÊt l−îng, ph©n vïng vµ trÝch chän ®Æc tÝnh, ®−îc biÓu
diÔn bëi çc ®Æc tr−ng nh− biªn, miÒn ®ång nhÊt, v...,v. Ng−êi ta th−êng ph©n çc
®Æc tr−ng nµy theo çc lo¹i nh−: ®Æc tr−ng t« p«, ®Æc tr−ng h×nh häc vµ ®Æc tr−ng
chøc n¨ng. ViÖc biÓu diÔn ¶nh theo ®Æc tr−ng nµo lµ phô thuéc vµo øng dông tiÕp
theo.
ë ®©y ta ®−a ra mét çch h×nh thøc viÖc biÓu diÔn çc ®èi t−îng. Gi¶ sö ®èi
t−îng X (¶nh, ch÷ viÕt, dÊu v©n tay, v...,v) ®−îc biÓu diÔn bëi n thµnh phÇn (n ®Æc
tr−ng): X = {x1, x2,..., xn}; mçi xi biÓu diÔn mét ®Æc tÝnh. Kh«ng gian biÓu diÔn
®èi t−îng th−êng gäi t¾t lµ kh«ng gian ®èi t−îng X ®−îc ®Þnh nghÜa:
X = {X1, X2,..., Xm}
trong ®ã mçi Xi biÓu diÔn mét ®èi t−îng. Kh«ng gian nµy cã thÓ lµ v« h¹n. §Ó
tiÖn xem xÐt chóng ta chØ xÐt tËp X lµ h÷u h¹n.
Kh«ng gian diÔn dÞch
Kh«ng gian diÔn dÞch lµ tËp çc tªn gäi cña ®èi t−îng. KÕt thóc qu¸ tr×nh
nhËn d¹ng ta x¸c ®Þnh ®−îc tªn gäi cho çc ®èi t−îng trong tËp kh«ng gian ®èi
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
2
-----------------------------------------------------------------------------------------------------------
t−îng hay nãi lµ ®· nhËn d¹ng ®−îc ®èi t−îng Mét çch h×nh thøc gäi Ω lµ tËp
tªn ®èi t−îng:
Ω = {w1, w2,...,wk} víi wi, i = 1, 2,..., k lµ tªn çc ®èi t−îng
Qu¸ tr×nh nhËn d¹ng ®èi t−îng f lµ mét ¸nh x¹ f: X ---> Ω víi f lµ tËp çc
quy luËt ®Ó ®Þnh mét phÇn tö trong X øng víi mét phÇn tö trong Ω. NÕu tËp çc
quy luËt vµ tËp tªn çc ®èi t−îng lµ biÕt tr−íc nh− trong nhËn d¹ng ch÷ viÕt (cã 26
líp tõ A ®Õn Z), ng−êi ta gäi lµ nhËn d¹ng cã thµy. Tr−êng hîp thø hai lµ nhËn
d¹ng kh«ng cã thµy. §−¬ng nhiªn trong tr−êng hîp nµy viÖc nhËn d¹ng cã khã
kh¨n h¬n.
1.2 M« h×nh vµ b¶n chÊt cña qu¸ tr×nh nhËn d¹ng
1.2.1 M« h×nh
ViÖc chän lùa mét qu¸ tr×nh nhËn d¹ng cã liªn quan mËt thiÕt ®Õn kiÓu m«
t¶ mµ ng−êi ta sö dông ®Ó ®Æc t¶ ®èi t−îng. Trong nhËn d¹ng, ng−êi ta ph©n chia
lµm 2 hä lín:
- Hä m« t¶ theo tham sè.
- Hä m« t¶ theo cÊu tróc.
Çch m« t¶ ®−îc lùa chän sÏ x¸c ®Þnh m« h×nh cña ®èi t−îng. Nh− vËy, chóng ta
sÏ cã 2 lo¹i m« h×nh: m« h×nh theo tham sè vµ m« h×nh cÊu tróc.
• M« h×nh tham sè sö dông mét vÐct¬ ®Ó ®Æc t¶ ®èi t−îng. Mçi phÇn tö cña
vÐct¬ m« t¶ mét ®Æc tÝnh cña ®èi t−îng. ThÝ dô nh− trong çc ®Æc tr−ng chøc
n¨ng, ng−êi ta sö dông çc hµm c¬ së trùc giao ®Ó biÓu diÔn. Vµ nh− vËy ¶nh
sÏ ®−îc biÓu diÔn bëi mét chuçi çc hµm trùc giao. Gi¶ sö C lµ ®−êng bao cña
¶nh vµ C(i,j) lµ ®iÓm thø i trªn ®−êng bao, i = 1, 2,..., N (®−êng bao gåm N
®iÓm).
Gi¶ sö tiÕp :
N
1
x0 =
N
∑
i =1
xi
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
3
-----------------------------------------------------------------------------------------------------------
1 N
y0 = ∑ yi
N i =1
lµ to¹ ®é t©m ®iÓm. Nh− vËy, moment trung t©m bËc p, q cña ®−êng bao lµ:
N
1
µpq =
N
∑i =1
(xi-x0)p(yi-y0)q (1)
VÐct¬ tham sè trong tr−êng hîp nµy chÝnh lµ çc moment µij víi i=1, 2,...,p
vµ j=1, 2,...,q. Cßn trong sè çc ®Æc tr−ng h×nh häc, ng−êi ta hay sö dông chu
tuyÕn , ®−êng bao, diÖn tÝch vµ tØ lÖ T = 4πS/p2, víi S lµ
diÖn tÝch, p lµ chu tuyÕn.
ViÖc lùa chän ph−¬ng ph¸p biÓu diÔn sÏ lµm ®¬n gi¶n çch x©y dùng. Tuy
nhiªn, viÖc lùa chän ®Æc tr−ng nµo lµ hoµn toµn phô thuéc vµo øng dông. ThÝ dô
, trong nhËn d¹ng ch÷, çc tham sè lµ çc dÊu hiÖu:
- sè ®iÓm ch¹c ba, ch¹c t−,
- sè ®iÓm chu tr×nh,
- sè ®iÓm ngoÆt,
- sè ®iÓm kÕt thóc,
1.2.2 B¶n chÊt cña qu¸ tr×nh nhËn d¹ng

Qu¸ tr×nh nhËn d¹ng gåm 3 giai ®o¹n chÝnh:
- Lùa chän m« h×nh biÓu diÔn ®èi t−îng.
- Lùa chän luËt ra quyÕt ®Þnh (ph−¬ng ph¸p nhËn d¹ng) vµ suy diÔn qu¸
tr×nh häc.
- Häc nhËn d¹ng.
Khi m« h×nh biÓu diÔn ®èi t−îng ®· ®−îc x¸c ®Þnh, cã thÓ lµ ®Þnh l−îng
(m« h×nh tham sè) hay ®Þnh tÝnh (m« h×nh cÊu tróc), qu¸ tr×nh nhËn d¹ng chuyÓn
sang giai ®o¹n häc. Häc lµ giai ®o¹n rÊt quan träng. Thao t¸c häc nh»m c¶i thiÖn,
®iÒu chØnh viÖc ph©n ho¹ch tËp ®èi t−îng thµnh çc líp.
ViÖc nhËn d¹ng chÝnh lµ t×m ra quy luËt vµ çc thuËt to¸n ®Ó cã thÓ g¸n ®èi
t−îng vµo mét líp hay nãi mét çch kh¸c g¸n cho ®èi t−îng mét tªn.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
4
-----------------------------------------------------------------------------------------------------------
Häc cã thµy (supervised learning)
Kü thuËt ph©n lo¹i nhê kiÕn thøc biÕt tr−íc gäi lµ häc cã thµy. §Æc ®iÓm c¬
b¶n cña kü thuËt nµy lµ ng−êi ta cã mét th− viÖn çc mÉu chuÈn. MÉu cÇn nhËn
d¹ng sÏ ®−îc ®em s¸nh víi mÉu chuÈn ®Ó xem nã thuéc lo¹i nµo. ThÝ dô nh−
trong mét ¶nh viÔn th¸m, ng−êi ta muèn ph©n biÖt mét çnh ®ång lóa, mét çnh
rõng hay mét vïng ®Êt hoang mµ ®· cã çc miªu t¶ vÒ çc ®èi t−îng ®ã. VÊn ®Ò
chñ yÕu lµ thiÕt kÕ mét hÖ thèng ®Ó cã thÓ ®èi s¸nh ®èi t−îng trong ¶nh víi mÉu
chuÈn vµ quyÕt ®Þnh g¸n cho chóng vµo mét líp. ViÖc ®èi s¸nh nhê vµo çc thñ
tôc ra quyÕt ®Þnh dùa trªn mét c«ng cô gäi lµ hµm ph©n líp hay hµm ra quyÕt
®Þnh. Hµm nµy sÏ ®−îc ®Ò cËp trong phÇn sau.
Häc kh«ng cã thµy(unsupervised learning)
Kü thuËt häc nµy ph¶i tù ®Þnh ra çc líp kh¸c nhau vµ x¸c ®Þnh çc tham sè
®Æc tr−ng cho tõng líp. Häc kh«ng cã thµy ®−¬ng nhiªn lµ khã kh¨n h¬n. Mét
mÆt, do sè líp kh«ng ®−îc biÕt tr−íc, mÆt kh¸c nh÷ng ®Æc tr−ng cña çc líp còng
kh«ng biÕt tr−íc. Kü thuËt nµy nh»m tiÕn hµnh mäi çch gép nhãm cã thÓ vµ
chän lùa çch tèt nhÊt. B¾t ®Çu tõ tËp d÷ liÖu, nhiÒu thñ tôc xö lý kh¸c nhau nh»m
ph©n líp vµ n©ng cÊp dÇn ®Ó ®¹t ®−îc mét ph−¬ng ¸n ph©n lo¹i.
Nh×n chung, dï lµ m« h×nh nµo vµ kü thuËt nhËn d¹ng ra sao, mét hÖ thèng
nhËn d¹ng cã thÓ tãm t¾t theo s¬ ®å sau:
TrÝch chän ®Æc tÝnh biÓu ph©n líp ra quyÕt tr¶ lêi §¸nh gi¸
diÓn ®èi t−îng ®Þnh
Qu¸ tr×nh tiÒn xö lý Khèi nhËn d¹ng
H 1 S¬ ®å tæng qu¸t mét hÖ nhËn d¹ng
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
5
-----------------------------------------------------------------------------------------------------------
II. m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng

neuron.
2.1 Bé n·o vµ neuron sinh häc:
Tr−íc tiªn, cÇn xem xÐt mét sè kh¸i niÖm c¬ b¶n vÒ bé n·o còng nh− c¬
chÕ ho¹t ®éng cña m¹ng n¬ ron sinh häc. TiÕp theo, ®Ó tiÖn theo dâi, ë ®©y sÏ ®Ò
cËp ®Õn mét øng dông cña m¹ng n¬ ron trong nhËn d¹ng ch÷ viÕt.
Çc nhµ nghiªn cøu sinh häc vÒ bé n·o cho ta thÊy r»ng çc n¬ ron (tÕ bµo
thÇn kinh) lµ ®¬n vÞ c¬ së ®¶m nhiÖm nh÷ng chøc n¨ng xö lý nhÊt ®Þnh trong hÖ
thÇn kinh, bao gåm n·o, tuû sèng vµ çc d©y thÇn kinh. Mçi n¬ ron cã phÇn th©n
víi nh©n bªn trong (gäi lµ soma), mét ®Çu thÇn kinh ra (gäi lµ sîi trôc axon) vµ
mét hÖ thèng d¹ng c©y çc d©y thÇn kinh vµo (gäi lµ dendrite). Çc d©y thÇn kinh
vµo t¹o thµnh mét l−íi dµy ®Æc xung quanh th©n tÕ bµo, chiÕm diÖn tÝch kho¶ng
0,25 mm2, cßn d©y thÇn kinh ra t¹o thµnh trôc dµi cã thÓ tõ 1 cm cho ®Õn hµng
mÐt. §−êng kÝnh cña nh©n tÕ bµo th−êng chØ lµ 10-4m. Trôc d©y thÇn kinh ra còng
cã thÓ ph©n nh¸nh theo d¹ng c©y ®Ó nèi víi çc d©y thÇn kinh vµo hoÆc trùc tiÕp
víi nh©n tÕ bµo çc n¬ ron kh¸c th«ng qua çc khíp nèi (gäi lµ synapse). Th«ng
th−êng, mçi n¬ ron cã thÓ gåm vµi chôc cho tíi hµng tr¨m ngµn khíp nèi ®Ó nèi
víi çc n¬ ron kh¸c. Ng−êi ta −íc l−îng r»ng l−íi çc d©y thÇn kinh ra cïng víi
çc khíp nèi bao phñ diÖn tÝch kho¶ng 90% bÒ mÆt n¬ ron .
Çc tÝn hiÖu truyÒn trong çc d©y thÇn kinh vµo vµ d©y thÇn kinh ra cña çc
n¬ ron lµ tÝn hiÖu ®iÖn vµ ®−îc thùc hiÖn th«ng qua çc qu¸ tr×nh ph¶n øng vµ gi¶i
phãng çc chÊt h÷u c¬. Çc chÊt nµy ®−îc ph¸t ra tõ çc khíp nèi dÉn tíi çc d©y
thÇn kinh vµo sÏ lµm t¨ng hay gi¶m ®iÖn thÕ cña nh©n tÕ bµo. Khi ®iÖn thÕ nµy ®¹t
tíi mét ng−ìng nµo ®ã, sÏ t¹o ra mét xung ®iÖn dÉn tíi trôc d©y thÇn kinh ra.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
6
-----------------------------------------------------------------------------------------------------------
Xung nµy ®−îc truyÒn theo trôc, tíi çc nh¸nh rÏ khi ch¹m tíi çc khíp nèi víi
çc n¬ ron kh¸c sÏ gi¶i phãng çc chÊt truyÒn ®iÖn. Ng−êi ta chia lµm hai lo¹i
khíp nèi: khíp nèi kÝch thÝch (excitatory) hoÆc khíp nèi øc chÕ (inhibitory).
Ph¸t hiÖn quan träng nhÊt trong ngµnh nghiªn cøu vÒ bé n·o lµ çc liªn kÕt khíp
thÇn kinh kh¸ mÒm dÎo, cã thÓ biÕn ®éng vµ chØnh ®æi theo thêi gian tuú thuéc
vµo çc d¹ng kÝch thÝch. H¬n n÷a, çc n¬ ron cã thÓ s¶n sinh çc liªn kÕt míi víi
çc n¬ ron kh¸c vµ ®«i khi, l−íi çc n¬ ron cã thÓ di tró tõ vïng nµy sang vïng
kh¸c trong bé n·o. Çc nhµ khoa häc cho r»ng ®©y chÝnh lµ c¬ së quan träng ®Ó
gi¶i thÝch c¬ chÕ häc cña bé n·o con ng−êi.
PhÇn lín çc qu¸ tr×nh xö lý th«ng tin ®Òu x¶y ra trªn vá n·o. Toµn bé vá
n·o ®−îc bao phñ bëi m¹ng çc tæ chøc c¬ së cã d¹ng h×nh thïng trßn víi ®−êng
kÝch kho¶ng 0,5 mm, ®é cao 4 mm. Mçi ®¬n vÞ c¬ së nµy chøa kho¶ng 2000 n¬
ron. Ng−êi ta chØ ra r»ng mçi vïng n·o cã nh÷ng chøc n¨ng nhÊt ®Þnh. §iÒu rÊt
®¸ng ng¹c nhiªn chÝnh lµ çc n¬ ron rÊt ®¬n gi¶n trong c¬ chÕ lµm viÖc, nh−ng
m¹ng çc n¬ ron liªn kÕt víi nhau l¹i cã kh¶ n¨ng tÝnh to¸n, suy nghÜ, ghi nhí vµ
®iÒu khiÓn. Cã thÓ ®iÓm qua nh÷ng chøc n¨ng c¬ b¶n cña bé n·o nh− sau:
-Bé nhí ®−îc tæ chøc theo çc bã th«ng tin vµ truy nhËp theo néi dung (Cã
thÓ truy xuÊt th«ng tin dùa theo gi¸ trÞ çc thuéc tÝnh cña ®èi t−îng)
-Bé n·o cã kh¶ n¨ng tæng qu¸t ho¸, cã thÓ truy xuÊt çc tri thøc hay çc
mèi liªn kÕt chung cña çc ®èi t−îng t−¬ng øng víi mét kh¸i niÖm chung nµo ®ã
- Bé n·o cã kh¶ n¨ng dung thø lçi theo nghÜa cã thÓ ®iÒu chØnh hoÆc tiÕp
tôc thùc hiÖn ngay khi cã nh÷ng sai lÖch do th«ng tin bÞ thiÕu hoÆc kh«ng chÝnh
x¸c. Ngoµi ra, bé n·o cßn cã thÓ ph¸t hiÖn vµ phôc håi çc th«ng tin bÞ mÊt dùa
trªn sù t−¬ng tù gi÷a çc ®èi t−îng.
- Bé n·o cã kh¶ n¨ng xuèng cÊp vµ thay thÕ dÇn dÇn. Khi cã nh÷ng trôc
trÆc t¹i çc vïng n·o (do bÖnh, chÊn th−¬ng) hoÆc b¾t gÆp nh÷ng th«ng tin hoµn
toµn míi l¹, bé n·o vÉn cã thÓ tiÕp tôc lµm viÖc.
-Bé n·o cã kh¶ n¨ng häc.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
7
-----------------------------------------------------------------------------------------------------------
So s¸nh kh¶ n¨ng lµm viÖc cña bé n·o vµ m¸y tÝnh
M¸y tÝnh Bé n·o ng−êi

§¬n vÞ tÝnh Bé xö lý trung t©m víi M¹ng 1011 n¬ ron
to¸n 105m¹ch logic c¬ së
Bé nhí 109 bit RAM 1011 n¬ ron
1010 bit bé nhí ngoµi víi 1014 khíp nèi
thÇn kinh
Thêi gian 10-8 gi©y 10-3 gi©y
xö lý
Th«ng 109 bit/gi©y 1014 bit/gi©y
l−îng
CËp nhËt 105 bit/gi©y 1014 n¬ ron/gi©y
th«ng tin
DÔ dµng thÊy r»ng bé n·o con ng−êi cã thÓ l−u gi÷ nhiÒu th«ng tin h¬n çc
m¸y tÝnh hiÖn ®¹i; Tuy r»ng ®iÒu nµy kh«ng ph¶i ®óng m·i m·i, bëi lÏ bé n·o tiÕn
hãa chËm, trong khi ®ã nhê nh÷ng tiÕn bé trong c«ng nghÖ vi ®iÖn tö, bé nhí m¸y
tÝnh ®−îc n©ng cÊp rÊt nhanh. H¬n n÷a, sù h¬n kÐm vÒ bé nhí trë nªn hoµn toµn
thø yÕu so víi sù kh¸c biÖt vÒ tèc ®é tÝnh to¸n vµ kh¶ n¨ng xö lý song song. Çc
bé vi xö lý cã thÓ tÝnh 108 lÖnh trong mét gi©y, trong khi ®ã m¹ng n¬ ron xö lý
chËm h¬n, cÇn kho¶ng vµi miligi©y ®Ó kÝch ho¹t. Tuy nhiªn, bé n·o cã thÓ kÝch
ho¹t hÇu nh− cïng mét lóc t¹i rÊt nhiÒu n¬ ron vµ khíp nèi, trong khi ®ã ngay c¶
m¸y tÝnh hiÖn ®¹i còng chØ cã mét sè h¹n chÕ çc bé vi xö lý song song. NÕu
ch¹y mét m¹ng n¬ ron nh©n t¹o trªn m¸y tÝnh, ph¶i tèn hµng tr¨m lÖnh m¸y ®Ó
kiÓm tra mét n¬ ron cã ®−îc kÝch ho¹t hay kh«ng (tiªu phÝ kho¶ng 10-8 x 102
gi©y/n¬ ron). Do ®ã, dÇu bé vi xö lý cã thÓ tÝnh to¸n nhanh h¬n hµng triÖu lÇn so
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
8
-----------------------------------------------------------------------------------------------------------
víi çc n¬ ron bé n·o, nh−ng xÐt tæng thÓ bé n·o l¹i tÝnh to¸n nhanh h¬n hµng tû
lÇn.
Çch tiÕp cËn m¹ng n¬ ron nh©n t¹o cã ý nghÜa thùc tiÔn rÊt lín cho phÐp
t¹o ra çc thiÕt bÞ cã thÓ kÕt hîp kh¶ n¨ng song song cao cña bé n·o víi tèc ®é
tÝnh to¸n cao cña m¸y tÝnh. Tuy vËy, cÇn ph¶i cã mét kho¶ng thêi gian dµi n÷a ®Ó
çc m¹ng n¬ ron nh©n t¹o cã thÓ m« pháng ®−îc çc hµnh vi s¸ng t¹o cña bé n·o
con ng−êi. Ch¼ng h¹n, bé n·o cã thÓ thùc hiÖn mét nhiÖm vô kh¸ phøc t¹p nh−
nhËn ra khu«n mÆt ng−êi quen sau kh«ng qu¸ 1 gi©y, trong khi ®ã mét m¸y tÝnh
tuÇn tù ph¶i thùc hiÖn hµng tû phÐp tÝnh (kho¶ng 10 gi©y) ®Ó thùc hiÖn cïng thao
t¸c ®ã, nh−ng víi chÊt l−îng kÐm h¬n nhiÒu, ®Æc biÖt trong tr−êng hîp th«ng tin
kh«ng chÝnh x¸c, kh«ng ®Çy ®ñ.
Khíp nèi
Trôc tõ n¬ ron kh¸c

D©y TK Nh©n
vµo
Trôc
Khíp nèi
H×nh 2 . CÊu t¹o n¬ ron sinh häc
2.2. M« h×nh m¹ng neuron nh©n t¹o:

M¹ng n¬ ron nh©n t¹o (Artificial Neural Network) gäi t¾t lµ MNR bao gåm
çc nót (®¬n vÞ xö lý, n¬ ron) ®−îc nèi víi nhau bëi çc liªn kÕt n¬ ron. Mçi liªn
kÕt kÌm theo mét träng sè nµo ®ã, ®Æc tr−ng cho ®Æc tÝnh kÝch ho¹t/ øc chÕ gi÷a
çc n¬ ron. Cã thÓ xem çc träng sè lµ ph−¬ng tiÖn ®Ó l−u gi÷a th«ng tin dµi h¹n
trong m¹ng n¬ ron vµ nhiÖm vô cña qu¸ tr×nh huÊn luyÖn (häc) m¹ng lµ cËp nhËt
çc träng sè khi cã thªm çc th«ng tin vÒ çc mÉu häc, hay nãi mét çch kh¸c,
çc träng sè ®−îc ®iÒu chØnh sao cho d¸ng ®iÖu vµo ra cña nã m« pháng hoµn
toµn phï hîp m«i tr−êng ®ang xem xÐt.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
9
-----------------------------------------------------------------------------------------------------------
Trong m¹ng, mét sè n¬ ron ®−îc nèi víi m«i tr−êng bªn ngoµi nh− çc ®Çu ra,
®Çu vµo.
2.2.1. M« h×nh n¬ ron nh©n t¹o
sj
wj
Çc liªn kÕt Net = Σ g out Çc liªn

vµo kÕt ra
Hµm Hµm kÝch §Çu ra

vµo ho¹t
H×nh 3 . M« h×nh n¬ ron nh©n t¹o
Mçi n¬ ron ®−îc nèi víi çc n¬ ron kh¸c vµ nhËn ®−îc çc tÝn hiÖu sj tõ
chóng víi çc träng sè wj. Tæng çc th«ng tin vµo cã träng sè lµ:
Net = Σ wj sj.
Ng−êi ta gäi ®©y lµ thµnh phÇn tuyÕn tÝnh cña n¬ ron. Hµm kÝch ho¹t g (cßn
gäi lµ hµm chuyÓn) ®ãng vai trß biÕn ®æi tõ Net sang tÝn hiÖu ®Çu ra out.
out = g ( Net ).
§©y lµ thµnh phÇn phi tuyÕn cña n¬ ron. Cã 3 d¹ng hµm kÝch ho¹t th−êng ®−îc
dïng trong thùc tÕ:
− 1 neu x < 0 − 1 neu x < θ

Hµm dÊu sign ( x ) =  hoÆc sign ( x ) = 
1 neu x >= 0 1 neu x >= θ
0 neu x < 0 0 neu x < θ
Hµm d¹ng b−íc step ( x ) =  hoÆc step ( x ) = 
1 neu x >= 0 1 neu x >= θ
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
10
-----------------------------------------------------------------------------------------------------------
1
Hµm sigmoid sigmoid ( x) = −α ( x +θ )
1+ e
ë ®©y ng−ìng θ ®ãng vai trß lµm t¨ng tÝnh thÝch nghi vµ kh¶ n¨ng tÝnh
to¸n cña m¹ng n¬ ron. Sö dông ký ph¸p vÐct¬, S = (s1,...,sn) vÐct¬ tÝn hiÖu vµo,
W=( w1,..., wn) vÐct¬ träng sè, ta cã
out = g( Net ) , Net = SW.
Tr−êng hîp xÐt ng−ìng θ, ta dïng biÓu diÔn vÐct¬ míi S'=( s1,...,sn, θ), W'=(
w1,..., wn,-1)
2.2.2. M¹ng n¬ ron

M¹ng n¬ ron lµ hÖ thèng bao gåm nhiÒu phÇn tö xö lý ®¬n gi¶n (n¬ ron)
ho¹t ®éng song song. TÝnh n¨ng cña hÖ thèng nµy tuú thuéc vµo cÊu tróc cña hÖ,
çc träng sè liªn kÕt n¬ ron vµ qu¸ tr×nh tÝnh to¸n t¹i çc n¬ ron ®¬n lÎ. M¹ng n¬
ron cã thÓ häc tõ d÷ liÖu mÉu vµ tæng qu¸t hãa dùa trªn çc d÷ liÖu mÉu häc.
Trong m¹ng n¬ ron, çc n¬ ron ®ãn nhËn tÝn hiÖu vµo gäi lµ n¬ ron vµo vµ çc n¬
ron ®−a th«ng tin ra gäi lµ n¬ ron ra.
2.2.3. Ph©n lo¹i m¹ng neuron

Theo kiÓu liªn kÕt n¬ ron: Ta cã m¹ng n¬ ron truyÒn th¼ng (feel-forward
Neural Network) vµ m¹ng n¬ ron qui håi (recurrent NN). Trong m¹ng n¬ ron
truyÒn th¼ng, çc liªn kÕt n¬ ron ®i theo mét h−íng nhÊt ®Þnh, kh«ng t¹o thµnh ®å
thÞ kh«ng cã chu tr×nh (Directed Acyclic Graph) víi çc ®Ønh lµ çc n¬ ron, çc
cung lµ çc liªn kÕt gi÷a chóng. Ng−îc l¹i, çc m¹ng qui håi cho phÐp çc liªn
kÕt n¬ ron t¹o thµnh chu tr×nh. V× çc th«ng tin ra cña çc n¬ ron ®−îc truyÒn l¹i
cho çc n¬ ron ®· gãp phÇn kÝch ho¹t chóng, nªn m¹ng håi qui cßn cã kh¶ n¨ng
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
11
-----------------------------------------------------------------------------------------------------------
l−u gi÷ tr¹ng th¸i trong cña nã d−íi d¹ng çc ng−ìng kÝch ho¹t ngoµi çc träng sè
liªn kÕt n¬ ron.
Theo sè líp: Çc n¬ ron cã thÓ tæ chøc l¹i thµnh çc líp sao cho mçi n¬ ron cña
líp nµy chØ ®−îc nèi víi çc n¬ ron ë líp tiÕp theo, kh«ng cho phÐp çc liªn kÕt
gi÷a çc n¬ ron trong cïng mét líp, hoÆc tõ n¬ ron líp d−íi lªn n¬ ron líp trªn. ë
®©y còng kh«ng cho phÐp çc liªn kÕt n¬ ron nh¶y qua mét líp.
Líp vµo N¬ ron vµo
Líp Èn
N¬ ron ra
Líp ra
a) M¹ng n¬ ron nhiÒu líp b) M¹ng n¬ ron truyÒn th¼ng
H×nh 4 . M¹ng n¬ ron truyÒn th¼ng vµ nhiÒu líp
H×nh 5. M¹ng n¬ ron håi qui

DÔ dµng nhËn thÊy r»ng çc n¬ ron trong cïng mét líp nhËn ®−îc tÝn hiÖu tõ
líp trªn cïng mét lóc, do vËy vÒ nguyªn t¾c chóng cã thÓ xö lý song song. Th«ng
th−êng, líp n¬ ron vµo chØ chÞu tr¸ch nhiÖm truyÒn ®−a tÝn hiÖu vµo, kh«ng thùc
hiÖn mét tÝnh to¸n nµo nªn khi tÝnh sè líp cña m¹ng, ng−êi ta kh«ng tÝnh líp nµo.
VÝ dô, m¹ng n¬ ron ë h×nh 5 cã 2 líp : mét líp Èn vµ mét líp ra.
2.2.4. Hai çch nh×n vÒ m¹ng neuron:
• M¹ng n¬ ron nh− mét c«ng cô tÝnh to¸n:
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
12
-----------------------------------------------------------------------------------------------------------
Gi¶ sö m¹ng n¬ ron NN cã m n¬ ron vµo vµ n n¬ ron ra, khi ®ã víi mçi vÐc
t¬ çc tÝn hiÖu vµo X = (x1,...,xm), sau qu¸ tr×nh tÝnh to¸n t¹i çc n¬ ron Èn, ta nhËn
®−îc kÕt qu¶ ra Y=(y1,...,yn). Theo nghÜa nµo ®ã m¹ng n¬ ron lµm viÖc víi t− çch
mét b¶ng tra, mµ kh«ng cÇn biÕt d¹ng phô thuéc hµm t−êng minh gi÷a Y vµ X.
Khi ®ã ta viÕt :
Y = Tinh( X, NN )
CÇn l−u ý thªm r»ng çc n¬ ron trªn cïng mét líp cã thÓ tÝnh to¸n ®ång thêi,
do vËy ®é phøc t¹p tÝnh to¸n nãi chung sÏ phô thuéc vµo sè líp m¹ng.
Çc th«ng sè cÊu tróc m¹ng n¬ ron bao gåm:
+ Sè tÝn hiÖu vµo , sè tÝn hiÖu ra.
+ Sè líp n¬ ron.
+ Sè n¬ ron trªn mçi líp Èn.
+ Sè l−îng liªn kÕt cña mçi n¬ ron (liªn kÕt ®Çy ®ñ, liªn kÕt bé phËn vµ liªn
kÕt ngÉu nhiªn).
+ Çc träng sè liªn kÕt n¬ ron.
• M¹ng n¬ ron nh− mét hÖ thèng thÝch nghi cã kh¶ n¨ng häc (huÊn luyÖn) ®Ó
tinh chØnh çc träng sè liªn kÕt còng nh− cÊu tróc cña m×nh sao cho phï hîp víi
çc mÉu häc (samples). Ng−êi ta ph©n biÖt ba lo¹i kü thuËt häc: häc cã quan s¸t
(supervised learning) hay cßn gäi lµ häc cã thÇy, häc kh«ng cã gi¸m s¸t
(unsupervised learning) hay cßn gäi lµ häc kh«ng cã thÇy vµ häc t¨ng c−êng.
Trong häc cã gi¸m s¸t, m¹ng ®−îc cung cÊp mét tËp mÉu häc {(Xs,Ys)} theo
nghÜa Xs lµ çc tÝn hiÖu vµo, th× kÕt qu¶ ra ®óng cña hÖ ph¶i lµ Ys. ë mçi lÇn häc,
vect¬ tÝn hiÖu vµo Xs ®−îc ®−a vµo m¹ng, sau ®ã so s¸nh sù sai kh¸c gi÷a çc kÕt
qu¶ ra ®óng Ys víi kÕt qu¶ tÝnh to¸n outs. Sai sè nµy sÏ ®−îc dïng ®Ó hiÖu chØnh
l¹i çc träng sè liªn kÕt trong m¹ng. Qu¸ tr×nh cø tiÕp tôc cho ®Õn khi tho¶ m·n
mét tiªu chuÈn nµo ®ã. Cã hai çch sö dông tËp mÉu häc: hoÆc dïng çc mÉu lÇn
l−ît, hÕt mÉu nµy ®Õn mÉu kh¸c, hoÆc sö dông ®ång thêi tÊt c¶ çc mÉu mét lóc.
Çc m¹ng víi c¬ chÕ häc kh«ng gi¸m s¸t ®−îc gäi lµ çc m¹ng tù tæ chøc. Çc kü
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
13
-----------------------------------------------------------------------------------------------------------
thuËt häc trong m¹ng n¬ ron cã thÓ nh»m vµo hiÖu chØnh çc träng sè liªn kÕt (gäi
lµ häc tham sè) hoÆc ®iÒu chØnh, söa ®æi cÊu tróc cña m¹ng bao gåm sè líp, sè n¬
ron, kiÓu vµ träng sè çc liªn kÕt (gäi lµ häc cÊu tróc). C¶ hai môc ®Ých häc nµy
cã thÓ thùc hiÖn ®ång thêi hoÆc t¸ch biÖt.
Häc tham sè: Gi¶ sö cã k n¬ ron trong m¹ng vµ mçi n¬ ron cã ®óng l liªn kÕt vµo
víi çc n¬ ron kh¸c. Khi ®ã, ma trËn träng sè liªn kÕt W sÏ cã kÝch th−íc kxl. Çc
thñ tôc häc tham sè nh»m môc ®Ých t×m kiÕm ma trËn W sao cho
Ys = Tinh ( Xs, W ) ®èi víi mäi mÉu häc S = ( Xs, Ys) (1)
Xs outs
M¹ng n¬ ron N
Ys
HiÖu chØnh W Sai sè
H×nh 6. Häc tham sè cã gi¸m s¸t
Häc cÊu tróc: Víi häc tham sè ta gi¶ ®Þnh r»ng m¹ng cã mét cÊu tróc cè ®Þnh.
ViÖc häc cÊu tróc cña m¹ng truyÒn th¼ng g¾n víi yªu cÇu t×m ra sè líp cña m¹ng
L vµ sè n¬ ron trªn mçi líp nj. Tuy nhiªn, víi çc m¹ng håi qui cßn ph¶i x¸c ®Þnh
thªm çc tham sè ng−ìng θ cña çc n¬ ron trong m¹ng. Mét çch tæng qu¸t ph¶i
x¸c ®Þnh bé tham sè P = (L,n1,...,nl,θ1,...,θk).
ë ®©y k = Σ nj sao cho
Ys = Tinh (Xs,P) ®èi víi mäi mÉu häc s=( Xs, Ys) (2)
VÒ thùc chÊt, viÖc ®iÒu chØnh çc vect¬ tham sè W trong (1) hay P trong (2)
®Òu qui vÒ bµi to¸n t×m kiÕm tèi −u trong kh«ng gian tham sè. Do vËy, cã thÓ ¸p
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
14
-----------------------------------------------------------------------------------------------------------
dông çc c¬ chÕ t×m kiÕm kinh ®iÓn theo gradient hay çc gi¶i thuËt di truyÒn, lËp
tr×nh tiÕn hãa.
2.2.5. Kh¶ n¨ng tÝnh to¸n vµ biÓu diÔn phô thuéc d÷ liÖu cña m¹ng neuron:
M¹ng n¬ ron truyÒn th¼ng chØ ®¬n thuÇn tÝnh to¸n çc tÝn hiÖu ra dùa trªn
çc tÝn hiÖu vµo vµ çc träng sè liªn kÕt n¬ ron ®· x¸c ®Þnh s½n ë trong m¹ng. Do
®ã chóng kh«ng cã tr¹ng th¸i bªn trong nµo kh¸c ngoµi vect¬ träng sè W. §èi
víi m¹ng håi qui, tr¹ng th¸i trong cña m¹ng ®−îc l−u gi÷ t¹i çc ng−ìng cña çc
n¬ ron. §iÒu nµy cã nghÜa lµ qu¸ tr×nh tÝnh to¸n trªn m¹ng truyÒn th¼ng cã líp
lang h¬n trong m¹ng qui håi. Nãi chung, çc m¹ng qui håi cã thÓ kh«ng æn ®Þnh,
thËm chÝ rèi lo¹n theo nghÜa, khi cho vect¬ gi¸ trÞ ®Çu vµo X nµo ®ã, m¹ng cÇn
ph¶i tÝnh to¸n rÊt l©u, thËm chÝ cã thÓ bÞ lÆp v« h¹n tr−íc khi ®−a ra ®−îc kÕt qu¶
mong muèn. Qu¸ tr×nh häc cña m¹ng qui håi còng phøc t¹p h¬n rÊt nhiÒu. Tuy
vËy, çc m¹ng qui håi cã thÓ cho phÐp m« pháng çc hÖ thèng t−¬ng ®èi phøc t¹p
trong thùc tÕ.
2.2.6. X¸c ®Þnh cÊu tróc m¹ng tèi −u:
Nh− ®· nãi ë trªn, lùa chän sai cÊu tróc m¹ng cã thÓ dÉn tíi ho¹t ®éng m¹ng
trë nªn kÐm hiÖu qu¶. NÕu ta chän m¹ng qu¸ nhá cã thÓ chóng kh«ng biÓu diÔn
®−îc sù phô thuéc d÷ liÖu mong muèn. NÕu chän m¹ng qu¸ lín ®Ó cã thÓ nhí
®−îc tÊt c¶ çc mÉu häc d−íi d¹ng b¶ng tra, nh−ng hoµn toµn kh«ng thÓ tæng
qu¸t hãa ®−îc cho nh÷ng tÝn hiÖu vµo ch−a biÕt tr−íc. Nãi çch kh¸c, còng gièng
nh− trong çc m« h×nh thèng kª, çc m¹ng n¬ ron cã thÓ ®−a tíi t×nh tr¹ng qu¸
thõa tham sè.
Bµi to¸n x¸c ®Þnh cÊu tróc m¹ng tèt cã thÓ xem nh− bµi to¸n t×m kiÕm trong
kh«ng gian tham sè. Mét çch lµm lµ sö dông gi¶i thuËt di truyÒn. Tuy vËy,
kh«ng gian tham sè cã thÓ rÊt lín vµ ®Ó x¸c ®Þnh mét tr¹ng th¸i W (hoÆc P) trong
kh«ng gian ®ßi hái ph¶i huÊn luyÖn m¹ng, do vËy rÊt tèn thêi gian. Cã thÓ ¸p
dông t− t−ëng t×m kiÕm leo ®åi (hill-climbing) nh»m söa ®æi mét çch cã lùa
chän, mang tÝnh ®Þa ph−¬ng cÊu tróc m¹ng hiÖn cã. Cã hai çch lµm:
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
15
-----------------------------------------------------------------------------------------------------------
+ HoÆc b¾t ®Çu víi mét m¹ng lín, sau ®ã gi¶m nhá xuèng.
+ HoÆc b¾t ®Çu víi mét m¹ng nhá, sau ®ã t¨ng dÇn lªn.
Mét kü thuËt kh¸c cã thÓ ¸p dông gäi lµ " Tæn th−¬ng tèi −u" nh»m lo¹i bá
mét sè liªn kÕt träng sè trong m¹ng dùa trªn çch tiÕp cËn lý thuyÕt th«ng tin.
§¬n gi¶n nhÊt lµ çc liªn kÕt cã träng sè b»ng 0. Qu¸ tr×nh cø tiÕp tôc nh− vËy.
Thùc nghiÖm chØ ra r»ng, kü thuËt nµy cã thÓ lo¹i trõ tíi 3/4 çc liªn kÕt, do ®ã
n©ng cao ®¸ng kÓ hiÖu qu¶ cña m¹ng.
Ngoµi viÖc lo¹i trõ çc liªn kÕt n¬ ron thõa, ng−êi ta cã thÓ vøt bá nh÷ng n¬
ron kh«ng ®ãng gãp nhiÒu vµo qu¸ tr×nh thùc hiÖn cña m¹ng.
Gi¶i thuËt " Lîp ngãi" lµ mét biÕn thÓ cña kü thuËt t¨ng tr−ëng m¹ng xuÊt
ph¸t tõ cÊu h×nh ban ®Çu t−¬ng ®èi nhá. ý t−ëng ë ®©y lµ x¸c ®Þnh mét cÊu h×nh
m¹ng cho phÐp tÝnh ®óng çc mÉu häc ®· biÕt. Sau ®ã, mçi khi thªm dÇn mÉu
häc míi, m¹ng ®−îc phÐp thªm mét sè n¬ ron cho phÐp ®o¸n ®óng kÕt qu¶ häc
hiÖn t¹i vµ qu¸ tr×nh cø tiÕp tôc nh− vËy.
2.3. M¹ng n¬ ron nhiÒu líp lan truyÒn ng−îc sai sè (Back-propagation
Neural Network)
Rosenblatt vµ çc t¸c gi¶ kh¸c còng ®· m« t¶ çc m¹ng truyÒn th¼ng nhiÒu
líp tõ cuèi nh÷ng n¨m 50, nh−ng hä chñ yÕu chØ nghiªn cøu s©u vÒ m¹ng
Perceptron mét líp. Së dÜ nh− vËy lµ do kh«ng t×m ®−îc çch thay ®æi träng sè
liªn kÕt t¹i çc líp Èn. Qu¶ thËt, ngay c¶ khi ®· biÕt ®−îc sai sè t¹i çc ®Çu ra,
ng−êi ta vÉn ch−a h×nh dung ®−îc çc sai sè ®ã ®−îc ph©n bè nh− thÕ nµo t¹i çc
n¬ ron Èn. Trong cuèn s¸ch vÒ m¹ng Perceptron xuÊt b¶n 1969, Minsky vµ Papert
®· chØ ra r»ng khã cã thÓ tæng qu¸t ho¸ luËt häc ®èi víi m¹ng mét líp sang m¹ng
nhiÒu líp. Cã 2 lý gi¶i chÝnh cho vÊn ®Ò nµy. Thø nhÊt, thuËt gi¶i häc cña m¹ng
nhiÒu líp cã thÓ kh«ng hiÖu qu¶, hoÆc kh«ng héi tô vÒ ®iÓm cùc trÞ tæng thÓ trong
kh«ng gian vect¬ träng sè. MÆt kh¸c, çc nghiªn cøu trong lý thuyÕt tÝnh to¸n ®·
chØ ra r»ng trong tr−êng hîp tåi nhÊt qu¸ tr×nh häc çc hµm tæng qu¸t tõ mÉu häc
kh«ng ph¶i lóc nµo còng gi¶i quyÕt ®−îc. Çc nguyªn t¾c c¬ b¶n trong luËt häc
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
16
-----------------------------------------------------------------------------------------------------------
®èi víi m¹ng nhiÒu líp ®· ®−îc Bryson vµ Ho ®Ò xuÊt tõ n¨m 1969, nh−ng ph¶i
tíi gi÷a n¨m 1980 vÊn ®Ò nµy míi ®−îc quan t©m trë l¹i bëi c«ng tr×nh nghiªn
cøu cña Rumelhart n¨m 1986. Mét thèng kª cho thÊy 90% øng dông m¹ng n¬ ron
trong c«ng nghÖ ho¸ häc sö dông m« h×nh nµy.
2.3.1. KiÕn tróc m¹ng:
I1 I2 I3
Ik Líp ra (0)
wjk
aj H4 H5 Líp ra (1)
wjij
outi O6 Líp ra (2)
H×nh 7. M¹ng n¬ ron 2 líp

Çc n¬ ron líp thø t ®−îc nèi ®Çy ®ñ víi çc n¬ ron líp thø t+1. Trong nhiÒu
øng dông thùc tÕ, ®Ó ®¬n gi¶n, ng−êi ta th−êng sö dông m¹ng cã mét líp Èn, sè
n¬ ron trong líp Èn ®−îc x¸c ®Þnh dùa trªn kinh nghiÖm, hoÆc dùa trªn çc kü
thuËt t×m kiÕm kh¸c nhau .
2.3.2. HuÊn luyÖn m¹ng:
Qu¸ tr×nh huÊn luyÖn m¹ng ®−îc tr×nh bµy ë ®©y lµ qu¸ tr×nh häc cã gi¸m s¸t
víi tËp mÉu {(Xs, Ys)}. Thñ tôc häc cã thÓ tãm l−îc nh− sau:
Mçi khi ®−a mét mÉu Xs = (x1 , ..., xn) vµo m¹ng, ta thùc hiÖn çc c«ng viÖc
sau:
- Lan truyÒn mÉu Xs qua m¹ng ®Ó cã outs = Tinh (Xs, NN)
- TÝnh sai sè Errs cña m¹ng dùa trªn sai lÖch outs - Ys
- HiÖu chØnh çc träng sè liªn kÕt n¬ ron dÉn tíi líp ra Wij tõ n¬ ron j t¹i
líp Èn cuèi cïng tíi n¬ ron i t¹i líp ra:
wij = wij + α . aj . δi, (15)
ë ®©y: α lµ hÖ sè häc,
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
17
-----------------------------------------------------------------------------------------------------------
aj lµ ®Çu ra cña n¬ ron j,
δi lµ sai sè mµ n¬ ron i ë líp ra ph¶i chÞu tr¸ch nhiÖm, ®−îc x¸c ®Þnh
theo c«ng thøc:
δi = erri g'(Neti) (16)
víi erri lµ sai sè thµnh phÇn thø i trong Errs , Neti lµ tæng th«ng tin vµo cã
trong sè cña n¬ ron thø i (Neti=∑wij.aj) vµ g'(.) lµ ®¹o hµm cña hµm kÝch
ho¹t g ®−îc dïng trong çc n¬ ron.
- HiÖu chØnh çc träng sè liªn kÕt n¬ ron Wjk dÉn tíi tÊt c¶ líp Èn tõ n¬ ron
thø k sang n¬ ron j (çc líp Èn ®−îc xÐt tõ d−íi lªn) :
− TÝnh tæng sai sè t¹i n¬ ron j ph¶i chÞu tr¸ch nhiÖm
= g' (Net j ) ∑ w ijδ i (17)

δj i
− HiÖu chØnh träng sè wjk
wjk = wjk +α ak δj (18)
(tr−êng hîp xÐt liªn kÕt tõ n¬ ron vµo thø k sang n¬ ron j trªn líp Èn thø
nhÊt, ta cã ak = Ik, chÝnh lµ tÝn hiÖu vµo).
Chó ý :
1
g ( x) = −x
1+ e
a) Tr−êng hîp xÐt hµm kÝch ho¹t t¹i çc n¬ ron
ta cã hÖ thøc g'(x)=g(x)(1-g(x)).
b) Tõ çc c«ng thøc (15), (18) ta cã thÓ viÕt l¹i:
wij = wij + ∆wij , wjk = wjk + ∆wjk ,
víi ∆wij = α aj δi vµ ∆wjk = α ak δj
Trong çc øng dông thùc tÕ, ng−êi ta th−êng hiÖu chØnh ∆wij theo nguyªn t¾c
cã chó ý ®Õn thao t¸c tr−íc ®ã. Do vËy:
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
18
-----------------------------------------------------------------------------------------------------------
∆wij(míi) = α aj δi + β∆wij(cò), ë ®©y β lµ hÖ sè qu¸n tÝnh.
Qu¸ tr×nh huÊn luyÖn m¹ng cÇn chó ý tíi çc yÕu tè sau:
i.Çc träng sè ban ®Çu wij ®−îc g¸n çc gi¸ trÞ ngÉu nhiªn, nhá
ii. Lùa chän çc hÖ sè häc α vµ hÖ sè qu¸n tÝnh β sao cho α + β ≈1, víi β
kh«ng lín h¬n α qu¸ nhiÒu.
iii. Çc tÝn hiÖu vµo, ra nªn ®−îc ®Þnh cì chØ n»m trong kho¶ng [0,1]. Çc
nghiªn cøu thùc nghiÖm chØ ra r»ng nªn ë trong kho¶ng [0.2,0.8].
2.3.4. Sö dông m¹ng:
Gi¶ sö ®· huÊn luyÖn m¹ng nh− trªn h×nh 7 víi tËp mÉu {(Xs,Ys)} ®Ó ®−îc
ma trËn träng sè W. Qu¸ tr×nh lan truyÒn trong m¹ng mét vect¬ tÝn hiÖu vµo
X=(x1,x2,x3) ®−îc cho bëi:
out = g(w64 a4 + w 65 a5) = g(w 64 g(w 41 x1 + w 42 x2 + w 43 x3) + w 65 g(w 51 x1
+ w 52 x2 + w 53 x3))
= F ( X , W)
Kh¶ n¨ng tÝnh to¸n cña m¹ng nhiÒu líp
− Víi mét líp Èn, m¹ng cã thÓ tÝnh to¸n xÊp xØ mét hµm liªn tôc bÊt kú ®èi
víi çc biÕn t−¬ng øng lµ çc tÝn hiÖu ®Çu vµo.
− Víi hai líp Èn, m¹ng cã thÓ tÝnh to¸n xÊp xØ mét hµm bÊt kú. Tuy vËy, sè
n¬ ron trong çc líp Èn cã thÓ t¨ng theo hµm mò ®èi víi sè ®Çu vµo vµ cho
®Õn nay vÉn ch−a cã nh÷ng c¬ së lý luËn ®Çy ®ñ ®Ó kh¶o s¸t hä çc hµm cã
thÓ xÊp xØ nhê çc m¹ng nhiÒu líp.
2.3.5. Nghiªn cøu sù héi tô vµ ®é phøc t¹p cña qu¸ tr×nh huÊn luyÖn m¹ng:
Ph−¬ng ph¸p hiÖu chØnh träng sè liªn kÕt n¬ ron (15)(18) dùa trªn nguyªn t¾c
lan truyÒn ng−îc sai sè cã thÓ lý gi¶i dùa trªn nguyªn lý t×m kiÕm gradient trong
1 2
E ( w) = ∑ (Yi − out i )
2
kh«ng gian çc tham sè W sao cho cùc tiÓu hµm sai sè tæng céng:
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
19
-----------------------------------------------------------------------------------------------------------
ë ®©y, Yi lµ gi¸ trÞ thùc nghiÖm quan s¸t ®−îc t¹i n¬ ron i ë líp ra, outi lµ gi¸ trÞ
tÝnh to¸n cña m¹ng t¹i n¬ ron thø i ë líp ra ®èi víi mÉu Xs.
Khai triÓn E theo çc träng sè thµnh phÇn, ta cã:
2
    
E ( w) = ∑  Yi − g  ∑ wij a j   = ∑ Yi − g  ∑ wij g  ∑ w jk a k  
1 1
2 i j  2 i j k 
∂E
= − a j (Yi − outi ) g ' ( Neti ) = − a j δ i
∂wij
LÊy ®¹o hµm riªng cña E theo çc wij:
ViÖc hiÖu chØnh vect¬ träng sè W = (wij) sao cho E(W)→min dÉn tíi viÖc x¸c
®Þnh vect¬ gia sè ∆W= (∆wij) ng−îc h−íng víi vect¬ gradient (∂E/∂wij). Nãi
∂E
= −akδ j
∂ w jk
çch kh¸c,
∆wij = -α(-δi aj) = δi aj
∆wjk = -α(-δj ak) = δj ak
C«ng thøc nµy phï hîp víi çc c«ng thøc (15) (18) t−¬ng øng.
§é phøc t¹p thêi gian cña m¹ng nhiÒu líp chñ yÕu phô thuéc vµo thêi gian
huÊn luyÖn m¹ng víi mét tËp mÉu nµo ®ã. Gi¶ sö cã m mÉu vµo vµ |W| träng sè.
Mçi lÇn ®−a tÊt c¶ çc mÉu ®i qua m¹ng (gäi lµ mét vßng lÆp (epoch)) ph¶i tèn
O(m|W|) thao t¸c n¬ ron. Trong tr−êng hîp xÊu nhÊt, sè vßng lÆp sÏ phô thuéc
hµm mò vµo sè ®Çu vµo n. Do vËy, chi phÝ thêi gian sÏ lµ O(knm|W|).
H¬n n÷a qu¸ tr×nh häc kh«ng ph¶i lóc nµo còng héi tô vµ cã thÓ dÉn tíi çc
cùc tiÓu ®Þa ph−¬ng cña hµm E. Khi dïng m¹ng n¬ ron nhiÒu líp ®Ó biÓu diÔn tÊt
c¶ çc hµm logic cã n ®Çu vµo, ta ph¶i dïng cì 2n/n nót Èn, m¹ng nµy cã kho¶ng
O(2n) träng sè, do vËy ph¶i tiªu tèn O(2n) bit ®Ó biÓu diÔn çc hµm logic.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
20
-----------------------------------------------------------------------------------------------------------
2.3.6.Mét sè vÊn ®Ò vÒ m¹ng neuron nhiÒu líp:
M¹ng n¬ ron nhiÒu líp truyÒn th¼ng lµ çch biÓu diÔn çc ®èi t−îng dùa
trªn çc gi¸ trÞ cña çc thuéc tÝnh cña chóng t−¬ng ®èi hiÖu qu¶, tuy r»ng
chóng ch−a vÐt c¹n hÕt mäi khÝa c¹nh kh¸c nhau vÒ ®èi t−îng ®ã. Çch
tiÕp cËn m¹ng lo¹i nµy tá ra kh¸ hiÖu qu¶ khi çc quan s¸t (tÝn hiÖu vµo)
cã miÒn gi¸ trÞ liªn tôc. Do vËy, cã thÓ xem lµ tèt h¬n so víi nh÷ng çch
tiÕp cËn truyÒn thèng dùa trªn logic mÖnh ®Ò vµ c©y quyÕt ®Þnh.
Kh¶ n¨ng tæng qu¸t hãa: m¹ng lo¹i nµy cã thÓ ®−a ra nh÷ng kÕt qu¶ mang
tÝnh tæng qu¸t hãa, tuy r»ng kiÓu phô thuéc gi÷a ®Çu ra vµ ®Çu vµo kh«ng
qu¸ rèi r¾m.
Kh¶ n¨ng dung thø lçi: M¹ng ®−îc luyÖn mÉu theo nguyªn t¾c håi qui
tuyÕn tÝnh nªn cã thÓ chÊp nhËn sai sè trong tËp d÷ liÖu vµo. Tuy vËy,
m¹ng kh«ng thÓ ®−a ra ®−îc nh÷ng kÕt qu¶ tÝnh to¸n kh«ng ch¾c ch¾n,
kh«ng chÝnh x¸c kiÓu nh− m¹ng Bayes.
M¹ng ®−îc sö dông nh− mét hép ®en, biÓu thÞ quan hÖ nµo ®ã gi÷a tÝn
hiÖu ra vµ tÝn hiÖu vµo, mµ kh«ng cÇn chØ râ d¹ng gi¶i tÝch t−êng minh cña
mèi quan hÖ ®ã. Tuy vËy, ®iÓm bÊt lîi cña çch tiÕp m¹ng chÝnh lµ ë chç
kh«ng thÓ lý gi¶i çc kÕt qu¶ ra mét çch râ rµng nh− ®èi víi suy diÔn
logic hay c©y quyÕt ®Þnh.
2.5. øng dông m¹ng n¬ ron lan truyÒn ng−îc h−íng cho nhËn d¹ng ký tù:
2.5.1. X©y dùng cÊu tróc m¹ng lan truyÒn ng−îc h−íng hai líp nhËn d¹ng ký
tù:
Víi 400 neuron ®Çu vµo t−¬ng øng víi 400 ®iÓm ¶nh ( ma trËn pixel cña ¶nh ®−a
vµo 20x20), 200 neuron líp Èn vµ 16 neuron líp ra lµ d·y sè nhÞ ph©n quy ®Þnh
th«ng tin ®Çu ra.
Th«ng tin ®Çu vµo ®èi víi mçi mÉu X=(x1,x2, … ,x400) ®−îc x¸c ®Þnh nh− sau:
− 1 neu diem trang
xi = 
1 neu diem den
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
21
-----------------------------------------------------------------------------------------------------------
1 neu net j >= 0
Líp Èn ®−îc x¸c ®Þnh theo hµm anj= sign(net j ) = 
− 1 neu net j < 0
400
Do ®ã an j = ∑ wij .xi víi j=1…200
i =1
1 neu net j >= 0

Líp ra ®−îc x¸c ®Þnh theo c«ng thøc raj= sign(net j ) = 
− 1 neu net j < 0
200
Do ®ã ra j = ∑ wij .ani víi j=1…16
i =1
Sau ®ã chuyÔn d·y ®Çu ra thµnh d·y nhÞ ph©n nh− sau
1 neu ra j = 1
yj =  víi j=1..16.
0 neu ra j = −1
Ban ®Çu ta x©y dùng ma trËn träng sè gi÷a líp vµo vµ líp Èn, gi÷a líp Èn vµ líp ra
víi çc phÇn tö lµ çc gi¸ trÞ ngÉu nhiªn trong ®o¹n [-0.5,0.5].
2.5.2. HuÊn luyÖn m¹ng:
H×nh thøc häc: mçi lÇn häc mét tËp mÉu víi mét mÉu häc mét lÇn sau ®ã häc tiÕp
mÉu tiÕp theo qu¸ tr×nh lÆp ®i lÆp l¹i lµ 600 lÇn.
§iÒu chØnh träng sè ë líp Èn vµ líp ra:
w 1 ij = w ij + ∆ w ij trong ®ã ∆w1ij = hsh * e j * g ' (ra j ) * ani

Víi i=1..200; j=1..16; hsh: HÖ sè häc. (hsh=0.14 ®èi víi ch−¬ng tr×nh thö
nghiÖm cña ®Ò tµi)
Nh− vËy ma trËn träng sè gi÷a líp Èn vµ líp ra lµ ma trËn 200 hµng, 16 cét.
§iÒu chØnh träng sè gi÷a líp vµo vµ líp Èn:
wij = wij + ∆wij trong ®ã ∆wij = hsh * x( i) * g ' (an(j))* net

16
net = ∑ ek * g ' (ra k ) * w1 jk víi i=1..400; j=1..200; k=1..16.
k =1
Nh− vËy ma trËn träng sè gi÷a líp vµo vµ líp Èn lµ ma trËn 400 hµng, 200 cét.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
22
-----------------------------------------------------------------------------------------------------------
Sau khi huÊn luyÖn m¹ng ta s÷ dông bé träng sè nh− mét b¶ng tra víi çc c«ng
thøc trªn phÇn 2.5.1.
2.5.3. Ch−¬ng tr×nh thö nghiÖm vµ kÕt qu¶ ®¹t ®−îc:
Gi¸o diÖn huÊn luyÖn m¹ng (häc mÈu)
Gi¸o diÖn nhËn d¹ng:
KÕt qu¶ nhËn d¹ng chÝnh x¸c 100% ®èi víi çc ph«ng ch÷ ®· häc víi cë ch÷ 18
trë lªn.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
23
-----------------------------------------------------------------------------------------------------------
Tµi liÖu tham kh¶o:
1. Çc bµi gi¶ng cña thÇy gi¸o TS. §µo Thanh TÜnh.
2. Gi¸o tr×nh xö lý ¶nh cña TS. §æ N¨ng Toµn & TS. Ph¹m ViÕt B×nh (§H
Th¸i Nguyªn).
3. Gi¸o tr×nh xö lý ¶nh cña PGS.TS. NguyÔn Quang Hoan (Häc ViÖn C«ng
NghÖ B−u ChÝnh ViÔn Th«ng).
4. Gi¸o tr×nh xö lý ¶nh cña L−¬ng M¹nh B¸ & NguyÔn Thanh Thuû ( §H
B¸ch Khoa Hµ Néi)
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
24

Bao Cao

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Bao Cao

Uploaded by

Copyright:

Available Formats

§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.

“Nhận dạng ký tự số bằng mạng neuron ” là nội dung đề tài. Để nhận

Người thực hiện.

1.2.2 B¶n chÊt cña qu¸ tr×nh nhËn d¹ng

Qu¸ tr×nh tiÒn xö lý Khèi nhËn d¹ng

H 1 S¬ ®å tæng qu¸t mét hÖ nhËn d¹ng

II. m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng

M¸y tÝnh Bé n·o ng−êi

Trôc tõ n¬ ron kh¸c

H×nh 2 . CÊu t¹o n¬ ron sinh häc

2.2. M« h×nh m¹ng neuron nh©n t¹o:

C¸c liªn kÕt Net = Σ g out C¸c liªn

Hµm Hµm kÝch §Çu ra

H×nh 3 . M« h×nh n¬ ron nh©n t¹o

− 1 neu x < 0 − 1 neu x < θ

2.2.2. M¹ng n¬ ron

2.2.3. Ph©n lo¹i m¹ng neuron

Líp vµo N¬ ron vµo

a) M¹ng n¬ ron nhiÒu líp b) M¹ng n¬ ron truyÒn th¼ng

H×nh 4 . M¹ng n¬ ron truyÒn th¼ng vµ nhiÒu líp

H×nh 5. M¹ng n¬ ron håi qui

H×nh 6. Häc tham sè cã gi¸m s¸t

H×nh 7. M¹ng n¬ ron 2 líp

= g' (Net j ) ∑ w ijδ i (17)

1 neu net j >= 0

w 1 ij = w ij + ∆ w ij trong ®ã ∆w1ij = hsh * e j * g ' (ra j ) * ani

wij = wij + ∆wij trong ®ã ∆wij = hsh * x( i) * g ' (an(j))* net

Gi¸o diÖn nhËn d¹ng:

You might also like