You are on page 1of 24

§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.

vn
-----------------------------------------------------------------------------------------------------------
MỞ ĐẦU

Kỹ thuật nhận dạng hiện nay đang được nhiều người quan tâm, bởi đây là
một ngành khoa học có rất nhiều ứng dụng trong khoa học kỹ thuật, tin học, sinh
học và cả trong lĩnh vực an ninh quốc gia. Nó là một bộ phận quan trọng trong
các hệ thống thông minh; được sử dụng trong việc dò tìm, xử lý số liệu và hỗ trợ
ra quyết định,… Nói một cách tổng quát thì nhận dạng là một bộ môn khoa học
có liên quan một cách hữu cơ đến việc phân lớp, tính toán các độ đo.

Bài toán nhận dạng ký tự là một bài toán con trong lớp bài toán nhận dạng
và xử lý ảnh. Có rất nhiều phương pháp khác nhau để giải quyết bài toán này và
phương pháp áp dụng mạng neuron đã mang lại hiệu quả khá cao.

“Nhận dạng ký tự số bằng mạng neuron ” là nội dung đề tài. Để nhận


dạng các ký tự số tôi lựa chọn “Mạng neuron 2 lớp lan truyền ngược sai số”.
Mặc dù đã có nhiều cố gắng trong quá trình thực hiện nhưng đề tài không thể
tránh được những thiếu sót mong sự góp ý của thầy giáo và các ban.
Tôi xin chân thành cảm ơn sự hướng dẫn của Thầy giáo TS. Đào Thanh
Tĩnh – Khoa CNTT – HVKTQS, xin cảm ơn sự góp ý quý báu của các bạn học
viên .

Người thực hiện.

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
1
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng n¬ ron
i. tæng quan vÒ nhËn d¹ng

NhËn d¹ng lµ qu¸ tr×nh ph©n lo¹i c¸c ®èi t−îng ®−îc biÓu diÔn theo mét m«
h×nh nµo ®ã vµ g¸n cho chóng vµo mét líp (g¸n cho ®èi t−îng mét tªn gäi) dùa
theo nh÷ng quy luËt vµ c¸c mÉu chuÈn. Qu¸ tr×nh nhËn d¹ng dùa vµo nh÷ng mÉu
häc biÕt tr−íc gäi lµ nhËn d¹ng cã thµy hay häc cã thµy (supervised learning);
trong tr−êng hîp ng−îc l¹i gäi lµ häc kh«ng cã thµy (non supervised learning).
Chóng ta sÏ lÇn l−ît giíi thiÖu c¸c kh¸i niÖm nµy.
1.1 Kh«ng gian biÓu diÔn ®èi t−îng, kh«ng gian diÔn dÞch
Kh«ng gian biÓu diÔn ®èi t−îng
C¸c ®èi t−îng khi quan s¸t hay thu thËp ®−îc, th−êng ®−îc biÓu diÔn bëi
tËp c¸c ®Æc tr−ng hay ®Æc tÝnh. Nh− trong tr−êng hîp xö lý ¶nh, ¶nh sau khi ®−îc
t¨ng c−êng ®Ó n©ng cao chÊt l−îng, ph©n vïng vµ trÝch chän ®Æc tÝnh, ®−îc biÓu
diÔn bëi c¸c ®Æc tr−ng nh− biªn, miÒn ®ång nhÊt, v...,v. Ng−êi ta th−êng ph©n c¸c
®Æc tr−ng nµy theo c¸c lo¹i nh−: ®Æc tr−ng t« p«, ®Æc tr−ng h×nh häc vµ ®Æc tr−ng
chøc n¨ng. ViÖc biÓu diÔn ¶nh theo ®Æc tr−ng nµo lµ phô thuéc vµo øng dông tiÕp
theo.
ë ®©y ta ®−a ra mét c¸ch h×nh thøc viÖc biÓu diÔn c¸c ®èi t−îng. Gi¶ sö ®èi
t−îng X (¶nh, ch÷ viÕt, dÊu v©n tay, v...,v) ®−îc biÓu diÔn bëi n thµnh phÇn (n ®Æc
tr−ng): X = {x1, x2,..., xn}; mçi xi biÓu diÔn mét ®Æc tÝnh. Kh«ng gian biÓu diÔn
®èi t−îng th−êng gäi t¾t lµ kh«ng gian ®èi t−îng X ®−îc ®Þnh nghÜa:
X = {X1, X2,..., Xm}
trong ®ã mçi Xi biÓu diÔn mét ®èi t−îng. Kh«ng gian nµy cã thÓ lµ v« h¹n. §Ó
tiÖn xem xÐt chóng ta chØ xÐt tËp X lµ h÷u h¹n.
Kh«ng gian diÔn dÞch
Kh«ng gian diÔn dÞch lµ tËp c¸c tªn gäi cña ®èi t−îng. KÕt thóc qu¸ tr×nh
nhËn d¹ng ta x¸c ®Þnh ®−îc tªn gäi cho c¸c ®èi t−îng trong tËp kh«ng gian ®èi

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
2
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
t−îng hay nãi lµ ®· nhËn d¹ng ®−îc ®èi t−îng Mét c¸ch h×nh thøc gäi Ω lµ tËp
tªn ®èi t−îng:
Ω = {w1, w2,...,wk} víi wi, i = 1, 2,..., k lµ tªn c¸c ®èi t−îng
Qu¸ tr×nh nhËn d¹ng ®èi t−îng f lµ mét ¸nh x¹ f: X ---> Ω víi f lµ tËp c¸c
quy luËt ®Ó ®Þnh mét phÇn tö trong X øng víi mét phÇn tö trong Ω. NÕu tËp c¸c
quy luËt vµ tËp tªn c¸c ®èi t−îng lµ biÕt tr−íc nh− trong nhËn d¹ng ch÷ viÕt (cã 26
líp tõ A ®Õn Z), ng−êi ta gäi lµ nhËn d¹ng cã thµy. Tr−êng hîp thø hai lµ nhËn
d¹ng kh«ng cã thµy. §−¬ng nhiªn trong tr−êng hîp nµy viÖc nhËn d¹ng cã khã
kh¨n h¬n.
1.2 M« h×nh vµ b¶n chÊt cña qu¸ tr×nh nhËn d¹ng
1.2.1 M« h×nh
ViÖc chän lùa mét qu¸ tr×nh nhËn d¹ng cã liªn quan mËt thiÕt ®Õn kiÓu m«
t¶ mµ ng−êi ta sö dông ®Ó ®Æc t¶ ®èi t−îng. Trong nhËn d¹ng, ng−êi ta ph©n chia
lµm 2 hä lín:
- Hä m« t¶ theo tham sè.
- Hä m« t¶ theo cÊu tróc.
C¸ch m« t¶ ®−îc lùa chän sÏ x¸c ®Þnh m« h×nh cña ®èi t−îng. Nh− vËy, chóng ta
sÏ cã 2 lo¹i m« h×nh: m« h×nh theo tham sè vµ m« h×nh cÊu tróc.
• M« h×nh tham sè sö dông mét vÐct¬ ®Ó ®Æc t¶ ®èi t−îng. Mçi phÇn tö cña
vÐct¬ m« t¶ mét ®Æc tÝnh cña ®èi t−îng. ThÝ dô nh− trong c¸c ®Æc tr−ng chøc
n¨ng, ng−êi ta sö dông c¸c hµm c¬ së trùc giao ®Ó biÓu diÔn. Vµ nh− vËy ¶nh
sÏ ®−îc biÓu diÔn bëi mét chuçi c¸c hµm trùc giao. Gi¶ sö C lµ ®−êng bao cña
¶nh vµ C(i,j) lµ ®iÓm thø i trªn ®−êng bao, i = 1, 2,..., N (®−êng bao gåm N
®iÓm).
Gi¶ sö tiÕp :
N
1
x0 =
N

i =1
xi

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
3
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
1 N
y0 = ∑ yi
N i =1

lµ to¹ ®é t©m ®iÓm. Nh− vËy, moment trung t©m bËc p, q cña ®−êng bao lµ:
N
1
µpq =
N
∑i =1
(xi-x0)p(yi-y0)q (1)

VÐct¬ tham sè trong tr−êng hîp nµy chÝnh lµ c¸c moment µij víi i=1, 2,...,p
vµ j=1, 2,...,q. Cßn trong sè c¸c ®Æc tr−ng h×nh häc, ng−êi ta hay sö dông chu
tuyÕn , ®−êng bao, diÖn tÝch vµ tØ lÖ T = 4πS/p2, víi S lµ
diÖn tÝch, p lµ chu tuyÕn.
ViÖc lùa chän ph−¬ng ph¸p biÓu diÔn sÏ lµm ®¬n gi¶n c¸ch x©y dùng. Tuy
nhiªn, viÖc lùa chän ®Æc tr−ng nµo lµ hoµn toµn phô thuéc vµo øng dông. ThÝ dô
, trong nhËn d¹ng ch÷, c¸c tham sè lµ c¸c dÊu hiÖu:
- sè ®iÓm ch¹c ba, ch¹c t−,
- sè ®iÓm chu tr×nh,
- sè ®iÓm ngoÆt,
- sè ®iÓm kÕt thóc,

1.2.2 B¶n chÊt cña qu¸ tr×nh nhËn d¹ng


Qu¸ tr×nh nhËn d¹ng gåm 3 giai ®o¹n chÝnh:
- Lùa chän m« h×nh biÓu diÔn ®èi t−îng.
- Lùa chän luËt ra quyÕt ®Þnh (ph−¬ng ph¸p nhËn d¹ng) vµ suy diÔn qu¸
tr×nh häc.
- Häc nhËn d¹ng.
Khi m« h×nh biÓu diÔn ®èi t−îng ®· ®−îc x¸c ®Þnh, cã thÓ lµ ®Þnh l−îng
(m« h×nh tham sè) hay ®Þnh tÝnh (m« h×nh cÊu tróc), qu¸ tr×nh nhËn d¹ng chuyÓn
sang giai ®o¹n häc. Häc lµ giai ®o¹n rÊt quan träng. Thao t¸c häc nh»m c¶i thiÖn,
®iÒu chØnh viÖc ph©n ho¹ch tËp ®èi t−îng thµnh c¸c líp.
ViÖc nhËn d¹ng chÝnh lµ t×m ra quy luËt vµ c¸c thuËt to¸n ®Ó cã thÓ g¸n ®èi
t−îng vµo mét líp hay nãi mét c¸ch kh¸c g¸n cho ®èi t−îng mét tªn.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
4
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
Häc cã thµy (supervised learning)
Kü thuËt ph©n lo¹i nhê kiÕn thøc biÕt tr−íc gäi lµ häc cã thµy. §Æc ®iÓm c¬
b¶n cña kü thuËt nµy lµ ng−êi ta cã mét th− viÖn c¸c mÉu chuÈn. MÉu cÇn nhËn
d¹ng sÏ ®−îc ®em s¸nh víi mÉu chuÈn ®Ó xem nã thuéc lo¹i nµo. ThÝ dô nh−
trong mét ¶nh viÔn th¸m, ng−êi ta muèn ph©n biÖt mét c¸nh ®ång lóa, mét c¸nh
rõng hay mét vïng ®Êt hoang mµ ®· cã c¸c miªu t¶ vÒ c¸c ®èi t−îng ®ã. VÊn ®Ò
chñ yÕu lµ thiÕt kÕ mét hÖ thèng ®Ó cã thÓ ®èi s¸nh ®èi t−îng trong ¶nh víi mÉu
chuÈn vµ quyÕt ®Þnh g¸n cho chóng vµo mét líp. ViÖc ®èi s¸nh nhê vµo c¸c thñ
tôc ra quyÕt ®Þnh dùa trªn mét c«ng cô gäi lµ hµm ph©n líp hay hµm ra quyÕt
®Þnh. Hµm nµy sÏ ®−îc ®Ò cËp trong phÇn sau.
Häc kh«ng cã thµy(unsupervised learning)
Kü thuËt häc nµy ph¶i tù ®Þnh ra c¸c líp kh¸c nhau vµ x¸c ®Þnh c¸c tham sè
®Æc tr−ng cho tõng líp. Häc kh«ng cã thµy ®−¬ng nhiªn lµ khã kh¨n h¬n. Mét
mÆt, do sè líp kh«ng ®−îc biÕt tr−íc, mÆt kh¸c nh÷ng ®Æc tr−ng cña c¸c líp còng
kh«ng biÕt tr−íc. Kü thuËt nµy nh»m tiÕn hµnh mäi c¸ch gép nhãm cã thÓ vµ
chän lùa c¸ch tèt nhÊt. B¾t ®Çu tõ tËp d÷ liÖu, nhiÒu thñ tôc xö lý kh¸c nhau nh»m
ph©n líp vµ n©ng cÊp dÇn ®Ó ®¹t ®−îc mét ph−¬ng ¸n ph©n lo¹i.
Nh×n chung, dï lµ m« h×nh nµo vµ kü thuËt nhËn d¹ng ra sao, mét hÖ thèng
nhËn d¹ng cã thÓ tãm t¾t theo s¬ ®å sau:

TrÝch chän ®Æc tÝnh biÓu ph©n líp ra quyÕt tr¶ lêi §¸nh gi¸
diÓn ®èi t−îng ®Þnh

Qu¸ tr×nh tiÒn xö lý Khèi nhËn d¹ng

H 1 S¬ ®å tæng qu¸t mét hÖ nhËn d¹ng

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
5
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------

II. m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng


neuron.
2.1 Bé n·o vµ neuron sinh häc:

Tr−íc tiªn, cÇn xem xÐt mét sè kh¸i niÖm c¬ b¶n vÒ bé n·o còng nh− c¬
chÕ ho¹t ®éng cña m¹ng n¬ ron sinh häc. TiÕp theo, ®Ó tiÖn theo dâi, ë ®©y sÏ ®Ò
cËp ®Õn mét øng dông cña m¹ng n¬ ron trong nhËn d¹ng ch÷ viÕt.

C¸c nhµ nghiªn cøu sinh häc vÒ bé n·o cho ta thÊy r»ng c¸c n¬ ron (tÕ bµo
thÇn kinh) lµ ®¬n vÞ c¬ së ®¶m nhiÖm nh÷ng chøc n¨ng xö lý nhÊt ®Þnh trong hÖ
thÇn kinh, bao gåm n·o, tuû sèng vµ c¸c d©y thÇn kinh. Mçi n¬ ron cã phÇn th©n
víi nh©n bªn trong (gäi lµ soma), mét ®Çu thÇn kinh ra (gäi lµ sîi trôc axon) vµ
mét hÖ thèng d¹ng c©y c¸c d©y thÇn kinh vµo (gäi lµ dendrite). C¸c d©y thÇn kinh
vµo t¹o thµnh mét l−íi dµy ®Æc xung quanh th©n tÕ bµo, chiÕm diÖn tÝch kho¶ng
0,25 mm2, cßn d©y thÇn kinh ra t¹o thµnh trôc dµi cã thÓ tõ 1 cm cho ®Õn hµng
mÐt. §−êng kÝnh cña nh©n tÕ bµo th−êng chØ lµ 10-4m. Trôc d©y thÇn kinh ra còng
cã thÓ ph©n nh¸nh theo d¹ng c©y ®Ó nèi víi c¸c d©y thÇn kinh vµo hoÆc trùc tiÕp
víi nh©n tÕ bµo c¸c n¬ ron kh¸c th«ng qua c¸c khíp nèi (gäi lµ synapse). Th«ng
th−êng, mçi n¬ ron cã thÓ gåm vµi chôc cho tíi hµng tr¨m ngµn khíp nèi ®Ó nèi
víi c¸c n¬ ron kh¸c. Ng−êi ta −íc l−îng r»ng l−íi c¸c d©y thÇn kinh ra cïng víi
c¸c khíp nèi bao phñ diÖn tÝch kho¶ng 90% bÒ mÆt n¬ ron .
C¸c tÝn hiÖu truyÒn trong c¸c d©y thÇn kinh vµo vµ d©y thÇn kinh ra cña c¸c
n¬ ron lµ tÝn hiÖu ®iÖn vµ ®−îc thùc hiÖn th«ng qua c¸c qu¸ tr×nh ph¶n øng vµ gi¶i
phãng c¸c chÊt h÷u c¬. C¸c chÊt nµy ®−îc ph¸t ra tõ c¸c khíp nèi dÉn tíi c¸c d©y
thÇn kinh vµo sÏ lµm t¨ng hay gi¶m ®iÖn thÕ cña nh©n tÕ bµo. Khi ®iÖn thÕ nµy ®¹t
tíi mét ng−ìng nµo ®ã, sÏ t¹o ra mét xung ®iÖn dÉn tíi trôc d©y thÇn kinh ra.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
6
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
Xung nµy ®−îc truyÒn theo trôc, tíi c¸c nh¸nh rÏ khi ch¹m tíi c¸c khíp nèi víi
c¸c n¬ ron kh¸c sÏ gi¶i phãng c¸c chÊt truyÒn ®iÖn. Ng−êi ta chia lµm hai lo¹i
khíp nèi: khíp nèi kÝch thÝch (excitatory) hoÆc khíp nèi øc chÕ (inhibitory).
Ph¸t hiÖn quan träng nhÊt trong ngµnh nghiªn cøu vÒ bé n·o lµ c¸c liªn kÕt khíp
thÇn kinh kh¸ mÒm dÎo, cã thÓ biÕn ®éng vµ chØnh ®æi theo thêi gian tuú thuéc
vµo c¸c d¹ng kÝch thÝch. H¬n n÷a, c¸c n¬ ron cã thÓ s¶n sinh c¸c liªn kÕt míi víi
c¸c n¬ ron kh¸c vµ ®«i khi, l−íi c¸c n¬ ron cã thÓ di tró tõ vïng nµy sang vïng
kh¸c trong bé n·o. C¸c nhµ khoa häc cho r»ng ®©y chÝnh lµ c¬ së quan träng ®Ó
gi¶i thÝch c¬ chÕ häc cña bé n·o con ng−êi.
PhÇn lín c¸c qu¸ tr×nh xö lý th«ng tin ®Òu x¶y ra trªn vá n·o. Toµn bé vá
n·o ®−îc bao phñ bëi m¹ng c¸c tæ chøc c¬ së cã d¹ng h×nh thïng trßn víi ®−êng
kÝch kho¶ng 0,5 mm, ®é cao 4 mm. Mçi ®¬n vÞ c¬ së nµy chøa kho¶ng 2000 n¬
ron. Ng−êi ta chØ ra r»ng mçi vïng n·o cã nh÷ng chøc n¨ng nhÊt ®Þnh. §iÒu rÊt
®¸ng ng¹c nhiªn chÝnh lµ c¸c n¬ ron rÊt ®¬n gi¶n trong c¬ chÕ lµm viÖc, nh−ng
m¹ng c¸c n¬ ron liªn kÕt víi nhau l¹i cã kh¶ n¨ng tÝnh to¸n, suy nghÜ, ghi nhí vµ
®iÒu khiÓn. Cã thÓ ®iÓm qua nh÷ng chøc n¨ng c¬ b¶n cña bé n·o nh− sau:
-Bé nhí ®−îc tæ chøc theo c¸c bã th«ng tin vµ truy nhËp theo néi dung (Cã
thÓ truy xuÊt th«ng tin dùa theo gi¸ trÞ c¸c thuéc tÝnh cña ®èi t−îng)
-Bé n·o cã kh¶ n¨ng tæng qu¸t ho¸, cã thÓ truy xuÊt c¸c tri thøc hay c¸c
mèi liªn kÕt chung cña c¸c ®èi t−îng t−¬ng øng víi mét kh¸i niÖm chung nµo ®ã
- Bé n·o cã kh¶ n¨ng dung thø lçi theo nghÜa cã thÓ ®iÒu chØnh hoÆc tiÕp
tôc thùc hiÖn ngay khi cã nh÷ng sai lÖch do th«ng tin bÞ thiÕu hoÆc kh«ng chÝnh
x¸c. Ngoµi ra, bé n·o cßn cã thÓ ph¸t hiÖn vµ phôc håi c¸c th«ng tin bÞ mÊt dùa
trªn sù t−¬ng tù gi÷a c¸c ®èi t−îng.
- Bé n·o cã kh¶ n¨ng xuèng cÊp vµ thay thÕ dÇn dÇn. Khi cã nh÷ng trôc
trÆc t¹i c¸c vïng n·o (do bÖnh, chÊn th−¬ng) hoÆc b¾t gÆp nh÷ng th«ng tin hoµn
toµn míi l¹, bé n·o vÉn cã thÓ tiÕp tôc lµm viÖc.
-Bé n·o cã kh¶ n¨ng häc.

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
7
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
So s¸nh kh¶ n¨ng lµm viÖc cña bé n·o vµ m¸y tÝnh

M¸y tÝnh Bé n·o ng−êi


§¬n vÞ tÝnh Bé xö lý trung t©m víi M¹ng 1011 n¬ ron
to¸n 105m¹ch logic c¬ së
Bé nhí 109 bit RAM 1011 n¬ ron
1010 bit bé nhí ngoµi víi 1014 khíp nèi
thÇn kinh
Thêi gian 10-8 gi©y 10-3 gi©y
xö lý
Th«ng 109 bit/gi©y 1014 bit/gi©y
l−îng
CËp nhËt 105 bit/gi©y 1014 n¬ ron/gi©y
th«ng tin

DÔ dµng thÊy r»ng bé n·o con ng−êi cã thÓ l−u gi÷ nhiÒu th«ng tin h¬n c¸c
m¸y tÝnh hiÖn ®¹i; Tuy r»ng ®iÒu nµy kh«ng ph¶i ®óng m·i m·i, bëi lÏ bé n·o tiÕn
hãa chËm, trong khi ®ã nhê nh÷ng tiÕn bé trong c«ng nghÖ vi ®iÖn tö, bé nhí m¸y
tÝnh ®−îc n©ng cÊp rÊt nhanh. H¬n n÷a, sù h¬n kÐm vÒ bé nhí trë nªn hoµn toµn
thø yÕu so víi sù kh¸c biÖt vÒ tèc ®é tÝnh to¸n vµ kh¶ n¨ng xö lý song song. C¸c
bé vi xö lý cã thÓ tÝnh 108 lÖnh trong mét gi©y, trong khi ®ã m¹ng n¬ ron xö lý
chËm h¬n, cÇn kho¶ng vµi miligi©y ®Ó kÝch ho¹t. Tuy nhiªn, bé n·o cã thÓ kÝch
ho¹t hÇu nh− cïng mét lóc t¹i rÊt nhiÒu n¬ ron vµ khíp nèi, trong khi ®ã ngay c¶
m¸y tÝnh hiÖn ®¹i còng chØ cã mét sè h¹n chÕ c¸c bé vi xö lý song song. NÕu
ch¹y mét m¹ng n¬ ron nh©n t¹o trªn m¸y tÝnh, ph¶i tèn hµng tr¨m lÖnh m¸y ®Ó
kiÓm tra mét n¬ ron cã ®−îc kÝch ho¹t hay kh«ng (tiªu phÝ kho¶ng 10-8 x 102
gi©y/n¬ ron). Do ®ã, dÇu bé vi xö lý cã thÓ tÝnh to¸n nhanh h¬n hµng triÖu lÇn so

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
8
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
víi c¸c n¬ ron bé n·o, nh−ng xÐt tæng thÓ bé n·o l¹i tÝnh to¸n nhanh h¬n hµng tû
lÇn.
C¸ch tiÕp cËn m¹ng n¬ ron nh©n t¹o cã ý nghÜa thùc tiÔn rÊt lín cho phÐp
t¹o ra c¸c thiÕt bÞ cã thÓ kÕt hîp kh¶ n¨ng song song cao cña bé n·o víi tèc ®é
tÝnh to¸n cao cña m¸y tÝnh. Tuy vËy, cÇn ph¶i cã mét kho¶ng thêi gian dµi n÷a ®Ó
c¸c m¹ng n¬ ron nh©n t¹o cã thÓ m« pháng ®−îc c¸c hµnh vi s¸ng t¹o cña bé n·o
con ng−êi. Ch¼ng h¹n, bé n·o cã thÓ thùc hiÖn mét nhiÖm vô kh¸ phøc t¹p nh−
nhËn ra khu«n mÆt ng−êi quen sau kh«ng qu¸ 1 gi©y, trong khi ®ã mét m¸y tÝnh
tuÇn tù ph¶i thùc hiÖn hµng tû phÐp tÝnh (kho¶ng 10 gi©y) ®Ó thùc hiÖn cïng thao
t¸c ®ã, nh−ng víi chÊt l−îng kÐm h¬n nhiÒu, ®Æc biÖt trong tr−êng hîp th«ng tin
kh«ng chÝnh x¸c, kh«ng ®Çy ®ñ.

Khíp nèi

Trôc tõ n¬ ron kh¸c


D©y TK Nh©n
vµo
Trôc

Khíp nèi

H×nh 2 . CÊu t¹o n¬ ron sinh häc

2.2. M« h×nh m¹ng neuron nh©n t¹o:


M¹ng n¬ ron nh©n t¹o (Artificial Neural Network) gäi t¾t lµ MNR bao gåm
c¸c nót (®¬n vÞ xö lý, n¬ ron) ®−îc nèi víi nhau bëi c¸c liªn kÕt n¬ ron. Mçi liªn
kÕt kÌm theo mét träng sè nµo ®ã, ®Æc tr−ng cho ®Æc tÝnh kÝch ho¹t/ øc chÕ gi÷a
c¸c n¬ ron. Cã thÓ xem c¸c träng sè lµ ph−¬ng tiÖn ®Ó l−u gi÷a th«ng tin dµi h¹n
trong m¹ng n¬ ron vµ nhiÖm vô cña qu¸ tr×nh huÊn luyÖn (häc) m¹ng lµ cËp nhËt
c¸c träng sè khi cã thªm c¸c th«ng tin vÒ c¸c mÉu häc, hay nãi mét c¸ch kh¸c,
c¸c träng sè ®−îc ®iÒu chØnh sao cho d¸ng ®iÖu vµo ra cña nã m« pháng hoµn
toµn phï hîp m«i tr−êng ®ang xem xÐt.
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
9
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
Trong m¹ng, mét sè n¬ ron ®−îc nèi víi m«i tr−êng bªn ngoµi nh− c¸c ®Çu ra,
®Çu vµo.
2.2.1. M« h×nh n¬ ron nh©n t¹o

sj
wj

C¸c liªn kÕt Net = Σ g out C¸c liªn


vµo kÕt ra

Hµm Hµm kÝch §Çu ra


vµo ho¹t

H×nh 3 . M« h×nh n¬ ron nh©n t¹o

Mçi n¬ ron ®−îc nèi víi c¸c n¬ ron kh¸c vµ nhËn ®−îc c¸c tÝn hiÖu sj tõ
chóng víi c¸c träng sè wj. Tæng c¸c th«ng tin vµo cã träng sè lµ:
Net = Σ wj sj.
Ng−êi ta gäi ®©y lµ thµnh phÇn tuyÕn tÝnh cña n¬ ron. Hµm kÝch ho¹t g (cßn
gäi lµ hµm chuyÓn) ®ãng vai trß biÕn ®æi tõ Net sang tÝn hiÖu ®Çu ra out.
out = g ( Net ).
§©y lµ thµnh phÇn phi tuyÕn cña n¬ ron. Cã 3 d¹ng hµm kÝch ho¹t th−êng ®−îc
dïng trong thùc tÕ:

− 1 neu x < 0 − 1 neu x < θ


Hµm dÊu sign ( x ) =  hoÆc sign ( x ) = 
1 neu x >= 0 1 neu x >= θ
0 neu x < 0 0 neu x < θ
Hµm d¹ng b−íc step ( x ) =  hoÆc step ( x ) = 
1 neu x >= 0 1 neu x >= θ

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
10
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------

1
Hµm sigmoid sigmoid ( x) = −α ( x +θ )
1+ e

ë ®©y ng−ìng θ ®ãng vai trß lµm t¨ng tÝnh thÝch nghi vµ kh¶ n¨ng tÝnh
to¸n cña m¹ng n¬ ron. Sö dông ký ph¸p vÐct¬, S = (s1,...,sn) vÐct¬ tÝn hiÖu vµo,
W=( w1,..., wn) vÐct¬ träng sè, ta cã
out = g( Net ) , Net = SW.
Tr−êng hîp xÐt ng−ìng θ, ta dïng biÓu diÔn vÐct¬ míi S'=( s1,...,sn, θ), W'=(
w1,..., wn,-1)

2.2.2. M¹ng n¬ ron


M¹ng n¬ ron lµ hÖ thèng bao gåm nhiÒu phÇn tö xö lý ®¬n gi¶n (n¬ ron)
ho¹t ®éng song song. TÝnh n¨ng cña hÖ thèng nµy tuú thuéc vµo cÊu tróc cña hÖ,
c¸c träng sè liªn kÕt n¬ ron vµ qu¸ tr×nh tÝnh to¸n t¹i c¸c n¬ ron ®¬n lÎ. M¹ng n¬
ron cã thÓ häc tõ d÷ liÖu mÉu vµ tæng qu¸t hãa dùa trªn c¸c d÷ liÖu mÉu häc.
Trong m¹ng n¬ ron, c¸c n¬ ron ®ãn nhËn tÝn hiÖu vµo gäi lµ n¬ ron vµo vµ c¸c n¬
ron ®−a th«ng tin ra gäi lµ n¬ ron ra.

2.2.3. Ph©n lo¹i m¹ng neuron


Theo kiÓu liªn kÕt n¬ ron: Ta cã m¹ng n¬ ron truyÒn th¼ng (feel-forward
Neural Network) vµ m¹ng n¬ ron qui håi (recurrent NN). Trong m¹ng n¬ ron
truyÒn th¼ng, c¸c liªn kÕt n¬ ron ®i theo mét h−íng nhÊt ®Þnh, kh«ng t¹o thµnh ®å
thÞ kh«ng cã chu tr×nh (Directed Acyclic Graph) víi c¸c ®Ønh lµ c¸c n¬ ron, c¸c
cung lµ c¸c liªn kÕt gi÷a chóng. Ng−îc l¹i, c¸c m¹ng qui håi cho phÐp c¸c liªn
kÕt n¬ ron t¹o thµnh chu tr×nh. V× c¸c th«ng tin ra cña c¸c n¬ ron ®−îc truyÒn l¹i
cho c¸c n¬ ron ®· gãp phÇn kÝch ho¹t chóng, nªn m¹ng håi qui cßn cã kh¶ n¨ng

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
11
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
l−u gi÷ tr¹ng th¸i trong cña nã d−íi d¹ng c¸c ng−ìng kÝch ho¹t ngoµi c¸c träng sè
liªn kÕt n¬ ron.
Theo sè líp: C¸c n¬ ron cã thÓ tæ chøc l¹i thµnh c¸c líp sao cho mçi n¬ ron cña
líp nµy chØ ®−îc nèi víi c¸c n¬ ron ë líp tiÕp theo, kh«ng cho phÐp c¸c liªn kÕt
gi÷a c¸c n¬ ron trong cïng mét líp, hoÆc tõ n¬ ron líp d−íi lªn n¬ ron líp trªn. ë
®©y còng kh«ng cho phÐp c¸c liªn kÕt n¬ ron nh¶y qua mét líp.

Líp vµo N¬ ron vµo

Líp Èn

N¬ ron ra
Líp ra

a) M¹ng n¬ ron nhiÒu líp b) M¹ng n¬ ron truyÒn th¼ng

H×nh 4 . M¹ng n¬ ron truyÒn th¼ng vµ nhiÒu líp

H×nh 5. M¹ng n¬ ron håi qui


DÔ dµng nhËn thÊy r»ng c¸c n¬ ron trong cïng mét líp nhËn ®−îc tÝn hiÖu tõ
líp trªn cïng mét lóc, do vËy vÒ nguyªn t¾c chóng cã thÓ xö lý song song. Th«ng
th−êng, líp n¬ ron vµo chØ chÞu tr¸ch nhiÖm truyÒn ®−a tÝn hiÖu vµo, kh«ng thùc
hiÖn mét tÝnh to¸n nµo nªn khi tÝnh sè líp cña m¹ng, ng−êi ta kh«ng tÝnh líp nµo.
VÝ dô, m¹ng n¬ ron ë h×nh 5 cã 2 líp : mét líp Èn vµ mét líp ra.
2.2.4. Hai c¸ch nh×n vÒ m¹ng neuron:
• M¹ng n¬ ron nh− mét c«ng cô tÝnh to¸n:
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
12
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
Gi¶ sö m¹ng n¬ ron NN cã m n¬ ron vµo vµ n n¬ ron ra, khi ®ã víi mçi vÐc
t¬ c¸c tÝn hiÖu vµo X = (x1,...,xm), sau qu¸ tr×nh tÝnh to¸n t¹i c¸c n¬ ron Èn, ta nhËn
®−îc kÕt qu¶ ra Y=(y1,...,yn). Theo nghÜa nµo ®ã m¹ng n¬ ron lµm viÖc víi t− c¸ch
mét b¶ng tra, mµ kh«ng cÇn biÕt d¹ng phô thuéc hµm t−êng minh gi÷a Y vµ X.
Khi ®ã ta viÕt :
Y = Tinh( X, NN )
CÇn l−u ý thªm r»ng c¸c n¬ ron trªn cïng mét líp cã thÓ tÝnh to¸n ®ång thêi,
do vËy ®é phøc t¹p tÝnh to¸n nãi chung sÏ phô thuéc vµo sè líp m¹ng.
C¸c th«ng sè cÊu tróc m¹ng n¬ ron bao gåm:
+ Sè tÝn hiÖu vµo , sè tÝn hiÖu ra.
+ Sè líp n¬ ron.
+ Sè n¬ ron trªn mçi líp Èn.
+ Sè l−îng liªn kÕt cña mçi n¬ ron (liªn kÕt ®Çy ®ñ, liªn kÕt bé phËn vµ liªn
kÕt ngÉu nhiªn).
+ C¸c träng sè liªn kÕt n¬ ron.
• M¹ng n¬ ron nh− mét hÖ thèng thÝch nghi cã kh¶ n¨ng häc (huÊn luyÖn) ®Ó
tinh chØnh c¸c träng sè liªn kÕt còng nh− cÊu tróc cña m×nh sao cho phï hîp víi
c¸c mÉu häc (samples). Ng−êi ta ph©n biÖt ba lo¹i kü thuËt häc: häc cã quan s¸t
(supervised learning) hay cßn gäi lµ häc cã thÇy, häc kh«ng cã gi¸m s¸t
(unsupervised learning) hay cßn gäi lµ häc kh«ng cã thÇy vµ häc t¨ng c−êng.
Trong häc cã gi¸m s¸t, m¹ng ®−îc cung cÊp mét tËp mÉu häc {(Xs,Ys)} theo
nghÜa Xs lµ c¸c tÝn hiÖu vµo, th× kÕt qu¶ ra ®óng cña hÖ ph¶i lµ Ys. ë mçi lÇn häc,
vect¬ tÝn hiÖu vµo Xs ®−îc ®−a vµo m¹ng, sau ®ã so s¸nh sù sai kh¸c gi÷a c¸c kÕt
qu¶ ra ®óng Ys víi kÕt qu¶ tÝnh to¸n outs. Sai sè nµy sÏ ®−îc dïng ®Ó hiÖu chØnh
l¹i c¸c träng sè liªn kÕt trong m¹ng. Qu¸ tr×nh cø tiÕp tôc cho ®Õn khi tho¶ m·n
mét tiªu chuÈn nµo ®ã. Cã hai c¸ch sö dông tËp mÉu häc: hoÆc dïng c¸c mÉu lÇn
l−ît, hÕt mÉu nµy ®Õn mÉu kh¸c, hoÆc sö dông ®ång thêi tÊt c¶ c¸c mÉu mét lóc.
C¸c m¹ng víi c¬ chÕ häc kh«ng gi¸m s¸t ®−îc gäi lµ c¸c m¹ng tù tæ chøc. C¸c kü
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
13
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
thuËt häc trong m¹ng n¬ ron cã thÓ nh»m vµo hiÖu chØnh c¸c träng sè liªn kÕt (gäi
lµ häc tham sè) hoÆc ®iÒu chØnh, söa ®æi cÊu tróc cña m¹ng bao gåm sè líp, sè n¬
ron, kiÓu vµ träng sè c¸c liªn kÕt (gäi lµ häc cÊu tróc). C¶ hai môc ®Ých häc nµy
cã thÓ thùc hiÖn ®ång thêi hoÆc t¸ch biÖt.
Häc tham sè: Gi¶ sö cã k n¬ ron trong m¹ng vµ mçi n¬ ron cã ®óng l liªn kÕt vµo
víi c¸c n¬ ron kh¸c. Khi ®ã, ma trËn träng sè liªn kÕt W sÏ cã kÝch th−íc kxl. C¸c
thñ tôc häc tham sè nh»m môc ®Ých t×m kiÕm ma trËn W sao cho
Ys = Tinh ( Xs, W ) ®èi víi mäi mÉu häc S = ( Xs, Ys) (1)

Xs outs
M¹ng n¬ ron N

Ys
HiÖu chØnh W Sai sè

H×nh 6. Häc tham sè cã gi¸m s¸t

Häc cÊu tróc: Víi häc tham sè ta gi¶ ®Þnh r»ng m¹ng cã mét cÊu tróc cè ®Þnh.
ViÖc häc cÊu tróc cña m¹ng truyÒn th¼ng g¾n víi yªu cÇu t×m ra sè líp cña m¹ng
L vµ sè n¬ ron trªn mçi líp nj. Tuy nhiªn, víi c¸c m¹ng håi qui cßn ph¶i x¸c ®Þnh
thªm c¸c tham sè ng−ìng θ cña c¸c n¬ ron trong m¹ng. Mét c¸ch tæng qu¸t ph¶i
x¸c ®Þnh bé tham sè P = (L,n1,...,nl,θ1,...,θk).
ë ®©y k = Σ nj sao cho
Ys = Tinh (Xs,P) ®èi víi mäi mÉu häc s=( Xs, Ys) (2)
VÒ thùc chÊt, viÖc ®iÒu chØnh c¸c vect¬ tham sè W trong (1) hay P trong (2)
®Òu qui vÒ bµi to¸n t×m kiÕm tèi −u trong kh«ng gian tham sè. Do vËy, cã thÓ ¸p

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
14
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
dông c¸c c¬ chÕ t×m kiÕm kinh ®iÓn theo gradient hay c¸c gi¶i thuËt di truyÒn, lËp
tr×nh tiÕn hãa.
2.2.5. Kh¶ n¨ng tÝnh to¸n vµ biÓu diÔn phô thuéc d÷ liÖu cña m¹ng neuron:
M¹ng n¬ ron truyÒn th¼ng chØ ®¬n thuÇn tÝnh to¸n c¸c tÝn hiÖu ra dùa trªn
c¸c tÝn hiÖu vµo vµ c¸c träng sè liªn kÕt n¬ ron ®· x¸c ®Þnh s½n ë trong m¹ng. Do
®ã chóng kh«ng cã tr¹ng th¸i bªn trong nµo kh¸c ngoµi vect¬ träng sè W. §èi
víi m¹ng håi qui, tr¹ng th¸i trong cña m¹ng ®−îc l−u gi÷ t¹i c¸c ng−ìng cña c¸c
n¬ ron. §iÒu nµy cã nghÜa lµ qu¸ tr×nh tÝnh to¸n trªn m¹ng truyÒn th¼ng cã líp
lang h¬n trong m¹ng qui håi. Nãi chung, c¸c m¹ng qui håi cã thÓ kh«ng æn ®Þnh,
thËm chÝ rèi lo¹n theo nghÜa, khi cho vect¬ gi¸ trÞ ®Çu vµo X nµo ®ã, m¹ng cÇn
ph¶i tÝnh to¸n rÊt l©u, thËm chÝ cã thÓ bÞ lÆp v« h¹n tr−íc khi ®−a ra ®−îc kÕt qu¶
mong muèn. Qu¸ tr×nh häc cña m¹ng qui håi còng phøc t¹p h¬n rÊt nhiÒu. Tuy
vËy, c¸c m¹ng qui håi cã thÓ cho phÐp m« pháng c¸c hÖ thèng t−¬ng ®èi phøc t¹p
trong thùc tÕ.
2.2.6. X¸c ®Þnh cÊu tróc m¹ng tèi −u:
Nh− ®· nãi ë trªn, lùa chän sai cÊu tróc m¹ng cã thÓ dÉn tíi ho¹t ®éng m¹ng
trë nªn kÐm hiÖu qu¶. NÕu ta chän m¹ng qu¸ nhá cã thÓ chóng kh«ng biÓu diÔn
®−îc sù phô thuéc d÷ liÖu mong muèn. NÕu chän m¹ng qu¸ lín ®Ó cã thÓ nhí
®−îc tÊt c¶ c¸c mÉu häc d−íi d¹ng b¶ng tra, nh−ng hoµn toµn kh«ng thÓ tæng
qu¸t hãa ®−îc cho nh÷ng tÝn hiÖu vµo ch−a biÕt tr−íc. Nãi c¸ch kh¸c, còng gièng
nh− trong c¸c m« h×nh thèng kª, c¸c m¹ng n¬ ron cã thÓ ®−a tíi t×nh tr¹ng qu¸
thõa tham sè.
Bµi to¸n x¸c ®Þnh cÊu tróc m¹ng tèt cã thÓ xem nh− bµi to¸n t×m kiÕm trong
kh«ng gian tham sè. Mét c¸ch lµm lµ sö dông gi¶i thuËt di truyÒn. Tuy vËy,
kh«ng gian tham sè cã thÓ rÊt lín vµ ®Ó x¸c ®Þnh mét tr¹ng th¸i W (hoÆc P) trong
kh«ng gian ®ßi hái ph¶i huÊn luyÖn m¹ng, do vËy rÊt tèn thêi gian. Cã thÓ ¸p
dông t− t−ëng t×m kiÕm leo ®åi (hill-climbing) nh»m söa ®æi mét c¸ch cã lùa
chän, mang tÝnh ®Þa ph−¬ng cÊu tróc m¹ng hiÖn cã. Cã hai c¸ch lµm:
---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
15
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
+ HoÆc b¾t ®Çu víi mét m¹ng lín, sau ®ã gi¶m nhá xuèng.
+ HoÆc b¾t ®Çu víi mét m¹ng nhá, sau ®ã t¨ng dÇn lªn.
Mét kü thuËt kh¸c cã thÓ ¸p dông gäi lµ " Tæn th−¬ng tèi −u" nh»m lo¹i bá
mét sè liªn kÕt träng sè trong m¹ng dùa trªn c¸ch tiÕp cËn lý thuyÕt th«ng tin.
§¬n gi¶n nhÊt lµ c¸c liªn kÕt cã träng sè b»ng 0. Qu¸ tr×nh cø tiÕp tôc nh− vËy.
Thùc nghiÖm chØ ra r»ng, kü thuËt nµy cã thÓ lo¹i trõ tíi 3/4 c¸c liªn kÕt, do ®ã
n©ng cao ®¸ng kÓ hiÖu qu¶ cña m¹ng.
Ngoµi viÖc lo¹i trõ c¸c liªn kÕt n¬ ron thõa, ng−êi ta cã thÓ vøt bá nh÷ng n¬
ron kh«ng ®ãng gãp nhiÒu vµo qu¸ tr×nh thùc hiÖn cña m¹ng.
Gi¶i thuËt " Lîp ngãi" lµ mét biÕn thÓ cña kü thuËt t¨ng tr−ëng m¹ng xuÊt
ph¸t tõ cÊu h×nh ban ®Çu t−¬ng ®èi nhá. ý t−ëng ë ®©y lµ x¸c ®Þnh mét cÊu h×nh
m¹ng cho phÐp tÝnh ®óng c¸c mÉu häc ®· biÕt. Sau ®ã, mçi khi thªm dÇn mÉu
häc míi, m¹ng ®−îc phÐp thªm mét sè n¬ ron cho phÐp ®o¸n ®óng kÕt qu¶ häc
hiÖn t¹i vµ qu¸ tr×nh cø tiÕp tôc nh− vËy.
2.3. M¹ng n¬ ron nhiÒu líp lan truyÒn ng−îc sai sè (Back-propagation
Neural Network)
Rosenblatt vµ c¸c t¸c gi¶ kh¸c còng ®· m« t¶ c¸c m¹ng truyÒn th¼ng nhiÒu
líp tõ cuèi nh÷ng n¨m 50, nh−ng hä chñ yÕu chØ nghiªn cøu s©u vÒ m¹ng
Perceptron mét líp. Së dÜ nh− vËy lµ do kh«ng t×m ®−îc c¸ch thay ®æi träng sè
liªn kÕt t¹i c¸c líp Èn. Qu¶ thËt, ngay c¶ khi ®· biÕt ®−îc sai sè t¹i c¸c ®Çu ra,
ng−êi ta vÉn ch−a h×nh dung ®−îc c¸c sai sè ®ã ®−îc ph©n bè nh− thÕ nµo t¹i c¸c
n¬ ron Èn. Trong cuèn s¸ch vÒ m¹ng Perceptron xuÊt b¶n 1969, Minsky vµ Papert
®· chØ ra r»ng khã cã thÓ tæng qu¸t ho¸ luËt häc ®èi víi m¹ng mét líp sang m¹ng
nhiÒu líp. Cã 2 lý gi¶i chÝnh cho vÊn ®Ò nµy. Thø nhÊt, thuËt gi¶i häc cña m¹ng
nhiÒu líp cã thÓ kh«ng hiÖu qu¶, hoÆc kh«ng héi tô vÒ ®iÓm cùc trÞ tæng thÓ trong
kh«ng gian vect¬ träng sè. MÆt kh¸c, c¸c nghiªn cøu trong lý thuyÕt tÝnh to¸n ®·
chØ ra r»ng trong tr−êng hîp tåi nhÊt qu¸ tr×nh häc c¸c hµm tæng qu¸t tõ mÉu häc
kh«ng ph¶i lóc nµo còng gi¶i quyÕt ®−îc. C¸c nguyªn t¾c c¬ b¶n trong luËt häc

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
16
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
®èi víi m¹ng nhiÒu líp ®· ®−îc Bryson vµ Ho ®Ò xuÊt tõ n¨m 1969, nh−ng ph¶i
tíi gi÷a n¨m 1980 vÊn ®Ò nµy míi ®−îc quan t©m trë l¹i bëi c«ng tr×nh nghiªn
cøu cña Rumelhart n¨m 1986. Mét thèng kª cho thÊy 90% øng dông m¹ng n¬ ron
trong c«ng nghÖ ho¸ häc sö dông m« h×nh nµy.
2.3.1. KiÕn tróc m¹ng:
I1 I2 I3
Ik Líp ra (0)

wjk

aj H4 H5 Líp ra (1)

wjij
outi O6 Líp ra (2)

H×nh 7. M¹ng n¬ ron 2 líp


C¸c n¬ ron líp thø t ®−îc nèi ®Çy ®ñ víi c¸c n¬ ron líp thø t+1. Trong nhiÒu
øng dông thùc tÕ, ®Ó ®¬n gi¶n, ng−êi ta th−êng sö dông m¹ng cã mét líp Èn, sè
n¬ ron trong líp Èn ®−îc x¸c ®Þnh dùa trªn kinh nghiÖm, hoÆc dùa trªn c¸c kü
thuËt t×m kiÕm kh¸c nhau .
2.3.2. HuÊn luyÖn m¹ng:
Qu¸ tr×nh huÊn luyÖn m¹ng ®−îc tr×nh bµy ë ®©y lµ qu¸ tr×nh häc cã gi¸m s¸t
víi tËp mÉu {(Xs, Ys)}. Thñ tôc häc cã thÓ tãm l−îc nh− sau:
Mçi khi ®−a mét mÉu Xs = (x1 , ..., xn) vµo m¹ng, ta thùc hiÖn c¸c c«ng viÖc
sau:
- Lan truyÒn mÉu Xs qua m¹ng ®Ó cã outs = Tinh (Xs, NN)
- TÝnh sai sè Errs cña m¹ng dùa trªn sai lÖch outs - Ys
- HiÖu chØnh c¸c träng sè liªn kÕt n¬ ron dÉn tíi líp ra Wij tõ n¬ ron j t¹i
líp Èn cuèi cïng tíi n¬ ron i t¹i líp ra:
wij = wij + α . aj . δi, (15)
ë ®©y: α lµ hÖ sè häc,

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
17
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
aj lµ ®Çu ra cña n¬ ron j,
δi lµ sai sè mµ n¬ ron i ë líp ra ph¶i chÞu tr¸ch nhiÖm, ®−îc x¸c ®Þnh
theo c«ng thøc:
δi = erri g'(Neti) (16)
víi erri lµ sai sè thµnh phÇn thø i trong Errs , Neti lµ tæng th«ng tin vµo cã
trong sè cña n¬ ron thø i (Neti=∑wij.aj) vµ g'(.) lµ ®¹o hµm cña hµm kÝch
ho¹t g ®−îc dïng trong c¸c n¬ ron.
- HiÖu chØnh c¸c träng sè liªn kÕt n¬ ron Wjk dÉn tíi tÊt c¶ líp Èn tõ n¬ ron
thø k sang n¬ ron j (c¸c líp Èn ®−îc xÐt tõ d−íi lªn) :
− TÝnh tæng sai sè t¹i n¬ ron j ph¶i chÞu tr¸ch nhiÖm

= g' (Net j ) ∑ w ijδ i (17)


δj i
− HiÖu chØnh träng sè wjk
wjk = wjk +α ak δj (18)

(tr−êng hîp xÐt liªn kÕt tõ n¬ ron vµo thø k sang n¬ ron j trªn líp Èn thø
nhÊt, ta cã ak = Ik, chÝnh lµ tÝn hiÖu vµo).
Chó ý :

1
g ( x) = −x
1+ e
a) Tr−êng hîp xÐt hµm kÝch ho¹t t¹i c¸c n¬ ron
ta cã hÖ thøc g'(x)=g(x)(1-g(x)).
b) Tõ c¸c c«ng thøc (15), (18) ta cã thÓ viÕt l¹i:
wij = wij + ∆wij , wjk = wjk + ∆wjk ,
víi ∆wij = α aj δi vµ ∆wjk = α ak δj
Trong c¸c øng dông thùc tÕ, ng−êi ta th−êng hiÖu chØnh ∆wij theo nguyªn t¾c
cã chó ý ®Õn thao t¸c tr−íc ®ã. Do vËy:

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
18
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
∆wij(míi) = α aj δi + β∆wij(cò), ë ®©y β lµ hÖ sè qu¸n tÝnh.
Qu¸ tr×nh huÊn luyÖn m¹ng cÇn chó ý tíi c¸c yÕu tè sau:
i.C¸c träng sè ban ®Çu wij ®−îc g¸n c¸c gi¸ trÞ ngÉu nhiªn, nhá
ii. Lùa chän c¸c hÖ sè häc α vµ hÖ sè qu¸n tÝnh β sao cho α + β ≈1, víi β
kh«ng lín h¬n α qu¸ nhiÒu.
iii. C¸c tÝn hiÖu vµo, ra nªn ®−îc ®Þnh cì chØ n»m trong kho¶ng [0,1]. C¸c
nghiªn cøu thùc nghiÖm chØ ra r»ng nªn ë trong kho¶ng [0.2,0.8].
2.3.4. Sö dông m¹ng:
Gi¶ sö ®· huÊn luyÖn m¹ng nh− trªn h×nh 7 víi tËp mÉu {(Xs,Ys)} ®Ó ®−îc
ma trËn träng sè W. Qu¸ tr×nh lan truyÒn trong m¹ng mét vect¬ tÝn hiÖu vµo
X=(x1,x2,x3) ®−îc cho bëi:
out = g(w64 a4 + w 65 a5) = g(w 64 g(w 41 x1 + w 42 x2 + w 43 x3) + w 65 g(w 51 x1
+ w 52 x2 + w 53 x3))
= F ( X , W)
Kh¶ n¨ng tÝnh to¸n cña m¹ng nhiÒu líp
− Víi mét líp Èn, m¹ng cã thÓ tÝnh to¸n xÊp xØ mét hµm liªn tôc bÊt kú ®èi
víi c¸c biÕn t−¬ng øng lµ c¸c tÝn hiÖu ®Çu vµo.
− Víi hai líp Èn, m¹ng cã thÓ tÝnh to¸n xÊp xØ mét hµm bÊt kú. Tuy vËy, sè
n¬ ron trong c¸c líp Èn cã thÓ t¨ng theo hµm mò ®èi víi sè ®Çu vµo vµ cho
®Õn nay vÉn ch−a cã nh÷ng c¬ së lý luËn ®Çy ®ñ ®Ó kh¶o s¸t hä c¸c hµm cã
thÓ xÊp xØ nhê c¸c m¹ng nhiÒu líp.
2.3.5. Nghiªn cøu sù héi tô vµ ®é phøc t¹p cña qu¸ tr×nh huÊn luyÖn m¹ng:
Ph−¬ng ph¸p hiÖu chØnh träng sè liªn kÕt n¬ ron (15)(18) dùa trªn nguyªn t¾c
lan truyÒn ng−îc sai sè cã thÓ lý gi¶i dùa trªn nguyªn lý t×m kiÕm gradient trong

1 2
E ( w) = ∑ (Yi − out i )
2
kh«ng gian c¸c tham sè W sao cho cùc tiÓu hµm sai sè tæng céng:

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
19
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
ë ®©y, Yi lµ gi¸ trÞ thùc nghiÖm quan s¸t ®−îc t¹i n¬ ron i ë líp ra, outi lµ gi¸ trÞ
tÝnh to¸n cña m¹ng t¹i n¬ ron thø i ë líp ra ®èi víi mÉu Xs.
Khai triÓn E theo c¸c träng sè thµnh phÇn, ta cã:

2
    
E ( w) = ∑  Yi − g  ∑ wij a j   = ∑ Yi − g  ∑ wij g  ∑ w jk a k  
1 1
2 i j  2 i j k 

∂E
= − a j (Yi − outi ) g ' ( Neti ) = − a j δ i
∂wij
LÊy ®¹o hµm riªng cña E theo c¸c wij:
ViÖc hiÖu chØnh vect¬ träng sè W = (wij) sao cho E(W)→min dÉn tíi viÖc x¸c
®Þnh vect¬ gia sè ∆W= (∆wij) ng−îc h−íng víi vect¬ gradient (∂E/∂wij). Nãi

∂E
= −akδ j
∂ w jk
c¸ch kh¸c,
∆wij = -α(-δi aj) = δi aj
∆wjk = -α(-δj ak) = δj ak
C«ng thøc nµy phï hîp víi c¸c c«ng thøc (15) (18) t−¬ng øng.
§é phøc t¹p thêi gian cña m¹ng nhiÒu líp chñ yÕu phô thuéc vµo thêi gian
huÊn luyÖn m¹ng víi mét tËp mÉu nµo ®ã. Gi¶ sö cã m mÉu vµo vµ |W| träng sè.
Mçi lÇn ®−a tÊt c¶ c¸c mÉu ®i qua m¹ng (gäi lµ mét vßng lÆp (epoch)) ph¶i tèn
O(m|W|) thao t¸c n¬ ron. Trong tr−êng hîp xÊu nhÊt, sè vßng lÆp sÏ phô thuéc
hµm mò vµo sè ®Çu vµo n. Do vËy, chi phÝ thêi gian sÏ lµ O(knm|W|).
H¬n n÷a qu¸ tr×nh häc kh«ng ph¶i lóc nµo còng héi tô vµ cã thÓ dÉn tíi c¸c
cùc tiÓu ®Þa ph−¬ng cña hµm E. Khi dïng m¹ng n¬ ron nhiÒu líp ®Ó biÓu diÔn tÊt
c¶ c¸c hµm logic cã n ®Çu vµo, ta ph¶i dïng cì 2n/n nót Èn, m¹ng nµy cã kho¶ng
O(2n) träng sè, do vËy ph¶i tiªu tèn O(2n) bit ®Ó biÓu diÔn c¸c hµm logic.

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
20
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
2.3.6.Mét sè vÊn ®Ò vÒ m¹ng neuron nhiÒu líp:
 M¹ng n¬ ron nhiÒu líp truyÒn th¼ng lµ c¸ch biÓu diÔn c¸c ®èi t−îng dùa
trªn c¸c gi¸ trÞ cña c¸c thuéc tÝnh cña chóng t−¬ng ®èi hiÖu qu¶, tuy r»ng
chóng ch−a vÐt c¹n hÕt mäi khÝa c¹nh kh¸c nhau vÒ ®èi t−îng ®ã. C¸ch
tiÕp cËn m¹ng lo¹i nµy tá ra kh¸ hiÖu qu¶ khi c¸c quan s¸t (tÝn hiÖu vµo)
cã miÒn gi¸ trÞ liªn tôc. Do vËy, cã thÓ xem lµ tèt h¬n so víi nh÷ng c¸ch
tiÕp cËn truyÒn thèng dùa trªn logic mÖnh ®Ò vµ c©y quyÕt ®Þnh.
 Kh¶ n¨ng tæng qu¸t hãa: m¹ng lo¹i nµy cã thÓ ®−a ra nh÷ng kÕt qu¶ mang
tÝnh tæng qu¸t hãa, tuy r»ng kiÓu phô thuéc gi÷a ®Çu ra vµ ®Çu vµo kh«ng
qu¸ rèi r¾m.
 Kh¶ n¨ng dung thø lçi: M¹ng ®−îc luyÖn mÉu theo nguyªn t¾c håi qui
tuyÕn tÝnh nªn cã thÓ chÊp nhËn sai sè trong tËp d÷ liÖu vµo. Tuy vËy,
m¹ng kh«ng thÓ ®−a ra ®−îc nh÷ng kÕt qu¶ tÝnh to¸n kh«ng ch¾c ch¾n,
kh«ng chÝnh x¸c kiÓu nh− m¹ng Bayes.
 M¹ng ®−îc sö dông nh− mét hép ®en, biÓu thÞ quan hÖ nµo ®ã gi÷a tÝn
hiÖu ra vµ tÝn hiÖu vµo, mµ kh«ng cÇn chØ râ d¹ng gi¶i tÝch t−êng minh cña
mèi quan hÖ ®ã. Tuy vËy, ®iÓm bÊt lîi cña c¸ch tiÕp m¹ng chÝnh lµ ë chç
kh«ng thÓ lý gi¶i c¸c kÕt qu¶ ra mét c¸ch râ rµng nh− ®èi víi suy diÔn
logic hay c©y quyÕt ®Þnh.
2.5. øng dông m¹ng n¬ ron lan truyÒn ng−îc h−íng cho nhËn d¹ng ký tù:
2.5.1. X©y dùng cÊu tróc m¹ng lan truyÒn ng−îc h−íng hai líp nhËn d¹ng ký
tù:
Víi 400 neuron ®Çu vµo t−¬ng øng víi 400 ®iÓm ¶nh ( ma trËn pixel cña ¶nh ®−a
vµo 20x20), 200 neuron líp Èn vµ 16 neuron líp ra lµ d·y sè nhÞ ph©n quy ®Þnh
th«ng tin ®Çu ra.
Th«ng tin ®Çu vµo ®èi víi mçi mÉu X=(x1,x2, … ,x400) ®−îc x¸c ®Þnh nh− sau:
− 1 neu diem trang
xi = 
1 neu diem den

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
21
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
1 neu net j >= 0
Líp Èn ®−îc x¸c ®Þnh theo hµm anj= sign(net j ) = 
− 1 neu net j < 0
400
Do ®ã an j = ∑ wij .xi víi j=1…200
i =1

1 neu net j >= 0


Líp ra ®−îc x¸c ®Þnh theo c«ng thøc raj= sign(net j ) = 
− 1 neu net j < 0
200
Do ®ã ra j = ∑ wij .ani víi j=1…16
i =1

Sau ®ã chuyÔn d·y ®Çu ra thµnh d·y nhÞ ph©n nh− sau
1 neu ra j = 1
yj =  víi j=1..16.
0 neu ra j = −1

Ban ®Çu ta x©y dùng ma trËn träng sè gi÷a líp vµo vµ líp Èn, gi÷a líp Èn vµ líp ra
víi c¸c phÇn tö lµ c¸c gi¸ trÞ ngÉu nhiªn trong ®o¹n [-0.5,0.5].
2.5.2. HuÊn luyÖn m¹ng:
H×nh thøc häc: mçi lÇn häc mét tËp mÉu víi mét mÉu häc mét lÇn sau ®ã häc tiÕp
mÉu tiÕp theo qu¸ tr×nh lÆp ®i lÆp l¹i lµ 600 lÇn.
 §iÒu chØnh träng sè ë líp Èn vµ líp ra:

w 1 ij = w ij + ∆ w ij trong ®ã ∆w1ij = hsh * e j * g ' (ra j ) * ani


Víi i=1..200; j=1..16; hsh: HÖ sè häc. (hsh=0.14 ®èi víi ch−¬ng tr×nh thö
nghiÖm cña ®Ò tµi)
Nh− vËy ma trËn träng sè gi÷a líp Èn vµ líp ra lµ ma trËn 200 hµng, 16 cét.
 §iÒu chØnh träng sè gi÷a líp vµo vµ líp Èn:

wij = wij + ∆wij trong ®ã ∆wij = hsh * x( i) * g ' (an(j))* net


16
net = ∑ ek * g ' (ra k ) * w1 jk víi i=1..400; j=1..200; k=1..16.
k =1

Nh− vËy ma trËn träng sè gi÷a líp vµo vµ líp Èn lµ ma trËn 400 hµng, 200 cét.

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
22
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
Sau khi huÊn luyÖn m¹ng ta s÷ dông bé träng sè nh− mét b¶ng tra víi c¸c c«ng
thøc trªn phÇn 2.5.1.
2.5.3. Ch−¬ng tr×nh thö nghiÖm vµ kÕt qu¶ ®¹t ®−îc:
Gi¸o diÖn huÊn luyÖn m¹ng (häc mÈu)

Gi¸o diÖn nhËn d¹ng:

KÕt qu¶ nhËn d¹ng chÝnh x¸c 100% ®èi víi c¸c ph«ng ch÷ ®· häc víi cë ch÷ 18
trë lªn.

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
23
§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. http://www.ebook.edu.vn
-----------------------------------------------------------------------------------------------------------
Tµi liÖu tham kh¶o:
1. C¸c bµi gi¶ng cña thÇy gi¸o TS. §µo Thanh TÜnh.
2. Gi¸o tr×nh xö lý ¶nh cña TS. §æ N¨ng Toµn & TS. Ph¹m ViÕt B×nh (§H
Th¸i Nguyªn).
3. Gi¸o tr×nh xö lý ¶nh cña PGS.TS. NguyÔn Quang Hoan (Häc ViÖn C«ng
NghÖ B−u ChÝnh ViÔn Th«ng).
4. Gi¸o tr×nh xö lý ¶nh cña L−¬ng M¹nh B¸ & NguyÔn Thanh Thuû ( §H
B¸ch Khoa Hµ Néi)

---------------------------------------------------------------------------------------------------------------------------------
HV Lª TiÕn C«ng.
24