M ng Noron và gi i thu t Back Propagation

M ng Noron và gi i thu t Back Propagation I. M ng n -ron : 1. Gi i thi u m ng n -ron: M ng n -ron là 1 h các quá trình x lý thông tin d a trên mô hình các n -ron th n kinh c a con ng i.

K t h p 1 s l ng l n các thành ph n gi i quy t 1 v n c th nào ó. Gi ng nh con ng

n gi n (các n -ron) t o thành c u trúc ph c t p nh m

i, m ng n -ron h c b ng các ví d (m u).

Kh n ng c a m ng n -ron :

2. Mô hình c a m t n -ron nhân t o : mô ph ng các t bào th n kinh và các kh p n i th n kinh c a b não con ng i, trong m ng n -ron nhân t o c ng có các thành ph n có vai trò t ng t là các n -ron nhân t o và k t n i gi a chúng( k t n i này g i là weights). Neuron là m t n v tính toán có nhi u u vào và m t u ra, m i u vào n t m t syanpse. c tr ng c a neuron là m t hàm kích ho t phi tuy n chuy n i m t t h p tuy n tính c a t t c các tín hi u u vào thành tín hi u u ra.

Nguy n V n Minh

chúng ta xác nh ba thành ph n c b n c a m t mô hình neuron : M t t p h p các weights hay các k t n i. chúng ta có th mô t m t neuron k b ng c p công th c Nguy n V n Minh . ó k là ch s c a neuron t i u ra c a weights ang xét.Có nhi u lo i hàm kích ho t. Mô hình neuron trong hình 1.1 ây. ã c nhân v i các tr ng s weights t ng ng. S kh i c a hình 1. M t b c ng tính t ng các tín hi u u vào c a neuron. M t hàm kích ho t (activation function) gi i h n biên u ra c a neuron. Hàm kích ho t c ng c xem xét nh là m t hàm nén. còn j ch i m u vào c a weights. phép toán c mô t ây t o nên m t b t h p tuy n tính.1 còn bao g m m t h s hi u ch nh tác ng t bên ngoài. H s hi u ch nh bk có tác d ng t ng lên ho c gi m i u vào th c c a hàm kích ho t. bk.1 ch ra mô hình c a m t n -ron nhân t o.M ng Noron và gi i thu t Back Propagation M t n -ron nhân t o là m t n v tính toán hay n v x lý thong tin c s cho ho t m t m ng n -ron . tu theo nó d ng hay âm. T c là m t tín hi u xj t i u vào c a weights j n i v i neuron k s c nhân v i tr ng s weights wkj. mà m i m t trong chúng c c tr ng b i m t tr ng s c a riêng nó. ng c a Hình 1. nó nén (gi i h n) ph m vi biên cho phép c a tín hi u u ra trong m t kho ng giá tr h u h n. D sau: i d ng công th c toán h c. Các tr ng s weights cu m t neuron nhân t o có th nh n c các giá tr âm và các giá tr d ng.

M t cách t ng ng..wk2. x0=+1 và tr ng s c a nó là wk0=bk (1..2) ó x1.2)..5) Trong công th c (1. M c d u các mô hình trong hình 1.. và (2) thêm m t tr ng s weights m i b ng giá tr c a h s bk. H s hi u ch nh bk là m t tham s ngoài c a neuron nhân t o k.1) và (1..1) yk=f(uk+b) (1.3).3) và y k ! f (v k ) (1.2 và 1..3. uk là u ra b t h p tuy n tính t ng ng. Nguy n V n Minh .3 là khác nhau v hình th c nh ng t ng t v b n ch t toán h c. chúng ta ã thêm m t weights m i..M ng Noron và gi i thu t Back Propagation m uk ! và §w j!0 kj j x (1.wkm là các tr ng s weights c a neuron k.6) Nh v y chúng ta v l i mô hình c a neuron k nh trong hình 1. nhi m v c a h s hi u ch nh là th c hi n hai vi c: (1) thêm m t tín hi u u vào c nh là 1. wk1.2) nh sau: m e k ! § wkj x j j !0 (1. chúng ta có th t h p các công th c (1. bk là h s hi u ch nh. Chúng ta có th th y c s có m t c a nó trong công th c (1.4) u vào c a nó là: (1.x2.xm là các tín hi u u vào. Trong hình này..

9) £ ¡ Nguy n V n Minh . xác hàm kích ho t c b n: 1. có ngh a là ¡¤ v ! §w x  !1 £ £¡ ¢ (1. Hàm ng ng: nh u ra c a neuron.7) Trong các tài li u k thu t. d ng hàm ng ng này th u ra c a neuron k s d ng hàm ng ng s nh sau u 1 ® nÕ v k u !¯ u ° nÕ v k   ng c g i là hàm Heaviside.4a).8) ó vk là u ra c a b t h p tuy n tính.M ng Noron và gi i thu t Back Propagation Hình 1. k (1.2 Mô hình phi tuy n th hai c a m t neuron Các ki u hàm kích ho t Hàm kích ho t. chúng ta có (1. D i ây là các ki u i v i lo i hàm này (mô t trong hình 1. ký hi u b i f(v).

4b). Hình 1. chúng ta có (1. (b) Hàm vùng tuy n tính d c a thay i (c) Hàm sigma v i tham s 2.10) Nguy n V n Minh . Hàm vùng tuy n tính: i v i lo i hàm này (mô t trong hình 1.M ng Noron và gi i thu t Back Propagation M t neuron nh v y th ng c g i là mô hình McCulloch-Pitts.4 (a) Hàm ng ng.

7) bây gi c xác nh nh sau ® ± f (v ) ! ¯ 0 ±  ° Hàm này th ng v"0 v!0 v 0 (1. C ng ph i ghi nh n r ng hàm sigma là hàm phân bi t. ngh a là hàm kích ho t là m t hàm l . B ng vi c bi n i tham s a. ôi khi có nh ng yêu c u xây d ng hàm kích ho t trong ph m vi t -1 n 1.10).12) c g i là hàm signum.7). Th c t . thì m t hàm sigma nh n các giá tr t 0 t i 1. trong tr ng h p này hàm kích ho t c gi nh có d ng i x ng qua g c to (hay có th g i là d ng ph n i x ng).M ng Noron và gi i thu t Back Propagation D ng hàm này có th c xem nh môt x p x c a m t b khu ch i phi tuy n. Trong khi m t hàm ng ng ch có giá tr là 0 ho c 1. Hàm sigma: Hàm sigma là d ng chung nh t c a hàm kích ho t c s d ng trong c u trúc m ng neuron nhân t o. M t ví d c a hàm này là hàm logistics. tín hieäu truyeàn töø lôùp input ñeán lôùp ouput . Các hàm kích ho t c nh ngh a trong các công th c (1. trong khi hàm ng ng thì không (Tính phân bi t c a hàm là m t c tính quan tr ng trong lý thuy t m ng neuron). Caùc Neural khoâng cuøng lôùp thì noái vôùi nhau nhöng caùc Neural cuøng lôùp thì khoâng noái vôùi nhau . Ví d . (1. hàm ng ng trong công th c (1. chúng ta thu c các hàm sigma v i các d c khác nhau. Các lo i m ng n -ron : Có hai lo i m ng n -ron chính ó là các m ng ti n và các m ng ph n h i(trong tài li u này không nói t i m ng ph n h i) : Các m ng ti n (feedforward): Caùc Neural taïo thaønh nhoùm trong caùc lôùp .4c.11) ó a là tham s d c c a hàm sigma. xác nh nh sau (1. (1. h s góc t i v=0 là a/4.11) u trong ph m vi t 0 n 1. Khi tham s h s góc ti n t i không xác nh. Nguy n V n Minh . 3. Có hai lo i m ng ti n ó là m ng ti n a m c và m ng ti n n m c. hàm sigma tr thành m t hàm ng ng n gi n. Nó là m t hàm t ng và nó th hi n m t s trung gian gi a tuy n tính và phi tuy n. nh c minh ho trong hình 1.

Nguy n V n Minh . oán c a m ng g i là l i .7 M ng ti n k t n i m t m c n và m t m c II.M ng Noron và gi i thu t Back Propagation Møc ®Çu vµo gåm c¸c nót nguån Møc ®Çu ra gåm c¸c neuron Hình 1. i giá tr c a w yd v i u ra m ng có th a ra c k t qu S khác nhau gi a giá tr th t c a m u và k t qu d Quá trình h c s tìm các wi* l i nh nh t.6 M ng ti n v i m t m c neuron Hình 1. Lan truy n ng c. Gi i thu t : Gi i thu t Backpropagation g m 2 giai o n: Lan truy n ti n (tính output c a các n -ron). Gi i thu t backpropagation : M t s khái ni m c n bi t : H c trong m ng n -ron là quá trình thay mong mu n t i u.

T ó chúng ta có th tính c u ra c a m i n ron trong m ng. chúng ta s xem xét gi i thu t Backpropagation hi u ch nh các weights c a m t m ng n -ron g m ba l p v i 2 u vào và m t u ra . Và y = f(e) là u ra c a m t n -ron. Nguy n V n Minh . u vào d y cho m ng chúng ta c n ph i có các m u .Nh hình d i: M i n -ron s g m hai thành ph n chính . Ph n th 2 là hàm kích ho t f. M i m u bao g m hai thành ph n ó là B c u vào x1. Hình d i minh h a cho s lan truy n các giá tr trong m ng. u ra z là k t qu c a m u. u tiên là lan truy n ti n . x2 . Th nh t là các tr ng s weights và các tr s x .M ng Noron và gi i thu t Back Propagation minh h a cho gi i thu t . x2. Chúng ta s b t u v i hai u vào x1.

u vào xm và n - Nguy n V n Minh .M ng Noron và gi i thu t Back Propagation Trong ó : W(xm)n : t ng tr ng cho các tr ng s weights c a k t n i gi a ron n trong t ng input c a m ng. Yn t ng tr ng cho u ra c a n -ron n.

Nguy n V n Minh . u ra c a n -ron m và là Kí hi u wmn bi u di n tr ng s weights c a k t n i gi a u vào c a n -ron n.M ng Noron và gi i thu t Back Propagation S lan truy n c a các tín hi u t l p - u vào n l p n.

M ng Noron và gi i thu t Back Propagation S lan truy n c a tín hi u nl p u ra : B c ti p theo c a gi i thu t là so sánh giá tr u ra c a m ng là Y v i giá tr z là k t qu c a u ra. m u. Hn là tín hi u l i Lan truy n ng c: Nguy n V n Minh . u ra c a m i n -ron. B i vì chúng ta nt tc n -ron n. Hi u gi a chúng ta g i là tín hi u l i H c a l p Chúng ta không th tính không có c c các tín hi u l i c a các n -ron m t cách tr c ti p . Nên chúng ta s lan truy n tín hi u l i H lùi l i các n -ron.

Ch có chi u c a lan truy n tín hi u là thay i.M ng Noron và gi i thu t Back Propagation Chú ý : các tr ng s weights wmn c dùng tính toán trong tr ng h p lan truy n ng c này b ng v i các tr ng s weights wmn trong lan truy n ti n . K thu t này c dùng cho t t c các l p c a m ng. Ta có th th y b ng hình nh : Nguy n V n Minh .

M ng Noron và gi i thu t Back Propagation Nguy n V n Minh .

Llà i l ng ng u nhiên nh h ng n t c d y c a m ng.«. thay o hàm Trong ó : - df(e)/de : là o hàm c a hàm kích ho t. Có nhi u cách ch n L Có th b t u quá trình h c b ng cách ch nLlà m t a l ng l n r i trong su t quá trình h c s gi m d n giá tr này. Nguy n V n Minh . n cu i quá trình h c l i gi m giá tr này xu ng.M ng Noron và gi i thu t Back Propagation Khi tín hi u l i c a m i n -ron c tính thì chúng ta có th d a vào tín hi u l i này i giá tr c a các tr ng s . Ho c cách khác n a là b t u b ng m t giá tr nh r i sau ó trong quá trình h c có th t ng d n giá tr này . Trong gi i thu t Backpropagation tr ng s thay i d a vào c a hàm kích ho t trong m i n -ron.

M ng Noron và gi i thu t Back Propagation Nguy n V n Minh .

M ng Noron và gi i thu t Back Propagation Sau ây chúng ta s xét m t ví d n gi n v gi i thu t này : Gi s chúng ta có m t m ng n -ron nh sau : Nguy n V n Minh .

9 x 0.3823.35x0. Ta có : t1 = (0.9x0.5 .6)+(0.0143 Y3 = B = 0. v i h s hi u ch nh bias b ng 1 và h s L= 1 : Hàm sigmoid : và o hàm c a hàm sigmoid :   M u g m 3 thành ph n : Tr u vào : A = 0.855) + (0.35. B = 0. N -ron 3 : t3 = (0.ron 1 . u ra cho các n ron : c h t chúng ta s tính N .4) + 1 = 1.M ng Noron và gi i thu t Back Propagation V i m ng n -ron cho tr nói c các tr ng s nh hình v i hàm kích ho t là hàm sigmoid (sigma nh trên) .842) + 1 = 2.5 ± 0. T ó suy ra : y1 =   = 0.9x0.8) + 1 = 1.8823 c ti p theo là chúng ta s tính tín hi u l i H!z ± y = 0. Lan truy n tín hi u l i : Nguy n V n Minh .1)+(0.8823 = -0.755.855. u ra mong mu n : z = 0. N ±ron 2 : ta có t2 = (0.68 T ó suy ra : y2 = = 0.842.9.3 x 0.35x0.

8823 = 0.4 + 1(-0.842= 0.8823 = 0.0.842= 0. 0.3616 .9 = -0.0876 .3 + 1(-0.1 + 1(-0.7876 W¶B1 = WB1 + LH  y1 = 0.855 = 0.5616 W¶B2 = WB2 + LH  W¶13 = W13 + LH  y3 = 0.3823) y3 = 0. 0.M ng Noron và gi i thu t Back Propagation N -ron 1 : H!!  N -ron 2 : H= -0.2649 .344) .11469) W¶A2 = WA2 + LH  y2 = 0. 0.855 = 0. = y1 = 0.3823) .6 + 1(-0.11469) .0.344) y2 = 0.344 Bây gi chúng ta s d a vào tín hi u l i c a m i n -ron W¶A1 WA1 + LH  thay i tr ng s weights.5649 W¶23 = W23 + LH  Và ây là k t qu : Nguy n V n Minh .8 + 1(-0. 0.3823 * 0.6 + 1(-0.

M ng Noron và gi i thu t Back Propagation Nguy n V n Minh .