TR

I H C QU C GIA HÀ N I NG I H C CÔNG NGH

Lê Xuân Minh Hoàng

HU N LUY N M NG N RON RBF V I M C CÁCH U VÀ NG D NG

KHOÁ LU N T T NGHI P Ngành: Công ngh thông tin

I H C H CHÍNH QUY

HÀ N I - 2010

1

TR

I H C QU C GIA HÀ N I NG I H C CÔNG NGH

Lê Xuân Minh Hoàng

HU N LUY N M NG N RON RBF V I M C CÁCH U VÀ NG D NG

KHOÁ LU N T T NGHI P Ngành: Công ngh thông tin Cán b h

I H C H CHÍNH QUY

ng d n: PGS.TS Hoàng Xuân Hu n

HÀ N I ± 2010

2

L IC M

N

Tôi mu n bày t s c m n sâu s c c a mình t i th y Hoàng Xuân Hu n, thu c b môn Khoa h c máy tính, khoa Công ngh thông tin, tr ng i h c Công ngh , HQGHN ã nh n h ng d n và tin t ng giao cho tôi m t tài thú v nh th này. Trong th i gian th c hi n khóa lu n, th y ã r t kiên nh n, nhi t tình h ng d n và giúp tôi r t nhi u. Chính nh ng hi u bi t sâu r ng và kinh nghi m nghiên c u khoa h c c a th y ã hi u l n nh h ng giúp tôi tránh kh i i nh ng sai l m và giúp tôi v t qua m i khi g p nh ng b t c khi th c hi n khóa lu n này. Tôi c ng mu n bày t s c m n c a mình t i các các th y, các cô trong b môn, c ng nh các th y, các cô trong khoa, tr ng ã t o i u ki n và giúp tôi có th th c hi n và hoàn thành c khóa lu n này. N u không có nh ng ki n th c c ào t o trong các n m v a qua, tôi ã không th hoàn thành khóa lu n này.

3

TÓM T T N I DUNG
M c dù ã c nghiên c u t r t lâu, nh ng x hàm nhi u bi n v n còn có r t ít công c toán h c t o là m t ph ng pháp hay gi i quy t bài toán n N m 1987 M.J.D. Powell ã a ra m t cách ti p c n suy hàm nhi u bi n s d ng k thu t hàm c s bán n nay bài toán n i suy và x p gi i quy t. M ng N ron nhân i suy, x p x hàm nhi u bi n. m i gi i quy t bài toán n i kính (Radial Basis Function -

RBF), n m 1988 D.S. Bromhead và D. Lowe xu t ki n trúc m ng N ron RBF và ã tr m t công c h u hi u gi i quy t bài toán n i suy và x p x hàm nhi u bi n(xem [11]). N m 2006 Hoàng Xuân Hu n và các c ng s (xem [1]) ã a ra thu t toán l p hai pha hu n luy n m ng n ron RBF và ã cho ra k t qu t t tuy nhiên nh c i m c a nó là sai s l n h n khi d li u phân b không u. Khi áp d ng ph ng pháp này trên b d li u cách u ã cho ta thu t toán l p m t pha HDH m i v i th i gian và tính t ng quát t t h n r t nhi u. (xem [2]) N i dung c a khóa lu n này là ng d ng thu t toán hu n luy n m ng n ron RBF v i m c cách u a ra m t ph ng pháp n i suy x p x hàm nhi u bi n v i b d li u có nhi u tr ng và ch ng minh hi u qu thông qua vi c xây d ng ph n m m n i suy hàm s .

4

M CL C M U................................ ................................ ................................ .................... 1 CH NG 1 BÀI TOÁN N I SUY, X P X HÀM S VÀ M NG N RON RBF ................................ ................................ ................................ ................................ .. 13 1.1 BÀI TOÁN N I SUY VÀ X P X HÀM S ................................ ............ 13 1.1.1 Bài toán n i suy. ................................ ................................ .................... 13 1.1.1.1 N i suy hàm m t bi n. ................................ ................................ .. 13 1.1.1.2 Bài toán n i suy hàm nhi u bi n. ................................ .................. 14 1.1.2 Bài toán x p x ................................ ................................ ....................... 14 1.1.3 Các ph ng pháp gi i bài toán n i suy và x p x hàm s ....................... 14

1.2 M NG N RON NHÂN T O ................................ ................................ .... 15 1.2.1 M ng n ron sinh h c : ................................ ................................ ........... 15 1.2.2 M ng N ron nhân t o ................................ ................................ ............ 16 1.3 M NG N RON RBF ................................ ................................ ................. 20 1.3.1 K thu t hàm c s bán kính và m ng n ron RBF ................................ . 20 1.3.2 Ki n trúc m ng N ron RBF ................................ ................................ ... 22 1.3.3 c i m hu n luy n c a m ng N ron RBF ................................ .......... 23 CH NG 2 THU T TOÁN L P HDH HU N LUY N M NG RBF .............. 24 2.1 THU T TOÁN L P HDH HAI PHA HU N LUY N M NG RBF ......... 24 2.1.1 Ph ng pháp l p n gi i h ph ng trình tuy n tính ............................ 24 2.1.2 Thu t toán l p hai pha hu n luy n m ng RBF ................................ ........ 24 2.1.3 Mô t thu t toán. ................................ ................................ .................... 25 2.1.4 Nh n xét ................................ ................................ ................................ 26 2.2 THU T TOÁN L P HDH M T PHA HU N LUY N M NG RBF V I B D LI U CÁCH U................................ ................................ ............... 27 2.2.1 Bi u di n các m c n i suy ................................ ................................ ..... 27 2.2.2 Mô t thu t toán : ................................ ................................ ................... 27 2.2.3 Nh n xét ................................ ................................ ................................ 28

5

.CH NG 3 : NG D NG THU T TOÁN L P M T PHA HU N LUY N M NG RBF VÀO VI C GI I QUY T BÀI TOÁN N I SUY X P X V I D LI U NHI U TR NG.. ........2. 39 4........... ............................1 T ng quan ph n m m .......................... .................. ................ ....3.................... .........3... .............2 L P TRÌNH GI I H PH NG TRÌNH C A BÀI TOÁN H I QUY LI U NHI U ................................1...3............................ 33 CH NG 4 XÂY D NG PH N M M MÔ PH NG ....................... 43 5.......... ............ ..................................................3................2...... ....................3 Giao di n và ch c n ng.............. 32 3.................. .................... 35 4...................... 29 3.......... .2 T ch c d li u ....... . ............................. ..... ........................... ........................................... 41 CH NG 5 K T QU THÍ NGHI M .3..... ... .............................. 37 TUY N TÍNH KNN..................... ..............1.........1.............. 29 3...........1 B n ch t c a nhi u tr ng ...... ........... .... Ý T NG VÀ PH NG PHÁP GI I QUY T BÀI TOÁN N I SUY X P X V I D NHI U NHI U.... .........2 Phân ph i chu n ......... 39 4.............................................................3.................1 NHI U TR NG VÀ BÀI TOÁN X P X N I SUY V I D LI U NHI U .....1 L P TRÌNH SINH NHI U TR NG THEO PHÂN PH I CHU N............................3 Bài toán n i suy x p x hàm v i d li u nhi u tr ng ...1..................2 Sinh nhi u tr ng t hàm rand() trong C++ ............. ......................................................3 GI I THI U PH N M M X P X N I SUY V I D 4....... . 36 4.....................................................3... ....................1 Ph ng pháp Box-Muller ............... 35 4..................................................2 Mô t ph ng pháp kNN ............................ 32 3......... 36 4.....3.............. ........... ... 38 4............ 31 3................................. .....................2 THÍ NGHI M V VI C CH N K...... ............. ..... ............................. 32 3...... ... .........2 PH NG PHÁP H I QUY TUY N TÍNH K HÀNG XÓM G N NH T............... 35 4... ................................................... 37 4................................ 47 6 ...................... 29 3.1 Tab ³Nh p d li u theo file´ . 30 3........................................ 43 5...........1 Phát bi u bài toán h i quy......1...................2 Tab ³T nh p´ ........................ ...... ....1 THÍ NGHI M V VI C THAY I KÍCH TH CL I..........................

......................................................... 49 5..... ...................................... ..............................2 Ph ng h ng phát tri n c a tài ...... ...... 50 NG PHÁT TRI N .........3 THÍ NGHI M KHI T NG S CHI U ................................................... ..... 52 6....1 T ng k t .........5.............. 52 NG H 6............... 54 7 ........4 SO SÁNH HI U QU V I PH CH NG 6 T NG K T VÀ PH NG PHÁP KHÁC............................................ .............. ..................... ................. 53 TÀI LI U THAM KH O..........

........ không áp d ng heuristic ³ n gian´ .... .......................................................... .................................. 45 Hình 21 Sai s khi ch n các kích c khác c a l i d li u cho b d li u 200 m c ng u nhiên.......................... có heuristic ³ n gian´ ......................... .................... .......................................... ..... 48 Hình 24 : B ng so sánh sai s c a ph ng pháp kNN-HDH khi dùng và không dùng Heuristic...... .......... 34 Hình 16 Giao di n nh p d li u theo file ............................................ ........................................... 20 Hình 10: Minh h a s nh h ng c a hàm bán kính ....... ........... ............ 18 Hình 6: th hàm sigmoid ............................... 18 Hình 7: th hàm tank ................. không áp d ng heuristic ³ n gian´ ... ................ ..... 30 Hình 14 Hàm m t xác su t c a phân ph i chu n v i ph ng sai k v ng khác nhau ................. 50 8 ........ ..... 44 Hình 19 Sai s khi ch n các kích c khác nhau c a l i d li u cho b d li u 200 m c ng u nhiên......... ... ................................................. ......... 31 Hình 15 Th hi n l i cách trên c s mi n giá tr c a các m c ban u ............................... ... ..................................... 47 Hình 23 B ng so sánh sai s c a ph ng pháp kNN-HDH khi áp d ng cho hàm y2 v i các cách ch n k khác nhau ...... 19 Hình 8: th hàm Gauss .................................... ...................... ........... .......... ... 16 Hình 3: C u t o m t N ron nhân t o ........... ............................................. ........................................ ........ .............................................. 13 Hình 2: Minh h a m t Neuron th n kinh sinh h c ............................................ 46 Hình 22 B ng so sánh sai s c a ph ng pháp kNN-HDH khi áp d ng cho hàm y1 v i các cách ch n k khác nhau .................................... .. 26 Hình 13 D li u có nhi u tr ng và hàm s chu n .............................................. 50 Hình 25: B ng so sánh k t qu v i ph ng pháp GIC .............................................. ....... 45 Hình 20 Sai s khi áp d ng các kích c khác nhau c a l i d li u cho b d li u ng u nhiên 100 m c................................................... ....................................................... 18 Hình 5: th hàm tuy n tính .................................................................................................................. 40 Hình 17 Giao di n nh p d li u th công ............................................... ........... ....................... ........... có áp d ng heuristic ³ n gian´ ... 22 Hình 11: Ki n trúc c a m ng RBF ..................... ........... ........................................................ 17 Hình 4: th hàm ng ng ........... ..................................................................................................B NG DANH M C CÁC HÌNH MINH H A Hình 1 : Minh h a bài toán n i suy hàm m t bi n .................... 23 Hình 12: Thu t toán HDH hu n luy n m ng RBF .................... ..... ........... ......... ......... 19 Hình 9: Ki n trúc m ng N ron truy n t i ......................................................... 41 Hình 18 Sai s khi ch n các kích c khác nhau c a l i d li u cho b d li u 100 m c ng u nhiên.................. v i s chi u t ng d n................................. .. .....................

v i vi c có thêm kh n ng tính toán m nh m t máy vi tính mà m ng n ron nhân t o c coi là m t trong nh ng công c có th gi i quy t t t bài toán n i suy hàm nhi u bi n và trong th c t hi n nay.sau này c g i t t là m ng RBF c coi là m t trong nh ng lo i n ron nhân t o t t nh t gi i quy t bài toán n i suy hàm nhi u bi n. (xem [2]) 9 . Cùng v i nhu c u hu n luy n m ng RBF m t nghiên c u m i ây c th c hi n b i Hoàng Xuân Hu n và các c ng s (xem [1]) xây d ng thu t toán hu n luy n nhanh m ng RBF ã cho ra i m t thu t toán l p c t tên là là thu t toán HDH. c bi t khi hu n luy n trên b d li u cách u thì thu t toán này ch c n dùng m t pha và gi m ti p ph n l n th i gian tính toán. cùng v i s phát tri n m nh m c a máy vi tính mà bài toán n i suy và x p x hàm nhi n bi n ã tr thành m t v n th i s vì tính ng d ng l n c a nó gi i quy t các v n th c ti n nh phân l p. c s lý thuy t và th c nghi m v m ng n ron nhân t o ã có nhi u b c ti n áng k . K t qu th c nghi m cho th y thu t toán l p HDH g m có hai pha. M ng n ron nhân t o có nhi u lo i. nh n d ng m u «. m ng n ron nhân t o ã c ng d ng r t nhi u trong các ng d ng n i suy hàm nhi u bi n nh phân l p.. Trong kho ng 30 n m tr l i ây. Tr i qua nhi u n m phát tri n và nghiên c u. Tr ng h p hàm s m t bi n ã c nhà toán h c Lagrange nghiên c u và gi i quy t khá t t b ng vi c dùng hàm n i suy a th c t th k 18. M ng n ron nhân t o c bi t n nh m t gi i pháp t t cho v n này. M ng RBF ã c chú tr ng nghiên c u và ã có khá nhi u thu t toán hu n luy n m ng RBF c áp d ng nhi u trong các ng d ng cho th y k t qu r t kh quan.. nh n d ng m u. Ngày nay. khái ni m ³N ron nhân t o´ c bi t n l n u vào kho ng u th k 20 trong n l c c a con ng i nh m ch t o ra các b máy có kh n ng suy ngh và h c h i nh loài ng i b ng vi c mô ph ng m ng n ron sinh h c trong b não c a chúng ta.M U N i suy và x p x hàm s là m t bài toán quen thu c và r t quan tr ng trong các l nh v c khoa h c i s ng t x a n nay. trong ó có m ng n ron RBF . khi n i suy hàm nhi u bi n cho sai s và t c tính toán r t t t so v i các thu t toán hi n hành khác. Tr ng h p hàm nhi u bi n vì nh ng khó kh n trong x lý toán h c c ng nh tính ng d ng tr c ây ch a nhi u nên các công c gi i quy t bài toán hàm nhi u bi n v n còn r t h n ch . Ban u.

Nh c i m c a ph ng pháp này là ch có th tính c giá tr h i quy t i 1 i m c ch nh tr c. m t ph ng pháp c bi t n là ph ng pháp h i quy tuy n tính k hàng xóm g n nh t. D i s giúp .Ngoài ra trong các ng d ng th c t v i các bài toán n i suy ng i ta còn th y n i lên m t v n quan tr ng khác. v i vô s câu h i c n l i áp. c th là trên mi n giá tr các m c n i suy ban u. là m t tài h t s c thú v tìm hi u. b t kh kháng mà n y sinh sai s t i k t qu o t i các m c n i suy. ó là do các các y u t khách quan. ây là m t bài toán c t ra t lâu nh ng v n còn thu hút nhi u nghiên c u. sau ó dùng ph ng pháp h i quy tuy n tính kNN tính giá tr t i m i nút c a l i n i suy m i. tôi ã ti n hành th c hi n khóa lu n t t nghi p. c i ti n cho n t n bây gi . ta xây d ng nên 1 b các m c n i suy m i cách u nhau (t gi xin c g i là l i n i suy cho g n). Ph ng pháp này có th k t h p u i m kh nhi u c a ph ng pháp kNN v i u i m v t c và tính t ng quát c a thu t toán l p HDH m t pha ng th i lo i b tính b t ti n c a ph ng pháp kNN nh ã nêu trên và h n ch c a thu t toán HDH m t pha r ng d li u u vào ph i có các m c n i suy cách u. không th xây d ng nên 1 h th ng cho phép a ra ngay k t qu n i suy hàm s t i i m tùy ý. cu i cùng dùng thu t toán l p HDH m t pha hu n luy n m ng n ron RBF trên b d li u cách u m i này. v i m i i m c n tính toán l i ph i h i quy l i t u. Nhi u nghiên c u ã c ti n hành v a n i suy x p x t t v a kh c nhi u. V i bài toán n i suy x p x trên d li u nhi u này. Hoàng Xu n Hu n ã n y ra ý t ng ng d ng thu t toán l p HDH m t pha gi i quy t. ta s c m t m ng n ron RBF v a kh c nhi u v a n i suy x p x t t. (t gi xin g i t t là ph ng pháp kNN ) b ng vi c xây d ng hàm tuy n tính b c 1 c c ti u hóa sai s t i k i m g n nh t so v i i m c n tìm giá tr n i suy. N i dung c a khóa lu n s i sâu nghiên c u nh ng v n sau : 10 . Vi c ti n hành xây d ng h th ng n i suy x p x d a trên các d li u sai l ch làm cho hi u qu b th p. nh chia l i cách u th nào là ? N u quá th a thì sai s có quá l n không ? N u quá dày thì li u th i gian hu n luy n có t yêu c u không ? Các y u t nào nh h ng n hi u qu hu n luy n t ó i u ch nh làm t ng ch t l ng m ng ? «. n i dung là nghiên c u th c nghi m c th hóa và ki m ch ng hi u qu c a ph ng pháp m i này . ch b o t n tình c a th y Hoàng Xuân Hu n. T ýt ng ban u này n th c t . l y tên tài là : ³Hu n luy n m ng n ron RBF v i m c cách u và ng d ng´.

Kh o c u ph ng pháp h i quy tuy n tính k NN. Ch ng này s mô t ph ng pháp hu n luy n m ng RBF b ng thu t toán HDH hai pha v i d li u ng u nhiên và c bi t là thu t toán HDH m t pha v i d li u cách u làm n n t ng cho ph ng pháp m i. Ch ng 4 : Xây d ng ph n m m mô ph ng. - Ch Ch ng 3 : ng d ng thu quy t bài toán n i suy x p x Ch ng này s tính kNN. kh o c u v nhi u tr ng và ph ng pháp h i quy tuy n ó trình bày ý t ng m i áp d ng thu t toán HDH m t pha trên b d li u không cách u và có nhi u b ng cách thay b d li u u vào ban u b ng b d li u m i v i các m c n i suy cách u và ã k t qu o ã c kh nhi u thông qua ph ng pháp kNN. Xây d ng ph n m m mô ph ng h th ng n i suy hàm nhi u bi n v i d li u có nhi u d a trên vi c k t h p ph ng pháp kNN và thu t toán l p HDH m t pha . ch ra u i m so v i các ph ng pháp khác. Kh o c u nghiên c u thu t toán l p HDH m t pha v i b d li u cách u. ng 2 : Thu t toán l p HDH hu n luy n m ng n ron RBF. T t toán l p m t pha hu n luy n m ng RBF vào vi c gi i v i d li u nhi u tr ng . Nó cùng v i ch ng 5 th c nghi m là hai ch ng tr ng tâm c a khóa lu n này. bao g m : bài toán n i suy x p x hàm nhi u bi n. h i quy tuy n tính kNN 11 . n i dung khóa lu n chia làm 4 ph n ch ng chính : Ch c ng 1 : Bài toán n i suy x p x hàm s và m ng n ron RBF : Ch ng này s cung c p cái nhìn t ng th v nh ng khái ni m xuyên su t trong khóa lu n. c i ti n hi u qu ph ng pháp này. nghiên c u c i m. Tìm hi u nhi u tr ng phân ph i chu n và cách xây d ng. Ch ng này tôi trình bà y v ph ng pháp gi i quy t các bài toán nh nh sinh nhi u tr ng theo phân ph i chu n. Thông qua lý thuy t l n th c nghi m. trình bày các n i dung nghiên c u m t cách logic.- Kh o c u m ng n ron RBF. m ng RBF.

Rút ra k t lu n v c i m. và giao di n. các b d li u v i nhau. bao g m vi c xây d ng ph n m m mô ph ng. - Ch ng 6: T ng k t và ph ng h ng phát tri n tài Ch ng này tôi t ng k t l i nh ng gì làm ph ng h ng phát tri n cho tài. nghiên c u tính t ng quát v i các hàm. ch n k « hoàn thi n ph ng pháp này. các ch c n ng c a ph n m m Ch ng th i trình bày t ng quan ng 5 : K t qu thí nghi m Ch ng này tôi trình bày quá trình và k t qu nghiên c u th c nghi m. c trong khóa lu n này và 12 . ng th i so sánh sai s c a ph ng pháp này v i sai s m t ph ng pháp khác ã c công b t i m t t p chí khoa h c qu c t có uy tín. cách ch n l i d li u.a ra ph ng h ng l p trình cho chúng.

1 BÀI TOÁN N I SUY VÀ X P X HÀM S 1.1 N i suy hàm m t bi n.1 Bài toán n i suy. 1. Ta c n tìm m t bi u th c gi i tích N (x) g n úng giá tr y } N . Bài toán n i suy hàm m t bi n t ng quát c t ra nh sau: M t hàm s y=f(x) ta ch a xác nh c mà ch bi t c các i m x0 = a < x1 < x2 < « < xn-1 < xn = b v i các giá tr yi= f(xi).CH NG 1 BÀI TOÁN N I SUY.1.1.1. X P X HÀM S N i dung ch y y y y VÀ M NG N RON RBF ng này bao g m : Phát bi u bài toán n i suy và x p x hàm s M ng N ron nhân t o M ng N ron RBF Bài toán n i suy x p x v i d li u có nhi u tr ng 1.

V ph có d ng ã bi t sao cho xác nh c a hàm f(x) sao cho t i các i m xi ng di n hình h c. f(x) f(x0) N (x ) x0 x1 xn Hình 1 : Minh h a bài toán n i suy hàm m t bi n Trong các ng d ng th c t hàm f(x) th nên các giá tr yi ch l y c g i là các m c n i suy...yi) v i m i i=0.x t i các i m thì hàm s trùng v i giá tr y i ã bi t . ta c n tìm hàm N (x) th c a nó i qua cá c i m(xi... ng là hàm th c nghi m ho c khó tính nh xi .1.n. Các i m _xi ai ! 0 N c b ng cách o t i các i m c 13 .

1. T ng t bài toán n i suy hàm m t bi n.1. Xét m t hàm ch a bi t _x . .2 Bài toán n i suy hàm nhi u bi n. y a .1.

n . n m t d ng ã bi t V i tr ng h p m>1. k ! 1.2 Bài toán x p x Hàm ng v i m bài toán n i suy m hàm nhi u ng xét bài toán có m=1. y ! f . yk  f ( xk ) ! yk . Chúng ta c n tìm m t hàm s N k k i u ki n n i suy ó là : N ( x ) ! y . bài toán t ng bi n giá tr th c.1.x k k k !1 k  n . k ! 1. nên n gi n ng i ta th 1.

yi ! f .x o c t i n i m thu c o n ?a.bA x1 x2 L xn .

. ta tìm hàm Trong ó trung bình ph ng là d ng hàm cho tr c. c1. ck là các tham s c n tìm sao cho sai s là hàm x p ng t i thi u..xi (1) V i k e n  1 . § ! 2 1 n § ..

N .

gi i quy t hi n t ng phù h p tr i. Ban u nó c gi i quy t b ng ph ng pháp s d ng a th c n i suy : a th c Lagrange. Tuy nhiên. th ng c gi i quy t b ng ph ng pháp x p x bình ph ng t i thi u c a Gauss. a th c Chebysept. Trong ó hàm n i suy c xác nh nh ghép tr n các hàm n i suy d ng n gi n (th ng dùng a th c b c th p) trên t ng o n con. tuy nhiên khi s m c n i suy l n thì n i suy b ng a th c th ng xãy ra hi n t ng phù h p tr i(over -fitting) do b c c a a th c th ng t ng theo s m c n i suy.3 Các ph ng pháp gi i bài toán n i suy và x p x hàm s Bài toán n i suy hàm m t bi n ã c nghiên c u nhi u t th k 18. Ph ng pháp này hay c áp d ng nhi u trong k thu t. nh ã trình bày trên.1. Khi ó ta nói n i !1 x t t nh t c a y trong l p hàm có d ng (1) theo ngh a t ng bình ph 1. thay vì tìm a th c n i suy ng i ta ch tìm a th c x p x . Cùng v i s phát tri n m nh m c a ngành Công Ngh 14     f : D(Ž Rn ) p Rm và m t t p hu n luy n N m sao cho th a mãn . M t ph ng pháp khác c xu t vào u th k 20 ó là ph ng pháp n i suy Spline..xi  yi nh nh t. các ng d ng m nh m nh t c a n i suy hàm nhi u bi n trong th c t ngày nay òi h i ph i gi i quy t c bài toán n i suy hàm nhi u bi n..

bao g m nh ng n l c mô ph ng não ng i t o ra trí thông minh nhân t o mà c u trú c m ng n ron sinh h c là m t k t qu quan tr ng. 1. ây chính là u i m quan tr ng nh t c a m ng n ron nhân t o.Mitchell dùng ch các ph ng pháp k-láng giêngf ag n nh t. chính vì i u này mà m ng n ron nhân t o có th th c hi n t t m t công vi c khác khi c hu n luy n và n khi môi tr ng thay i mang n ron nhân t o l i có th c hu n luy n l i thích nghi v i i u ki n m i. ó là kh n ng có th hu n luy n hay kh n ng h c.H c d a trên m u : Thu t ng này c T. L y ý t ng t m ng n ron sinh h c.M ng n ron MLP . xin xem thêm trong [ 3] 1.1 M ng n ron sinh h c : M ng N ron sinh h c là m t m ng l i (plexus) các Neuron có k t n i ho c có liên quan v m t ch c n ng tr c thu c h th n kinh ngo i biên (peripheral nervous system) hay h th n kinh trung ng (central nervous system). bài toán n i suy x p x hàm nhi u bi n c quan tâm và có nh ng nghiên c u t phá trong kho ng 30 n m tr l i ây. ph ng pháp h i quy tr ng s a ph ng . ã có nhi n nghiên c u v b não ng i. ó là m t m ng g m có các nút c thi t k mô hình m t s tính ch t c a m ng n ron sinh h c.2. v i các cách ti p c n ch y u nh : . i m gi ng nhau gi a m ng n ron nhân t o và m ng n ron sinh h c. Ngoài ra.M ng n ron RBF hi u rõ h n..2 M NG N RON NHÂN T O Loài ng i ti n hóa c n ngày hôm nay là do có b não v t tr i so v i các loài khác. M ng n ron sinh h c là m t m ng l i ch ng ch t các n ron có k t n i v i nhau n m trong não ng i.Thông Tin. M c dù v y. b não ng i cho n nay v n ch a ng nhi u bí m t mà con ng i ch a gi i áp h t c. 15 . V m t toán h c thì m ng n ron nhân t o nh là m t công c x p x m t hàm s trong không gian a chi u. khái ni m m ng n ron nhân t o ã ra i.

Mculloch và W. M c dù W.Hình 2: Minh h a m t Neuron th n kinh sinh h c Trên ây là hình nh c a m t t bào th n kinh(N ron th n kinh). tuy nhiên. Sau khi t ng h p và x lý các tín hi u nh n c nó truy n tín hi u k t qu qua tr c c m ng (Axon) n các i m k t n i (Axon Terminal) uôi. -Ph n uôi có nhi u i m k t n i (Axon Terminal) k t n i v i các t bào th n kinh khác.2 M ng N ron nhân t o M ng N ron nhân t o c thi t k mô ph ng m t s tính ch t c a m ng N ron sinh h c. ta chú ý th y r ng m t t bào th n kinh có ba ph n quan tr ng: -Ph n u c ng có nhi u xúc tu (Dendrite) là n i ti p xúc v i các v i các i m k t n i(Axon Terminal) c a các t bào th n kinh khác -Nhân c a t bào th n kinh (Nucleus) là n i ti p nh n các tín hi u i n truy n t xúc tu. nh Heb: Khi m t neuron(th n kinh) A g n neuron B. các neuron 1. kích ho t th ng xuyên ho c l p l i vi c làm cháy nó thì phát tri n m t quá trình sinh hoá làm t ng tác ng này. ng d ng c a nó ph n l n l i có b n ch t k thu t. M ng N ron nhân t o (Artificial Neural Network) là m t máy mô ph ng cách b não ho t ng và th c hiên các nhi m v . Khi tín hi u vào xúc tu kích ho t nhân nhân Neuron có tín hi u ra tr c c m ng thì Neuron c g i là cháy.2.Pitts (1940) xu t mô hình m ng n ron nhân t o khá s m nh ng nh Heb (1949) m i là n n t ng lý lu n cho m ng n ron nhân t o. nó gi ng m ng n ron sinh h c hai i m : 16 .

l n c a tr ng s k t n i N ron óng vai trò kh p n i c t gi thông tin. Trên th c th F th ng c ch n trong nh ng hàm sau: ¡ 17 . a) C u t o m t N ron trong m ng N ron nhân t o w0 X1 X2 «« Xn w3 w2 w1 Y f Hình 3: C u t o m t N ron nhân t o M t neuron bao g m các liên k t nh n tín hi u vào bao g m các s th c x i cùng các tr ng s k t n i wi t ng ng v i nó. . Ta có th bi u di n m t N ron nhân t o theo công th c toán h c nh sau: Y ! n ¨ ¸ w 0  § xi wi ¹ © i !1 ª º Tùy vào th c t bài toán hàm F là m t hàm c th nào y. hàm F g i là hàm kích ho t t o tín hi u ra d a trên giá tr hàm t ng có tr ng s c a các giá tr u vào. Y là giá tr u ra c a N ron.-Tri th c c n m b t b i N ron thông qua quá trình h c. trong quá trình hu n luy n(h c) thì các tham s wi c xác nh.

 x 0 F ( x) ! N ( x) ! ¯ °1.5 -4 -2 0 2 4 6 -1 -1.- - - -3 - Hình 5: th hàm tuy n tính 1 6 4 Hình 6: 18 © © © § 3) Hàm sigmoid 1 ( x) ! 1  e x 0 5 0 2 0 2 4 6 th hàm sigmoid ¦ ¢ £ ¥ ¨ £ ¢ 2) Hàm tuy n tính (x) ! ax £ ¦¤ ¥ ¤ £ ¢ 3 ¢ .5 Hình 4: th hàm ng ng .5 1 0.  x u 0 0 -6 -0.5 1) Hàm ng ng  ® 1.1.

- - - . b) Ki n trúc c a m ng N ron nhân t o Ki n trúc c a m ng N ron nhân t o l y ý t ng c a m ng N ron sinh h c ó là s k t n i c a các N ron.5 Trên th c t thì các h hàm sigmoid th nhi u t ng MLP vì các hàm này d tính m ng N ron RBF l i dùng hàm kích ho t là hàm bán kính vì tính a ph ng ± m t u i m c a m ng RBF s c trình bày rõ h n trong ph n sau. Ví d là trong m ng n ron truy n t i hay m ng n ron RBF các Neuron c phân thành nhi u l p. Tuy nhiên.. v c s l ng Neuron và c ki n trúc m ng... m ng N ron nhân t o có ki n trúc n gi n h n nhi u. trong khi ó 19        4) Hàm tank F ( x) ! 1  e x 1  e x      . - Hình 7: th hàm tank 1 0. các Neuron ch c k t n i v i các neuron l p li n tr c ho c li n sau l p c a nó  5) Hàm bán kính (Gauss) ( x) ! e x 2 0 -6 -4 -2 0 2 4 6 Hình 8: th hàm Gauss ng dùng cho m ng N ron truy n th ng o hàm: f '(x) ! f (x)(1 f (x)) . trong khi m ng N ron t nhiên m t Neuron có th k t n i v i m t Neuron khác b t k trong m ng thì m ng N ron nhân t o các Neuron c k t n i sao cho nó có th d dàng c bi u di n b i m t mô hình toán h c nào y.

V b n ch t quá trình h c là quá trình xác nh các tham s wi c a các Neuron trong m ng N ron và tùy theo các thu t toán hu n luy n c th . i ! 1.. h c không có giám sát và h c t ng c ng. ó là h c có giám sát. H c có giám sát Trong h c có giám sát.n). m i ki u m u t ng ng v i m t nhi m v h c tr u t ng. D i ây xin nêu ra ph ng pháp h c có giám sát. Trên th c t ng bình ph ng sai s i ta th n pY (trong l 2 p các hàm ng tìm hàm f sao cho t ng i !1 t giá tr nh nh t trên t p ví d : E ! § . C ác ph ng pháp khác xem thêm [4] ± chapter 4. quá trình hu n luy n là quá trình mà m ng N ron nhân t o t thay i mình theo môi tr ng ây là b d li u hu n luy n . có th bao g m vi c xác nh các tham s còn ch a bi t trong hàm kích ho t. là ph ng pháp c dùng trong khóa lu n này.Hình 9: Ki n trúc m ng N ron truy n t i c) Quá trình h c Nh ã nói trên m ng N ron nhân t o có kh n ng hu n luy n c (h c). x  X . yi . Có ba ki u h c chính. y Y và m c tiêu là tìm m t hàm f : c phép) kh p v i các ví d . i u ki n quá trình hu n luy n có th c th c hi n là khi m ng N ron nhân t o ã xác nh c ki n trúc c th (th ng là theo kinh nghi m) trong ó bao g m hàm kích ho t F. ta c cho tr c m t t p ví d g m các c p ( xi .cho ra k t qu phù h p nh t v i i u ki n c a môi tr ng.

3 M NG N RON RBF 1. f ( x i )  y i 1.D. m ng N ron RBF 20 .3.1 K thu t hàm c s bán kính và m ng n ron RBF Hàm c s bán kính c gi i thi u b i M. Powell gi i quy t bài toán n i suy hàm nhi u bi n n m 1987.J. Trong l nh v c m ng N ron.

chú ý r ng ây ng i ta ta dùng chu n ||. K thu t hàm c s bán kính Không m t tính t ng quát gi s m=1 khi ó hàm n i suy N có d ng nh sau : (1) ây y y y Nk là hàm c s bán kính th k. n u x  v k " 3W k thì giá hàm Nk ( x) < e-9 là r t nh .|| là chu n Euclidean u ! N §u i !1 2 i . Wk là bán kính hay còn g i là tham s r ng c a Nk . không có ý ngh a. Ta th y v i d ng hàm bán kính ã ch n x và tâm bán kính trên thì kho ng cách gi a vecto input vk Wk càng l n thì giá tr c a hàm bán kính càng nh . Theo ó. Bromhead và D.c xu t b i D.S. vk là tâm c a m i hàm c s bán kính Nk . Thông th ng Nk có nh ng d ng sau: (2) (3) (4) Trên th c t thì ng i ta th ng cho Nk d ng (2) và trong khuôn kh khóa lu n này ch xét Nk d ng (2). Lowe n m 1988 cho bài toán n i suy và x p x hàm nhi u bi n(xem [5]). 21 . D i ây s trình bày s l c k thu t s d ng hàm c s bán kính gi i quy t bài toán n i suy hàm nhi u bi n. V i m i k thì giá tr c a c dùng i u khi n mi n nh h ng c a hàm bán kính Nk .

Thay công th c (2) vào (1) ta c bi u di n toán h c c a k thu t hàm c s bán kính nh sau: N k !1 N k !1  x j vk 2 Wk 2 N ( x j ) ! § wkN k ( x j )  w0 ! § wk e  w0 ! y j (5) gi i quy t bài toán n i ! § N xi  yi i !1 n M t c i m r t l i th khi s d ng hàm bán kính ng sai s suy hàm nhi u bi n.Hình 10: Minh h a s nh h ng c a hàm bán kính Ví d nh hình trên m t vòng tròn to t ng tr ng cho m t hàm c s bán kính. các hàm này ch nh h ng n các i m bên trong nó bán kính c a nó. ó là khi xét giá bình ph ng i ta ã ch ng minh .

.

N n N ron n th k chính là giá tr tr v c a hàm c s bán kính Nk ) và m N ron u ra. Do v y vi c tìm các k tham s c a các hàm c s bán kính( wk . 2 c r ng E ch có m t c c tr duy nh t. cho E 1.2 Ki n trúc m ng N ron RBF M ng RBF là m t lo i m ng N ron nhân t o truy n th ng g m có ba l p. Nó bao g m n nút c a l p u vào cho vector u vào xRn .3. 22  thì t c c ti u s c gi i ron n (giá tr c a . v .W k ) quy t r t nhanh và hi u qu .

Ngày nay m ng N ron RBF c s d ng trong r t nhi u l nh v c: y X lý nh y Nh n d ng ti ng nói y X lý tín hi u s y Xác nh m c tiêu cho Radar y Chu n oán y h c y Quá trình phát hi n l i y Nh n d ng m u y «.3. vi c thi t l p r t nhanh và gi n . n i dung khóa lu n này ch xét c i m hu n luy n c a m ng N ron RBF n u i m c a m ng RBF là th i gian hu n luy n ng n. không m t tính t ng quát. 1.3 trên.x Nk w w0 OUTPUT INPUT w0 Y X HIDDEN Hình 11: Ki n trúc c a m ng RBF D nhiên. nh ã nói tr ng h p m=1. 23 .

CH NG 2 : THU T TOÁN L P HDH HU N LUY N M NG RBF N i dung ch ng này bao g m : 2.2 Mô t thu t toán l p HDH m t pha dùng cho d li u hu n luy n cách (chi ti t v 2 thu t toán này xin xem thêm t i [6]) 2.1..1.j x j+d) = x* trong ó x* là nghi m úng duy nh t c a ||x*i-xki|| <= c ti p theo.j| / i=1. tr c khi c p n thu t toán l p.1 Mô t thu t toán l p HDH hai pha dùng cho d li u hu n luy n b t k 2.n} V i vecto x0= công th c l p xk+1 = Bxk + d. max{| xkj ± xk-1j |} uv i ng ta có th ch n x 0=d. ( xk+1i= V i th a mãn c l ng sai s Thông th x = 0 và x =d là b 0 0 k i. tôi xin c trình bày c s lý thuy t c dùng xây d ng thu t toán 2.1.2 Thu t toán l p hai pha hu n luy n m ng RBF k k Xét t p hu n luy n x . y _ a .1 Ph ng pháp l p n gi i h ph Gi s ta c n gi i h ph ng trình ng trình tuy n tính u Ax=B Tr c h t ta a v h t ng ng X=Bx+d Trong ó B là ma tr n vuông c p n th a mãnj ||B||=max{ Ph ng pháp l p n b t k . dãy nghi m c a ph ng trình c xây d ng b i i. khi ó coi nh ta ã tính x p x ban 2. THU T TOÁN L P HDH HAI PHA HU N LUY N M NG RBF Trong ch ng này. .

x k !1 N k  R n . khi ó bi u di n toán h c c a m ng RBF là: 24 . không m t tính t ng quát. ây ta xét m ng RBF có m t N ron output (m=1). y k  R m .

ta s xác eq và g n v i q nh t (ngh a là n u thay Wk=Wk/E thì qk>q). j thì 0. j ! ¯ ||x j  xk ||2 /W 2 k . Mô t thu t toán.1. Z= ¬ . ta có hàm qk c a Wk xác N qk ! § ] k . W= ¬ ¼ ¬ ¼ ¬wN ¼ ¬zN ¼ ­ ½ ­ ½ ? A NxN (5) luôn có duy nh t nghi m W.1. Ta ký hi u I là ma tr n không gian N-chi u RN trong ó: . v i các tham s Wk ã ch n và w0 tùy ý.. và t = ! I  * ! ] k. thu t toán bao g m 2 nh các Wk qk nh các tham s Wk và W*. khi : k ! j ® ± ] k .3. khi : k { j  ±e ° Khi ó h ph W= = W +Z Nh ã nói ng trình (1) t ng ng v i h : (5) 1. ¼ là các véc t trong n v c p N . j j !1 Hàm qk là cho qk( Wk )=q. Pha sau tìm nghi m g n 25  Xét ma tr n * ! . h (1) và do ó h c ch n là trung bình c ng c a các (6) nh nh sau: (7) n i u t ng và v i m i s d ng q <1 luôn t n t i giá tr Wk sao (4) k e N « w1 » « z1 » ¬ . 2.. E <1 cho tr c. V i sai s I và các h ng s d pha xác ng q. Trong pha th nh t..3.. V sau giá tri w0 giá tr yk: w0 = 1 N k §y N k !1 V i m i k eN.J ( x i ) ! § wkJk ( x i )  w0 ! y i k !1 N (1) ta ch n tâm c a các hàm c s bán kính chính là t t c các i m thu c t p d li u input X. ¼ .

chú ý r ng ây  (2) (3) .i trong ó N k .N k .i ! N k ( x i ) ! e  x  x NvN i k 2 2 /W k .

úng W* c a (5) b ng ph 12. Tính Wk+1= = W k +Z . v i t là s l n l p. Thu t toán c c t trong hình Proceduce Thu t toán 2 pha hu n luy n m ng RBF for k=1 to N do Xác nh các Wk qk eq. và n u thay Wk=Wk/E thì qk>q. a) q 1 q b) ln tu I (1  q ) Z * ln q W1  W 0 * eI (9) (10) ! ln I  ln Z *  ln(1  q ) ln q . hi u chi ti t h n v thu t toán HDH ( xem thêm t i [6]). Song do ki n trúc m ng ph c t p nên th ng xãy ra hi n t ng phù h p tr i(over -fitting) cho t p d li u hu n luy n.. //Pha 2 End Hình 12: Thu t toán HDH hu n luy n m ng RBF tìm nghi m W* c a h (5) ta th c hi n th t c l p nh sau. ng pháp l p n gi n.1. ta ký hi u chu n u * ! § u j . cho g n và phân bi t v i thu t toán l p m t pha s p trình bày ngay sau ây.. N u i u ki n k t thúc ch a th a mãn thì gán W 0 := W1 và tr l i b N j !1 (8) c2. T i ó. 2. v i các k t qu nghiên c u th c nghi m ã cho th y t c tính toán và tính t ng quát c a thu t toán l p hai pha HDH t t h n nhi u so v i các thu t toán kinh i m khác nh ph ng pháp l p Gradient hay thu t toán QTL . V i m i vect N-chi u u. Kh i t o W0=Z . tác gi .. i u ki n k t thúc có th ch n m t trong bi u th c sau. // Pha 1 Tìm W* b ng ph ng pháp l p n(ho c ph ng pháp l p Seidel).4. Nh n xét Thu t toán này có u i m là cài t r t n gi n và t c h i t r t nhanh và ta có th i u ch nh giá tr sai s n i suy nh tùy ý.. ta g i thu t toán l p HDH hai pha này là thu t toán HDH-2 26 .

bi u di n s thay ik nh n giá tr t 0 n n k . hk (k=1.in i1..2. tr thành thu t toán m t pha.. v i A là ma tr n có d ng c ch n = hk .. các bài toán k thu t «.2. ta xét chu n Mahalanobis : ||x|| = x T Ax. v i nk+1 là s m c chia m i chi u 2. có th . Mô t thu t toán : Thay cho chu n Euclide.in(x)+w0 c vi t = qi1.«.2 có th Các tham s k s l i nh công th c sau : (x) = Ma tr n = tr thành : i1.n) là h ng s bi u i c a chi u x k . nh n d ng m u. Thu t toán này hu n luy n trên các m c cách u th ng áp d ng v i các ng d ng l nh v c h a máy tính.hk .in có th vi t l i là qi1..2. V i k x ) c tr ng cho chi u. xem chi ti t t i [6] . V i tr ng h p các m c hu n luy n là m c cách u. bi u th c (1) t i m c 2..in = Áp d ng m t vài bi n minh c r ng bán kính i toán h c. c bi u di n d i d ng xi1...1. di n kho ng cách gi a 2 m c cách u c a 1 chi u. tác gi i1.1 Bi u di n các m c n i suy Các m c n i suy là các m c cách u.in th a mãn i u ki n q i1..2.2. Khi ó.in < q thì : ã ch ng 27 . và là c s gi i quy t bài toán n i suy v i b d li u hu n luy n có nhi u s p trình bày trong ch ng ti p theo.2 THU T TOÁN L P HDH M T PHA HU N LUY N M NG RBF V I B D LI U CÁCH U Thu t toán l p hai pha trên có c i m th i gian hu n luy n c a pha m t chi m ph n l n.in = (x trong ó x = x + ik. 2. thu t toán l p hai pha có th b i pha th nh t này..i2«.

Nh n xét Theo các k t qu th c nghi m t i [6]. cùng v i vi c cho th y thu t toán l p hai pha HDH ã cho th y tính t ng quát t t và th i gian hu n luy n nhanh h n nhi u so v i các thu t toán khác.2. ngoài ra còn cho th y tính t ng quát c a thu t toán l p HDH m t pha còn t t h n so v i thu t toán l p hai pha HDH. b ng các k t qu th c nghi m tác gi c ng ch ra r ng thu t toán l p m t pha HDH này v i vi c gi m i ph n l n th i gian hu n luy n ã cho th y u i m r t l n t c tính toán. 28 . và khi g i th này nghi m nhiên ta coi b d li u hu n luy n là b d li u bao g m các m c n i suy cách u. c ng t i [6]. cho g n. Thu t toán này có c i m là cùng v i 1 mi n giá tr .Nh v y. 2. ta có th ch n cho m i hàm bán kính m b o i u ki n d ng luôn x y ra. pha ban u tính tham s r ng cho t ng hàm bán kính.3. t ây thu t toán này s c g i là HDH-1 phân bi t v i thu t toán HDH-2. Nh v y. bài toán l p hai pha tr thành thu t toán l p m t pha hu n luy n trên các m c cách u. n u các m c cách u c chia càng dày c thì tính t ng quát càng t t. c hi m ph n l n th i gian hu n luy n ã c gi i quy t t c thì.

rõ h n chi ti t xin xem thêm trong [7] 29 . sai s ng u nhiên không có b t k tác d ng nh t quán nào trên toàn b m u.1. c i m quan tr ng c a l i ng u nhiên là nó có th bi n i d li u nh ng không làm nh h ng n giá tr trung bình c a nhóm. Cho nên.1. nó làm cho các giá tr o c t ng ho c gi m m t cách ng u nhiên so v i giá tr chính xác. k t qu o c cho b i công th c X=T+E Trong ó X là k t qu o. L i ng u nhiên c gây ra b i b t k y u t ng u nhiên nào có nh h ng n s o l ng trên m u. i u này có ngh a là n u chúng ta coi t t c các l i ng u nhiên n m trên m t phân b thì chúng s có t ng b ng 0.CH NG 3 : NG D NG THU T TOÁN L P M T PHA HU N LUY N M NG RBF VÀO VI C GI I QUY T BÀI TOÁN N I SUY X P X V I D LI U NHI U TR NG N i dung ch y y y ng này bao g m : Nhi u tr ng và bài toán n i suy x p x có nhi u tr ng Ph ng pháp h i quy tuy n tính kNN ng và ph ng pháp gi i quy t bài toán Trình bày ý t 4. vì v y v i bài toán t ng quát n i suy hàm nhi n bi n tron khóa lu n này ta ch xét l i ng u nhiên. E=Er+Es L i h th ng là l i do các y u t ch quan v công c o l ng ho c do các tác ng ngo i c nh có th kh c ph c c. Theo lý thuy t v sai s o l ng. l i E c là t ng h p c a E r (l i ng u nhiên) và E s (l i h th ng). NHI U TR NG VÀ BÀI TOÁN X P X N I SUY V I D LI U NHI U 4. Thay vào ó. Trong ó. n u kh ông mu n nói là h u h t các phép o u có l i. Thông th ng. nó là sai s hay l i trong khi o các m c n i suy.1. T là giá tr chính xác và E là l i trong quá trình o. các l i ng u nhiên này c g i là nhi u tr ng. B n ch t c a nhi u tr ng Nhi u tr ng là m t v n c phát sinh trong các ng d ng th c ti n.

t c nhi u tr ng. cg nó th hi n m c t p trung c a phân ph i xung quanh trung v . Nó là h phân ph i c ó d ng t ng quát gi ng nhau. ch khác tham s trung v và ph ng sai . chu n và chính là r ng c a hàm m t .2 Phân ph i chu n Phân ph i chu n. hay còn g i là phân ph i Gauss (xem chi ti t [8]). Hàm Gauss i x ng qua .Hình 13 D li u có nhi u tr ng và hàm s chu n th hi n sai s mà ây là sai s ng u nhiên. Cách d th y nh t th hi n c tính c a phân ph i này là thông qua hàm m t xác su t v i công th c : Trong ó c g i là trung v . c g i là l ch hi n d i d ng 30 . ) t cao nh t và là i là ph ng sai. ây ta s d ng phân ph i chu n. là m t phân ph i xác su t c c k quan tr ng trong nhi u l nh v c. Phân ph i chu n c th 2 N( . là giá tr các m t xác su 2 trung bình c ng c a phân ph i.1. ng cách bi u di n chúng trong m t phân ph i. i ta tìm 3.

xn thu c mi n D c các k t qu : 31 . 3.xác su t c a phân ph i chu n v i ph ng sai k v ng khác nhau Hình trên th hi n hàm m t v i 4 t p tham s khác nhau.3 Bài toán n i suy x p x hàm v i d li u nhi u tr ng Bài toán này c ng t ng t nh bài toán n i suy x p x hàm nhi u bi n nh ã nêu trên.. Trong th c nghi m. i ng cong là n m trong i i i ng cong là n m trong ng cong là n m trong ng cong là n m trong l ch chu n 1 l ch chu n 2.. ta th ng gi thi t r ng d li u l y t t ng th có dang phân ph i x p x chu n. i m khác bi t là bài toán này.1. ta th y ng có =-2 i x ng v i ng x= -2 n m l ch h n ra kh i 3 ng còn l i i x ng qua ng th ng x=0. kho ng 95% s giá tr trong kho ng hai l n l ch chu n và kho ng 99. 99. x2. Các hàm có ph ng sai khác nhau th hi n s t p trung xung quanh tr trung bình khác nhau.26894921371% c a di n tích d tính t tr trung bình. C th là : Hàm f(x) o c t i n i m x1. b d li u hu n luy n mà ta có bao g m các m c n i suy và các giá tr b ng giá tr o c t i các m c ó c ng v i sai s và dãy các sai s là m t dãy nhi u tr ng phân b chu n. l ch chu n 4. y 95. l ch chu n 3. các hàm có ph ng sai nh th hi n s t p trung dày c xung quanh tr trung bình và ng c l i. ó là "quy lu t 68-95-99. M t s tính ch t v i phân ph i chu n: y Hàm m t là i x ng qua giá tr y 68. N u gi thi t này c ki m ch ng thì có kho ng 68% s giá tr n m trong kho ng 1 l ch chu n so v i tr trung bình.4499736103% c a di n tích d y 99.7300203936% c a di n tích d y y Hình 14 Hàm m t trung bình.9936657516% c a di n tích d «.7% n m trong kho ng 3 l n l ch chu n..7" ho c quy t c kinh nghi m.

2. Ta tìm m t hàm N ( x ) xác nh trên D có d ng ã bi t sao cho: (1. Tuy nhiên u ph ng pháp.xn ta xác nh giá tr N ( x ) qua giá tr c a f t i k m c n i suy g n nó nh t nh sau. không th xây d ng nên m t h th ng cho ra k t qu x p x ngay t i m nó c coi là m t công c h u hi u c áp d ng trong nhi có ph ng pháp s p c gi i thi u sau ây ây. nên 3. nh nh sau: (2) Ký hi u z1.xn). NG PHÁP H I QUY TUY N TÍNH K HÀNG XÓM G N NH T ây là m t ph ng pháp ph bi n h i quy hàm s . nh c i m l n nh t c a nó là ch có th h i quy t i nh ng i m nh tr c.x2«.2 PH Xét mi n gi i n i D trong Rn và f : D (ŽRn)pRm là m t hàm liên t c xác nh trên D.v b t k trong D ã cho). u i m c a nó là cài t n gi n và có th kh nhi u. và dùng N(x) thay cho f(x). ng n gi n ta ch c n xét v i m=1. i i m b t k .N và c n tính giá tr c a f(x) t i các i m x khác trong D (x= x1.2 Mô t ph ng pháp kNN Trong ph ng pháp này.«N. Ng i ta ch m i xác nh c t i t p T g m N i m x1. bài toán n i suy t suy m hàm nhi u bi n giá tr th c.«.) ng ng v i m bài toán n i N(xi) } yi .V i Ta c n tìm hàm sao cho trung bình t ng bình ph ng sai s nh nh t. x= x1.«. i ta ch n tr c s t nhiên k. v i m i giá tr c n bi t thì ph i h i quy l i t u.xN trong D là f(xi) = yi v i m i i=1. Khi m >1. tôi xin c mô t sau xin c g i t t là 3.1 Phát bi u bài toán h i quy. Nh ng tr ph ng pháp h i quy tuy n tính k hàng xóm g n nh t (t ph ng pháp kNN) 3. trong ó c h t.2«.  i=1.zk là k i m trong T g n x nh t (v i d(u.v) là kho ng cách c a hai i m u. V i m i x D .«. khi ó N ( x ) xác N ( x) ! § V j x j  V 0 j !1 n 32 .2.

c xác nh t ng bình ph ng sai s trên tâp i m z 1.«.zk 2 k ¸ 1 k 1¨ n i i 2 T c là: 7 ! § .Trong ó Vi t c c ti u.

Ta 2 i !1 i !1 2 ª j !1 º tìm các h s Vi (ph thu c x) nh h ph ng trình: T c là h (3) Và (4) Gi i h (3. B n ch t c a ph ng pháp này là : B c 1 : D a trên b d li u ban u v i các m c n i suy không cách u và giá tr o c t i m i m c b nhi u tr ng. thu t toán l p m t pha HDH h a h n có th áp d ng nhi u vào các ng d ng c th . òi h i th i gian hu n luy n nhanh trong các l nh v c nh h a máy tính. Giá tr o c t i m i m c cách u m i ã c kh nhi u. dùng thu t toán l p HDH m t pha hu n luy n m ng RBF trên nh cb t ng ng xác 33 . ta t o ra m t b d li u m i v i các m c n i suy là các nút cách u trên 1 l i d li u xác nh tr c trong mi n giá tr c a các m c n i suy ban u. v i m i x ta xác nh N ( x ) theo (2). B c 2: Sau khi có b d li u m i g m các m c n i suy cách u và giá tr u ra ã c kh nhi u. và các m c n i suy không cách u. b ng ph ng pháp h i quy. v i . Hoàng Xuân Hu n ã a ra ý t ng ng d ng thu t toán HDH-1 trong vi c quy t bài toán n i suy hàm nhi u bi n có nhi u tr ng. 3.4).3 Ý T NG VÀ PH NG PHÁP GI I QUY T BÀI TOÁN N I SUY X P X V I D NHI U NHI U V i vi c hu n luy n trên các m c cách u.N ( z )  f ( z ) ! § © § V j z ij  V0  f ( z i ) ¹ nh nh t. nh n d ng m u « t n d ng t i a các u i m và t ng ph m vi áp d ng.

v a kh Hình 15 Th hi n l i cách trên c s mi n giá tr c a các m c ban u Hình trên th hi n trong tr ng h p d li u n i suy có 2 chi u. M ng RBF s c hu n luy n b ng thu t toán HDH-1 d a trên b d li u g m u vào là các m c n i suy m i. l i các m c n i suy m i (các hình tròn) c xây d ng d a trên mi n giá tr c a các m c n i suy c (hình tam giác. ta c nhi u. cách u (các hình tròn) và giá tr ã c kh nhi u t i m i m c. 34 . Giá tr t i m i m c n i suy cách u (hình tròn) s c tính b ng cách h i quy d a trên các giá tr o c t i k m c c (hình tam giác) g n nó nh t. c 1 m ng v a có kh n ng n i suy x p x hàm.b d li u m i này.

CH NG 4 XÂY D NG PH N M M MÔ PH NG N i dung ch ng này bao g m : y L p trình sinh nhi u tr ng theo phân ph i chu n y L p trình gi i bài toán h i quy tuy n tính kNN y T ng quan ph n m m Các mô t l p trình trong ch ng này s nêu ra các ph ng án l p trình gi i quy t các bài toán nh ã c p trên. theo nh ngh a. Y 35 . l y ra 1 c p X=x.1 L P TRÌNH SINH NHI U TR NG THEO PHÂN PH I CHU N xây d ng phân ph i chu n t hàm phân ph i u rand() c a C++.1) b i công th c : N( ) t ó ng pháp Box-Muller cho phép ta sinh ra 1 dãy phân ph i chu n ) b t k . c th là cách sinh nhi u tr ng theo phân ph i chu n và l p trình gi i bài toán h i quy tuy n tính kNN.b là các s th c )´ b t k t dãy Y N(0. 4. Y=y 2 dãy phân ph i chu n t ng ng hàm m t xác su t s là : Ta t Ta s tìm cách sinh dãy R và t ó sinh dãy X.1.1 Ph ng pháp Box-Muller T m t tính ch t c a phân ph i Gauss : ³N u X N( thì Ta có th tìm ra dãy X N( Ph ) v i ) và a. Ph có th chu n qua dãy phân ph i chu n N( bày nh sau : Phân ph i N(0 ) . ng pháp này c trình c bi u di n d i d ng hàm phân ph i xác su t: Nh v y. tôi ã d a theo ph ng pháp Box Muller (xem chi ti t t i [9]) c trình bày d i ây : 4.

t . t «.T « do ó v i s c sinh theo phân ph i u trong mi n hay có th vi t d i d ng c phân ph i u trong mi n .y) sao cho t t a .2 Sinh nhi u tr ng t hàm rand() trong C++ Nh v y. .2. ta c dãy s th hi n nhi u tr ng v i k v ng b ng 0 và ph ng sai theo thi t l p ban u.Y là u. 4. Ta nh ngh a hàm U(R) tính xác su t là : sinh c p (x. v i m i p ta s có 1 bán kính R X.1). c a các i m n m trong hình tròn bán kính R Khi này p s có giá tr phân b u.1.2 L P TRÌNH GI I H PH TUY N TÍNH KNN T h (3). ta có th tính c 2 dãy phân ph i chu n N(0. sinh r.(4) c a 3. c ng có giá tr phân b t ây ta có th xây d ng c 2 dãy phân b chu n c l p : 4. m i ph n t c a dãy nhân v i tham s ph ng sai r i tr i m t kho ng b ng sai s trung bình gi a t ng c a chúng v i k v ng. v i vi c dùng hàm rand() trong C++ t o ra 2 dãy phân ph i u.2 : NG TRÌNH C A BÀI TOÁN H I QUY (3) Và (4) 36 . ta có : .

P-Y) = T ng ng v i Z T. B = ZT.Z.1 T ng quan ph n m m ây là ph n m m xây d ng và hu n luy n m ng n ron RBF n i suy x p x hàm nhi u bi n t d li u nhi u. dung l ng 22MB .NET .3. ta ch vi c dùng ph ng pháp Crammer gi i : = V i Ai là ma tr n A v i c t th i c thay b i ma tr n vecto B.0 Redistributable Package. Framework . Tôi ch n l p trình b ng ngôn ng C++. t P là ma tr n vecto 1 x (n+1) : Z là ma tr n .P = ZT. vì A là ma tr n vuông.3 GI I THI U PH N M M X P X N I SUY V I D 4.Z . có th t i mi n phí a ch : 37 . ta a chúng v d i d ng phép nhân ma tr n.P=B ây chính là h ph ng trình tuy n tính v i P là ma tr n vecto c n tìm. trên IDE Visual C++ 2010 Release Candidate. tên file là dotnetfx.Y ta có : A. coi =1 1 Y là ma tr n Khi này.exe.Y t A=ZT. LI U NHI U 4.NET Framework version 2.gi i h này. ch y trên h i u hành Windows v i i u ki n cài t Microsoft . S n ph m c d ch ra d i d ng Windows Form. (3) và (4) t ng ng v i : (Z.

com/downloads/details. Các giá tr .microsoft. Tôi l p trình theo cách h ng i t ng.http://www.aspx?FamilyID=0856eacb-43624b0d-8edd-aab15c5e04f5&displaylang=en 4.3. vì trong khóa lu n này ch xét tr ng h p u ra 1 chi u. nên c cho d i d ng 1 s th c. các i t ng quan tr ng c vi t thành t ng l p t trong các file header d dàng ch nh s a ho c trao i v i nh ng ng i quan tâm.2 T ch c d li u Các m c n i suy c th hi n d i d ng các m ng s th c. g m : 38 .

y Class mangnoron (mô ph ng m ng n ron RBF) y Class bosinhphanphoichuan (mô ph ng máy sinh phân ph i chu n Gauss) y Class hambk (mô ph ng hàm bán kính. Thay vì kh i t o ma tr n A r i tính ta ch vi c tính .3. Sau ây tôi xin c gi i thi u giao di n và ch c n ng c a ph n m m theo 2 Tab này. gi m b t yêu c u b nh c a ch ng trình. Ng i dùng tùy theo vi c mu n nh p d li u theo ki u nào mà ch n 1 trong 2 Tab.1 Tab ³Nh p d li u theo file´ nh p d li u theo file. ta ch n Tab 1 µNh p theo file¶. ph n m m này c thi t k c u l n ng d ng th c t . dùng cho vi c tính y Class maytinh (mô ph ng hàm s t 1 xâu nh p vào) Ph ng pháp kNN-HDH và các thu t toán c u thành nên nó là HDH-1 và kNN u c vi t d i d ng ph ng th c c a class mangnoron.3.3.3 Giao di n và ch c n ng M c dù là b n Demo. ti n cho c vi c nghiên 4. Ph n m m có ch c n ng chính y Nh p d li u (có nhi u tr ng) theo 2 cách o Th công o Nh p t file input y Xu t các d li u mô t m ng n ron RBF ã hu n luy n ra file output y a ra sai s hu n luy n trên giao di n Giao di n c a ch ng trình g m 2 Tab : Tab µNh p theo file¶ và Tab µT nh p¶. các class này c dùng nh th c) trong class mangnoron) y Class matran (mô ph ng ma tr n. m i Tab th hi n m t cách nh p d li u. 4. và có giao di n d ây i 39 . ví d nh vi c tính chu n Mahalanobis t i thu t toán HDH-1. 1 s b c có tính quy hay ph i khai báo bi n nhi u l n c n gi n hóa.

File input là 1 file txt g m các s th c c s p x p theo quy c : y Dòng u tiên là n ± s chi u c a các m c n i suy y Dòng th hai là m ± s các m c n i suy ) có (n+1) s th c t ng ng v i các s y Dòng th i+2. 2 button ch n file input. c s p x p nh sau: y Dòng th nh t là y Các dòng ti p theo. ph n m m s l y d li u t file input làm b d li u hu n luy n r i hu n luy n m ng n ron RBF theo b d li u này. 1 button ³Start´ b t u vi c hu n luy n. ngoài các TextBox. sau ó truy n các d li u s mô t m ng RBF ra file output. c 3 dòng m t c dùng mô t 1 hàm bán kính.Combo Box nh p các tham s hu n luy n c a thuât toán kNN-HDH nh hình trên. C th là v i o Dòng 3*k+2 g m n s th c t ng ng v i các s v i là tâm c a hàm bán kính th k o Dòng 3*k+3 là tham s r ng c a hàm bán kính th k o Dòng 3*k+4 là h s M i khi nh n button µStart¶. 40 . output nh ã ghi trên nhãn. ( (t i dòng th i+2) th hi n 1 m c n i suy n chi u và giá tr o ct im c ó File output c ng là 1 file txt bao g m các d li u mô t m ng RBF sau khi hu n luy n.Hình 16 Giao di n nh p d li u theo file Giao di n này n gi n. ph n nh p d li u g m có 3 button.

cho nên Tab này thay vì nh p t ng m c. 41 . ng i dùng có th ch n cách nh p theo file s c trình bày nh trên). Sau khi có các m c n i suy r i. V i m i n c ch n thì các label ³chi u 1´. giá tr o c t i các m c n i suy s b ng giá tr hàm s c n n i suy x p x (nh p TextBox ³bi u th c´) c ng v i 1 sai s c sinh t dãy phân ph i chu n (có k v ng m c nh =0 vì là nhi u tr ng) và ph ng sai c i n TextBox ³ph ng sai´ (m c nh là 0. ng i dùng s có th t o mi n giá tr cho các m c n i suy b ng cách này.3.2 Tab ³T nh p´ nh p d li u theo cách th công. (N u mu n nh p chi ti t các m c n i suy. ta ch n Tab µT nh p¶.25). Ch ng trình s t o ra các m c n i suy ng u nhiên n m trong mi n ó. C th là ng i dùng s ch n s chi u n. ng i dùng có th t nh p vào t i TextBox ³s m c ng u nhiên´. ng i dùng s ch n mi n giá tr cho các m c n i suy. giao di n nh d ây i Hình 17 Giao di n nh p d li u th công Vì s l ng các m c n i suy l n. S m c t o ng u nhiên m c nh là 100. ³chi u 2´ « hi n d n ra khi n t ng và n b t khi n gi m.4.3. Cùng v i ó là các textbox ng i dùng nh p giá tr max và min c a t ng chi u c ng hi n và n ra theo.

sai s trung bình t i các m c hu n luy n s c l y trung bình c ng c a t ng bình ph ng và k t qu c a ra TextBox ³TB c ng bình ph ng sai s ´ nh trên. 42 . checkBox Heuristic c ng s c ng i dùng tích vào n u mu n áp d ng heuristic ³ n gian´ khi thí nghi m. ph n m m s hu n lu y n m ng RBF theo thuât toán kNN-HDH v i các tham s ã c ng i dùng i n vào giao di n nh trên. Button ³Ch n file output´ c dùng n u ng i dùng mu n xu t d li u mô t m ng RBF sau hu n luy n ra file. Th t d li u xu t ra file gi ng nh mô t ã nêu 4.Sau khi xây d ng xong b d li u hu n luy n.2. nên sau khi hu n luy n m ng RBF xong.3. Ngoài ra.1 Vì giao di n này c làm v i m c ích giúp ng i dùng d dàng ki m ch ng các k t qu th c nghi m.

tôi s thi t l p m t module th c hi n 1 heuristic. 43 .thay vì dùng ph ng pháp kNN tính ra hàm r i gán . mô ph ng heuristic này. cho nên m c dù thu t toán HDH-1 có t c tính toán nhanh nh ng v n t n t i nghi ng r ng sai s hu n luy n có th l n. thì ph n m m. l nh ³ n gian´ s c vi t trong ph n m m. v a h i quy v a kh nhi u v i sai s b ng 0. d a vào tính ch t c a thu t toán HDH-1 pha trình bày cu i ch ng 2 r ng l i d li u càng dày thì x p x càng t t d n n quan ng i r ng trong ph ng pháp này ta ph i thi t l p l i d li u m i r t dày c m i có th cho sai s ch p nh n c. khi tính giá tr n i suy yi t i m i nút l i xi .1 THÍ NGHI M V VI C THAY I KÍCH TH CL I Vì m ng RBF s c hu n luy n không ph i trên d li u ng u nhiên ban u mà là trên l i d li u cách u c thi t l p sau khi h i quy t d li u ban u. Thí nghi m d i ây cho ra k t qu khá b t ng v kích th c h p lý c a l i d li u. thì ta s dùng ngay hàm s c n n i suy x p x gán giá tr 5. t m g i là ³ n gian´ gi thi t r ng ph ng pháp kNN là hoàn h o. Hàm s c dùng làm thí nghi m ây là hàm Các hàm này c l y t thí nghi m c a [10] ti n so sánh t i ph n sau.CH NG 5: K T QU THÍ NGHI M N i dung ch ng này bao g m: i kích th cl i y Thí nghi m thay y Thí nghi m v vi c ch n k y Thí nghi m khi t ng s chi u y So sánh hi u qu v i thu t toán khác làm n i b t các c i m c a ph ng pháp này. và khi kích ho t.

không áp d ng heuristic ³ n gian´ 44 . ta s th c 2 tr ng h p s m c n i suy m=100 và m=200 K t qu o t i các m c này b ng giá tr hàm s th c c ng v i sai s (nhi u tr ng). B ng d i ây so sánh sai s c a ph ng phá p này khi kh i t o l i d li u các kích c khác nhau. và 2 tr ng h p dùng và không dùng heuristic . Hình 18 Sai s khi ch n các kích c khác nhau c a l i d li u cho b d li u 100 m c ng u nhiên.D li u ban u vào D : u g m có các m c n i suy phân b ng u nhiên trên mi n giá tr . s m c cách u c a l i t o sau nhi u g p 4 l n s m c cách u c a l i t o ngay tr c nó. Kích th c l i d li u m i l n t ng c t ng g p ôi m i chi u.25. Dãy các sai s c phân b theo phân ph i chu n có ph ng sai là 0.

Hình 19 Sai s khi ch n các kích c khác nhau c a l i d li u cho b d li u 200 m c ng u nhiên. không áp d ng heuristic ³ n gian´ Hình 20 Sai s khi áp d ng các kích c khác nhau c a l i d li u cho b d li u ng u nhiên 100 m c. có heuristic ³ n gian´ 45 .

c bi t. Nh n xét : Thí nghi m này ã cho th y l i d li u m i c n kh i t o không ph i quá dày c nh ã lo ng i ban u. nh ng sai s t ng quát không gi m nhi u. l i d li u dày c n m t m c nào ó. có áp d ng heuristic ³ n gian´ Ta th y r ng dù m i l n thi t l p s nút l i t ng g p 4 l n so v i l n thiêt l p tr c. Th c nghi m ã cho th y ch c n s nút l i d li u x p x s m c n i suy ban u ã có th cho hi u qu hu n luy n nói chung là h p lý. ví d nh t ng kích th c làm gi m i sai s . tuy nhiên khi cho m t ó dày c lên thì ch hi u qu l n 1 kho ng nh t nh. Chú ý r ng s nút l i c a l i này x p x v i m m c n i suy c a b d li u ban u.Hình 21 Sai s khi ch n các kích c khác c a l i d li u cho b d li u 200 m c ng u nhiên. Ta th y rõ s khác nhau khi làm thí nghi m gi a vi c áp d ng và không áp d ng heuristic. Tùy thu c vào ng d ng c th mà có th tùy ch nh kích th c l i d li u. i u này cho th y t m nh h ng l n c a b c h i quy kNN. 46 . ta u th y hi n t ng r ng m t l i d li u quá th a thì s cho sai s l n. sai s khi t m t nút l i m c th 2 (10 x 10 v i m=100) hay (14 x 14 v i m=200) t t h n nhi u khi t m c th nh t. và không t i h n bao nhiêu v i các m c k ti p. m c dù dày c t ng u lên 4 l n m i m c. Th v i m t s hàm s khác. thì khi ti p t c làm dày c h n thì sai s không gi m i bao nhiêu so v i s gia t ng s m c cách u c n hu n luy n. trong khi th i gian hu n luy n v n n m trong kho ng cho phép. nh c i m hu n luy n r t nhanh c a ph ng pháp này.

Tham s m c ch n là 200. ng i ta m i ch a ra c khuy n ngh là nên ch n k l n h n s chi u n. theo nh k t qu thí nghi m 5.8. K t qu m i l n th nghi m c so sánh kèm v i k t qu khi kích ho t heuristic ³ n gian´ Hình 22 B ng so sánh sai s c a ph ng pháp kNN-HDH khi áp d ng cho hàm y1 v i các cách ch n k khác nhau 47 .16. Vì ph ng pháp kNN không ch h i quy mà còn làm nhi m v kh nhi u. ta ch n l i d li u có kích th c 14 x 14.12.6. Thí nghi m d i ây a ra m t vài k t lu n thú v v vi c ch n k. vi c ch n k khi h i quy tuy n tính kNN th nào cho t t c coi là r t quan tr ng.5. ta xét 2 hàm s D th y 2 hàm này t l v i nhau. N u h i quy kh ông t t s t o ra l i d li u mà giá tr t i m i nút l i khác xa so v i giá tr th c c kh nhi u và t ó làm cho vi c n i suy x p x kém i nhi u. Vi c ch n k trong ph ng pháp kNN còn là m t bài toán m .10. xét l n l t các tr ng h p k=4.2 THÍ NGHI M V VI C CH N K Trong ph ng pháp này. vì n i dung thí nghi m này là xét cách ch n k d a vào l n mi n giá tr c a hàm.14.1. T i thí nghi m này.

Hình 23 B ng so sánh sai s c a ph ng pháp kNN-HDH khi áp d ng cho hàm y2 v i các cách ch n k khác nhau T i ây. Ng c l i khi k càng nh thì hi u qu h i quy càng t t (tr tr ng h p k nh quá không h i quy thì sai s s t ng v t nh ã th y trong bi u ) . tùy theo các bài toán c th ch n k l n hay k nh . tuy nhiên khi gi m k thì kh n ng kh nhi u tr ng l i kém i vì ph i n i suy v i ít m c s không trung hòa c nhi u tr ng. c i m c a ph ng pháp h i quy kNN là khi k càng l n thì hi u qu kh nhi u càng t t. Xét ví d trên. ta th y hàm y2 t giá tr t t nh t v i k=6 và khi t ng d n k thì sai s t i h n nhi u. Nh n xét : Giá tr k t t nh t s ph i cân b ng gi a hi u qu c a h i quy và hi u qu c a kh nhi u. Ta có th th y khi dùng heuristic thì sai s không i. nh ng ng th i. vì ph i h i quy các nút quá xa cho nên hi u qu h i quy c ng b kém i. Trong khi hàm y1 thì càng t ng k càng t t. i u này có th gi i thích nh sau : Sai s chênh l ch thi th v i nh ng k khác nhau là do v i nh ng k khác nhau thì hi u qu c a ph ng pháp kNN khác nhau. ta th y vì mi n giá tr c a y1 nh h n c a y2 cho nên nhi u có nh h ng l n h n n k t qu 48 .

h i quy. thì ³k h p lý´ c ng s t ng theo. khi th v i các hàm s càng nhi u bi n. M t khác. n u s chi u càng t ng thì vi c kh nhi u càng t t. khi s chi u n t ng. thì sai s sau khi ã ch n k thích h p. v a có vai trò kh nhi u. l i càng g n v i sai s khi áp d ng heuristic ³ n gian´.03 Ng c l i. Vì v y. ta th y : Do tính ch t c a ph ng pháp kNN. n u h i quy kNN càng t t thì sai s s gi m i r t nhi u. c th k t qu nh sau : Ta th nghi m v i 5 hàm s y y y y y 49 . vì th ch n k nh h n so v i tr ng h p v i hàm y 1 s cho hi u qu t t nh t. thì ³k h p lý´ nên th p h i quy cho sai s nh . (T c là khi heuristic thành hi n th c) Xét v s chi u c a các vecto u vào. khi k càng t ng thì vi c kh nhi u l i càng t t. nó v a có vai trò h i quy ra các m c thu t toán l p 1 pha HDH d a vào hu n luy n. vì th công vi c kh nhi u ph i c t u tiên h n so v i bài toán v i hàm y2. bài toán v i hàm y2 vì t l mi n giá tr c a nó v i nhi u tr ng l n h n so v i bài toán hàm y1 cho nên u tiên kh nhi u không c t n ng nh bài toán v i hàm y1. Vi c ch n k th ng c khuy n ngh là nên ch n k>n. qua ó nâng cao tính hi u qu c a ph ng pháp kNN -HDH Trong quá trình thí nghi m d i ây. vì t quá n ng nhi m v kh nhi u so v i h i quy cho nên sai s s l i t ng lên 0. 5. m c t t nh t mà ta có th mong i là nó h i quy chính xác hàm s c n n i suy x p x t i nh ng nút l i. Vì v y. v i cùng 1 d i nhi u. Bi u trên cho th y k càng l n càng t t nh ng khi xét n k=30.3 THÍ NGHI M KHI T NG S CHI U M t ph n r t quan tr ng c a ph ng pháp này là h i quy kNN. do ó ây k l n h n thì t t. sau khi th a mãn i u ki n k>n.

Ta s so sánh k t qu c a ph ng pháp kNN-HDH v i ph ng pháp t t nh t c a tác già là ph ng pháp GIC.1302 0.0065 0. c ng v i vi c thu t toán GIC cài t r t ph c t p nên trong khóa lu n này tôi ch a cài t thu t toán GIC mà ch l y b d li u v à k t qu c a tác gi so sánh v i ph ng pháp kNN-HDH Hình 25: B ng so sánh k t qu v i ph ng pháp GIC m=100 GIC kNN-HDH m=200 GIC kNN-HDH Nh n xét : 0. Vì th i gian có h n.0232 u3 (2 chi u) 0. sai s khi không dùng heuristic càng lúc ti n l i l i g n sai s khi dùng heuristic.K t qu th c nghi m nh sau : Hình 24 : B ng so sánh sai s c a ph ng pháp kNN-HDH khi dùng và không dùng Heuristic.14857 0. 5.6312 0. úng nh nh n nh trên.2846 50 .18925 0.0752 u4 (3 chi u) Heuristic K=8 0.38873 0.4 SO SÁNH HI U QU V I PH NG PHÁP KHÁC Ch ng này tôi xin c so sánh hi u qu c a ph ng pháp kNN-HDH v i m t ph ng pháp n i suy x p x hàm nhi u bi n v i d li u nhi u c a tác gi Tomohiro Ando ã c công b trên t p chí Journ al of Statistical Planning and Inference n m 2008.34603 0.0001 u2 (2 chi u) 0. trong c 2 tr ng h p s m c n i suy ban u là m=100 và m=200 .0807 0. tác gi dùng 3 ph ng pháp là GIC. .4576 u5 (4 chi u) Heuristic 0. NIC. [10] T i bài báo này.4599 0.0892 0. MIC th v i các hàm s u2.1175 1.3333 0. u3 nh trên. t c là vi c h i quy kNN càng hi u qu khi ta t ng s chi u c a các m c n i suy. mi n giá tr c ng là .8162 Heuristic K=6 Heuristic K=5 Heuristic K=6 T i ây ta th y v i s chi u t ng d n. v i s chi u t ng d n u1 (1 chi u) K=16 0.

m c dù tác gi Tomohiro Ando m i ch th v i các hàm 2 bi n.V i k t qu này. 51 . ch a th v i các hàm nhi u bi n h n v n là u i m c a ph ng pháp kNN-HDH. ta th y ph ng pháp kNN-HDH cho sai s t t h n ph ng pháp GIC.

hi u qu càng t t vì kh nhi u t t h n trong khi v n y Phát hi n ra t i u sai s h i quy. ph n m m ti n cho nghiên c u l n ng d ng c các c i m c b n. y Tìm hi u ki n trúc m ng RBF. nh m tách riêng 2 b c h i quy tuy n tính kNN và thu t toán HDH-1. lý gi i và a ra các cách hoàn thi n ph ng pháp này. Nh ng công vi c ã làm ph c: c i m m ng RBF. 52 . o Các k t qu thí nghi m u c gi i thích kh p v i n n t ng lý thuy t. Nh th s làm n i b t c i m c a ph ng pháp này o Khi s chi u càng l n. ng pháp hu n luy n m ng RBF. y Tìm hi u v nhi u tr ng và ph y Tìm hi u v ph y Hi u ng pháp h i quy tuy n tính kNN c ý t ng v ph ng pháp kNN-HDH và l p trình mô ph ng thành công. c th là d a trên t l gi a mi n giá tr c a hàm s và nhi u tr ng. cho th y hi u qu cao c a ph ng pháp này. o Khi th c nghi m nên áp d ng ph ng pháp heuristic ³ n gian´.1 T ng k t n ây tôi ã hoàn thành khóa lu n t t nghi p v i tài ³Hu n luy n m ng n ron RBF v i m c cách u và ng d ng´ v i m c ích mô ph ng ph ng pháp ng d ng thu t toán HDH-1 vào vi c xây d ng h th ng n i suy x p x hàm nhi u bi n v i d li u nhi u và nghiên c u th c nghi m nh m tìm ra các c i m. ó là : o L i d li u ch c n có s nút x p x v i s m c n i suy c a b d li u ban u o K c ch n v i m c ích cân b ng gi a tính kh nhi u và tính h i quy. t ng pháp sinh nhi u tr ng ó hi u c các ây là thu t toán HDH -2 và HDH-1. a ra các c i ti n l n.CH NG 6: T NG K T VÀ PH NG H NG PHÁT TRI N N i dung ch ng này bao g m: ng phát tri n c a tài y T ng k t y Phu ng h 6. quan tr ng c a ph ng pháp kNN -HDH.

ó là : y C n thêm nhi u mô ph ng các ph ng pháp khác so sánh v i ph ng pháp kNN-HDH ch ng minh u i m c a nó. trong khi th i gian nghiên c u l i có h n nên còn m t s i u tôi ch a i sâu h n c. 53 . tr ng h p nhi u chi u. ây c ng là nh ng i u có th dùng làm ph ng h ng phát tri n cho tài.6. nh n d ng gi ng nói «. y Áp d ng ph c bi t là t c hu n luy n và ng pháp kNN-HDH vào ng d ng c th nh : X lý nh.2 Ph ng h ng phát tri n c a tài Do ây là ph ng pháp hoàn toàn m i.

McGraw-Hill. Signal Processing 87 .P Box and Mervin E.php [8]Wikipedia®. [10]Tomohiro Ando.socialresearchmethods. submitted to IEEE Transactions on Neural Networks [3] T. Multivariable functional interpolation and adaptive networks.48. A Novel Efficient Algorithm for Training Interpolation Radial Basis Function Networks. [6] ng Th Thu Hi n.TÀI LI U THAM KH O [1] Hoang Xuan Huan. A Tutorial on Principal Component Analysis. 321-355.K. Nonlinear regression modeling via regularized radial basis function network. A Note on the Generation of Random Normal Deviates. mã s : 62. 2. HQG Hà N i. Trochim. An efficient algorithm for training interpolation RBF networks with equally spaced nodes. i h c Công ngh . trang 16-18 .wikipedia. Dang Thi Thu Hien and Huynh Huu Tue. Measurement Error http://www. Mitchell. Complex Systems. vol. Ann. 2009 [7]William M. 2008. Lu n án ti n s công ngh thông tin .M.org/wiki/Normal_distribution [9]G.net/kb/measerr. Normal distribution http://en. 2009 [5] D. 610-611. Dang Thi Thu Hien and Huu Tue Huynh. Broomhead and D. April 22.E. 1997 [4] J. Volume 29. Muller.S. Shlens.0101. [2] Hoang Xuan Huan. Number 2 (1958). Lowe. Math. Statist. Journal of Statical Planning and Inference. chuyên ngành Khoa h c máy tính.2708 ± 2717. Sadanori Konishi and Seiya Imoto. 2007. Machine learning. 1988.

Sign up to vote on this title
UsefulNot useful