Trư ng Đ i h c Khoa h c T nhiên Khoa Công ngh Thông tin

TÀI LI U LÝ THUY T TRÍ TU NHÂN T O

BÀI 9 M NG NƠRON NHÂN T O

Gi ng viên: ThS. Nguy n Ng c Th o Email: nnthao@fit.hcmus.edu.vn

N I DUNG TRÌNH BÀY
Gi i thi u m ng nơron nhân t o
C u trúc nơron sinh h c M ng nơron nhân t o

Perceptron
Đ nh nghĩa perceptron Thu t toán h c perceptron và ví d

M ng nơron nhi u l p và thu t toán lan truy n ngư c Tài li u tham kh o

2

NƠRON SINH H C
Não b con ngư i g m: 1010 t bào th n kinh – nơron, 6x1014 kh p th n kinh – synapse M i t bào có c u trúc đơn gi n. M t nơron bao g m: thân – soma, nhi u s i th n kinh – dendrite và m t s i tr c chính – axon.

3

NƠRON SINH H C
Cơ ch h c c a nơron th n kinh
Tín hi u đư c lan truy n gi a các nơron. M t nơron nh n tín hi u kích thích t các kh p n i và phát tín hi u qua soma đ n các nơron khác. M i liên h gi a các nơron (b nh dài h n) quy đ nh ch c năng c a m ng nơron và đư c hình thành t t qua quá trình h c.

4

M NG NƠRON NHÂN T O
M ng nơron nhân t o (Artificial Neural Netwok – ANN): là m t t p h p các b x lý r t đơn gi n – nơron – và n i v i nhau.

C u trúc và phương th c ho t đ ng c a ANN mô ph ng tương t m ng nơron sinh h c.
5

M NG NƠRON NHÂN T O
M ng nơron sinh h c Soma Denrite Axon Synapse M ng nơron nhân t o Nơron Input Output Weight (tr ng s )

Các nơron đư c g n li n b i các liên k t v i tr ng s tương ng. Các tr ng s ng v i b nh dài h n c a ANN. ANN “h c” b ng cách đi u ch nh t t các tr ng s này qua quá trình tương tác v i môi trư ng (hu n luy n).
6

M NG NƠRON NHÂN T O
M t s m ng nơron tiêu bi u:
M ng nơron nhi u l p (Multi-layer Perceptron): đư c ng d ng r ng rãi trong các bài toán phân l p (nh n d ng), h i quy (d đoán)… M ng Hopfield: m t lo i b nh n i dung có th đánh đ a ch (content-addressable memory), dùng đ lưu tr d li u Ánh x t t ch c (Self Organising Maps) – M ng Kohonen: dùng trong h c bán giám sát, dùng đ gom nhóm d li u
7

C U TRÚC NƠRON NHÂN T O

t: ngư ng ho t hoá Y đư c g i là hàm kích ho t hay hàm truy n

8

C U TRÚC NƠRON NHÂN T O
B n hàm truy n có ng d ng th c t :

Hàm sign và step đư c g i là hàm gi i h n c ng
9

PERCEPTRON
Là m ng nơron nhân t o đơn gi n nh t g m m t nơron v i các tr ng s có th đi u ch nh đư c và m t gi i h n c ng.

10

PERCEPTRON
Perceptron phân lo i các input thành hai l p A1 và A2 b chia cách b i m t siêu ph ng cho b i hàm phân bi t tuy n tính

11

PERCEPTRON
M t perceptron h c b ng cách đi u ch nh siêu ph ng phân bi t theo sai s e(p) = Yd(p) – Y(p) v i Yd/Y(p) là k t xu t mong mu n/th c t i bư c p.
N u e(p) > 0 tăng Y(p), ngư c l i gi m Y(p). N u xi(p) > 0, tăng wi(p) s làm tăng Y(p). Ngư c l i n u xi(p) < 0, tăng wi(p) s làm gi m Y(p).

Do đó, lu t h c perceptron có th đư c vi t là v i α là t c đ h c

12

THU T TOÁN H C PERCEPTRON
Kh i t o: (w1, w2,…, wn, t) ∈ [-0.5, 0.5] Kích ho t: tính k t xu t th c s t i l n l p p = 1

C p nh t tr ng s : trong đó L p: tăng p lên 1 và l p l i bư c 2. (lu t h c delta)

13

PERCEPTRON – VÍ D
H c hàm AND
x1 0 0 1 1 x2 0 1 0 1 x1 ∩ x2 0 0 0 1 x1 ∪ x2 0 1 1 1 x1 ⊕ x2 0 1 1 0

Kh i t o tr ng s : w1 = 0.3, w2 = -0.1, θ = 0.2, α = 0.1. L p:
Th h 1 K t xu t Tr ng s Input mong mu n ban đ u x1 x2 0 0 1 1 0 1 0 1 Yd 0 0 0 1 w1 w2 0.3 -0.1 0.3 -0.1 0.3 -0.1 0.2 -0.1 K t xu t Sai th c s Y 0 0 1 0 e 0 0 -1 1 Tr ng s cu i w1 0.3 0.3 0.2 0.3 w2 -0.1 -0.1 -0.1
14

0.0

PERCEPTRON – VÍ D
Th h 2 Inputs x1 0 0 1 1 3 0 0 1 1 x2 0 1 0 1 0 1 0 1 K t xu t mong mu n Yd 0 0 0 1 0 0 0 1 Tr ng s ban đ u w1 0.3 0.3 0.3 0.2 0.2 0.2 0.2 0.1 w2 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 K t xu t th c Y 0 0 1 1 0 0 1 0 Sai s e 0 0 -1 0 0 0 -1 1 Tr ng s cu i w1 0.3 0.3 0.2 0.2 0.2 0.2 0.1 0.2 w2 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.1
15

PERCEPTRON – VÍ D
Th h 4 Inputs x1 0 0 1 1 5 0 0 1 1 x2 0 1 0 1 0 1 0 1 K t xu t mong mu n Yd 0 0 0 1 0 0 0 1 Tr ng s ban đ u w1 0.2 0.2 0.2 0.1 0.1 0.1 0.1 0.1 w2 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 K t xu t th c Y 0 0 1 1 0 0 0 1 Sai s e 0 0 -1 0 0 0 0 0 Tr ng s cu i w1 0.2 0.2 0.1 0.1 0.1 0.1 0.1 0.1 w2 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
16

PERCEPTRON – NH N XÉT
K t xu t c a perceptron là m t đư ng th ng (m t ph ng) phân bi t tuy n tính: Do đó, perceptron có th h c đư c hàm AND, OR nhưng không đư c hàm XOR

17

M NG NƠRON NHI U L P
M t m ng nơron lan truy n ti n g m m t l p nh p, ít nh t m t l p n, và m t l p xu t.

18

M NG NƠRON NHI U L P
L p nh p: nh n các input và phân ph i chúng cho t t c nơron trong l p n L p xu t: bi u di n k t qu c a toàn m ng L p n:
Dò tìm các đ c trưng. Các nơron trong l p này “ n” các k t xu t mong mu n c a chúng. M ng m t l p n có th bi u di n b t kỳ hàm liên t c nào. M ng hai l p n có th bi u di n các hàm không liên t c.

19

M NG NƠRON NHI U L P
Quá trình h c g m hai pha:
Lan truy n các m u input t l p nh p đ n l p xu t, t i m i nơron tính

Lan truy n ngư c sai s t l p xu t và c p nh t các tr ng s
20

M NG NƠRON NHI U L P
T i nút xu t, tính sai s yd,k(p) là k t xu t mong mu n v i nút k t i vòng l p th p.

C p nh t sai s tương t lu t h c perceptron

v i gradient sai s t i nơron p c a l p xu t

21

GRADIENT SAI S
Gradient sai s = đ o hàm hàm kích ho t nhân v i sai s t i nơron xu t

tính đ o hàm ta đư c

trong đó
22

LU T H C TRONG M NG
T i nút n, ta có th áp d ng cùng công th c v i l p xu t: trong đó là gradient sai s t i nơron j trong l p n

v i l là s nơron c a nút xu t và

v i n là s nơron c a l p nh p
23

THU T TOÁN LAN TRUY N NGƯ C
Bư c 1: Kh i t o Đ t giá tr ng u nhiên các tr ng s và ngư ng c a m ng Bư c 2: Kích ho t a) Tính k t xu t th c s c a các nơron trong l p n:

b) Tính k t xu t th c s c a các nơron trong l p xu t:

24

THU T TOÁN LAN TRUY N NGƯ C
Bư c 3: Hu n luy n tr ng s a) Tính gradient sai s cho các nơron l p xu t:

C p nh t các tr ng s c a nơron l p xu t: b) Tính gradient sai s và c p nh t tr ng s l p n

Bư c 4: L p
25

M NG NƠRON NHI U L P
M ng nơron ba l p th c hi n phép logic XOR. Nơron 1, 2 c a l p nh p nh n input x1 và x2 và phân ph i các input này đ n l p n: x13 = x14 = x1 và x23 = x24 = x2 Các giá tr ngư ng đư c bi u di n b i các tr ng s θ và đư c k t n i v i input -1. Bư c 1: Kh i t o w13 = 0.5, w14 = 0.9, w23 = 0.4, w24 = 1.0, w35 = -1.2, w45 = 1.1, θ3 = 0.8, θ4 = -0.1, θ5 = 0.3
26

M NG NƠRON NHI U L P
Xét m u hu n luy n x1=x2=1 và k t xu t mong mu n y=0 Bư c 2, tính k t xu t th c t i nút n

k t xu t t i nút xu t

Sai s

27

M NG NƠRON NHI U L P
Bư c 3, tính gradient sai s t i các nơron 5 l p xu t và tính các giá tr đi u ch nh tr ng s

c p nh t tr ng s

28

M NG NƠRON NHI U L P
T i l p n, nơron 3, tính gradient sai s

tính các giá tr đi u ch nh

c p nh t tr ng s

29

M NG NƠRON NHI U L P
Quá trình hu n luy n tr i qua 224 th h hay 894 vòng l p k t thúc khi t ng bình phương sai s b ng 0.001 v i các giá tr tr ng s cu i w35= cùng w13= 4.7621, w14= 6.3917, w23= 4.7618, w24= 6.3917, 10.3788, w45= 9.7691, θ3= 7.3061, θ4= 2.8441, θ5= 4.5589 M ng ho t đ ng b ng cách s d ng quá trình kích ho t (bư c 2) trên t p d li u th nghi m.
Input K t xu t mong mu n K t xu t th c Sai s

x1
1 0 1 0

x2
1 1 0 0

Yd
0 1 1 0

Y
0.0155 0.9849 0.9849 0.0175

e
-0.0155 0.0151 0.0151 -0.0175

Lưu ý: m ng s thu đư c các giá tr tr ng s và ngư ng khác nhau trong nh ng l n hu n luy n khác nhau.
30

M TS

V NĐ

Quá trình hu n luy n ch m h i t S d ng hàm truy n hyperbolic tangent

S d ng bi u th c quán tính đ thay đ i t c đ h c S d ng các heuristic đ thay đ i t c đ h c M ng nhi u l p v i lan truy n ngư c dư ng như không ph i là mô ph ng hoàn toàn theo t nhiên!!!

31

T NG K T
Hi u đư c m ng nơron nhân t o là gì. N m đư c các d ng m ng nơron nhân t o cơ b n và cơ ch ho t đ ng c a chúng.

32

TÀI LI U THAM KH O
Tài li u bài gi ng môn h c Các tài li u (bài gi ng, ebook) v m ng nơron nhân t o trên Internet.

33

CÂU H I VÀ TR

L I

34

Sign up to vote on this title
UsefulNot useful

Master Your Semester with Scribd & The New York Times

Special offer: Get 4 months of Scribd and The New York Times for just $1.87 per week!

Master Your Semester with a Special Offer from Scribd & The New York Times