Tổng quan mạng Nơron nhân tạo (Artificial Neural Network - ANN)

I. ðịnh nghĩa cơ bản về mạng nơron nhân tạo:

Mạng nơ ron nhân tạo là hệ thống ñược xây dựng dựa trên các nguyên tắc cơ bản của
bộ não con người, nó trình bày sự tạo ra một hệ thống xử lý thông tin mới ñầy triển
vọng. Mạng nơron nhân tạo rất hữu ích cho các tác vụ như ñối sánh và phân lớp mẫu,
xấp xỉ hàm, tối ưu, lượng tử hóa vector, trong khi các máy tính truyền thống bởi vì
kiến trúc của nó không hiệu quả cho các tác vụ này, ñặc biệt là tác vụ ñối sánh mẫu.
Tuy nhiên, máy tính truyền thống thì nhanh hơn trong các tác vụ tính toán thuật toán,
và tính toán chính xác các hoạt ñộng số học. Mạng nơron có một số lượng lớn các
thành phần xử lý kết nối bên trong, (gọi là các nút hay các ñơn vị) mà chúng thường
tính toán song song và ñược cấu hình trong các kiến trúc hợp lệ. Tập các hành vi của
mạng nơron giống như bộ não con người thể hiện qua khả năng học, nhớ và tổng quát
hóa từ các mẫu huấn luyện hoặc dữ liệu. Mạng nơron ñược sáng tạo từ mô hình mạng
của các nơron sinh học trong bộ não con người. Vì vậy các thành phần xử lý (các nút)
trong mạng nơron nhân tạo ñược gọi là nơron nhân tạo hoặc ñơn giản là nơron. Một
bộ não con người chứa khoảng 1011 các loại nơron khác nhau. Một mô hình nơron
sinh học ñiển hình ñược chỉ ra trong hình I – 1. Một nơron sinh học tiêu biểu có ba
thành phần chính: cell body hay còn gọi là soma là nơi chứa các nhân, dendrites và
axon. Dendrites giống như một mạng cây các sợi thần kinh nối với cell body. Một
axon là một ñường ñơn, hẹp, dài, hình ống mở rộng từ cell body và mang các xung
(các tín hiệu) ñi ra của nơron. ðầu cuối mỗi axon gồm hàng ngàn nhánh, ở cuối mỗi
nhánh,có một cấu trúc gọi là synapse chuyển hoạt ñộng từ axon sang các tác dụng
ñiện sẽ hạn chế hay kích thích hoạt ñộng trong các nơron kết nối lân cận, sự tiếp nhận
tín hiệu trên các nơron lân cận có thể là bằng các dendrites và các cell body của
chúng. Có xấp xỉ khoảng 104 synapse trên một nơron trong bộ não con người. Các tín
hiệu tại một synapse và tiếp nhận bởi dendrites là các tín hiệu ñiện, sự chuyển ñổi tín
hiệu sang tín hiệu ñiện liên quan ñến một quá trình hóa học phức tạp. Tín hiệu ñiện
này sẽ tăng cường hay giảm bớt tín hiệu ñiện tiềm ẩn bên trong nơron tiếp nhận.
Nơron tiếp nhận sẽ “cháy” nếu tín hiệu ñiện tiềm ẩn của nó ñạt ñến một ngưỡng lúc
ñó một xung kích hoạt liên tục ñược gởi ra thông qua ñến các nhánh, rồi ñến các
synaptic kết nối với các nơron khác. Sau khi “cháy” một nơron phải chờ một khoảng
thời gian gọi là refactory period trước khi nó có thể cháy lại. Các synapses là kích
hoạt nếu chúng tạo các xung kích hoạt “sự cháy” của các nơron tiếp nhận, hoặc là
kiềm chế nếu chúng tạo ra các xung cản trở “sự cháy” của nơron tiếp nhận.
Trong hình I-2 chỉ ra một mô hình toán học ñơn giản của mô hình sinh học nơron ñã
ñề cập ở trên bởi McCulloch và Pitts, thường ñược gọi là nơron M-P. Trong mô hình
này, node xử lý thứ i tính toán một tổng các input và các trọng tương ứng vào nó và
output yi = 1 (“cháy”) hoặc 0 (“không cháy”) tùy vào giá trị tổng ñã tính ở trên lớn
hơn hay nhỏ hơn ngưỡng θ i .
m
yi = f (∑ wij x j − θ i )
j =1

Với hàm kích hoạt f(.) là một hàm ñơn vị:

1 if z >= 0
f ( z) = 
0 otherwise
 Hình I-1

x1
wi1

x2 wi2
z(.) f(.)
yi

wim θi Output
Weights path

Node i
xm

Hình I-2
Hình I: Sự tương ứng giữa một nơron sinh học và một nơron nhân tạo. (I-1): mô hình
một nơron sinh học, (I-2): mô hình một nơron nhân tạo của McCulloch và Pitts.
Trọng số wi tượng trưng cho cường ñộ của synapse (gọi là sự kết nối) từ nơron nguồn
j ñến nơron ñích i. Một trọng số dương tương ứng với một synapse kích hoạt, một
trọng số âm tương ứng với một synapse cản trở. Nếu wi = 0 tức là không có sự kết nối
giữa hai nơron.
Mặc dù với cấu trúc ñơn giản với ñầu ra chỉ là giá trị nhị phân nhưng nơron M-P có
một khả năng tính toán tiềm ẩn to lớn, nó có thể thực thi các thao tác logic như NOT,
OR, AND khi các trọng số và các ngưỡng ñược chọn lựa tùy theo. Bởi vì nhiều hàm
kết hợp có nhiều biến có thể ñược thực thi bởi các thao tác cơ bản nên một sự ñồng
bộ hóa kết hợp của các nơron có khả năng tính toán rất lớn.
Một cách tổng quát, mạng nơron nhân tạo là một cấu trúc xử lý thông tin phân phối
song song có các ñặc ñiểm sau:
1. Là một mô hình toán học.
2. Chứa một số lượng lớn các node (thành phần xử lý) bên trong.
 3. Các trọng số tích lũy các tri thức.
4. Các node có phản ứng ñộng ñến các input của nó và sự phản ứng hoàn toàn
phụ thuộc vào thông tin cục bộ của nó, ñó là: các tín hiệu input ñến các node
và các trọng số kết nối.
5. Có khả năng học, nhớ lại, tổng quát hóa từ dữ liệu học bởi việc ñiều chỉnh
trọng số kết nối.
6. Có khả năng tính toán mạnh mẽ và không là một nơron mang thông tin ñơn lẻ.
Bởi vì các ñặc tính trên, các tên gọi khác thường sử dụng cho mạng nơron nhân
tạo là: mô hình xử lý phân phối song song, mô hình kết nối, hệ thống tự tổ chức.

II. Các mô hình cơ bản và các luật học của mạng nơron nhân tạo:
1. ðịnh nghĩa về mặt toán học của một nơron nhân tạo:
ðịnh nghĩa 1:
Mạng Nơron nhân tạo là sự mô phỏng sinh học bằng máy tính bộ não của con người.
Nó có cấu trúc song song ñược cấu thành từ nhiều phần tử (Nơron nhân tạo) liên kết
với nhau thông qua các trọng số, tập hợp các trọng số này tạo thành bộ trọng của
mạng Nơron nhân tạo. Mỗi Nơron nhân tạo là một hệ thống ñộng phi tuyến có khả
năng tự học. Các Nơron và bộ trọng cấu thành cấu trúc mạng. Do ñó mạng Nơron có
khả năng học từ kinh nghiệm hay từ tập mẫu. Mạng Nơron ñược gọi là mô hình liên
kết vì vai trò quan trọng của sự kết nối giữa chúng. Bộ trọng liên kết chính là “bộ
nhớ” của hệ thống
ðịnh nghĩa 2:
Một Nơron nhân tạo cũng giống như một Nơron sinh học ñược cấu thành từ hai khối
chính: nối kết và thân với nhân bên trong. Mỗi khối này chịu trách nhiệm cung cấp
hai kiểu biến ñổi toán học khác nhau hình thành lên cơ chế xử lý thông tin của một
Nơron: Biến ñổi toán học nối kết và biến ñổi toán học bên trong thân Nơron. Mô hình
toán học tổng quát của một Nơron ñược mô tả trong hình sau:

Hình II.1 - 1: Mô hình toán học tổng quát của một Nơron

2. Hoạt ñộng xử lý thông tin của một Nơron

Nhận vector nhập x(t ) = ( x1 (t ), x2 (t ),..., xn (t )) ∈ R
T n
1
 2 Xây dựng toán tử nối kết @ giữa véc tơ nhập x(t) với véc tơ trọng nối kết
w(t ) = (w1 (t ), w 2 (t ),..., w n (t ))T ∈ R n
Xác ñịnh tín hiệu ñầu ra của khối kết nối u (t ) ∈ R , gởi u(t) ñến khối thân
n
3
bên trong Nơron.
4 Thực hiện các biến ñổi toán học bên trong thân Nơron: Tính tổng, ñặt
ngưỡng, xây dựng hàm truyền phi tuyến.
5 Xác ñịnh ñộ ño y (t ) ∈ R tại ñầu ra của nơron.
3. Các biến ñổi toán học trong nơron:
1 Biến ñổi toán học nối kết:
ui (t ) = xi (t ) @ w(t), i = 1, n
2 Biến ñổi toán học bên trong thân Nơron:
v(t ) = ∫∫ ui (t ), v(t ) ∈ R
- Tính tổng:
- ðặt ngưỡng z (t ) = v(t )Ξ, z (t ) ∈ R
- Hàm truyền phi tuyến y (t ) = f [z(t)], y (t ) ∈ R

Hình II.3 - 1: Các xử lý tương ñương trong một Nơron

Hình trên là mô hình tổng quát của một Nơron ñơn giản: x(t ) ∈ R là các ñầu vào
n

của Nơron, w(t ) ∈ R là véc tơ trọng số kết nối, θ (t ) ∈ R là ngưỡng, z (t ) ∈ R là ñộ

n n

ño các quan hệ qua lại, y (t ) ∈ R là ñầu ra của Nơron, @ là toán tử nối kết, ∫∫ là
toán tử tính tổng, Ξ là toán tử ñặt ngưỡng, © là toán tử hợp nhất, f[.] là hàm truyền
phi tuyến.
Có nhiều loại hàm truyền phi tuyến khác nhau, tuy nhiên hàm truyền thường sử dụng
nhất là hàm Sigmoid:
1
f ( x) =
1 + e− x

Tóm lại, mục tiêu chính của hoạt ñộng xử lý thông tin trong Nơron là cung cấp một
ánh xạ phi tuyến từ véc tơ nhập x(t ) ∈ R ñến ñộ ño ñầu ra y (t ) ∈ R . Khả năng thích
n
nghi của Nơron ñược bảo ñảm bằng việc hiệu chỉnh bộ trọng số w(t) nhờ một thuật
giải học dành riêng. Hàm truyền phi tuyến f[.] trong thân Nơron tăng cường tính mềm
dẻo và chặt chẽ của tính toán Nơron trong những ñiều kiện bất thường (có thể biến
ñổi). véc tơ trọng số kết nối w(t) là một ñại diện cho những tri thức tích lũy ñã học
ñược nạp vào trong khối nối kết của một Nơron.
Hai biến ñổi toán học: Nối kết và Tính tổng có chức năng chính là: thăm dò, ño lường
mối quan hệ qua lại giữa véc tơ nhập x(t) với bộ giá trị véc tơ trọng nối kết w(t) (biểu
diễn những kinh nghiệm tích lũy trước ñó). ðộ ño v(t) thu ñược từ hai phép toán nối
kết và tính tổng phản ánh giá trị ño lường tính ñồng dạng hay khác biệt giữa véc tơ
nhập x(t) và véc tơ trọng w(t). Nếu v(t) vượt qua ngưỡng θ (t ) thì ñộ ño z(t) phản ánh
mối quan hệ qua lại ñược chọn làm giá trị kích hoạt Nơron và ñầu ra y(t) sẽ ñược sản
sinh thông qua hàm truyền phi tuyến f[.].
Hàm ngưỡng θ (t ) phản ánh mức ñộ sai lệch cho phép ñối với giá trị kích hoạt z(t).
Mức ñộ sai lệch này ñược thống kê dựa trên những tri thức tích lũy từ trước (w(t)).
Với mục tiêu giải quyết những bài toán phức tạp trong thực tế, mỗi Nơron trong mạng
Nơron cần có ngưỡng sai lệch cho phép ñối với giá trị kích họat sao cho ñảm bảo
những yêu cầu ña dạng của các hàm tính toán bên trong thân Nơron. Hơn nữa,
ngưỡng θ (t ) cũng phải thích nghi với véc tơ trọng nối kết w(t).
4. Véc tơ tham số:
Vectơ tham số phản ánh sự kết hợp giữa ngưỡng sai lệch với các phép toán tính tổng
và nối kết ñược xác ñịnh như sau:
x α (t)=(x0(t) ,x1(t) ,x2(t),... ,xn(t))T ∈ Rn+1 , xo(t)=1.
và w α (t)=(w0(t),w1(t),w2(t),....,wn(t))T ∈ Rn+1 ,wo(t)=θ(t)
trong ñó :
xo(t)=1 và wo(t)= θ(t) phản ánh ngưỡng sai số .
 Hình II.4 - 1: Hoạt ñộng tính toán của Nơron

5. Ánh xạ phi tuyến:

Những biến ñổi trong một Nơron từ vector nhập x(t)€ Rn sang ñộ ño y(t)€ R ñược
xem là ánh xạ phi tuyến từ nhiều ñầu vào ñến một ñầu ra duy nhất.
Ánh xạ phi tuyến chuyển ñổi của Nơron ñược phân thành hai phép toán:
(i) Phép toán hợp nhất
(ii) Hàm truyền phi tuyến
(i)Phép toán hợp nhất: ñược ñịnh nghĩa là phép toán ño lường các quan hệ qua lại
giữa vectơ nhập x(t ) và vectơ trọng nối kết w(t ) . Như vậy, nó là một biến ñổi toán
học tích hợp gồm: nối kết, tính tổng và ñặt ngưỡng, ñược xác ñịnh như sau:
z (t ) = [w(t ),θ (t )]Θx(t )
Một số biến ñổi hợp nhất thường sử dụng trong nơron M-P là:
Integration Linear Function (Phép hợp nhất tuyến tính):
m
z i (t ) = ∑ wij (t ) x j (t ) − θ i (t )
j =1

Integration Quadratic Function (Phép hợp nhất bậc hai):

m
z i (t ) = ∑ wij (t ) x 2j (t ) − θ i (t )
j =1

Integration Spherical Function (Phép hợp nhất cầu):

m
z i (t ) = ρ −2 ∑ ( x j (t ) − wij (t )) 2 − θ i (t )
j =1

Trong ñó ρ và wij lần lượt là bán kính và tâm của hình cầu.
Integration Polynomial Function:
 m m
zi(t)=∑∑wijk(t)xj(t)xk(t)+xj j +xkαk −θi(t)
α

j=1 k=1
Với wjk là trọng số giữa node k và node j, với wij là trọng số giữa node j và node i
Tại các biến ñổi của các nơron không kề lớp nhập, giá trị x(t) sẽ ñược thay thế bằng
ñầu ra của các nơron lớp liền trước nó.
trong ñó Θ là toán tử hợp nhất và z (t ) là hàm ño lường các quan hệ qua lại.
(ii)Hàm truyền phi tuyến f [] . : có chức năng xếp hạng ñộ ño z (t ) sao cho ñảm bảo
tính mềm dẻo và chặt chẽ của ánh xạ Nơron và trả về ñộ ño y (t ) ∈ R tại ñầu ra của
nơron.
6. Hàm truyền phi tuyến:
Có nhiều loại hàm truyền khác nhau, nhưng chúng ta thường sử dụng loại hàm truyền
dạng S , chúng có ñiểm chung là ñồ thị hàm truyền có dạng chữ S. Một hàm S(u) là
một hàm truyền dạng S nếu nó thoả:
• S (u) là hàm bị chặn .Nghĩa là các giá trị của S (u) không bao giờ ñược vượt quá
chặn trên cũng như không bao giời thấp hơn chặn dưới, với mọi giá trị của u.
• S (u) là hàm ñơn ñiệu tăng. Giá trị của S (u) luôn tăng khi giá trị của u tăng: nghĩa
là nó phải tăng ñều ñặn. Do tính chất thứ nhất – S (u) bị chặn -nên ta thấy khi u
tăng, S (u) cũng lớn dần nhưng không bao giờ vượt quá cận trên; vì vậy nó tiệm
cận ñường giới hạn là chặn trên .Tương tự khi u nhỏ dần, S (u) tiệm cận giới hạn
là chặn dưới của hàm.
• S (u) là hàm liên tục và trơn.Vì hàm S (u) liên tục nên nó không có khe và góc
cạnh. Do tính liên tục trơn, hàm có ñạo hàm và ñộ dốc của nó rõ ràng và phân biệt
tại từng ñiểm.
Mọi hàm thoả mãn 3 tính chất trên ñều có thể ñược sử dụng là hàm truyền trong
mạng.Trong thực tế hàm logistic f(x) thường ñược sử dụng rộng rãi. Nó có miền
giá trị nằm trong khoảng [0, 1]. Nó có công thức:
1
f ( x) =
1 + e− x
trong ñó e là cơ số của logarit tự nhiên. Hằng số e có giá trị khoảng 2.71828 .Tuy
nhiên hằng số e trong mẫu số không phải bắt buộc; bất cứ hằng số nào lớn hơn 1
cũng ñều có thể ñược. Hằng càng lớn hàm số f(x) càng mau tiếp cận các cận của
nó; ngược lại, hằng số càng nhỏ, hàm số càng chậm tiếp cận các cận.
 Hàm ngưỡng
tuyến tính [-1 1]

Hàm ngưỡng Hàm ngưỡng

giới hạn 1 tuyến tính [0 1]

Hàm Sigmoid
Hàm
hyperpol

Hàm Gauss

1
Hàm sigmoid với các giá trị λ khác nhau: f ( x) = ,0 ≤ f ( x ) ≤ 1
1 + e − λx
 Hình II.6 - 1: Một số dạng hàm dùng trong ánh xạ từ ñầu vào -> ñầu ra
Một số dạng hàm dùng trong ánh xạ từ ñầu vào
ñầu ra :
Tên hàm Công thức ðặc ñiểm Giải thích

Hàm 1 nếu x>=0 Nếu vectơ tính tổng v (t ) lớn

ngưỡng giới 0 nếu ngược lại hơn ngưỡng thì Nơron ñó ở
Hàm rời rạc trạng thái hoạt ñộng (giá trị 1),
hạn 1
ngược lại nó không hoạt ñộng
(giá trị 0).

Hàm Nếu vectơ tính tổng v (t ) lớn

ngưỡng giới 1 nếu sgn(x)>=0 hơn ngưỡng thì Nơron ñó ở
Hàm rời rạc trạng thái hoạt ñộng (giá trị 1),
hạn 2 -1 nếu sgn(x)<0
ngược lại nó không hoạt ñộng
(giá trị -1).
Giá trị hoạt ñộng tăng tuyến
Hàm tính cùng với v(t ) , nhưng sau
ngưỡng Rời rạc một ngưỡng nào ñó giá trị ñầu
tuyến tính ra bão hoà (tăng lên 1). Giá trị
ñầu ra của Nơron thuộc một
khoảng [0 1].
Liên tục, Hàm phi tuyến hình chữ S
Hàm
dương, có giá
Sigmoid
(logistic)
f(x)=1/(1+e−λ x) trị nằm trong
khoảng [0,1]
1 −(x −a)2 ðầu ra từ một Nơron có thể là
f (x) = exp{ 2 } xung có thể xảy ra (ñánh dấu
Hàm 2πσ2 2σ
1) hay không xảy ra (ñánh dấu
Gaussian
0)

Hàm h(x)=(1-e-x)/(1+e-x) Liên tục Hàm hyperpol có liên quan

hyperpol dương, có giá mật thiết với hàm logistic.Bởi
trị nằm trong ta thấy
khoảng [-1,1] h(x) =2f(x)-1
tanh(x)=(1-ex)/(1+ex) Liên tục, Hàm này tiến ñến các giới hạn
Hàm Tang- dương, nằm của nó nhanh hơn hàm
hyperpol trong khoảng hyperpol h(x).
[-1,1]

Bảng II.6 – 1 : Một số hàm truyền thông dụng trong mạng Nơron

Tất cả các hàm truyền này ñều phục vụ khá tốt cho các mục ñích của mạng Nơron và
chúng ta có thể thay thế cho nhau. Do khác nhau về các giới hạn của chúng, ta có thể
chọn hàm này hoặc hàm khác tùy theo khoảng cần thiết của giá trị kết xuất (0 ñến 1
hay -1 ñến 1), vì kết xuất của mạng phải rơi vào giữa các giới hạn này. Tuy nhiên các
giới hạn này không qui ñịnh khoảng dữ liệu nhập vào mạng, dữ liệu nhập có thể nhận
bất cứ giá trị nào, bất kể hàm truyền nào ñược chọn.Và dữ liệu nhập cũng có thể
nhập trực tiếp vào mạng mà không cần phải biến ñổi tỉ lệ hoặc chuẩn hoá, nhưng ñể
cho mạng có thể học hiệu quả ta phải chọn cách biểu diễn nhập xuất hợp lí.
 Một nơron sử dụng phép toán hợp nhất tuyến tính và hàm ngưỡng giới hạn 2
làm hàm truyền ñược gọi là một linear threshold unit (LTU).
 Một nơron sử dụng phép toán hợp nhất tuyến tính và Sigmoid làm hàm truyền
ñược gọi là một linear graded unit (LGU).
 LTU và LGU là hai loại nơron thường sử dụng nhất trong mạng nơron nhân tạo.
7. Các cấu trúc mạng nơron nhân tạo:
Mạng Nơron nhân tạo bao gồm tập hợp các liên kết qua lại bên trong giữa các Nơron
trên nguyên tắc: “ðầu ra của mỗi Nơron ñược liên kết thông qua các trọng số ñến các
Nơron khác hoặc tới chính nó. Như vậy, việc bố trí các Nơron và sơ ñồ liên kết qua
lại giữa chúng sẽ hình thành một kiểu mạng Nơron nhân tạo.
w1 1
x1 y1
w n1 w 2 1

w w2 2
x2 12 y2
w n2

w 1m w 2 m
xn yn
wnm
(a)
 x1 y1

x2 y2

xm ym

(e)
Hình II.7 - 1: Năm sơ ñồ liên kết cơ bản của mạng Nơron: (a) mô hình mạngtruyền
thẳng một lớp; (b) mô hình mạng truyền thẳng ña lớp; (c) mô hình: một Nơron ñơn
với liên kết phản hồi ñến chính nó; (d) mô hình: mạng lặp một lớp; (e) mô hình:
mạng lặp ña lớp.

Hình (II.7- 1a) ñại diện cho mạng Nơron truyền thẳng một lớp, trong ñó mỗi
Nơron sẽ kết hợp với các Nơron khác làm thành một lớp các Nơron. Vector ñầu vào
nối kết với các Nơron trong lớp gắn liền với những giá trị trọng số khác nhau, kết
quả trả về của lớp là tập các ñầu ra ứng với số Nơron trong lớp.
Hình (II.7- 1b) ñại diện cho mạng Nơron truyền thẳng ña lớp, chúng ta có thể tạo
thêm một vài lớp bên trong ñể hình thành mạng: Lớp nhận các vector ñầu vào gọi là
lớp nhập, các ñầu ra của mạng hình thành từ lớp xuất. Các lớp nằm giữa các lớp nhập
và lớp xuất gọi là các lớp ẩn vì chúng chỉ có các liên kết bên trong mạng mà không
liên kết trực tiếp với môi trường bên ngoài. Mạng Nơron truyền thẳng ña lớp ñược
gọi là liên kết ñầy ñủ nếu tất cả các ñầu ra từ lớp trước ñược liên kết với tất cả các
Nơron trong lớp kế tiếp. Hình (II.7- 1b) là một liên kết không ñầy ñủ.

Hình II.7- 2: Liên kết bên trong của phản hồi

Cả hai sơ ñồ trong hình (II.7- 1a) và hình (II.7- 1b) ñược gọi là mạng truyền
thẳng vì sơ ñồ liên kết các Nơron trong mạng lan truyền theo một hướng (không có
ñầu ra nào của Nơron ở lớp sau lại là ñầu vào của Nơron ở lớp trước nó ).
 Khi ñầu ra của một Nơron lại ñóng vai trò là ñầu vào của các Nơron trên cùng lớp
ñó hoặc trong các lớp trước ñó thì gọi là mạng phản hồi. Hình (II.7- 1d) minh hoạ
mạng phản hồi một lớp: trong ñó ñầu ra của Nơron hướng trở lại ñến chính nó và ñến
các Nơron khác.
Phản hồi trong ñó ñầu ra của Nơron ñược hướng trực tiếp trở lại làm dầu vào của
các Nơron trong cùng một lớp gọi là phản hồi nhánh. Hình II.7 – 2 minh họa mạng
phản hồi nhánh 1 lớp.
Mạng phản hồi, trong ñó: tất cả các chu trình ñều kín gọi là mạng lặp (Hình II.7-
1c) chỉ ra một mạng lặp ñơn giản ( mỗi nút ñơn phản hồi ñến chính nó)). Trong mạng
lặp ña nhánh (Hình II.7- 1e), mỗi ñầu ra của Nơron ñược hướng trở lại các Nơron
trước ñó. ðồng thời, cũng hướng trực tiếp trở lại chính bản thân nó và ñến các Nơron
khác trên cùng một lớp.
8. Các luật học:
ðặc ñiểm quan trọng của mạng Nơron là khả năng học của chúng. Học ñể ñiều
chỉnh phản ứng ñáp lại môi trường. Một mạng Nơron ñược huấn luyện ñể từ một tập
vectơ nhập X tạo ra tập vectơ xuất mong muốn, hoặc học những ñặc ñiểm bên trong
và cấu trúc của dữ liệu từ tập X. Tập X dùng ñể huấn luyện mạng gọi là tập học. Mỗi
phần tử của tập X gọi là mẫu học. Quá trình học ñược phản ánh qua sự thay ñổi của
bộ trọng. Trong quá học, bộ trọng sẽ hội tụ dần về giá trị vectơ mong muốn.
Có 2 kỹ thuật học trong mạng Nơron nhân tạo: học tham số tập trung vào cập nhật
lại bộ trọng liên kết trong mạng Nơron nhân tạo (ANN) và học cấu trúc ñề cập ñến sự
thay ñổi cấu trúc mạng: gắn liền với sự thay ñổi số lượng Nơron và các hình thức liên
kết giữa chúng. Hai kiểu học này ñược thực hiện ñồng bộ hoặc tách rời nhau.
ðịnh nghĩa ma trận trọng số nối kết:
Cho trước n Nơron trong mạng Nơron nhân tạo và mỗi Nơron có m trọng số nối
kết tới nó. Lúc này ma trận trọng số nối kết W ñược ñịnh nghĩa như sau:
 w 1T   w 11 w 12 • • • w 1 m 
 T  w w 
w 2   21 22 • • • w 2 m 
•  • • • 
W =   =  
•  • • • 
•  • • • 
   
 w nT   w n 1 w n 2 • • • w nm 
Hình II.8 - 1: Ma trận trọng số nối kết
Trong ñó wi = ( wi1 , wi 2 ,..., wim ) T , i = 1, n là vectơ trọng của Nơron thứ i và wij là
trọng số liên kết Nơron j ñến Nơron thứ i.
Một mạng Nơron nhân tạo muốn hoạt ñộng hiệu quả phải tìm ñược bộ trọng hay
ma trận trọng thích hợp nhất. Việc học trong mạng Nơron chính là xác ñịnh ma trận
trọng, cần xây dựng luật học hiệu quả hướng ma trận trọng số W về ma trận tối ưu
sao cho hiệu quả hoạt ñộng của mạng nơron nhân tạo là cao nhất. Luật học có thể
chia làm 3 loại :
• Học có giám sát
• Học tăng cường
• Học không giám sát
 Hình II.8 - 2 : Học có giám sát

Hình II.8 - 3 : Học tăng cường

Hình II.8 - 4: Học không giám sát

 Học có giám sát :
Trong học có giám sát, cho trước phúc ñáp mong muốn d của hệ thống tương ứng
với mẫu nhập X: ñầu vào của mạng Nơron nhân tạo (ANN). Lúc này, ANN ñược
thông báo chính xác giá trị mà nó sẽ phải tính toán tại ñầu ra. Cụ thể, với phương
pháp học có giám sát, ANN tiếp nhận một chuỗi các mẫu: (x(1), d(1)) , (x(2), d(2)), ..
, (x(k), d(k)),...là những cặp ñầu vào - ñầu ra mong muốn. Khi mẫu nhập x(k) ñược
ñưa vào ANN, thì ñầu ra mong muốn d(k) tương ñương cũng ñược nạp vào ANN.
Sự khác nhau giữa ñầu ra thực sự y(k) và ñầu ra mong muốn d(k) ñược ño lường
bằng bộ phát sinh tín hiệu lỗi, và bộ này sẽ tạo ra những tín hiệu lỗi cho ANN ñể
ñiều chỉnh các trọng số của nó sao cho ñầu ra thực sự ñược chuyển gần ñến ñầu ra
mong muốn.
Trong học có giám sát, giả thiết: các giá trị ñầu ra “ñích” chính xác ñã ñược biết
trước ứng với từng mẫu nhập.Tuy nhiên, trong nhiều tình huống, chỉ rất ít thông
tin chi tiết ñược biết. Ví dụ, ANN chỉ ñược báo rằng: giá trị ñầu ra hiện tại của nó
là “quá cao” hoặc “chính xác 50%”. Thậm chí chỉ có một giá trị phản hồi báo
hiệu kết quả của ANN là “ñúng” hoặc “sai”. Việc học dựa trên cơ sở thông tin
ñánh gía ANN gọi là học tăng cường và thông tin phản hồi ñược gọi là tín hiệu
tăng cường. Học tăng cường là một hình thức học có giám sát vì mạng vẫn còn
nhận một vài phản hồi từ môi trường của nó. Tuy nhiên, phản hồi này mang ý
nghĩa ñánh giá, nhưng không mang tính chỉ dẫn. Nó chỉ nhận xét ñầu ra thực sự là
tốt hay không tốt mà không ñưa ra một gợi ý nào cho ANN.
Tín hiệu tăng cường này sẽ ñược chuyển vào bộ phát sinh tín hiệu ñánh giá ñể tạo
ra những thông tin tín hiệu ñánh giá truyền vào ANN. Từ ñó, ANN sẽ ñiều chỉnh bộ
trọng của nó với hi vọng có ñược những ñánh giá phản hồi tốt hơn trong tương lai.
Học không giám sát:
Trong học không giám sát, sẽ không có người thầy nào cung cấp thông tin phản
hồi cho ANN. Cũng không có phản hồi từ môi trường ñể ñánh giá mức ñộ chính xác
ñầu ra của ANN. Mạng phải chủ ñộng khai thác các mẫu, các ñặc trưng, các qui tắc,
các mối liên hệ hoặc các chủng loại của dữ liệu nhập và mã hoá chúng trong ñầu ra.
Trong quá trình khai thác những ñặc trưng trên, các tham số trong mạng sẽ ñược sửa
ñổi: quá trình xử lý này ñược gọi là “tự tổ chức”. Một ví dụ ñiển hình của thuật giải
học không giám sát là: phân loại các ñối tượng mà không có các thông tin về số lượng
lớp cần phân loại. Việc phân nhóm chính xác ñược hình thành từ việc khai thác mức
ñộ tương tự và khác biệt giữa các ñối tượng.
Chú ý: trong quá trình học, tham số ngưỡng θ ñược gắn làm trọng số của giá trị
ñầu vào xm=-1, di ñóng vai trò làm tín hiệu mong muốn trong trường hợp học có giám
sát hoặc ñóng vai trò là tín hiệu tăng cường trong trường hợp học tăng cường. Như
vậy, với hai phương pháp học trên, các trọng số của Nơron thứ i ñược sửa ñổi dựa
theo tính hiệu ñầu vào mà nó nhận ñược, giá trị ñầu ra của nó và các phúc ñáp chỉ dẫn
liên quan.
Trong phương pháp học không giám sát, Nơron sửa ñổi trọng số của nó chỉ dựa
vào giá trị ñầu vào và /hoặc giá trị ñầu ra ñạt ñược.
Công thức tổng quát của luật học trọng số trong ANN xác ñịnh ñộ gia tăng của
vector trọng wi tại bước lặp t ứng với tính hiệu huấn luyện r và mẫu nhập x(t) là:
∆wi(t) ∝ rx(t) hoặc ∆wi(t)= η rx(t) (II.8-1)
trong ñó, η là một số nguyên dương gọi là hằng số học: nó xác ñịnh tốc ñộ học và r
là tín hiệu huấn luyện ñược xác ñịnh theo công thức tổng quát sau:
r= fi(wi,x,di) trong trường hợp học có giám sát hoặc học tăng cường và
r =fi(wi,x) trong trường hợp học không giám sát.

Hình II.8 - 5: Luật học phát sinh trọng số (di không ñược cung cấp trong
trường hợp học không giám sát)

Theo 2 công thức trên, vector trọng số tại bước lặp (t+1) ñược xác ñịnh:
wi(t+1)=wi(t)+ηfr(wi(t),x(t),di(t))x(t) (a)
Công thức tập trung vào việc sửa ñổi trọng số có miền giá trị rời rạc, và bản sao
của nó cho việc sửa ñổi các trọng số có miền giá trị liên tục ñược xác ñịnh như sau:
dwi(t)/d(t) = η r x(t) (b)
Với hai công thức (a) và (b), các trọng số sẽ ñược khởi tạo (ví dụ: khởi tạo ngẫu
nhiên) trước khi thực hiện quá trình học.
Trên cơ sở luật học tổng quát trong công thức, nhiều luật huấn luyện và học các
trọng số có giám sát và không giám sát ñã ñược xây dựng.
9. Kết luận:
Trong chương này ñã ñề cập ñến mối liên quan giữa nơron nhân tạo và nơron sinh
học. Quá trình xử lý tại một nơron cũng ñã ñược ñề cập, các phép toán hợp nhất
và các hàm truyền thường sử dụng cũng ñã ñược bàn chi tiết trong nội dung của
chương. Bên cạnh cấu trúc mạng truyền thẳng ña lớp cơ bản, chương này cũng ñã
ñề cập ñến cấu trúc mạng phản hồi và mạng lặp.
Các ñịnh nghĩa về học giám sát, học không giám sát và học tăng cường cũng ñược
trình bày ở ñây. Luật học tổng quát cũng ñã ñược trình bày, nó sẽ là cơ sở ñể phát
triển các luật học khác chi tiết hơn trong các chương sau.
III. Bài tập áp dụng:
1. a. Thiết kế mạng nơron chỉ với một nơron M-P ñể có thể thực thi ba
phép toán logic cơ bản sau: (i) NOT(x1), (ii)OR(x1, x2), AND(x1, x2), với
x1, x2 ∈ {0, 1}
 b. Giải thích tại sao một mạng nơron một lớp gồm các nơron M-P không
thể thi hành toán tử XOR.
2. a.Chứng minh rằng ñạo hàm của hàm truyền Sigmoid (logistic):
f ( x ) = 1 /(1 + e −αx ) là:
f’(x) = d(f(x))/d(x) = α f(x)[1-f(x)].
b. Chứng minh rằng ñạo hàm của hàm truyền trong biểu thức (phần 1):
m
f (∑ wij x j − θ i ) là:
j =1

α
f’(x) = d(f(x))/d(x) = [1-f2]
2
3. Các kết quả ñầu ra của hàm truyền thường nằm trong một giới hạn, giải
thích thuận lợi và bất thuận lợi của giới hạn này.
4. Thiết kế một mạng nơron với 5 nơron LTU ñể sinh ra giá trị Output là
+1 khi mẫu input hai chiều (x, y) nằm trong hình chữ nhật có 4 góc là
(1,1), (-2, 1), (-2, -3), (1, -3) trong không gian x,y. Và output là -1 khi
mẫu input (x,y) nằm ngoài hình chữ nhật này, vẽ hình minh họa.
5. Các mẫu từ hai lớp C1 và C2 ∈ R2 cần ñược phân lớp, thiết kế một mạng
nơron với 3 nơron LTU ñể thi hành tác vụ sau:
a. input (x, y) thuộc về lớp C1 nếu y-2x-2>0 và y+3x-3>0, ngược lại
thuộc về lớp C2.
b. input (x, y) thuộc về lớp C1 nếu y-2x-2>0 hoặc y+3x-3>0, ngược lại
thuộc về lớp C2.
6. a. Xây dựng một mạng nơron lặp với 5 node nhập, 3 node ẩn và 2 node
xuất và có liên kết phản hồi từ lớp ẩn về lớp nhập. Mô tả chi tiết phép
toán hợp nhất và hàm truyền sử dụng.
7. b. Tự xây dựng một mạng nơron có cấu trúc không giống hoàn toàn năm
cấu trúc ñã ñề xuất ở mục 7. Mô tả chi tiết phép toán hợp nhất và hàm
truyền sử dụng.
8. Áp dụng luật học tổng quát tại công thức II.8 – 1 và giả sử rằng tất cả
các nơron là LTU. Nếu tín hiệu học r ñược xác ñịnh bởi: r = di – yi. Với
yi là ñầu ra của node xuất i và di là giá trị ñầu ra mong ước. Người ta
ñịnh nghĩa luật học perceptron như sau:
∆wij= η [di - yi]xj. i = 1, 2, …n; j = 1, 2, ..., m.
Huấn luyện một mạng LTU một lớp hình II.8 - 5 sử dụng luật học
perceptron, với tập dữ liệu ñầu vào và ñầu ra mong ước là
(x1 = [1, -2, 0, -1]T, d1 = -1)
(x2 = [0, 1.5, -0.5, -1]T, d1 = -1)
(x3 = [-1, 1, 0.5, -1]T, d1 = +1)
Và vector trọng số khởi tạo là:
w1 = [1, -1, 0, 0.5]T hệ số học ñược xác lập cố ñịnh là 0.5. Chỉ ra từng
bước quá trình học cho ñến khi mạng phân lớp chính xác tất cả các
vector input.
9. Áp dụng luật học tổng quát tại công thức II.8 – 1 và giả sử rằng tất cả
các nơron là LGU. Tín hiệu học r ñược xác ñịnh bởi :
r = [di – f(wiTx)]f’(wiTx)
 Với f là hàm truyền sigmoid với λ = 1, f’(.) là ñạo hàm của f theo giá trị
ñầu vào của nó: f ’(x) = f(x)(1–f(x)) và di là giá trị ñầu ra mong ước. Người
ta ñịnh nghĩa luật học delta như sau:
∆wij= η [di – f(wiTx)]f’(wiTx) xj. i = 1, 2, …n; j = 1, 2, ..., m.
Huấn luyện một mạng LGU một lớp, sử dụng luật học delta . Dữ liệu huấn
luyện là
[x(1) = (2, 0, -1)T , d1 = -1]
[x(2) = (1, -2, -1)T , d2 = +1]
Và vector trọng khởi tạo là w(1) = (1, 0, 1)T, hệ số học ñược xác lập cố
ñịnh là 0.5, thực thi hai vòng huấn luyện của quá trình học.
10. Áp dụng luật học tổng quát tại công thức II.8 – 1. Nếu tín hiệu học r
ñược xác ñịnh r = di – wiTx.
Người ta ñịnh nghĩa luật học Widrow – Hoff hay còn gọi là bình phương
trung bình nhỏ nhất (LeastMeanSquare - LSM)như sau:
∆wij= η [di - wTx]xj. i = 1, 2, …n; j = 1, 2, ..., m.
Chú ý rằng luật học này thì ñộc lập với hàm truyền. Sử dụng dữ liệu
trong bài 9 thực thi hai lần huấn luyện của quá trình học cho mạng nơron
trong hình II.8 - 5 với luật học Widrow – Hoff.