TỔNG LIÊN ĐOÀN LAO ĐỘNG VIỆT NAM

TRƯỜNG ĐẠI HỌC TÔN ĐỨC THẮNG

KHOA CÔNG NGHỆ THÔNG TIN

Đồ Án Môn Học:

MÁY HỌC

ĐỀ TÀI:

GVGD : TS. TRẦN THÁI SƠN

HVTH : Nguyễn Hùng An - 1511001
: Nguyễn Ngọc Tâm - 1511034

Tp. Hồ Chí Minh, tháng 07/ 2018

 Phần Giới thiệu

A. GIỚI THIỆU

1 Tổng quan về đề tài

Deep neural networks (DNN) là một nhánh của máy học, thành công vượt trội
của DNN thể hiện ở khả năng mạnh mẽ trong việc thể hiện và mô hình hóa một cách
trừu tượng ở mức cao trong việc xử lý dữ liệu phức tạp. DNN đã đưa ra kết quả vượt
qua kết quả tốt nhất (state-of-the-art) trong việc xử lý những công việc phức tạp từ
nhận dạng giọng nói, và xử lý ngôn ngữ tự nhiên, đến nhận dạng các đối tượng. Trong
những năm gần đây, DNN tập trung đáng kể về tăng hiệu suất và sức mạnh thông qua
các chiến lược như kiến trúc sâu hơn, các quy tắc xây dựng mạng, và cải tiến hàm kích
hoạt (activation function). Tuy nhiên, cách mà hình thành các kết nối giữa các nơron
trong DNN không được nghiên cứu một cách tích cực trong những năm gần đây. Do
đó, nghiên cứu sâu vào các chiến lược khác nhau để hình thành kết nối giữa các nơron
trong DNN có thể mang lại kết quả đầy hứa hẹn.

Để khám phá về sự hình thành kết nối trong DNN, tác giả lấy cảm hứng từ tự
nhiên bằng cách nhìn vào cách thức bộ não phát triển kết nối giữa các khớp thần kinh
nơron. Đặc biệt, tác giả được thúc đẩy cao bởi những phát hiện gần đây đã trình bày
trong bài báo khoa học về thần kinh quan trọng của Hill et al, nơi mà họ đã thu thập dữ
liệu đáng kể từ mô não của chuột Wistar và sử dụng dữ liệu này để tái tạo một phần sơ
đồ của một bộ não chuột. Sau khi phân tích kỹ lưỡng các bản đồ tái tạo não, Hill et al.
đi đến kết luận sâu sắc rất đáng ngạc nhiên liên quan đến sự hình thành kết nối thần
kinh trong não chuột. Những gì họ thấy được là sự hình thành khớp thần kinh, kết nối
chức năng cụ thể trong mạch thần kinh, có thể mô hình hóa và dự đoán là hình thành
ngẫu nhiên. Điều này đi ngược lại với suy nghĩ thông thường rằng kết nối thần kinh
được kết nối một cách có tổ chức. Trong khi đó, để xây dựng DNN, sự hình thành kết

2
 Phần Giới thiệu

nối của các nơron chủ yếu là xác định và được định nghĩa một cách có tổ chức tương tự
như giả định thông thường về kết nối thần kinh trước khi có nghiên cứu quan trọng
này. Vì vậy, nó đặt ra câu hỏi là liệu có một chiến lược ngẫu nhiên cho sự hình thành
kết nối giữa các nơron, cái mà có tính sinh học hơn và tương thích với cách hình thành
kết nối nơron của bộ não để có thể tạo ra một DNN có lợi ích tiềm năng về hiệu suất và
hiệu quả cao.

Mặc dù DNN rất mạnh, nhưng nó rất khó khả thi để nhúng vào các thiết bị như
camera giám sát, điện thoại thông minh và các thiết bị đeo được do tính phức tạp tính
toán của DNN. Do vậy, người ta thường sử dụng GPU trong xử lý DNN, các CPU
công suất thấp thường được sử dụng trong các hệ thống nhúng không có khả năng tính
toán để hiện thực DNN.

Dựa vào phát hiện tuyệt vời của Hill et al về sự hình thành kết nối ngẫu nhiên
của các nơron, và nghiên cứu chi tiết hơn về mặt sinh học của quá trình hình thành kết
nối giữa các nơron có thể có lợi cho DNN, bài viết này nhằm mục đích để điều tra tính
khả thi và hiệu quả của việc đưa ra mô hình kết nối ngẫu nhiên giữa các nơron trong
DNN. Để đạt được mục tiêu này, tác giả giới thiệu khái niệm về StochasticNet, ý tưởng
chính là để tận dụng lợi thế của những ý tưởng trong lý thuyết đồ thị ngẫu nhiên
(random graph theory) để tạo thành mạng lưới DNN thông qua kết nối ngẫu nhiên giữa
các nơron. Như vậy, tác giả xử lý cách hình thành kết nối giữa các nơron trong DNN
như là một trường hợp đặc biệt của một đồ thị ngẫu nhiên. Việc hình thành kết nối theo
cách như vậy trong DNN có khả năng cho phép sử dụng hiệu quả các nơron để thực
hiện các nhiệm vụ cụ thể. Hơn nữa, kể từ khi tập trung vào kết nối nơron, kiến trúc
StochasticNet có thể được sử dụng trực tiếp như một mạng lưới DNN thông thường và
hưởng lợi từ tất cả các phương pháp được sử dụng cho các mạng thông thường như
tăng thêm dữ liệu, tổng hợp ngẫu nhiên, và dropout (hiện tượng mà một số nơron được
bỏ qua ngẫu nhiên từ các lớp ẩn trong quá trình huấn luyện).

3
 Phần Giới thiệu

2 Các khái niệm liên quan

2.1 Deep learning

Học sâu là một nhánh của ngành máy học dựa trên một tập hợp các thuật toán để
cố gắng mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý
với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến.

2.2 Convolutional nueral network

Convolutional Neural Network (CNNs – Mạng nơron tích chập) là một trong
những mô hình Deep Learning tiên tiến giúp cho chúng ta xây dựng được những hệ
thống thông minh với độ chính xác cao như hiện nay.

4
 Phần Nội dung

B.NỘI DUNG

1 Cơ sở lý thuyết liên quan

1.1 Random Graph Theory

Trong bài báo này, mục tiêu là để tận dụng lợi thế của những ý tưởng trong lý
thuyết đồ thị ngẫu nhiên để tạo các kết nối nơron của DNN một cách ngẫu nhiên. Vì
vậy, đầu tiên tác giả trình bày một bài đánh giá ngắn gọn về lý thuyết đồ thị ngẫu
nhiên, để chúng ta có một cái nhìn sâu sắc hơn vào cách nó có thể được khai thác để
đạt được kết nối nơron ngẫu nhiên trong một DNN.

Hình 1-1 Một ví dụ minh họa của một đồ thị ngẫu nhiên.
Tất cả các kết nối cạnh có thể có giữa các đỉnh trong đồ thị có thể tồn tại độc lập
với một xác suất pij. Các kết nối giữa nút i và j được đánh dấu màu xanh cho mục đích
minh họa

5
 Phần Nội dung

Dựa trên khái niệm Kovalenko về mô hình đồ thị ngẫu nhiên, người ta có thể có
mô tả đồ thị ngẫu nhiên bằng cách khởi tạo một tập hợp n đỉnh V={vq|1 ≤ q ≤n} và
chèn ngẫu nhiên một tập các cạnh giữa các đỉnh ={eij|1 ≤ i ≤ n, 1 ≤j ≤ n } với các
cạnh tồn tại độc lập với một xác suất pij. Hình 1-2 minh họa một vài thể hiện có thể có
của đồ thị ngẫu nhiên thể hiện trong Hình 1-1. Có thể được quan sát thấy rõ rằng các
kết nối cạnh cho những thể hiện khác nhau của đồ thị ngẫu nhiên có thể thay đổi đáng
kể do bản chất ngẫu nhiên của các cạnh kết nối.

Hình 1-2 Một số thể hiện có thể có của đồ thị ngẫu nhiên trong hình 1-1.
Xác suất để kết nối các cạnh giữa tất cả các đỉnh trong đồ thị được thiết lập
pi,j = 0.6 cho tất cả các đỉnh i và j.

1.2 Deep Neural Networks như là một thể hiện của đồ thị ngẫu nhiên

Với những ý tưởng thú vị về việc hình thành các kết nối giữa các nơron trong
DNN như thể hiện của đồ thị ngẫu nhiên, bây giờ chúng ta chính thức hóa chiến lược
này. Tác giả có một cái nhìn sâu hơn là cách tiếp cận này có thể được áp dụng cho các
hình thức khác nhau của DNN.

Kiến trúc mạng đầy đủ của một DNN có thể được biểu diễn như là một đồ thị
𝑖→𝑗
ngẫu nhiên 𝐺 = (𝑉, 𝑝[𝑘→ℎ ]), trong đó:

 V được biểu thị tập hợp các nơron V={vi,k|1 ≤ i ≤ nl, 1 ≤ k ≤ mi };

 vi,k đại diện cho nơron thứ k tại layer thứ i;
 nl thể hiện cho số lượng layer;
 mi thể hiện cho số lượng nơron tại layer thứ i;

6
 Phần Nội dung

𝑖→𝑗
 𝑝[𝑘→ℎ ] đại diện cho xác suất xảy ra kết nối giữa nơron vj,h và vi,k.

1.2.1 Ứng dụng vào Deep Feed-Forward Neural Networks

Dựa trên nền tảng các kết nối trong DNN được hình thành như một thể hiện của
đồ thị ngẫu nhiên, có thể nói rằng, về lý thuyết có thể tạo 1 DNN bất kỳ như là 1 thể
hiện của đồ thị ngẫu nhiên. Tuy nhiên, trong thực tế, rất quan trọng để xem xét khi tạo
DNN như là 1 thể hiện của đồ thị ngẫu nhiên bởi vì nhiều loại DNN có những đặc điểm
kiến trúc mạng cơ bản rất khác nhau và phải đảm bảo được rằng trong quá trình hình
thành như một đồ thị ngẫu nhiên thì DNN vẫn hoạt động đúng với chức năng của nó.
Do đó, để đảm bảo rằng các đặc điểm kiến trúc mạng cơ bản của các loại DNN khác
𝑖→𝑗
nhau khi thể hiện như một đồ thị ngẫu nhiên hoạt động đúng thì xác suất 𝑝[𝑘→ℎ ] được
thiết kế theo một cách mà những đặc điểm này được thực thi một cách thích hợp.
𝑖→𝑗
Trong bài báo này, tác giả tìm hiểu việc thiết kế 𝑝[𝑘→ℎ ] sử dụng trong các DNN deep
feed-forward.

1.2.2 Deep Convolutional Neural Networks

Với mô hình đồ thị ngẫu nhiên nói trên đại diện chung cho mạng nơron deep
feed-forward, bây giờ chúng ta tiếp tục khám phá những cân nhắc thiết kế bổ sung phải
được đưa vào cho sự hình thành của mạng deep convolutional neural networks. DCNN
có thể được coi là một trong những loại phổ biến nhất của mạng deep feed-forward
trong những năm gần đây, nó có khả năng mạnh mẽ trong việc giải quyết các vấn đề về
thị giác máy tính. Một đặc tính cơ bản quan trọng của DCNN là các kết nối nơron trong
các lớp tích chập được sắp xếp sao cho một tập hợp nhỏ các nơron trong không gian
cục bộ được kết nối với cùng nơron đầu ra ở layer kế tiếp trong mạng. Ngoài ra, trọng
số kết nối giữa các nơron cũng được chia sẻ giữa các tập hợp nơron nhỏ khác nhau.
Một trong những lợi ích quan trọng của mạng DCNN là nó xây dựng các kết nối nơron
ở các lớp tích chập rất hiệu quả bằng một tập các local receptive field (tương tự như

7
 Phần Nội dung

filter được mô tả ở A- 2.2), quá trình này sẽ làm giảm đáng kể yêu cầu bộ nhớ và tính
toán phức tạp cho huấn luyện và sử dụng mạng.

Hình 1-3 Ví dụ về local receptive fields (Ki,1 và Ki,2) được nhận ra ngẫu nhiên của
một Stochastic Net với một kiến trúc mạng DCNN.

1.2.3 Mối liên hệ với Stochastic chính quy

StochasticNet không phải là một kỹ thuật chính quy, nó là một mạng DNN thưa.
Kỹ thuật chính quy sử dụng kết nối ngẫu nhiên trong huấn luyện nhưng bắt đầu với
một mạng lưới dày đặc và kết thúc với một mạng lưới dày đặc. StochasticNets ở bài
này bắt đầu với một mạng lưới thưa thớt và kết thúc với một mạng lưới thưa thớt, kỹ
thuật này chưa được khám phá trước đây. Chiến lược ngẫu nhiên trước kia làm việc với
các mạng nơron hiện có dựa trên kết nối nơron một cách thưa thớt rõ rang (HashNet),
hoặc là bỏ bớt kết nối trong quá trình huấn luyện. Cụ thể hơn, StochasticNets là một
hiện thực của một đồ thị ngẫu nhiên được hình thành trước khi huấn luyện và như vậy

8
 Phần Nội dung

các kết nối trong mạng vốn đã thưa thớt, và là cố định và không thay đổi trong quá
trình huấn luyện. Điều này thể hiện rất khác từ Dropout và DropConnect, nơi mà các
hàm kích hoạt và các kết nối được tạm thời loại bỏ trong quá trình huấn luyện và được
đưa trở lại trong quá trình thử nghiệm, và kết quả là kết nối giữa các nơron trong mạng
vẫn còn dày đặc. Không có khái niệm về dropping trong StochasticNets, các kết nối
nơron có thể được hình thành từ thời điểm đầu tiên trước khi huấn luyện, và kết quả là
kết nối trong mạng là thưa thớt.

9
 Phần Kết luận

C. KẾT LUẬN
Trong nghiên cứu này, tác giả giới thiệu một cách tiếp cận mới để hình thành
DNN lấy cảm hứng từ các kết nối ngẫu nhiên dựa vào kết nối khớp thần kinh giữa các
nơron. Các StochasticNet đươc đề xuất là một DNN được hình thành như là một thể
hiện của một đồ thị ngẫu nhiên, nơi kết nối giữa các nơron được hình thành một cách
ngẫu nhiên dựa trên một phân phối xác suất. Sử dụng phương pháp này, các kết nối
nơron trong các DNN có thể được hình thành một cách tối ưu hiệu quả, dẫn đến mạng
DNN có ít kết nối nơron hơn trong khi đạt được độ chính xác tương tự.

Hiệu quả của StochasticNet được đề xuất được đánh giá với bốn bộ dữ liệu hình
ảnh chuẩn phổ biến và so sánh với một CNN thông thường (ConvNet). Kết quả thí
nghiệm chứng minh rằng StochasticNet đề xuất cung cấp độ chính xác tương đương
như các ConvNet thông thường với ít hơn nhiều về số lượng các kết nối nơron trong
khi giảm các vấn đề overfitting so với các ConvNet thông thường trên bộ dữ liệu
CIFAR-10, MNIST, và SVHN. Thêm một thú vị, một StochasticNet với ít hơn nhiều
số lượng các kết nối nơron đã được tìm thấy để đạt được độ chính xác cao hơn khi so
sánh với các DCNN thông thường cho tập dữ liệu STL-10. Như vậy, các StochasticNet
đề xuất có tiềm năng rất lớn để cho phép hình thành DNN hiệu quả hơn, có tốc độ hoạt
động nhanh trong khi vẫn đạt được độ chính xác mạnh mẽ.

10