Danh sách hình vẽ

1.1 Quy trình nhận dạng chữ viết tay online . . . . . . . . . . . . . . . 14

1.2 Các kiểu đầu vào của bước phân đoạn . . . . . . . . . . . . . . . . 14
1.3 Chuẩn hóa độ nghiêng . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4 Một kiểu mã hóa đường xương của kí tự Arabic . . . . . . . . . . . 21
1.5 So khớp dùng từ điển (a) Kết quả phân đoạn (b) Đồ thị phân
đoạn tương ứng (c) Cây phân đoạn . . . . . . . . . . . . . . . . . . 26

2.1 Mô hình một neuron nhân tạo . . . . . . . . . . . . . . . . . . . . . 28

2.2 Mô hình phi tuyến của một neuron . . . . . . . . . . . . . . . . . . 29
2.3 Các loại hàm kích hoạt . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Mạng tiến một mức . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5 Mạng tiến đa mức với một tầng ẩn . . . . . . . . . . . . . . . . . . 36
2.6 Mạng hồi quy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.7 Quy tắc học hiệu chỉnh lỗi . . . . . . . . . . . . . . . . . . . . . . . 39
2.8 Mô hình học với một người dạy . . . . . . . . . . . . . . . . . . . . 40
2.9 Hướng đi của hai luồng tín hiệu cơ bản . . . . . . . . . . . . . . . . 43
2.10 Đồ thị luồng tín hiệu của một neuron đầu ra . . . . . . . . . . . . 45
2.11 Luồng tín hiệu của neuron ẩn j nối với neuron đầu ra k . . . . . . 47
2.12 Tác dụng của hằng số moment α . . . . . . . . . . . . . . . . . . . 50

6
3.1 Kiến trúc mạng neuron nhân chập với 2 pha . . . . . . . . . . . . . 59

3.2 Ví dụ về tầng trích chọn đặc trưng F − Rabs − N − PA . Ảnh

đầu vào được đưa qua tầng lọc, sau đó điều chỉnh bằng hàm
abs(gi .tanh(.)), chuẩn hóa tương phản cục bộ trừ và chia, cuối
cùng là cộng gộp . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.3 Sự lan truyền ngược lỗi ở tầng lọc . . . . . . . . . . . . . . . . . . 63
3.4 Sự lan truyền ngược lỗi ở tầng gộp đặc trưng . . . . . . . . . . . . 63
3.5 Kiến trúc mạng neuron nhân chập dùng cho nhận dạng kí tự . . . 67
3.6 Biến dạng Affine . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.7 Biến dạng đàn hồi với các tham số khác nhau. (Góc trên trái -
ảnh gốc) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.8 Độ giống nhau của từng cặp chữ cái in thường-in hoa . . . . . . . 71
3.9 Mạng neuron nhân chập trong hệ thống nhận dạng kí tự viết tay . 73

4.1 Phân cấp chức năng các chương trình huấn luyện nhận dạng
chữ viết tay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 Một số mẫu trong cơ sở dữ liệu MNIST . . . . . . . . . . . . . . . 76
4.3 Một số mẫu trong cơ sở dữ liệu C-Cube . . . . . . . . . . . . . . . 77
4.4 Kịch bản thực nghiệm với bộ dữ liệu chữ số MNist . . . . . . . . . 77
4.5 Lưu đồ các bước huấn luyện . . . . . . . . . . . . . . . . . . . . . . 78
4.6 Lưu đồ các bước kiểm thử . . . . . . . . . . . . . . . . . . . . . . . 78
4.7 Thực nghiệm với bộ dữ liệu C-Cube không phân biệt chữ hoa
thường . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.8 Thực nghiệm với bộ dữ liệu chữ hoa được tách từ bộ dữ liệu C-Cube79
4.9 Độ nhầm lẫn giữa các cặp kí tự . . . . . . . . . . . . . . . . . . . . 81

7
Danh sách bảng

4.1 Hiệu năng nhận dạng đối với các tập dữ liệu khác nhau . . . . . . 80
4.2 Hiệu năng nhận dạng khi không áp dụng các cải tiến . . . . . . . . 80

8
 MỞ ĐẦU
1. Lý do chọn đề tài
Trong những năm gần đây, “Trí tuệ nhân tạo” đã có những ứng dụng
đáng kể trong khoa học và đời sống dựa vào việc mô phỏng trí thông
minh của con người. Thực sự, nó đã trở nền tảng cho việc xây dựng
những hệ thống máy thông minh hiện đại. Từ đó, một lĩnh vực khoa
học mới ra đời: “Lý thuyết mạng neuron nhân tạo”. Tiếp thu những kết
quả nghiên cứu về thần kinh sinh học, mạng neuron nhân tạo thường
được xây dựng thành những cấu trúc mô phỏng trực tiếp tổ chức thần
kinh của bộ não con người.
Sau nhiều năm phát triển kể từ những nghiên cứu đầu tiên của McCul-
loch và Pitts trong những năm 40, cho đến ngày nay, khi khả năng phần
cứng và phần mềm đủ mạnh, “Lý thuyết mạng neuron nhân tạo” mới có
được sự chú ý đầy đủ và nhanh chóng trở thành một hướng nghiên cứu
đầy triển vọng trong việc xây dựng các máy thông minh tiến gần tới trí
tuệ con người. Những thành công gần đây trong việc ứng dụng mạng
neuron nhân tạo đã chứng sức mạnh của nó trong nhiều lĩnh vực khác
nhau.
Một trong những ứng dụng kinh điển của mạng neuron là lớp các bài
toán nhận dạng mẫu, trong đó, mẫu là tập hợp các tham số biểu thị
thuộc tính của một đối tượng nào đó. Với bản chất dễ thích nghi môi
trường và chấp nhận lỗi, mạng neuron đã thể hiện được ưu điểm mạnh
mẽ của mình trong việc nhận dạng mẫu. Vì thế, có thể coi mạng neuron
trước tiên là một công cụ để nhận dạng. Cho đến nay, đã có nhiều công
trình nghiên cứu cả lý thuyết và thực nghiệm đối với mạng neuron cho
mục đích nhận dạng và thu được nhiều thành công to lớn.
Qua quá trình nghiên cứu trong thời gian làm luận văn, tôi nhận thấy,
mạng neuron, đặc biệt là mạng neuron nhân chập - như sẽ được đề cập
kỹ trong phần nội dung - có khả năng nhận dạng rất tốt các mẫu có
dạng hình học phong phú. Vì vậy, tôi xác định, nhiệm vụ của luận văn là
nghiên cứu cài đặt thử nghiệm ứng dụng mạng neuron nhân chập phục
vụ cho việc nhận dạng các kí tự viết tay đồng thời thử nghiệm các cải
tiến để nâng cao hiệu năng nhận dạng của thuật toán.

2. Lịch sử nghiên cứu