SỞ GIÁO DỤC VÀ ĐÀO TẠO TỈNH NAM ĐỊNH

TRƯỜNG THPT MỸ THO

DỰ ÁN
THIẾT BỊ HỖ TRỢ TÌM KIẾM ĐỒ VẬT CHO NGƯỜI KHIẾM THỊ SỬ
DỤNG TRÍ TUỆ NHÂN TẠO

Lĩnh vực: Hệ thống nhúng

 2

MỤC LỤC
A. PHẦN I. MỞ ĐẦU..........................................................................................3
1. Lý do lựa chọn dự án......................................................................................3
2. Câu hỏi nghiên cứu..........................................................................................3
3. Mục tiêu nghiên cứu........................................................................................3
3.1. Mục tiêu chung.....................................................................................3
3.2. Mục tiêu cụ thể.....................................................................................3
4. Phương pháp nghiên cứu................................................................................3
4.1. Phương pháp phân tích và tổng hợp lý thuyết..................................3
4.2. Phương pháp thực nghiệm khoa học..................................................4
4.3. Phương pháp chuyên gia.....................................................................4
5. Kế hoạch nghiên cứu.......................................................................................4
6. Tính mới, tính sáng tạo của dự án.................................................................4
7. Ý nghĩa của dự án............................................................................................4
B. PHẦN II. QUÁ TRÌNH NGHIÊN CỨU.......................................................4
1. Tổng quan về vấn đề nghiên cứu...................................................................4
2. Cơ sở khoa học.................................................................................................5
2.1. Công nghệ trí tuệ nhân tạo AI là gì:...................................................5
2.2. Công nghệ nhận diện vật thể Object Detect :....................................6
3. Thiết kế hệ thống.............................................................................................6
3.1. Đề xuất chức năng của hệ thống.........................................................6
3.2. Xác định các thành phần cấu tạo cho thiết bị:...................................6
3.3. Thiết kế chế tạo sản phẩm:..................................................................6
3.4. Chế tạo...................................................................................................9
C. PHẦN III. KẾT LUẬN................................................................................14
1. Kết quả đạt được...........................................................................................14
3. Hướng phát triển...........................................................................................14
PHỤ LỤC...........................................................................................................16
1. Giá thành thiết bị:.........................................................................................16
3. Hướng dẫn sử dụng sản phẩm:....................................................................16
TÀI LIỆU THAM KHẢO................................................................................17
 3

A. PHẦN I. MỞ ĐẦU
1. Lý do lựa chọn dự án
Theo thống kê đến ngày 10/09/2022 của Hội nhãn khoa Việt Nam hiện nay trên
thế giới hiện có khoảng 314 triệu người mù và thị lực thấp, trong đó khoảng 45 triệu
người mù. Tại Việt Nam hiện có khoảng 2 triệu người mù và thị lực thấp. Người
khiếm thị gặp rất nhiều khó khăn trong đi lại, tìm kiếm đồ vật cũng như những công
việc trong cuộc sống, họ phụ thuộc vào sự giúp đỡ của người khác. Ngoài ra, họ còn
gặp phải rào cản tâm lý vô cùng lớn, họ mặc cảm và thiếu tự tin.
Việc tìm kiếm đồ vật có ý nghĩa rất lớn đối với người khiếm thị, chúng em
quyết tâm xây dựng dự án với mong muốn giúp người khiếm thị tìm kiếm các vật dụng
như điện thoại, chìa khoá… từ vị trí của các vật dụng để xác định hướng di chuyển.
Trên thế giới nói chung và Việt Nam nói riêng có nhiều sản phẩm hỗ trợ người
khiếm thị, đề cập ở phần II mục 1, tuy nhiên em nhận thấy còn nhiều bất cập, hạn
chế, các sản phẩm hoạt động chưa ổn định, độ chính xác thấp, sử dụng trí tuệ nhân tạo
nhưng chủ yếu là các dự án nước ngoài, không thiết thực đối với người Việt.
Với cơ sở thực tiễn nêu trên, chúng em mong muốn chế tạo một sản phẩm hỗ
trợ người khiếm thị nhận biết các đồ vật, nhận biết được vật cản đảm bảo yêu cầu kỹ
thuật, đảm bảo tính chính xác, tính kinh tế, tính khả thi và phù hợp với điều kiện thực
tế hiện nay.
2. Câu hỏi nghiên cứu
- “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo”
cần có những chức năng gì? Để những chức năng đó hoạt động chính xác, ổn định thì
phải thiết kế và chế tạo như thế nào?
- “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo”
có đảm bảo tính chính xác, tính kinh tế, tính khả thi và phù hợp với điều kiện thực tiễn
hiện nay không?
3. Mục tiêu nghiên cứu
3.1. Mục tiêu chung
Thiết kế, chế tạo, thử nghiệm thành công thiết bị hỗ trợ tìm kiếm đồ vật cho
người khiếm thị sử dụng trí tuệ nhân tạo đảm bảo yêu cầu kỹ thuật, tính chính xác, giá
thành hợp lý và phù hợp với điều kiện hiện nay.
3.2. Mục tiêu cụ thể
Nghiên cứu, phân tích được ưu, nhược điểm của các thiết bị hỗ trợ người khiếm
thị hiện có trên thị trường; Nghiên cứu các sản phẩm được học sinh, sinh viên chế tạo
nhằm hỗ trợ người khiếm thị; Đề xuất những chức năng của thiết bị hỗ trợ người
khiếm thị mà chưa được nghiên cứu chế tạo thành công; Lựa chọn được các linh kiện
phù hợp, tiết kiệm, giá thành thấp để lắp đặt thiết bị ; Chế tạo thử nghiệm sản phẩm và
vận hành, kiểm tra hoạt động của sản phẩm trong các điều kiện khác nhau, cải tiến và
hoàn thiện chương trình lập trình cho sản phẩm; Đánh giá được ưu, nhược điểm của
sản phẩm và so sánh được giữa “Thiết bị hỗ trợ tìm kiếm đồ vật sử dụng trí tuệ nhân
tạo” và các sản phẩm có sẵn trên thị trường về tính chính xác, tính kinh tế, tính khả thi
và phù hợp với điều kiện thực tế hiện nay.
4. Phương pháp nghiên cứu
Trong dự án, chúng em sử dụng các phương pháp nghiên cứu sau:
4.1. Phương pháp phân tích và tổng hợp lý thuyết
 4

Tìm hiểu tổng quan về vấn đề nghiên cứu (phân tích ưu, nhược điểm của thiết
bị, các thiết bị, hệ thống hỗ trợ người khiế thị hiện có); từ đó đề xuất chức năng và xác
định các thành phần cấu tạo nên sản phẩm; Tìm hiểu những khó khăn mà người khiếm
thị đang gặp phải; Tìm hiểu các hệ điều hành , ngôn ngữ lập trình, cấu trúc hệ thống
một chương trình AI, phương pháp chuyển đổi kết quả nhận diện sang giọng nói Tiếng
Việt phát ra loa ngoài,….
4.2. Phương pháp thực nghiệm khoa học
Phác thảo mô hình AI >> Chế tạo, thiết kế thử từ phần cứng máy tính >>
Đưa dự án lên máy tính nhúng >> Vận hành, kiểm tra, đánh giá >> Lập hồ sơ kĩ thuật
4.3. Phương pháp chuyên gia
Dự án xin ý kiến tham vấn, tư vấn của kỹ sư khoa học máy tính, chuyên
viên thiết kế dự án AI; nhân viên kỹ thuật thiết kế mạch điện tử, gia công cơ khí.
5. Kế hoạch nghiên cứu
- Tháng 6/2023: Hình thành ý tưởng nghiên cứu.
- Tháng 7/20232: Phân tích ưu, nhược điểm của các thiết hỗ trợ người khiếm
thị đang có mặt trên thị trường, các sản phẩm KHKT đã đạt giải trước đây, các sản
phẩm do học sinh, sinh viên chế tạo.
- Từ 01/8 - 14/8/2023: Đề xuất các chức năng của sản phẩm.
- Từ 15/8 – 15/9/2023: Lựa chọn phần cứng đáp ứng nhu cầu dự án ( Máy tính
nhúng, camera, pin, loa ngoài, mạch nguồn,…)
- Từ 16/9 – 26/9/2023: Xây dựng dự án lên phần cứng máy tính nhúng, thự
nghiệm, đánh giá về tính ổn định, tính chính xác và khả năng ứng dụng của sản phẩm
vào thực tế.
- Từ 27/9/2023 – tháng 01/2024: Cải tiến, điều chỉnh sản phẩm; viết báo cáo
khoa học.
6. Tính mới, tính sáng tạo của dự án
“Thiết bị hỗ trợ tìm kiếm đồ vật cho người kiếm thị sử dụng trí tuệ nhân tạo”
đảm bảo tính mới, tính sáng tạo sau:
- Thiết bị có khả năng nhận diện các đồ vật, phương tiện, con vật, các vật thể
xung quanh.. theo thời gian thực, tốc độ phản hồi nhanh.
- Thiết bị có khả năng đọc tên các kết quả nhận diện được ra loa ngoài hoàn
toàn bằng ngôn ngữ tiếng Việt.
- Có khả năng nhận biết, đọc tên cùng lúc nhiều đồ vật, nhiều vật thể trong một
khung hình.
- Có khả năng cảnh báo va chạm bằng còi khi đến gần các vật thể cố định như
bàn ghế, tường, tủ, cánh cửa…
7. Ý nghĩa của dự án
Thiết kế, chế tạo, thử nghiệm thành công “Thiết bị hỗ trợ tìm kiếm đồ vật cho
người khiếm thị” đảm bảo tính chính xác, tính kinh tế, tính khả thi và phù hợp với điều
kiện thực tế hiện nay; Hệ thống được đưa vào sử dụng trong thực tế sẽ giúp mỗi người
khiếm thị có khả năng tìm kiếm các vật dụng trong nhà; Xác định hướng đi nhờ cách
bố trí các vật dụng quen thuộc trong nhà; Hạn chế va chạm với các vật thể cố định
nhờ cảm biến khoảng cách và còi cảnh báo ; Giúp người khiếm thị bớt đi những khó
khăn trong cuộc sống; Đóng góp những nghiên cứu của mình vào lĩnh vực trí tuệ nhân
tạo, góp phần vào công cuộc đổi mới công nghệ.
 5

B. PHẦN II. QUÁ TRÌNH NGHIÊN CỨU

1. Tổng quan về vấn đề nghiên cứu
Nghiên cứu thiết kế, chế tạo “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm
thị” là ý tưởng hoàn toàn mới , có khả năng đọc được bằng Tiếng Việt chính xác, trôi
chảy; có khả năng nhận diện một lúc nhiều đồ vật, nhận diện nhanh, chính xác; có khả
năng cảnh báo va chạm sớm bằng còi.
Hiện tại, đã có một số sản phẩm do học sinh, sinh viên nghiên cứu , chế tạo như
sau:
- Kính mắt thông minh : cảnh báo va chạm sớm bằng cảm biến siêu âm.
Nhược điểm: cảm biến siêu âm có độ tin cậy thấp, hoạt động sai nhiều ở phạm
vi quá hẹp (chồng chéo sóng siêu âm) hoặc quá rộng (không nhận được phản hồi), chỉ
dừng lại ở cảnh báo va chạm.
- Thiết bị hỗ trợ tìm kiếm đồ vật sử dụng Yolo V3: Nhận diên vật thể theo thời
gian thực trên phần cứng có cấu hình cao, tốc độ xử lý nhanh ở những phần cứng có
trang bị card đồ hoạ, GPU rời…
Nhược điểm: công nghệ cũ; tốc độ chậm ở phần cứng nhúng nhỏ gọn , thời
gian phản hồi kết quả chậm; hoạt động kém hiệu quả trong các điều kiện di chuyển
liên tục, thiếu sáng; có khả năng nhận diện được đồ vật nhưng số lượng ít (30-50 đối
tượng tuỳ dự án) , có khả năng phát âm nhưng hoàn toàn bằng tiếng Anh, mất khả
nhiều thời gian để đọc được một tên đồ vật bằng tiếng Anh như vậy.
- Gậy thông minh cho người khiểm thị: Sử dụng cảm biến siêu âm để xác định
vật cản, có cảnh báo ngã khi rơi gậy trong thời gian dài.
Nhược điểm: Không trang bị hệ thống nhận diện đồ vật, cảm biến siêu âm dễ
bị nhiễu, độ bền thấp.
- Xây dựng thiết bị nhận diện thông minh cầm tay trợ giúp người khiếm thị : Sử
dụng công nghệ thị giác máy tính để nhận diện hình ảnh; thông tin hình ảnh
được xử lý sẽ được truyền về người dùng qua tai nghe.
Nhước điểm: Phần cứng cồng kềnh, sử dụng công nghệ R-CNN trong nhận
diện hình ảnh, tốc độ phản hồi chậm; không có khả năng phát âm bằng tiếng Việt.
2. Cơ sở khoa học
2.1. Công nghệ trí tuệ nhân tạo AI là gì:
Trí tuệ nhân tạo hay trí thông minh nhân tạo (Artificial Intelligence – viết tắt là
AI) là một ngành thuộc lĩnh vực khoa học máy tính (Computer science). Là trí tuệ do
con người lập trình tạo nên với mục tiêu giúp
máy tính có thể tự động hóa các hành vi
thông minh như con người.
Với những tính năng nổi trội và hiện
đại, Trí tuệ nhân tạo (AI) đã vượt lên những
phần mềm lập trình truyền thống trở thành
một công nghệ tối mới tối ưu. Đó là khả năng
tiếp thu, tự học, giám sát và điều khiển máy
móc tự hành. Đây chính là yếu tố quan trọng
giúp các Doanh nghiệp thay đổi và phát triển
theo kịp xu hướng toàn cầu hóa và theo kịp Hình 1. Các nhánh trong công nghệ AI
tốc độ cuộc Cách mạng công nghiệp 4.0 đang
 6

diễn ra rất mạnh mẽ.Trong một cuộc khảo sát gần đây của Forbes Insights về trí tuệ
nhân tạo, “44% số người được hỏi từ các ngành sản xuất ô tô và sản xuất khác đã xếp
loại AI là rất quan trọng đối với chức năng sản xuất trong 5 năm tới, trong khi gần một
nửa 49% đã trả lời rằng sử dụng AI để tạo ra thành công”.
Trong dự án này, chúng em vận dụng một nhánh nhỏ của AI đó là Machine
Learning nhằm mục đích đạo tạo cho máy học những đồ vật, con vật, phương tiện
thông dụng, thường gặp để máy nhậns diện và đọc tên một cách chủ động, chính xác.
2.2. Công nghệ nhận diện vật thể Object Detect :
Một trong những lĩnh vực quan trọng của Trí tuệ nhân tạo (Artificial
Intelligence) là thị giác máy (Computer Vision). Computer Vision là một lĩnh vực bao
gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình
ảnh, phát hiện các đối tượng, tạo ảnh, siêu phân giải hình ảnh và nhiều hơn vậy. Object
Detection có lẽ là khía cạnh sâu sắc nhất của thị giác máy do số lần sử dụng trong thực
tế.
Object Detection đề cập đến khả
năng của hệ thống máy tính và phần mềm
để định vị các đối tượng trong một hình ảnh
và xác định từng đối tượng. Object
Detection đã được sử dụng rộng rãi để phát
hiện khuôn mặt, phát hiện xe, đếm số người
đi bộ, hệ thống bảo mật và xe không người
lái. Có nhiều cách để nhận diện đối tượng
có thể được sử dụng cũng như trong nhiều
lĩnh vực thực hành. Giống như mọi công Hình 2. Object Detect trong thực tế
nghệ khác, một loạt các ứng dụng sáng tạo và tuyệt vời của Object Detection sẽ đến từ
các lập trình viên và các nhà phát triển phần mềm.
3. Thiết kế hệ thống
3.1. Đề xuất chức năng của hệ thống
Từ phân tích ưu, nhược điểm
của của thiết bị, hệ thống hỗ trợ người
khiếm thị kể trên, chúng em đề xuất
chức năng của sản phẩm ở hình 3:

3.2. Xác định các thành phần cấu

tạo cho thiết bị:
Trên cơ sở đề xuất chức năng Hình 3. Chức năng của sản phẩm
của hệ thống, chúng em xác định các thiết bị, module và lựa chọn linh kiện chế tạo
thiết bị đo của hệ thống như sau:
- Máy tính nhúng Raspberry Pi4.
- Camera Logitech C270.
- Pin, mạch nguồn ổn áp 5V.
- Loa, mạch công suất (khuếch đại tín hiệu) loa.
- Arduino ProMini.
- Cảm biến khoảng cách hồng ngoại Sharp.
- Hộp chứa (có khoang chứa các mạch điện của máy và các cảm biến).
 7

3.3. Thiết kế chế tạo sản phẩm:

3.3.1. Thiết kế 3D của vỏ thiết bị:
Vỏ thiết bị hay hộp chứa là một trong số
những thành phần sơ khai quan trong trong việc
xây dựng sản phẩm. Sau quá trình thiết kế, bố
trí mạch điện ,máy tính nhúng, cảm biến,
camera… chúng em đã thiết kế và hoàn thiện
mô hình 3D của vỏ thiết bị đáp ứng các yếu tố
như: Hộp đựng vừa máy tính nhúng; pin lipo
10000mAh; Có ngăn chia cho mạch nguồn để
đảm bảo toả nhiệt; có ngăn gắn loa , mạch loa
vào hộp (hình 4): Hình 4. Thiết kế 3D vỏ thiết bị
3.3.2. Thiết kế sơ đồ cấu tạo tổng quát của hệ thống

Hình 5. Sơ đồ cấu tạo hệ thống nhận diện đồ vật

3.3.3. Thiết kế lưu đồ thuật toán của hệ thống

Lưu đồ thuật toán của sản phẩm được chúng em trực tiếp thiết kế như hình:
 8

Hình 6. Lưu đồ thuật toán

3.3.4. Thiết kế sơ đồ nguyên lý, mạch in

- Trực tiếp thiết kế sơ đồ nguyên lý mạch điện, tính toán các linh kiện sử dụng,
lựa chọn các thiết bị, module phù hợp.

Hình 7. Sơ đồ mạch điện thực tế của sản phẩm

- Trực tiếp thiết kế mạch , đấu nối mạch theo sơ đồ nguyên lý đã có (hình 13).
Ở phần này, chúng em chú ý đến vị trí sắp xếp các khối: khối nguồn, khối xử lý trung
tâm, khối ngoại vi, … ở các vị trí hợp lí phục vụ cho việc làm vỏ, tránh ảnh hưởng
của nhiễu từ các khối cao tần sang khối khác, tránh ảnh hưởng nhiệt độ giữa các
module , sau đó xin ý kiến nhận xét của chuyên gia.
 9

3.4. Chế tạo

3.4.1. Lắp ráp phần cứng sản phẩm
Quy trình lắp đặt phần cứng sản phẩm:
+ Bước 1: Kết nối pin 3.7V với mạch nguồn 5V.

Hình 8. Kết nối Pin và mạch nguồn

+ Bước 2: Kết nối mạch nguồn với công tắc nguồn, mạch nguồn với máy tính nhúng;
mạch nguồn với vi điều khiển Arduino ProMini.

Hình 9. Kết nối máy tính nhúng và Arduino

+ Bước 3: Kết nối máy tính nhúng với mạch khuếch đại loa; kết nối loa vào mạch
khuếch đại.

Hình 10. Kết nối máy tính nhúng và mạch loa

+ Bước 4: Đóng hộp, lắp camera, cảm biến khoảng cách vào hộp.
 10

Hình 11. Sản phẩm hoàn thiện

3.4.2. Xây dựng hệ thống nhận diện đồ vật sử dụng Model SSD
3.4.2.1. Giới thiệu về ModelSSD, tại sao chọn ModelSSD cho dự án
Model SSD là tên viết tắt của Single Shot Detection, đây là một mô hình Object
Detection. Model này được viết trên thư viện Tensorflow.
Model SSD của
TensorFlow được đào tạo trên Bộ
dữ liệu COCO 2017 chứa nhiều
đối tượng phổ biến, hàng ngày.
Định dạng ModelSSD của
TensorFlow bao gồm một tệp
save_model.pb và một thư mục Hình 12. Cấu trúc mô hình SSD
chứa các nhãn. Đây là 2 thành phần
quan trọng của model này.
Để lựa chọn ModelSSD cho
dự án này, chúng em đã nghiên cứu
và thất bại rất nhiều lần khi sử dụng
các model nặng như Yolo, và cũng
nhận thấy rõ rằng các sản phẩm
trước đây đã từng dùng những
model như YoloV3, R-CNN cho
hiệu quả không cao. Thay vào đó,
Model SSD là một mô hình mạng
CNN cho việc phát hiện, nhận Hình 13. Quy trình hoạt động của Model SSD

dạng, phân loại đối tượng được tạo ra từ việc kết hợp giữa các convolutional layers và
connected layers. ( Tóm tắt là có thể phát hiện được nhiều vật thể cùng 1 lúc trong một
khung hình); ModelSSD có thể đạt được tốc độ cao ở phần cứng yếu mà độ chính xác
không quá giảm so với các model nặng thuộc top đầu.
 11

Hình 14. Quy trình nhận diện vật thể trong sản phẩm

3.4.2.2. Xây dựng môi trường lập trình cho ModelSSD

Để dự án hoạt động được trên môi trường hệ điều hành, cần xây dựng một môi
trường làm việc đáp ứng yêu cầu, cụ thể, Model SSD có những yêu cầu trong môi
trường lập trình như sau:
+ OpenCV >= 4.1.0.25
+ TensorFlow >= 2.2.0
+ Python >= 3.7
Để đáp ứng những yêu cầu đó, chúng em cần cài đặt môi trường ảo và sử dụng các
lệnh để cài đặt các thư viện tương ứng:
+ Cài đặt môi trường ảo:
sudo pip3 install virtualenv
+ Cài đặt OpenCV:
sudo apt-get install libhdf5-dev libhdf5-serial-dev libhdf5-103
sudo apt-get install libqtgui4 libqtwebkit4 libqt4-test python3-pyqt5
sudo apt-get install libatlas-base-dev
sudo apt-get install libjasper-dev
pip install opencv-python==4.1.0.25
+ Cài đặt Tensorflow từ Google Drive:
sudo apt-get install gfortran
sudo apt-get install libhdf5-dev libc-ares-dev libeigen3-dev
sudo apt-get install libatlas-base-dev libopenblas-dev libblas-dev
sudo apt-get install liblapack-dev cython
sudo pip3 install pybind11
sudo pip3 install h5py
sudo pip3 install --upgrade setuptools
pip install gdown
sudo cp /home/pi/.local/bin/gdown /usr/local/bin/gdown
gdown https://drive.google.com/uc?
id=11mujzVaFqa7R1_lB7q0kVPW22Ol51MPg
pip install tensorflow-2.2.0-cp37-cp37m-linux_armv7l.whl
3.4.2.3. Xây dựng ModelSSD lên máy tính nhúng Raspberry Pi4
Để xây dựng Model lên máy tính nhúng, chúng em đã xây dựng môi trường
cũng như các thư viện theo mục 3.4.2.2.
 12

Sau khi có được môi trường làm việc cho dự án , chúng em đã tải xuống Model
SSD đã được đào tạo sẵn một số đồ vật cơ bản và tiến hành nhúng Model vào máy tính
nhúng:
git clone https://github.com/tensorflow/models.git
cd models/research
protoc object_detection/protos/*.proto --python_out=.
export
PYTHONPATH=$PYTHONPATH:/home/pi/tensorflow/models/research:/home
/pi/tensorflow/models/research/slim
Tải model tại địa chỉ:
https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/
tf2_detection_zoo.md
Tiến hành đào tạo các vật thể cho dự án dựa trên cấu trúc mô hình chung đã
được Tensorflow đưa ra trước đó, giúp thiết bị nhận diện được đa đạng các đồ vật.
3.4.3. Chuyển đổi kết quả nhận diện thành giọng nói tiếng Việt sử dụng Pydub:
Quá trình quan trọng nhất và quyết định thành công của dự án là phải chuyển
đổi được kết quả nhận dạng thành âm thanh đọc ra loa ngoài, chúng em đã thử nghiệm
nhiều công nghệ như Google Cloud Speed, Google Text To Speech nhưng nhận ra một
số nhước điểm như sau:
+ Những công nghệ này đòi hỏi cấu hình phần cứng tương đối ổn định.
+ Phụ thuộc vào Internet.
+ Làm chậm tốc độ sản phẩm.
+ Mất một quá trình để chuyển từ tiếng Anh sang tiếng Việt có dấu vì dự án lập trình
trên ngôn ngữ không hỗ trợ tiếng Việt có dấu.
Qua thực tế và quá trình đào tạo cho máy, chúng em nhận ra rằng việc sử dụng
các công cụ chuyển văn bản thành giọng nói là không cần thiết vì số lượng vật thể ,
phương tiện, đối tượng nhận diện xung quanh chưa thực sự nhiều, vì thế chúng em đã
sử dụng Pydub để chuyển đổi kết quả nhận diện từ dạng văn bản (text) sang file mp3
rồi phát ra loa. Quá trình này tiêu tốt ít tài nguyên và hoạt động dường như tức thì,
giúp sản phẩm không bị trễ. Để làm được điều này, chúng em đã chuẩn bị ghi lại các
file mp3 đọc tên vật thể và để nó vào thư mục dự án, sau đó lập trình gọi tên file khi có
đúng kết quả nhận diện:
Cấu trúc thư mục dự án:
---- Du an
----- mp3
------ doituong1.mp3
------ doituong2.mp3
------ doituong3.mp3
------ doituong4.mp3
----- model
----- label
3.5. Thử nghiệm, đánh giá, điều chỉnh và hoàn thiện hệ thống
 13

3.5.1. Thử nghiệm 1: thử nghiệm hoạt động của sản phẩm đối với tai nghe, loa
bluetooth.
* Hoạt động của hệ thống:
Sau khi khởi động và tải cơ sở dữ liệu, hệ thống đã có thể nhận diện các vật thể
xung quanh, truyền màn hình lên máy tính thông qua giao tiếp không dây, truyền tín
hiêu âm thanh qua loa bluetooth mỗi khi nhận diện được đồ vật.
* Đánh giá, kết luận:
Sản phẩm hoạt động như yêu cầu đề ra, tuy nhiên khi truyền qua bluetooth, file
mp3 sẽ bị khuyết mất 1 giây đầu tiên, vì thể thiết bị nói to những chưa rõ ràng. Thử
với tai nghe thì âm thanh nghe trọn vẹn nhưng dây tai nghe rất rối, và âm lượng nhỏ,
không trực quan.
* Những điều chỉnh, cải tiến:
Sử dụng mạch khuếch đại âm thanh, chuyển tín hiệu từ cổng tai nghe 3.5 lên
loa ngoài.
3.5.2. Thử nghiệm 2: thử nghiệm hoạt động của sản phẩm khi sử dụng loa ngoài
qua mạch khuếch đại
* Hoạt động của hệ thống:
Sau khi khởi động và tải cơ sở dữ liệu, hệ thống đã có thể nhận diện các vật thể
xung quanh, truyền màn hình lên máy tính thông qua giao tiếp không dây, truyền tín
hiêu âm thanh qua mạch khuếch đại từ cổng Audio 3.5 , loa ngoài được bật mỗi khi
nhận diện được đồ vật.
* Kết quả:
Sản phẩm hoạt động như yêu cầu đặt ra.
* Đánh giá, kết luận:
Sản phẩm đã hoạt động theo yêu cầu đặt ra, tuy nhiên chúng em vẫn muốn hoàn
thiện hơn nên có trang bị thêm bộ cảm biến khoảng cách và cảnh báo va chạm sớm,
giúp sản phẩm tiến sát đến thực tế.
3.5.3. Thử nghiệm 3: thử nghiệm sản phẩm kết hợp mạch cảnh báo va chạm sớm
* Hoạt động của hệ thống:
Sau khi khởi động và tải cơ sở dữ liệu, hệ thống đã có thể nhận diện các vật thể
xung quanh, truyền màn hình lên máy tính thông qua giao tiếp không dây, truyền tín
hiêu âm thanh qua mạch khuếch đại từ cổng Audio 3.5 , loa ngoài được bật mỗi khi
nhận diện được đồ vật.
Mỗi khi đến gần những vật thể cố định như bàn ghế, tủ, tường, cửa, cảm biến
khoảng cách sẽ đo đạc và gửi tín hiệu về cho vi điều khiển Arduino ProMini. Vi điều
khiển sẽ điều khiển còi kêu tuỳ theo khoảng cách giữa thiết bị và vật cản phía trước,
càng đến gần vật cản thì còi sẽ kêu nhịp độ càng nhanh.
* Kết quả:
Sản phẩm hoạt động như mục tiêu đã đề ra.
Đánh giá, kết luận:
Mặc dù sản phẩm đã hoạt động theo yêu cầu đề ra tuy nhiên thời gian khởi
động để tải cơ sở dữ liệu còn chậm – mất 2-3 phút. Cần tiếp tục tối ưu hoá chương
trình lập trình để đồng bộ hơn với phần cứng.
C. PHẦN III. KẾT LUẬN
1. Kết quả đạt được
 14

Sau quá trình nghiên cứu, chế tạo và lập trình, chúng em đã hoàn thiện thành
công sản phẩm: “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ
nhân tạo” với các tính năng :
+ Nhận diện vật thể theo thời gian thực.
+ Nhận diện được các đồ vật , con vật , phương tiện xung quanh chúng ta.
+ Chuyển đổi kết quả nhận diện được thành giọng nói phát ra loa ngoài giúp
người khiếm thị xác định được những đồ vật có trước camera.
+ Từ việc nhận biết được vị trí các đồ vật , người khiếm thị có thể xác định
được hướng di chuyển.
+ Sản phẩm có tính năng cảnh báo sớm những vật cản cố định nhờ cảm biến
khoảng cách hồng ngoại, khoảng cách càng gần vật cản, còi sẽ cảnh bảo càng nhanh.
2. Tồn tại và hướng khắc phục
Bảng 6. Tồn tại và hướng khắc phục của hệ thống
STT Tồn tại Hướng khắc phục
1 Thời gian khởi động chậm Phát triển dự án trên thư viện Tensorflow
Lite để cải thiện tốc độ.
2 Phần cứng còn cồng kềnh Xây dựng dự án thành một phần mềm, ứng
dụng phần cứng của các điện thoại thông
minh hiện nay để chạy phần mềm
3 Đôi lúc nhận diện sai các vật Đào tạo thêm cơ sở dữ liệu cho máy học,
thể có cùng hình dạng, như : giúp tăng độ chính xác cho dự án.
TV với màn hình máy tính, lọ
hoa với cốc uống nước….
3. Hướng phát triển
Xây dựng lại dự án trên thư viện Tensorflow Lite: (Mặc dù ở các phần cứng
nhỏ như Raspberry Pi4, module Tensorflow không được sử dụng phổ biến , thay vào
đó người ta sử dụng Tensorflow Lite. Tuy nhiên , Tensorflow Lite ngoài tốc độ xử lý
nhanh hơn thì nó gặp nhiều trục trặc khi chạy liên tục trong dự án này, vì vậy , chúng
em đã sử dụng module Tensorflow 2.) Tuy nhiên nếu có điều kiện thời gian, dự án này
vẫn có thể xây dựng lại trên Tensorflow Lite, giúp dự án khởi động nhanh hơn 80%,
độ chính xác không đổi.
Xây dựng dự án thành một phần mềm chạy trên phần cứng của các thiết bị di
động.
Đào tạo thêm cơ sở dữ liệu cho hệ thống.
PHỤ LỤC
1. Giá thành thiết bị:
Thiết bị Số lượng x đơn giá Thành tiền
Máy tính nhúng Raspberry 01 x 2.500.000 2.500.000
Pi4
Camera USB Logitech 01 x 450.000 450.000
C270
 15

Mạch nguồn 5V 01 x 80.000 80.000

Pin sạc 3.7V 10000mAH 01 x 150.000 150.000
Arduino Promini 01 x 120.000 120.000
Cảm biến khoảng cách 01 x 135.000 135.000
Sharp
Loa ngoài 01 x 40.000 40.000
Mạch khuyếch đại loa 01 x 20.000 20.000
In 3D hộp đựng 01 x 200.000 200.000
Tổng 3.695.000

2. Đánh giá thời gian sử dụng pin của sản phẩm

Sản phẩm sử dụng pin 3.7V 10.000mAh cho công suất đạt 37Wh. Mạch nguồn
được trạng bị là 5V 3A đáp ứng mọi hoạt động của sản phẩm với hiệu suất chuyển đổi
lên đến 95%. Qua thử nghiệm thực tế, dòng tải của sản phẩm khi hoạt động hết công
suất là 2.5A. Từ đó , ta có công thức như sau:
+ Công suất tiêu thụ của sản phẩm: Ptt = 2.5A x 5V = 12.5W/h
+ Công suất của PIN là : Pb = 10A x 3.7V = 37W/h
+ Thời gian sử dụng sản phẩm: Tsd = Pb : Ptt = 37 : 12.5 = 2.96 (giờ)
3. Hướng dẫn sử dụng sản phẩm:
Các bước để sử dụng sản phẩm:
Bước 1: Bật nguồn sản phẩm bằng cách nhấn nút nguồn 1 lần.
Bước 2: Chờ thiết bị khởi động, khi khởi động xong, thiết bị sẽ thông báo qua loa
ngoài.
Bước 3: Chuẩn bị các đồ vật ở điều kiện vừa đủ sáng, không quá tối , thử đưa camera
đến trước sản phẩm.
Bước 4: Tắt nguồn thiết bị sau khi sử dụng xong bằng cách nhấn 2 lần nút nguồn.
Bước 5: Sạc pin khi không sử dụng với nguồn điện 5V , cáp sạc USB TypeC.
 16

TÀI LIỆU THAM KHẢO

[1]. Trung tâm truyền thông, giáo dục sức khoẻ trung ương (2019):
http://t5g.org.vn/viet-nam-co-khoang-2-trieu-nguoi-mu-va-thi-luc-kem
[2]. Model SSD (2023):
https://phamdinhkhanh.github.io/2019/10/05/SSDModelObjectDetection.html.
[3]. VIBLO (2023). Tìm hiểu về ModelSSD: https://viblo.asia/p/tim-hieu-ve-ssd-
multibox-real-time-object-detection-3P0lPEPG5ox.
[4]. MIAI (2023) . Cộng đồng MiAI: http://miai.vn.
[5]. Đại học Công nghệ (2021): Sản phẩm trợ giúp người khiếm thị:
http://tuyensinh.vnu.edu.vn/index.php/Home/viewnewsVNU/175 .
[6]. Arduino VN (2021). Lập trình Arduino với Arduino IDE. http://arduino.vn/bai-
viet/68-cai-dat-driver-va-arduino-ide
[7]. VIBLO (2021). Giải mã về lập trình web: Front-End, Back-End và Full Stack. tại
https://viblo.asia/p/giai-ma-ve-lap-trinh-web-front-end-back-end-va-full-stack-
07LKXmPJZV4