BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP. HỒ CHÍ MINH

ĐỒ ÁN TỐT NGHIỆP

Nghiên cứu ứng dụng của học máy để tái tạo khuôn mặt từ
dữ liệu 3D có vết thương

Ngành: Công Nghệ Thông Tin

Chuyên ngành: Công Nghệ Phần Mềm

Giảng viên hướng dẫn : ThS. Dương Thành Phết

Sinh viên thực hiện : Đoàn Nguyễn Chí Thiện
MSSV: 1911061452 Lớp: 19DTHE4

TP. Hồ Chí Minh, 2023

1. Lý do chọn đề tài:
Hiện nay, những người thương tích do tai nạn giao thông, tai nạn nghề nghiệp,
khuyết tật bẩm sinh, bệnh tật đã làm cho họ bị khuyết đi một phần của cơ thể. Trong
đó, thương tật khi bị thương trong khu vực đầu và mặt chiếm tỷ lệ khá nhiều. Điều
này có thể dẫn tới những dị dạng, gây ra hoại tử trên khuôn mặt. Do đó, việc xây
dựng mô hình tái tạo trên khuôn mặt là một trong những nhu cầu thiết yếu đối với
bệnh nhân, giúp tăng tính thẩm mỹ, dễ dàng vệ sinh và che chắn các vết thương
dưới những tác động của ngoại cảnh. Mục tiêu nghiên cứu này là xây dựng mô hình
học máy để tái tạo khuôn mặt và loại bỏ các vết thương từ dữ liệu 3D khuôn mặt có
vết thương và in 3D màu. Như chúng ta đã biết, topology nghiên cứu các đối tượng
và tính chất hình học của chúng. Trong mô hình 3D, nó đề cập đến tập hợp các đỉnh,
cạnh, mặt và mối quan hệ của chúng. Do đó, mô hình 3D phải có cấu trúc liên kết
tốt thì các công cụ chỉnh sửa, biến đổi theo tỷ lệ, vẽ kết cấu và các chức năng khác
sẽ cho kết quả tốt. Bởi vì dữ liệu phần đầu được quét 3D nên không có texture (chỉ
hiển thị màu xám) nên tác giả muốn sử dụng AI để phân vùng cho các đối tượng
trên khuôn mặt 3D như vùng mắt, môi, mũi, gò má, trán nhằm giúp rút trích các đặc
trưng hình học của chúng, thể hiện được các đặc điểm về face topology. Để thực
hiện nhiệm vụ này, tác giả tiếp cận với bài toán segmentation trên khuôn mặt 3D để
xác định từng phân vùng đặc điểm trên khuôn mặt và tô màu cho các vùng đóXuất
phát từ thực tế trên, tác giả muốn tiếp cận bài toán học máy trong lĩnh vực y tế với
đề tài “Nghiên cứu ứng dụng của học máy để tái tạo khuôn mặt từ dữ liệu 3D có vết
thương ”
2. Mục tiêu
o Tìm hiểu tổng quan về bài toán tái tạo khuôn mặt sử dụng công nghệ in 3D.
o Nghiên cứu mô hình học máy để tái tạo khuôn mặt từ dữ liệu 3D có vết
thương.
o Nghiên cứu, ứng dụng bài toán segmentation trên dữ liệu 3D để phân vùng
các đặc điểm của khuôn mặt 3D (face topology) và tô màu cho các vùng
tương ứng như mắt, mũi, môi, vùng gò má, trán.
o Xem xét một số hướng cải thiện, phát triển trên những mô hình đã nghiên
cứu
o Triển khai mô hình trên nền tảng web.
3. Tổng quan, cơ sở lý luận:
o In 3D:
Công nghệ in 3D xuất hiện vào cuối những năm 1980 đã trở thành một
trong những xu hướng công nghệ quan trọng và chủ chốt của cuộc cách mạng
công nghiệp lần thứ tư. Hiện nay, các ứng dụng của công nghệ in 3D đang ngày
càng phát triển rộng rãi, nó thâm nhập sâu vào các lĩnh vực như y tế, giáo dục,
xây dựng, kiến trúc, nghệ thuật, thời trang,.... Cụ thể, trong ngành công nghiệp
điện tử và công nghiệp sản xuất, công nghệ in 3D đã được sử dụng để chế tạo
các bộ phận phức tạp từ các chất liệu khác nhau và đem lại rất nhiều lợi ích.
Điển hình như khả năng sản xuất các mô hình có hình dạng phức tạp, tạo nhanh
sản phẩm thử nghiệm theo yêu cầu, mở ra tiềm năng về lợi thế chi phí sản xuất,
cải tiến quy trình và sản phẩm cho các nhà cung cấp. Hơn nữa, khác với quy
trình truyền thống, các mô hình khi được chế tạo theo quy trình in 3D có thể bỏ
qua thao tác làm đồ gá, khuôn. Điều này giúp công đoạn chế tạo, sản xuất có thể
giảm thiểu tối đa chi phí vận hành, công sức khi sản xuất mẫu với số lượng ít.
Trong y tế, công nghệ in 3D đã và đang được ứng dụng để sản xuất các mô hình
giải phẫu bộ phận cơ thể con người (xương, răng, tai giả, ...). Công nghệ này
cũng đã được sử dụng để hỗ trợ các thử nghiệm về phương pháp và công nghệ y
tế mới, tăng cường nghiên cứu y khoa, giảng dạy và đào tạo đội ngũ y, bác sĩ.
Đặc biệt, với in 3D các mô sinh học, người ta còn kỳ vọng có thể sản xuất ra các
bộ phận cơ thể người phục vụ cho việc thay thế và cấy ghép các cơ quan bị
hỏng. Trong giáo dục, in 3D có những ứng dụng rất thiết thực, đặc biệt là liên
quan đến các môn học khoa học, công nghệ, kỹ thuật và kỹ năng toán học. Sinh
viên có thể thiết kế, sản xuất các sản phẩm trong lớp học và có cơ hội thử
nghiệm các ý tưởng, vừa học vừa làm với máy in 3D. Từ những lợi ích được nêu
trên, công nghệ in 3D có thể được xem là tương lai của ngành chế tạo. Tuy
nhiên, phương pháp này có thể vẫn còn quá đắt đỏ, tốn thời gian và khó giám
sát. Chính vì điều này, các nhà nghiên cứu đã kết hợp AI với công nghệ in 3D để
tạo ra một quy trình sản xuất hoàn hảo và kì vọng sẽ khai thác được nhiều kết
quả nghiên cứu ứng dụng vào trong đời sống.
o deep learning:
Deep learning được bắt nguồn từ thuật toán Neural network vốn xuất phát
chỉ là một ngành nhỏ của machine learning. Deep Learning là một chi của ngành
máy học dựa trên một tập hợp các thuật toán để cố gắng mô hình dữ liệu trừu
tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp,
hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến.Deep Learning đã giúp
máy tính thực thi những việc tưởng chừng như không thể vào 15 năm trước:
phân loại cả ngàn vật thể khác nhau trong các bức ảnh, tự tạo chú thích cho ảnh,
bắt chước giọng nói và chữ viết của con người, giao tiếp với con người, hay
thậm chí cả sáng tác văn, phim, ảnh, âm nhạc.Deep Learning là một phương
pháp của Học máy. Nó cho phép chúng ta huấn luyện một AI có thể dự đoán
được các đầu ra dựa vào một tập các đầu vào. Cả hai phương pháp có giám sát
và không giám sát đều có thể sử dụng để huấn luyện.Machine Learning là quá
trình dạy máy tính thực hiện một nhiệm vụ, thay vì lập trình nó làm thế nào để
thực hiện nhiệm vụ đó từng bước một.Khi kết thúc đào tạo, một hệ thống
Machine Learning sẽ có thể đưa ra dự đoán chính xác khi được cung cấp dữ liệu.
Các thuật toán Deep Learning có thể lấy dữ liệu lộn xộn và không có nhãn rộng
 rãi – chẳng hạn như video, hình ảnh, bản ghi âm thanh và văn bản – và áp đặt đủ
thứ tự cho dữ liệu đó để đưa ra dự đoán hữu ích, xây dựng hệ thống phân cấp các
tính năng tạo nên con chó hoặc con mèo một hình ảnh hoặc âm thanh tạo thành
một từ trong lời nói Deep Learning ngày càng được nhiều người biết đến và nó
những bước đột phá vô cùng to lớn. Những đột phá to lớn này là việc thiết kế ra
những trợ lý ảo bằng giọng nói, các hệ thống xe tự lái hay sử dụng vào thiết kế
đồ họa, phân tích tình hình giao thông của thành phố, cho đến phát triển các
nguyên liệu mới giúp robot thấu hiểu thế giới xung quanh hơn. Xu hướng về
Robot và Deep Learning đang được nhiều công ty công nghệ lớn chú trọng đầu
tư và phát triển. Việc Deep Learning phát triển tạo nên sự chủ động trong mọi
việc, con người dần có thể điều khiển cuộc sống của mình. Cùng điểm qua các
hình thức mà việc học sâu mang lại.
Ứng dụng xe tự động
Trợ lý ảo Siri/Alexa,...
Mô phỏng và nhận diện hình ảnh: Một trong những ứng dụng của chúng
ở mảng này mà ta bắt gặp nhiều nhất là Facebook, nó có thể tự động gắn thẻ
chính bạn và bạn bè của bạn.
o Flask framework:
Flask là một framework ứng dụng web được viết bằng Python. Nó được phát
triển bởi Armin Ronacher, người dẫn đầu một nhóm những người đam mê
Python quốc tế có tên là Poocco. Flask dựa trên bộ công cụ Werkzeg WSGI
và template engine Jinja2. Cả hai đều là các dự án của Pocco
4. Nội dung và phương pháp nguyên cứu
- Đối tượng nguyên cứu:
o Các khuôn mặt bị biến dạng, mất bộ phận do tai nạn hoặc bẩm sinh
o Mô hình deep learning cụ thể là fully convolutional mesh autoencoder
o Ngôn ngữ python
o Thư viện Flask.
- Phạm vi nghiên cứu:
 Thời gian thực hiện đồ án Từ ngày 22/02/2023 đến ngày 24/05/2023. Đồ án
sẽ tập trung vào nghiên cứu sử dụng kĩ thuật deep learning cụ thể là fully
convolutional mesh autoencoder để tái tạo khuôn mặt bị thương, bị dị tật, bị biến
dạng thành khuôn mặt bình thường. Sau đó sẽ triển khai mô hình lên ứng dụng web
bằng ngôn ngữ Python và thư viện Flask để người dùng có thể sử dụng được.
- Nội Dung Nghiên cứu:
Nghiên cứu phục hồi cho khuôn mặt bị biến dạng, tái tạo lại những bộ phận
bị mất như mũi, miệng, tai và những bộ phận khác cho khuôn mặt bị bị thiếu bằng
kĩ thuật deep learning.
Tìm hiểu các phương pháp, công nghệ dùng để triển khai mô hình học sâu
vào web.
- Phương pháp:
o Nghiên cứu tổng quan lý thuyết về bài toán tái tạo khuôn mặt dựa vào các
nguồn
o tài liệu tin cậy.
o Thu thập và xây dựng bộ dữ liệu khuôn mặt 3D có vết thương.
o Nghiên cứu, xây dựng, đánh giá mô hình học máy để tái tạo khuôn mặt từ dữ
liệu
o 3D có vết thương.
o Ứng dụng bài toán segmentation trên dữ liệu 3D để phân vùng đối tượng.
o Triển khai thực nghiệm các mô hình được chọn vào bộ dữ liệu quan tâm.
o Tìm hiểu một số lý thuyết hoặc phương pháp tương tự thường được áp dụng
cho lớp bài toán được quan tâm để xem xét các hướng cải thiện và phát triển
thêm.
o Nghiên cứu sử dụng ngôn ngữ python và thư viện Flask để triển khai mô
hình đã được đào tạo trên nền tảng web
5. Dự kiến kết quả:
o Kết quả đồ án: mô hình deep learning có thể thực hiện tái tạo lại khuôn mặt
hoàn chỉnh từ những khuôn mặt dị dạng, thiếu bộ phận
 o Triển khai mô hình được trên nền tảng web cho phép những người khác có
thể sử dụng
o Hoàn thành báo cáo đồ án và báo cáo đồ án trước toàn thể hội đồng chấm thi
6. Tài liệu tham khảo
https://zhouyisjtu.github.io/project_vcmeshcnn/vcmeshcnn.html
https://blogin3d.com/may-in-3d-la-gi-cach-in-3d-nhu-the-nao.html
https://viblo.asia/p/deep-learning-cong-nghe-tri-tue-nhan-tao
 7. Tiến độ thực hiện

Ngày/Tháng/Năm
Dự kiến nội dung thực hiện

Tìm hiểu đề tài, nghiên cứu các tài liệu liên quan 22/2/2023-28/2/2022

Tìm kiếm và xử lý dữ liệu 1/3/2023-15/3/2023

Thực hiện thiết kế mô hình, huấn luyện và đánh giá

16/3/2023-30/4/2023

Triển khai mô hình trên nền tảng web 1/5/2023 – 24/5/2023

Tp.HCM, ngày ... tháng … năm 20..........

SINH VIÊN THỰC HIỆN
(Ký và ghi rõ họ tên)

XÁC NHẬN CỦA BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN

(Ký và ghi rõ họ tên)