Kỷ yếu Hội nghị Quốc gia lần thứ … về Nghiên cứu cơ bản và ứng dụng Công Nghệ thông

tin (FAIR2020); Nha Trang, ngày 08-09/10/2020

HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC
Trần Thanh Trâm1, Trần Thanh Phước2, Nguyễn Thị Anh Thư3, Nguyễn Thế Hữu4, Văn Thế Thành5
1,3,5
Phòng Sau đại học, Đại học Công Nghiệp Thực Phẩm TPHCM
4
Khoa Công nghệ Thông tin, Đại học Công Nghiệp Thực Phẩm TPHCM
2
Phòng Lab NLP & KD, Khoa Công nghệ Thông tin, Đại học Tôn Đức Thắng
tramtt@hufi.edu.vn, tranthanhphuoc@tdtu.edu.vn, thunta@hufi.edu.vn, huunt@hufi.edu.vn, thanhvt@hufi.edu.vn

TÓM TẮT—Cùng với đào tạo đại học thì đào tạo Sau đại học là một trong hai nhiệm vụ đào tạo chính của một trường đại
học định hướng nghiên cứu. Các trường đại học luôn mong muốn thông tin về Sau đại học của trường mình luôn đến được kịp thời
và đúng đắn cho học viên tiềm năng. Về phía người học cũng luôn mong muốn tiếp cận được nhanh nhất, hiệu quả nhất thông tin về
chương trình học mà mình quan tâm. Vì vậy, chúng tôi đã xây dựng hệ thống trả lời tự động về tuyển sinh Sau đại học giúp cho việc
tương tác hiệu quả hơn giữa trường đại học và học viên tiềm năng. Chúng tôi sử dụng hướng tiếp cận học sâu bao gồm hai mô hình
chính là: mô hình phân loại ý định người dùng (Intent Classification) và mô hình máy đọc hiểu văn bản (Machine Reading
Comprehension) để xây dựng hệ thống trả lời tự động. Chúng tôi sử dụng hai bộ dữ liệu cho thử nghiệm, bao gồm: bộ dữ liệu Stanford
Question Answering Dataset (SQuAD) dành cho huấn luyện học chuyển đổi và bộ dữ liệu nghiệp vụ Sau đại học của phòng Đào tạo
Sau đại học trường Đại học Công Nghiệp Thực Phẩm TPHCM cho huấn luyện và kiểm tra hệ thống trả lời tự động. Bước đầu cho
thấy hệ thống trả lời tự động cho kết quả rất khả quan và có thể áp dụng mở rộng cho nhiều nghiệp vụ ở các phòng ban khác.
Từ khóa— phân loại văn bản, trả lời tự động, phân loại ý định, máy đọc hiểu văn bản.
I. GIỚI THIỆU
Trong thời đại thông tin hiện nay, nhu cầu tra cứu thông tin là vô cùng cần thiết. Nhằm nâng cao khả năng cạnh
tranh, các tổ chức/doanh nghiệp mong muốn thông tin được cung cấp đến người dùng nhanh chóng và chính xác. Thông
tin đến người dùng càng nhanh, càng chính xác thì tổ chức/doanh nghiệp càng có lợi thế cạnh tranh. Trong lĩnh vực giáo
dục, đặc biệt là đào tạo bậc đại học và Sau đại học, hai bậc đào tạo này đang dần trở thành một dịch vụ, trong đó dịch vụ
hướng tới khách hàng là sinh viên/học viên và trường đại học chính là nơi cung cấp dịch vụ. Trường nào cung cấp dịch
vụ giáo dục tốt hơn thì học viên sẽ học nhiều hơn và được xã hội đánh giá cao hơn.
Gần đây, khi nhu cầu học tập của con người càng có xu hướng đi lên thì việc học Sau đại học chính là mong muốn
của nhiều sinh viên khi vừa mới tốt nghiệp Đại học, của nhiều người đang đi làm và đã có bằng đại học muốn có thêm
nhiều cơ hội tiến xa hơn trong công việc, có cơ hội phát triển kiến thức sâu rộng cho bản thân,... Qua đó có thể thấy rằng
việc tư vấn tuyển sinh Sau đại học và chọn ngành học phù hợp là nhu cầu mà xã hội đang rất quan tâm. Mặc dù hằng
năm, phần lớn các Trường (đơn vị) đều tổ chức các đợt tư vấn tuyển sinh Sau đại học cho thí sinh là các bạn sinh viên
năm cuối, cử nhân, học viên về chương trình đào tạo Sau đại học, tuy nhiên việc này còn phụ thuộc vào nhiều yếu tố như
địa điểm, thời gian, nhân sự,… do đó chỉ có thể hỗ trợ được một bộ phận thí sinh ở thành phố hoặc những thí sinh có
điều kiện tham dự, và đa phần các thí sinh ở những vùng sâu, vùng xa lại không có điều kiện tham gia. Bên cạnh đó, một
số Trường cũng đã có thiết lập các trang web để nhận và trả lời các câu hỏi của thí sinh, nhưng các trang này đa phần là
nhận câu hỏi từ thí sinh và trả lời trong một khoảng thời gian nhất định có thể là vài giờ nhưng cũng có thể là vài ngày,
thậm chí là vài tuần… dẫn tới tình trạng thí sinh phải chờ đợi, gây chán nản và có thể sẽ tìm tới một sự tư vấn từ nơi
khác. Từ những thực trạng trên chúng tôi nhận thấy rằng việc cần có một hệ thống trả lời tự động về tư vấn tuyển sinh
Sau đại học để hỗ trợ các thí sinh hoặc những người có nhu cầu học Sau đại học là việc rất cần thiết.
Với mong muốn cung cấp thông tin tuyển sinh Sau đại học một cách nhanh chóng và chính xác, có thể hoạt động
một cách liên tục và tự động 24/7, đáp ứng hầu hết các thắc mắc cơ bản của thí sinh, chúng tôi đề xuất xây dựng hệ thống
trả lời tự động về tư vấn tuyển sinh Sau đại học tại trường Đại học Công nghiệp Thực phẩm TP HCM (ĐH CNTP
TPHCM), hệ thống này sẽ giúp cho học viên có thể tương tác/tiếp cận nhanh chóng với các thông tin Sau đại học của
Trường. Thay vì học viên phải trực tiếp đến trường, gửi email hoặc gọi điện cho nhân viên tư vấn tuyển sinh trong giờ
hành chánh thì giờ đây, thông qua hệ thống phần mềm này, học viên có thể hỏi bất cứ lúc nào và bất cứ nơi đâu, hệ thống
sẽ tư vấn trả lời hoặc gợi ý trả lời chính xác, nhanh chóng, từ đó đem lại sự hài lòng cho học viên. Qua đó giúp nâng cao
năng lực tuyển sinh Sau đại học của Trường, góp phần nâng cao vị trí đào tạo Sau đại học của trường ĐH CNTP TPHCM.
Hệ thống trả lời tự động hiện đã được ứng dụng trong nhiều lĩnh vực, đặc biệt là lĩnh vực tiếp thị (marketing), bán
hàng tự động, chăm sóc khách hàng, … Hiện cũng có khá nhiều công cụ tạo Chatbot [1] phổ biến hiện nay như: ChatFuel,
Messnow, ManyChat, Chatty People, Harafunnel, Shoplus, Hana, … Các công cụ này giúp người dùng dễ dàng khởi tạo
một Chatbot miễn phí trên ứng dụng Facebook Messenger cũng như một số mạng xã hội khác.
Ở khía cạnh hẹp hơn là xét trong lĩnh vực giáo dục. Hiện tại chưa có bất kỳ hệ thống phần mềm trả lời tự động về
tư vấn tuyển sinh Sau đại học tại các Trường Đại học, và hiển nhiên là chưa có hệ thống này tại Trường ĐH CNTP
TPHCM. Trong phần này, tôi xin mô tả vắn tắt công trình duy nhất liên quan đến hệ thống trả lời tự động cho lĩnh vực
giáo dục tại Việt Nam. Hệ thống được xem là gần với hệ thống của chúng tôi nhất là “Hệ thống hỗ trợ tư vấn tuyển sinh
đại học” của Nguyễn Thái Nghe và đồng sự [2]. Hệ thống cho phép người dùng có thể tra cứu, hỏi đáp thông tin tuyển
sinh đại học thông qua tin nhắn điện thoại. Nhóm tác giả đã xử lý một số bài toán trong lĩnh vực Xử lý ngôn ngữ tự nhiên
(NLP: Natural language processing) như: phân đoạn từ, loại bỏ stop word, tìm keyword, sử dụng SVM để phân lớp câu
2 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC

hỏi, sử dụng TFIDF và độ đo cosine cho bài toán tìm độ tương đồng văn bản. Hệ thống tư vấn này có khả năng tiếp nhận
câu hỏi của thí sinh từ trang Web/Email hoặc qua tin nhắn SMS và phản hồi tức thì lại cho thí sinh thông qua hệ thống
chuyên gia.
Như phần trên tôi đã đề cập, tất cả các công trình hiện tại đều chưa đề cập đến nghiệp vụ tuyển sinh Sau đại học,
dù đây được xem là một nhiệm vụ quan trọng của một trường đại học. Các kết quả bước đầu tương đối khả quan, tuy
nhiên, các hệ thống trên vẫn còn một số điểm cần cải tiến. Ví dụ như công trình [2], hệ thống chỉ sử dụng thuật toán
SVM để thực hiện phân lớp câu hỏi. Dữ liệu được sử dụng để huấn luyện trong công trình này cũng là một hạn chế dù
các tác giả có đề cập đến vấn đề “xây dựng tập dữ liệu tốt hơn cho sau này”. Công trình này cũng chưa sử dụng hướng
tiếp cận học sâu đã và đang được áp dụng rộng rãi hiện nay.
Trong bài báo này, chúng tôi bước đầu nghiên cứu và xây dựng hệ thống trả lời tự động cho nghiệp vụ tuyển sinh
Sau đại học theo hướng học sâu. Với hệ thống này, học viên hoàn toàn tiếp cận được thông tin cơ bản của nghiệp vụ
tuyển sinh Sau đại học mà không cần phải tốn công đến trường tìm hiểu, không cần phải trực tiếp hỏi hoặc gọi điện cho
nhân viên phòng đào tạo Sau đại học trong giờ hành chính. Cấu trúc của bài báo bao gồm các phần như sau: Phần 2 trình
bày một số kiến thức nền tảng có liên quan đến hệ thống trả lời tự động. Phương pháp xây dựng hệ thống trả lời tự động
được trình bày ở Phần 3. Phần 4 và Phần 5 lần lượt trình bày kết quả thử nghiệm và Kết luận của bài báo.
II. KIẾN THỨC NỀN TẲNG
Trong phần này, chúng tôi sẽ trình bày một số kiến thức nền tảng có liên quan đến bài toán trả lời tự động, bao
gồm: phân loại ý định người dùng, trả lời tự động, máy đọc hiểu văn bản, học chuyển đổi, mô hình BERT và XLM.
A. Phân loại ý định người dùng
Phân loại ý định (IC: intent classification) là bài toán tự động phân loại ý định hoặc mục đích của người dùng
dưới dạng văn bản, thuộc bài toán phân loại văn bản (text classification), gần giống với các bài toán khác như phát hiện
thư rác (spam detection), phân tích cảm xúc (sentiment analysis), phân loại báo (news categorization),... Các hướng tiếp
cận đã giải quyết hiệu quả cho bài toán phân loại văn bản điều có thể áp dụng cho bài toán phân loại ý định từ các thuật
toán cổ điển (Naive Bayes, SVM, mô hình markov ẩn - HMM) cho đến các mô hình mạng nơ ron tích chập, mạng nơ
ron hồi quy.
B. Trả lời tự động
Trả lời tự động (QA: Question Answering) là một vấn đề được nghiên cứu khá nhiều trong lĩnh vực NLP. Khó
khăn lớn nhất trong việc xây dựng và phát triển hệ thống này là chuyển đổi các kiến thức từ ngôn ngữ tự nhiên sang một
dạng thông tin mà máy có thể hiểu. Hiện nay, QA cũng đã được sử dụng để phát triển các hệ thống hội thoại [3] và
chatbot [4] để nâng cao tương tác với con người.
C. Máy đọc hiểu văn bản
Máy đọc hiểu văn bản (MRC: machine reading comprehension) được xem là một tác vụ mở rộng của QA. Mục
đích của MRC là dạy cho máy có khả năng đọc hiểu một văn bản, học một ngữ cảnh cho trước để trả lời các câu hỏi liên
quan. Với sự phát triển của học sâu, các mô hình nơ ron đã đem lại kết quả ấn tượng và đầy hướng hẹn cho MRC. Hiện
nay, MRC được ứng dụng rộng rãi trong các hệ thống khác như tác nhân đàm thoại [5][6], dịch vụ hỗ trợ khách hàng [7],
trả lời tự động, … Tác giả Clark [8] cho rằng MRC là một trong những tiêu chí để đánh giá sự phát triển của AI thông
qua việc máy có thể hiểu các khái niệm trừu tượng trong văn bản để đưa ra các quyết định.
D. Học chuyển đổi
Học chuyển đổi (transfer learning) [9] nhằm mục đích dùng kiến thức được học từ một nhiệm vụ nào đó sang một
nhiệm vụ có liên quan khác, điều này giúp giảm thiểu tập dữ liệu và thời gian huấn luyện cũng như cải thiện hiệu suất
của công việc [10]. Trong lĩnh vực trả lời tự động, học chuyển đổi sẽ dùng kiến thức từ lĩnh vực có lượng dữ liệu lớn,
phong phú hơn (gọi là miền mở (Open domain)) sang một lĩnh vực nào đó có lượng dữ liệu nhỏ (gọi là miền đóng (close
domain)).
Kỹ thuật transfer learning được ứng dụng rộng rãi và mang lại thành công to lớn trong nhiều lĩnh vực. Trong NLP,
kỹ thuật này cũng áp dụng vào các tác vụ như nhận dạng thực thể có tên [11], phân tích cú pháp [12], và đặc biệt là trong
lĩnh vực trả lời tự động trên kho dữ liệu nghèo tài nguyên như tiếng Việt nói chung và cho nghiệp vụ tuyển sinh Sau đại
học nói riêng.
E. Mô hình BERT
Năm 2018, tác giả Devlin [13] và các cộng sự giới thiệu một kỹ thuật mới có tên là Bidirectional Encoder
Representations from Transformers (BERT) dựa trên kiến trúc Transformer [14] để huấn luyện mô hình ngôn ngữ. Kỹ
thuật này đã mang lại kết quả đột phá cho hàng loạt bài toán NLP, trong đó có bài toán MRC. Mô hình BERT được huấn
luyện kết hợp theo hai chiến lược gồm Masked Language Model và Next Sentence Prediction. Mô hình BERT là một
trong mô hình được chúng tôi sử dụng trong phần thử nghiệm của Hệ thống trả lời tự động tư vấn tuyển sinh Sau đại
học.
Trần Thanh Trâm, Trần Thanh Phước, Nguyễn Thị Anh Thư, Nguyễn Thế Hữu, Văn Thế Thành 3

F. Mô hình XLM
Vào tháng 11 năm 2019, tác giả Conneau và các cộng sự thuộc nhóm nghiên cứu AI của Facebook đã công bố
mô hình tên là XLM-RoBERTa (XLM-R) [15], mô hình này chỉ tập trung huấn luyện dựa trên chiến lược Masked
Language Model và loại bỏ đi chiến lược Next Sentence Prediction.
Nhóm tác giả công bố hai model gồm XLM-Rbase với 250 triệu tham số và XLM-Rlarge với 560 triệu tham số
được huấn luyện trên 2.5 terabyte dữ liệu với 100 ngôn ngữ (trong đó có tiếng Việt) từ Common Crawl. Mô hình XLM-
R đã đạt kết quả đột quá trên nhiều kho dữ liệu đa ngôn ngữ chuẩn (benmark) như MLQA [16].
Nhóm tác giả còn phát hiện rằng mô hình XLM-R không chỉ hoạt động hiệu quả trên các ngôn ngữ giàu tài nguyên
như tiếng Anh mà còn hoạt động tốt trên các ngôn ngữ nghèo tài nguyên như tiếng Việt. Cùng với mô hình BERT, chúng
tôi cũng áp dụng hai mô hình này cho bài toán phân loại ý định và bài toán MRC. Thực nghiệm cho thấy hai mô này cho
kết quả vượt trội hơn các mô hình khác, kể cả mô hình BERT.
III. XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TUYỂN SINH SAU ĐẠI HỌC
Trong phần này, chúng tôi trình bày hai nội dung: (1) mô hình hoạt động tổng quát của hệ thống trả lời tự động,
(2) kiến trúc ứng dụng của hệ thống trả lời tự động tuyển sinh Sau đại học.
A. Mô hình hoạt động của hệ thống QA

Hình 1. Mô hình hoạt động của hệ thống

Hình 1 thể hiện quá trình hoạt động của một hệ thống QA, bao gồm các bước sau:
• Cho một câu hỏi tiếng Việt Q vào hệ thống QA
• Đầu tiên, câu hỏi Q sẽ được mô hình IC phân loại ý định và trả về nội dung C.
• Tiếp theo, câu hỏi Q và nội dung C sẽ được mô hình MRC để xử lý và tìm ra câu trả lời A phù hợp nhất.
Trong thực nghiệm, chúng tôi sử dụng ba mô hình BERT, XLM-Rbase và XLM-Rlarge cho cả hai bài toán IC và
bài toán MRC. Sau đó, chúng tôi sẽ chọn mô hình cho kết quả tốt nhất để áp dụng cho Hệ thống trả lời tự động tuyển
sinh Sau đại học.
B. Kiến trúc ứng dụng của hệ thống trả lời tự động tuyển sinh Sau đại học

Hình 2. Kiến trúc ứng dụng

Hình 2 thể hiện kiến trúc của ứng dụng trả lời tự động cho nghiệp vụ Tư vấn tuyển sinh Sau đại học Trường ĐH
CNTP TPHCM. Hệ thống được xây dựng trên môi trường web với hai thành phần chính Frontend và Backend. Quy trình
thực hiện theo thứ tự như sau:
• Người dùng sẽ nhập câu hỏi hoặc câu truy vấn vào ứng dụng thông qua giao diện web (Frontend).
4 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC

• Backend sẽ đưa dữ liệu nhận được vào hệ thống trả lời câu hỏi tự động thông qua giao diện lập trình ứng dụng
(API) kèm theo những tham số cần thiết.
• Tại đây, API sẽ tương tác với các dịch vụ (Service) bằng cách đưa câu truy vấn vào mô hình phân loại ý định
để xác định đúng yêu cầu người dùng và trả về nội dung văn bản tương ứng từ cơ sở dữ liệu.
• Tiếp đó API tương tác với dịch vụ khác, nhận đầu vào là một câu truy vấn và một nội dung văn bản, đưa vào
mô hình máy đọc hiểu văn bản và phản hồi lại câu trả lời phù hợp nhất thuộc nội dung đó.
• Trường hợp hệ thống trả lời câu hỏi với trọng số (score) thấp hơn ngưỡng yêu cầu thì hệ thống sẽ truy vấn vào
cơ sở dữ liệu để đưa ra những câu hỏi tương tự với câu hỏi đầu vào.
• Backend sẽ nhận kết quả và phản hồi lại cho giao diện web (Frontend).
IV. THỬ NGHIỆM
A. Dữ liệu thử nghiệm
1. Kho dữ liệu SQuAD:
Kho dữ liệu Stanford Question Answering Dataset (SQuAD) phiên bản 1.1 [17] được công bố vào năm 2016 và
là một trong những dữ liệu được nghiên cứu rộng rãi trong các bài toán QA và MRC tiếng Anh. Để tạo được bộ dữ liệu
này, tác giả đã chọn 536 bài viết từ Wikipedia tiếng Anh. Sau khi loại bỏ các thành phần không cần thiết như dữ liệu
bảng, ảnh hoặc các đoạn văn bản dưới 500 ký tự, còn lại 23.215 đoạn văn. Tác giả sử dụng phương pháp nguồn lực đám
đông (crowdsourcing) trên Amazon Mechanical Turk để tạo tổng cộng 107.785 câu hỏi. Tập dữ liệu này chứa nhiều chủ
đề khác nhau nhưng đây không phải là một bộ dữ liệu QA miền mở, vì tác giả cho rằng mục đích của QA miền mở là trả
lời các câu hỏi từ một nguồn tài liệu lớn, bộ dữ liệu này không giải quyết điều đó mà chỉ cần rút trích câu trả lời để phục
vụ cho bài toán MRC.
Vào tháng 4 năm 2018, bộ dữ liệu SQuAD phiên bản 2.0 được công bố [18], được tăng cường thêm hơn 50,000
câu hỏi không có câu trả lời, để đánh giá các mô hình không chỉ có khả năng trả lời các câu hỏi mà còn xác định được
các câu hỏi không có câu trả lời nằm trong đoạn văn đó. Trong bài báo này, chúng tôi chỉ nghiên cứu, tham khảo và xây
dựng dữ liệu của mình dựa trên bộ dữ liệu SQuAD v1.1. Hình 3 là một ví dụ về cặp cậu hỏi – câu trả lời trong trong một
đoạn văn của kho dữ liệu SQuAD v1.1. Bảng 1 giải thích các thuật ngữ trong file JSON của Hình 3.

Hình 3. Ví dụ các cặp câu hỏi - câu trả lời trong một đoạn văn thuộc SQuAD v1.1 theo định dạng JSON.

Bảng 1. Cấu trúc của tập dữ liệu dạng JSON.

Tên trường Ý nghĩa
data Chứa toàn bộ nội dung của tập dữ liệu.
version Thông tin về phiên bản của tập dữ liệu.
title Chủ đề của tập dữ liệu.
paragraphs Chứa các đoạn văn và bộ câu hỏi, câu trả lời.
context Chứa đoạn văn được trích từ trường content của dữ liệu thô.
qas Chứa bộ câu hỏi và các câu trả lời.
answers Chứa các bộ câu trả lời và vị trí bắt đầu của câu trả lời trong đoạn văn.
answer_start Vị trí bắt đầu của câu trả lời dựa trên đoạn văn.
text Câu trả lời của câu hỏi
question Chứa câu hỏi có liên quan tới một vấn đề được đề cập trong đoạn văn.
id Được trích từ phần dữ liệu thô.
Trần Thanh Trâm, Trần Thanh Phước, Nguyễn Thị Anh Thư, Nguyễn Thế Hữu, Văn Thế Thành 5

2. Kho dữ liệu vi_SquAD 1.1

Hiện tại, vẫn chưa có kho dữ liệu lớn về trả lời tự động cho tiếng Việt. Vì vậy, chúng tôi đã dịch từ Anh sang Việt
kho dữ liệu SQuAD 1.1 thông qua hệ thống Google Translate và đặt tên là vi_SQuAD v1.1. Chúng tôi làm việc này dựa
trên ý tưởng tác giả Lee [19] đã áp dụng hiệu quả cho tiếng Hàn. Sau khi loại bỏ tất cả các đoạn văn bản và câu trả lời
dịch sai hoặc dịch thiếu, kết quả thu được 60,000 cặp câu hỏi - câu trả lời. Kho ngữ liệu này được chia với tỉ lệ 80% làm
tập huấn luyện (train) và 20% tập xác thực (valid). Kho dữ liệu này được sử dụng để huấn luyện mô hình học chuyển đổi
cho hệ thống trả lời tự động của chúng tôi.
Hình 4 là một ví dụ về cặp câu hỏi – câu trả lời trong một đoạn văn của kho dữ liệu vi_SquAD v1.1. Đây là bản
dịch của của đoạn văn trong kho dữ liệu SQuAD v1.1 ở Hình 3.

Hình 4. Ví dụ các cặp câu hỏi - câu trả lời tiếng Việt trong một đoạn văn thuộc vi_SQuAD v1.1 theo định dạng JSON.
3. Kho dữ liệu tư vấn tuyển sinh Sau đại học HUFI-PostGrad
Kho dữ liệu này được xây dựng dựa trên tài liệu “Quy chế tuyển sinh Sau đại học Trường Đại học Công Nghiệp
Thực Phẩm”. Trong quá trình xây dựng tập dữ liệu, vì những câu hỏi hay câu trả lời đều không thể sinh tự động nên
chúng tôi phải làm thủ công toàn bộ quá trình kết hợp với mô hình Crowdsourcing (nguồn lực đám đông) với sự hỗ trợ
nhiệt tình từ thầy cô, người thân, bạn bè, các bạn sinh viên,.. để thu thập câu hỏi và câu trả lời cho dữ liệu này, giúp cho
việc thu thập câu hỏi được đa dạng trong cách diễn đạt và câu trả lời được thu thập rõ ràng, chính xác hơn. Đặc điểm của
kho dữ liệu HUFI-PostGrad như sau:
• Trường context không được quá ngắn hay quá dài. Để đảm bảo mô hình hiểu được ngữ cảnh, trường context sẽ
có độ dài khoảng từ 3 đến 5 câu. Nếu có trường hợp một câu trong context quá dài thì sẽ cắt ra thành context
mới những vẫn đảm bảo ý nghĩa.
• Mỗi một trường context sẽ phải có ít nhất 20 bộ câu hỏi và câu trả lời. Yêu cầu này để đảm bảo cho việc huấn
luyện không bị thiếu dữ liệu.
• Câu hỏi đặt ra phải là câu có liên quan trực tiếp đến đoạn văn ở trường context, câu hỏi này có thể trả lời bằng
một khoảng văn bản liên tục.
• Đặt câu hỏi theo nhiều cách diễn đạt của bản thân. Điều này giúp tập dữ liệu phong phú hơn tránh được việc
mô hình chỉ trả lời được một dạng câu hỏi.
• Câu trả lời phải là đoạn văn bản liên tục được trích từ nội dung của trường context.
Sau khi phân tách thành câu hỏi – câu trả lời, chúng tôi thu được tổng cộng 1.571 cặp câu hỏi - câu trả lời qua 45
đoạn nội dung văn bản. Đối với bài toán phân loại ý định, đầu vào là một câu hỏi và đầu ra là một lớp thuộc trong 45 loại
nội dung văn bản này, để đánh giá các mô hình chúng tôi chia tập dữ liệu theo tỉ lệ xấp xỉ: 60% tập huấn luyện (train),
20% tập xác thực (valid), 20% tập kiểm tra (test). Hình 5 minh hoạ một ví dụ trong kho dữ liệu HUFI_PostGrad.
B. Các độ đo để đánh giá kết quả thử nghiệm
1. Độ đo đánh giá cho IC
Đối với bài toán phân loại nhiều lớp, độ chính xác (accuracy) không phải là độ đo đánh giá phù hợp khi các lớp
mất cân bằng. Chúng tôi sử dụng một độ đo khác là F1-score là trung bình của Precise (P) và Recall (R) với True Positives
(TP) là số lượng mà bộ phân loại dự đoán đúng lớp, False Positives (FP) là số lượng mà bộ phân loại dự đoán sai so với
lớp đúng thực tế và False Negatives (FN) là số lượng số lượng mà bộ phân loại dự đoán sai qua lớp khác.
2𝑃𝑅 2𝑇𝑃
𝐹! = = (1)
𝑃 + 𝑅 2𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁
Macro-average F1 score (F1-Score) được tính độc lập từng lớp rồi tính trung bình lại theo công thức sau:
6 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC

𝐹!" = - 𝜔# 𝐹!# (2)

#%!

2. Độ đo đánh giá cho MRC

Chúng tôi sử dụng hai độ đo tương tự [17] gồm Exact Match (EM) và Macro-averaged F1 score.
• Exact Match (EM): tính % số dự doán khớp hoàn toàn với câu trả lời chính xác.
• Macro-averaged F1 score: tính trung bình phần dự đoán nằm trong câu trả lời chính xác. Phần dự đoán và câu
trả lời chính xác sẽ thành các túi từ, tính F1của chúng và tiếp theo tính trung bình của tất cả các câu hỏi.

Hình 5. Ví dụ một mẫu dữ liệu trong HUFI_PostGrad.

C. Kết quả thử nghiệm
Kết quả thử nghiệm các mô hình cho bài toán IC và bài toán MRC được thể hiện ở Bảng 2 và
STT Mô hình F1-Score
01 BERT 0.944
02 XLM-Rbase 0.952
03 XLM-Rlarge 0.967
Bảng 3
Bảng 2. Kết quả thử nghiệm cho bài toán IC.
STT Mô hình F1-Score
01 BERT 0.944
02 XLM-Rbase 0.952
03 XLM-Rlarge 0.967
Bảng 3. Kết quả thử nghiệm cho bài toán MRC với độ đo EM / F1-Score.
STT Mô hình EM/F1-Score
01 BERT 56.680 / 76.460
02 XLM-Rbase 56.073 / 78.016
03 XLM-Rlarge 62.437 / 81.202
D. Thảo luận
Từ kết quả thực nghiệm, chúng tôi nhận thấy rằng hệ thống XLM-Rlarge cho kết quả tốt nhất. Dựa vào bộ dữ liệu
Kiểm tra, chúng tôi phát hiện có rất nhiều trường hợp Hệ thống XLM-Rlarge cho kết quả tốt hơn so với hai hệ thống còn
Trần Thanh Trâm, Trần Thanh Phước, Nguyễn Thị Anh Thư, Nguyễn Thế Hữu, Văn Thế Thành 7

lại. Đó cũng là minh chứng giải thích cho sự vượt trội của Hệ thống XLM-Rlarge. Vì vậy, chúng tôi đã sử dụng mô hình
XLM-Rlarge cho Hệ thống trả lời tự động tư vấn tuyển sinh Sau đại học của Trường ĐH CNTP TPHCM.
Bảng 4 trình bày 6 ví dụ trong bộ dữ liệu Kiểm tra, trong đó 3 ví dụ cho kết quả gần như nhau cho cả 3 hệ thống,
và 3 ví dụ mà hệ thống XLMR_Large cho kết quả tốt hơn 2 hệ thống còn lại.
Ngữ cảnh: “Đào tạo trình độ thạc sĩ được thực hiện theo hình thức đào tạo chính quy. Ngôn ngữ chính thức dùng
trong đào tạo trình độ thạc sĩ là tiếng Việt. Phương thức tuyển sinh đào tạo trình độ thạc sĩ gồm: thi tuyển đối với người
Việt Nam và xét tuyển đối với người nước ngoài có nguyện vọng học thạc sĩ tại Việt Nam. Việc tuyển sinh đào tạo trình
độ thạc sĩ được tổ chức tối đa 2 lần mỗi năm. Thời gian đào tạo trình độ thạc sĩ tối thiểu 01 năm và tối đa 04 năm (tùy
theo chương trình theo hướng ứng dụng hoặc hướng nghiên cứu). Thời gian đào tạo trình độ thạc sĩ hướng ứng dụng tối
thiểu 01 năm và tối đa 03 năm. Thời gian đào tạo trình độ thạc sĩ hướng nghiên cứu tối thiểu 1.5 năm và tối đa 04 năm.”
Bảng 4. Một số ví dụ trong bộ dữ liệu Kiểm tra.
STT Câu hỏi BERT XLM-Rbase XLM-Rlarge
1 Đào tạo thạc sĩ bằng ngôn ngữ gì ? tiếng Việt tiếng Việt tiếng Việt
2 Đào tạo thạc sĩ theo hình thức nào ? đào tạo chính đào tạo chính quy đào tạo chính quy
quy
3 Tuyển sinh thạc sĩ mấy lần ? 2 lần mỗi năm tối đa 2 lần mỗi năm tối đa 2 lần mỗi năm
4 Thời gian học thạc sĩ bao lâu ? tối thiểu 01 tối thiểu 01 năm và tối tối thiểu 01 năm và tối đa
năm đa 04 năm 04 năm
5 Thời gian học thạc sĩ theo hướng ứng tối thiểu 01 tối thiểu 01 năm tối thiểu 01 năm và tối đa
dụng bao lâu ? năm 03 năm
6 Thời gian học thạc sĩ theo hướng 01 năm tối thiểu 1.5 năm tối thiểu 1.5 năm và tối
nghiên cứu bao lâu ? đa 04 năm
Trong 6 ví dụ trên thì hệ thống XLM-Rlarge cho kết quả đúng cả 6 trường hợp. Hệ thống BERT cho kết quả đúng
3 trường hợp đầu và sai 3 trường hợp sau. Hệ thống XLM-Rbase cho kết quả đúng ở 4 trường hợp đầu và sai ở 2 trường
hợp cuối.
V. KẾT LUẬN
Trong bài báo này, chúng tôi đã bước đầu xây dựng được một hệ thống trả lời tự động cho nghiệp vụ tư vấn tuyển
sinh Sau đại học Trường ĐH CNTP TPHCM. Chúng tôi đã sử dụng hai mô hình chủ đạo là phân loại ý định (Intent
classification) và máy đọc hiểu văn bản (machine reading comprehension) để xây dựng hệ thống trả lời tự động này.
Ngoài ra, chúng tôi cũng đã xây dựng được kho dữ liệu tương đối lớn bằng cách dịch từ Anh sang Việt kho ngữ liệu
SQuAD v1.1 dựa trên Google Translate. Kho dữ liệu này được sử dụng để huấn luyện mô hình học chuyển đổi. Bên cạnh
đó, kho dữ liệu HUFI_PostGrad cũng được khởi tạo thủ công từ tài liệu “Quy chế tuyển sinh Sau đại học Trường Đại
học Công Nghiệp Thực Phẩm”. Kho dữ liệu được sư dụng cho quá trình huấn luyện và kiểm tra kết quả của hệ thống.
Để tăng chất lượng của hệ thống trả lời tự động nói chung và nghiệp vụ tuyển sinh Sau đại học nói riêng, chúng
tôi cho rằng cần phải có một kho dữ liệu QA tiếng Việt thật lớn và chất lượng để huấn luyện cho mô hình học chuyển
đổi. Hiện tại, hệ thống của chúng tôi vẫn chỉ sử dụng kho dữ liệu được dịch từ kho dữ liệu tiếng Anh thông qua Google
Translate. Việc sai sót trong quá trình dịch tự động là điều không thể tránh khỏi và hiển nhiên sẽ ảnh hưởng đến chất
lượng của mô hình huấn luyện sử dụng kho dữ liệu được dịch này.
Kho dữ liệu HUFI_PostGrad cũng cần được cải tiến cả số lượng và chất lượng. Hiện tại, kho ngữ liệu này hoàn
toàn được khởi tạo thủ công từ tài liệu sẵn có của Phòng Sau đại học ĐH CNTP TPHCM. Trong tương lai, chúng tôi sẽ
tiếp tục tìm hiểu các kỹ thuật tự động khác nhằm tăng số lượng cũng như chất lượng cho kho ngữ liệu này.
VI. LỜI CẢM ƠN
Đề tài được thực hiện bằng nguồn kinh phí hỗ trợ từ Chương trình Vườn ươm Sáng tạo Khoa học và Công nghệ
Trẻ, được quản lý bởi Trung tâm Phát triển Khoa học và Công nghệ Trẻ - Thành Đoàn thành phố Hồ Chí Minh và Sở
Khoa học và Công nghệ thành phố Hồ Chí Minh, theo hợp đồng số “……………./HĐ-KHCN-VƯ”
VII. TÀI LIỆU THAM KHẢO
[1] Mohammad Nuruzzaman and Omar Khadeer Hussain, “A Survey on Chatbot Implementation in Customer Service
Industry through Deep Neural Networks”, A Survey on Chatbot Implementation in Customer Service Industry
through Deep Neural Networks, 2018.
[2] Nguyễn Thái Nghe và Trương Quốc Định, “Hệ thống hỗ trợ tư vấn tuyển sinh đại học”, Tạp chí Khoa học Trường
Đại học Cần Thơ, pp.152-159, 2015.
[3] Daniel Jurafsky and James H. Martin, “Speech and Language Processing: An Introduction to Natural Language
Processing”, Computational Linguistics and Speech Recognition, 2008.
8 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC

[4] Silvia Quarteroni, “A Chatbot-based Interactive Question Answering System”, 11th Workshop on the Semantics and
Pragmatics of Dialogue: 8390, 2007.
[5] D. Hewlett, L. Jones, and A. Lacoste, “Accurate supervised and semi-supervised machine reading for long
documents”, in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp.
2011-2020, 2017.
[6] Siva Reddy, Danqi Chen, and Christopher D. Manning, “CoQA: A conversational question answering challenge”,
Transactions of the Association for Computational Linguistics, Volume 7, pp. 249-266, 2019.
[7] L. Cui, S. Huang, F. Wei, C. Tan, C. Duan, and M. Zhou, “Superagent: a customer service chatbot for e-commerce
websites”, in Proceedings of ACL , System Demonstrations, pp. 97-102, 2017.
[8] P. Clark and O. Etzioni, “My Computer Is an Honor Student — but How Intelligent Is It? Standardized Tests as a
Measure of AI”, AIMag, vol. 37, no. 1, pp. 5-12, 2016.
[9] Pan, S. J. and Yang, Q, “A Survey on Transfer Learning”, IEEE Transactions on Knowledge and Data Engineering,
volume 22, no. 10, pp. 1345–1359, 2010.
[10] Sewon Min, Minjoon Seo, and Hannaneh Hajishirzi, “Domain Adaptation in Question Answering”, ArXiv,
abs/1702.02171, 2017.
[11] K. Sparck Jones, “A statistical interpretation of term specificity and its application in retrieval”, Journal of
documentation, vol. 28, no. 1, pp. 11–21, 1972.
[12] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean, “Distributed representations of words and phrases
and their compositionality”, in Advances in neural information processing systems, pp. 3111–3119, 2013.
[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, “BERT: Pre-training of Deep Bidirectional
Transformers for Language Understanding”, In Proceedings of NAACL-HLT 2019, pp. 4171-4186, 2019.
[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and
Illia Polosukhin, “Attention is all you need”, in Advances in Neural Information Processing Systems, pp. 5998–
6008, 2017.
[15] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán,
Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov, “Unsupervised Cross-lingual Representation
Learning at Scale”, in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics,
pp. 8440–8451, 2020.
[16] Patrick Lewis, Barlas Oguz, Ruty Rinott, Sebastian Riedel, and Holger Schwenk, “MLQA: Evaluating cross-lingual
extractive question answering”, in Proceedings of the 58th Annual Meeting of the Association for Computational
Linguistics, pp. 7315–7330, 2020.
[17] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang, “SQuAD: 100,000+ Questions for Machine
Comprehension of Text”, in Proceedings of the 2016 Conference on Empirical Methods in Natural Language
Processing, pp. 2383–2392, 2016.
[18] Pranav Rajpurkar, Robin Jia, and Percy Liang, “Know What You Don’t Know: Unanswerable Questions for
SQuAD”, in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 784–
789, 2018.
[19] Kyungjae Lee, Kyoungho Yoon, Sunghyun Park, and Seung-won Hwang, “Semi-supervised Training Data
Generation for Multilingual Question Answering”, in Proceedings of the Eleventh International Conference on
Language Resources and Evaluation, 2018.

AN AUTOMATED ANSWERING SYSTEM FOR POSTGRADUATE

ADMISSION ADVISORY
Tran Thanh Tram, Tran Thanh Phuoc, Nguyen Thi Anh Thu, Nguyen The Huu, Van The Thanh
ABSTRACT— Along with undergraduate training program, Postgraduate training program is one of the two main training missions
of a research-oriented university. Universities always want their postgraduate information to be promptly and properly delivered to
potential students. As for learners, they always want to have the fastest and most effective information about the curricula they are
interested in. Therefore, we have built an automated answering system for postgraduate admission to facilitate a more effective
interaction between the university and potential students. We have used the deep learning approach including two main models (Intent
Classification model and Machine Reading Comprehension model) to build the automated answering system. We have used two
corpora for experiment, including the Stanford Question Answering Dataset (SQuAD) for transfer learning training and the
Postgraduate dataset of the Ho Chi Minh city University of Food Industry for training and testing process. The experiment shows that
our automated answering system has given very positive results and can be extended to many majors in other departments.