ĐÁNH GIÁ KHẢ NĂNG HỎI - ĐÁP CỦA CÁC MÔ

HÌNH NGÔN NGỮ CỠ NHỎ TRÊN MIỀN TRI THỨC

KHOA HỌC DỮ LIỆU
Cao Nguyen Gia Hung Nguyen Dinh Thanh Nguyen Van Hau Nguyen Van Hoai Nam Tran Ky Tran Van Quyen Duong Tran
Kim Ngan
Faculty
Đặt vấnofđề
Information Technology - Mục
Industrial University of Hotiêu
Chi Minh City
Mặc dù nghiên cứu Chatbot đã có kết quả rất tốt trên thế giới Nghiên cứu tập dữ liệu huấn luyện trả lời câu
hỏi tự động về miền tri thức Khoa Học Dữ Liệu
điển hình nhất là ChatGPT, tuy nhiên các nghiên cứu đối với
tiếng Việt lại bị hạn chế về ngôn ngữ và phương pháp. Nhận Nghiên cứu và thử nghiệm các mô hình học
thấy tính cấp thiết và nhìn rõ được hướng phát triển của dự sâu: Bloomz , GPT2, ViT5, XGLM nhằm có
án, nhóm quyết định nghiên cứu các mô mình ngôn ngữ lớn những đánh giá và cải tiến để lựa chọn mô
trên miền tri thức nhỏ để áp dụng vào thực tiễn. hình tối ưu nhất

Phương pháp Kết quả thực nghiệm

Transformer Block Ouptut

Kết luận Các kiến trúc mô hình

Kết quả cho thấy tín hiệu khả thi của các mô
hình cỡ nhỏ trên bộ dữ liệu nhất định. Encoder-Decoder
Bước đầu giải quyết vấn đề thiếu tài
nguyên phần cứng của các nhóm nghiên
cứu cá nhân.Tuy kết quả chưa thực sự tốt,
nhưng đây là tiền đề để nhóm tiếp tục cải
thiện, phát triển mô hình trong tương lai
gần.

Bảng so sánh
Model Bloomz ViT5 GPT2 XGLM
Decoder-Only

Tr a i n i n g H a r d w a r e P-100

Tr a i n i n g T i m e 12h 20h 8h 12h

Epochs 15 15 10 15 DA DE Probability
DL DS ML Python Statistics Visualization

R1

R1

R2

R2

R3

R3

So sánh loss các mô hình trên tập test trước khi pretrain và khi
pretrain So sánh chỉ số Rouge cuả các mô hình so với mô hình GPT-3.5 (175B)
 ĐÁNH GIÁ KHẢ NĂNG HỎI - ĐÁP CỦA CÁC MÔ
HÌNH NGÔN NGỮ CỠ NHỎ TRÊN MIỀN TRI THỨC
KHOA HỌC DỮ LIỆU
Cao Nguyen Gia Hung Nguyen Dinh Thanh Nguyen Van Hau Nguyen Van Hoai Nam Tran Ky Tran Van Quyen Duong Tran
Kim Ngan
Faculty
Đặt vấnofđề
Information Technology - Mục
Industrial University of Hotiêu
Chi Minh City
Mặc dù nghiên cứu Chatbot đã có kết quả rất tốt trên thế giới Nghiên cứu tập dữ liệu huấn luyện trả lời câu
hỏi tự động về miền tri thức Khoa Học Dữ Liệu
điển hình nhất là ChatGPT, tuy nhiên các nghiên cứu đối với
tiếng Việt lại bị hạn chế về ngôn ngữ và phương pháp. Nhận Nghiên cứu và thử nghiệm các mô hình học
thấy tính cấp thiết và nhìn rõ được hướng phát triển của dự sâu: Bloomz , GPT2, ViT5, XGLM nhằm có
án, nhóm quyết định nghiên cứu các mô mình ngôn ngữ lớn những đánh giá và cải tiến để lựa chọn mô
trên miền tri thức nhỏ để áp dụng vào thực tiễn. hình tối ưu nhất

Phương pháp Kết quả thực nghiệm

Transformer Block Ouptut

Kết luận Các kiến trúc mô hình

Kết quả cho thấy tín hiệu khả thi của các mô
hình cỡ nhỏ trên bộ dữ liệu nhất định. Encoder-Decoder
Bước đầu giải quyết vấn đề thiếu tài
nguyên phần cứng của các nhóm nghiên
cứu cá nhân.Tuy kết quả chưa thực sự tốt,
nhưng đây là tiền đề để nhóm tiếp tục cải
thiện, phát triển mô hình trong tương lai
gần.

Bảng so sánh
Model Bloomz ViT5 GPT2 XGLM
Decoder-Only

Tr a i n i n g H a r d w a r e P-100

Tr a i n i n g T i m e 12h 20h 8h 12h

Epochs 15 15 10 15 DA DE Probability
DL DS ML Python Statistics Visualization

R1

R1

R2

R2

R3

R3

So sánh loss các mô hình trên tập test trước khi pretrain và khi
pretrain So sánh chỉ số Rouge cuả các mô hình so với mô hình GPT-3.5 (175B)