ĐÁNH GIÁ KHẢ NĂNG HỎI - ĐÁP CỦA CÁC MÔ HÌNH

NGÔN NGỮ CỠ NHỎ TRÊN MIỀN TRI THỨC KHOA HỌC DỮ LIỆU

Đặt vấn đề Mục tiêu

Tuy là chủ đề nóng trong vài năm trở lại đây, các mô hình ngôn Thực hiện nghiên cứu mô hình ngôn ngữ
ngữ lớn vẫn còn hạn chế trên một miền tri thức hay một ngôn ngữ nhỏ trên miền tri thức tiếng Việt nhất định
nhất định. Bên cạnh đó, các nhóm nghiên cứu cá nhân ở Việt Nam
hầu như đều gặp phải vấn đề về tài nguyên phần cứng. Nhận thấy Tạo tiền đề cho các nghiên cứu về mô
được tính cấp thiết đó, nhóm quyết định nghiên cứu, đánh giá khả hình ngôn ngữ trên các nguồn tài nguyên
năng hỏi đáp của các mô hình ngôn ngữ cỡ nhỏ trên miền tri thức miễn phí.
nhất định.

Phương pháp Kết quả thực nghiệm

Language

Input
Craw

Kết luận
Các kiến trúc mô hình
Kết quả cho thấy tín hiệu khả thi của
các mô hình cỡ nhỏ trên bộ dữ liệu
nhất định. Bước đầu giải quyết vấn Encoder-Decoder
đề thiếu tài nguyên phần cứng của
các nhóm nghiên cứu cá nhân.
Tuy kết quả chưa thực sự tốt,
nhưng đây là tiền đề để nhóm tiếp
tục cải thiện, phát triển mô hình
trong tương lai gần.

Bảng so sánh
Model Bloomz ViT5 GPT2 XGLM

Training Hardware P-100 Decoder-Only

Training Time 12h 20h 8h8h 12h

Training Time
Epochs 15 15 10 15

DA DE DL DS ML Probability Python Statistics Visualization

R1

R2

R3

So sánh loss các mô hình trên tập test trước khi pretrain và khi pretrain
So sánh chỉ số Rouge cuả các mô hình so với mô hình GPT-3.5