Câu Kiến Thức Đánh Giá 1 - Khái niệm về bài toán dịch máy - Hiểu được định nghĩa về bài toán dịch và mục tiêu bài toán dịch. 2 - Sử dụng ’sentencepiece’ huấn luyện tok- - Hiểu được phương pháp subword-based enizer tokenization và ứng dụng cho bài toán dịch sử dụng sentencepiece 3, 4 - Mô hình pre-trained LMs: BERT - Khởi tạo - Hiểu được cách mà mô hình BERT được Transformer sử dụng BERT huấn luyện và ứng dụng của BERT vào encoder, decoder của Transformer. 5, 6 - Mô hình pre-trained LMs: GPT2 - Khởi tạo - Hiểu được cách mà mô hình BERT được Transformer sử dụng GPT2 huấn luyện và ứng dụng của GPT2 de- coder của Transformer. 7 - Hạn chế của pre-trained BERT và GPT2 - Hiểu được hạn chế từ kiến trúc BERT và GPT2 cho bài toán sequence-to-sequence 8, 9 - Mô hình BART, mBART, mBART50 - Hiểu thiết kế BART, mBART, mBART50. Sử dụng fine tuning cho bài toán dịch việt-anh 10 - Độ đo BLEU cho dịch máy - Hiểu cách sử dụng độ đô BLEU cho bài toán dịch máy.