(Đi từ trên xuống dưới cho dễ hiểu, sau này e gặp 1 vấn đề gì đó mà chưa có kiến thức nền thì

cứ follow theo tương tự sẽ có thói quen tìm hiểu)

Đầu tiên e nhận đề tài về PhoBert. Vậy nó là gì? – câu hỏi đầu tiên:
PhoBert là một pre-trained BERT cho tiếng Việt -> Nó có thể xử lý cho cả tiếng Việt và
Tiếng Anh (Bài viết tham khảo: https://viblo.asia/p/bert-roberta-phobert-bertweet-ung-dung-
state-of-the-art-pre-trained-model-cho-bai-toan-phan-loai-van-ban-4P856PEWZY3?
fbclid=IwAR0BQg4UU0-GeAG0ZeTQz_F4hD-3wVkgv1xIky8l7Tl0eyX8ti68h-yXM4M )

Ok biết nó là 1 pre-train của Bert, vậy pretrain là gì, Bert là gì?

- Pretrain là 1 mô hình AI đã được train sẵn trước đó rồi, mang về update thêm code or
biến tấu để nó giải quyết bài toán của mình, hiểu nôm na giống như người ta nấu cho e
1 nồi nước lèo đúng chuẩn rồi, giờ e muốn ăn sao thì nêm thêm gia vị e muốn
- BERT là gì: Bidirectional Encoder Representations from Transformers -> Nó là 1 mô
hình phát triển từ Transformers (Bài viết tham khảo để biết BERT là gì:
https://viblo.asia/p/bert-buoc-dot-pha-moi-trong-cong-nghe-xu-ly-ngon-ngu-tu-nhien-
cua-google-RnB5pGV7lPG?fbclid=IwAR0BQg4UU0-GeAG0ZeTQz_F4hD-
3wVkgv1xIky8l7Tl0eyX8ti68h-yXM4M

https://phamdinhkhanh.github.io/2020/05/23/BERTModel.html?
fbclid=IwAR0mGy4cytsiENtiO1gDHLg97-ZPC--lD8jjkBD_2Qs64-
ed5ve8OJ8UgKI )

Ok biết tới khái niệm BERT rồi đó -> Nó phát triển từ transformers, nhưng Transformers là
gì? Hỏi tiếp để đi hiểu tiếp transformers là gì:
- Trích trong tài liệu tham khảo:
Trước khi Google công bố bài báo về Transformers (Attention Is All You Need), hầu
hết các tác vụ xử lý ngôn ngữ tự nhiên, đặc biệt là dịch máy (Machine Translation)
sử dụng kiến trúc Recurrent Neural Networks (RNNs). Điểm yếu của phương pháp
này là rất khó bắt được sự phụ thuộc xa giữa các từ trong câu và tốc độ huấn luyện
chậm do phải xử lý input tuần tự. Transformers sinh ra để giải quyết 2 vấn đề này;
và các biến thể của nó như BERT, GPT-2 tạo ra state-of-the-art mới cho các tác vụ
liên quan đến NLP. Các bạn có thể tham khao thêm bài viết BERT- bước đột phá
mới trong công nghệ xử lý ngôn ngữ tự nhiên…
 - Dòm dô mấy dòng anh highlight tóm gọn lại là: Các bài toán xử lý NPL trước khi
Transformer ra đời là sử dụng RNN, vậy RNN là gì thì đọc cái link a gửi kèm thêm
cái link này: http://itechseeker.com/tutorials/nlp-with-deep-learning/ly-thuyet-chung/
recurrent-neural-network/
- RNN yếu nên cần phải thay thế -> biến thể của nó là LSTM, đọc thêm hiểu về LSTM
như link bữa a gửi, tóm cái váy lại thì LSTM là mô hình phát triển từ RNN, tuy nhiên
nó chỉ nhớ những thứ cần nhớ và quên những thứ nên quên, để làm được điều đó
thì mô hình nó thay đổi nhiều nhất so với RNN là nó có thêm 1 gate C để nhớ phụ
thuộc trước đó như mô hình

- Hiểu được RNN/LSTM… rồi thì đi tiếp. 2 mô hình này tốt đó nhưng người ta cần cái
tốt hơn nữa -> Mô hình Transformer ra đời, thằng này nó dựa trên một khái niệm khá
mới mẻ nhưng mạnh như cò hó là ATTENTION (đọc bài này đề hiểu nó là gì:
https://pbcquoc.github.io/attention/ )

Rồi, các khái niệm xoay quanh chỉ nhiêu đó, khi đi tới dưới này đọc hết xong e đi ngược lại
lên trên sẽ hiểu được cái PhoBert ngọn ngành nó ra sao, nó di từ cái gì. A tóm lại 1 lần nữa
như sau:

RNN/LSTM -> Giải quyết hầu hết các bài toán sơ khai của NLP -> Yếu + chậm -> Attention
ra đời -> áp dụng vào mô hình Transformer để giái quyết bài toán Sequence to Sequence ->
Bản nâng cấp của Transformer ra đời là BERT -> PhoBert ra đời pretrain thêm cho tập tiếng
Việt để xử lý được các vấn đề của ngôn ngữ Việt – tuy nhiên vẫn giải quyết được bài tiếng
Anh vì gốc của nó là BERT

Đọc thêm Seq2Seq (Sequence to Sequence) ở link này: http://itechseeker.com/tutorials/nlp-

with-deep-learning/ly-thuyet-chung/sequence-to-sequence-model/#:~:text=Sequence%20to
%20Sequence%20Model%20(Seq2seq,to%20Sequence%20with%20Neural%20Networks.