LẬP TRÌNH LSTM VỚI KERAS

TuanNA
MỤC LỤC
 Giới thiệu về RNN và LSTM
 Lập trình LSTM với Keras
 TensorFlow và Keras
 Tokenizer
 Word Embedding
 Traning and Evaluation
GIỚI THIỆU VỀ SUPERVIOR LEARNING
 Biểu diễn dữ liệu dưới dạng [vector] – label
 Định nghĩa các tham số để biến đổi [vector]  output
 Định nghĩa loss function giữa output và label
 Tối ưu hàm loss function để xác định tham số
GIỚI THIỆU VỀ NEURAL NETWORK
GIỚI THIỆU VỀ NEURAL NETWORK
RNN (RECURRENT NEURAL NETWORK)
 Đặc biệt dùng trong xử lý text
 Bài toán: từ một status đó đoán cảm xúc của status đó là vui hay buồn:

I am happy.
I am not happy
RNN (RECURRENT NEURAL NETWORK)
RNN (RECURRENT NEURAL NETWORK)
VẤN ĐỀ CỦA RNN ĐƠN THUẦN
 Mối quan hệ trong câu có thể cách rất xa nhau:
I am from Vietnam, so my native language is Vietnamese
LSTM (LONG SHORT TERM MEMORY)
LSTM (LONG SHORT TERM MEMORY)
LSTM (LONG SHORT TERM MEMORY)
 Forget Gate
LSTM (LONG SHORT TERM MEMORY)
 (Input) Update Gate
LSTM (LONG SHORT TERM MEMORY)
 New State
LSTM (LONG SHORT TERM MEMORY)
 Output Gate
LSTM (LONG SHORT TERM MEMORY)
 Peephole with all Gate
GRU (GATED RECURRENT UNIT)
 Đơn giản hóa từ LSTM
MỘT SỐ PHIÊN BẢN KHÁC
 Stacked RNN
MỘT SỐ PHIÊN BẢN KHÁC
 Bidirectional RNN
MỘT SỐ PHIÊN BẢN KHÁC
 Attention
TENSORFLOW & KERAS
 TensorFlow:
 Tensor: rank và shape
 Graph: Operator (Node), Tensor (Edge)
 Session

 Keras: Đóng gói sẵn những phần của graph thành các layer: Dense, RNN,
LSTM,…
TENSORFLOW & KERAS
 Import các thư viện

 Đọc dữ liệu từ file csv

TOKENIZER
 Random input data

 Tokenizer
PADDING
 Padding

 Result
TRAINING/TESTING DATA
WORD EMBEDDING
 Chuyển biểu diễn của một word từ số thứ tự thành một vector lưu giữ trạng
thái
 Các giải thuật tự học: Word2Vec, Glove
 Transfer Learning

Pre-trained word vector:

WORD EMBEDDING
 Chuyển biểu diễn của một word từ số thứ tự thành một vector lưu giữ trạng
thái
 Các giải thuật tự học: Word2Vec, Glove
 Transfer Learning

Pre-trained word vector:

WORD EMBEDDING
TRAINING
TRAINING
 Model Summary:
TRAINING
 Model Summary:
TRAINING
TRAINING PLOT
TRAINING PLOT
PREDICT