Dissertation Paper (1)

Machine Translated by Google
Trích xuất các thẻ cảm xúc từ bản tóm tắt phim
Dimitris Fanis
Luận văn này được đệ trình đã đáp ứng được một phần yêu cầu cấp bằng Thạc sĩ
Quản lý thông tin
Khoa Khoa học Máy tính & Thông tin
Đại học Strathclyde
tháng 8 năm 2020
Tôi
Tuyên ngôn
Luận án này được trình bày nhằm đáp ứng một phần yêu cầu cấp bằng Thạc sĩ của Đại học Strathclyde.
Tôi xin cam đoan luận văn này là kết quả nghiên cứu của chính tôi và do chính tôi thực hiện.
Theo những quy ước học thuật thông thường, tôi đã ghi nhận công lao của người khác
một cách thích đáng.
Tôi tuyên bố rằng tôi đã tìm kiếm và nhận được sự chấp thuận về đạo đức thông qua Ủy ban
Đạo đức của Bộ phù hợp với nghiên cứu của tôi.
Tôi cho phép Đại học Strathclyde, Khoa Khoa học Thông tin và Máy tính, cung cấp các bản sao của
luận án, với chi phí, cho những người trong tương lai có thể yêu cầu một bản sao của luận
án để nghiên cứu hoặc nghiên cứu riêng.
Tôi cho phép Đại học Strathclyde, Khoa Khoa học Thông tin và Máy tính, đặt bản sao của luận án
vào kho lưu trữ công khai.
Có [ ] KHÔNG [ ]
Tôi xin cam đoan số từ của luận văn này (không bao gồm trang tựa, phần khai báo, phần tóm tắt,
lời cảm ơn, từ viết tắt, mục lục, danh mục hình minh họa-bảng-phương trình, thư mục là:
21.682.
Tôi xác nhận rằng tôi muốn điều này được đánh giá là Loại 1 2 3 4 5
Luận văn
Chữ ký: Dimitris Fanis
Ngày: 17/08/2020
ii
trừu tượng
Bối cảnh: Mặc dù có nhiều nghiên cứu khác nhau đã chỉ ra mối tương quan chặt chẽ giữa
một số phim - siêu dữ liệu phim và cảm xúc mà chúng gợi lên, tuy nhiên, chưa có nhiều nghiên cứu
đã được tiến hành để trích xuất cảm xúc một cách tự động, cũng như liên quan đến
mối quan hệ sau này với xếp hạng của người dùng.
Mục tiêu/Mục đích: Mục đích ban đầu của dự án này là tìm hoặc dán nhãn thủ công
tag cảm xúc tôn trọng nội dung phim. Mục tiêu cuối cùng sẽ là dự đoán cảm xúc
tới bất kỳ tập dữ liệu nào bao gồm tổng quan về phim và siêu dữ liệu. Điều này sẽ dẫn đến một
nhận dạng và tạo ra cảm xúc tự động, một thực tế có thể đóng góp nhiều hơn
nội dung được cá nhân hóa từ Hệ thống gợi ý và các công ty quảng cáo.
Phương pháp: Nhiều công cụ xử lý ngôn ngữ tự nhiên đã được kiểm tra, cùng với
một tập hợp các mô hình máy và học sâu. Lý tưởng nhất là một bộ phim sẽ có nhiều cảm xúc
do đó, đây là vấn đề phân loại nhiều nhãn, với mô hình được đánh giá bằng cách sử dụng
điểm số và số liệu về độ chính xác của phân loại.
Kết quả: Một bộ thẻ cảm xúc đã được xác định và sử dụng để gắn nhãn cho 300 bộ phim. Ngoài ra,
mô hình học máy được chọn cuối cùng được xây dựng đã dự đoán thành công các thẻ cảm xúc là 55.577
phim dựa trên tóm tắt phim và siêu dữ liệu của họ.
Kết luận: Nhiều loại thử nghiệm tương quan khác nhau đã được tiến hành cho thấy
loạt các kết quả về mối quan hệ giữa xếp hạng của người dùng và những cảm xúc tương ứng được gợi lên từ những kết quả đó
phim được bình chọn. Nhìn chung, người ta đã chứng minh rằng khái niệm cảm xúc trong ngành điện ảnh có thể
tạo thành một tính năng quan trọng và hữu ích cho Hệ thống gợi ý và các công ty quảng cáo,
có thể được tiếp tục sử dụng, tích hợp và tùy chỉnh.
iii
Sự nhìn nhận
Xin gửi lời cảm ơn nồng nhiệt tới người giám sát của tôi, ông William Wallace vì sự hợp tác và những đóng góp của ông
tư vấn và hướng dẫn trong suốt quá trình thực hiện luận văn. Tôi cũng xin gửi lời cảm ơn tới tất cả các giáo sư
của Đại học Strathclyde vì đã cho tôi cơ hội nâng cao kiến thức của mình ở nhiều lĩnh vực khác nhau
các ngành thuộc Khoa Khoa học Máy tính và Thông tin.
Ngoài ra, tôi muốn cảm ơn Mohamed Amine Belabbes, nghiên cứu sinh tiến sĩ tại Strathclyde
Trường đại học. Anh ấy là người hướng dẫn phòng thí nghiệm của tôi trong học phần “Công nghệ dữ liệu lớn CS982”,
và chia sẻ với tôi những nguồn tài liệu hữu ích về đề tài luận án. Anh cũng sẵn lòng giúp đỡ
và hướng dẫn tôi thực hiện phần thực hành của dự án.
Tôi cũng muốn cảm ơn Benedikt Muiler, sinh viên Thạc sĩ Phân tích Dữ liệu tại Strathclyde
Đại học, người đã chia sẻ quy tắc của mình liên quan đến nhiệm vụ chung của chúng tôi ở phần thứ hai của
Lớp CS985 trong Deep Learning và tôi đã có cơ hội học nó.
Cuối cùng, tôi xin cảm ơn gia đình đã hỗ trợ tôi trong quá trình học tập sau đại học và đặc biệt
chị gái tôi vì sự hỗ trợ và lời khuyên của cô ấy.
iv
Từ viết tắt & viết tắt
API Giao diện chương trình ứng dụng
AUC Khu vực dưới đường cong
AUROC Khu vực bên dưới (the) Đặc điểm hoạt động của máy thu
(Các) CDRS (Các) Hệ thống đề xuất tên miền chéo
(Các) CNN (Các) Mạng thần kinh chuyển đổi
(Các) DNN (Các) Mạng lưới thần kinh sâu
Đôi tai Hệ thống gợi ý nhận thức cảm xúc
EDA Phân tích dữ liệu thăm dò
(Các) GAN (Các) Mạng đối thủ sáng tạo GAN
Găng tay Vectơ toàn cầu để biểu diễn từ
IDF Tần số tài liệu nghịch đảo
IMDb Internet Movie Database
LDA Phân bổ Dirichlet tiềm ẩn
LSTM Trí nhớ ngắn hạn hạn chế
MLP Nhận thức nhiều lớp
NFL Không có bữa trưa miễn phí (định lý)
NLKT Bộ công cụ ngôn ngữ tự nhiên
NLP Xử lý ngôn ngữ tự nhiên
NMF Hệ số ma trận không âm
POS Phần của bài phát biểu
RNN Mạng thần kinh tái phát
ROC Đặc tính hoạt động của máy thu (đường cong)
RQ Câu hỏi nghiên cứu
(Các) câu trả lời (Các) Hệ thống gợi ý
SGD Giảm dần độ dốc ngẫu nhiên
SVC Hỗ trợ phân loại vectơ
TF Tần suất kỳ hạn
TF-IDF Tần suất kỳ hạn – Tài liệu nghịch đảo
v
TMDb Cơ sở dữ liệu phim
VADER Từ điển nhận biết hóa trị cho lý luận thực thể
vi
Mục lục
Tuyên ngôn................................................. ................................................................. ............. ii
Trừu tượng................................................. ................................................................. ...................... iii
Sự nhìn nhận................................................. ................................................................. ............iv
Từ viết tắt và chữ viết tắt.................................................................. ................................................................. ........ v
Danh sách các hình................................................................................. ................................................................. ............. x
Danh sách các bảng................................................................................. ................................................................. ............ xi
Danh sách các phương trình.................................................................. ................................................................. ...... xi
1. Giới thiệu............................................... ................................................................. ...................... 1
1.1 Bối cảnh nghiên cứu................................................................................. ................................................................. ...................1
1.2 Vấn đề nghiên cứu - Tên miền................................................................. ................................................................. ....1
1.3 Những thách thức nghiên cứu................................................................. ................................................................. ............2
1.4 Mục tiêu nghiên cứu và kết quả nghiên cứu.................................................. .................................................2
1.5 Câu hỏi nghiên cứu.................................................................. ................................................................. ............3
1.6 Tổng quan về các chương.................................................................. ................................................................. ............3
2. Đánh giá tài liệu và công việc liên quan ................................................. ................................... 5
2.1 Cảm xúc là gì và các loại cảm xúc.................................................. .................................5
2.1.1Thuật ngữ & Sinh lý học của Cảm xúc.................................................. .................................5
2.2 Lớp học cảm xúc................................................................................. ................................................................. ............6
2.2.1 Cảm xúc và những đặc điểm tình cảm khác ................................................. ...................................6
2.2.2 Tạo và phân loại cảm xúc.................................................. .................................6
2.2.3 So sánh và đánh giá các lý thuyết cảm xúc ................................................. ............9
2.3 Công việc liên quan.................................................................. ................................................................. ............10
3. Phương pháp nghiên cứu, thực hiện và phân tích....................................... ............ 11
3.1 Cách tiếp cận và phương pháp nghiên cứu................................................................. .................................11
3.2 Dữ liệu nào được sử dụng và tại sao .................................................... ................................................................. ..12
3.2.1 Những cân nhắc về đạo đức.................................................................. ................................................................. ....12
3.3 Thu thập dữ liệu & EDA................................................................. ................................................................. ......13
3.3.1 Bộ dữ liệu MovieLens & TMDb .................................... ...................................................13
3.3.2 Liên kết với TMBb................................................................. ................................................................. .....15
3.4 Tiền xử lý dữ liệu & Kỹ thuật tính năng .................................................... ......................16
3.5 Sự phù hợp của mô hình đối với nhiệm vụ của dự án ................................................. .................................18
3.6 Số liệu đánh giá phân loại đa nhãn.................................................. ......................19
3.6.1 Số liệu về độ chính xác.................................................................. ................................................................. ............20
vii
3.7 Xử lý ngôn ngữ tự nhiên (NLP) .................................... ...................................22
3.7.1 Giới thiệu NLP ................................................................. ................................................................. ............22
3.7.2 Triển khai NLP................................................................. ................................................................. .......23
3.7.3 Phân tích tình cảm................................................................. ................................................................. ............24
3.7.4 Mô hình hóa chủ đề................................................................. ................................................................. ............25
3.7.5 Nhận dạng thực thể được đặt tên (NER) .................................... ...................................27
3.8 Dán nhãn cảm xúc.................................................................. ................................................................. ............29
3.8.1 Quy trình ghi nhãn.................................................................. ................................................................. ............30
4. Sản xuất mô hình, dự đoán cảm xúc và kết quả.................................. .......... 36
4.1 Mô hình ML Sử dụng Tổng quan về Phim................................................. ...................................36
4.1.1 Bộ véc tơ TF-IDF.................................................. ................................................................. ............37
4.2 Mô hình ML sử dụng Tổng quan phim & Siêu dữ liệu .................................... ......................40
4.3 Mô hình cuối cùng: Đánh giá & Dự đoán trong Khung dữ liệu không được gắn nhãn ....................42
4.3.1 Mô hình cuối cùng................................................................. ................................................................. ......................42
4.3.2 Đánh giá mô hình cuối cùng .................................................... ................................................................. .43
4.3.3 Dự đoán cuối cùng................................................................. ................................................................. ............46
4.3.4 Mức độ cường độ của cảm xúc ................................................. ...................................50
4.3.5 Ví dụ về cảm xúc được thể hiện trong các bộ phim nổi tiếng ................................................. ............52
4.4 Mô hình DL................................................................................. ................................................................. ...................54
4.4.1 Nhúng từ.................................................................. ................................................................. ............54
4.4.2 Kiến trúc của mô hình DL .................................................... .................................................56
4.4.3 Phần 1| Cốt truyện phim với nhiều lớp đầu ra.................................................. ............57
4.4.4 Phần2| Cốt truyện phim với một lớp đầu ra.................................................. ...................58
4.4.5 Phần 3| Cốt truyện & siêu dữ liệu phim - Nhiều lớp đầu ra.................................. 60
5. Kiểm tra tương quan.................................................................. ................................................................. ............ 62
5.1 Kiểm tra tính chuẩn................................................................. ................................................................. ...................62
5.2 Kiểm định giả thuyết – Hệ số tương quan xếp hạng Spearman................................................ ...68
5.3 Kiểm định giả thuyết: Loại 1 .................................... ................................................................. 0,70
5.4 Kiểm định giả thuyết: Loại 2 ................................................. ................................................................. 0,71
5.4.1 Thử nghiệm: Loại 2.1................................................................. ................................................................. ..........71
5.4.2 Thử nghiệm: Loại 2.2................................................................. ................................................................. ..........75
5.4.3 Nhận xét bổ sung.................................................................. ................................................................. .....79
6. Kết luận và thảo luận ................................................................. ................................................................. .. 80
6.1 Kết luận................................................................................................. ................................................................. ............80
viiii
6.2 Thảo luận................................................................................. ................................................................. ............81
6.3 Hạn chế................................................................................. ................................................................. ............82
6.4 Công việc trong tương lai .................................................... ................................................................. ............83
Thư mục ................................................. ................................................................. ...................... 85
ix
Danh sách các hình Hình
2. 1: Các lớp trạng thái cảm xúc ................................................. ................................................................. ..9
Hình 3. 1: Cấu trúc nhiệm vụ & quy trình làm việc ML.................................. ......................11 Hình 3. 2: Điểm
liên quan đến thẻ - MovieLens . ................................................................. ......................14 Hình 3.
3: Thể loại phim – Bộ dữ liệu MovieLens............. ................................................................. ............15
Hình 3. 4: Wordcloud của tất cả các tập dữ liệu........... ................................................................. ............17
Hình 3. 5: Một phần của Thẻ lời nói........... ................................................................. ....................23
Hình 3. 6: Biểu đồ Điểm tổng hợp của Vader .................... .................................................25 Hình 3. 7: Phân
cực của Vader trong cốt truyện phim................................................. ....................................25 Hình
3. 8: Chủ đề Lập mô hình - Biểu đồ hình tròn................................................................. ...................................26
Hình 3. 9: Các thực thể trong phần Tổng quan về phim đầu tiên.................................................. ....................28
Hình 3. 10: Phân bổ thẻ NER trong tập dữ liệu...... ................................................................. ......................29
Hình 3. 11: 30 thể loại phim hàng đầu trong bộ dữ liệu ............ ................................................................. ............32
Hình 3. 12: Dán nhãn cảm xúc - 300 Phim........... ................................................................. .33 Hình 3.
13: Biểu đồ hình tròn: Phân bổ cảm xúc - Dán nhãn cảm xúc ...................... ...........34 Hình 3. 14: Biểu đồ thanh: Sự kết
hợp của cảm xúc sau khi dán nhãn ...................... ............35
Hình 4. 1: Mô hình ML sử dụng Tổng quan về phim - Số liệu đánh giá................................................. ......39 Hình
4. 2: Mô hình ML sử dụng Tổng quan về phim & Siêu dữ liệu - Số liệu đánh giá......................41 Hình 4. 3: Bộ thu Đường cong
Đặc tính Hoạt động (ROC) - Cảm xúc .................................46 Hình 4 4: Dự đoán nhị phân về cảm xúc trong 55.577 phim
(Khung dữ liệu không được gắn nhãn) ....47 Hình 4. 5: Tỷ lệ phần trăm cảm xúc được dự đoán trong 55.577 phim (Khung dữ liệu không
được gắn nhãn)... ............48 Hình 4. 6: Sự kết hợp cảm xúc trong dự đoán - 55.577 Phim............................ .............49
Hình 4. 7: Đám mây cảm xúc...................... ................................................................. ............50
Hình 4. 8: Biểu đồ & Biểu đồ mật độ của hàm quyết định Điểm tin cậy của cảm xúc 51 Hình 4. 9: Cường độ của cảm xúc được dự
đoán..... ................................................................. ............52 Hình 4. 10: Tóm tắt mô hình: Nhiều lớp
đầu ra sử dụng các ô phim ...................... .......57 Hình 4. 11: Tóm tắt mô hình: Lớp đầu ra đơn sử dụng các ô
phim............................ ............58 Hình 4. 12: Đường cong học tập về mức độ mất mát và độ chính xác đào tạo trung bình
qua mỗi kỷ nguyên - Mất xác thực trung bình & độ chính xác ở cuối mỗi kỷ
nguyên........ ................................................................. .............59 Hình 4. 13: Tóm tắt mô hình:
Nhiều lớp đầu ra sử dụng các ô phim ...................... ............60 Hình 4. 14: Tóm tắt mô hình: Nhiều lớp đầu ra sử dụng sơ
đồ phim và siêu dữ liệu............61
Hình 5. 1: Biểu đồ tương quan của các biến trong mẫu................................................. ......................63
Hình 5. 2: Sơ đồ các biến của mẫu.... ................................................................. ......................64
Hình 5.3: Đồ thị biến số của mẫu đàn violin............ ................................................................. ......................65
Hình 5. 4: Xây dựng các thử nghiệm tương quan........... ................................................................. ............70
Hình 5. 5: Kiểm tra mối tương quan (2.1.1): Xếp hạng so với Điểm cảm xúc............ ......................72 Hình 5. 6: Kiểm
tra 2.1.2: Xếp hạng (Không bao gồm điểm trung tính) so với Điểm Cảm xúc. ......................................73 Hình 5. 7: Kiểm
định 2.1.3: Thấp nhất Xếp hạng so với Điểm cảm xúc.................................................. ............74 Hình 5. 8:
Kiểm tra 2.1.4: Xếp hạng cao nhất so với Điểm cảm xúc................... .................................75
x
Hình 5. 9: Kiểm tra 2.2.1 - Điểm cảm xúc: Hiệp 1 so với Hiệp 2 ...................... ....................76 Hình 5. 10: Kiểm tra 2.2.2 - Người dùng
đánh giá thấp nhất: Đặt 1 so với Bộ 2................................................................. .......77 Hình 5. 11: Kiểm tra 2.2.3 - Người
dùng đánh giá cao nhất: Bộ 1 so với Bộ 2...................... ......................78 Hình 5. 12: Kiểm tra 2.2.4: Set 1 (Xếp hạng thấp nhất) so với
Set 2 (Được đánh giá cao nhất) ....................79
Danh mục các bảng
Bảng 2. 1: Thành phần cảm xúc.................................................. ................................................................. ......5
Bảng 3. 1: Các cột dữ liệu trước khi tiền xử lý dữ liệu ................................................. ......................18 Bảng 3. 2: Nhận
dạng thực thể tên (NER)............ ................................................................. ............27
Bảng 4. 1: Ma trận nhầm lẫn của mô hình cuối cùng ...................................... ...................................44
Bảng 4. 2: Báo cáo phân loại - Mô hình cuối cùng................................................. ...................................44 Bảng 4. 3: Tỷ
lệ phần trăm cường độ trong Cảm xúc được dự đoán.................................52 Bảng 4. 4: Cảm xúc & Cường độ - Một ví dụ với Phim nổi
tiếng.................................54
Bảng 5. 1: Kiểm tra tính chuẩn: Shapiro-Wilk ................................................. ...................................66 Bảng 5. 2: Kiểm
định tính chuẩn: K bình phương D'Agnostino ................................................. ......................66 Bảng 5. 3: Kiểm tra tính chuẩn:
Anderson-Darling....... ................................................................. ............68
Danh sách các phương trình
Phương trình 3. 1: Tỷ lệ khớp chính xác - Độ chính xác của tập hợp con .................... ....................20 Công thức 3. 2: Điểm Micro
F1....... ................................................................. ...................................21 Phương trình 3 .3: Tổn thất
Hamming.................................................. ................................................................. ............21 Phương
trình 3. 4: Tính toán các tổ hợp có thể xảy ra .................... ......................................31
Phương trình 4. 1: Tần suất số hạng.................................................. ................................................................. .............38
Phương trình 4. 2: Tần số nghịch đảo của tài liệu........... ...................................................38 Phương trình 4. 3: Tần số thuật
ngữ - Tần số tài liệu nghịch đảo ................................................. ............38
xi
Chương 1|
1. Giới thiệu
1.1Bối cảnh nghiên cứu
Mục đích chính của luận án này là xây dựng mô hình có thể trích xuất các thẻ cảm xúc
từ cốt truyện phim. Xác định thông tin cảm xúc có trong tóm tắt phim hoặc chương trình truyền hình
có thể có nhiều ứng dụng hữu ích và đa dạng trong hệ thống gợi ý (RS) để tìm kiếm các thông tin tương tự
nội dung hoặc trong quảng cáo để đặt quảng cáo.
Nó rơi vào lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) bao gồm các kỹ thuật như
trích xuất thực thể và phân tích tình cảm, có thể được triển khai cùng với máy và sâu
Dụng cụ học tập. Nó cũng liên quan chặt chẽ đến kinh tế học dân gian: Kinh tế học dân gian là một quá trình hợp tác
hệ thống gắn thẻ chứa nhiều thông tin khác nhau - trong trường hợp này là liên quan đến phim hoặc chương trình truyền hình-
được hiển thị, chẳng hạn như thể loại, cốt truyện, siêu dữ liệu và thẻ (Kar, Maharian & Solorio, 2018:p.2879),
và do đó, nghiên cứu của luận án có thể có nhiều ứng dụng khác nhau trong lĩnh vực này.
1.2 Vấn đề nghiên cứu - Tên miền
Việc sản xuất mô hình sẽ giả định trước sự tồn tại của một số tầng lớp cảm xúc-
nhãn. Bản chất và định nghĩa của việc phát hiện cảm xúc chưa được xác định một cách chặt chẽ và có nhiều ý kiến khác nhau.
các nhà nghiên cứu đã đề xuất một số loại cảm xúc. Một trong những đề xuất được đề xuất nhiều nhất là
Sáu lớp cảm xúc riêng biệt của Ekman (Ekman, 1992; Lazemi & Ebrahimpour-Komleh, 2016;
Tkalčič và cộng sự, 2016) vì chúng có thể dễ dàng liên kết với giao tiếp và biểu cảm trên khuôn mặt,
và đó là: hạnh phúc, giận dữ, buồn bã, sợ hãi, ghê tởm và ngạc nhiên (Ekman, 1992; Farzindar &
Bút mực, 2015:tr.50). Các thẻ cảm xúc khác cũng đã được đề xuất cho các nhiệm vụ như điều tra
khía cạnh cảm xúc trong nhận xét của người dùng. Trong trường hợp này, các phạm trù cảm xúc thường là:
sự nhạy cảm, năng khiếu, sự chú ý và sự dễ chịu (Topal, Koyutürk & Özsoyoğlu, 2017:p.2). Cuối cùng,
khuynh hướng cảm xúc cũng được phân thành sáu loại là tình yêu, niềm vui, sự giận dữ, sự ngạc nhiên
nỗi buồn và sợ hãi (Chakraverty & Saraswat, 2017:p.21).
Hơn nữa, những bộ phim phổ biến về luật có thể có ít hoặc không có thẻ. Dựa trên một nghiên cứu ở
Năm 2018, ít nhất 34% phim trên IMDd không có thẻ (Kar, Maharian & Solorio, 2018:p.2879) và
do đó, người ta tin tưởng mạnh mẽ rằng việc trích xuất tự động thông tin thẻ, chẳng hạn như
gắn thẻ cảm xúc từ phần tóm tắt, có thể giúp nhiều bộ phim được khám phá. Vấn đề trên, tức là
1
khi một bộ phim không có bất kỳ thẻ nào trong quá khứ, có thể được gọi là “sự không đầy đủ trong không gian thẻ”
(Kar, Maharian & Solorio, 2018:p.2885), và do đó có thể coi đây là một thử thách nữa
được giải quyết khi xây dựng mô hình gắn thẻ cho phim không có lịch sử gắn thẻ “cảm xúc”.
Điều gì làm nên một bộ phim, ví dụ như hồi hộp, kịch tính hoặc khoa học viễn tưởng và những từ nào ẩn chứa trong đó?
cốt truyện phim có thể định nghĩa trước điều này? Câu trả lời cho điều đó sẽ giúp trích xuất thông tin quan trọng
từ các văn bản tường thuật và xây dựng một hệ thống tự động có thể tạo ra các thẻ cảm xúc (Kar và cộng sự,
2018: tr.7).
1.3 Những thách thức nghiên cứu
Các nghiên cứu đã chỉ ra rằng có mối tương quan chặt chẽ giữa các thể loại phim (ví dụ:
hành động, hài) và cảm xúc mà chúng gợi lên (Chakraverty & Saraswat, 2017:p.10), và như một
hậu quả, thẻ cảm xúc tương ứng của họ. Mặc dù một mục tiêu quan trọng của chéo
hệ thống đề xuất tên miền (CDRS) là để giảm bớt vấn đề khởi đầu nguội (ví dụ: người dùng mới) và
sự thưa thớt hoặc khan hiếm dữ liệu (Allison, Guthrie & Guthrie, 2006:p.327) do học tập chuyển giao
(Sahu, Dwivedi & Kant, 2018:p.630), và mặc dù đồng thời, sức mạnh của cảm xúc cũng có
đã được khẳng định lại, dựa trên văn học thì sự tồn tại của cảm xúc trong các tình tiết phim vẫn chưa được xác nhận.
được sử dụng rộng rãi từ CDRS. Cuối cùng, không có nhiều nghiên cứu được thực hiện để kiểm tra
về mối quan hệ giữa xếp hạng của người dùng và nội dung cảm xúc của phim (Chakraverty &
Saraswat, 2017:p.4).
Ngoài ra, thách thức lớn nhất của dự án là định nghĩa về cảm xúc.
nhãn sẽ được sử dụng và cách sao chép chúng trong trường hợp không có sẵn bộ dữ liệu có gắn nhãn
thẻ cảm xúc. Hơn nữa, những thách thức về cách xây dựng mô hình ML để dự đoán
cảm xúc cần được giải quyết, cũng như tìm ra những tính năng nào nên được sử dụng cho những cảm xúc đó.
dự đoán, tức là chỉ có cốt truyện phim hoặc thêm siêu dữ liệu phim nữa.
1.4 Mục tiêu nghiên cứu & Sản phẩm bàn giao Mục
đích cuối cùng là xây dựng mô hình ML, có khả năng trích xuất tự động
thông tin cảm xúc từ phim ảnh. Đã trích xuất những mảnh meta cảm xúc đó
thông tin, mô hình sau đó sẽ được đánh giá trong các dự đoán của nó để khám phá tính chính xác của nó
cấp độ. Tuy nhiên, để thực hiện được những điều trên, một số dữ liệu huấn luyện đã tồn tại có chứa
nên tìm thấy cảm xúc, nếu không, việc dán nhãn cảm xúc theo cách thủ công sẽ diễn ra. bên trong
trong trường hợp sau, nhà nghiên cứu sẽ phải xác định trước một tập hợp cảm xúc sẽ được sử dụng
trong quá trình sản xuất mô hình. Dựa trên các nghiên cứu liên quan trong bối cảnh kinh tế học dân gian (Kar,
2
Maharjan & Solorio, 2018), một trong những hạn chế và do đó là một thách thức đối với việc xây dựng luận điểm này
một mô hình có thể tạo ra các thẻ ngay cả đối với các bản tóm tắt phim bao gồm một số lượng nhỏ
của trình tự trong văn bản.
Một số đóng góp chung của công việc này có thể là do sự cải tiến của
gắn thẻ xã hội trong bối cảnh siêu dữ liệu của phim. Mô hình hướng tới được xây dựng không chỉ
giúp người xem biết trước những cảm xúc mà họ có thể mong đợi từ một bộ phim, nhưng điều này
đồng thời sẽ nâng cao RS bằng cách tinh chỉnh việc truy xuất các bộ phim/chương trình truyền hình tương tự. MỘT
hệ thống gắn thẻ tự động của phổ này cũng có thể có nhiều ứng dụng khác nhau trong một số lĩnh vực
của RS đa phương tiện và nói chung, nó có thể được điều chỉnh trong mọi lĩnh vực muốn trích xuất
thông tin cảm xúc hữu ích từ một kho dữ liệu phi cấu trúc. Ngoài ra, điều này có thể giúp
RS đề xuất các mục được cá nhân hóa và có mục đích hơn (trong trường hợp này là phim) cho người dùng của họ.
Hơn nữa, các công ty quảng cáo có thể hưởng lợi bằng cách cung cấp quảng cáo có địa chỉ (Tapidze,
2017) với nội dung phù hợp và chính xác hơn, nơi các quảng cáo khác nhau có thể được phát tới
những người tiêu dùng khác nhau dựa trên phân khúc đối tượng được xác định trước (Invidi, 2018).
1.5 Câu hỏi nghiên cứu
Các câu hỏi nghiên cứu của luận văn này là:
1. Có thể có đủ số lượng thẻ cảm xúc (và tại sao) và những thẻ này là gì?
2. Mô hình nào phù hợp để sản xuất các thẻ cảm xúc đó và là mô hình tự động
có thể tạo ra thông tin cảm xúc đó?
3. Có mối tương quan nào giữa sở thích và cảm xúc của người dùng thể hiện trên tivi không?
cốt truyện chương trình/phim? Cuối cùng, khái niệm cảm xúc có phải là một đặc điểm hữu ích trong bối cảnh
hệ thống gợi ý và các công ty quảng cáo?
4. Liệu có mối tương quan nào giữa các loạt phim trong danh sách theo dõi của người dùng về độ hay không?
những cảm xúc tiềm ẩn mà những bộ phim này khơi gợi? Nói cách khác và ví dụ: nếu người xem
đã xem 100 bộ phim, những cảm xúc được miêu tả trong 50 bộ phim đầu tiên có tương quan với
những bộ phim trong số 50 bộ phim tiếp theo?
1.6 Tổng quan về các chương
Chương sau đây cung cấp nền tảng tài liệu về chủ đề của dự án. Sau đó,
Các chương được chia thành hai phần chính: chương ba và bốn liên quan đến tất cả
các quy trình được tiến hành cho đến khi sản xuất mô hình cuối cùng, trong khi ở chương thứ năm,
các thử nghiệm tương quan được xây dựng để giải quyết các câu hỏi nghiên cứu thứ ba và thứ tư. cuối cùng
3
chương cuối cùng kết thúc với các kết luận và khuyến nghị tổng thể. Cần lưu ý rằng một số
phân tích dữ liệu được thực hiện trong chương năm sẽ không thể được thực hiện trong các chương trước
các chương, vì nó đòi hỏi sự tồn tại của các thẻ cảm xúc mà sẽ không được tìm thấy và
được sản xuất cho đến chương bốn.
4
Chương 2|
2. Đánh giá tài liệu và công việc liên quan
2.1 Cảm xúc là gì và các loại cảm xúc 2.1.1Thuật
ngữ & Sinh lý học của Cảm xúc
Việc khám phá cảm xúc có thể hữu ích trong ngành công nghiệp điện ảnh và nói rộng ra là trong
mọi tổ chức tương tác với con người, trong đó họ có thể là chỉ số về hành vi của người dùng
và sở thích (Mizgajski & Morzy, 2019:p.345). Cảm xúc có thể được coi là trạng thái tinh thần
đại diện cho những phản ứng đánh giá đối với các sự kiện hoặc đối tượng có mức độ cường độ khác nhau
(Nabi, 2010:p.153) và có thể ảnh hưởng đến hành vi của con người (Vlad, 2020:p.119). Đến từ một nơi khác
quan điểm, cảm xúc có thể được xem là “các thực thể tương tác phức tạp bao gồm các yếu tố chủ quan
và các yếu tố khách quan bao gồm các thành phần cảm xúc, nhận thức, thụ động và sinh lý”
(Wirth & Schramm, 2005:p.3).
Bảng 2.1 minh họa chi tiết về sinh lý cảm xúc, có thể coi
quan trọng trong bối cảnh xây dựng các thẻ cảm xúc cho dự án này.
Các thành phần Sự miêu tả biểu hiện
tình cảm Trải nghiệm chủ quan về các Cảm giác hưng phấn,
tình huống
vui sướng hoặc không hài lòng
Nhận thức Các khía cạnh của Ví dụ: một bài hát hoặc bộ phim
trải nghiệm/tình huống liên quan đến được coi là vui vẻ một cách khách
cảm xúc được nhận thức và đánh giá quan, có thể là trung tính hoặc buồn
như thế nào đối với ai đó
khác
liên tục Hành vi biểu cảm Biểu cảm trên khuôn mặt
Biểu cảm giọng hát

Cử chỉ
sinh lý Phản ứng ngoại vi của cơ thể đỏ mặt

Hệ thần kinh (kích thích sinh Thay đổi nhịp tim
lý) Thay đổi nhịp thở
Đổ mồ hôi tay
Bảng 2. 1: Thành phần cảm xúc
Dựa trên tài liệu, một phần nghiên cứu chung cơ bản chỉ ra rằng cảm xúc là
các thực thể tâm lý có thật, và một số lượng hữu hạn các thực thể đó có thể được tìm thấy ở mọi nơi trong con người.
chúng sinh (Oatley, 1992:p.162). Tuy nhiên, con số hữu hạn này có thể không ổn định và nó phụ thuộc vào
một số biến số được tính đến từ các giả thuyết và quan điểm của nhà nghiên cứu.
Một số cuộc tranh luận đã diễn ra khi các nhà nghiên cứu cố gắng phân loại một
số cảm xúc cơ bản. Một số vấn đề chính được tìm thấy ở đây là cảm xúc có thể
5
được coi là sự tạo dựng hoặc kết hợp của những cảm xúc cơ bản khác và tiêu chí ban đầu mà
nhóm nhà nghiên cứu có thể không đồng ý với các tiêu chí được tìm thấy về cảm xúc cơ bản. Ví dụ, nếu một
nhà nghiên cứu chấp nhận rằng những cảm xúc cơ bản không nhất thiết phải gắn liền với nét mặt
thì anh ấy/cô ấy sẽ không đồng ý với sáu loại cảm xúc của Ekman (Oatley,
1992:tr.162). Ngoài ra, một số nhà lý thuyết có thể ủng hộ điều đó, chẳng hạn như cả hạnh phúc và sự nhẹ nhõm đều
những cảm xúc cơ bản trong khi một bộ phận các nhà nghiên cứu khác lại cho rằng sự nhẹ nhõm là một tiểu thể loại của
cảm xúc “hạnh phúc” cơ bản (Oatley, 1992:p.166; Wirth & Schramm, 2005:p.6).
2.2 Lớp học cảm xúc
2.2.1 Cảm xúc & Những đặc điểm tình cảm khác
Trước khi cố gắng phân loại cảm xúc thành nhiều loại, một lưu ý quan trọng khi
khơi gợi cảm xúc là sự tách biệt giữa cảm xúc và các hiện tượng tình cảm khác như
tâm trạng, đặc điểm cảm xúc và rối loạn cảm xúc (Ekman, 1992:p.174), ở chỗ chúng khác nhau về
phạm vi thời gian và sinh lý của chúng (Ekman, 1992; Innes-Ker, 2015). Cảm xúc chẳng hạn,
ngắn ngủi trong khoảng thời gian kéo dài từ vài giây đến hàng giờ, trái ngược với những tâm trạng như sợ hãi,
phiền muộn và hưng phấn (Ekman, 1992:p.194), có thể kéo dài hàng giờ hoặc hàng ngày (Ekman, 1992:p.186).
Sự chú ý cũng cần thiết trong sự khác biệt giữa cảm xúc và cảm xúc: cảm xúc là
được coi là sự tự nhận thức về những cảm xúc nhất định và chúng tạo thành một biểu hiện chủ quan của
chúng (Bitbrain, 2019). Cuối cùng, so sánh tính cách với cảm xúc, người ta nên nhớ rằng
“Tính cách đối với cảm xúc cũng giống như khí hậu đối với thời tiết” (Favaretto, Musse & Costa, 2019:p.30).
2.2.2 Tạo và phân loại cảm xúc
Trong bối cảnh xác định sự hình thành cảm xúc, dường như có hai
quan điểm (Wirth & Schramm, 2005:p.6), tiến hóa và thực nghiệm. Các bang trước đây
rằng một số cảm xúc, cái gọi là cảm xúc “cụ thể” hay “tiến hóa” không thể tiến xa hơn
được phân tích thành các loại cảm xúc khác. Mặt khác, cái gọi là “thứ cấp”, “hỗn hợp” hoặc
những cảm xúc “phức tạp” đến từ những cảm xúc tiến hóa cơ bản. Ví dụ: 'sự dễ chịu'
có thể được coi là cảm xúc thứ cấp sau cảm xúc “hạnh phúc” chính. Mặt khác
Mặt khác, quan điểm thực nghiệm cố gắng xác định tỷ lệ tương đồng giữa những cảm xúc nhất định.
Các nghiên cứu thực nghiệm dường như có bốn loại cảm xúc phổ biến và đó là: tức giận,
lo lắng, nỗi buồn và niềm vui.
Sau khi nghiên cứu về sự hình thành cảm xúc và dựa trên tài liệu, dường như có
hai cách tiếp cận/triết lý chính liên quan đến việc phân loại chúng (Wirth & Schramm, 2005;
Mauss & Robinson, 2009; Gross & Levenson, 1995; Nabi, 2010; Mizgajski & Morzy, 2019). Một trong những
một mặt, phần đầu tiên các nhà nghiên cứu ủng hộ rằng có một số lượng riêng biệt
6
những cảm xúc cơ bản hoặc sự kết hợp của chúng (Mizgajski & Morzy, 2019:p.355), trong khi những cảm xúc khác
các nhà nghiên cứu cho rằng cảm xúc không thể được xác định một cách chặt chẽ bởi những khuôn mẫu cụ thể và không thay đổi
về hành vi, sinh lý và kinh nghiệm của con người. Đúng hơn, họ kết luận rằng các phép đo của
cảm xúc có thể được tìm thấy dọc theo các chiều, chẳng hạn như kích thích và hóa trị, thay vì rời rạc
trạng thái cảm xúc như vui, buồn, hay giận dữ.
Cách tiếp cận đầu tiên đề cập đến các trạng thái cảm xúc có tính phân loại bắt nguồn từ nhận thức
đánh giá hoặc đánh giá các tình huống (Nabi, 2010:p.154), hình thành nên những cảm xúc chung
mô hình (Mizgajski & Morzy, 2019:p.355). Cụ thể hơn, những lớp cảm xúc này đề cập đến
trạng thái cảm xúc có thể phản ánh những thay đổi trong nét mặt, hoạt động nhận thức (nhận thức),
kinh nghiệm chủ quan, xu hướng hành động và phản ứng tâm lý (Dillard & Meijnders,
2012:tr.65). Sáu lớp cảm xúc của Ekman có thể gắn liền với nét mặt và
có thể phản ánh phản ứng của con người đối với các sự kiện môi trường (Gross & Levenson, 1995:p.88).
Các loại này là (theo thứ tự bảng chữ cái): giận dữ, ghê tởm, sợ hãi, hạnh phúc, buồn bã và bất ngờ.
Chúng bao gồm các phạm trù được sử dụng rộng rãi nhất để thực hiện việc phân loại cảm xúc, và
Ngoài ra, chúng có thể được mở rộng thành mười hai cảm xúc có thể có, bao gồm: tức giận,
sợ hãi, khinh miệt, ghê tởm, bối rối, phấn khích, sợ hãi, tội lỗi, quan tâm, buồn bã, xấu hổ, và
bất ngờ (Ekman, 1992:p.193). Cuối cùng, một số lý thuyết bổ sung thêm “trạng thái cảm xúc trung tính” (Gross &
Levenson, 1995) cùng với sáu cảm xúc cơ bản của Ekman, tổng cộng là bảy.
Để mở rộng cách tiếp cận này, một cách phân loại phổ biến khác là của Chakra Poor et
al. Khuynh hướng ở đây cũng được chia thành sáu loại: yêu, vui, giận dữ, bất ngờ.
nỗi buồn và sợ hãi (Chakraverty & Saraswat, 2017:p.21). Một loạt cảm xúc khác đến từ
Plutchik (Plutchik, 2001), người xác định tám cảm xúc cơ bản (tức giận, dự đoán, ghê tởm, sợ hãi,
niềm vui, sự tin tưởng, nỗi buồn và sự ngạc nhiên). Đặc biệt đối với ngành điện ảnh, sau 5 năm nghiên cứu sử dụng
250 bộ phim, tám trạng thái cảm xúc đã được tìm thấy, đó là: thích thú, bất ngờ, hài lòng,
một trạng thái tương đối trung tính, ghê tởm, tức giận, buồn bã và sợ hãi (Gross & Levenson, 1995:p.87).
Tiếp tục với cách tiếp cận thứ hai, một số lý thuyết khác được gọi là lý thuyết chiều
của cảm xúc cũng đã được nghiên cứu. Những lý thuyết này khái niệm hóa cảm xúc như
các trạng thái động lực chung có thể được tìm thấy trong các khía cạnh tình cảm rộng rãi (Nabi, 2010;
Mizgajski & Morzy, 2019). Một số lý thuyết về chiều tồn tại, chẳng hạn như của Lazarus và cộng sự, của Russell,
và của Desmet và Hekkert (Mizgajski & Morzy, 2019:p.356), tuy nhiên, một trong những
phổ biến trong số đó là nghiên cứu của Osgood et al. (Odić và cộng sự, 2013:p.15) có liên quan đến
nghiên cứu cảm xúc trong bối cảnh Tâm lý học thần kinh và Sinh lý học. Mỗi cảm xúc ở đây đều
được gán cho ba chiều và đó là: sự thống trị, kích thích/cường độ và
7
sự dễ chịu/hóa trị (Odić và cộng sự, 2013; Gross & Levenson, 1995). Các lý thuyết về chiều khác, trong
Ngoài ra, chỉ xem xét hai chiều bao gồm kích thích và hóa trị (Shapiro, MacInnis &
Park, 2002; Wirth & Schramm, 2005). Lý thuyết chiều thứ hai cũng đã thành công
được sử dụng trong các dự án công nghiệp điện ảnh và các nghiên cứu đã chỉ ra rằng bằng cách sử dụng các thuộc tính trên mỗi chiều
có thể cung cấp những hiểu biết sâu sắc hơn về tác động mà mỗi chiều mang lại. Những thuộc tính này là:
cao, trung tính và thấp đối với chiều kích thích và tích cực, trung tính và tiêu cực đối với chiều hướng kích thích.
mức hóa trị (Shapiro, MacInnis & Park, 2002:p.24).
Hình 2.1 tóm tắt một số cách phân loại cảm xúc phổ biến nhất
cũng đã phân tích ở trên:
số 8
Hình 2. 1: Các loại trạng thái cảm xúc
2.2.3 So sánh và đánh giá các lý thuyết cảm xúc Trong
ngành điện ảnh, cả lý thuyết phạm trù và chiều kích của cảm xúc đều được sử dụng
để khơi gợi cảm xúc (Innes-Ker, 2015:p.59). Cố gắng tiến hành so sánh giữa
hai lý thuyết cảm xúc cơ bản, người ta kết luận rằng lý thuyết về cảm xúc rời rạc có thể
hữu ích và có ích, ít nhất là đối với bối cảnh của dự án này. Điều này có thể được hỗ trợ bởi thực tế
rằng cách tiếp cận này không chỉ bao gồm các quan điểm chiều kích và hóa trị (bởi
đánh giá chúng), nhưng nó còn tiến thêm một bước nữa bằng cách tạo ra thêm thông tin quan trọng
minh họa các thành phần bổ sung của trạng thái cảm xúc (Nabi, 2010:p.154).
9
2.3 Công việc liên quan
Một tác phẩm liên quan có thể được coi là “tag gen” trong ứng dụng “Movie Tuner”
sử dụng dữ liệu từ cơ sở dữ liệu MovieLens (Vig, Sen & Riedl, 2012). Đó là về việc gắn thẻ nâng cao
mô hình trong bối cảnh lọc cộng tác tính toán mức độ liên quan của thẻ bằng cách sử dụng thẻ
ứng dụng, đánh giá văn bản và xếp hạng trong mô hình đào tạo của mình (Vig, Sen & Riedl, 2012:p.4). Một trong số đó
ứng dụng hữu ích là nó cũng có thể được áp dụng cho các mục không có thẻ trước đó,
giảm bớt tình trạng thưa thớt dữ liệu trong các mục (Vig, Sen & Riedl, 2012:p.40) và khởi động nguội mục mới
vấn đề trong đề xuất phim (Lops et al., 2019:p.245).
Vì khái niệm cảm xúc là yếu tố cốt lõi trong luận án này nên công việc liên quan cũng là
coi việc xây dựng “hệ thống gợi ý cảm xúc” là một lĩnh vực tương đối mới,
và cố gắng bao hàm cảm xúc trong lĩnh vực đề xuất nội dung (Mizgajski & Morzy,
2019:trang 372–373). Một công trình khác có liên quan chặt chẽ là “eDNA” đề cập đến cảm xúc
ADN1 , một tác phẩm của Magid Company2 . DNA cảm xúc dựa trên ý tưởng cơ bản rằng
cảm xúc thúc đẩy hành vi và trạng thái cảm xúc của khán giả có thể được liên kết thành công
với sự lựa chọn chương trình truyền hình của họ. Điều này có thể đạt được sự đồng điệu về cảm xúc và sự liên kết cảm xúc trong
nội dung phát sóng (Magid, 2019). Các chiều kích cảm xúc của eDNA được xác định và liên kết với
trạng thái cảm xúc của người xem là: sắc sảo, đam mê, thông minh, adrenaline, độc đáo, trái tim, tính tương đối,
và trọng lực (Magid, 2020). Ví dụ, Tập đoàn Truyền hình Disney ABC đã sử dụng
các khía cạnh cảm xúc của eDNA đã nói ở trên và cải thiện chất lượng nội dung của nó, trong khi bên phải
sự kết nối giữa cảm xúc của người xem và chương trình truyền hình đã tạo ra các quảng cáo được nhắm mục tiêu thành công và
mang lại lợi nhuận cao hơn (Weisler, 2018).
Cuối cùng, liên quan chặt chẽ đến luận án này là nghiên cứu trong bối cảnh dân gian học dựa trên
đề xuất gắn thẻ cho các hệ thống gắn thẻ cộng tác (Font, Serrà & Serra, 2013), mục tiêu của nó là
để giải quyết vấn đề khan hiếm thẻ và/hoặc sự mơ hồ. Một công việc như vậy là của Kar et al. cái mà
dự đoán các thẻ bằng cách sử dụng mạng thần kinh được mã hóa dòng cảm xúc (Kar, Maharian & Solorio, 2018).
Cơ sở lý luận của công việc liên quan này khá gần với dự án này, tuy nhiên các thẻ được tạo ra
là các thẻ được xác định trước do người dùng bình chọn chứ không phải thẻ cảm xúc.
1
https://magid.com/emotional-dna/
2
https://magid.com/
10
Chương 3|
3. Phương pháp nghiên cứu, thực hiện và phân tích
3.1 Phương pháp tiếp cận và phương pháp nghiên
cứu Phương pháp nghiên cứu sẽ mang tính quy nạp vì một lý thuyết mới (trong trường hợp này là một cỗ máy
mô hình học tập) nhằm mục đích được xây dựng, thay vì thử nghiệm một mô hình hiện có. Nó cũng sẽ là một
loại luận án thực nghiệm với nghiên cứu ứng dụng để phát triển các kỹ thuật có thể trả lời
các câu hỏi nghiên cứu và đạt được các mục tiêu nghiên cứu, tức là việc trích xuất một tập hợp
thẻ cảm xúc. Hơn nữa, đây sẽ là nghiên cứu mang tính khám phá (McCombes, 2020) vì nhà nghiên cứu
sẽ khám phá các khía cạnh khác nhau của vấn đề nghiên cứu, chẳng hạn như đâu là phương pháp học máy tốt nhất
kỹ thuật cho vấn đề, dữ liệu nào nên được sử dụng và cách thức sử dụng cũng như mô hình cuối cùng có thể được thực hiện như thế nào
khái quát hóa tốt hơn cho bất kỳ bài đánh giá phim nào về bất kỳ tập dữ liệu nào. Cuối cùng, nhiều phương pháp khác nhau sẽ được
được áp dụng: các phương pháp định tính tiềm ẩn khi NLP sẽ được sử dụng (khám phá phân tích nội dung,
phân tích tình cảm) và các phương pháp định lượng như phân tích thống kê để khám phá
dữ liệu và đánh giá mô hình cuối cùng. Hình dưới đây mô tả cấu trúc và quy trình làm việc
cho các phần sau:
Hình 3. 1: Cấu trúc nhiệm vụ & quy trình làm việc ML
11
3.2 Dữ liệu nào được sử dụng &

Tại sao Để đạt được kết quả hiệu quả liên quan đến chủ đề của dự án này, một số dữ liệu
sẽ bao gồm tổng quan về phim nên được tìm thấy. Dựa trên nhiều khám phá khác nhau, chủ yếu là ba
các nguồn dữ liệu là ứng cử viên và đó là: “Bộ dữ liệu phim 5.000 TMDB” (Kaggle, 2017),
đến từ kho lưu trữ của Kaggle.com3 và cung cấp thông tin tổng quan về phim và siêu dữ liệu4 ,
thứ hai thông qua Giao diện chương trình ứng dụng (API) của cơ sở dữ liệu TMDb5 , và thứ ba, thông qua
phòng thí nghiệm nghiên cứu GroupLens (GroupLens, 2020) chuyên về RS và cung cấp phim của nó
cơ sở dữ liệu thông qua trang web MovieLens (MovieLens, 2020).
Cuối cùng, thứ hai và thứ ba đã được sử dụng từ các nguồn trên, đồng thời và
mang tính tương tác. Lý do nguồn đầu tiên không được sử dụng là vì nhà nghiên cứu muốn thu thập
số lượng dữ liệu văn bản phi cấu trúc lớn hơn dữ liệu được cung cấp bởi kho lưu trữ đó (5.000
phim). Việc tìm nạp số lượng tổng quan về phim lớn hơn đã đạt được thông qua API TMDb.
Một yêu cầu API đã được thực hiện thành công và được chấp nhận vào ngày 17/06/2020 trong cơ sở dữ liệu đó6, với một
loại yêu cầu ứng dụng mang tính giáo dục và nêu rõ mục đích là phân tích phim
tổng quan về bối cảnh của luận văn này. Cuối cùng, siêu dữ liệu phim cho những thông tin tổng quan này
được tìm thấy thông qua bộ dữ liệu nghiên cứu MovieLens (Harper & Konstan, 2015b, 2015a;
GroupLens/MovieLens, 2020; Vig, Sen & Riedl, 2012), được cung cấp miễn phí và dành cho người mới
nghiên cứu (Xếp hạng phim 25 triệu của MovieLens)7 . Về loại dữ liệu nghiên cứu, dữ liệu được sử dụng từ
GroupLens được coi là thứ yếu (Surbhi, 2016) vì chúng đã được thu thập từ
các nhà nghiên cứu trước đây, trong khi TMDb là về dữ liệu sơ cấp (Health, 2015), trong đó
đích thân nhà nghiên cứu đã thu thập chúng cho mục đích của luận án này và cố gắng hết sức
kiến thức rằng dữ liệu phi cấu trúc này không có sẵn trong bất kỳ kho lưu trữ hoặc trang web nào, ít nhất là ở dạng này
và/hoặc số lượng (số lượng tổng quan phim được trích xuất và liên kết cầu nối với MovieLens
tập dữ liệu).
3.2.1 Những cân nhắc về đạo đức
Sẽ không có người tham gia vào nghiên cứu này vì không có phương pháp nghiên cứu định tính nào được áp dụng.
sẽ được sử dụng, chẳng hạn như khảo sát hoặc bảng câu hỏi. Nguồn của tất cả dữ liệu được thu thập từ
các kho lưu trữ khác nhau được tham chiếu cả trong bài viết này và trong sổ ghi chép mã hóa, và không có đạo đức
sự đồng ý có hiểu biết là cần thiết.
3 https://www.kaggle.com/
4 https://www.kaggle.com/tmdb/tmdb-movie-metadata
5 https://www.themoviedb.org/
6 https://developers.themoviedb.org/3/getting-started/introduction
7 https://grouplens.org/datasets/movielens/
12
3.3 Thu thập dữ liệu & EDA

3.3.1 Bộ dữ liệu MovieLens & TMDb
Bộ dữ liệu MovieLens cung cấp sáu tệp csv và quá trình phân tích dữ liệu ban đầu diễn ra
ở đó. Các tệp này liên quan đến: tags8 , thẻ gen9 , điểm gen10, liên kết11, phim12 ,
và xếp hạng13. Trong phân tích dữ liệu ban đầu, tất cả các tệp csv14 đều được chuyển thành khung dữ liệu cho dữ liệu
thăm dò. Người ta nhận thấy rằng “tags.csv” bao gồm mối quan hệ 1:M giữa người dùng và thẻ,
và điều này đã được sửa khi tạo một khung dữ liệu và tệp csv mới,15 đồng thời giảm kích thước của khung dữ liệu xuống
788.019 hàng. Thẻ và điểm bộ gen là về điểm liên quan (trong phạm vi (0, 1]16) được gán cho
17
các thẻ đã được người dùng gán. Sau đó, một khung dữ liệu mới đã được tạo sáp nhập
thẻ và điểm số bộ gen và chỉ giữ lại những thẻ có điểm liên quan cao hơn
0,718. Như có thể thấy trong hình 3.2, dữ liệu bị lệch sang trái và do mức độ liên quan
điểm càng tăng thì các thẻ liên quan càng ít có điểm liên quan cao. Cơ sở lý luận
đằng sau việc này là để giữ các thẻ và siêu dữ liệu đã được người dùng bình chọn, đồng thời
có điểm liên quan cao: nhiều người dùng có thể cung cấp các thẻ khá không liên quan có thể cung cấp dữ liệu
thông tin sai đối với một mô hình, do đó, mức độ liên quan của thẻ gen có thể mang lại sự cân bằng cho điều đó.
“thẻ.csv”
số 8
9
“bộ gen-tags.csv”
10
“genome-scores.csv”
11
“liên kết.csv”
12 “phim.csv”
13
“xếp hạng.csv”
14
Rất nhiều tệp csv đã được tạo thông qua dự án này. Một số trong số đó có thể được tham chiếu hoặc không ở đây tùy thuộc vào tầm
quan trọng hoặc vai trò trung gian của chúng, tuy nhiên, tất cả chúng đều được cung cấp trong tệp zip kèm theo sổ ghi chú README txt mô tả nội
dung của từng tệp và tham chiếu sổ ghi chép ipynb tương ứng mà sắp xảy ra. các tập tin đã được tạo.
15
tags_set.csv.
16
Để giải thích dữ liệu hiệu quả hơn, ký hiệu khoảng theo sau sẽ là: “[x , y)”, trong đó
số trong ngoặc (“x”) là bao gồm, trong khi số trong ngoặc đơn là (“y”).
17
gen_score_final_2.csv
18
Suy nghĩ của nhà nghiên cứu là những thẻ có số điểm > 0,5 sẽ là ngưỡng đủ để lọc những thẻ tốt. Dựa trên các
nghiên cứu của bài báo gốc đưa ra lý thuyết về thẻ gen, người ta đã quyết định rằng 0,7 sẽ vừa tạo ra các thẻ có liên
quan, đồng thời nó sẽ không mất nhiều thẻ khỏi tập dữ liệu, một thực tế sẽ xảy ra nếu ngưỡng tăng hơn nữa, vì nhiều thẻ
có điểm dưới con số đó.
13
Hình 3. 2: Điểm liên quan của thẻ - MovieLens
Đối với mỗi phim trong tập dữ liệu, ít nhất một thể loại phim được chỉ định, trong khi mỗi thể loại phim duy nhất
phim có ba id: một được liên kết với cơ sở dữ liệu MovieLens, một với id của IMDb và
thứ ba với TMDb, một thực tế rất hữu ích cho các hành động được thực hiện sau đó. Nhân vâ t
3.3 minh họa việc phân bổ các thể loại phim trên tập dữ liệu.
14
Hình 3. 3: Thể loại phim – Bộ dữ liệu MovieLens
Tại thời điểm này, một công nghệ tính năng ban đầu đã diễn ra, bằng cách tạo ra ba tầng
các danh mục liên quan đến mức độ liên quan của thẻ và phiếu xếp hạng. Chúng bao gồm việc tạo ra
biến “relevance_cat” trong phạm vi [1 , 3] thay thế điểm cho các thẻ có điểm liên quan
cao hơn 70% và tạo ra biến “ rating_cat”, viết tắt của các danh mục xếp hạng.
Xếp hạng ban đầu được thực hiện theo thang điểm 5 sao, với mức tăng nửa sao và giá trị tổng thể của chúng
nằm trong khoảng [0,5, 5]. Biến được giới thiệu mới có các giá trị trong phạm vi [1 , 3], trong đó:
- “1” thay thế các giá trị của biến “xếp hạng” ban đầu cho các giá trị trong phạm vi [0,5 , 2] - “2”
thay thế các giá trị của phạm vi [2,5 , 3,5] và
- “3”, thay thế các giá trị của phạm vi [4, 5]
Mục đích của việc đó là phân loại siêu dữ liệu phim dựa trên tiêu cực,
danh mục xếp hạng trung lập và tích cực cũng như lợi ích từ việc đó sẽ được trình bày trong các phần tiếp theo.
3.3.2 Liên kết với TMBb Nhìn
chung, bộ dữ liệu MovieLens cung cấp nhiều loại siêu dữ liệu phim hữu ích giúp
nhà nghiên cứu sau đó đã sử dụng để xây dựng các mô hình cần thiết. Tuy nhiên, đã có một
15
tính năng quan trọng còn thiếu và đó là cái nhìn tổng quan về mọi bộ phim được hiển thị. Vì lý do này,
cốt truyện phim được tìm nạp thông qua khóa API TMDb dành cho các nhà phát triển đã đề cập trước đó và được
được liên kết với siêu dữ liệu phim tương ứng của họ (tiêu đề, thể loại, v.v.) thông qua liên kết TMDb được cung cấp
bởi MovieLens cho mỗi bộ phim được hiển thị. Tệp CSV được tạo19 chứa tổng cộng 62.324 phim
tổng quan. Các tính năng cột khác của tệp này đến từ kết quả hợp nhất của “movies.csv” &
“links.csv” do MovieLens cung cấp. Tuy nhiên, số lượng phim cuối cùng được giữ lại để phân tích dữ liệu
là 55,87720. Thủ tục đã như sau:
Ban đầu, phim và link phim do GroupLens cung cấp được hợp nhất thành một địa chỉ mới
khung dữ liệu dựa trên id phim riêng biệt của họ. Con số này đúng với 62.423 bộ phim. Tuy nhiên,
một số trong số chúng không còn liên kết đến TMDb nữa và việc liên kết những thứ đó là không thể, do đó,
một số lượng nhỏ hơn 62.324 phim có thể được liên kết và trích xuất thông qua TMDb
cơ sở dữ liệu. Trong quá trình trích xuất, có hai vấn đề chính xảy ra: phim có sẵn
id phim từ MovieLens không còn trong TMDb hoặc một số phim tồn tại trong TMDb nhưng không có
tổng quan được hiển thị sẵn nữa, điều này đã gây ra sai sót và không khớp trong quá trình xử lý dữ liệu
trích xuất, vì mỗi bộ phim riêng biệt phải được tải xuống cẩn thận và khớp với bộ phim đó
của dữ liệu MovieLens. Tổng số lần xuất hiện đó là 1.765, và kết quả là,
tổng số phim lên tới 60.559. Sau khi đọc tệp csv đã tạo và gán nó cho
một khung dữ liệu, một cuộc khám phá dữ liệu sâu hơn đã diễn ra. Chăm sóc cho các hàng chứa giá trị null có
đã được thực hiện từ các bước trước đó, tuy nhiên, các giá trị trùng lặp đã được xác định (ví dụ:
việc lặp lại phim/id phim từ MovieLens dẫn đến việc tìm nạp gấp đôi thông tin tổng quan từ
TMDb). Điều này làm giảm số lượng tổng quan phim được trích xuất xuống còn 4.682 để lọt vào phần cuối cùng của
55.877 bộ phim riêng biệt cùng với thông tin meta của chúng được hợp nhất (tiêu đề, thể loại, v.v.).
3.4 Tiền xử lý dữ liệu & Kỹ thuật tính năng

Trước khi xây dựng bất kỳ mô hình nào, cần phải xử lý trước dữ liệu hiệu quả. Một số cơ bản
các bước tiền xử lý (xử lý giá trị null, giá trị đặt sai vị trí, hình dạng không nhất quán khi
các tập dữ liệu đã được hợp nhất hoặc nối) đã diễn ra để tổng quan về phim'
việc tìm nạp có thể được thực hiện thành công và chính xác.
Trực quan hóa dữ liệu văn bản hữu ích có thể ở dạng các đám mây từ mà chúng liên kết với nhau
mô tả tần suất hoặc tầm quan trọng của từng từ trong tập dữ liệu (Vu, 2019). Hình 3.4 dưới đây
mô tả đám mây từ của tất cả các tập dữ liệu:
19
“final_8.csv”: Các cốt truyện phim được tìm nạp trong 8 lần lặp trong 8 phần để tránh sự cố đè RAM
20
“phim_final.csv”.
16
Hình 3. 4: Wordcloud của tất cả bộ dữ liệu
Tuy nhiên, bây giờ dữ liệu đã được thu thập và trước khi dữ liệu này được đưa vào mô hình, bước tiếp theo
Các bước tiền xử lý dữ liệu NLP liên quan:
- Chuyển đổi tổng quan phim sang chữ thường
- Loại bỏ dấu câu, thẻ html có thể và ký tự không phải chữ cái
- Loại bỏ các từ dừng, tùy chỉnh danh sách các từ dừng bằng cách thêm một số từ bổ sung, chẳng hạn như “một”, “hai”,
hoặc “ngang qua”, “trong”, điều này mang lại hiệu suất tốt hơn
- Sửa một số văn bản không trang trọng trong từ vựng của phần tổng quan, ví dụ “what's” was
được chuyển đổi thành “cái gì”
- Áp dụng từ gốc, thực chất là loại bỏ hậu tố trong một từ và rút gọn về từ gốc (Srivastava, 2019). Ví dụ: từ gốc của:
“vui vẻ”, “vui vẻ” và “thích thú” sẽ là “amus”. Việc áp dụng từ gốc hoặc từ vựng có thể giúp nâng cao hiệu suất
của các mô hình, trái ngược với trường hợp văn bản thô (Riedl & Biemann, 2017:p.7)
Sau khi áp dụng các phép biến đổi trên vào văn bản tổng quan, kỹ thuật tính năng
đã theo sau. Các cột dữ liệu tại thời điểm này có thể được hiển thị trong bảng 3.1:
17
BIẾN MÔ TẢ DTYPE
1 Mã phim Id phim trong MovieLens Numerical (int64)
2 TmdbId Id phim ở dạng TMDb Số (float64)
3 Tiêu đề Tên phim Phân loại (đối tượng)
4 thể loại Một hoặc nhiều thể loại cho mỗi bộ phim Phân loại (đối tượng)
5 Tổng quan Tổng quan về phim Phân loại (đối tượng)
6 Vader_score Từ điển điểm số của Vader Phân loại (đối tượng)
7 Vader_hợp chất Điểm tổng hợp của Vader Số (float64)
8 Vader_cực Tích cực/trung tính/tiêu cực Phân loại (đối tượng)
9 NMF_topic Số trong phạm vi [0, 6] Số( int64)
bao gồm 7 chủ đề bắt nguồn từ tài

liệu NMF
10 NMF_topic_description Mô tả chủ đề Phân loại (đối tượng)

11 thực thể Một hoặc nhiều thực thể cho mỗi phim Phân loại (đối tượng)
Bảng 3. 1: Các cột dữ liệu trước khi tiền xử lý dữ liệu
Pandas21 là thư viện phần mềm được viết bằng ngôn ngữ lập trình python để xử lý dữ liệu
thao tác và phân tích. Sử dụng phương thức “astype()”22 của gấu trúc cho biến “Vader_comound”,
được hiển thị dưới dạng từ điển chứa các ý kiến tiêu cực, tích cực, trung tính và
điểm tổng hợp, đã được phân tách thành công thành 4 cột mới, mỗi cột thể hiện
điểm trên. Theo đó, một kỹ thuật tính năng liên quan đến “các thực thể” đã xảy ra để tất cả các thực thể
cho mỗi phim được hiển thị trong một và trong giao điểm tương ứng của khung dữ liệu.
Tuy nhiên, về các giá trị số thì không cần mã hóa, cần cẩn thận
liên quan đến các loại phân loại: biến “tổng quan” chứa văn bản tường thuật nên
được xử lý đặc biệt và riêng biệt bằng các kỹ thuật NLP. Ngoài ra, còn điều tra loại phân loại
của các biến phân loại là một bước thiết yếu trước khi đưa chúng vào mô hình. Ví dụ,
coi một biến phân loại danh nghĩa là biến thứ tự, sẽ ảnh hưởng đến việc chuyển đổi chính xác của chúng
thành kiểu dữ liệu số. Hàm LabelEncode có thể dẫn đến việc hiểu sai chính xác nếu
nó được áp dụng cho các biến phân loại danh nghĩa vì nó sẽ tạo ra trọng số thứ tự xếp hạng
(Pathak, 2020). Vì lý do này, OneHotEncode23 đã được sử dụng để chuyển đổi đúng
các biến phân loại thành biểu diễn số của chúng.
3.5 Sự phù hợp của mô hình đối với nhiệm vụ của dự án
Phần giới thiệu cơ bản về các loại vấn đề phân loại và bộ phân loại khác nhau là
được coi là cần thiết để tìm kiếm và lựa chọn đúng cho dự án này. Đầu tiên và
Trước hết, trong phân loại nhị phân, bộ phân loại nhị phân có thể phân biệt giữa hai lớp trong khi
21
https://pandas.pydata.org/
22
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.astype.html
23
https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncode.html
18
trong phân loại nhiều lớp, bộ phân loại có thể phân biệt nhiều hơn hai lớp (Li, 2018a).
Tuy nhiên, khi đầu ra cuối cùng bao gồm nhiều thẻ nhị phân thì đây được gọi là nhiều nhãn.
phân loại (hoặc đa thức) và phần mở rộng của phân loại đó là phân loại nhiều lớp-nhiều đầu ra
trong đó bản thân mỗi nhãn có thể là nhiều lớp (Géron, 2019:pp.100–107).
Dựa trên tài liệu API scikit-multilearn24 và bài viết tương ứng (Szymánski &
Kajdanowicz, 2019), bộ phân loại Độ dốc ngẫu nhiên (SGD), bộ phân loại Rừng ngẫu nhiên và
Bộ phân loại Naïve Bayes có thể tiến hành phân loại nhiều lớp. Hồi quy logistic và
Máy vectơ hỗ trợ (SVM) chủ yếu phù hợp làm máy phân loại nhị phân. Tuy nhiên, có
cách thức phân loại nhiều lớp hoặc nhiều nhãn có thể được thực hiện ở đây với nhiều nhị phân
bộ phân loại: với bộ phân loại Một so với Phần còn lại (OvR) hoặc với bộ phân loại Một so với Một (Ovo). bên trong
Trong trường hợp OvR, sáu bộ phân loại nhị phân phải được đào tạo, một bộ phân loại cho mỗi cảm xúc trong số 6 cảm xúc,
kết hợp đầu ra của sáu bộ phân loại thành một phương thức tập hợp Với OvO, một bộ phân loại nhị phân sẽ
được huấn luyện cho từng cặp cảm xúc, ví dụ: một bộ phân loại để phân biệt cảm xúc “hạnh phúc”
từ “nỗi buồn”, bộ phân loại khác phân biệt “hạnh phúc” với “tức giận”, v.v. Trong mỗi
trường hợp, Scikit-Learn có thể ngầm hiểu khi nào thuật toán phân loại nhị phân được sử dụng cho
phân loại nhiều lớp và tự động chạy OvR hoặc OvO (Géron, 2019:p.101).
Để có được sự linh hoạt và cơ hội sử dụng một loạt các mô hình phân loại,
không nhất thiết bị hạn chế trong các nhiệm vụ đa nhãn, vấn đề phân loại của dự án sẽ là
được coi như một nhiệm vụ phân loại đa lớp 6 nhị phân, trong đó 2 lớp sẽ là 1 hoặc 0 cho mỗi
cảm xúc được hiển thị/không được hiển thị. Nói cách khác, bài toán đa nhãn sẽ được phân tích thành
một tập hợp 6 bài toán phân loại con, mỗi bài toán đó sẽ là một bài toán phân loại nhị phân, một phương pháp luận
điều này phổ biến và hiệu quả trong các vấn đề phân loại đa nhãn (Nag, 2019).
3.6 Số liệu đánh giá phân loại đa nhãn
Trong quá trình xây dựng một số mô hình và triển khai chúng, chủ yếu có ba đánh giá
các số liệu đã được sử dụng để so sánh và đó là: điểm f1 trung bình vi mô, tập hợp con trung bình
điểm chính xác và điểm xác nhận chéo trung bình. Cuối cùng và khi mô hình cuối cùng được tìm thấy,
sau đó điều này được đánh giá thêm bằng chỉ số tổn thất hamming và với điểm AUC để
đạt được một phổ đánh giá đầy đủ.
So với các thước đo đánh giá truyền thống cho các vấn đề phân loại, ở đây có sự khác biệt
nên tuân theo cách tiếp cận này (Jain, 2017). Điều này xảy ra bởi vì việc đánh giá độ chính xác truyền thống
điểm sẽ cho điểm 0 đối với bộ phân loại dự đoán đúng một số nhãn chứ không phải tất cả
24
http://scikit.ml/api/skmultilearn.html#classifiers-and-tools
19
họ. Nói cách khác, trong phân loại đa nhãn, không nên phân loại sai một đơn vị
được coi là một dự đoán sai (Nooney, 2018): ví dụ nếu một bộ phim có 4 cảm xúc thì một
bộ phân loại dự đoán chính xác cả ba sẽ tốt hơn một bộ phân loại dự đoán hai trong số
bốn cảm xúc.
3.6.1 Số liệu chính xác
Độ chính xác của tập hợp con (Tỷ lệ khớp chính xác)
Độ chính xác của tập hợp con, như đã đề cập trước đó, về cơ bản là thước đo nghiêm ngặt nhất, mang lại
tỷ lệ phần trăm mẫu có tất cả các nhãn được phân loại chính xác (Nooney, 2018), phương trình của nó
nằm trong phương trình 3.1. Vì lý do này, thay vì tính toán độ chính xác của tập hợp con trên tất cả các nhãn (sáu
nhãn-sáu cảm xúc), nhà nghiên cứu ở đây quyết định tính toán độ chính xác của tập hợp con cho mỗi nhãn
riêng biệt (vì tác vụ đa nhãn được coi là tập hợp các nhãn đa lớp 6 nhị phân), sau đó
tính giá trị trung bình của chúng. Điều này đã được quyết định để không báo cáo độ chính xác của tập hợp con
chấm điểm cho từng cảm xúc trong số sáu cảm xúc riêng biệt và cho tất cả các mô hình được xây dựng trong các phần tiếp theo.
1
ℎ , = ̂ )
( =
=1
Phương trình 3. 1: Tỷ lệ khớp chính xác - Độ chính xác của tập hợp con
Điểm chính xác xác thực chéo:
Cơ sở lý luận tương tự như về độ chính xác của tập hợp con, nhưng ở đây tính toán độ chính xác trên đường chéo k-fold
validation25, giả định trước sự tồn tại của một bộ xác thực. Trong quá trình triển khai các mô hình,
tham số “CV” của phương pháp cross_val_score() của Scikit-Learn để xác định chéo
phân tách xác thực được đặt thành 3 (3 lần). Một số lượng lớn hơn sẽ được đưa ra nếu kích thước của
tập dữ liệu huấn luyện lớn hơn, nhưng điều này sẽ không có nhiều ý nghĩa trong nhiệm vụ cụ thể khi
khung dữ liệu được gắn nhãn tương đối nhỏ. Một lần nữa, giá trị trung bình của điểm xác nhận chéo trên
6 cảm xúc đã được tính toán và báo cáo.
25
https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_score.html
20
Điểm F1
F1 có thể được hiểu là giá trị trung bình có trọng số của độ chính xác và thu hồi, biểu thị
về cơ bản là giá trị trung bình hài hòa của chúng (Venkatesan & Joo Er, 2014) và phạm vi giá trị kết quả có thể có
trong (0, 1), trong đó điểm F1 đạt giá trị tốt nhất là 1 (Scikit-Learn, 2020b). Điểm vi mô f1 (phương trình
3.2) đã được quyết định tính toán vì trong nhiệm vụ phân loại đa nhãn, nó nhấn mạnh nhiều hơn vào
các nhãn chung trong tập dữ liệu bằng cách cung cấp cho mỗi mẫu mức độ quan trọng như nhau (Peltarion,
2020), trái ngược với “macro” f1, dựa trên tài liệu26, nó không có nhãn
tính đến sự mất cân bằng.
1 = 2
+
Phương trình 3. 2: Điểm Micro F1
Hamming mất mát
Thay vì đếm số lượng các trường hợp dữ liệu được phân loại chính xác, Hamming Loss
tính toán tổn thất bắt nguồn từ chuỗi bit của nhãn lớp trong quá trình dự đoán. Nó thực thi XOR
hoạt động giữa chuỗi nhị phân ban đầu của nhãn lớp và nhãn lớp được dự đoán cho một
trường hợp dữ liệu (Nag, 2019). Đơn giản hơn, đó là phần nhãn được dự đoán sai,
tức là tỷ lệ nhãn sai trên tổng số nhãn (Nooney, 2018). cuối cùng
hamming loss cho biết tỷ lệ phần trăm của các nhãn sai đó (trên tổng số nhãn), trong đó
trái ngược với các số liệu độ chính xác khác, một bộ phân loại hoàn hảo có tổn thất hamming với giá trị 0
(Venkatesan & Joo Er, 2014). Trong phương trình 3.3, ”|N|” là số lượng phiên bản dữ liệu, |L| các
số lượng của không gian lớp, yi,j bit thực tế của nhãn lớp j trong trường hợp dữ liệu I và ^yi,j dự đoán
bit của nhãn lớp j trong trường hợp dữ liệu i. Cuối cùng, tổn thất hamming có thể được tính toán bằng Scikit-Learn's
hàm hamming_loss27 .
| | | |
1
| | | |=1
( , ̂ )
=1
Phương trình 3. 3: Tổn thất Hamming
26 https://scikit-learn.org/stable/modules/generated/sklearn.metrics.f1_score.html
27
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.hamming_loss.html
21
Ba chỉ số đầu tiên ở trên được thực thi và tính toán ban đầu bằng cách sử dụng bộ xác thực.
Điều này được thực hiện chủ yếu vì hai lý do: chỉ nên sử dụng dữ liệu thử nghiệm khi một mô hình có triển vọng
đã được tìm thấy và thứ hai, bằng cách sử dụng bộ xác thực, có thể kết luận một cách an toàn mức độ
mô hình có thể được khái quát hóa và đạt được kết quả tốt, có tính đến mức độ tiềm năng
trang bị quá mức hoặc thiếu trang bị cho tập huấn luyện. Sau khi đã tìm ra mô hình cuối cùng, những
số liệu đã được áp dụng lại, cùng với việc tính toán số liệu tổn thất Hamming và
Điểm ROC-AUC.
3.7 Xử lý ngôn ngữ tự nhiên (NLP)

3.7.1 Giới thiệu NLP
NLP, còn được gọi là ngôn ngữ học tính toán (Hirschberg & Manning, 2015:p.261), là một
lĩnh vực liên ngành của khoa học máy tính và thông tin, trí tuệ nhân tạo và ngôn ngữ học,
khám phá ngôn ngữ tự nhiên trong văn bản hoặc bài phát biểu (Liu, Li & Thomas, 2017:p.1112), và đó là
được sử dụng để thu thập thông tin chuyên sâu từ lượng dữ liệu văn bản đáng kể (Quang 2017). Ngoài thực thể
trích xuất và phân tích tình cảm, trường NLP có thể bao gồm: tóm tắt văn bản tự động, máy
dịch thuật, tìm kiếm thông tin, trả lời câu hỏi, đọc máy (Hirschberg & Manning,
2015:p.263), tạo văn bản, nhận dạng giọng nói và chú thích ngữ nghĩa (Liu, Li & Thomas,
2017:p.1115), cũng như các hệ thống đối thoại bằng giọng nói và tác nhân đàm thoại (Hirschberg &
Manning, 2015:p.262).
Phân tích tình cảm là một lĩnh vực của NLP tập trung vào phân tích thái độ của mọi người
đối với các thực thể (Tkalčič và cộng sự, 2016:p.119). Những thực thể này có thể là con người, chẳng hạn như các cá nhân,
hoặc một nhóm người (tổ chức, mạng xã hội, v.v.), sản phẩm/dịch vụ, sự kiện và chủ đề.
Một số nhiệm vụ chính và nổi tiếng trong lĩnh vực này là xác định sự phân cực, đó là
nhiệm vụ xác định một tuyên bố là tích cực, tiêu cực hoặc trung tính (Géron, 2019:p.534;
Maynard, Bontcheva & Augenstein, 2017:p.76), việc phát hiện tính chủ quan của tình cảm (Topal,
Koyutürk & Özsoyoğlu, 2017:p.3), cũng như việc xác định quan điểm dựa trên cảm tính
phân loại và xác định các trạng thái niềm tin trên cơ sở thông tin từ vựng và cú pháp
(Hirschberg & Manning, 2015:p.265).
Nói chung, NLP có thể cung cấp những hiểu biết sâu sắc đáng kể trong việc xử lý và khám phá dữ liệu văn bản
trong một lĩnh vực đang mở rộng, từ tâm lý học nhận thức đến trí tuệ nhân tạo (Crowston, Allen
& Heckman, 2012:p.525), lấp đầy khoảng cách giữa giao tiếp của con người và máy móc
hiểu biết (SAS Institute Inc., 2019:p.7). Sau khi làm sáng tỏ và xử lý các tài liệu phi cấu trúc
văn bản thông qua NLP, Hiểu ngôn ngữ tự nhiên (NLU) được sử dụng để hiểu sâu hơn về
22
dữ liệu giúp Tạo ngôn ngữ tự nhiên (NLG) có thể tạo ra ngôn ngữ của con người cho
các lĩnh vực và nhiệm vụ cụ thể (SAS Institute Inc., 2019:p.7).
Cuối cùng, thách thức trong lĩnh vực này dường như liên quan đến việc tạo ra cảm xúc, tức là
xác định những cảm xúc như trầm cảm hay vui vẻ (Hirschberg & Manning, 2015),
thực tế mà công việc của dự án này có thể đóng góp.
3.7.2 Triển khai NLP
Đối với nhiều kỹ thuật NLP khác nhau, nhà nghiên cứu đã sử dụng rộng rãi spaCy28
môi trường. SpaCy là thư viện NLP. Nó có thể áp dụng nhiều tính năng, chẳng hạn như mã thông báo, NER, POS
Thẻ, mô hình hóa chủ đề và nó cũng bao gồm các vectơ từ trong khi nó có thể dễ dàng được tích hợp với sâu
thuật toán học tập. Nhà nghiên cứu đã thử nghiệm với nhiều thư viện khác nhau, chẳng hạn như
“Transformers”29, nhưng lý do anh quyết định tiếp tục với thư viện spaCy là vì thư viện thứ hai của nó
phiên bản được phát hành năm 2017 cung cấp trình phân tích cú pháp nhanh nhất trên toàn thế giới với độ chính xác của nó
ít hơn 1% mức tốt nhất hiện có so với một số hệ thống được đánh giá năm 2015 (Choi, Tetreault
& Stent, 2015).
Sau khi tích hợp môi trường spaCy, nhà nghiên cứu khám phá một loạt các hoạt động thường xuyên
biểu thức, tiến tới mã hóa và thẻ phần lời nói (POS) chi tiết. Như nhau
các từ có thể có thứ tự khác nhau trong chuỗi câu và ý nghĩa khác nhau. SpaCy tạo
một đối tượng “Doc” có thể được sử dụng sau khi mã hóa và sử dụng các tính năng ngôn ngữ, nó có thể phân tích và
gắn thẻ một Tài liệu nhất định. Hình 3.5 minh hoạ ứng dụng POS ngay trong câu đầu tiên của
tổng quan về phim đầu tiên trong tập dữ liệu.
Hình 3. 5: Một phần của Thẻ lời nói
28 https://spacy.io/
29
https://github.com/huggingface/transformers
23
3.7.3 Phân tích tình cảm
Sau đó, nhà nghiên cứu tiến hành phân tích tình cảm liên quan đến tổng quan về phim.
Mặc dù phân tích tình cảm và xác định các cực không dẫn đến việc nhận biết cảm xúc,
nhà nghiên cứu, cố gắng tìm các tính năng bổ sung hữu ích trong bối cảnh kỹ thuật tính năng
có khả năng thúc đẩy bất kỳ mô hình dự đoán cảm xúc nào, anh quyết định tìm hiểu
tính phân cực của tổng quan. Bộ công cụ ngôn ngữ tự nhiên30 (NLKT) cung cấp VADER của NLTK
module31 (Hutto & Gilbert, 2014) là viết tắt của Từ điển nhận biết hóa trị cho sEntiment
Lý luận. Phương thức SentimentIntensityAnalyzer() của Vader có thể trả về một từ điển điểm số với
liên quan đến bốn loại, tức là cực âm [0 , 1], cực dương [0 , 1], cực trung tính [0, 1] và cực
điểm tổng hợp [-1, 1] được tính bằng cách chuẩn hóa các điểm trên và nó có nghĩa là
cực dương nếu điểm lớn hơn 0, trung tính nếu bằng 0, ngược lại là âm. Tại đây
giai đoạn này, nhà nghiên cứu giới thiệu 2 tính năng cột mới trong khung dữ liệu và đây là
bao gồm các điểm tổng hợp ở trên (biến “Vader_score”) cộng với độ phân cực được xác định cho
tổng quan về từng bộ phim (“Vader_polality”). Như có thể thấy trong biểu đồ ở hình 3.6 và trong
biểu đồ thanh của hình 3.7, phần lớn 49,89% ý kiến tổng quan về phim có tính phân cực là âm (âm
điểm tổng hợp) với gần 28.000 lượt xem phim, theo sau là 23.815 lượt tích cực
tổng quan về phân cực (42,62%), trong khi tỷ lệ phần trăm nhỏ hơn là 7,5% tổng số phim được xác định
với cực tính trung tính.
30 https://www.nltk.org/
31 https://www.nltk.org/_modules/nltk/sentiment/vader.html
24
Hình 3. 6: Biểu đồ Điểm tổng hợp của Vader
Hình 3. 7: Phân cực của Vader trong cốt truyện phim
3.7.4 Lập mô hình chủ đề
Sau đó, một trong những nhiệm vụ nổi tiếng trong NLP là lập mô hình chủ đề. Đó là về sự khám phá
của các chủ đề được đưa ra trong một bộ sưu tập tài liệu (Jagota, 2020). Nói rộng hơn, nó là một hệ thống không được giám sát
25
kỹ thuật học tập thực hiện đồng thời việc giảm kích thước và phân cụm
(Portilla, 2019; Chawla, 2017). Chủ yếu có hai cách phổ biến để thực hiện mô hình hóa chủ đề,
bằng Phân bổ Dirichlet tiềm ẩn (LDA) hoặc thông qua Hệ số ma trận không âm
(NMF) (Dwivedi, 2018; Jagota, 2020; Salgado, 2016; Chawla, 2017; Portilla, 2019). Nghiên cứu
quyết định chọn NMF vì hai lý do: nó có thể được coi là có khả năng mở rộng cao hơn (Salgado, 2016)
và bởi vì nó có thể học được nhiều chủ đề rời rạc hơn LDA (Stevens và cộng sự, 2012:p.960), và cuối cùng
nó có thể được sử dụng cùng với TF-IDF (Portilla, 2019), sẽ được đề cập sau. Tạo
ma trận thuật ngữ tài liệu thông qua NMF, ma trận thưa thớt được tạo với hơn 1,4m được lưu trữ
các phần tử và mỗi phần tổng quan về phim được gán khoảng 40.000 thuật ngữ. Cần phải đưa
một số chủ đề được xác định trước (“n_thành phần”) mà ai đó muốn khám phá và
nhà nghiên cứu đã thử nghiệm với một loạt các chủ đề. Vì có quyền truy cập vào hầu hết
từ phổ biến cho mỗi chủ đề, nhà nghiên cứu quyết định rằng số 7 có thể là một con số tốt để
thể hiện phạm vi của các chủ đề khác nhau liên quan đến tổng quan của tất cả các tập dữ liệu. Cuối cùng, sau
phân bổ mọi chủ đề bằng một mô tả, các chủ đề đã được chỉ định và biểu đồ hình tròn ở phần tiếp theo
hình mô tả sự phân bổ của những thứ đó trên tập dữ liệu.
Hình 3. 8: Lập mô hình chủ đề - Biểu đồ hình tròn
26
3.7.5 Nhận dạng thực thể được đặt tên (NER)
Được giới thiệu ở phần đầu của phần này, NER cũng có thể được gọi là phân chia thực thể,
trích xuất hoặc nhận dạng là nhiệm vụ xác định, phân loại và trích xuất thông tin chính
trong văn bản thành các danh mục, được gọi là thực thể (Li, 2018b; Marshall, 2019). Một lần nữa, spaCy có thể cung cấp
kết quả mạnh mẽ trong lĩnh vực này, vượt trội so với các thư viện phổ biến khác như Apache OpenNLP
và TensorFlow khi nói đến sản phẩm NER. Cụ thể hơn, dựa trên các nghiên cứu (Shelar
và cộng sự, 2020), quy trình của spaCy về NER được kết hợp với độ chính xác của điểm F cho mỗi cá nhân
tag, trong khi tổn thất đào tạo của nó có thể giảm đi sau mỗi lần lặp lại quá trình đào tạo (Shelar và cộng sự, 2020:p.9).
Khám phá hàm '.label_' của thực thể, có tổng cộng 18 thẻ NER32 (Portilla, 2019) có thể
được mô tả trong bảng sau:
KIỂU SỰ MIÊU TẢ VÍ DỤ
'NGƯỜI' Những người, bao gồm cả các Freddie Thủy Ngân

'NORP' Quốc tịch/nhóm tôn giáo hoặc Đảng Dân chủ
chính trị hư cấu

'FAC' Các tòa nhà, sân bay, cầu, v.v. Tháp Eiffel, Charles de
Gaulle, Cầu Tháp

'ORG' Các công ty, cơ quan, tổ Microsoft, MIT
chức, v.v.
'GPE' Quốc gia, thành phố, tiểu Pháp, Rome

'LỘC' bang Các địa điểm không thuộc Châu Âu, Sông Nile
GPE, dãy núi, vùng nước

'SẢN PHẨM' Đồ vật, phương tiện, thực phẩm, v.v. Công thưc 1
(không phải dịch vụ)
'SỰ KIỆN' Đặt tên cho các cơn bão, trận chiến, trò chơi Olympic
chiến tranh, sự kiện thể thao
'CÔNG VIỆC NGHỆ THUẬT' Tên sách, bài hát, v.v. nàng Mona Lisa
'PHÁP LUẬT' Đặt tên các văn bản đã thành luật Roe kiện Wade
'NGÔN NGỮ' Bất kỳ ngôn ngữ được đặt tên nào Tiếng Anh
'NGÀY' Ngày/thời gian tuyệt đối 20 tháng 4 năm 1960
hoặc tương đối

'THỜI GIAN' Thời gian nhỏ hơn một ngày 3 giờ
'PHẦN TRĂM' Phần trăm, bao gồm “%” Bảy mươi phần trăm
'TIỀN BẠC' Giá trị tiền tệ, bao gồm cả đơn vị Ba mươi xu
'SỐ LƯỢNG' Các phép đo, về trọng lượng Vài dặm, 100kg
hoặc khoảng cách

'Hồng Y' Các chữ số không thuộc loại 2, Năm mươi lăm
khác
Bảng 3. 2: Nhận dạng thực thể tên (NER)
32
https://spacy.io/api/entityrecognizer
27
Như có thể thấy trong hình 3.9, các thẻ NER của phần tổng quan về phim đầu tiên , xảy ra
là bộ phim hoạt hình nổi tiếng “Toy Story” (1995), bao gồm 9 thực thể, trong đó có 7 thực thể thuộc về
cho 'PERSON' và hai nhãn cho thẻ 'ORG'.
Hình 3. 9: Các thực thể trong Tổng quan về phim đầu tiên
Tại thời điểm này, nhà nghiên cứu sau khi khám phá tỷ lệ phần trăm của từng thẻ trong tập dữ liệu,
đã quyết định tiến hành phân nhóm chi tiết hơn, giảm số lượng thẻ NER từ 18 xuống 13.
Vì nhiều thẻ không phổ biến trong tập dữ liệu và có tính đến một số thẻ
nhãn của các thực thể có một số điểm tương đồng về mặt khái niệm, nhà nghiên cứu quyết định tham gia 'Ngày',
Thẻ NER 'Cardinal' và 'Time' tạo thẻ NER tùy chỉnh 'entity_time', cũng như 'Fac' và 'ORG'
được hợp nhất với nhau ('entity_fac_org') và cuối cùng là thẻ mới 'entity_measurements' thay thế
Thẻ 'Phần trăm' và 'Thứ tự'. Điều này tạo thành một sự phân bổ mới các thực thể trong tập dữ liệu, có thể
xem trong hình 3.10:
28
Hình 3. 10: Phân bổ thẻ NER trong Tập dữ liệu
Ở giai đoạn này và sau khi đã khám phá ra các thực thể cho mọi tổng quan về phim
riêng biệt, nhà nghiên cứu quyết định thêm một “thực thể” tính năng mới vào khung dữ liệu. Như nó có thể
được hiểu rõ, việc lập mô hình chủ đề cùng với thẻ NER có thể là công cụ thành công cho nội dung
phân loại trên các tài liệu lớn phi cấu trúc và chúng được sử dụng làm thuộc tính mới. Tất cả
đã nói ở trên đã dẫn đến việc xây dựng một tệp CSV mới33 trong đó mọi phim đều được tích hợp với
các đối tượng NLP sắp xảy ra của nó.
3.8 Dán nhãn cảm xúc

Dựa trên việc xem xét tài liệu, nhà nghiên cứu quyết định tiến hành nghiên cứu 6 của Ekman
các lớp học cảm xúc, và đó là:
1) Hạnh phúc
2) Nỗi buồn
3) Tức giận
4) Kinh tởm
33
'phim_final_2.csv'
29
5) Sợ hãi
6) Bất ngờ
Mục tiêu chính ở đây là xây dựng một mô hình cung cấp một kho văn bản mà nó có thể dự đoán và
tạo ra những cảm xúc mong muốn. Để đạt được điều này cần có sự tồn tại của
dữ liệu được dán nhãn liên quan đến những cảm xúc đó. Dựa trên nhiều nghiên cứu, không có bộ dữ liệu nào được
được tìm thấy với những cảm xúc được dán nhãn, và đặc biệt là những cảm xúc này được thực hiện ở đây. Mặc dù một số công việc tương đối
có thể được tìm thấy (Google Colaboratory, nd; Zablocki, 2020a, 2020c, 2020b), những thứ này không khớp với
những cảm xúc sắp xảy ra được sử dụng trong dự án này và do đó cần phải tiến hành hướng dẫn sử dụng
ghi nhãn của những cái đó.
3.8.1 Quy trình ghi nhãn
Việc dán nhãn sẽ diễn ra dựa trên đánh giá tốt nhất có thể của nhà nghiên cứu, sau khi đọc và
nghiên cứu một lượng dữ liệu cụ thể, trong trường hợp này là tổng quan về phim của tập dữ liệu được đề cập trong
các phần trước. Chỉ có một người (nhà nghiên cứu) sẽ dán nhãn dữ liệu.
Quy tắc trong quá trình ghi nhãn
Tổng số sáu cảm xúc đã được chọn. Một bộ phim có thể được gắn thẻ không
cảm xúc hoặc kết hợp nhiều cảm xúc với số lượng tối đa là 5 cảm xúc. Cái này
xảy ra bởi vì nhà nghiên cứu quyết định rằng cảm xúc “hạnh phúc” không thể đồng nhất với cảm xúc
“nỗi buồn” và ngược lại. Điều này không có nghĩa là phần tổng quan về phim có thể không chứa cả hai
cảm xúc, nhưng lý do cơ bản đằng sau việc gắn nhãn là nếu tổng quan về phim chứa cả hai điều này
cảm xúc nào thì cảm xúc nào chiếm ưu thế sẽ được dán nhãn. Tất cả những sự kết hợp còn lại của cảm xúc
có thể được hiển thị và được chấp nhận. Ví dụ, một bộ phim có thể được dán nhãn là hạnh phúc và
sợ hãi cùng một lúc, nhưng không phải với hạnh phúc, giận dữ và buồn bã.
Việc ghi nhãn sẽ có dạng nhị phân (điểm 0 hoặc 1) và do đó, không có sự phân cấp/phân cấp của
cảm xúc diễn ra. Vì lý do này, việc ước tính số lần xuất hiện tối đa của
những cảm xúc mà một bộ phim có thể có, chúng ta nên nói về sự kết hợp không có trật tự và không có
sự lặp lại. Nó không thuộc về hoán vị vì thứ tự không quan trọng, tức là cảm xúc
“sợ hãi” có thể đi trước cảm xúc “ghê tởm” - và ngược lại, không có sự lặp lại vì
cùng một cảm xúc không nên được thể hiện hai lần trong một bộ phim cụ thể. Công thức (Edgell, 2016;
Academy, 2020) về các kết hợp để tìm ra số lượng phù hợp của tất cả các cảm xúc có thể có'
các lần xuất hiện có thể được cho bởi phương trình 3.4. “C” là số cách kết hợp có thể có, và điều này
30
có thể được tìm thấy bằng cách chia số giai thừa của “n” (số đối tượng để chọn) với
sản phẩm đến từ giai thừa “r” (số lượng đối tượng được chọn) và giai thừa của nr.
!
= =
( ) = ( ) = ! ( )!
Phương trình 3. 4: Tính toán các tổ hợp có thể có
Trong nhiệm vụ này, n=5 mỗi lần (số lượng cảm xúc được hiển thị tối đa), nhưng “r” thay đổi và
phụ thuộc vào số lượng cảm xúc cuối cùng mà một bộ phim có thể có (một bộ phim có thể có từ 0 đến 5
cảm xúc có thể có). Thực hiện phương trình này 6 lần, mỗi lần với giá trị r trong khoảng [0, 5]34
theo đó, có thể thấy rằng số lượng kết hợp cảm xúc tối đa có thể có35 là
32.
Số lượng dữ liệu được gắn nhãn
Không có câu trả lời đúng về lượng dữ liệu được dán nhãn cần thiết ít nhất để
đưa nó vào một mô hình và học hỏi từ đó, bởi vì điều này phụ thuộc vào nhiệm vụ và mục đích của nó.
Tuy nhiên, nói chung có một số kỹ thuật, chẳng hạn như học chuyển giao, không giám sát
đào tạo trước và tăng cường dữ liệu có thể làm giảm bớt vấn đề này. (Géron, 2019; Biering, 2020).
Cái trước có thể truyền tải kiến thức từ một nhiệm vụ tương đối bằng cách sử dụng các mô hình được đào tạo trước đã được tích hợp sẵn
một lượng dữ liệu khổng lồ (sẽ được thảo luận sau khi áp dụng nó), tuy nhiên đối với việc này
nhiệm vụ của dự án, điều này chỉ có thể được sử dụng để đạt được những hiểu biết sâu sắc về tổng quan phim.
Việc đào tạo trước không được giám sát (hoặc tự giám sát) có thể được sử dụng để đào tạo một mô hình không được giám sát36, và
bằng cách sử dụng các lớp thấp hơn và bằng cách thêm lớp đầu ra cho nhiệm vụ cụ thể, mô hình cuối cùng có thể
được tinh chỉnh bằng cách sử dụng phương pháp học có giám sát cùng với dữ liệu được gắn nhãn (Géron, 2019:p.349). Cái này
cách tiếp cận có thể gần với nhiệm vụ này, tuy nhiên không có dữ liệu được gắn nhãn nào được tìm thấy từ
một vài nơi. Cuối cùng, việc tăng cường dữ liệu có thể nhân dữ liệu đã được dán nhãn một cách giả tạo với
tạo ra các điểm dữ liệu mới dựa trên những điểm hiện có. Điều này hoàn toàn có thể áp dụng được trong lĩnh vực
phân loại hình ảnh, ví dụ, trong đó các kỹ thuật tăng cường dữ liệu có thể xoay một hình ảnh hiện có
hình ảnh hoặc thay đổi độ phân giải của nó để tạo ra một hình ảnh mới một cách nhân tạo theo cách này.
Như có thể hiểu, cần phải dán nhãn phim theo cách thủ công liên quan đến 6
những cảm xúc. Nhà nghiên cứu ban đầu bắt đầu với 200 bộ phim được dán nhãn, tuy nhiên khi xem xét điều đó
34
r=0, khi không có cảm xúc nào được hiển thị cho một bộ phim, r=1 khi kết quả là 1 cảm xúc, v.v. cho đến khi
r=5 đạt được tất cả năm cảm xúc tối đa có thể có trong số sáu cảm xúc
35
Xem xét, như đã đề cập trước đó, hai cảm xúc (vui và buồn) không nên được hiển thị đồng thời.
36
Ví dụ: bộ mã hóa tự động hoặc Mạng đối thủ sáng tạo (GAN)
31
có 32 kết hợp có thể có và không nên sử dụng tất cả lượng dữ liệu được gắn nhãn
để đào tạo (tức là cũng cần có một bộ kiểm tra và xác nhận) và vì sau một số lần ban đầu
thí nghiệm, kết quả không mấy khả quan, cuối cùng nhà nghiên cứu phải dán nhãn
300 phim37 . Trong bối cảnh cố gắng giảm bớt sự thiên vị đối với việc cung cấp dữ liệu cho mô hình,
nhà nghiên cứu quyết định gắn nhãn cho 25 bộ phim từ 12 thể loại phim. Điều này xảy ra bởi vì
nuôi dưỡng người mẫu bằng những cảm xúc chỉ học được từ phim hài hoặc kịch sẽ không
đưa ra sự phân bố đồng đều về tất cả các chủ đề của phim.
Trong bộ dữ liệu phim cũng như trong cơ sở dữ liệu phim, một bộ phim thường được hiển thị với hai đến
bốn thể loại. Sau khi phân tích dữ liệu, làm sạch và kỹ thuật tính năng liên quan đến thể loại phim
trong tập dữ liệu, hình 3.11 mô tả 30 thể loại phim hàng đầu và có tổng cộng 13 thể loại riêng biệt
ngoài:
Hình 3. 11: 30 thể loại phim hàng đầu trong Bộ dữ liệu
Coi thể loại “Hoạt hình” và “Trẻ em” là một38, nhà nghiên cứu cuối cùng đã gắn nhãn
300 phim thuộc các thể loại sau:
37
Dán nhãn_300_Movies.xlsx
38
Nhà nghiên cứu quyết định kết hợp hai thể loại này vì 1) chúng có nhiều khả năng tái tạo những cảm xúc giống nhau
nhất, 2) chúng thuộc danh sách cuối cùng trong số các thể loại phổ biến nhất, 3) Trong nhiều trường hợp, trong tập dữ liệu chúng
32
1) Kịch
2) Hài kịch
3) Phim tài liệu
4) Lãng mạn
5) Kinh dị
6) Phim kinh dị
7) Tội ác
8) Chiến tranh
9) Phương Tây
10) Hành động
11) Khoa học viễn tưởng
12) Hoạt hình & Trẻ em
Sau khi dán nhãn thành công, hình 3.12 và 3.13 mô tả hệ nhị phân
phân bổ cảm xúc cũng như tỷ lệ phân bổ các lớp cảm xúc trong suốt quá trình
thủ tục ghi nhãn:
Hình 3. 12: Dán nhãn cảm xúc - 300 Phim
được hiển thị cùng nhau, xem xếp hạng “25” trong hình 3.11, 4) nếu 25 phim thuộc mỗi thể loại trong số 2 thể loại này được dán
nhãn riêng biệt thì điều này có nghĩa là các thể loại khác phổ biến hơn khác sẽ xuất hiện ít hơn trong tập dữ liệu.
33
Hình 3. 13: Biểu đồ hình tròn: Phân bổ cảm xúc - Dán nhãn cảm xúc
Trong khi hình sau đây, hình 3.14, biểu thị số lượng kết hợp của
cảm xúc cho mỗi bộ phim, hơn 300 tổng quan về phim được gắn nhãn. Như có thể thấy, một trong những
Nhược điểm của việc ghi nhãn thủ công là số ứng viên có 5 lần xuất hiện cảm xúc
trên một bộ phim riêng lẻ chỉ diễn ra một lần, một thực tế có thể khiến mô hình tương lai gặp khó khăn trong việc
quyết định đầu ra của một tình huống tương tự và thực tế giải thích tại sao một lượng lớn được dán nhãn
dữ liệu (và sự kết hợp khác nhau của các lần xuất hiện của nó) được coi là quan trọng đối với mọi máy
mô hình học tập. Ở giai đoạn này, một khung dữ liệu mới39 đã được xây dựng, tích hợp cảm xúc
các đặc điểm sẽ là các biến mục tiêu của mô hình.
39
phim_final_3.csv
34
Hình 3. 14: Biểu đồ thanh: Sự kết hợp của cảm xúc sau khi dán nhãn
35
Chương 4|
4. Sản xuất mô hình, dự đoán cảm xúc và kết quả

Sau khi gắn nhãn cảm xúc, tập dữ liệu bao gồm 55.877 hàng được chia thành
hai phần: phần thứ nhất là khung dữ liệu được gắn nhãn40 (300 hàng kể từ khi việc gắn nhãn diễn ra trong 300 phim),
bao gồm những biến số giống như trước đây nhưng giờ đây mang theo cảm xúc cho mỗi bộ phim theo một cách
dạng nhị phân. 55.577 của khung dữ liệu thứ hai và lớn hơn41 có cùng các biến trên toàn bộ
trục x, nhưng cảm xúc của nó là giá trị null.
Vì đã biết rằng không có định lý Bữa trưa miễn phí (NFL) và không có mô hình nào
có thể đảm bảo hoạt động tốt hơn (Géron, 2019:p.33), nhiều thử nghiệm khác nhau sẽ diễn ra trên
một số mô hình. Để giải thích rõ hơn những mô hình nào được xây dựng, nhà nghiên cứu sẽ phân loại
chúng thành các mô hình học máy và học sâu. Cái trước được xây dựng trong Scikit-Learn
môi trường sau, trong khi môi trường thứ hai nằm trong thư viện mã nguồn mở TensorFlow42 với thư viện Keras43 ,
chủ yếu được sử dụng cho việc học sâu. Một số thử nghiệm đã được tiến hành trong bối cảnh tính năng
chọn lọc để đạt được độ chính xác phân loại lớn nhất. Một mô hình tốt về mặt
dự đoán cảm xúc một cách chính xác cũng sẽ rất quan trọng và mang tính quyết định trong các phần tiếp theo
khi việc kiểm tra giả thuyết sẽ được tiến hành. Ví dụ: nếu khung dữ liệu không được gắn nhãn là
được cung cấp các dự đoán có độ chính xác thấp thì tính hợp lệ của các kết quả tương quan sẽ bị nghi ngờ
cũng.
Các biến mục tiêu cho tất cả các mô hình là sáu cảm xúc. Tuy nhiên, kiến trúc cho
việc lựa chọn các biến dự đoán bao gồm hai loại. Loại kiến trúc đầu tiên
dự đoán tính năng của nó chỉ có phần tổng quan về phim, trong khi loại thứ hai bao gồm
tổng quan về phim cùng với các biến khác (siêu dữ liệu phim) để có khả năng tốt hơn
hiệu suất.
4.1 Mô hình ML sử dụng Tổng quan về Phim Phần
này tập trung vào các mô hình học máy được cung cấp thông tin tổng quan về phim để dự đoán
cảm xúc trong khung dữ liệu không được gắn nhãn bao gồm 55.577 phim. Khung dữ liệu được gắn nhãn,
bao gồm 300 phim được chia thành một đoàn tàu, tập hợp xác nhận và thử nghiệm được chia theo tỷ lệ 80%, 10% và
40
“labelled_df” trong sổ tay cộng tác của Google
41
“không có nhãn_df”
42
https://www.tensorflow.org/
43
https://keras.io/
36
10% tương ứng. Sau khi hoàn tất quá trình xử lý trước dữ liệu, TfidVectorizer()44 đã được
được áp dụng trong dữ liệu văn bản, sau đó được điều chỉnh và chuyển đổi trong tập huấn luyện.
4.1.1 Bộ véc tơ TF-IDF
Tần số thuật ngữ (TF) – Bộ vectơ tần số tài liệu nghịch đảo (IDF) được cung cấp bởi
Thư viện Scikit-Lean, có thể kết hợp các ưu điểm của việc sử dụng cả CountVectorizer()45 và
TfidfTransformer()46. Cái trước chuyển đổi một tập hợp các tài liệu văn bản thành một ma trận mã thông báo
số lượng, tạo ra sự biểu diễn thưa thớt của số lượng bằng cách sử dụng gói cay.sparse (Scikit-
Tìm hiểu, 2020a). Ngoài ra, nó còn góp phần vào quá trình tiền xử lý văn bản trước khi tạo ra
biểu diễn vectơ của các từ bằng cách mã hóa bộ sưu tập tài liệu văn bản, xây dựng một
từ vựng của các từ đã biết và cuối cùng mã hóa các tài liệu mới bằng cách sử dụng từ vựng đó
(Browniee, 2020a). Tuy nhiên, điều này là chưa đủ để xây dựng một mô hình NLP hiệu quả, bởi vì
các từ xuất hiện thường xuyên trong phạm vi tổng thể của tài liệu văn bản sẽ có tầm quan trọng cao trong
các vectơ được mã hóa. TF-IDF Vectorizer mang lại sự cân bằng cho điều đó, trước tiên bằng cách sử dụng CountVectorizer()
để tính số từ, sau đó bằng cách tính điểm tần số từ (IDF và TF-IDF
điểm số). Bằng cách này, TfidfVectorizer() làm nổi bật những từ có vẻ thú vị hơn
và có ý nghĩa, tức là những từ xuất hiện thường xuyên trong một tài liệu nhưng không xuất hiện trong một tập hợp
tài liệu (Brownie, 2020a; Maklin, 2019). Trong trường hợp dự án này, điều đó có nghĩa là sẽ mất
xem xét tần suất từ liên quan đến từng tổng quan về phim một cách riêng biệt và không
tổng hợp cho tất cả các tổng quan về phim trong khung dữ liệu. TF đại diện cho tần số của một
từ trong một tài liệu. Trong phương trình 4.1 numt là số lần thuật ngữ xuất hiện trong một
tài liệu được đặt thành d, trong khi tổng cộng là tổng số thuật ngữ trong tài liệu này d. Mặt khác, IDF
Các từ “giảm tỷ lệ” xuất hiện trên tất cả các tài liệu được hiển thị bằng cách tính logarit
của N số tài liệu trong bộ sưu tập chia cho số lượng mô tả tài liệu
chứa số hạng t (phương trình 4.2). Cuối cùng, TF-IDF kết hợp TF và IDF và tạo ra một thuật ngữ
trọng số thể hiện tầm quan trọng của một từ trong cả tài liệu d và đối với tập hợp
tài liệu (phương trình 4.3). Trong trường hợp của chúng tôi, “tài liệu” sẽ là tổng quan về phim cụ thể, trong khi
“bộ sưu tập tài liệu” sẽ là kho tài liệu của tất cả các tổng quan về phim trong khung dữ liệu.
44 https://scikit-
learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html
45 https://scikit-
learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html
46 https://scikit-
learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfTransformer.html
37
ⅆ
=
ⅆ
Phương trình 4. 1: Tần số của số hạng
ⅆ = ( )
Phương trình 4. 2: Tần số nghịch đảo của tài liệu
( ) ℎⅆ = ⅆ ⅆ
Phương trình 4. 3: Tần suất thuật ngữ - Tần suất tài liệu nghịch đảo
Để áp dụng chính xác các phép biến đổi trên cho phần còn lại của dữ liệu, chúng
sau đó được chuyển đổi trong tập hợp xác nhận và kiểm tra. Sự phù hợp của các phép biến đổi ở đây phải là
bỏ qua (Géron, 2019; Srinidhi, 2019).
Các mô hình được sử dụng trong phần này là:
1) Hồi quy logistic như bộ phân loại OvR
2) Vịnh ngây thơ đa thức
3) Trình phân loại SV tuyến tính
4) Rừng ngẫu nhiên
5) Bộ phân loại SGD
6) SVC
7) Phân loại hàng xóm
8) Trình phân loại SoftMax
9) Trình phân loại cây quyết định
10) Trình phân loại XGB
11) Trình phân loại nhận thức nhiều lớp (MLP) (mạng nông)
12) Trình phân loại nhận thức nhiều lớp (MLP) (mạng sâu)
38
Mặc dù các bộ phân loại MLP là các bộ phân loại mạng thần kinh nhưng chúng vẫn được hiển thị trong phần này
vì chúng có thể được thực hiện bằng Scikit-Learn. Hình 4.1 mô tả kết quả của mô hình với
liên quan đến điểm micro f1, điểm xác thực chéo trung bình và điểm chính xác trung bình của tập hợp con.
Hình 4. 1: Mô hình ML sử dụng Tổng quan về phim - Số liệu đánh giá
Dữ liệu thử nghiệm chỉ nên được xem khi tìm thấy mô hình hứa hẹn nhất và
do đó cho đến lúc đó việc đánh giá sẽ diễn ra trên một bộ xác nhận. Vì lý do này tất cả các
các mô hình trên được đánh giá dựa trên bộ xác thực chéo 3 lần47 . Một bộ phân loại biểu quyết cũng được
được tiến hành với các bộ phân loại SVC, SGD và Kneighbors dường như mang lại kết quả đầy hứa hẹn,
tuy nhiên hiệu suất tổng thể không cao hơn với mức độ trang bị quá mức (điểm micro f1
trong bộ xác nhận: 65,65%). Điều này xảy ra vì nếu tất cả các bộ phân loại được huấn luyện trên cùng một dữ liệu,
họ có khả năng mắc phải cùng một loại lỗi, do đó sẽ có nhiều phiếu bầu đa số cho
sai lớp, theo cách này làm giảm độ chính xác tổng thể của tập hợp. Tuy nhiên, đây sẽ là
khó triển khai ở đây vì bộ kiểm tra và xác nhận đã có một lượng nhỏ
dữ liệu có sẵn vì không có dữ liệu được dán nhãn đầy đủ.
47
Nếu dữ liệu được gắn nhãn lớn hơn thì xác thực chéo k-fold cũng có thể lớn hơn nữa.
39
Nhìn chung, các mô hình triển vọng nhất của phần này là: SGD Classifier (micro f1: 65,65%,
điểm xác thực chéo trung bình: 69,72%, điểm chính xác trung bình của tập hợp con: 75%) và tuyến tính
SVClassifier (micro f1: 63,16%, điểm xác thực chéo trung bình: 68,75%, độ chính xác tập hợp con trung bình
72,78%). Mặc dù Bộ phân loại MLP có kết quả gần giống với hai kết quả đầy hứa hẹn, nhưng chúng
không được hiển thị ở đây vì độ phức tạp tính toán48 của chúng khá cao nên không
kết quả tốt hơn đáng kể
4.2 Mô hình ML sử dụng Tổng quan phim & Siêu dữ liệu Việc
phân chia kiểm tra xác thực đào tạo tương tự cũng diễn ra ở đây để so sánh hợp lệ giữa
mô hình trên các loại kiến trúc khác nhau được xây dựng, trong khi xác thực chéo 3 lần
đã được sử dụng lại để ước tính đầy đủ độ chính xác của mô hình. Tuy nhiên ở đây cần phải quan tâm
được thực hiện để chuyển đổi đúng các loại biến khác nhau thuộc meta phim
thông tin cũng như sự tích hợp phù hợp của cả tổng quan về phim và siêu dữ liệu vào
đầu vào mô hình. Vì các phép biến đổi khác nhau được áp dụng cho tổng quan phim từ phần còn lại của
dự đoán, cần phải xây dựng một quy trình máy học để thực hiện
tất cả những biến đổi đó một cách hài hòa.
Một lựa chọn tính năng đã diễn ra để chọn siêu dữ liệu phim. Đây là cả hai
các biến phân loại và số. Phần trước bao gồm tiêu đề của bộ phim,
thể loại phim, tính phân cực của Vader và mô tả chủ đề NMF. Trong khi bốn cực của Vader
điểm số (điểm âm/trung tính/tích cực/tổng hợp) cùng với số chủ đề NMF
cấu thành nên đặc điểm số học. Hàm StandardScaler() được sử dụng trong các giá trị số trong khi
những cái được phân loại là OneHotEncoded. Song song đó, biến tổng quan về phim là
được vector hóa bằng TfidVectorizer theo cách tương tự như trong tiểu mục trước.
Để có thể kết hợp các tính năng dữ liệu không đồng nhất, Scikit-Learn's
Công cụ ước tính ColumnTransformer()49 được sử dụng để áp dụng các phép biến đổi tương ứng cho
các biến của khung dữ liệu cũng như để tích hợp và chuyển đổi chúng sang tập huấn luyện (Browniee,
2020b; Honold, 2020). Một ma trận thưa thớt được tạo sau ColumnTransformer() và
Các phép biến đổi TfidVectorizer và để tất cả các yếu tố dự đoán được nối thành một mảng
mà không ảnh hưởng đến thứ tự của chúng, numpy.hstack50 đã được sử dụng để xếp các mảng theo thứ tự
48
Thời gian thực hiện mô hình của họ tăng gấp ba đến gấp bốn lần.
49
https://scikit-learn.org/stable/modules/generated/sklearn.compose.ColumnTransformer.html
50
https://numpy.org/doc/stable/reference/generated/numpy.hstack.html
40
theo chiều ngang. Tất cả các phép biến đổi trên đều phù hợp và được chuyển đổi thành dữ liệu huấn luyện, đồng thời chuyển đổi
để xác nhận và kiểm tra bộ. Hình 4.2 mô tả kết quả:
Hình 4. 2: Mô hình ML sử dụng Tổng quan về phim & Siêu dữ liệu - Chỉ số đánh giá
Các mô hình hứa hẹn nhất lại là SGD và Bộ phân loại vectơ hỗ trợ tuyến tính
với kết quả gần như ngang nhau, tuy nhiên kết quả này cao hơn so với việc chỉ sử dụng phim
tổng quan từ tiểu mục trước. Trình phân loại SV tuyến tính: (điểm f1 trung bình vi mô: 65,69%,
xác thực chéo trung bình: 75,76%, độ chính xác tập hợp con trung bình: 73,89%) và Trình phân loại SGD: (micro
điểm f1 trung bình: 65,69%, xác thực chéo trung bình: 74,51%, độ chính xác trung bình của tập hợp con: 73,89%). Vì nó
có thể hiểu được, cả hai mô hình đều có cùng độ chính xác tập hợp con trung bình và điểm f1 trung bình vi mô,
với SVClassifier tuyến tính có điểm xác thực chéo trung bình cao hơn 1,25%.
Sau khi tìm thấy những mô hình hứa hẹn nhất ở trên, nhà nghiên cứu tiến hành tinh chỉnh
trong số đó thông qua RandomizedSearchCV()51 và GridSearchCV()52 để tìm kiếm toàn diện trên một
có thể phát hiện phạm vi các giá trị tham số được chỉ định và siêu tham số của các công cụ ước tính,
51
https://scikit-
learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html
52
https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html
41
và liên tiếp, điều này hy vọng có thể dẫn đến tăng hiệu suất. Các thí nghiệm khác nhau đã
đặt nhiều giá trị tham số cho cả hai mô hình và Trình phân loại SV tuyến tính
dường như có kết quả tốt nhất. Ở giai đoạn này, trong bối cảnh đang cố gắng nâng cấp hơn nữa
kết quả của mô hình điểm chuẩn, “feature_importances_”53 của Scikit-Learn đã được điều tra thông qua
RandomForestClassifier() và GridSearchCV() để đo lường tầm quan trọng tương đối của
từng đặc điểm trong tập dữ liệu (Géron, 2019:p.200; Santhanam, 2019; Teng, 2019). Điều này đã giúp
nhà nghiên cứu nhận ra rằng các biến phân loại “tiêu đề” và “thực thể” dường như không quan trọng
đối với những dự đoán đúng của mô hình, ngược lại, điều này cũng có thể dẫn đến
nhầm lẫn và dẫn đến kết quả tồi tệ hơn. Vì vậy, những biến đó đã bị loại bỏ khỏi
danh sách dự đoán.
Chạy lại SVClassifier tuyến tính với GridSearchCV() và với dự đoán cuối cùng
tính năng, công cụ ước tính tốt nhất của Grid Search đã đưa ra các tham số tốt nhất có thể của mô hình
là: Tham số chính quy hóa “C”: 1, “class_weight': Balance54, “dual”55: True, “multi_class”:
ovr, “hình phạt”56 = l2, “tol”57: 0,0001 (1e -4), “fit_intercept”: Đúng, “thua”: Squared_hinge58 .
Áp dụng các tham số trên trong SVClassifier tuyến tính, điểm f1 trung bình vi mô đã tăng thêm
khoảng 3,4%, điểm xác thực chéo trung bình là 0,35% và độ chính xác của tập hợp con trung bình là 1,8%:
(điểm f1 trung bình vi mô: 69,06%, xác thực chéo trung bình: 76,11%, độ chính xác trung bình của tập hợp con: 75,69%).
Vì đây sẽ là mô hình cuối cùng nên giờ đây các dự đoán có thể được thực hiện trên dữ liệu thử nghiệm, trong đó mức trung bình vi mô
Điểm f1 đã giảm đáng kể đạt 54,79%, trong khi độ chính xác trung bình của tập hợp con được chỉ ra
mức độ trang bị quá mức cho dữ liệu huấn luyện thấp hơn nhiều với số điểm là 75%.
4.3 Mô hình cuối cùng: Đánh giá và dự đoán trong khung dữ liệu không được gắn nhãn
4.3.1 Mô hình cuối cùng
Bây giờ mô hình cuối cùng đã được chọn, nhà nghiên cứu có thể tiến hành dự đoán để
những dữ liệu chưa được gán nhãn. Bộ xác thực có thể bị xóa và dữ liệu huấn luyện có thể được tăng lên, kể từ bây giờ
chúng tôi biết mô hình này có thể khái quát đến mức nào và mức độ hiệu lực của nó. Tuy nhiên, để
để có ước tính sơ bộ, không phải tất cả 300 phim đều được sử dụng làm tập huấn luyện và vì hiện tại đã có
không cần phần xác nhận, mức phân chia cuối cùng là 85% - 15% giữa tập huấn luyện và tập kiểm tra.
53
https://scikit-learn.org/stable/modules/feature_selection.html
54
Trọng số lớp cân bằng điều chỉnh trọng số (cảm xúc) của mục tiêu tỷ lệ nghịch với tần suất lớp trong
dữ liệu đầu vào (Scikit-Learn, 2020f).
55
Nó giải quyết vấn đề tối ưu hóa kép.
56
Tiêu chuẩn xử phạt.
57
Cấp dung sai cho tiêu chí dừng.
58
Bình phương của tổn thất bản lề.
42
Bằng cách huấn luyện với 85% tập dữ liệu được gắn nhãn có sẵn, tức là với dữ liệu huấn luyện nhiều hơn 5% so với
những lần trước và với 15% tập dữ liệu cho tập kiểm tra, điểm f1 trung bình vi mô là
tăng 4,09% đạt 73,15% so với điểm tương ứng ở bộ kiểm chứng của
tiểu mục trước đó, trong khi độ chính xác trung bình của tập hợp con đạt 78,52% với mức tăng 2,83%. Các
Các tính năng của mô hình cuối cùng bao gồm tổng quan về phim, cùng với siêu dữ liệu: phim
thể loại (phân loại), độ phân cực của Vader (phân loại), điểm tổng hợp của Vader (số) và NMF
chủ đề (số).
4.3.2 Đánh giá mô hình cuối cùng
Ma trận nhầm lẫn & Báo cáo phân loại
Sử dụng hàm multilabel_confusion_matrix()59 của Scikit-Learn để tạo ma trận nhầm lẫn của
dự đoán trong dữ liệu thử nghiệm đã được tính toán (bảng 4.1), đây là bảng tóm tắt phản ánh
hiệu suất của các mô hình phân loại (Terence, 2020). Dữ liệu thử nghiệm bao gồm 15%
khung dữ liệu không được gắn nhãn dẫn đến 45 dự đoán cho mỗi cảm xúc (cho mỗi cảm xúc trong số sáu cảm xúc)
qua phim và siêu dữ liệu phim, do đó n=45 cho mỗi một trong sáu ma trận nhầm lẫn.
Đặt ma trận nhầm lẫn nhiều nhãn được ghi chú là MCM, khi đó số lượng âm tính thực sự (TN) là
MCM:,0,0, âm tính giả (FP) là MCM:,1,0, ,dương tính thật (TP) là MCM:,1,1 và dương tính giả (FP)
là MCM:,0,1. (Scikit-Learn, 2020d). Hàng ngang đầu tiên của ma trận bối rối của mọi cảm xúc
đại diện cho Tỷ lệ dương tính giả (FPR): FP/(FP+TN), trong khi hàng thứ hai là Tỷ lệ dương tính thực
(TPR): TP/(TP+FN). Đã xử lý vấn đề đa nhãn này như một tập hợp phân loại nhiều lớp
vấn đề, giờ đây tất cả các thước đo đánh giá truyền thống đều có thể được áp dụng, chẳng hạn như Độ chính xác: TP/(TP+FP),
Nhớ lại: TP/TP+FN, điểm F1 (đã được tính ở phần trước):
2*Độ chính xác*Thu hồi/(Độ chính xác+Thu hồi) và Độ đặc hiệu: TN/TN+FP. Nhìn chung, mô hình dường như
nhầm lẫn các trường hợp xuất phát từ cảm xúc “bất ngờ” và “buồn bã”.
Ví dụ, trong cảm xúc “bất ngờ”, mặc dù mô hình đã phân loại chính xác 18 bộ phim
thuộc nhãn đó (TP) và 8 phim không thuộc nhãn (TN), mô hình dự đoán sai (FP)
trường hợp là “bất ngờ” 11 lần trong khi không phải như vậy và nó đưa ra 8 dự đoán tiêu cực cho
những quan sát thực sự tích cực (FN). Theo đó, 3 bộ phim bị phân loại sai là
“nỗi buồn”, trong khi người mẫu từ chối cảm xúc “nỗi buồn” trong 6 bộ phim khi họ thực sự có
cảm xúc này được hiển thị trong tập kiểm tra.
59 https://scikit-
learn.org/stable/modules/generated/sklearn.metrics.multilabel_confusion_matrix.html
43
Niềm hạnh phúc TN: 33 FP: 3
FN: 1 TP: 8
Sư sâ u na o TN: 30 FP: 3
FN: 6 TP: 6
Sự tức giận TN: 27 FP: 3
FN: 5 TP: 10
ghê tởm TN: 31 FP: 2
FN: 4 TP: 8
Nỗi sợ TN: 4 FP: 7
FN: 5 TP: 29
Sự ngạc nhiên TN: 8 FP: 11
FN: 8 TP: 18
Bảng 4.1: Ma trận nhầm lẫn của mô hình cuối cùng
Các số liệu phân loại chính cũng có thể được mô tả thông qua báo cáo phân loại60. BẰNG
đã được báo cáo ở phần đầu của tiểu mục này, điểm f1 trung bình vi mô là 73,15% cũng có thể
được xác nhận dưới đây. Bảng 4.2 thể hiện kết quả tổng thể:
Độ chính xác Nhớ lại Điểm F1 Ủng hộ
Niềm hạnh phúc 0,73 0,89 0,80 9
Sư sâ u na o 0,67 0,50 0,57 12
Sự tức giận 0,77 0,67 0,71 15
ghê tởm 0,80 0,67 0,73 12
Nỗi sợ 0,81 0,85 0,83 34
Sự ngạc nhiên 0,62 0,69 0,65 26
Trung bình vi 0,73 0,73 0,73 108
mô Trung bình vĩ mô Trung bình 0,71 0,72 108
0,73 Trung bình có trọng số 0,73 0,73 108
0,73 Trung bình mẫu 0,76 0,74 Bảng 4. 2: Báo cáo phân 0,71 108
loại - Mô hình cuối cùng
60
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html
44
Hamming mất mát
Tổn thất Hamming được tính toán theo mô hình đưa ra kết quả cuối cùng và nó
được coi là thước đo đánh giá có giá trị phù hợp cho các nhiệm vụ đa nhãn. Trong phân loại nhiều nhãn
chúng tôi quan tâm đến những mặt tích cực thực sự một phần và ví dụ: nếu một bộ phim thực sự có cảm xúc
“nỗi buồn/sợ hãi/ngạc nhiên” được hiển thị trong bộ thử nghiệm, sau đó một bộ phân loại dự đoán “nỗi buồn/sợ hãi”
sẽ chính xác hơn một bộ phân loại chỉ dự đoán “nỗi buồn”, trong đó điều này không đúng với
độ chính xác của tập hợp con sẽ coi các phân loại đó sai ở cùng mức. Scikit-Learn's
Hàm hamming_loss() trả về tổn thất Hamming trung bình giữa các phần tử của “y_true”
và “y_pred”, tức là giữa 45 phim với 6 cảm xúc cho mỗi phim trong tập thử nghiệm, và
tương ứng là 45 dự đoán cho những điều đó. Ngược lại với các số liệu truyền thống, vì ở đây tổn thất
tương ứng với khoảng cách Hamming giữa “y_true” và “y_pred” được tính toán, điều này có nghĩa là
kết quả thấp hơn phản ánh bộ phân loại tốt hơn (Scikit-Learn, 2020c). Cuối cùng, trận thua Hamming của
mô hình cuối cùng là 0,21.
AUROC
Một cách hữu ích khác để trực quan hóa và đánh giá bộ phân loại là thông qua Bộ điều hành máy thu.
Đường cong đặc trưng (ROC) và Diện tích dưới đường cong (AUC), cũng có thể được mô tả là
Khu vực Dưới Đặc điểm Hoạt động của Máy thu (AUROC) (Narkhede, 2018). Đường cong ROC
là đồ thị trong đó TPR (Độ nhạy) nằm trên trục y, trong khi FPR (1 - Độ đặc hiệu) trên trục y.
trục x (Toshniwal, 2020; Loukas, 2020).
Đường chéo trong đường cong ROC biểu thị một mô hình ngẫu nhiên (phân loại ngẫu nhiên) và trong
dòng này xác suất dự đoán của các lớp tương ứng trùng nhau, nói cách khác trong dòng này
mô hình ngẫu nhiên, đúng là TPR = FPR cho tất cả các trường hợp trên dòng này. Do đó, dòng này
thể hiện ngưỡng mặc định là 0,5 xác suất mà một quan sát thuộc về đúng lớp.
Kết quả là, một bộ phân loại được coi là tốt hơn khi (phần lớn hơn) dòng của nó thuộc về
lên và bên trái của dòng mô hình ngẫu nhiên, tức là khi TPR>FPR và nơi phân loại sai
ít hơn so với trường hợp ngược lại (Toshniwal, 2020; Géron, 2019:pp.95–96). Đối với những điều trên
lý do, đường cong ROC được coi là để xác định và chứng minh sự đánh đổi giữa sai
quan sát dương tính và âm tính giả, với bộ phân loại tốt đạt được TPR cao ở mức thấp
Mức FPR.
Diện tích dưới đường cong (AUC) có giá trị từ 0 đến 1 và nó phản ánh tổng
thước đo hiệu suất của mô hình trên tất cả các ngưỡng phân loại có thể có (Narkhede, 2018).
Một bộ phân loại hoàn hảo có ROC AUC bằng 1, trong khi điểm ROC AUC của mô hình ngẫu nhiên-
45
phân loại theo đường chéo là 0,5. Như có thể hiểu, ROC càng cao và rời
đường cong dành cho một bộ phân loại, AUC được hình thành càng lớn và do đó điểm AUC của nó càng lớn. Vì
lý do này trong dự án cụ thể, cảm xúc “hạnh phúc” dường như có tác dụng tốt nhất
Hình 4. 3: Đường cong đặc tính hoạt động của máy thu (ROC) - Cảm xúc
đường cong ROC được xây dựng, có điểm AUC = 0,88 và chiếm Diện tích Dưới đường cong lớn nhất cho đến nay.
Trong khi đó cảm xúc “bất ngờ” lại xếp cuối cùng với điểm AUC = 0,63. Nhìn chung, AUC của mỗi cảm xúc
điểm tương ứng lớn hơn giá trị ngưỡng 0,5, trong khi micro61 ROC AUC62
điểm là 0,75. Vì những lý do này, có thể khẳng định rằng mô hình này hiện nay có thể đáp ứng một cách thỏa đáng
dự đoán cảm xúc cho phần còn lại của tập dữ liệu (tức là tập dữ liệu chưa được gắn nhãn bao gồm 55.577
phim và siêu dữ liệu phim).
4.3.3 Dự đoán cuối cùng
Cuối cùng, bây giờ mô hình chuẩn đã được tìm thấy và đánh giá, đồng thời nhận thức được
về mức độ khái quát hóa và giá trị của nó, những dự đoán cuối cùng được đưa ra trên dữ liệu không được gắn nhãn
tập dữ liệu. Dữ liệu đào tạo hiện bao gồm tất cả các phiên bản của khung dữ liệu được gắn nhãn (300 phim và
61
Trong Scikit-Learn, tham số “vi mô” tính toán các chỉ số trên toàn cầu bằng cách coi từng thành phần
của ma trận chỉ báo nhãn là nhãn, trái ngược với tham số “vĩ mô” dựa trên tài liệu (Scikit-Learn, 2020e) và giấy
(Hand & Till, 2001), nó tính toán số liệu cho từng nhãn và tìm ra giá trị trung bình không có trọng số của chúng,
thực tế có nghĩa là sự mất cân bằng nhãn không được tính đến.
62
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html
46
siêu dữ liệu) và các dự đoán liên quan đến 55.577 phim còn lại. Hai khung dữ liệu đã được tạo
sau quy trình trên: quy trình đầu tiên mang các dự đoán nói trên ở dạng nhị phân63 ,
trong khi cái thứ hai chứa điểm tin cậy thu được từ hàm quyết định64 của
mô hình Phân loại Vector Hỗ trợ tuyến tính65 .
Hình 4.4 mô tả số lượng cảm xúc được mô hình gán cho không được gắn nhãn
khung dữ liệu, ở dạng nhị phân của chúng. Tổng của mỗi thanh trong cốt truyện cho từng cảm xúc riêng biệt
đồng ý với tổng số phim được dự đoán, tức là 55.577. Vì
Ví dụ, đối với cảm xúc “hạnh phúc”, mô hình dự đoán cảm xúc đó trong 9.876 bộ phim,
trong khi 45.701 bộ phim gắn nhãn cảm xúc “hạnh phúc” là số “0”, nghĩa là không
giao.
Hình 4. 4: Dự đoán nhị phân về cảm xúc trong 55.577 phim (Khung dữ liệu không được gắn nhãn)
Các kết quả trên cũng có thể được xem tổng hợp và từ một cái nhìn khác bằng cách sau
hình 4.5. Có thể thấy, cảm xúc “sợ hãi” và “ngạc nhiên” chiếm vị trí thứ nhất và thứ hai.
tương ứng, chiếm khoảng 60% tổng số cảm xúc được dự đoán. 13,2% của
dự đoán liên quan đến cảm xúc “buồn bã” ( vị trí thứ 3), tiếp theo là “ghê tởm” (10,2%) và
“hạnh phúc” (8,1%). Cuối cùng, cảm xúc “tức giận” được thể hiện ít nhất chiếm 7,9% dự đoán.
những cảm xúc.
63
“model_predictions_df”
64
https://
scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html#sklearn.svm.LinearSVC.decision_function
65
dự đoán_quyết định_scores_df
47
Hình 4. 5: Phần trăm cảm xúc được dự đoán trong 55.577 phim (Khung dữ liệu không được gắn nhãn)
So với những cảm xúc được nhà nghiên cứu dán nhãn trong 300 bộ phim, thứ tự
cảm xúc không thay đổi đối với vị trí thứ nhất (sợ hãi), vị trí thứ hai (ngạc nhiên) cũng như vị trí
thứ 4
nơi (ghê tởm). Tuy nhiên, cảm xúc “tức giận” lại chuyển từ vị trí thứ 3 xuống vị trí cuối cùng, trong khi đó
cảm xúc “vui” và “buồn” còn lại tăng lên một và hai bậc
tương ứng. Quan sát những so sánh trên, có thể khẳng định rằng thực tế mô hình đã làm
không đưa ra cùng một thứ tự cảm xúc mà nó thấy trong quá trình dán nhãn có thể là một điều tốt
dấu hiệu: điều hợp lý là các loại phim khác nhau (và do đó có những cảm xúc khác nhau) được phát hiện là có
khung dữ liệu không được gắn nhãn bao gồm 55.577 phim, so với kích thước nhỏ hơn nhiều của
khung dữ liệu được gắn nhãn bao gồm 300 phim.
Một phát hiện thú vị là điều tra số lượng cảm xúc được dự đoán trên mỗi
bộ phim. Sau khi tìm kiếm ở trên, hình 4.6 cho thấy kết quả. Tổng của tất cả các số được hiển thị
phía trên mỗi thanh bằng tổng số phim được dự đoán (55.577). Như nó có thể được
đã xem, phần lớn phim (23.466) đều thể hiện 2 cảm xúc. Phổ biến thứ hai
trường hợp phim có 3 cảm xúc (15.663 phim), trong khi 9.369 phim chỉ được hiển thị bởi
một cảm xúc. Sự kết hợp cảm xúc thường xuyên thứ tư được tìm thấy trong 4.229 bộ phim
mỗi bộ phim sở hữu 4 cảm xúc trong nhãn cảm xúc, trong khi 2.364 bộ phim là cảm xúc
miễn phí (không có cảm xúc được chỉ định). Cuối cùng, sự xuất hiện cực độ của những bộ phim có 5 cảm xúc là
được tìm thấy trong 486 bộ phim.
48
Hình 4. 6: Sự kết hợp cảm xúc trong dự đoán - 55.577 Phim
Giờ đây, cảm xúc đã được hiển thị cho mọi bộ phim trong khung dữ liệu không được gắn nhãn,
hình 4.7 mô tả từ cloud66 được tạo ra dựa trên từng cảm xúc:
66
Lưu ý rằng một số từ có thể được tìm thấy ở dạng gốc của chúng do các đám mây từ trên được tạo từ khung
dữ liệu được xử lý trước.
49
Hình 4. 7: Đám mây cảm xúc
4.3.4 Cường độ cảm xúc Kết thúc tiểu
mục này, nhà nghiên cứu tiến tới một sáng kiến khác: như có thể thấy
Từ những hình ảnh trên, các bộ phim khác nhau có những cảm xúc và cách tiếp cận khác nhau.
số lượng/sự kết hợp của cảm xúc. Nhưng còn mức độ cường độ liên quan đến mọi
cảm xúc được giao? Trong bối cảnh tìm hiểu cách tính toán điều này, nhà nghiên cứu sử dụng
điểm quyết định của mô hình cuối cùng, chúng đại diện cho điểm tin cậy của mọi
cảm xúc được giao hoặc không được giao. Dựa trên tài liệu67 liên quan đến chức năng
điểm quyết định của SVClassifier tuyến tính, tất cả cảm xúc được hiển thị là “1” đều có độ tin cậy
điểm lớn hơn 0 và tương ứng, tất cả những cảm xúc không được chỉ định (tức là những bộ phim đã làm
không có những cảm xúc đó) có điểm tin cậy nhỏ hơn 0 (số âm). Tuy nhiên, như nó
có thể được nhìn thấy từ biểu đồ dưới đây và biểu đồ mật độ phạm vi giá trị của điểm tin cậy
67
https://
scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html#sklearn.svm.LinearSVC.decision_function
50
giữa sáu cảm xúc không giống nhau và điều này có thể hợp lý vì chúng ta đang nói về
các biến riêng biệt và mô hình không “tin cậy” ở cùng mức độ cho từng biến trong số đó.
Hình 4. 8: Biểu đồ và biểu đồ mật độ của hàm quyết định Điểm tin cậy của cảm xúc
Một ví dụ có thể minh họa điều trên một cách rõ ràng hơn: giả sử có 3 bộ phim,
với id=1, phim có id=2, và phim có id=3, và chúng ta chỉ lấy cảm xúc “hạnh phúc”
cho ví dụ này. Chúng ta hãy giả sử rằng hàm quyết định cho điểm hạnh phúc đối với những điều trên
phim lần lượt là 0,5, 0,3 và -0,2. Điều này có nghĩa là: Bộ phim thứ 3 không có
cảm xúc “hạnh phúc” được thể hiện. Phim có id=1 và id=2 chứa đựng “hạnh phúc” và cả hai đều có
dự đoán nhị phân của họ được gán là “1”, tuy nhiên mô hình này tự tin hơn về điều này đối với
phim có id=1 vì điểm chức năng quyết định của nó cao hơn so với phim có id=1
id=2.
Vì những lý do trên, nhà nghiên cứu tiến hành bình thường hóa quyết định
điểm của hàm, nhưng chỉ dành cho những điểm có giá trị lớn hơn 0 (để chỉ lấy
cảm xúc được giao). Chuẩn hóa được chọn là MinMaxScaler()68 của Scikit-Learn
hàm định lại tỷ lệ các biến nhận được trong phạm vi [0, 1]. Sau quá trình thay đổi kích thước,
nhà nghiên cứu quyết định gán ba mức cường độ là: “thấp” nếu được thay đổi tỷ lệ
68
https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MinMaxScaler.html
51
điểm tin cậy nằm trong phạm vi [0, 0,25), “trung bình” đối với các giá trị trong phạm vi [0,25, 0,5) và “cao” đối với
các giá trị trong phạm vi [0,5, 1]. Kết quả của các hành động trên có thể được mô tả trong bảng 4.3 và hình
4.9:
Hạnh phúc Nỗi buồn Thấp Tức Kinh Nỗi sợ Sự ngạc nhiên
51,91% 70,36% Trung bình 24,88% giận 80,58% tởm 83,89% 50,84% 60,09%
24,46% 15,72% 7,01% 39,67% 32,87%
Cao 23,21% 5,18% 3,70% 9,10% 9,49% 7,04%
Bảng 4. 3: Tỷ lệ phần trăm cường độ cảm xúc được dự đoán
Hình 4. 9: Cường độ cảm xúc được dự đoán
Một số kết luận cơ bản được suy ra từ những điều trên là: phần lớn của mỗi kết luận
Các hạng mục cảm xúc được thể hiện trong phim có cường độ thấp, với cảm xúc
“ghê tởm” được hiển thị 83,89% số lần xuất hiện với cường độ cường độ thấp. Mặt khác
tay, cảm xúc “hạnh phúc” có tỷ lệ cường độ cao lớn nhất so với
đến những cảm xúc còn lại, với khoảng 23% số lần được thể hiện với cường độ cao
cấp độ. Hơn nữa, một nhận xét khác có thể được đưa ra là “sự ghê tởm” đó, mặc dù nó sở hữu
tỷ lệ phần trăm lớn nhất đối với cường độ thấp, đó là cảm xúc duy nhất có vị trí thứ hai
là cường độ cao chứ không phải cường độ vừa phải.
4.3.5 Ví dụ về cảm xúc được thể hiện trong các bộ phim nổi tiếng
Bây giờ các dự đoán đã được thực hiện ở tất cả các phim, bảng 4.4 minh họa một ví dụ về 35
phim được hiển thị cùng với cảm xúc của họ. Những bộ phim này thuộc top 250 chính thức được xếp hạng
52
phim IMDb69. Khi có đường gạch ngang (“-”), điều này có nghĩa là cảm xúc đã được gán (nhị phân của nó
giá trị dự đoán là “0”). Các giao lộ có mức “thấp”, “trung bình” hoặc “cao” có nghĩa là
những cảm xúc này đến từ kết quả dự đoán nhị phân “1” và mức độ cường độ của chúng là
được định nghĩa như được mô tả trong các tiểu mục trước.
Phim (năm sản xuất) Hạnh phúc Nỗi buồn Giận dữ ghê tởm Nỗi sợ Sự ngạc nhiên
- Trung bình - 2 -
1 Nhiệt (1995) Cao Thấp
- Thấp - -
Cao Cao
Lái Xe Taxi (1976)
- - - - Thấp Vừa phải

3 Tiểu thuyết bột giấy (1994)
4 Nhà Shawshank - - - - Vừa phải -
Sự chuộc lỗi (1994)

- - - -
5 Rừng Gump (1994) Cao vừa phải
- Thấp Thấp - -
6 Danh sách của Schindler (1993) Cao
7 Sự im lặng của bầy cừu - - - - -
Cao
(1991)
- - Vừa phải - -
8 Bố già (1972) Cao
- - - - - Vừa phải
9 Casablanca (1942)
- - - -
10 Điều tốt, điều xấu và điều Trung bình Thấp
Xấu xí (1966)
- Vừa phải - - Vừa phải
11 12 Người đàn ông giận dữ (1957) Cao
- - - Vừa phải -
12 GoodFellas (1990) Thấp
- - - Trung bình Thấp

13 Amadeus (1984) Cao
- - - - Trung bình Thấp
14 Kẻ hủy diệt (1984)
Vừa phải - - - Trung bình Trung bình
15 Đá (1976)
- - - -
16 Bảy Samurai (1954) Cao vừa phải
- Vừa phải - - Trung bình Trung bình
17 Cuộc Đời Tươi Đẹp (1997)
- Vừa phải - -
18 Lịch Sử Nước Mỹ X (1998) - Cao
- - - -
19 Ma trận (1999) Cao
- - - -
20 Giác Quan Thứ Sáu (1999) Cao Thấp
- - Vừa phải - Vừa phải -

Câu Lạc Bộ Chiến Đấu 21 (1999)
- - -
22 Mặt sẹo (1983) Thấp Cao Thấp
Vừa phải - - - - -
23 Amélie (2001)
- - -
24 Chúa tể của những chiếc nhẫn: The Trung bình Trung bình Cao
Hiệp hội nhẫn (2001)
- - - - - Vừa phải
25 Tâm Hồn Đẹp (2001)
- Thấp -
26 Nghệ sĩ dương cầm (2002) Cao vừa phải Cao
- - - - Vừa phải
27 Chúa tể của những chiếc nhẫn: The Cao
Sự trở lại của nhà vua (2003)
69
https://www.imdb.com/chart/top/
53
- - - - Vừa phải -
28 V cho mối thù truyền kiếp (2006)
- - - - -
29 Người Ra Đi (2006) Cao
- - - -
30 Hiệp sĩ bóng đêm (2008) Cao Cao
- - - -
31 Gran Torino (2008) Thấp Cao
-
32 Basterds Tuyệt Vời (2009) - Thấp Trung bình Trung bình Cao
- - - - Vừa phải
33 Khởi Đầu (2010) Thấp
- - - -
34 Giữa Các Vì Sao (2014) Cao vừa phải
- -
35 Avengers: Hồi kết (2019) - Trung bình - Cao Bảng 4. 4: Cảm xúc
& Cường độ - Một ví dụ với những bộ phim nổi tiếng
4.4 Mô hình DL
Theo cách tương tự, tập dữ liệu được chia thành hai phần chính: tập dữ liệu được gắn nhãn, về mặt
cảm xúc, bao gồm 300 phim và siêu dữ liệu phim, trong khi phần còn lại của tập dữ liệu
(không có nhãn) chứa 55.577 phim. Mục đích cuối cùng là xây dựng một mô hình trong môi trường không có nhãn
khung dữ liệu để cuối cùng điều này có thể đưa ra dự đoán cho 6 cảm xúc liên quan đến
phần còn lại của 55.577 phim.
Quá trình xử lý trước dữ liệu chính cũng được áp dụng ở đây và tập huấn luyện – xác thực – kiểm tra
diễn ra với tỷ lệ phân bổ tương tự (80% - 10% - 10%) như mô hình trước
kiến trúc. Tiến hành xây dựng mô hình deep learning cho phân loại đa nhãn này
vấn đề, cần lưu ý rằng chủ yếu có hai cách có thể thực hiện nhiệm vụ này: hoặc
với một lớp đầu ra dày đặc hoặc với nhiều lớp đầu ra dày đặc (Malik, 2019a). Trước hết
cách tiếp cận, một lớp dày đặc duy nhất với số lượng đầu ra bằng với số lượng
mục tiêu (trong nhiệm vụ thứ sáu này, cho sáu cảm xúc), với chức năng kích hoạt sigmoid (hậu cần) (Géron,
2019: tr.291). Bằng cách này, mỗi nơ-ron trong lớp dày đặc đầu ra sẽ đại diện cho một trong sáu
nhãn đầu ra-cảm xúc. Hàm kích hoạt sigmoid trả về một giá trị trong phạm vi (0 , 1) cho mỗi
nơ-ron, trong đó dựa trên tài liệu70, một con số lớn hơn 0,5 sẽ cho rằng
một bộ phim cụ thể được gán cho cảm xúc được đại diện bởi nơ-ron tương ứng đó. bên trong
Cách tiếp cận thứ hai, mỗi nhãn mục tiêu (tức là cảm xúc) được thể hiện bằng một lớp đầu ra dày đặc. Cái này
dẫn đến tổng cộng sáu lớp dày đặc ở đầu ra, trong đó mỗi lớp sẽ được kích hoạt bởi một sigmoid
chức năng.
4.4.1 Nhúng từ
Theo cách mà cách tiếp cận TF-IDF được sử dụng thông qua học máy cho các số
chuyển đổi dữ liệu văn bản, ở đây việc nhúng từ sẽ được sử dụng để mọi từ có thể
được biểu diễn dưới dạng vectơ dày đặc n chiều có thể huấn luyện được (Géron, 2019:p.434; Malik, 2019b;
70
https://keras.io/api/layers/activations/
54
Karani, 2018; Cam-Stei, 2019) và có thể được áp dụng hiệu quả với deep learning (Malik, 2019b;
Phân tích, 2017). Một trong những ưu điểm của việc sử dụng tính năng nhúng từ so với TF-IDF nằm ở chỗ
trước đây loại bỏ lời nguyền về tính chiều của dữ liệu nhiều chiều (Yiu, 2019). Ở nơi khác
từ, thông qua TF-IDF, vectơ đặc trưng cho mỗi tài liệu có thể lớn đáng kể và đặc biệt là
trong trường hợp các tập dữ liệu lớn, điều này dẫn đến nhiều lỗi hoặc vấn đề khác nhau như
sự phức tạp. Cũng cần đề cập rằng việc nhúng từ có thể nắm bắt một cách hiệu quả cả
mối quan hệ cú pháp và ngữ nghĩa trong nhiệm vụ NLP (Tan, 2019).
Mặc dù việc nhúng từ tùy chỉnh có thể được triển khai nhưng nó phổ biến và hiệu quả hơn
để sử dụng các từ nhúng được đào tạo trước được đào tạo bởi bộ dữ liệu khổng lồ. Hai từ được đào tạo trước phổ biến
vectơ là các vectơ toàn cầu để biểu diễn từ71 (GloVe) (Pennington, Socher & Manning,
2014) và kỹ thuật Word2Vec (Mikolov và cộng sự, 2013). Một điểm khác biệt chính giữa
các mô hình sử dụng tính năng nhúng từ thông qua TF-IDF trên GloVe và Word2Vec là mô hình trước đây dựa trên
về phương pháp tần số (đếm số lần xuất hiện của các từ trong kho văn bản) biến nó thành một từ thưa thớt
mô hình dựa trên số lượng, GloVe sử dụng phương pháp đếm dày đặc, trong khi Word2Vec tạo dự đoán
dựa trên các vectơ từ (tạo ra xác suất phân phối từ), biến nó thành một tập hợp dày đặc
mô hình dựa trên dự đoán (Karani, 2018; Riedl & Biemann, 2017:p.7). Cả GloVe và Word2Vec
mang lại hiệu suất đáng kể và chủ yếu sự khác biệt của chúng được tìm thấy ở kiến trúc tòa nhà của chúng
(Gouws, 2017). Trong dự án này, GloVe đã được chọn với các vectơ từ 100 chiều.
Về cơ bản, việc nhúng từ giúp mô hình có thể dự đoán các từ gần với
bất kỳ từ nhất định nào (Géron, 2019:p.434) và chúng có độ dài dao động trong khoảng từ 100 đến 30072. Từ
phần nhúng mong muốn các từ nằm trong chỉ mục số tương ứng của chúng và đây là
được triển khai thông qua lớp “Tokenizer” do Keras.preprocessing.text73 cung cấp (Malik,
2020). Các giá trị khác nhau đã được thử nghiệm và độ dài tối đa cuối cùng được đặt thành 200. Cuối cùng,
các lớp nhúng đã được sử dụng, có thể được cung cấp bởi Keras và chúng có thể được sử dụng để thực hiện, tìm hiểu,
và triển khai tính năng nhúng từ (Malik, 2019b).
71
https://nlp.stanford.edu/projects/glove/
72
https://datascience.stackexchange.com/questions/31109/ratio-between-embedded-vector-
kích thước và từ vựng-kích thước
73
https://keras.io/api/preprocessing/text/
55
4.4.2 Kiến trúc của mô hình DL
Hàm kích hoạt: Lý do chọn sigmoid làm hàm kích hoạt nằm ở chỗ hàm logistic có thể xử lý và phù hợp với đầu ra đa
nhãn. Điều này không xảy ra với các hàm kích hoạt khác, ví dụ như trong trường hợp hàm Softmax74, xác suất xuất
hiện của một cảm xúc sẽ phụ thuộc vào sự xuất hiện của các cảm xúc khác. Tuy nhiên, điều này sẽ dẫn đến những dự
đoán và kết quả không mong muốn vì mục đích cuối cùng là dự đoán từng cảm xúc một cách riêng biệt và độc lập với
xác suất xuất hiện của những cảm xúc khác.
Hàm mất: Mục đích của hàm mất75 là tính toán số lượng mà mô hình cần tìm cách giảm thiểu trong quá
trình huấn luyện. Tổn thất ở đây sẽ được tính bằng BinaryCrossentropy vì dựa trên tài liệu Keras76,
nó phù hợp và được khuyến nghị sử dụng khi chỉ có hai lớp nhãn, giả định là 0 và 1, chính xác như
trong nhiệm vụ cụ thể này (không giống như với tổn thất categoricalCrossentropy77 được đề xuất sử
dụng khi có hai hoặc nhiều lớp nhãn).
Trình tối ưu hóa: Trình tối ưu hóa là các đối số cần thiết để biên dịch mô hình Keras. Đây Adam78
trình tối ưu hóa sẽ được sử dụng, đây là một phương pháp giảm độ dốc ngẫu nhiên, biến thuật toán
này thành một thuật toán tốc độ học thích ứng mà không cần điều chỉnh siêu tham số tốc độ học “η”
(Géron, 2019:p.356).
Số lượng nơ-ron: Không có câu trả lời đúng cố định trước về việc nên sử dụng bao nhiêu lớp ẩn hoặc
bao nhiêu nơ-ron trên mỗi lớp (Géron, 2019:p.325; Willems, 2019).
Tuy nhiên, số lượng nơ-ron ở lớp đầu ra phải được xác định dựa trên nhiệm vụ, trong trường hợp này
nên là một hoặc sáu nơ-ron tùy thuộc vào cách tiếp cận được tiến hành. Đối với số lượng nơ-ron trong
lớp đầu vào, điều này cũng có thể được xác định trước dựa trên bài toán nhiệm vụ cụ thể, ở đây con
số này sẽ bằng với độ dài tối đa của từ vựng đã được đặt trong quá trình triển khai nhúng từ (tức
là 200).
Một số thử nghiệm cũng đã diễn ra trong phần này, xây dựng mô hình DNN với
dự đoán với tổng quan về phim cộng với siêu dữ liệu hoặc chỉ với cốt truyện phim. Trái với
các mô hình ML, ở đây người ta nhận thấy hiệu suất tốt hơn khi chỉ sử dụng phần tổng quan về phim,
tuy nhiên và về tổng thể, mô hình DNN tốt nhất có thể được xây dựng có độ chính xác thấp hơn (xác thực
điểm chính xác: 62,49%, độ chính xác kiểm tra: 59,8) so với mô hình ML chuẩn của phiên bản trước
phần này và với mức độ phù hợp quá mức với dữ liệu huấn luyện cao hơn nhiều. Ngoài ra, người ta còn nhận thấy
rằng các mô hình sử dụng nhiều lớp đầu ra hoạt động kém so với mô hình đầu ra đơn lẻ
các mô hình lớp. Điều này có thể được giải thích bởi thực tế là có sáu lớp đầu ra, mỗi lớp
74 https://keras.io/api/layers/activations/#softmax-function
75 https://keras.io/api/losses/
76 https://keras.io/api/losses/probabilistic_losses/#binarycrossentropy-class
77 https://keras.io/api/losses/probabilistic_losses/#categoricalcrossentropy-class
78
https://keras.io/api/optimizers/adam/
56
việc thể hiện một cảm xúc sẽ làm tăng độ phức tạp của mô hình và mang lại hiệu suất kém
với mức độ trang bị quá mức cao, đặc biệt khi điều này xảy ra với một tập dữ liệu có thể huấn luyện tương đối nhỏ.
4.4.3 Phần 1| Sơ đồ phim có nhiều lớp đầu ra Dưới đây
được hiển thị trong hình 4.10, thực hiện phương pháp đầu tiên với sáu đầu ra
các lớp, mỗi lớp có một lớp dày đặc dành riêng cho một trong sáu mục tiêu-cảm xúc.
Các yếu tố dự đoán bao gồm các cốt truyện phim và nếu “y_train” đại diện cho các biến mục tiêu trong
tập tàu, thì điều này có nghĩa là ở đây chúng ta sẽ có y1_train, y2_train, v.v. cho đến y6_train cho
sáu lớp cảm xúc. Mô hình bắt đầu với đầu vào văn bản (lớp đầu vào) có hình dạng bằng nhau
với độ dài câu tối đa được đặt là 200. Sau đó, một lớp nhúng sẽ xuất hiện
chuyển tiếp mang kích thước từ vựng, trọng số của ma trận nhúng được tạo từ trước đó
bước, trong khi số 100 tượng trưng cho số chiều của mỗi từ (có
có thể tải xuống các kích thước từ khác nhau79 và triển khai, ở đây kích thước 100 được sử dụng).
Tiếp theo là lớp Bộ nhớ ngắn hạn dài (LSTM), nói chung, có thể làm giảm bớt
trí nhớ ngắn hạn hạn chế
Hình 4. 10: Tóm tắt mô hình: Nhiều lớp đầu ra sử dụng các ô phim
trong Mạng thần kinh tái phát (RNN) và Mạng thần kinh chuyển đổi (CNN) (Géron, 2019:p.497; Bajpai,
2019; Sawarn, 2019). Cuối cùng, sáu lớp đầu ra dày đặc mang dự đoán cho mỗi lớp.
79
https://nlp.stanford.edu/projects/glove/
57
một trong sáu cảm xúc Sau khi biên dịch, mô hình phù hợp và chạy với batch size 300 và cho
20 kỷ nguyên. Như đã đề cập trước đó, hiệu suất kém với độ chính xác kiểm tra là 50,26%.
4.4.4 Phần2| Cốt truyện phim với một lớp đầu ra
Kiến trúc tương tự của mô hình bên phải trước đó đã được chạy, nhưng lần này sử dụng một
lớp đầu ra dày đặc, như có thể xem trong hình tiếp theo của bản tóm tắt mô hình cốt truyện:
Hình 4. 11: Tóm tắt mô hình: Lớp đầu ra đơn sử dụng các đoạn phim
Điều này mang lại kết quả cao hơn, với điểm chính xác xác thực là 62,93% và độ chính xác của bài kiểm tra
60%, và mức độ trang bị quá mức ít hơn nhiều, điều này có thể được hiểu bằng cả điểm số trước đó và từ
hình 4.12 sau đây. Như có thể thấy bên dưới, các đường cong học tập đào tạo và xác nhận là
gần nhau giữa chúng, một thực tế ngụ ý rằng không có quá nhiều sự trang bị quá mức đang diễn ra.
58
Hình 4. 12: Đường cong học tập về mức độ mất mát và độ chính xác trong quá trình đào tạo trung bình qua mỗi kỷ nguyên - Mất xác thực
trung bình và độ chính xác ở cuối mỗi kỷ nguyên
Mô hình chuẩn trong lĩnh vực DNN được tạo ra nhờ nỗ lực cải thiện quyền trên
người mẫu. Tóm tắt mô hình tương ứng có thể được mô tả trong hình 4.13. Những thay đổi ở đây là:
80
việc bổ sung lớp tổng hợp tối đa toàn cầu (GlobalMaxPool1D()) và chính quy hóa bỏ học.
CNN cũng có khả năng hoạt động tốt với dữ liệu văn bản (Géron, 2019:pp.497–498), và mặc dù
các lớp tổng hợp không bao gồm các trọng số (Géron, 2019:p.457), chúng tổng hợp các đầu vào bằng một
hàm tổng hợp, ví dụ hàm tối đa hoặc trung bình. Ở đây sử dụng hàm max, giá trị max
Lớp gộp được đặt sau lớp nhúng và trước lớp đầu ra dày đặc, đang phát,
hơn nữa, vai trò làm phẳng dữ liệu trước khi chuyển sang các lớp đầu ra dày đặc (Schulz, 2018).
Thay đổi tiếp theo bao gồm việc đưa vào tham số chính quy hóa bỏ học 15% cho
tránh trang bị quá mức thông qua việc chính quy hóa (Géron, 2019:pp.364–365).
80
https://keras.io/api/layers/pooling_layers/global_max_pooling1d/
59
Hình 4. 13: Tóm tắt mô hình: Nhiều lớp đầu ra sử dụng các ô phim
Mô hình này cho kết quả gần giống nhau về điểm chính xác xác nhận nhưng ở đây
độ chính xác thử nghiệm cao hơn đã đạt được, một thực tế ngụ ý rằng mức độ trang bị quá mức ít hơn và mức độ cao hơn
khái quát hóa của mô hình.
4.4.5 Phần 3| Cốt phim & Siêu dữ liệu - Nhiều lớp đầu ra Trái ngược với
các mô hình ML được xây dựng trong các phần trước, mô hình DNN ở đây khi sử dụng
cả phần tổng quan về phim và siêu dữ liệu dường như đều hoạt động kém, với điểm kiểm tra độ chính xác là
59,51%. Kiến trúc của nó như sau: Thứ nhất, một API chức năng chứ không phải API tuần tự (Géron,
2019:tr.307; Li, 2017) đã được sử dụng để đạt được sự linh hoạt trong việc tạo hai mô hình con, vì
bây giờ sẽ cần có sự kết hợp hài hòa giữa các tình tiết phim ( bộ đầu tiên của
dự đoán) và siêu dữ liệu phim ( bộ thứ 2). Như hình 4.14 cho thấy, phần bên trái của mô hình
kiến trúc vẫn giống như trước đây, tuy nhiên phần này bây giờ đã trở thành một mô hình con và nó
nên được nối với mô hình con thứ hai ở phần bên phải. OneHotEndoder()
phương pháp tiền xử lý được áp dụng trong các biến phân loại (thể loại phim, phân cực của Vader) của
mô hình con thứ hai, liên quan đến siêu dữ liệu phim, đã tạo ra một ma trận thưa thớt với 16 cột,
60
điều này giải thích con số này tại thời điểm đó. Cuối cùng, hai mô hình con được nối với nhau
thông qua lớp nối Keras81 mang đầu ra của mô hình con thứ nhất và thứ hai,
và cuối cùng, lớp đầu ra dày đặc với sáu nơ-ron chấp nhận tập hợp các đầu ra đó cho
những dự đoán cuối cùng.
Hình 4. 14: Tóm tắt mô hình: Nhiều lớp đầu ra sử dụng cốt truyện phim & siêu dữ liệu
81
https://keras.io/api/layers/merging_layers/concatenate/#:~:text=Concatenate%20class&text=Layer%20that%
20concatenates%20a%20list,%20concatenation%20of%20all%20đầu vào.
61
Chương 5|
5. Kiểm tra tương quan
Nhà nghiên cứu quyết định điều tra RQ3 và RQ4 bằng cách tiến hành hai loại chính
của các thử nghiệm tương quan và bằng cách sử dụng hai giả thuyết không. Xin nhắc lại rằng RQ3 là: “Có
mối tương quan giữa sở thích của người dùng và cảm xúc được thể hiện trong cốt truyện chương trình truyền hình/phim? Trong
Cuối cùng, khái niệm cảm xúc là một tính năng hữu ích trong bối cảnh các hệ thống gợi ý và
công ty quảng cáo?". Giả định được xem xét ở đây là có một tác động tích cực
mối tương quan giữa sở thích của người dùng và xếp hạng: nếu người dùng bình chọn một bộ phim có xếp hạng cao thì
điều này có nghĩa là họ thích nó và ngược lại. “Tuỳ chọn của người dùng” ở đây có nghĩa là xếp hạng của người dùng
bỏ phiếu, và “cảm xúc” có nghĩa là những cảm xúc được tạo ra bởi mô hình được xây dựng trong
dự án. Người ta cũng nhắc nhở rằng RQ4 là: “Liệu có sự tương quan nào giữa các loạt phim trong tâm lý người dùng không?”
danh sách theo dõi liên quan đến những cảm xúc tiềm ẩn mà những bộ phim này khơi gợi? Nói cách khác và cho
Ví dụ: nếu một người xem đã xem 100 bộ phim, cảm xúc được miêu tả trong 50 bộ phim đầu tiên là gì?
có tương quan với 50 bộ phim tiếp theo không?”
Đặt giả thuyết không là H0:
-
H0 cho RQ3: Sở thích của người dùng không được liên kết với cảm xúc mà bộ phim họ gợi lên
xem và không có mối tương quan giữa chúng.
-
H0 cho RQ4: Không có sự tương quan giữa các cảm xúc trong danh sách theo dõi của người xem.
5.1 Kiểm tra tính chuẩn
Nhà nghiên cứu tiến hành kiểm tra tính chuẩn để điều tra xem các biến
việc tham gia kiểm tra giả thuyết tuân theo phân phối bình thường (hoặc không) (Browniee, 2019a;
Korstanje, 2019). Cần lưu ý rằng cả “điểm đánh giá” và “điểm cảm xúc” đều là thứ tự phân loại
biến (Donges, 2018). Lúc đầu, khi cảm xúc được mô hình tạo ra ở dạng nhị phân
chúng mang tính phân loại danh nghĩa vì chúng thể hiện sự tồn tại hay không của cái cụ thể
cảm xúc trong phim (ở dạng có/không). Tuy nhiên, nhà nghiên cứu tiến tới mối tương quan
kiểm tra bằng cách sử dụng điểm cảm xúc được tạo ra bởi điểm chức năng quyết định của mô hình cuối cùng,
chúng ở dạng điểm tin cậy. Điều này có nghĩa là bây giờ chúng phản ánh một thứ tự trong
quá trình sản xuất của chúng và ví dụ: kết quả nhị phân “1” không giống nhau trên tất cả các cảm xúc vì một số
trong số đó có điểm tin cậy ít hoặc cao hơn khi xuất hiện trong phim.
62
Hình ảnh tổng thể của các biến có thể được mô tả trong biểu đồ tương quan82 của
hình sau, trong đó các biểu đồ phân tán cũng như biểu đồ xếp hạng và cảm xúc
các biến trong đường chéo có thể được xem.
Hình 5. 1: Biểu đồ tương quan của các biến trong mẫu
Boxplot trong hình 5.2 có thể hữu ích cho việc hình dung sự phân bố của dữ liệu số
và độ lệch thông qua việc hiển thị các phần tư dữ liệu, cũng như để phát hiện các giá trị ngoại lệ (Galarnyk,
2018). Biểu đồ violin trong hình 5.3 có thể mở rộng hình dung này bằng cách chỉ ra xác suất
mật độ dữ liệu ở các giá trị khác nhau và phân phối của các biến hoàn chỉnh (Lewinson, 2019).
Từ hình trên, không thể nghi ngờ gì rằng biến “xếp hạng” không tuân theo quy luật bình thường.
82
https://python-graph-gallery.com/correlogram/
63
phân bổ. Về các biến còn lại và tổng thể, các vị trí khác nhau của ô vuông
dường như gợi ý các lĩnh vực thuộc nhóm giá trị khác nhau giữa các biến cảm xúc. Nó có thể được chú ý
sự phân bổ khác nhau trên 6 cảm xúc với nhiều ngoại lệ khác nhau từ cả hai phía trục, với
cảm xúc “sợ hãi” và “ngạc nhiên” có hơn 75% dữ liệu của họ hướng tới hệ nhị phân tích cực
“1”, tức là những cảm xúc này được thể hiện rất nhiều trên các bộ phim, trái ngược với những cảm xúc khác
phần lớn trong số đó mang điểm tự tin tiêu cực, đặc biệt là điểm “hạnh phúc”. Hơn nữa,
sự nhất quán hơn về điểm số được đáp ứng ở điểm “ghê tởm”, trái ngược với điểm “hạnh phúc” mà ở đó
phạm vi giữa các phần tư kéo dài khá dài. Mặt khác, những cảm xúc “buồn bã”, “giận dữ” và
“ghê tởm” dường như thể hiện gần như cả giá trị trung bình và mức phân bổ bằng nhau. Tuy nhiên đối với
tất cả các biến có thể nhận thấy rằng mặc dù các giá trị trung bình dường như ở khoảng giữa
các ô tương ứng, các râu không chứa cùng kích thước giữa phần dưới và phần trên
lần lượt vào cuối các ô.
Hình 5. 2: Sơ đồ các biến của mẫu
Những điều đã nói ở trên có thể được nghiên cứu sâu hơn bằng cốt truyện vĩ cầm được mô tả bên dưới. Các
biến thể dữ liệu khác nhau trải rộng trên điểm số cảm xúc cũng có thể được xem, cũng như
các vị trí khác nhau của giá trị trung bình (các chấm trắng) giữa chúng. Cũng có thể khẳng định lại rằng
cảm xúc “sợ hãi” và “ngạc nhiên” thể hiện mật độ cao hơn đối với các giá trị dương của trục y,
trái ngược với những cảm xúc còn lại và đặc biệt là cảm xúc “hạnh phúc”, tuy nhiên cảm xúc sau
trình bày một số ngoại lệ mở rộng cao hơn bất kỳ khác. Nói cách khác, điều này có nghĩa là
64
“Hạnh phúc” không xuất hiện thường xuyên trong phim ảnh nhưng trong một số trường hợp hạn chế thì hình mẫu cũng khá đẹp
tự tin về sự dịch chuyển của nó.
Hình 5. 3: Đồ thị biến số của mẫu đàn violin
Nhìn chung, các hình dạng và vị trí khác nhau của các ô đàn violin có thể chỉ ra những khác biệt
phân phối theo cảm xúc và cho từng cảm xúc. Mỗi cảm xúc sẽ
được kiểm tra riêng lẻ trong các bài kiểm tra tương quan và cụ thể: Loại bài kiểm tra tổng quát đầu tiên
sẽ kiểm tra mối tương quan giữa điểm đánh giá và cảm xúc (đối với mỗi một trong sáu cảm xúc
tương ứng) và phần đầu tiên của tập thử nghiệm rộng thứ hai sẽ so sánh tương tự nhưng từ
quan điểm lấy người dùng làm trung tâm. Cuối cùng, phần thứ hai của phạm trù rộng thứ hai sẽ điều tra
mối quan hệ giữa các điểm số cảm xúc: ở đây các giá trị đánh giá không tham gia vào mối tương quan
kiểm tra, nhưng điều đặc biệt quan tâm là những điểm số cảm xúc đó đến từ nhóm cụ thể của
phiếu xếp hạng tương ứng, như sẽ được giải thích sau.
Việc xác định chặt chẽ hơn tính quy tắc (hoặc không) của biến sẽ là điều mong muốn và mặc dù
các chỉ dẫn trên, tổng cộng ba phép thử tính chuẩn được thực hiện thông qua các hàm thống kê của
scipy.stats83, là một thư viện Python mã nguồn mở và đó là: Shapiro-Wilk84 test85 ,
83
https://docs.scipy.org/doc/scipy/reference/stats.html
84
https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.shapiro.html
85
Không phù hợp với tài liệu cay, thử nghiệm này có thể không phù hợp với mẫu N>5000 và đây là
tại sao hai cuộc kiểm tra nữa lại được thực hiện.
65
Kiểm định K bình phương của D'Agostino86 và kiểm định Anderson-Darling87. Trong các bảng dưới đây, “thống kê”
là giá trị số lượng được trả về là các thử nghiệm được so sánh với các giá trị tới hạn từ
phân phối các bài kiểm tra thống kê (Browniee, 2019b). Giá trị P sẽ được sử dụng để giải thích kết quả,
tức là nếu p< alpha=0,05 thì giả thuyết H0 bị bác bỏ và có nghĩa là mẫu đã được rút ra
từ phân bố Gaussian, nếu không kết quả sẽ không bác bỏ H0. Cần lưu ý
hơn giá trị p ở đây không phải là xác suất dữ liệu phù hợp với phân bố Gaussian, mà là
nó được sử dụng để giải thích các bài kiểm tra thống kê tương ứng (Browniee, 2019a). Như có thể thấy từ
bên dưới các bảng, cả hai phép kiểm định K bình phương của Shapiro-Wilk88 và D'Agnostino đều thấy rằng các mẫu
lệch đáng kể so với bình thường và H0 sẽ bị bác bỏ.
Số liệu thống kê giá trị p Kết quả

st
1 tập hợp các biến:
Những cảm xúc
Niềm hạnh phúc 0,952 <0,01 Từ chối H0

Sư sâ u na o 0,999 <0,01 Từ chối H0
Sự tức giận 0,998 <0,01 Từ chối H0
ghê tởm 0,939 <0,01 Từ chối H0

Nỗi sợ 0,991 <0,01 Từ chối H0
Sự ngạc nhiên 1 0,042 Từ chối H0
Biến thứ 2:
Đánh giá 0,922 Bảng 5. 1: Kiểm tra tính <0,01 Từ chối H0
chuẩn: Shapiro-Wilk
Số liệu thống kê giá trị p Kết quả

st
Những cảm xúc
Niềm hạnh phúc 6014.354 <0,01 Từ chối H0

Sư sâ u na o 76.374 <0,01 Từ chối H0
Sự tức giận 125.383 <0,01 Từ chối H0
ghê tởm 11566.956 <0,01 Từ chối H0

Nỗi sợ 1175.575 <0,01 Từ chối H0
Sự ngạc nhiên 11.387 <0,01 Từ chối H0
Biến thứ 2:
Xếp hạng 102945.202 <0,01 Từ chối H0

Bảng 5. 2: Kiểm định tính chuẩn: K bình phương của D'Agnostino
86
https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.normaltest.html
87
https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.anderson.html
88
Thử nghiệm này có thể không chính xác đối với mẫu N > 5.000, tuy nhiên đây là lý do tại sao hai thử nghiệm khác được tiến hành.
66
Kiểm tra Anderson-Darling trả về một danh sách các giá trị quan trọng thay vì một giá trị p duy nhất. Các
tham số “dist” trong hàm scipy.stats.anderson() được đặt thành “norm” để kiểm tra xem có
phân phối bình thường. Số liệu thống kê của mỗi cảm xúc được so sánh với các giá trị quan trọng: Nếu số liệu thống kê là
lớn hơn các giá trị tới hạn tương ứng, các giá trị sau có liên quan đến
mức ý nghĩa 15%, 10%, 5%, 2,5%, 1% thì H0 là số liệu bình thường
phân phối có thể bị từ chối.
Thống kê Giá trị tới hạn Kết quả

st
Những cảm xúc
15%: 0,576 Từ chối H0

10%: 0,656 Từ chối H0
Niềm hạnh phúc 818.503 5%: 0,787 Từ chối H0
2,5%: 0,918 Từ chối H0
1%: 1,092 Từ chối H0
15%: 0,576 Từ chối H0

10%: 0,656 Từ chối H0
Sư sâ u na o 15.946 5%: 0,787 Từ chối H0
2,5%: 0,918 Từ chối H0
1%: 1,092 Từ chối H0
15%: 0,576 Từ chối H0

10%: 0,656 Từ chối H0
Sự tức giận 19.923 5%: 0,787 Từ chối H0
2,5%: 0,918 Từ chối H0
1%: 1,092 Từ chối H0
15%: 0,576 Từ chối H0

10%: 0,656 Từ chối H0
ghê tởm 526.555 5%: 0,787 Từ chối H0
2,5%: 0,918 Từ chối H0
1%: 1,092 Từ chối H0
15%: 0,576 Từ chối H0

10%: 0,656 Từ chối H0
Nỗi sợ 149.868 5%: 0,787 Từ chối H0
2,5%: 0,918 Từ chối H0
1%: 1,092 Từ chối H0
15%: 0,576 Từ chối H0

10%: 0,656 Từ chối H0
Sự ngạc nhiên 0,869 5%: 0,787 Từ chối H0
2,5%: 0,918 Không thể từ chối H0
1%: 1,092 Không thể từ chối H0
67
Biến thứ 2:
Xếp hạng 32820.415 5%: 0,787 Không thể từ chối H0
2,5%: 0,918 Không thể từ chối H0
Bảng 5. 3: Kiểm tra tính quy tắc: Anderson-Darling
Nhìn chung, ngoài bài kiểm tra Anderson-Darling chỉ ra cảm xúc “ngạc nhiên” rằng
H0 không bị bác bỏ ở mức ý nghĩa 2,5% và 1%, có thể cho rằng
ủng hộ rằng các kiểm tra tính quy phạm chỉ ra rằng không có phân phối Gaussian và rằng
xếp hạng cũng như điểm số cảm xúc cho từng cảm xúc trông không bình thường. Như một
nên sử dụng các phương pháp thống kê phi tham số để kiểm tra giả thuyết.
5.2 Kiểm định giả thuyết – Hệ số tương quan xếp hạng Spearman
Sau khi xác nhận loại thử nghiệm tương quan nào sẽ được xây dựng, một loạt các thử nghiệm không
các thử nghiệm tham số đã được nghiên cứu. Nhà nghiên cứu cuối cùng tiến hành xếp hạng của Spearman-
tương quan thứ tự, là phiên bản phi tham số của thời điểm sản phẩm của Pearson
mối tương quan, vì những lý do sau (Browniee, 2019c; Thống kê, 2020; Shantikumar, 2016;
Okada, 2019; Statstutor, 2020; Nghiên cứu địa lý, 2020; Laerd, 2020):
Tôi. Mối tương quan thứ tự xếp hạng của Spearman giả định rằng hai biến được đo phải là
thang đo thứ tự, khoảng hoặc tỷ lệ. Trong nhiệm vụ này, cả hai biến đều được phân loại theo thứ tự và đáp ứng điều này
tiêu chuẩn.
ii. Thử nghiệm của Spearman cũng yêu cầu hai biến đại diện cho các quan sát được ghép nối. Cái này,
thực sự, được đáp ứng ở đây. Ví dụ: nếu người dùng đã xem 50 bộ phim thì xếp hạng từ
Bộ phim đầu tiên sẽ được điều tra liên quan đến biến số thứ hai (điểm cảm xúc) cho điều đó
phim cụ thể, tiếp theo việc này sẽ diễn ra lần nữa ở phim thứ 2, v.v. cho đến khi
bộ phim thứ 50.
iii. Giả định tồn tại mối quan hệ đơn điệu giữa các biến số: Một mối quan hệ đơn điệu
mối quan hệ tồn tại khi một trong hai biến tăng giá trị cùng nhau (tương quan dương),
hoặc khi một giá trị biến tăng thì giá trị biến kia giảm dẫn đến nghịch đảo
mối quan hệ đơn điệu (tương quan âm). Mức độ và bản chất của mối tương quan này
vẫn còn phải được điều tra trong suốt quá trình tiến hành thử nghiệm.
iv. Mối tương quan Spearman có thể được sử dụng khi các biến không có phân phối chuẩn và
không nhạy cảm lắm với các giá trị ngoại lệ: từ ba lần kiểm tra tính chuẩn đã xác nhận rằng
68
các biến không tuân theo phân phối chuẩn và các giá trị ngoại lệ được phát hiện qua biểu đồ hình hộp
sẽ không ảnh hưởng đến giá trị của kết quả kiểm tra của Spearman.
Vì những lý do đã được giải thích, nhà nghiên cứu tiến hành sử dụng mối tương quan của Spearman
hệ số kiểm định giả thuyết khống (H0) rằng không có mối tương quan đơn điệu trong
dân số, so với phương án (H1) có mối quan hệ đơn điệu. Các nhà nghiên cứu,
do đó, chọn mức ý nghĩa (alpha) là giá trị p của 5% và lấy rho là
Hệ số tương quan dân số Spearman. Hệ số tương quan xếp hạng của Spearman sẽ là
được tính toán trong mẫu của mỗi cuộc thử nghiệm được tiến hành. Giá trị Rho nằm trong khoảng [-1, 1] và tương quan với
rho +1 hoặc -1 biểu thị mối quan hệ đơn điệu chính xác, mối quan hệ tiêu cực hoặc tích cực hoàn hảo
tương ứng. Độ mạnh của mối tương quan dựa trên các giá trị rho sẽ được nhóm lại và
được diễn giải như sau:
[-0.5 , -1]: mối quan hệ tiêu cực mạnh mẽ
[-0.3 , -0.5]: mối quan hệ tiêu cực vừa phải
(0 , -0.3]: mối quan hệ tiêu cực yếu
(0 , 0.3]: mối quan hệ tích cực yếu
[0,3 , 0,5]: mối quan hệ tích cực vừa phải
[0.5 , 1]: mối quan hệ tích cực mạnh mẽ
Cả giá trị p và rho của Spearman sẽ được tính toán thông qua Spicy.stats.spearmanr89
hàm thống kê sử dụng Python. Giá trị P sẽ là xác suất 5% là ngưỡng cho
phát hiện xem có mối tương quan giữa các biến hay không: trên mức này (p>0,05), giá trị null
giả thuyết được coi là đúng. Bằng hoặc thấp hơn mức này (p <= 5) sẽ có nghĩa là có ít nhất một
Xác suất 95% rằng giả thuyết không sai và dữ liệu có ý nghĩa thống kê
cho thấy mối quan hệ thực sự và có đủ bằng chứng để bác bỏ giả thuyết không, và cuối cùng,
rằng các mẫu có thể được lấy từ các quần thể có sự phân bố khác nhau.
Hình 5.4 mô tả cấu trúc của tất cả các thử nghiệm tương quan. Như có thể thấy, hai rộng
các loại thử nghiệm tương quan đã được tiến hành.
89
https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.spearmanr.html
69
Hình 5. 4: Xây dựng các thử nghiệm tương quan
5.3 Kiểm tra giả thuyết: Loại 1
Loại đầu tiên không lấy người dùng làm trung tâm, điểm đánh giá bao gồm biến độc lập
trong khi cảm xúc lại ghi điểm cho những người phụ thuộc. “Không lấy người dùng làm trung tâm” có nghĩa là tất cả dữ liệu đều được
được tính đến mà không tính đến việc người dùng nào đã bình chọn phim nào. Đây,
giả thuyết không trả lời RQ3 sẽ được nghiên cứu và vì mỗi cảm xúc sẽ được
kiểm tra riêng biệt tổng số 6 bài kiểm tra đã được tiến hành. Tất cả dữ liệu được lấy từ 10.00090
90
10.000 được nhà nghiên cứu đánh giá là số lượng người dùng khá đủ và đây là lý do con số này được chọn. Những người dùng này
đến từ tệp “xếp hạng_10k.csv”. Csv này là phiên bản rút gọn của “xếp hạng.csv” MovieLens, chứa tổng cộng 162.541 người dùng. 10.000 đã được
chọn như sau: 3000 người dùng đầu tiên có userId trong phạm vi [1, 3000], 3000 người dùng có userId trong phạm vi [100000, 103000] và 3000
người dùng cuối cùng có userId trong phạm vi [158543, 162541]. Lý do đằng sau điều đó là để thu hút người dùng trong suốt nhiều năm, vì dựa
trên tài liệu của MovieLens, những người dùng đó được tạo từ năm 1995 đến năm 2019.
70
người dùng, trung bình mỗi người trong số họ đã xem 150 bộ phim và tổng cộng tất cả người dùng đều có
đã xem 22.898 phim.
5.4 Kiểm tra giả thuyết: Loại 2 Loại rộng
thứ hai lấy người dùng làm trung tâm trong đó tất cả các thử nghiệm được thực hiện cho mỗi người dùng duy nhất
(và theo cảm xúc). Ngoài thử nghiệm “2.2.4”, đối với tất cả các thử nghiệm ở đây, số lượng mẫu là 9.586 người dùng
(414 ít hơn) vì chỉ những người dùng đã xem ít nhất 2091 phim mới được chọn và những người dùng này
tất cả đã cùng nhau xem 22.892 bộ phim.
Phần đầu tiên của các bài kiểm tra (kiểm tra 2.1.1 – 2.1.4) tương tự như phần kiểm tra không lấy người dùng làm trung tâm
cách tiếp cận trong loại bài kiểm tra đầu tiên: điểm đánh giá được so sánh với điểm cảm xúc, nhưng
ở đây cho mỗi người dùng duy nhất (và cho mỗi cảm xúc) và giả thuyết không liên quan đến RQ3 là
được điều tra. Phần thứ hai khám phá giả thuyết không liên quan đến RQ4 và danh sách theo dõi của người dùng.
Ở đây các xếp hạng không được kiểm tra trong bài kiểm tra nhưng chúng đóng một vai trò gián tiếp quan trọng ở chỗ chúng
xác định điểm cảm xúc nào sẽ được sử dụng mỗi lần cho mỗi bài kiểm tra.
5.4.1 Thử nghiệm: Loại 2.1
Sáu thử nghiệm giả thuyết đã được tiến hành với hệ số tương quan Spearman's rho:
1) Kết quả cho thấy mối tương quan tiêu cực yếu giữa cảm xúc “hạnh phúc” và
điểm đánh giá, (rho = -0,0243, N=10.000, p < 0,01)
2) Kết quả cho thấy mối tương quan tích cực yếu giữa cảm xúc “nỗi buồn” và đánh giá
điểm, (rho = 0,0459, N=10.000, p < 0,01)
3) Kết quả cho thấy mối tương quan tích cực yếu giữa cảm xúc “tức giận” và đánh giá
điểm, (rho = 0,0119, N=10.000, p < 0,01)
4) Kết quả cho thấy mối tương quan tích cực yếu giữa cảm xúc “ghê tởm” và đánh giá
điểm, (rho = 0,0130, N=10.000, p < 0,01)
5) Kết quả cho thấy mối tương quan tích cực yếu giữa cảm xúc “sợ hãi” và đánh giá
điểm, (rho = 0,0341, N=10.000, p < 0,01)
6) Kết quả cho thấy mối tương quan nghịch yếu giữa cảm xúc “bất ngờ” và đánh giá
điểm số, (rho = -0,0113, N=10.000, p < 0,01)
91
Điều này là để các bộ thử nghiệm xem xét hai bộ phim của một người dùng duy nhất có ít nhất
Mỗi phim 10 phim.
71
Kiểm tra 2.1.1 – Xếp hạng so với Điểm cảm xúc:
Giả sử người dùng có id=1 đã xem 100 bộ phim. Sau đó, bài kiểm tra của Spearman
sẽ tương quan với điểm xếp hạng do userId=1 bình chọn cho 100 phim đó, với
điểm cảm xúc tương ứng được gán cho những bộ phim đó (bắt nguồn từ mô hình). Cái này
quy trình diễn ra cho mọi người dùng và mọi cảm xúc, dẫn đến tổng số 57.516
các bài kiểm tra cho mỗi danh mục phụ của bài kiểm tra, tổng cộng 402.612 bài kiểm tra cộng với 4.170 bài kiểm tra của bài kiểm tra “2.2.4”, dành cho
loại bài kiểm tra thứ hai. Tổng số thử nghiệm được thực hiện ở cả hai loại chính
là 406,78892 .
Kết quả có thể được mô tả trong hình dưới đây. 90,54% mẫu (52.076 xét nghiệm) cho thấy
không có mối tương quan nào với RQ3, trong khi 9,46% còn lại (5.440 xét nghiệm) bác bỏ kết quả không
giả thuyết. Từ mẫu bác bỏ giả thuyết khống (p<=0,05), các thanh màu xanh trong
biểu đồ thanh được nhóm lại cho biết số lượng bài kiểm tra cho thấy mối tương quan trên mỗi loại cảm xúc.
Hình 5. 5: Kiểm tra tương quan (2.1.1): Xếp hạng so với Điểm cảm xúc
92 thứ 1
thể loại: 6 bài kiểm tra | Hạng 2 : 402.612 bài kiểm tra (kiểm tra 2.1.1 – 2.2.3) + 4.170 bài kiểm tra (kiểm tra 2.2.4).
72
Kiểm tra 2.1.2 – Xếp hạng (không bao gồm điểm trung lập) so với Điểm Cảm xúc:
Lý do tương tự như thử nghiệm 2.1.1 trước đó, nhưng ở đây không lấy bất kỳ dữ liệu nào được liên kết
với xếp hạng trung lập. Nhà nghiên cứu xác định các loại xếp hạng như sau:
- Xếp hạng trong khoảng [0.5 , 2]: xếp hạng tiêu cực
- Xếp hạng trong khoảng (2 , 3.5]: xếp hạng trung tính
- Xếp hạng trong khoảng [4 , 5]: xếp hạng tích cực
Ví dụ: Một người dùng đã xem 60 bộ phim nhưng anh ta đã bình chọn 20 bộ phim có xếp hạng trung lập.
Như vậy dữ liệu từ 20 bộ phim đó sẽ không được đưa vào thử nghiệm. Điều này được thực hiện theo cảm xúc, theo
người dùng. Kết quả là:
Hình 5. 6: Kiểm tra 2.1.2: Xếp hạng (Không bao gồm điểm trung tính) so với Điểm Cảm xúc
Ở đây, 80,21% mẫu không bác bỏ giả thuyết khống, trong khi 11.384 thử nghiệm
(19,79%) bác bỏ giả thuyết không đối với RQ3.
73
Kiểm tra 2.1.3 – Xếp hạng thấp nhất so với Điểm cảm xúc:
Tương tự như bài kiểm tra 2.1.2, nhưng ở đây chỉ lấy điểm tiêu cực. Các kết quả được hiển thị dưới đây:
Hình 5. 7: Kiểm tra 2.1.3: Xếp hạng thấp nhất so với Điểm cảm xúc
Một trong những phát hiện thú vị diễn ra trong thử nghiệm này: trong khi 58,24% mẫu không thành công.
bác bỏ giả thuyết không, tuy nhiên trong 41,76% (24.020 bài kiểm tra) giả thuyết không cho RQ3 nhận được
vật bị loại bỏ.
Kiểm tra 2.1.4 – Xếp hạng cao nhất so với Điểm cảm xúc:
Cơ sở lý luận ở đây hoàn toàn trái ngược với lý do ở 2.1.3 và chỉ có dữ liệu được rút ra từ những điều đó
phim mà mỗi lần người dùng bình chọn trong phạm vi [4 , 5] đều được lấy. Kết quả:
74
Hình 5. 8: Kiểm tra 2.1.4: Xếp hạng cao nhất so với Điểm cảm xúc
5.4.2 Thử nghiệm: Loại 2.2
Như đã đề cập trước đó, nhóm thử nghiệm con này (2.2.1 – 2.2.4) nghiên cứu H0 với
tham chiếu đến RQ4. Nhà nghiên cứu ở đây quan tâm đến việc điều tra các mối quan hệ tiềm năng
giữa các bộ phim mà cùng một người dùng đã xem, liên quan đến những cảm xúc gợi lên đằng sau
những bộ phim đó. Ví dụ: khi ai đó đã xem 30 bộ phim, hãy xem bộ 15 bộ phim đầu tiên
tương quan với 15 bộ phim của tập thứ hai về những cảm xúc được khơi gợi từ những bộ phim đó
phim?
Kiểm tra 2.2.1: Hiệp 1 vs Hiệp 2
Trong thử nghiệm này, tất cả các phim mà người dùng duy nhất đã xem đều được chia đôi tạo thành 2 phần bằng nhau
bộ. Nếu tổng số phim đã xem là số lẻ thì phim cuối cùng được xem sẽ
được trừ đi. Cơ sở lý luận tương tự như các thử nghiệm 2.1.1 – 2.1.4, quy trình này diễn ra cho mọi
người dùng trong mẫu và theo cảm xúc. Hình 5.9 mô tả kết quả:
75
Hình 5. 9: Kiểm tra 2.2.1 - Điểm Cảm xúc: Hiệp 1 so với Hiệp 2
Nhìn chung, 54.593 thử nghiệm cho thấy không có mối tương quan và không thể bác bỏ H0 liên quan đến RQ4.
5,08% mẫu bác bỏ giả thuyết khống.
Kiểm tra 2.2.2: Người dùng đánh giá thấp nhất: Bộ 1 so với Bộ 2
Tương tự như thử nghiệm 2.2.1, nhưng ở đây lấy các bộ phim đó cho mỗi người dùng duy nhất mà người dùng đó có
được bình chọn ít nhất (tức là xếp hạng trong phạm vi [0, 2]). Kết quả:
76
Hình 5. 10: Kiểm tra 2.2.2 - Người dùng đánh giá thấp nhất: Bộ 1 so với Bộ 2
Đây là thử nghiệm có kết quả quan trọng nhất về mối tương quan được tìm thấy. Trong khi
49,19% mẫu không phủ nhận H0 , 50,81% mẫu với tổng số 29.226 xét nghiệm
bác bỏ H0 liên quan đến RQ4. Nhìn chung, điều này đúng ở mức độ như nhau đối với mọi
sáu cảm xúc, trong đó phần lớn mỗi loại cảm xúc đều bác bỏ H0.
Kiểm tra 2.2.3: Được người dùng đánh giá cao nhất: Bộ 1 so với Bộ 2
Ngược lại với thử nghiệm 2.2.2, bằng cách lấy dữ liệu từ các bộ phim được bình chọn có xếp hạng ở
phạm vi [4 , 5] bởi người dùng duy nhất. Kết quả là:
77
Hình 5. 11: Kiểm tra 2.2.3 - Người dùng đánh giá cao nhất: Bộ 1 so với Bộ 2
Như có thể thấy từ hình trên, bằng cách tiến hành theo cách ngược lại với cách trước
kiểm tra đại đa số ở đây (93,94%) không bác bỏ giả thuyết không có liên quan đến RQ4, với
chỉ có 6,06% mẫu từ chối nó.
Kiểm tra 2.2.4: Set 1 (được đánh giá thấp nhất) so với Set2 (được đánh giá cao nhất)
Cuối cùng, đây là sự kết hợp của các bài kiểm tra 2.2.2 & 2.2.3. Điều này có nghĩa là trong bài kiểm tra này tập đầu tiên
số phim bao gồm xếp hạng tiêu cực, trong khi bộ thứ hai bao gồm những phim được bình chọn
với điểm số trong phạm vi [4 , 5] bởi người dùng duy nhất. Lý do tại sao bài kiểm tra này có mẫu khác là
hợp lý bởi thực tế là không phải tất cả người dùng đã xem ít nhất 20 phim đều có thể đáp ứng tiêu chí
đưa ra cho bài kiểm tra này. Vì lý do này, trong số 9.586 người dùng, có tổng cộng 695 người đã tham gia thử nghiệm này,
và mỗi người trong số đó đã xem 50 bộ phim được người dùng duy nhất bình chọn với xếp hạng tiêu cực
(bộ 1) và 50 phim được bình chọn xếp hạng tích cực (bộ 2). Kết quả của các thử nghiệm này được minh họa
dưới:
78
Hình 5. 12: Kiểm tra 2.2.4: Set 1 (Xếp hạng Thấp nhất) so với Set 2 (Xếp hạng Cao nhất)
Và ở đây, phần lớn mẫu với 3.850 lần kiểm tra đã không thể bác bỏ H0 với
liên quan đến RQ4. 5,28% còn lại của mẫu (220 bài kiểm tra) bác bỏ giả thuyết khống.
5.4.3 Nhận xét bổ sung
Kết thúc chương này, một số quan sát so sánh đáng được đề cập. Một sự tương đồng
trong logic đằng sau việc xây dựng giữa hai danh mục con (2.1 & 2.2) của phương pháp lấy người dùng làm trung tâm
có thể phát hiện được nhiều loại thử nghiệm: dữ liệu được sử dụng trong các thử nghiệm tương quan cho cả hai thử nghiệm 2.1.1 và
2.2.1 liên quan đến tất cả các bộ phim được xem bởi một người dùng duy nhất. Tương tự, kiểm tra 2.1.2 và kiểm tra 2.2.4
bỏ qua những bộ phim đã được người dùng riêng biệt bình chọn theo điểm xếp hạng trung lập. Sau đó,
một mô hình tương tự được thực hiện giữa các bài kiểm tra 2.1.3 và 2.2.2: bài kiểm tra 2.1.3 chỉ tính đến
xếp hạng thấp nhất (trong biến “xếp hạng”) và tương tự, trong thử nghiệm 2.2.2, điểm cảm xúc được liên kết với nhau
cho những bộ phim nhận được điểm đánh giá thấp nhất bởi người dùng riêng tương ứng.
Cuối cùng, bài kiểm tra 2.1.4 bao gồm các xếp hạng tốt nhất trong biến “xếp hạng” và theo đó, bài kiểm tra 2.2.3
tương quan với những điểm số cảm xúc bắt nguồn từ những bộ phim chỉ được bình chọn với xếp hạng cao nhất
phiếu bầu của người dùng duy nhất tương ứng.
79
Chương 6|
6. Kết luận và thảo luận
6.1 Kết luận
Trong quá trình tìm kiếm một mô hình phù hợp để dự đoán cảm xúc ở những vùng không được gắn nhãn
khung dữ liệu bao gồm 55.577 phim, Trình phân loại SV tuyến tính với bộ vectơ TF-IDF dường như
rõ ràng là vượt trội so với các mô hình còn lại. Cụ thể là TF-IDF Vectorizer chung thu được
kết quả tốt hơn với hệ số khoảng 3% về độ chính xác trong bộ xác nhận, so với
mô hình DNN chuẩn bằng cách sử dụng các từ nhúng và các lớp tổng hợp CNN. Sau khi tìm được nhiều nhất
mô hình đầy hứa hẹn, điểm chính xác này đã được nâng cao thông qua việc lựa chọn mô hình GridSearchCV trong
bối cảnh tìm kiếm các siêu tham số tốt nhất (điểm f1 trung bình vi mô: 69,06%), và do đó,
điểm này tăng khoảng 4% (trung bình vi mô f1: 73,15%) khi người mẫu được đào tạo về
85% khung dữ liệu không được gắn nhãn và khi lựa chọn tính năng cuối cùng được quyết định thông qua
Tầm quan trọng của tính năng Random Forest. Điểm tổn thất hamming cho mô hình cuối cùng là 0,21 và
điểm AUC micro ROC đứng ở mức 0,75.
Mô hình cuối cùng sau đó được sử dụng để đưa ra dự đoán cuối cùng dựa trên cảm xúc.
trong tổng số 55.577 phim. Tổng số 402.612 thử nghiệm tương quan được thực hiện với
Hệ số tương quan thứ tự xếp hạng của Spearman để giải quyết RQ3 và RQ4. Trong chuyên ngành đầu tiên
loại thử nghiệm và đối với RQ3, tất cả các mẫu đều loại bỏ H0, với cảm xúc “hạnh phúc”
và “ngạc nhiên” có mối tương quan nghịch yếu giữa xếp hạng và điểm cảm xúc, trong khi
Mối liên hệ tích cực yếu được tìm thấy trong các cảm xúc “buồn bã”, “tức giận”, “ghê tởm” và “sợ hãi”. Cái này
có nghĩa là H0 tương ứng sai, dữ liệu thống kê giữa cảm xúc và xếp hạng
có ý nghĩa thống kê và chúng cho thấy mối quan hệ thực sự. Vì lý do này, ở đây
nhà nghiên cứu chấp nhận giả thuyết thay thế H1, đối với RQ3 có nghĩa là có mối tương quan
(điểm được mô tả ở trên theo cảm xúc) giữa sở thích và cảm xúc của người dùng. Một cách chuyên sâu,
điều này có nghĩa là các kết quả trên có thể là những thông tin quan trọng đối với RS và
các công ty quảng cáo để tiếp tục điều tra, khai thác và tích hợp vào hệ thống của họ.
Trong giai đoạn 2 (lấy người dùng làm trung tâm), các thử nghiệm 2.1.1 – 2.2.4 đề cập đến H0 tôn trọng RQ3 và
các thử nghiệm 2.2.1 – 2.2.4 xử lý H0 có tham chiếu đến RQ4. Phần lớn người dùng ở phần 1
tiểu thể loại của phần này không thể từ chối H0 trên mỗi một trong sáu cảm xúc. Tuy nhiên,
trong thử nghiệm 2.1.3 tỷ lệ không đồng tình khá cao, với 41,76% người dùng (24.020 thử nghiệm
80
/ 4.003 người dùng) từ chối H0 và 58,24% (5.583 người dùng) không từ chối nó. Trong lần thứ hai
danh mục phụ, phần lớn người dùng ở ba trong số bốn thử nghiệm được tiến hành đều không thể từ chối H0
có tham chiếu đến RQ4, trái với thử nghiệm 2.2.2 chấp nhận giả thuyết H1 thay thế
từ 50,81% mẫu (29.226 bài kiểm tra / 4.871 người dùng).
6.2 Thảo luận
Liên quan đến RQ1 và số lượng thẻ cảm xúc là bao nhiêu và cái nào
có, dựa trên việc xem xét tài liệu và công việc được thực hiện, không có câu trả lời nào đúng hơn
có thể được trao cho điều đó. Đúng hơn, câu trả lời phụ thuộc vào mục đích của nhiệm vụ và vào bản chất
và loại cảm xúc cần được trích xuất, và câu trả lời cho điều đó sau đó sẽ
ước tính đúng loại và số lượng thẻ cảm xúc tương ứng. Điều đáng nói,
tuy nhiên, phạm vi của các thẻ cảm xúc nhằm mục đích được tạo ra tự động bởi một
Trong mô hình ML, số lượng nhãn được yêu cầu càng lớn cho tất cả các lần xuất hiện của mọi cảm xúc.
trường hợp. Chỉ khi đó bất kỳ mô hình nào cũng có thể học thành công các mẫu
phân biệt cảm xúc giữa chúng.
Tôn trọng những mô hình nào có thể phù hợp để tạo ra các thẻ cảm xúc và nếu
việc tạo tự động những thứ đó có thể được triển khai (RQ2), nhà nghiên cứu ở đây trả lời rằng cả hai
mô hình ML mạng nơ-ron và phi nơ-ron có thể phù hợp. Điều này sẽ đi kèm với
một số kỹ thuật NLP như những kỹ thuật được thực hiện trong dự án và các công cụ ML chung sẽ phụ thuộc
từ nhiệm vụ và kích thước của dữ liệu có sẵn. Hiệu suất tốt hơn đáng ngạc nhiên của TF-IDF
vectorizer so với các mô hình còn lại cho nhiệm vụ của dự án có thể hợp lý do
thực tế là việc nhúng từ và mạng lưới thần kinh có thể có thể phù hợp quá mức với dữ liệu: Trái ngược với
TF-IDF, phần nhúng từ chứa tín hiệu “ồn ào” hơn, có từ phức tạp hơn
biểu diễn và nhiều thông tin ẩn khác để nắm bắt mối quan hệ giữa
từ giữa các tài liệu (Cam-Stei, 2019). Một lượng nhỏ dữ liệu huấn luyện có thể không mang lại
đủ không gian cho việc nhúng từ để gán các quy tắc để nắm bắt các mẫu đó trong
trình tự các từ.
Cuối cùng, tôn trọng RQ3 & RQ4, và liên quan đến danh mục rộng thứ nhất , các thử nghiệm ở đó
chỉ ra mối tương quan giữa xếp hạng và cảm xúc được gợi ra từ xếp hạng tương ứng
phim. Mối tương quan này dành cho cảm xúc “hạnh phúc” và “bất ngờ” tiêu cực yếu, trong khi
mối tương quan tích cực yếu được tìm thấy với các cảm xúc “buồn bã”, “tức giận”, “ghê tởm” và “sợ hãi”.
Nhìn chung, từ tất cả các danh mục của phần thử nghiệm rộng thứ 2 , một mẫu quan trọng đã được hiển thị:
số lượng thử nghiệm lớn nhất phản ánh mối tương quan giữa các biến được thử nghiệm đã được tìm thấy khi
81
xếp hạng thấp nhất đã được tính đến (kiểm tra 2.1.3 & 2.2.2). Do đó, phần lấy người dùng làm trung tâm của
các thử nghiệm cho thấy rằng khi tồn tại mối tương quan giữa sở thích và cảm xúc của người dùng thì điều này
xuất phát từ việc người dùng không thích những gì họ xem. Nói cách khác, điều này có thể có nghĩa là
khi người dùng thưởng thức một loạt phim họ xem thì những cảm xúc được gợi lên bởi bộ phim tương ứng
phim có thể không chỉ ra mối quan hệ giữa chúng. Nhưng khi người dùng không thích một bộ phim,
thì những cảm xúc được gạch chân dường như thể hiện mối tương quan. Kết quả là RS có thể sử dụng
thông tin này như sau: bằng cách hiểu những bộ phim mà người dùng không thích (xếp hạng thấp) và bằng cách
điều tra những cảm xúc tương ứng bên dưới những bộ phim đó, thì điều này có nghĩa là những
người dùng không thích xem phim với những cảm xúc cụ thể đó. Điều này có thể không mang lại
câu trả lời trực tiếp về cảm xúc mà người dùng tìm kiếm từ phim hoặc cảm xúc của người dùng
bị thu hút, nhưng gián tiếp nó có thể: nếu người dùng đã bình chọn một bộ phim, ví dụ như thể loại “hành động”
với xếp hạng thấp và nếu những cảm xúc tiềm ẩn của bộ phim hành động cụ thể đó gợi lên
“hạnh phúc”, vậy phải chăng điều này có nghĩa là người dùng này không thích phim hành động? Bây giờ một số
các phạm trù cảm xúc đã được nghiên cứu như một tính năng bổ sung trong dự án này, có lẽ là không. Hầu hết
rất có thể, người dùng thực sự có thể thích phim hành động, nhưng không thích những phim hành động đó ở
cảm xúc “hạnh phúc” được khơi dậy. Ví dụ: người dùng có thể thích những bộ phim hành động trong đó
những cảm xúc như “sợ hãi” hay “ngạc nhiên” nổi bật.
6.3 Hạn chế
Một trong những hạn chế của dự án này nằm ở chỗ một trong những quy tắc của nhà nghiên cứu
trong quá trình dán nhãn cảm xúc và sản xuất cảm xúc đã không được mô hình áp dụng nghiêm ngặt.
Cụ thể, có sai số 2,5% về kích thước mẫu dự đoán (1.401 trường hợp dự đoán)
liên quan đến cảm xúc “vui” và “buồn”, tức là có trường hợp người mẫu
dự đoán cả những cảm xúc đó cho những bộ phim cụ thể. Cách người nghiên cứu sửa lỗi đó là
bằng cách duy trì kết quả nhị phân của “1” chỉ cảm xúc có chức năng quyết định của mô hình
điểm tự tin cao hơn so với cảm xúc khác. Điều này, đồng thời, có thể là một
hạn chế cần được giải quyết như một công việc trong tương lai, điều tra các cách trên có thể tránh được
thậm chí trước khi người mẫu bắt đầu dự đoán cảm xúc.
Một hạn chế khác được phát hiện khi nhà nghiên cứu cố gắng triển khai93 FastBert
thư viện94 (Trivedi, 2019), cố gắng khai thác những lợi thế tiềm năng của việc triển khai mô hình BERT,
được coi là chuẩn mực trong lĩnh vực DL cho các tác vụ NLP và là tác phẩm của Google
93
“4d_Model Bert.ipynb”
94
https://github.com/kaushaltrivedi/fast-bert
82
nghiên cứu. Mặc dù chưa quen với thư viện Pytorch nhưng nhà nghiên cứu đã học cách làm việc với nó và
cuối cùng đã chạy mô hình BERT cho dự án này, nhưng kết quả không đạt yêu cầu và nhà nghiên cứu
tiếp tục với phần còn lại của các mô hình được mô tả trong bài báo.
6.4 Công việc tương lai
Công việc của dự án có thể hữu ích trong ngành điện ảnh trong bối cảnh tâm lý điện ảnh. TRONG
Trong những năm gần đây, các nhà tâm lý học điện ảnh đã thể hiện sự quan tâm đến việc tìm hiểu nhận thức và
nhận thức của người xem về một bộ phim (Tan, 2018:p.15). Điều này có thể giúp xây dựng phim
phân loại dựa trên thể loại và tiểu thể loại cũng như hồ sơ cảm xúc liên quan đến phim
tóm tắt và phong cách.
Hơn nữa, một thách thức sẽ là việc sử dụng dự án này trong bối cảnh của
Hệ thống đề xuất nhận thức cảm xúc (EARS) được xây dựng gần đây giúp RS mở rộng quy mô theo
đề xuất các mặt hàng mới dựa trên các tính năng của mặt hàng tình cảm và phản ứng cảm xúc của người dùng
(Mizgajski & Morzy, 2019:p.345). Điều này có thể cải thiện ước tính tương tự giữa người dùng,
đưa ra các đề xuất được cá nhân hóa và có mục tiêu hơn, ngoài ra, phá vỡ sự lạnh nhạt
bắt đầu vấn đề trong RSs.
Luận án này cũng có thể góp phần cải thiện dân gian học trong bối cảnh
của RS được mô tả trong tổng quan tài liệu. Nó có thể đạt được bằng cách đưa ra nhiều yếu tố hơn
để có nội dung được cá nhân hóa hơn dựa trên sở thích của người dùng và dòng cảm xúc trong
danh sách theo dõi.
Nhìn chung, mô hình của dự án có thể giúp tạo ra một hệ thống tự động trích xuất
gắn thẻ cảm xúc từ các đoạn tóm tắt phim, góp phần giải quyết vấn đề profile phim tự động
thế hệ (Kar và cộng sự, 2018:p.7). Bằng cách mở rộng, mô hình có thể được áp dụng trong các văn bản tường thuật của
một số lĩnh vực, chẳng hạn như cốt truyện của sách và văn học, trò chơi điện tử, mô tả âm nhạc
danh sách phát và nhiều nội dung đa phương tiện. Cuối cùng và như một hệ quả tiếp theo, nó có thể
góp phần cải thiện cả việc tìm kiếm thông tin (quan điểm của người dùng) và thông tin
truy xuất (phối cảnh hệ thống) trong bối cảnh RS và gắn thẻ xã hội (Kar, Maharjan & Solorio,
2018: tr.2879).
Một thí nghiệm khác mà nhà nghiên cứu gợi ý nằm trong bối cảnh cố gắng giảm thiểu
số lượng nhãn dán thủ công trong cảm xúc: Sự phân cực của phân tích tình cảm có thể được sử dụng để dán nhãn
cảm xúc “vui” và “buồn”. Nếu phân tích tình cảm cho thấy sự phân cực tích cực trong phim
thì cảm xúc của bộ phim có thể được gán cho niềm vui, nếu không thì có thể gán cho nỗi buồn.
Mặc dù, như được mô tả trong phần NLP, phân tích tình cảm không xác định được khái niệm về
83
cảm xúc, tuy nhiên thí nghiệm trên có thể được thực hiện cho hai cảm xúc cụ thể đó
cảm xúc trong bối cảnh từ vựng kiểm soát từ các lý thuyết tổ chức (Ishida, Shimizu &
Yoshikawa, 2020), và trong bối cảnh cố gắng giảm bớt tính chủ quan bao trùm từ
sự dán nhãn của mọi người, hy vọng theo cách này sẽ làm tăng tính xác thực của những dự đoán của cảm xúc.
Hơn nữa, các tệp csv được cung cấp qua tệp zip có thể được sử dụng làm dữ liệu cho nhiều công việc khác nhau trong tương lai.
và các thí nghiệm. Trong số các tập tin được cung cấp khá hữu ích có thể kể đến tập tin
“movies_final.csv”, bao gồm việc tìm nạp 55.877 tổng quan về phim từ TMDb
và sự kết hợp hài hòa của chúng với siêu dữ liệu do MovieLens cung cấp, cũng như
“model_predictions_df.csv” chứa dự đoán cho 55.577 phim có tệp nhị phân
và điểm tin cậy của hàm quyết định.
Cuối cùng, các thí nghiệm trong tương lai có thể hiển thị khái niệm và dự đoán về những cảm xúc bổ sung
(sơ cấp hoặc thứ cấp) cũng như việc điều tra các mối tương quan tiềm ẩn giữa cảm xúc và
siêu dữ liệu phim khác95, chẳng hạn như thể loại phim và thẻ do người dùng bình chọn.
95
Điều này cũng có thể được thực hiện tương tự như dự án này, nơi nghiên cứu mối tương quan giữa cảm xúc
và xếp hạng.
84
Học viện thư
mục , K. (2020) Đếm, hoán vị và kết hợp. [Trực tuyến]. 2020.
www.khanacademy.org. Có sẵn từ: https://
www.khanacademy.org/math/statistics-probability/counting-permutations-and-combinations [Truy
cập: ngày 10 tháng 8 năm 2020].
Allison, B., Guthrie, D. & Guthrie, L. (2006) Một cái nhìn khác về vấn đề thưa thớt dữ liệu.
Ghi chú bài giảng về Khoa học máy tính (bao gồm các phân mục Ghi chú bài giảng về trí tuệ
nhân tạo và Ghi chú bài giảng về tin sinh học). [Trực tuyến] 4188 LNCS, 327–334.
Có sẵn từ: doi:10.1007/11846406_41.
Analytics, V. (2017) Tìm hiểu về nhúng từ: Từ Word2Vec đến đếm vectơ.
[Trực tuyến]. 2017. Phân tích Vidhya. Có sẵn từ:
https://www.analyticsvidhya.com/blog/2017/06/word-embeddings-count-word2veec/ [Truy cập: ngày 12
tháng 8 năm 2020].
Bajpai, A. (2019) Mạng thần kinh tái phát & LSTM: Học sâu cho NLP. [Trực tuyến]. 2019.
Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/recurrent-neural-
networks-deep-learning-for-nlp-37baa188aef5 [Truy cập: ngày 12 tháng 8 năm 2020].
Biering, B. (2020) Bắt đầu với AI: Bạn cần bao nhiêu dữ liệu? [Trực tuyến]. 2020. 2021.ai. Có sẵn
từ: https://2021.ai/getting-started-ai-how-much-data- Need/ [Truy cập: ngày 10 tháng 8 năm 2020].
Bitbrain (2019) Sự khác biệt giữa cảm giác và cảm xúc là gì? [Trực tuyến]. 2019.
Công nghệ Bitbrain. Có sẵn từ: https://www.bitbrain.com/blog/difference-feelings-emotions
[Truy cập: ngày 7 tháng 6 năm 2020].
Browniee, J. (2019a) Giới thiệu nhẹ nhàng về Kiểm tra tính chuẩn trong Python. [Trực tuyến]. 2019.
Làm chủ học máy. Có sẵn từ: https://machinelearningmastery.com/a-gentle-introduction-to-
normality-tests-in-python/ [Truy cập: ngày 15 tháng 8 năm 2020].
Browniee, J. (2019b) Cách tính các giá trị tới hạn để kiểm tra giả thuyết thống kê bằng
Trăn. [Trực tuyến]. 2019. Học máy. Có sẵn từ: https://
machinelearningmastery.com/critical-values-for-statistical-hypothesis-testing/ [Truy cập: ngày 16
Browniee, J. (2019c) Cách tính mối tương quan xếp hạng không tham số trong Python. [Trực tuyến].
2019. Làm chủ máy học. Có sẵn từ: https://
machinelearningmastery.com/how-to-calcate-nonparametric-rank-correlation-in-python/
Browniee, J. (2020a) Cách mã hóa dữ liệu văn bản cho Machine Learning bằng scikit-learn.
[Trực tuyến]. 2020. Làm chủ máy học. Có sẵn từ: https://
machinelearningmastery.com/prepare-text-data-machine-learning-scikit-learn/ [Truy cập: ngày 13
Browniee, J. (2020b) Cách sử dụng ColumnTransformer để chuẩn bị dữ liệu. [Trực tuyến].
2020. Làm chủ máy học. Có sẵn từ: https://
machinelearningmastery.com/columntransformer-for-numerical-and-categorical-data/ [Truy
85
Cam-Stei, D. (2019) Giải thích về cách nhúng từ, Hướng dẫn so sánh và viết mã. [Trực tuyến].
2019. Medium.com. Có sẵn từ: https://medium.com/@dcameronsteinke/tf-idf-vs-word-embedding-a-
comparison-and-code-tutorial-5ba341379ab0 [Truy cập: ngày 13 tháng 8 năm 2020].
Chakraverty, S. & Saraswat, M. (2017) Đánh giá hồ sơ cảm xúc dựa trên đề xuất cho nhiều miền.
Công cụ và ứng dụng đa phương tiện. [Trực tuyến] Có sẵn từ: doi:10.1007/s11042-017-4767-
x.
Chawla, R. (2017) Lập mô hình chủ đề với LDA và NMF trên Bộ dữ liệu Tiêu đề Tin tức ABC.
[Trực tuyến]. 2017. Medium.com. Có sẵn từ: https://medium.com/ml2vec/topic-modeling-is-an-
unsupervised-learning-approach-to-clustering-documents-to-discover-topics-fdfbf30e27df [Truy
Choi, JD, Tetreault, J. & Stent, A. (2015) Nó phụ thuộc: So sánh trình phân tích cú pháp phụ thuộc
bằng cách sử dụng Công cụ đánh giá dựa trên web. ACL-IJCNLP 2015 - Hội nghị thường niên lần thứ
53 của Hiệp hội Ngôn ngữ học tính toán và Hội nghị chung quốc tế lần thứ 7 về xử lý ngôn
ngữ tự nhiên của Liên đoàn xử lý ngôn ngữ tự nhiên châu Á, Kỷ yếu của Hội nghị. [Trực
tuyến] 1, 387–396. Có sẵn từ: doi:10.3115/v1/p15-1038.
Crowston, K., Allen, EE & Heckman, R. (2012) Sử dụng xử lý ngôn ngữ tự nhiên
Công nghệ phân tích dữ liệu định tính. Tạp chí quốc tế về phương pháp nghiên cứu xã hội.
[Trực tuyến] Có sẵn từ: doi:10.1080/13645579.2011.625764.
Dillard, JP & Meijnders, A. (2012) Thuyết phục và Cấu trúc của Ảnh hưởng. Cẩm nang thuyết phục:
Những phát triển về lý thuyết và thực hành. [Trực tuyến] 27 (1), 309–328. Có sẵn từ:
doi:10.4135/9781412976046.n16.
Donges, N. (2018) Các loại dữ liệu trong thống kê. [Trực tuyến]. 2018. Hướng tới khoa học dữ liệu.
Có sẵn từ: https://towardsdatascience.com/data-types-in-statistics-347e152e8bee [Truy
Dwivedi, P. (2018) NLP: Trích xuất các chủ đề chính từ Tập dữ liệu của bạn bằng LDA trong vài phút.
[Trực tuyến]. 2018. Hướng tới khoa học dữ liệu. Có sẵn từ:
https://towardsdatascience.com/nlp-extracting-the-main-topics-from-your-dataset-USE-lda-in-
Minutes-21486f5aa925 [Truy cập: ngày 10 tháng 8 năm 2020].
Edgell, J. (2016) Hoán vị và kết hợp. tái bản lần thứ 2. Hoa Kỳ, Farmington Hills, MI:
Macmillan.
Ekman, P. (1992) Luận cứ về những cảm xúc cơ bản. [Trực tuyến] 6(3-4), 169–200. Có sẵn từ:
doi:10.1080/02699939208411068.
Farzindar, A. & Inkpen, D. (2015) Xử lý ngôn ngữ tự nhiên cho truyền thông xã hội. Tổng hợp các
bài giảng về công nghệ ngôn ngữ của con người. [Trực tuyến]. Có sẵn từ:
doi:10.2200/S00659ED1V01Y201508HLT030.
Favaretto, RM, Musse, SR & Costa, AB (2019) Các khía cạnh cảm xúc, tính cách và văn hóa
trong Đám đông [tài nguyên internet]: Hướng tới tư duy hình học. thứ nhất. Ed. Nhà
xuất bản quốc tế Springer.
Font, F., Serrà, J. & Serra, X. (2013) Đề xuất thẻ dựa trên dân gian cho
86
Hệ thống gắn thẻ hợp tác. Tạp chí quốc tế về hệ thống thông tin và web ngữ nghĩa. [Trực tuyến] 9 (2),
1–30. Có sẵn từ: doi:10.4018/jswis.2013040101.
Galarnyk, M. (2018) Tìm hiểu về sơ đồ hộp. [Trực tuyến]. 2018. Hướng tới khoa học dữ liệu.
Có sẵn từ: https://towardsdatascience.com/under Hiểu-boxplots-5e2df7bcbd51 [Truy cập:
ngày 15 tháng 8 năm 2020].
Địa lý thực địa (2020) Máy tính xếp hạng của Spearman: R, giá trị p, Biểu đồ phân tán và Kết luận.
[Trực tuyến]. 2020. Trung tâm Nghiên cứu Thực địa Barcelona SL Có sẵn từ: https://
geographyfieldwork.com/SpearmansRankCalculator.html [Truy cập: ngày 15 tháng 8 năm 2020].
Géron, A. (2019) Học máy thực hành với Scikit-Learn, Keras và TensorFlow:
Các khái niệm, công cụ và kỹ thuật để xây dựng hệ thống thông minh. Ấn bản thứ 2. Sebastopol, CA:
O'Reilly Media, Inc.
Phân loại cảm xúc của Google Colaboratory (nd) bằng mô hình BERT được tinh chỉnh. [Trực tuyến].
Có sẵn từ: https://
colab.research.google.com/drive/1nwCE6b9PXIKhv2hvbqf1oZKIGkXMTi1X#scro
llTo=pSzoz9InH0Ta [Truy cập: ngày 10 tháng 8 năm 2020].
Gouws, S. (2017) GloVe khác với Word2Vec như thế nào? [Trực tuyến]. 2017.
Deeplearning.lipingyang.org. Có sẵn từ: http://clic.cimec.unitn.it/marco...
Gross, JJ & Levenson, RW (1995) Khơi dậy cảm xúc bằng phim. Nhận thức và cảm xúc.
[Trực tuyến] 9 (1), 87–108. Có sẵn từ: doi:10.1080/02699939508408966.
GroupLens/MovieLens (2020) Tài liệu về MovieLens - ml-25m. [Trực tuyến]. 2020.
Ống Kính Phim. Có sẵn từ: http://files.grouplens.org/datasets/movielens/ml-25m-README.html [Truy
GroupLens (2020) GroupLens là gì? | NhómLens. [Trực tuyến]. 2020. Grouplens.org. Có sẵn từ: https://
grouplens.org/about/what-is-grouplens/ [Truy cập: ngày 17 tháng 4 năm 2020].
Hale, J. (2019) Chia tỷ lệ, Chuẩn hóa hoặc Chuẩn hóa bằng Scikit-Learn. [Trực tuyến]. 2019. Hướng tới
khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/scale-standardize-or-normalize-with-
scikit-learn-6ccc7d176a02 [Truy cập: ngày 11 tháng 8 năm 2020].
Hand, DJ & Till, RJ (2001) Tổng quát hóa đơn giản diện tích bên dưới đường cong ROC cho các vấn đề phân
loại nhiều lớp. Học máy. [Trực tuyến] Có sẵn từ: doi:10.1023/A:1010920819831.
Harper, FM & Konstan, JA (2015a) Bộ dữ liệu về ống kính phim: Lịch sử và bối cảnh. Giao dịch ACM trên
Hệ thống tương tác thông minh. [Trực tuyến] 5 (4). Có sẵn từ: doi:10.1145/2827872.
Harper, FM & Konstan, JA (2015b) Bộ dữ liệu MovieLens: Lịch sử và bối cảnh. Giao dịch ACM trên Hệ thống
tương tác thông minh. [Trực tuyến] 5 (4). Có sẵn từ: doi:10.1145/2827872.
Health, I. for W.& (2015) Dữ liệu sơ cấp và dữ liệu thứ cấp. Tại nơi làm việc Số 54. [Trực tuyến] 1–2.
Có sẵn từ: https://www.iwh.on.ca/what-researchers-mean-by/primary-data-and-
87
dữ liệu thứ cấp [Truy cập: ngày 8 tháng 8 năm 2020].
Hirschberg, J. & Manning, CD (2015) Những tiến bộ trong xử lý ngôn ngữ tự nhiên. Khoa học.
[Trực tuyến]. Có sẵn từ: doi:10.1126/science.aaa8685.
Honold, A. (2020) Sử dụng ColumnTransformer để kết hợp các bước xử lý dữ liệu. [Trực tuyến].
2020. Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/USE-columntransformer-to-
combine-data-processing-steps-af383f7d5260 [Truy cập: ngày 13 tháng 8 năm 2020].
Hutto, CJ & Gilbert, EE (2014) VADER: Một mô hình dựa trên quy tắc chi tiết để phân tích tình cảm của văn
bản trên mạng xã hội. Hội nghị quốc tế lần thứ 8 về blog và truyền thông xã hội (ICWSM-14)”. Kỷ yếu
của Hội nghị quốc tế lần thứ 8 về blog và truyền thông xã hội, ICWSM 2014.
Innes-Ker (2015) Phim và Âm nhạc trong các thí nghiệm trong phòng thí nghiệm: Cảm ứng cảm xúc. Âm nhạc và
hình ảnh chuyển động. [Trực tuyến] 8 (2), 58. Có sẵn từ:
doi:10.5406/musimoviimag.8.2.0058.
Invidi (2018) Quảng cáo có địa chỉ INVIDI - Cách thức hoạt động. [Trực tuyến]. 2018. Youtube.com.
Có sẵn từ: https://www.youtube.com/watch?v=YRgse4ncM3A [Truy cập: ngày 25 tháng 5 năm 2020].
Ishida, Y., Shimizu, T. & Yoshikawa, M. (2020) Phân tích và so sánh từ khóa
Phương pháp khuyến nghị cho dữ liệu khoa học. Tạp chí quốc tế về thư viện số.
[Trực tuyến] Có sẵn từ: doi:10.1007/s00799-020-00279-3.
Jagota, A. (2020) Mô hình hóa chủ đề trong NLP, tập trung vào Phân bổ Dirichlet tiềm ẩn. [Trực tuyến].
2020. Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/topic-modeling-in-
nlp-524b4cffeb68 [Truy cập: ngày 10 tháng 8 năm 2020].
Jain, S. (2017) Giải quyết các vấn đề phân loại nhiều nhãn (bao gồm các nghiên cứu điển hình). [Trực tuyến].
2017. Phân tích Vidhya. Có sẵn từ: https://
www.analyticsvidhya.com/blog/2017/08/introduction-to-multi-label-classification/ [Truy cập:
Kaggle (2017) Bộ dữ liệu phim TMDB 5000 | Kaggle. [Trực tuyến]. 2017. Kaggle.com. Có sẵn
từ: https://www.kaggle.com/tmdb/tmdb-movie-metadata [Truy cập: ngày 17 tháng 4 năm 2020].
Kar, S., Maharian, S. & Solorio, T. (2018) Kinh tế học dân gian: Dự đoán thẻ cho phim từ
Sơ đồ tóm tắt bằng cách sử dụng Mạng thần kinh được mã hóa dòng cảm xúc. [Trực tuyến]. 2018. Hiệp hội
Ngôn ngữ học tính toán. Có sẵn từ: http://ritual.uh.edu/folksonomication-2018/ [Truy cập: ngày 17
Kar, S., Maharjan, S., Mục sư López-Monroy, A. & Solorio, T. (2018) MPST: Tổng hợp cốt truyện phim có thẻ.
Tại: LREC 2018 - Hội nghị quốc tế lần thứ 11 về nguồn lực và đánh giá ngôn ngữ. 2018 tr.
Kar, S., Maharjan, S. & Solorio, T. (2018) Kinh tế học dân gian: Dự đoán thẻ cho phim từ Tóm tắt cốt truyện
bằng cách sử dụng Mạng thần kinh được mã hóa Dòng cảm xúc. [Trực tuyến]. 2018. Nghi thức.
Có sẵn từ: http://ritual.uh.edu/folksonomication-2018/ [Truy cập: ngày 9 tháng 5 năm 2020].
Karani, D. (2018) Giới thiệu về Nhúng từ và Word2Vec. [Trực tuyến]. 2018. Hướng tới
88
Nhà khoa học dữ liệu Khoa học dữ liệu. Có sẵn từ:
https://towardsdatascience.com/introduction-to-word-embedding-and-word2vec-652d0c2060fa [Truy
Korstanje, J. (2019) 6 cách để kiểm tra phân phối bình thường - Nên sử dụng cách nào? [Trực tuyến].
2019. Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/6-ways-to-test-for-a-
normal-distribution-which-one-to-use-9dcf47d8fa93 [Truy cập: ngày 15 tháng 8 năm 2020].
Laerd (2020) Pearson Mối tương quan giữa sản phẩm và thời điểm. [Trực tuyến]. 2020. Thống kê Laerd. Có sẵn
từ: https://statistics.laerd.com/statistical-guides/pearson-correlation-cofactor-statistical-
guide.php [Truy cập: ngày 15 tháng 8 năm 2020].
Lazemi, S. & Ebrahimpour-Komleh, H. (2016) Cải thiện công cụ giới thiệu cộng tác
Hệ thống thông qua các tính năng cảm xúc. Trong: Ứng dụng công nghệ thông tin và truyền thông,
AICT 2016 - Kỷ yếu hội nghị. [Trực tuyến]. 2016 tr. Có sẵn từ: doi:10.1109/ICAICT.2016.7991703.
Lewinson, E. (2019) Giải thích về âm mưu đàn vĩ cầm. Tìm hiểu cách sử dụng các ô violin và lợi thế của
chúng so với các ô hình hộp là gì! [Trực tuyến]. 2019. Hướng tới khoa học dữ liệu. Có sẵn từ:
https://towardsdatascience.com/violin-plots-explained-fb1d115e023d [Truy cập: ngày 15 tháng 8 năm
2020].
Li, J. (2017) Mô hình Keras: Tuần tự so với Chức năng. [Trực tuyến]. 2017. https://jovianlin.io/.
Có sẵn từ: https://jovianlin.io/keras-models-sequential-vs-function/ [Truy cập: ngày 12 tháng 8 năm
2020].
Li, S. (2018a) Phân loại văn bản nhiều nhãn bằng Scikit-Learn. [Trực tuyến]. 2018. Hướng tới khoa học dữ
liệu. Có sẵn từ: https://towardsdatascience.com/multi-label-text-classification-with-
scikit-learn-30714b7819c5 [Truy cập: ngày 13 tháng 8 năm 2020].
Li, S. (2018b) Nhận dạng thực thể được đặt tên bằng NLTK và SpaCy | của Susan Li |. [Trực tuyến]. 2018.
Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/named-entity-recognition-with-
nltk-and-spacy-8c4a7d88e7da [Truy cập: ngày 10 tháng 8 năm 2020].
Liu, D., Li, Y. & Thomas, MA (2017) Lộ trình nghiên cứu xử lý ngôn ngữ tự nhiên
trong Hệ thống thông tin. Trong: Kỷ yếu của Hội nghị Quốc tế Hawaii lần thứ 50 về Khoa học Hệ thống
(2017). [Trực tuyến]. 2017 tr. Có sẵn từ: doi:10.24251/hicss.2017.132.
Lops, P., Jannach, D., Cataldo, M. & Bogers, T. (2019) Xu hướng đề xuất dựa trên nội dung.
Bản chất mùa xuân.
Loukas, S. (2020) ROC Curve giải thích bằng ví dụ giả định về COVID-19: Nhị phân &
Hướng dẫn phân loại nhiều lớp. [Trực tuyến]. 2020. Hướng tới khoa học dữ liệu. Có sẵn từ: https://
towardsdatascience.com/roc-curve-explained-USE-a-covid-19-hypothetical-example-binary-multi-class-
classification-bab188ea869c [Truy cập: ngày 13 tháng 8 năm 2020].
Magid (2019) Tóm tắt về vai trò của cảm xúc trong việc thúc đẩy xu hướng lượng người xem. Magid. 1–8.
Magid (2020) DNA cảm xúc. [Trực tuyến]. 2020. Magid. Có sẵn từ: https://magid.com/
emotional-dna/ [Truy cập: ngày 19 tháng 6 năm 2020].
Maklin, C. (2019) TF IDF | Ví dụ Python TFIDF. [Trực tuyến]. 2019. Hướng tới khoa học dữ liệu.
89
Có sẵn từ: https://towardsdatascience.com/natural-lingu-processing-feature-engineering-USE-tf-idf-
e8b9d00e7e76 [Truy cập: ngày 13 tháng 8 năm 2020].
Malik (2020) Python cho NLP: Tạo mô hình phân loại nhiều loại dữ liệu bằng Keras.
[Trực tuyến]. 2020. Lạm dụng ngăn xếp. Có sẵn từ: https://stackabuse.com/python-for-nlp-creating-
multi-data-type-classification-models-with-keras/ [Truy cập: ngày 12 tháng 8 năm 2020].
Malik, U. (2019a) Python cho NLP: Phân loại văn bản nhiều nhãn với Keras. [Trực tuyến]. 2019.
Lạm dụng ngăn xếp. Có sẵn từ: https://stackabuse.com/python-for-nlp-multi-label-text-classification-
with-keras/ [Truy cập: ngày 12 tháng 8 năm 2020].
Malik, U. (2019b) Python cho NLP: Nhúng từ để học sâu trong Keras. [Trực tuyến].
2019. Lạm dụng ngăn xếp. Có sẵn từ: https://stackabuse.com/python-for-nlp-word-embeddings-
for-deep-learning-in-keras/ [Truy cập: ngày 12 tháng 8 năm 2020].
Marshall, C. (2019) Nhận dạng thực thể được đặt tên (NER) là gì và tôi có thể sử dụng nó như thế nào? [Trực tuyến].
2019. Medium.com. Có sẵn từ: https://medium.com/mysuperai/what-is-named-entity-recognition-ner-
and-how-can-i-use-it-2b68cf6f545d [Truy cập: ngày 10 tháng 8 năm 2020].
Mauss, IB & Robinson, MD (2009) Đo lường cảm xúc: Đánh giá. Nhận thức và
Cảm xúc. [Trực tuyến] 23 (2), 209–237. Có sẵn từ: doi:10.1080/02699930802204677.
Maynard, D., Bontcheva, K. & Augenstein, I. (2017) Xử lý ngôn ngữ tự nhiên cho Web ngữ nghĩa. Tổng
hợp các bài giảng về Web ngữ nghĩa: Lý thuyết và công nghệ.
[Trực tuyến]. Có sẵn từ: doi:10.2200/S00741ED1V01Y201611WBE015.
McCombes, S. (2020) Tìm hiểu các loại nghiên cứu. [Trực tuyến]. 2020. Người viết nguệch ngoạc. Có
sẵn từ: https://www.scribbr.com/methodology/types-of-research/ [Truy cập: ngày 17 tháng 4 năm

2020].
Mikolov, T., Sutskever, I., Chen, K., Corrado, G., và những người khác. (2013) Các cách biểu diễn
phân tán của các từ và cụm từ và thành phần của chúng. Trong: Những tiến bộ trong hệ thống xử
lý thông tin thần kinh. 2013 tr.
Mizgajski, J. & Morzy, M. (2019) Hệ thống gợi ý cảm xúc trong ngành tin tức trực tuyến:
Cảm xúc ảnh hưởng đến lựa chọn đọc như thế nào. Lập mô hình người dùng và tương tác
do người dùng điều chỉnh. [Trực tuyến] 29 (2), 345–379. Có sẵn từ: doi:10.1007/s11257-018-9213-x.
PhimLens (2020) PhimLens | NhómLens. [Trực tuyến]. 2020. NhómLens. Có sẵn từ: https://
grouplens.org/datasets/movielens/ [Truy cập: ngày 17 tháng 4 năm 2020].
Nabi, RL (2010) Trường hợp nhấn mạnh những cảm xúc rời rạc trong nghiên cứu giao tiếp.
Chuyên khảo truyền thông. [Trực tuyến] 77 (2), 153–159. Có sẵn từ:
doi:10.1080/03637751003790444.
Nag, A. (2019) Tìm hiểu về Mô hình phân loại nhiều nhãn và các chỉ số chính xác.
[Trực tuyến]. 2019. Medium.com | Hướng tới AI - Tạp chí khoa học đa ngành.
Có sẵn từ: https://medium.com/towards-artificial-intelligence/under Hiểu-multi-label-
classification-model-and-accuracy-metrics-1b2a8e2648ca [Truy cập: ngày 13 tháng 8 năm 2020].
Narkhede, S. (2018) Tìm hiểu đường cong AUC - ROC. [Trực tuyến]. 2018. Hướng tới khoa học dữ liệu.
Có sẵn từ: https://towardsdatascience.com/under Hiểu-auc-roc-curve-
90
68b2303cc9c5 [Truy cập: ngày 13 tháng 8 năm 2020].
Nooney, K. (2018) Đi sâu vào phân loại nhiều nhãn (Với nghiên cứu điển hình chi tiết).
https://towardsdatascience.com/journey-to-the-center-of-multi-label-classification-384c40229bff [Truy
Oatley, K. (1992) Cảm xúc cơ bản: Lý thuyết và đo lường. Nhận thức và cảm xúc.
[Trực tuyến] 6 (3–4), 161–168. Có sẵn từ: doi:10.1080/02699939208411067.
Odić, A., Tkalčič, M., Tasič, JF & Košir, A. (2013) Dự đoán và phát hiện yếu tố liên quan
Thông tin theo ngữ cảnh trong hệ thống giới thiệu phim. Tương tác với máy tính.
[Trực tuyến] 25 (1), 74–90. Có sẵn từ: doi:10.1093/iwc/iws003.
Okada, S. (2019) Hệ số tương quan xếp hạng của Spearman sử dụng dữ liệu thứ tự. [Trực tuyến].
2019. Hướng tới khoa học dữ liệu. Có sẵn từ: https://
towardsdatascience.com/discover-the- Strength-of-monotonic-relation-850d11f72046 [Truy cập:
Pathak, M. (2020) Xử lý dữ liệu phân loại trong Python -. [Trực tuyến]. 2020. DataCamp.
Có sẵn từ: https://www.datacamp.com/community/tutorials/categorical-data [Truy cập: ngày 11 tháng 8
năm 2020].
Peltarion (2020) Điểm Micro F1. [Trực tuyến]. 2020. https://peltarion.com/. Có sẵn từ: https://
peltarion.com/know-center/documentation/evaluation-view/classification-loss-metrics/
micro-f1-score [Truy cập: ngày 13 tháng 8 năm 2020].
Pennington, J., Socher, R. & Manning, CD (2014) GloVe: Các vectơ toàn cầu cho từ
đại diện. Trong: Hội thảo EMNLP 2014 - 2014 về các phương pháp thực nghiệm trong xử lý ngôn ngữ tự
nhiên, Kỷ yếu Hội thảo. [Trực tuyến]. 2014 tr. Có sẵn từ: doi:10.3115/v1/d14-1162.
Plutchik, R. (2001) Bản chất của cảm xúc. Nhà khoa học người Mỹ. 89 (4), 344–350.
Portilla, J. (2019) NLP - Xử lý ngôn ngữ tự nhiên bằng Python. [Trực tuyến]. Có sẵn từ: https://www.udemy.com/
course/nlp-natural-lingu-processing-with-python/.
Riedl, M. & Biemann, C. (2017) Không có 'Đếm hoặc Dự đoán' mà là lựa chọn dựa trên nhiệm vụ cho các mô
hình phân phối. Trong: Kỷ yếu Hội nghị quốc tế lần thứ 12 về ngữ nghĩa tính toán (IWCS 2017).
2017 tr.
Sahu, AK, Dwivedi, P. & Kant, V. (2018) Thẻ và các tính năng của vật phẩm như một cầu nối cho Cross-
Hệ thống gợi ý tên miền. Trong: Khoa học máy tính Procedia. [Trực tuyến]. 2018 tr.
Có sẵn từ: doi:10.1016/j.procs.2017.12.080.
Salgado, R. (2016) Các bài viết về mô hình hóa chủ đề với NMF. [Trực tuyến]. 2016. Hướng tới khoa học dữ liệu.
Có sẵn từ: https://towardsdatascience.com/topic-modeling-articles-with-nmf-8c6b2a227a45 [Truy cập:
Santhanam, N. (2019) Giải thích về Machine Learning của bạn với tầm quan trọng của tính năng. [Trực tuyến].
2019. Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/explain-your-machine-learning-
with-feature-importance-774cd72abe [Truy cập: ngày 11 tháng 8 năm 2020].
91
SAS Institute Inc. (2019) Giúp mọi giọng nói được lắng nghe bằng xử lý ngôn ngữ tự nhiên. SAS
Phân tích văn bản trực quan.
Sawern, A. (2019) Máy ảnh để phân loại văn bản nhiều nhãn. [Trực tuyến]. 2019. Medium.com | Hướng tới AI - Tạp
chí khoa học đa ngành. Có sẵn từ: https://medium.com/towards-artificial-
intelligence/keras-for-multi-label-text-classification-86d194311d0e [Truy cập: ngày 12 tháng 8 năm
2020].
Schulz, R. (2018) Thực hiện phân loại văn bản nhiều nhãn với Keras |. [Trực tuyến]. 2018.
Mima.com. Có sẵn từ: https://blog.mimacom.com/text-classification/ [Truy cập: ngày 12 tháng 8 năm 2020].
Scikit-Learn (2020a) sklearn.feature_extraction.text.CountVectorizer. [Trực tuyến]. 2020. Scikit-
Tìm hiểu tài liệu 0.23.2. Có sẵn từ: https://scikit-learn.org/stable/
modules/generated/sklearn.feature_extraction.text.CountVectorizer.
html [Truy cập: ngày 13 tháng 8 năm 2020].
Scikit-Learn (2020b) sklearn.metrics.f1_score — tài liệu scikit-learn 0.23.2. [Trực tuyến].
2020. scikit-learn.org. Có sẵn từ: https://scikit-learn.org/
stable/modules/generated/sklearn.metrics.f1_score.html [Truy cập: ngày 13 tháng 8 năm 2020].
Scikit-Learn (2020c) sklearn.metrics.hamming_loss — tài liệu scikit-learn 0.23.2.
[Trực tuyến]. 2020. https://scikit-learn.org/. Có sẵn từ: https://scikit-learn.org/
stable/modules/generated/sklearn.metrics.hamming_loss.html [Truy cập: ngày 13 tháng 8 năm 2020].
Scikit-Learn (2020d) sklearn.metrics.multilabel_confusion_matrix — tài liệu scikit-learn 0.23.2. [Trực
tuyến]. 2020. scikit-learn.org. Có sẵn từ: https://scikit-learn.org/stable/modules/generated/
sklearn.metrics.multilabel_confusion_matrix.htm
l [Truy cập: ngày 13 tháng 8 năm 2020].
Scikit-Learn (2020e) sklearn.metrics.roc_auc_score — tài liệu scikit-learn 0.23.2.
[Trực tuyến]. 2020. Có sẵn từ: https://scikit-learn.org/
stable/modules/generated/sklearn.metrics.roc_auc_score.html [Truy cập: ngày 13 tháng 8 năm 2020].
Scikit-Learn (2020f) sklearn.svm.LinearSVC — tài liệu scikit-learn 0.23.2. [Trực tuyến].
2020. Có sẵn từ: https://scikit-learn.org/
stable/modules/generated/sklearn.svm.LinearSVC.html [Truy cập: ngày 11 tháng 8 năm 2020].
Shantikumar, S. (2016) Kiểm tra tham số và phi tham số để so sánh hai hoặc nhiều
nhóm |. [Trực tuyến]. 2016. Kiến thức sức khỏe | Campbell MJ. Có sẵn từ: https://
www.healthknow.org.uk/public-health-textbook/research-methods/1b-statistical-methods/parametric-nonparametric-
tests [Truy cập: ngày 15 tháng 8 năm 2020].
Shapiro, S., MacInnis, DJ & Park, CW (2002) Tìm hiểu tâm trạng do chương trình tạo ra
Tác dụng: Tách sự kích thích khỏi hóa trị. Tạp chí Quảng cáo. [Trực tuyến] 31 (4), 14–
26. Có sẵn từ: doi:10.1080/00913367.2002.10673682.
Shelar, H., Kaur, G., Heda, N. & Agrawal, P. (2020) Phương pháp tiếp cận nhận dạng thực thể được đặt tên
92
và so sánh của họ với mô hình NER tùy chỉnh. Thư viện khoa học và công nghệ.
[Trực tuyến] 00 (00), 1–14. Có sẵn từ: doi:10.1080/0194262X.2020.1759479.
Srinidhi, S. (2019) Fit so với Transform trong thư viện SciKit dành cho Machine Learning. [Trực tuyến]. 2019.
Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/fit-vs-transform-in-
scikit-libraries-for-machine-learning-3c70e6300ded [Truy cập: ngày 11 tháng 8 năm 2020].
Srivastava, T. (2019) NLP: Hướng dẫn nhanh về bắt nguồn. [Trực tuyến]. 2019. Medium.com.
Có sẵn từ: https://medium.com/@tusharsri/nlp-a-quick-guide-to-stemming-60f1ca5db49e [Truy cập:
Thống kê, SS (2020) Máy tính Rho của Spearman (Hệ số tương quan). [Trực tuyến]. 2020.
Socscististic.com. Có sẵn từ: https://
www.socscististics.com/tests/spearman/default.aspx [Truy cập: ngày 15 tháng 8 năm 2020].
Statstutor (2020) Tìm kiếm Statstutor. [Trực tuyến]. 2020. Statstutor.ac.uk. Có sẵn từ:
https://www.statstutor.ac.uk/search/?q=spearman&saudience=all&cat%5B%5D=5&cat
%5B%5D=9&cat%5B%5D=3&cat%5B%5D=6&cat%5B%5D=4&cat%5B%5D=11&cat%5B
%5D=13&cat%5B%5D=14&cat%5B%5D=15&cat%5B%5D=16&cat%5B%5D=18 [Truy cập: ngày 15 tháng 8 năm
2020].
Stevens, K., Kegelmeyer, P., Andrzejewski, D. & Buttler, D. (2012) Khám phá sự mạch lạc của chủ đề qua
nhiều mô hình và nhiều chủ đề. EMNLP-CoNLL 2012 - Hội nghị chung về các phương pháp thực nghiệm
trong xử lý ngôn ngữ tự nhiên và học ngôn ngữ tự nhiên tính toán, Kỷ yếu của Hội nghị.
(tháng 7), 952–961.
Surbhi, S. (2016) Sự khác biệt giữa dữ liệu sơ cấp và dữ liệu thứ cấp. [Trực tuyến]. 2016. Chìa khóa
Sự khác biệt. Có sẵn từ: https://keydifferences.com/difference-between-primary-and-secondary-data.html
Szymánski, P. & Kajdanowicz, T. (2019) Scikit-multilearn: Môi trường Python dựa trên scikit
để thực hiện phân loại đa nhãn. Tạp chí nghiên cứu máy học.
[Trực tuyến] Có sẵn từ: doi:10.5281/zenodo.3670933.
Tân, ES (2018) Tâm lý của phim. Truyền thông Palgrave. [Trực tuyến] 4 (1). Có sẵn từ: doi:10.1057/
s41599-018-0111-y.
Tan, T. (2019) Các sắc thái trong cách sử dụng từ nhúng: Ngữ nghĩa và cú pháp
Các mối quan hệ. [Trực tuyến]. 2019. Hướng tới khoa học dữ liệu. Có sẵn từ:
https://towardsdatascience.com/nuances-in-the-usage-of-word-embeddings-semantic-and-syntactic-
relationships-780940fe28f [Truy cập: ngày 14 tháng 8 năm 2020].
Tapidze, G. (2017) Sức mạnh của Dữ liệu lớn và Tâm lý học trong Quá trình Bầu cử.
[Trực tuyến]. 2017. Slideshare.net. Có sẵn từ: https://
www.slideshare.net/GMline/the-power-of-big-data-and-psychographics-in-the-electoral-process [Truy cập:
Teng, A. (2019) Xử lý dữ liệu đa lớp. [Trực tuyến]. 2019. Hướng tới khoa học dữ liệu.
Có sẵn từ: https://towardsdatascience.com/dealing-with-multiclass-data-78a1a27c5dcc [Truy
93
Terence, S. (2020) Tìm hiểu về Ma trận nhầm lẫn và cách triển khai nó bằng Python.
https://towardsdatascience.com/under Hiểu-the-confusion-matrix-and-how-to-implement-it-in-
python-319202e0fe4d [Truy cập: ngày 13 tháng 8 năm 2020].
Tkalčič, M., Tan, D., Vanderdonckt, J., De Carolis, B., và những người khác. (2016) Cảm xúc và Tính cách trong
Dịch vụ Cá nhân hóa: Mô hình, Đánh giá và Ứng dụng. tái bản lần thứ nhất. [Trực tuyến].
Thụy Sĩ, Nhà xuất bản quốc tế Springer. Có sẵn từ: doi:10.1007/978-3-319-
31413-6.
Topal, K., Koyutürk, M. & Özsoyoğlu, G. (2017) Ảnh hưởng của cảm xúc và lĩnh vực chủ đề đến sự thay đổi chủ
đề trong các cuộc thảo luận trên mạng xã hội. Phân tích và khai thác mạng xã hội. [Trực tuyến]
Có sẵn từ: doi:10.1007/s13278-017-0465-y.
Toshniwal, R. (2020) Làm sáng tỏ các đường cong ROC - Cách giải thích và thời điểm sử dụng các đường cong
đặc tính vận hành máy thu. [Trực tuyến]. 2020. Hướng tới khoa học dữ liệu. Có sẵn từ: https://
towardsdatascience.com/demystifying-roc-curves-df809474529a [Truy cập: ngày 13 tháng 8 năm 2020].
Trivedi, K. (2019) Giới thiệu FastBert - Thư viện Deep Learning đơn giản cho Mô hình BERT.
[Trực tuyến]. 2019. Trung bình. Có sẵn từ:
https://medium.com/huggingface/introducing-fastbert-a-simple-deep-learning-library-for-bert-
models-89ff763ad384 [Truy cập: ngày 16 tháng 8 năm 2020].
Venkatesan, R. & Joo Er, M. (2014) Phương pháp phân loại đa nhãn dựa trên máy học cực đoan. IEEE - Hội
nghị quốc tế lần thứ 13 về Robot tự động điều khiển & Tầm nhìn (ICARCV). [Trực tuyến] 619–624.
Có sẵn từ: doi:10.1109/ICARCV.2014.7064375.
Vig, J., Sen, S. & Riedl, J. (2012) Bộ gen thẻ: Mã hóa kiến thức cộng đồng để hỗ trợ tương tác mới
lạ. Giao dịch ACM trên Hệ thống tương tác thông minh.
[Trực tuyến] 2 (3). Có sẵn từ: doi:10.1145/2362394.2362395.
Vlad, DE (2020) Các khái niệm về chất lượng gắn liền với mạng xã hội và cảm xúc. Phiên bản thứ nhất.
[Trực tuyến]. Có sẵn từ: https://doi.org/10.1007/978-3-658-28867-9.
Vu, D. (2019) (Hướng dẫn) Tạo đám mây từ trong Python. [Trực tuyến]. 2019. DataCamp.
Có sẵn từ: https://www.datacamp.com/community/tutorials/wordcloud-python [Truy cập: ngày 14 tháng 8
năm 2020].
Weisler, C. (2018) Chiến lược ABC và Accenture Khám phá bí mật về ROI bán hàng MediaVillage.
[Trực tuyến]. 2018. Thông tin chi tiết về truyền thông.
Có sẵn từ: https://www.mediavillage.com/article/abc-and-accenture-strategy-discover-the-secret-of-
sale-roi/?utm_campaign=nl-
daily&utm_medium=email&utm_source=ABC+and+Accenture+ Chiến lược+Khám phá+cái+
Bí mật+của+Bán hàng+ROI [Truy cập: ngày 19 tháng 6 năm 2020].
Willems, K. (2019) Hướng dẫn KERAS: Học sâu trong Python. [Trực tuyến]. 2019. Datacamp.com.
Có sẵn từ: https://www.datacamp.com/community/tutorials/deep-learning-python [Truy cập: ngày 12
Wirth, W. & Schramm, H. (2005) Truyền thông và Cảm xúc. Xu hướng nghiên cứu truyền thông. 24
94
(3).
Yiu, T. (2019) Lời nguyền của chiều - Tại sao dữ liệu chiều cao có thể rắc rối đến vậy. [Trực
tuyến]. 2019. Hướng tới khoa học dữ liệu. Có sẵn từ: https://towardsdatascience.com/
the-curse-of-directionality-50dc6e49aa1e [Truy cập: ngày 12 tháng 8 năm 2020].
Zablocki, M. (2020a) Trình phân loại tùy chỉnh dựa trên Mô hình ngôn ngữ Transformers - Ví dụ
với Phân loại tình cảm PolEmo2.0. [Trực tuyến]. 2020. Cộng tác viên Google. Có sẵn từ: https://
colab.research.google.com/drive/1sajgpLTrTJDzRSlxycy8aE6ysxGqaT18 [Truy cập: ngày 10 tháng 8 năm
2020].
Zablocki, M. (2020b) Blog Marcin Zabłocki | Trình phân loại tùy chỉnh dựa trên Ngôn ngữ giống BERT
Mô hình - hướng dẫn. [Trực tuyến]. 2020. Zablo.net. Có sẵn từ:
https://zablo.net/blog/post/custom-classifier-on-bert-model-guide-polemo2-
phân tích tình cảm/ [Truy cập: ngày 10 tháng 8 năm 2020].
Zablocki, M. (2020c) Transformers-Sentiment-Analysis: Trình phân loại tùy chỉnh dựa trên Mô hình
ngôn ngữ Transformers. [Trực tuyến]. 2020. Github.com. Có sẵn từ: https://github.com/
marrrcin/transformers-sentiment-analysis [Truy cập: ngày 10 tháng 8 năm 2020].
95

Dissertation Paper (1)

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Dissertation Paper (1)

Uploaded by

Copyright:

Available Formats

Machine Translated by Google

Quản lý thông tin

Khoa Khoa học Máy tính & Thông tin

Đại học Strathclyde

tháng 8 năm 2020

một cách thích đáng.

án để nghiên cứu hoặc nghiên cứu riêng.

vào kho lưu trữ công khai.

Chữ ký: Dimitris Fanis

điểm số và số liệu về độ chính xác của phân loại.

có thể được tiếp tục sử dụng, tích hợp và tùy chỉnh.

Lớp CS985 trong Deep Learning và tôi đã có cơ hội học nó.

chị gái tôi vì sự hỗ trợ và lời khuyên của cô ấy.

Từ viết tắt & viết tắt

API Giao diện chương trình ứng dụng

AUC Khu vực dưới đường cong

(Các) CDRS (Các) Hệ thống đề xuất tên miền chéo

(Các) CNN (Các) Mạng thần kinh chuyển đổi

(Các) DNN (Các) Mạng lưới thần kinh sâu

Đôi tai Hệ thống gợi ý nhận thức cảm xúc

EDA Phân tích dữ liệu thăm dò

(Các) GAN (Các) Mạng đối thủ sáng tạo GAN

Găng tay Vectơ toàn cầu để biểu diễn từ

IDF Tần số tài liệu nghịch đảo

IMDb Internet Movie Database

LDA Phân bổ Dirichlet tiềm ẩn

LSTM Trí nhớ ngắn hạn hạn chế

MLP Nhận thức nhiều lớp

NFL Không có bữa trưa miễn phí (định lý)

NLKT Bộ công cụ ngôn ngữ tự nhiên

NLP Xử lý ngôn ngữ tự nhiên

NMF Hệ số ma trận không âm

POS Phần của bài phát biểu

RNN Mạng thần kinh tái phát

RQ Câu hỏi nghiên cứu

(Các) câu trả lời (Các) Hệ thống gợi ý

SGD Giảm dần độ dốc ngẫu nhiên

SVC Hỗ trợ phân loại vectơ

TF Tần suất kỳ hạn

TF-IDF Tần suất kỳ hạn – Tài liệu nghịch đảo

TMDb Cơ sở dữ liệu phim

Tuyên ngôn................................................. ................................................................. ............. ii

Trừu tượng................................................. ................................................................. ...................... iii

Sự nhìn nhận................................................. ................................................................. ............iv

Từ viết tắt và chữ viết tắt.................................................................. ................................................................. ........ v

Danh sách các hình................................................................................. ................................................................. ............. x

Danh sách các bảng................................................................................. ................................................................. ............ xi

Danh sách các phương trình.................................................................. ................................................................. ...... xi

1. Giới thiệu............................................... ................................................................. ...................... 1

1.1 Bối cảnh nghiên cứu................................................................................. ................................................................. ...................1

1.2 Vấn đề nghiên cứu - Tên miền................................................................. ................................................................. ....1

1.3 Những thách thức nghiên cứu................................................................. ................................................................. ............2

1.5 Câu hỏi nghiên cứu.................................................................. ................................................................. ............3

1.6 Tổng quan về các chương.................................................................. ................................................................. ............3

2.1 Cảm xúc là gì và các loại cảm xúc.................................................. .................................5

2.1.1Thuật ngữ & Sinh lý học của Cảm xúc.................................................. .................................5

2.2 Lớp học cảm xúc................................................................................. ................................................................. ............6

2.2.2 Tạo và phân loại cảm xúc.................................................. .................................6

2.3 Công việc liên quan.................................................................. ................................................................. ............10

3. Phương pháp nghiên cứu, thực hiện và phân tích....................................... ............ 11

3.1 Cách tiếp cận và phương pháp nghiên cứu................................................................. .................................11

3.2.1 Những cân nhắc về đạo đức.................................................................. ................................................................. ....12

3.3 Thu thập dữ liệu & EDA................................................................. ................................................................. ......13

3.3.1 Bộ dữ liệu MovieLens & TMDb .................................... ...................................................13