Analisis Sentimen dalam Pengalaman Belajar Siswa

Sunghwan Mac Kim dan Rafael A. Calvo skim1871@uni.sydney.edu.au, rafa@ee.usyd.edu.au

Sekolah Teknik Elektro dan Informatika, Universitas Sydney

Abstrak

Dalam tulisan ini kami menyajikan evaluasi teknik baru untuk secara otomatis mendeteksi polaritas
sentimen ( Positif atau Negatif ) pada siswa tanggapan terhadap Unit Evaluasi Studi (USE). Studi
membandingkan kategoris model dan model dimensi yang memanfaatkan lima kategori emosi:
Kemarahan , Takut , sukacita , kesedihan , dan kejutan . Sukacita dan Kejutan dianggap Positif
polaritas, sedangkan Kemarahan , Ketakutan dan Kesedihan termasuk polaritas negatif di kelas biner,
masing-masing. Kami mengevaluasi kinerja berbasis kategori dan model prediksi emosi berdasarkan
dimensi pada 2.940 tanggapan tekstual. Dalam model sebelumnya, WordNet-Affect digunakan
sebagai sumber linguistik linguistik dan Dua teknik pengurangan dimensi dievaluasi: Latent Semantic
Analisis (LSA) dan Non Matriks Factorization (NMF). Di yang terakhir model, ANEW (Norma Afektif
untuk Kata Bahasa Inggris), database normatif dengan istilah afektif, digunakan. Meski menggunakan
kategori emosi generik dan tidak analisis sintaksis, model kategoris dan model dimensi NMF
menghasilkan pertunjukan yang lebih baik di atas garis dasar.

1. Perkenalan

Universitas semakin tertarik menggunakan ukuran kualitas yang memberikan bukti yang bisa
digunakan untuk benchmarking dan keputusan pendanaan. Untuk alasan ini, kuesioner seperti Unit
Evaluasi Studi (USE) [1], atau Evaluasi Siswa Pengajaran (SET) saat mereka dipanggil di Amerika
Serikat, telah dikembangkan sebagai sarana pengumpulan data dari siswa pada pengalaman mereka
belajar di subjek individu atau unit studi tingkat (istilah ini dapat dipertukarkan dan digunakan
secara sinonim dalam penelitian ini) Tinjauan literatur evaluasi siswa terhadap pengajaran
menunjukkan jumlah yang sangat besar bukti dikumpulkan dengan menggunakan instrumen
standar ini [2, 3]. Menurut Marsh [2], SET adalah bentuk evaluasi personil yang paling banyak
dipelajari. Sebagian besar penelitian melihat ke dalam Pengukuran kuantitatif dikumpulkan dalam
kuesioner. Makalah ini menggunakan teks open- tanggapan berakhir juga yang dikumpulkan.
Literatur ilmiah umumnya sesuai dengan validitas, reliabilitas, dimensi dan kegunaan aktual dari
jenis data ini. Meskipun ini Evaluasi standar telah sangat kontroversial selama beberapa dekade.
Diperdebatkan karena Fakultas universitas biasanya tidak memiliki pelatihan formal dalam
pengajaran, jadi mekanisme tersebut yang digunakan untuk menilai efektivitas pengajaran
mengancam. Staf umumnya tidak Menyadari literatur yang disebutkan di atas, atau bila memang
demikian, mereka sering skeptis tentang hal tersebut keberanian Meskipun kritik PENGGUNAAN
dan SET semakin banyak digunakan oleh akademisi, institusi dan para siswa itu sendiri. Mereka
mencerminkan aspek berharga dari pengalaman siswa yang bisa melengkapi bentuk umpan balik
lain dari siswa ke akademisi dan institusi. Satu dari Hambatannya adalah bahwa membaca dan
memahami semua tanggapan tekstual bisa menjadi a tugas yang menakutkan Makalah ini bertujuan
untuk menggabungkan analisis tekstual dan kuantitatif
tanggapan menggunakan teknik penambangan data baru agar lebih komprehensif pemahaman
tentang pengalaman siswa. Analisis sentimen [4] mencoba untuk secara otomatis mengidentifikasi
dan mengenali pendapat dan emosi dalam teks Salah satu tujuan klasifikasi sentimen adalah
menentukan apakah sebuah teks obyektif atau subyektif , atau mewakili opini positif atau negatif ,
mempengaruhi klasifikasi tersebut untuk mengidentifikasi ekspresi emosi seperti kebahagiaan ,
kesedihan , kemarahan , dll. Di daerah Dari klasifikasi sentimen, sebagian besar penelitian telah
dibangun di seputar tinjauan pengguna korporat (misalnya ulasan film) yang berisi sistem rating
(misalnya jumlah bintang) dan tekstual deskripsi, struktur data yang serupa dengan yang ada di USE
yang digunakan dalam penelitian ini. Ini review juga subjektif dan berisi informasi tentang
pengalaman pengguna produk. Makalah ini memberikan kontribusi pendekatan baru untuk
mempelajari USE dan deskripsi lain yang mungkin berbeda pengalaman siswa. Ini menganalisis
sebuah korpus dari 909 kuesioner siswa yang berisi 3.353 (mentah) tanggapan tekstual, dan
mengeksplorasi kelayakan pendekatan otomatis memahami data ini. Kombinasi teks dan peringkat
mengundang penggunaan teknik analisis sentimen yang berfokus pada valensi pendapat ( positif vs
negatif ), tetapi eksplorasi pengalaman siswa yang lebih kaya akan mencakup aspek afektif dari
pengalaman di luar valensinya. Sebenarnya, seperti yang ditunjukkan dalam penelitian kami,
penilaian dan tekstual Deskripsi tidak selalu bertepatan, mungkin menyoroti faktor dalam
pengalaman itu hanya permukaan dari teks. Makalah ini membahas teknik yang bisa digunakan
untuk ini analisis yang lebih kaya Tujuan pertama dari makalah ini adalah untuk mengevaluasi
kelayakan penggunaan analisis sentimen terhadap pelajari tanggapan tekstual dalam USE, sebuah
aspek dari data yang biasanya dikesampingkan oleh peringkat. Tujuan kedua adalah mengevaluasi
manfaat dua konseptualisasi emosi ( model kategoris dan model dimensi ) pada data ini. Sisa
makalah ini disusun sebagai berikut: Bagian 2 menyajikan penelitian perwakilan dari dua model
emosi yang digunakan untuk menangkap sentimen sebuah teks. Kami juga menjelaskan
mempengaruhi klasifikasi yang memanfaatkan sumber leksikal linguistik. Di Bagian 3 kita akan
membahasnya kumpulan data sentimen yang berasal dari USE. Bagian 4 memberikan hasil
perbandingan dari percobaan, sebelum membahasnya di Bagian 5.

2 Latar belakang

2.1 Model Emosi

Ada dua model untuk mewakili emosi: model kategoris dan model dimensi Model kategoris
mengasumsikan bahwa ada emosi yang berbeda kategori seperti enam emosi dasar Ekman -
kemarahan , jijik , ketakutan , sukacita , kesedihan , dan kejutan- [5]. Ini telah digunakan dalam
banyak penelitian meskipun belum tentu muncul skenario praktis yang spesifik seperti dalam
mengajar. Keuntungan dari representasi semacam itu adalah itu Ini mewakili emosi manusia secara
intuitif dengan mudah memahami label emosi. NYA peneliti telah menggunakan kategori Ekman
selain untuk mengelompokkan emosi yang muncul

Halaman 3

dialog sistem siswa D'Mello mengusulkan lima kategori (kebosanan, kebingungan, kegembiraan,
arus, dan frustrasi) untuk menggambarkan keadaan yang mempengaruhi interaksi ITS. Pendekatan
kedua dimana pengaruh inti dapat diwakili dalam bentuk dimensional [7] mewakili emosi dalam
ruang 2 atau 3 dimensi. Dimensi valensi menunjukkan positif dan emosi negatif pada ujung-ujung
skala yang berbeda. Dimensi rangsangan berdiferensiasi keadaan senang vs tenang . Terkadang
dimensi dominasi ketiga digunakan untuk membedakan jika subjek merasa dalam mengendalikan
situasi atau tidak. Model kategoris dan model dimensional memiliki dua metode yang berbeda
memperkirakan keadaan emosional aktual seseorang. Pada awalnya, seseorang diharuskan pilih satu
emosi dari kumpulan emosi yang mewakili perasaan terbaik. Di sisi lain Tangan, yang terakhir
mengeksploitasi skala penilaian untuk setiap dimensi seperti Self Assessment Manikin (SAM) [8],
yang terdiri dari gambar manikin, untuk memperkirakan tingkat valensi, gairah, dan dominasi.

2.2 Klasifikasi Kategoris dengan WordNet

Mempengaruhi WordNet-Affect [9] adalah repositori leksikal afektif kata-kata yang mengacu pada
emosional negara bagian. WordNet-Mempengaruhi memperluas WordNet dengan menugaskan
berbagai label yang mempengaruhi ke a subset dari synsets yang mewakili konsep afektif di
WordNet. Selain itu, WordNet- Mempengaruhi memiliki hirarki tambahan dari label domain afektif.
Tersedia untuk umum daftar relevan dengan enam kategori emosi dasar yang diambil dari WordNet-
Affect dan kami menggunakan lima daftar kata-kata emosional di antara mereka untuk eksperimen
kami. Selain WordNet-Affect, kita memanfaatkan Vector Space Model (VSM) di mana dokumen teks
dapat diwakili melalui matriks term-by-dokumen. Secara umum keduanya Istilah dan dokumen
dikodekan sebagai vektor dalam ruang k- dimensi yang dikurangi . Kami ambil menjadi pertimbangan
log-entropi sehubungan dengan skema bobot tf-idf . Representasi berbasis vektor memungkinkan
semua informasi kontekstual seperti kata-kata, kalimat, dan synsets untuk diwakili dalam cara
pemersatu dengan vektor. VSM menyediakan a Berbagai mekanisme kesamaan antara dua vektor.
Secara khusus, kami mengambil keuntungan sudut kosinus antara vektor input (input kalimat) dan
vektor emosional (synsets emosional) sebagai langkah kesamaan untuk mengidentifikasi emosi
kalimatnya berkonotasi Hal ini dapat dilakukan dalam mengurangi representasi LSA atau NMF. Kami
juga memerlukan ambang batas yang telah ditentukan ( t = 0,65) untuk tujuan memvalidasi emosi
yang kuat analogi antara dua vektor [10]. Jika kesamaan kosinus tidak melebihi ambang batas,
Kalimat masukan diberi label sebagai " netral ", tidak adanya emosi. Jika tidak, itu diberi label
dengan satu emosi berhubungan dengan vektor emosi terdekat yang paling tinggi nilai kesamaan
Jika kita mendefinisikan kesamaan antara teks masukan yang diberikan, saya , dan emosional kelas, ,
sebagai sim ( I , ), hasil klasifikasi kategoris lebih formal direpresentasikan sebagai berikut: CCR ( ) =
arg maks sim , jika sim ( , ) ≥ "netral" jika sim ( , ) <

Satu kelas dengan indeks maksimal dipilih sebagai kelas emosi akhir. Dua metode pengurangan
dimensi statistik (LSA dan NMF) digunakan dalam a model emosi berbasis kategori untuk tujuan
mengurangi dimensi dalam VSM. Graesser dan kolega [11] menggunakan Latent Semantic Analysis
(LSA) untuk mendeteksi jenis ujaran dan mempengaruhi dialog siswa di dalam Autotutor. Latent
Semantic Analysis (LSA) [12] adalah model paling awal yang telah berhasil diterapkan pada berbagai
area manipulasi teks. Gagasan utama LSA adalah memetakan istilah atau Kalimat ke dalam ruang
vektor dimensi dikurangi yang merupakan ruang semantik laten. Pemetaan vektor kalimat / kalimat
yang diberikan ke ruang ini didasarkan pada vektor tunggal dekomposisi (SVD). Diketahui bahwa SVD
adalah alat yang andal yang tersedia untuk matriks penguraian. Hal ini dapat menguraikan matriks
sebagai produk dari tiga matriks. Kolomnya salah satu dari tiga matriks mewakili koordinat dokumen
di ruang laten. Oleh karena itu, kami menggunakan kolom untuk menghitung kesamaan kalimat. Non
Matriks Factorization (NMF) [13] telah berhasil diterapkan pada semantik analisis. Dengan matriks
non-negatif A , NMF menemukan faktor non-negatif W dan H itu adalah matriks dimensi-reduksi.
WH produk dapat dianggap sebagai dikompres bentuk data dalam A. Keanehan non-negatif ini
sangat diinginkan untuk penanganan data teks itu selalu membutuhkan batasan non-negativitas.
Klasifikasi kalimat dilakukan berdasarkan kolom matriks H yang mewakili kalimat.

2.3 Estimasi Dimensi dengan ANEW

ANEW [14] adalah seperangkat peringkat emosional normatif untuk koleksi kata-kata (1.035 kata-
kata) dalam bahasa Inggris, yang berarti memberikan dimensi emosional. Koleksi ini memberikan
nilai nilai untuk valensi, gairah, dan dominasi untuk setiap kata yang dinilai dengan menggunakan
Self Assessment Manikin (SAM). Untuk setiap kata w , normatif database menyediakan koordinat
dalam ruang afektif sebagai: = ( , , ) = ( ) Oleh karena itu, adalah mungkin untuk menyelesaikan
pemetaan informasi kontekstual ke dalam 3- dimensi emosi melalui kamus ANEW. Misalnya, kata-
kata atau kalimat tersebar di seluruh pesawat emosional. Sebagai pendamping klasifikasi kategoris di
atas, pendekatan ini mengasumsikan bahwa a Kalimat masukan berkaitan dengan emosi
berdasarkan jarak paling sedikit satu sama lain ruang Valence-Arousal-Dominance (VAD). Kalimat
masukan terdiri dari sebuah angka kata-kata dan nilai VAD dari kalimat ini dihitung dengan rata-rata
nilai VAD dari kata-kata Serangkaian sinonim dari WordNet-Affect digunakan untuk menghitung
posisi masing-masing emosi. Synsets emosional ini dikonversi ke dimensi 3 VAD space dan dirata-
ratakan untuk tujuan menghasilkan satu titik untuk target emosi.

= Σ = 1 , = Σ = 1 dimana adalah nilai VAD dari sebuah kata, dan n dan k menunjukkan jumlah kata
dalam sebuah kata masukan kalimat dan sinonim dalam emosi, masing-masing. Kemarahan ,
ketakutan , sukacita , dan kesedihan emosi dipetakan pada ruang VAD. Biarkan Kemarahan c , Takut
c , Joy c , Sad c , and Surprise c be centroid dari lima emosi. Kemudian centroid, yang dihitung di atas
persamaan, adalah sebagai berikut: Kemarahan c = (2.55, 6.60, 5.05), Takut c = (3.20, 5.92, 3.60), Joy
c = (7,40, 5,73, 6,20), Sad c = (3,15, 4,56, 4,00), dan Kejutan c = (5.23, 5.33, 4.70). Selain Dari lima
emosi, kita secara manual mendefinisikan netral menjadi (5, 5, 5). Jika centroid dari a kalimat
masukan ( ) adalah perkiraan yang paling mendekati emosi ( ), kalimat ditandai sebagai emosi. Kami
mendefinisikan ambang jarak (secara empiris diatur ke 4) untuk memvalidasi jarak yang sesuai
seperti klasifikasi kategoris.

3 Unit Evaluasi Studi (USE) Data

Kuesioner Unit Evaluasi Studi (USE) memiliki 12 pertanyaan, 8 di antaranya adalah Universitas
standar dan 4 yang dipilih oleh masing-masing Fakultas. Ini dirancang untuk memberikan informasi
kepada mereka yang mencari a) untuk menilai keefektifan pembelajaran suatu subjek, untuk
merencanakan dan menerapkan perubahan dalam lingkungan belajar dan mengajar, dan b) untuk
menilai kontribusi unit atau subjek terhadap pengalaman belajar siswa di sekolah mereka seluruh
program gelar, seperti yang dipantau oleh CEQ. PENGGUNAAN dalam penelitian kami mengandung
12 pernyataan:

1. Hasil pembelajaran dan standar yang diharapkan dari unit studi ini jelas saya.

2. Ajaran di unit studi ini membantu saya belajar secara efektif.

3. Unit studi ini membantu saya mengembangkan atribut lulusan yang berharga.

4. Beban kerja di unit studi ini terlalu tinggi.

5. Penilaian di unit studi ini memungkinkan saya untuk menunjukkan apa yang saya miliki dipahami.
6. Saya dapat melihat relevansi unit studi ini dengan gelar saya.

7. Jelas bagi saya bahwa staf di unit studi ini responsif terhadap siswa umpan balik.

8. Pembelajaran saya sebelumnya cukup mempersiapkan saya untuk melakukan unit studi ini.

9. Interaksi belajar dan mengajar membantu saya untuk belajar di unit studi ini.

10. Pembelajaran saya terhadap unit studi ini didukung oleh infrastruktur fakultas.

11. Saya bisa mengerti staf pengajar dengan jelas saat mereka menjelaskannya.

12. Secara keseluruhan saya merasa puas dengan kualitas unit studi ini.

Sebelas item (I1-I11) berfokus pada pengalaman siswa dan satu item (I12) pada siswa kepuasan.
Siswa menunjukkan sejauh mana kesepakatan mereka dengan setiap pernyataan berdasarkan skala
Likert 5 poin: 1 - sangat tidak setuju, 2 - tidak setuju, 3 - netral, 4 - setuju dan 5 - sangat setuju. Di
bawah setiap pernyataan ada ruang yang meminta siswa untuk menjelaskannya tanggapan.
Pertanyaan 4 memiliki struktur sentimen yang berbeda sehingga telah dihapus dalam hal ini belajar.

PENGGUNAAN mata pelajaran yang diajarkan oleh dua akademisi yang dikumpulkan selama periode
enam tahun adalah digunakan untuk membuat dataset. Setelah menghapus tanggapan terhadap
pertanyaan 4, kumpulan data berisi a total 909 kuesioner (masing-masing dengan 11 peringkat), dan
di luar kemungkinan 9.999 siswa menanggapi dengan 3,008 tanggapan tekstual (masing-masing
diharapkan bisa menjadi deskripsi sebuah penilaian), a tingkat respon teks sebesar 30,1%. Dari sini
kami menghapus referensi internal (misalnya 'lihat di atas ') dan teks tanpa arti (misal'? '). Data
tekstual memiliki dua karakteristik yang dapat mempengaruhi penggolong secara signifikan. Pertama
kalimat ditulis tangan dengan gaya informal, mengandung kesalahan ejaan, disingkat kata-kata non-
kamus atau sulit dibaca teks. Kurangnya tata bahasa yang tepat akan Buatlah sangat menantang
untuk menggunakan penandaan part-of-speech (POS) atau lainnya pendekatan linguistik
komputasional. Contohnya termasuk: "Komputer di laboratorium terlalu lamban tidak catatan kuliah
"(kesalahan ejaan dan non-tata bahasa)," suara tdk terlalu sesak, berhenti interaksi guru / siswa
"(kata-kata non-standar). Untuk alasan ini, tekniknya Digunakan dalam percobaan didasarkan pada
asumsi tas-of-kata (jadi urutan kata tidak digunakan) dan kami tidak menggunakan penandaan POS
yang memerlukan tata bahasa yang relatif benar. Tabel 1. Jumlah komentar dan contoh komentar
untuk setiap sentimen Rating Nomor sentimen nomor Komentar ditandai dengan setiap sentimen
Sangat setuju 381 Positif 1,455 dosen dan tutor sangat membantu dan menjelaskan konsep dengan
baik Setuju 1,074 Netral 611 Netral 611 Ini agak jelas tentang respon staf tapi kebutuhan lebih
banyak contoh jawaban di sana. Tidak setuju 571 Negatif 874 Tidak cukup komputer untuk
menampung semua murid-murid. Sangat tidak setuju 303

4 Percobaan dan Hasil

Lima pendekatan berbeda berikut diterapkan di Matlab. Satu kategoris Model yang memiliki dua
varian, menurut tiga metode dimensi yang sesuai reduksi, metode satu dimensi, dan dua metode
perbandingan kesamaan untuk masing-masing model diimplementasikan Untuk tujuan evaluasi,
kami menggunakan Baseline Kelas Mayoritas (MCB) sebagai baseline dan Keyword Spotting (KWS)
kami. Kami menghapus kata-kata dan penggunaan stop stemming Text to Matrix Generator (TMG),
toolkit Matlab [15], digunakan untuk menghasilkan Matriks term-by-kalimat. • Majority Class
Baseline (MCB): klasifikasi yang selalu memprediksi mayoritas kelas, yang dalam dataset ini Positif di
semua klasifikasi sentimen. • Kata Kunci Spotting (KWS): pendekatan naif yang menghitung
kehadiran yang jelas mempengaruhi kata-kata seperti "frustasi" dan "kepuasan", yang diambil dari
WordNet-Mempengaruhi lima kategori emosi. • CLSA: klasifikasi kategoris berbasis LSA • CNMF:
klasifikasi kategoris berdasarkan NMF • DIM: Dimensi berbasis estimasi

Lima kategori emosi digunakan ( Kemarahan , Takut , Sukacita , Kesedihan , dan Kejutan ) di mana
Sukacita dan Kejutan emosi ditugaskan ke kelas positif sementara Kemarahan , Takut , dan
Kesedihan adalah anggota kelas negatif , masing-masing. Emosi negatif, jijik , dihapus Karena
emosinya mirip dengan kemarahan dan menyebabkan membuat sentimen kelas bias. Demikian juga,
sangat setuju dan setuju termasuk positif , dan sangat tidak setuju dan tidak setuju disebut negatif
Jumlah kalimat untuk setiap rating dan sentimen yang digunakan dalam percobaan kami ditunjukkan
pada Tabel 1. Sebagai tambahan, contoh komentar dari corpus beranotasi muncul pada Tabel 1.
Tabel 2 menunjukkan nilai presisi, recall, dan F-measure yang diperoleh oleh kelima pendekatan
untuk klasifikasi otomatis dari tiga sentimen. Hasil tertinggi adalah ditandai dengan huruf tebal
untuk masing-masing kelas. Kami tidak menyertakan nilai akurasi dalam hasil kami karena kategori
tidak seimbang (lihat Tabel 1). Metrik akurasi tidak tersedia informasi yang memadai, sedangkan
presisi, recall, dan F-measure dapat dievaluasi secara efektif kinerja klasifikasi terhadap dataset yang
tidak seimbang [16]. Tabel 2. Hasil identifikasi sentimen Sentimen Positif Negatif Netral Prec. Rec. F1
Prec. Rec. F1 Prec. Rec. F1 MCB 0,495 1.000 0,662 0.000 0.000 - 0.000 0.000 - KWS 0,527 0,220 0,310
0,270 0,061 0,099 0,212 0,743 0,330 CLSA 0,575 0,362 0,445 0,388 0,203 0,266 0,218 0,560 0,314
CNMF 0.505 0,897 0,646 0,378 0.120 0.182 0,421 0,052 0,093 REDUP 0,591 0,329 0,423 0,398 0,317
0,353 0.223 0,522 0,312 Seperti dapat dilihat dari tabel, kinerja masing-masing pendekatan
bergantung pada masing-masing kategori sentimen Dalam kasus kelas positif , yang memiliki jumlah
terbesar kalimat, MCB dan CNMF mendapatkan kinerja deteksi sentimen terbaik dalam hal ingat dan
F-measure. DIM menghasilkan nilai presisi yang cukup tinggi jika dibandingkan dengan semua
klasifikasi lainnya Kita dapat melihat bahwa pendekatan DIM memberikan hasil terbaik untuk hal
negatif kelas. Ketika datang ke netral , KWS menunjukkan performa terbaik sehubungan dengan
recall dan F-measure. Di sisi lain, CNMF terutama mengungguli yang lain presisi. Gambar 1
menunjukkan hasil atribut 3 dimensi dan 2 dimensi evaluasi untuk USEs. Gambar 1. Distribusi USEs
dataset dalam dimensi 3 (kiri) dan sentimen 2 dimensi (kanan) ruang. 'X' menunjukkan lokasi satu
komentar sesuai dengan valensi, gairah, dan dominasi.

Aspek penting yang diamati dalam data USE adalah ada sedikit ketidakkonsistenan antara penilaian
siswa dan tanggapan tertulis yang diilustrasikan dengan.

contoh pada Tabel 3. Untuk Misalnya, baris ketiga sangat ambigu namun siswa menilai kalimat ini
sebagai netral. Oleh karena itu, semua pendekatan memiliki kelemahan dalam mengenali sentimen
karena keganjilan data ini. Faktor lain, yang membuat klasifikasi otomatis sulit, adalah bahwa semua
pengklasifikasi tidak spesifik untuk domain pendidikan. Untuk alasan ini, kami berspekulasi bahwa
kinerja metode yang biasa-biasa saja ini disebabkan oleh cakupan fitur yang buruk ditemukan di
ranah pendidikan. Tabel 3. Contoh masukan dari hasil yang salah klasifikasi. (Nilai positif adalah
tingkat 4 sebagai 5, netral sebagai 3 dan negatif 1 atau 2) Umpan balik siswa Peringkat siswa Sistem
rating Ini harus menjadi inti dari software gingerbeering Positif (5) Netral (LSA) Laboratoriumnya
tidak cukup lama dengan sedikit tutorial. 4 laboratorium adalah terlalu sedikit. Bagaimana kalau satu
untuk FETS / MOSFET? Mengingat Instruksi untuk komponen AC / DC (yaitu huruf kecil / huruf besar)
itu Sulit untuk mengikuti catatan tertulis di atas kepala. Mungkin cetak semuanya? Positif (4) Negatif
(NMF) Kami tidak pernah mendapat umpan balik pribadi. Netral (3) Negatif (DIM) Hai nama saya
ABC, saya suka ini LECTURER_NAME, maksud saya ini Tentu saja !! Negatif (2) Positif (NMF) Tabel 4
menunjukkan ketepatan keseluruhan, recall, dan perbandingan F-measure terhadap MCB, KWS,
CLSA, CNMF, dan DIM dalam dua perspektif rata-rata (rata-rata mikro dan rata-rata makro).
Perbedaan penting antara ini untuk menghitung adalah bahwa mikro- Rata-rata memberikan bobot
yang sama untuk setiap kalimat sedangkan bobot rata-rata makro rata-rata sama semua kategori
Dari tabel yang diringkas ini, kita bisa melihat bahwa MCB, KWS, dan CLSA Berkinerja kurang efektif
dengan sedikit skor evaluasi rendah dibandingkan dengan CNMF dan DIM. Jika terjadi makro rata-
rata, CNMF lebih unggul dari klasifikasi lainnya dalam presisi, sementara DIM melampaui yang lain
dalam recall dan F-measure. Di samping itu, DIM memiliki presisi terbaik dan CNMF berkinerja lebih
baik untuk F-measure dalam mikro rata-rata. Secara keseluruhan, CNMF dan DIM saling bersaing
dalam presisi, recall dan F-measure dan F-measure terbaik diperoleh dengan pendekatan berbasis
CNMF atau DIM untuk setiap rata-rata. KWS kami yang dilakukan di semua eksperimen lebih rendah
dari CNMF, DIM dan CLSA. Itu Hasilnya menyiratkan bahwa teknik spotting kata kunci tidak bisa
menangani kalimat yang membangkitkan Emosi kuat melalui makna yang mendasari daripada
mempengaruhi kata kunci. Selain itu, kami dapat menyimpulkan bahwa model (CNMF dan DIM)
dengan faktor non-negatif sesuai berurusan dengan koleksi teks Singkatnya, model kategoris
berbasis NMF dan Model dimensi menunjukkan kinerja pengenalan sentimen yang lebih baik secara
keseluruhan. Kata-kata yang paling sering digunakan oleh siswa untuk menggambarkan aspek
pengalaman mereka, termasuk istilah seperti laboratorium , dosen , ceramah , pelajar , tutor , subjek
, dan pekerjaan . Ketika kita hapus istilah ini, kata-kata yang paling sering digunakan untuk
menggambarkan pengalaman positif termasuk: baik ( n = 263), membantu dan membantu ( n = 183),
online ( n = 79), mengerti ( n = 49). Mereka yang digunakan untuk menggambarkan pengalaman
negatif meliputi: sulit ( n = 72), mengerti ( n = 67),

waktu ( n = 47). Pengalaman netral mengandung kombinasi keduanya. Daftar kata-kata ini adalah
diperoleh dari CNMF dan DIM karena dua klasifikasi lebih baik secara keseluruhan kinerja seperti di
atas. Stemming tidak digunakan untuk analisis ini karena dalam hal ini corpus tertentu mungkin
menyembunyikan perbedaan penting antara 'dosen' dan 'kuliah'. Tabel 4. Keseluruhan resutls rata-
rata Berarti Mikro Makro Prec. Rec. F1 Prec. Rec. F1 MCB 0,245 0,495 0,328 0.165 0,333 0.221 KWS
0,385 0,281 0,325 0,337 0,341 0,247 CLSA 0,445 0,356 0,396 0,394 0,375 0,342 CNMF 0.450 0,490
0,469 0.434 0,356 0,307 REDUP 0,457 0,366 0,406 0,404 0,389 0,363

5. Diskusi

Makalah ini menjelaskan kumpulan data penilaian dan tanggapan tekstual evaluasi siswa
pengajaran. Teknik analisis sentimen untuk menilai secara otomatis respon tekstual sebagai positif ,
negatif atau netral dengan menggunakan penilaian siswa dievaluasi. Secara khusus, Kinerja model
kategoris dan model dimensional dibandingkan, masing-masing memanfaatkan sumber daya
linguistik yang berbeda. Makalah ini menyoroti bahwa model kategoris dan dimensi berbasis NMF
lebih baik kinerja dari yang lain. Apalagi meski tidak memiliki satu set yang tepat kategori emosional
untuk digunakan, khasiat dua emosi leksikon (WordNet-Mempengaruhi dan ANEW) menjanjikan
berguna dalam tugas klasifikasi sentimen ini. Sementara dua model dan dua leksikon menjanjikan
untuk mengidentifikasi sentimen, ada masih tantangan untuk diatasi Kami percaya bahwa
ekspresifitas afektif teks ada pada dasarnya fitur linguistik yang lebih kompleks seperti fitur
morfologi. Makanya, kita pergi untuk menyelidiki Natural Language Processing (NLP) untuk
mengenali emosi halus di dalamnya masa depan. Pekerjaan masa depan akan mencakup perluasan
korporat dengan evaluasi siswa yang lebih banyak dan ini harus memberikan hasil yang lebih andal.
Model kategoris harus dievaluasi dengan a Kumpulan kategori emosi lebih baik didasarkan pada
literatur penelitian pendidikan dan kita menduga bahwa literatur tentang motivasi akan sangat
berguna. Sehubungan dengan Penggunaan database normatif untuk mempelajari model dimensi,
kita sadar bahwa istilahnya di ANEW bukan yang paling sesuai untuk kosakata yang digunakan siswa
untuk menggambarkannya pengalaman, tapi kami tidak mengetahui database lain yang lebih sesuai.
Pengakuan Proyek ini sebagian didanai oleh dana bantuan TIES dari University of Sydney.

Referensi [1] ITL. Tujuan USE 2008 [dikutip pada 10 Februari 2009]; Tersedia dari:
http://www.itl.usyd.edu.au/use/purpose.htm . [2] Marsh, HW, Evaluasi siswa terhadap pengajaran
di Universitas: Temuan penelitian, isu metodologis, dan arahan untuk penelitian masa depan. Jurnal
Internasional Indonesia Penelitian Pendidikan, 1987. 11 (3): hal. 253-388. [3] Richardson, JTE,
Instrumen untuk mendapatkan umpan balik siswa: review dari literatur. Penilaian & Evaluasi
Pendidikan Tinggi, 2005. 30 (4): hal. 387-415. [4] Pang, B. dan L. Lee, analisis penambangan dan
sentimen Opini. Yayasan dan Tren dalam Information Retrieval, 2008. 2 (1-2): hlm. 1-135. [5] Ekman,
P., Argumen untuk Emosi Dasar . 1992. hal. 200. [6] D'Mello, S., R. Picard, dan A. Graesser, Menuju
AutoTutor yang Mempengaruhi Sensitif. IEEE Intelligent Systems, 2007. 22 (4): hal. 53-61. [7] Russell,
JA, Core mempengaruhi dan konstruksi psikologis emosi. Tinjauan Psikologis, 2003. 110 (1): hal.
[Washington, dll] Amerika Psikologis Asosiasi [dll] - 172. [8] Lang dan PJ (1980). "Perawatan perilaku
dan penilaian bio-perilaku: Aplikasi komputer. "Teknologi dalam sistem perawatan kesehatan
mental: 119-137. [9] Strapparava, C. dan R. Mihalcea. Belajar mengidentifikasi emosi dalam teks. di
Prosiding simposium ACM 2008 tentang komputasi Terapan. 2008. [10] Penumatsa, P., M. Ventura,
dkk. (2006). Nilai Ambang Kanan: Apa itu Ambang Batas Langit Kanan Saat Menggunakan Analisis
Laten Semantik untuk Mengevaluasi Jawaban Siswa? Jurnal Internasional tentang Artificial
Intelligence Tools, PENERBITAN ILMIAH DUNIA. [11] D'Mello, S., dkk. Deteksi Otomatis
Mempengaruhi Orang Belajar dari Percakapan Isyarat dalam User Modeling dan User-Adapted
Interaction. 2008. [12] Landauer, TK, dkk., Eds. Buku Pegangan Analisis Laten Semantik . 2007,
Routledge. [13] Lee, DD dan HS Seung, Mempelajari bagian-bagian objek dengan matriks non-negatif
faktorisasi. Alam, 1999. 401 (6755): hal. 788-791. [14] Bradley, MM dan PJ Lang (1999). "Norma
afektif untuk kata-kata bahasa Inggris (ANEW): Petunjuk manual dan penilaian afektif. "University of
Florida: Pusat untuk Penelitian di Psikofisiologi. [15] Zeimpekis, D. dan E. Gallopoulos, TMG: Kotak
peralatan MATLAB untuk menghasilkan istilah- dokumen matriks dari koleksi teks. Mengelompokkan
data multidimensional: Recent kemajuan dalam pengelompokan, 2005: hlm. 187-210. [16] Dia, H.
dan EA Garcia, Belajar dari Data yang Tidak Seimbang. Transaksi IEEE di Pengetahuan dan Teknik
Data, 2009. 21 (9): hal. 1263.