EVALUASI PENYELENGGARAAN E-LEARNING

BERBASIS WEB

Anasufi Banawi∗

ABSTRACT

This essay is explains the iterative and complicated steps required to

evaluate a Web-based training course (for example: e-learning). Implementation
and evaluation are shown on the ADDIE model to be two separate and linear
steps. In reality this is a messy process in which evaluation happens at a number
of points. At each step of the ADDIE process, it is important to check back to
determine whether the analysis is still accurate, design is appropriate, and the
development consistent with the program’s goals and objectives. Because WBT is
a technology involving many parts of the organization, it is essential to have a
well-structured plan to pilot, evaluate, and implement it. Although
implementation and evaluation are the final steps in the process, they are
important. Corrections are easier and less costly to make before a program is
implemented enterprise-wide. The use of SME evaluations, rapid prototypes,
alpha classes, and pilots are part of the iterative process that little by little
perfects the program. From this essay it can be concluded that like traditional
classroom programs, a Web-based training program (for example: e-learning)
can be evaluated using Kirkpatrick’s four levels (as it applies to e-learning).

Kata kunci: Evaluasi, WBT program, e-learning, model ADDIE, Teori Empat
Level Kirkpatrick

PENDAHULUAN
Pemanafaatan internet untuk pendidikan (misalnya e-learning) tidak hanya untuk
pendidikan jarak jauh, seperti Universitas Terbuka dan Sekolah-sekolah Terbuka.
Bahan ajar dibuat interaktif dan menarik sehingga kualitas belajar kelas on-line tidak
kalah dengan belajar dalam kelas biasa dalam sistem pendidikan konvensional. Kini,
perguruan tinggi dan sekolah menengah banyak yang mengembangkan dan
menyediakan pembelajaran berbasis internet untuk mendukung sistem pendidikan
konvensional. Namun, suatu inovasi selalu saja menimbulkan pro dan kontra. Yang pro
dengan berbagai dalih meyakinkan akan manfaat kecanggihan teknologi ini seperti:
memudahkan komunikasi, sumber informasi dunia, memudahkan kerjasama, hiburan,
berbelanja, dan kemudahan aktivitas lainnya. Sebaliknya yang kontra menunjukan sisi
negatifnya, antara lain: biaya relatif besar dan mudahnya pengaruh budaya asing. Oleh
karena itu sangat penting dilakukan kajian, penelitian, dan pengembangan model e-
learning termasuk evaluasi terhadap penyelenggaraan e-learning itu sendiri (Pandia,
2007)
Anda telah menjalankan e-learning selama satu tahun dan tampaknya sukses. Tiba-
tiba datang e-mail atasan yang meminta laporan evaluasi. Anda bingung, kenapa mereka

∗
Anasufi Banawi, S.Pd., M.Pd., adalah Dosen Tisika pada Fakultas Tarbiyah IAIN Ambon.

1
meminta laporan evaluasi? Bukankah mereka dapat melihat sendiri bahwa tidak ada
masalah dengan penerapan e-learning selama ini?
Sayangnya, jumlah pengguna e-learning dan mulusnya teknologi yang Anda pasang
tidak langsung membuktikan kesuksesan praktik e-learning. Data tersebut memang dapat
menjadi salah satu faktor yang mendukung kesuksesan e-learnig, tetapi Anda tidak dapat
berhenti tanpa menggali lebih dalam mengenai kesuksesan e-learning yang dilaksanakan.
Lebih lanjut, evaluasi yang dilakukan tidak hanya berdasarkan pengamatan, melainkan
harus memiliki bukti konkrit berupa laporan yang berdasarkan pelaksanaan evaluasi
terstruktur. Alasan kita mengadakan evaluasi dapat kita lihat dari sudut pandang pihak-
pihak yang terlibat e-learning, yaitu organisasi dan manajemen, departemen pelatihan atau
pengajar, dan anggota organisasi atau pelajar (Empy Efenndi & Zhuang, 2005: 158).
Penyelenggaraan pendidikan bukan sesederhana mengadakan peralatan
laboratorium komputer. Dampak pendidikan akan meliputi banyak orang dan
menyangkut banyak aspek. Oleh karena itu, kegiatan pendidikan termasuk
penyelenggaraan e-learning harus dievaluasi agar dapat dikaji apa kekurangannya dan
kekurangan tersebut akan dapat dipertimbangkan untuk pelaksanaan pendidikan pada
waktu lain. Evaluasi program dimaksudkan untuk melihat pencapaian target program.
Untuk menentukan seberapa jauh target program sudah tercapai, yang dijadikan tolak
ukur adalah tujuan yang sudah dirumuskan dalam tahap perencanaan kegiatan. Evaluasi
program biasanya dilakukan untuk kepentingan pengambil kebijaksanaan untuk
menentukan kebijaksanaan selanjutnya. Dengan evaluasi program, langkah evaluasi
bukan hanya dilakukan serampangan saja tetapi sistematis, rinci, dan rnengguñakan
prosedur yang sudah diuji secara cermat. Dengan metode-metode tertentu maka akan
diperoleh data yang andal dan dapat dipercaya. Penentuan kebijaksanaan akan tepat
apabila data yang digunakan sebagai dasar pertimbangan tersebut benar, akurat, dan
lengkap (Suharsimi, 2006: 291-292). Tulisan ini akan mencoba menjelaskan bagaimana
melakukan evaluasi terhadap e-learning yang telah diselenggarakan.

TEORI TENTANG EVALUASI E-LEARNING

Banyak teori yang beredar diindustri e-learning membahas apa yang harus diukur
dan dapat diukur. Akan tetapi, dunia pelatihan dan e-learning saat ini terus berubah
sehingga kita sulit menentukan dan mendefinisikan dengan tepat ukuran yang harus
dipakai.
Teori paling sederhana tentang pengukuran atau evaluasi e-learning adalah
menggunakan ukuran yang sama dengan yang digunakan untuk mengukur pelatihan di
kelas. Cara evaluasi paling tradisional adalah mengukur jumlah peserta yang mengikuti
pelatihan dan reaksi mereka tentang pelatihan. Filosofi yang harus diikuti sebagai hasil
evaluasi tradisional adalah mengisi ruang kelas sepenuh mungkin. Semakin penuh
ruang kelas, semakin baik hasil yang didapat.
Selain teori di atas, untuk mengevaluasi pembelajaran berbasis web (WBT/Web-
Base training) termasuk didalamnya e-learning, maka perlu digunakan model ADDIE.
Model ADDIE (Analyze, Design, Develop, Implement, dan Evaluate), seperti pada
Gambar 1. ADDIE ini digunakan untuk menganalisa, merancang, mengembangkan,
mengimplementasikan dan mengevaluasi proyek e-learning. Model ADDIE ini
memudahkan team untuk mengikuti struktur keorganisasian. Oleh karena itu, para
manajer organisasi sangat penting memiliki wawasan yang bagus mengenai model ini
dan mampu menjelaskan tugas terkait dengan fase analisis. Hal yang akan dianalisis
meliputi tujuan pembelajaran, lingkungan, audience (peserta), infrastruktur dan budaya.

2
Para perancang pengajaran (instructional) dan pengembang kursus akan mampu
mengidentifikasi perbedaan antara tugas-tugas yang diperlukan untuk menganalisa
program kelas tradisional atau klasikal dan hal-hal yang diperlukan untuk membuat
program e-learning (Driscoll, 2002: 82-83).

Gambar 1. Model ADDIE

Donald Kirkpatrick mengeluarkan teori evaluasi pelatihan yang terdiri atas 4

(empat) level pada tahun 1994 dalam bukunya Evaluating Training Programs: The
Four Levels, sebagai berikut:
1. Level 1/Reaction: Mengukur efektivitas pelatihan berdasarkan persepsi dan reaksi
pelajar sendiri.
2. Level 2/Learning: Mengukur keberhasilan pelatihan berdasarkan pencapaian tujuan
pelatihan yang telah ditetapkan.
3. Level 3/Transfer Behavior: Mengukur keberhasilan pelatihan berdasarkan
peningkatan kinerja pelajar di lingkungan pekerjaan.
4. Level 4/Business Result: Mengukur keberhasilan pelatihan berdasarkan perubahan
pada organisasi atau bisnis yang disebabkan pelatihan.
Jack J. Phillips menambahkan satu level sebagai lanjutan evaluasi level 4 yang
disebut level 5/ROI (Return on Investment). Di level 5, kita akan membandingkan hasil
akhir level 4 dengan biaya yang kita keluarkan untuk pelatihan. Jadi, level 5 hanya
meneruskan sedikit hasil evaluasi level 4, yaitu menambahkan komponen biaya
pelatihan. Jadi, kita melakukan perbandingan antara biaya dengan keuntungan dalam
nilai rupiah. Masing-masing perusahaan mempunyai model dan cara pengukuran sendiri
dan mungkin berbeda satu sama lain. Walaupun demikian, semuanya ditujukan untuk
membandingkan hasil dan biaya yang dikeluarkan untuk penerapan e-learning.
Pengukuran ROI adalah ukuran yang terbaik, meski pengukuran ROI sangat sulit
dilakukan. Oleh karena itu, walaupun para pakar e-learning terus menggembar-
gemborkan penggunaan ROI, kenyataannya, hanya sedikit perusahaan yang benar-benar
menerapkan.
Dari penjelasan singkat di atas, tampak bahwa semakin tinggi level evaluasi,
semakin dekat hasil hubungan evaluasi dengan tujuan organisasi. Sungguhpun
demikian, semakin tinggi level evaluasi tersebut, semakin sulit pula melakukannya.
Oleh karena itu, organisasi-organisasi di dunia melakukan implementasi evaluasi
beragam. Menurut survei American Society of Training and Development (ASTD) tahun
2002, 78% organisasi menerapkan evaluasi level 1. Evaluasi level 2 dilakukan oleh 32%

3
organisasi. Evaluasi level 3 hanya dilakukan oleh 9% organisasi. Kemudian, hanya
segelintir (6%) organisasi menerapkan evaluasi level 4.

TAHAPAN EVALUASI DALAM MODEL ADDIE

Implementasi dan evaluasi yang ditunjukkan dalam model ADDIE sebagai dua
tahap yang terpisah dan sifatnya linier. Pada kenyataannya, ini merupakan proses yang
“morat-marit” dimana evaluasi terjadi pada sejumlah point. Di setiap tahap dari proses
ADDIE, penting untuk mengecek ulang dalam menentukan apakah analisis masih
akurat, apakah rancangan sudah sesuai/tepat, dan apakah pengembangan konsisten
dengan tujuan dan sasaran program.
Driscoll (2002) mengungkapkan empat tahap evaluasi dalam model ADDIE
yaitu: SME, Rapid Prototype, Alpha Class, dan Pilotting dapat dijelaskan sebagai
berikut:

1. Subject-Matter Expert (SME)

Merupakan tahapan penilaian materi oleh para ahli. Untuk bisa melakukan
evaluasi SME diperlukan orang yang: 1) mengetahui dengan baik seluk-beluk audience
(peserta), 2) berpengalaman dalam mengembangkan CBT (Computer-based training),
dan 3) berpengalaman dalam mengembangkan WBT (Web-based training) dan
mengetahui masalah teknik dan masalah pembelajaran. Dari hasil evaluasi SME dapat
diketahui kesalahan dan ketidakakuratan tampilan materi serta teridentifikasinya
masalah operasional (teknik) dan masalah pembelajaran. Pelaksanaan evaluasi
dilakukan setelah rampungnya: storyboards (alur materi), blueprint (kisi-kisi materi),
scripts (tulisan/naskah), dan navigation (tombol perintah/petunjuk). Syarat yang harus
terpenuhi pada tahap ini, yaitu: naskah baru (naskah lama yang sudah diperbaiki) makin
baik, kekeliruan yang terungkap diperbaiki untuk memudahkan umpan balik.
2. Rapid Prototype
Merupakan tahapan evaluasi untuk menguji keberfungsian materi yang telah
dibuat (materi sifatnya masih kasar). Jadi tahap ini merupakan “pembuatan dan uji
pakai awal” materi. Dari evaluasi ini, dapat diketahui masalah-masalah yang berkaitan
dengan interface (bidang tampilan), navigation (petunjuk), flow of path (tombol),
instructional strategies (strategi pembelajaran), dan client satisfaction (kepuasan
pengguna). Pelaksanaan evaluasi sangat berkaitan dengan pembuatan modul
pembelajaran untuk pertama kalinya. Syarat yang harus terpenuhi pada tahap ini, yaitu:
audience yang diminta tanggapannya representatif dan bukan ala kadarnya.
Beberapa langkah yang berkaitan dengan Rapid Prototype, adalah:

buat sebuah rencana pembelajaran;

identifikasi peserta didik;

kembangkan sebuah rencana untuk umpan balik;

satu produk untuk satu sesi pembelajaran;

jelaskan tujuan pembelajaran;

buat lingkungan menjadi menyenangkan;

beri catatan anekdok.

Beberapa pertanyaan yang dapat mengungkapkan evaluasi pada tahap Rapid Prototype,
adalah:
Isi Materi:

4

Apa perintah dalam materi jelas?

Apakah perintah materi objektif?

Kata-kata mudah dimengerti?

Ada contoh soal dalam materi?

Apakah praktis?
Saat Browsing:

Apa icon-icon menarik dan jelas?

Apakah ada tombol navigator?

Apakah hot spots jelas?

Apakah pop-up membingungkan?

Setelah menggunakan sebuah hypertext link apa bisa kembali ke program?
3. Alpha Class
Merupakan sebuah penilaian formatif dalam WBT program terkait dengan
keefektifan suatu materi yang dikembangkan dinyatakan sudah layak pakai. Hasil
evaluasi ini memberi gambaran bahwa materi pembelajaran yang dibuat (pada tahap
Rapid Prototype) telah sesuai dengan apa yang direncanakan. Pada tahap ini, materi
yang dikembangkan telah lengkap dan berisikan: text, grafik, video, suara, animasi, tes,
dan link dengan program lain. Pelaksanaan evaluasi sangat berkaitan erat dengan
kesiapan semua perangkat pembelajaran dan audience (peserta). Syarat yang harus
terpenuhi pada tahap ini, yaitu: anggota kelompok yang mengembangkan materi harus
berpengalaman dalam kursus dan menguasai teknologi.
4. Pilot
Merupakan tahapan terakhir dari serangkaian tahapan dalam model ADDIE. Jadi
tahap ini merupakan “peluncuran” materi dalam skala besar. Pelaksanaan evaluasi
sangat berkaitan dengan kesiapan program yang dijalankan dan audience (peserta).
Syarat yang harus terpenuhi pada tahap ini, yaitu: ada rencana perbaikan materi
pengajaran bila peluncuran gagal. Dari evaluasi ini, dapat diketahui masalah-masalah
yang berkaitan dengan keefektifan program yang diselenggarakan dan masalah-masalah
teknik lapangan yang terjadi, seperti: bandwidth jaringan, konektivitas internet,
kecepatan akses. Seperti halnya kelas kursus, untuk mengevaluasi keefektifan WBT
program dapat digunakan Teori Empat Level Kirkpatrick. Terkait masalah teknik di
lapangan, ada lima unsur yang perlu diperhatikan, yaitu: 1) Conectivity (konektivitas),
2) Leraners’ Technical Ability (kemampuan teknik peserta), 3) Hardware (perangkat
keras), Software (perangkat lunak), dan 5) Integration (Keterpaduan) (Driscoll, 2002:
235-248).

INSTRUMEN UNTUK EVALUASI E-LEARNING

Terdapat banyak alat/instrumen (dari berbagai literatur) yang rinci untuk
melakukan evaluasi e-learning. Pada umumnya dibagi menjadi dua jenis. Pertama, ada
instrumen on-line untuk menilai, karakteristik-karakteristik pengguna dari perangkat
lunak. Kedua, ada alat-alat untuk merekam dan meneliti pemakaian dengan jangka
waktu dan frekuensi, baik melalui catatan dalam, halaman-halaman pengakses, profil
pengguna dll. Dari pemaparan ini, maka ada dua bagian yang perlu diketahui dalam
melakukan evaluasi WBT termasuk e-learning , yaitu:
1. Evaluasi Produk
Satu hal yang paling mendominasi evaluasi e-learning adalah menguraikan daftar
perangkat lunak pendidikan tertentu tentang spesifikasi yang ada dalam perangkat
tersebut. Kebanyakan daftar ini diterbitkan oleh pengembang-pengembang perangkat

5
lunak. Sebenarnya, hal ini bukan untuk maksud menanyakan kegunaan daftar/laporan-
tersebut atau meragukan kebenaran yang ada didalamnya, melainkan hanya sebuah
evaluasi “yang bukan kontekstual” yang bisa diterima akan produk yang dihasilkan.
2. Evaluasi Kinerja
Scrivens (2000) di AS, menggunakan istilah ”evaluasi kinerja” untuk sesuatu yang
akan dilakukan, di Eropa disebut sebagai penilaian siswa. Secara singkat dapat
didefenisikan bahwa evaluasi kinerja siswa adalah suatu indikator tangguh yang
menunjukkan efektivitas penyelengaraan e-learning. Lebih dari itu, suatu survei
melaporkan tentang evaluasi kinerja dalam konteks e-learning sebagian besar terkait
dengan peralatan dan instrumen-instrumen on-line untuk menguji pengetahuan pelajar
berbasis kinerja (Piskurich & George, 2003).

PELAKSANAAN EVALUASI PROGRAM E-LEARNING

Berdasarkan uraian di atas, maka evaluasi penyelenggaraan e-learning diapat dibagi
dalam dua bagian, yaitu:
1. Evaluasi Materi Pembelajaran (produk) dilakukan dengan menggunakan model
ADDIE
2. Evaluasi Program atau Kinerja dilakukan dengan menggunakan Teori Empat Level
Kirkpatrick.
Untuk evaluasi materi pembelajaran (produk), langkah-langkah yang dilakukan:
a. Eksplorlah framework untuk mengevaluasi program e-learning dengan Google.
Berdasarkan framework ini anda diminta melakukan evaluasi menyeluruh sesuai
model ADDIE.
b. Eksplorlah e-learning di internet sehingga anda dapat masuk ke suatu e-learning
dan dapat mempelajari materi-materi di dalamnya.
c. Buatlah laporan hasil evaluasi, minimal berisi:
1) Deskripsi program (URL, contoh screenshot program, matakuliah,
dosen/pengarang, tingkat pendidikan user, materi, software, aksesibilitas,
evaluasi/test)
2) Hasil Evaluasi berupa penilaian terhadap: metode, multimedia, usability,
umpan balik, navigasi, links (harap disebutkan URL framework yang
digunakan untuk acuan) (Surjono, 2007).
Untuk evaluasi Program atau Kinerja (mengetahui efektivitas program) e-learning yang
diselengarakan, hal-hal yang dapat dilakukan:
1. Level 1/Reaction
Mengukur efektivitas pelatihan berdasarkan persepsi dan reaksi pelajar sendiri.
Contoh untuk WBT: bagikan angket berisikan 8 atau 12 pertanyaan mengenai hal-
hal yang disukai dan yang tidak disukai oleh peserta terkait penyelengaraan e-
learning.
2. Level 2/Learning
Mengukur keberhasilan pelatihan berdasarkan pencapaian tujuan pelatihan yang
telah ditetapkan.
Contoh untuk WBT: bagikan tes PG, uraian, atau pertanyaan singkat untuk dijawab
peserta atau ujian demostrasi agar terungkap apa yang sudah bisa dilakukan peserta.
3. Level 3/Transfer Behavior
Mengukur keberhasilan pelatihan berdasarkan peningkatan kinerja pelajar di
lingkungan pekerjaan.

6
 Contoh untuk WBT: pengisian lembaran observasi oleh pelatih saat peserta uji
kemampuannnya terkait WBT program ataupun e-learning.
4. Level 4/Business Result
Mengukur keberhasilan pelatihan berdasarkan perubahan pada organisasi atau bisnis
yang disebabkan pelatihan.
Contoh untuk WBT: ada sales team yang dipilih secara random. Kelompok ini akan
dibandingkan dengan kelompok kontrol untuk mengetahui hal-hal yang
menguntungkan dan hal-hal yang merugikan dalam pelaksanaan WBT program
ataupun e-learning.

PENUTUP
Ada pendapat yang mengatakan bahwa media pembelajaran secanggih apapun
tidak akan bisa menggantikan sepenuhnya peran guru/dosen. Penanaman nila-nilai dan
sentuhan kepribadian sulit dilakukan dalam pembelajaran dengan internet. Hal ini
merupakan tantangan bagi para pengambil kebijakan dan pengembang e-learning. Oleh
karena itu prinsip dan komunikasi pembelajaran perlu didesain seperti layaknya
pembelajaran konvensional. Dengan tetap memperhatikan faktor: peserta, lingkungan,
kontekstual, teknologi, dan fungsi mendidik. Sehingga diperlukan program e-learning
yang efesien dan efektif. Kebijakan institusi pendidikan dalam memanfaatkan teknologi
internet menuju e-learning perlu kajian dan rancangan mendalam serta evaluasi.
Evaluasi e-learning perlu dilakukan karena jumlah pengguna e-learning dan mulusnya
teknologi yang dipasang tidak langsung membuktikan kesuksesan penyelenggaraan e-
learning.

DAFTAR PUSTAKA
Empy Efendi dan Zhuang, H. (2005). E-learning Konsep dan Aplikasi. Jakarta: Penerbit
Andi.
Driscoll, M. (2002). Web Based Training: Creating e-learning experiences. San
Fransisco: Jossey Bass/Pfeiffer A Willey Company.

Kirkpatrick, D. (1994). Evaluating training program: The four levels. San Fransisco:
Berret-Koehler.

Pandia, H. (2007). Teknologi Informasi dan Komunikasi Jilid 1 untuk SMP Kelas VIII.
Jakarta: Penerbit Erlangga.

Piskurich dan George M. (2003). The AMA Handbook of e-learning, New York:
American Management Assosiation.

Suharsimi Arikunto. (2006). Dasar-dasar Evaluasi Pendidikan. Jakarta: PT Bumi

Aksara.

Surjono, H.D. (2007). Wawasan ICT untuk Mahasiswa Baru Pascasarjana UNY 2007.
Yogyakarta: Puskom UNY.[].