Penilaian Sistem Temu Kembali Informasi

Pendahuluan
Suatu evaluasi pada dasarnya adalah sebuah penilaian yang berharga. dengan kata lain,
kita mengevaluasi sistem dalam rangka untuk mengetahui dengan pasti tingkat
pelaksanaannya atau nilainya. Lancaster menyatakan bahwa kita dapat mengevaluasi
sistem temu kembali informasi dengan mempertimbangkan beberapa aspek :
1. Seberapa baik sistem ini memuaskan tujuannya, yang berarti, seberapa baik
memuaskan permintaan yang ditujunya.
2. Bagaimana memuaskan tujuannya secara efisien, dan pada akhirnya.
3. Apakah sistem itu membenarkan keberadaannya.

Dalam bidang temu kembali informasi kita mungkin ingin menilai keberadaan kedua
sistem agar tampil lebih baik, atau kita mungkin ingin menilai tingkat pelaksanaan
system yang ada agar semakin meningkat. Sehingga dengan sangat jelas kita dapat
mengukur kinerja system dengan meneliti dalam beberapa tingkat skala. Ada dua standar
dalam mengukur kinerja suatu system : efektivitas dan efesiensi. Dengan efektivitas
berarti system mampu mencapai mencapai tujuan sampai tingkat apapun. Dalam system
temu-kembali informasi, efektivitas mungkin berarti sampai sejauh mana system mampu
menemukan kembali informasi yang relevan dan pada saat yang sama menahan informasi
yang tidak relevan. Efisiensi dimaksudkan bagaimana system dapat diukur secara
ekonomis dalam mencapai tujuannya. Dalam system temu-kembali informasi efisiensi
dapat juga diukur dengan faktor-faktor seberapa minim harga yang dikeluarkan dalam
menjalankan fungsinya secara efektif. Faktor-faktor biaya tersebut tidak diperhitungkan
secara langsung. Tapi faktor-faktor tersebut menyangkut seberapa lama waktunya sistem
tersebut merespon, yaitu waktu yang dibutuhkan pengguna untuk mendapatkan jawaban:
contohnya usaha pengguna, yaitu jumlah waktu dan usaha yang dibutuhkan pengguna
untuk berinteraksi dengan sistem dan menganalisis hasil temu-kembali dalam rangka
untuk menemukan informasi yang benar; jumlah biaya yang dikeluarkan dalam setiap
pencarian, dan sebagainya.
Pembahasan dalam bab ini adalah masalah utama yang berhubungan dengan penilaian
sistem temu-kembali informasi. Faktor-faktor yang harus dipertimbangkan untuk
mengukur kinerja sistem temu kembali informasi dapat diidentifikasi dan diikuti dengan
diskusi tentang langkah-langkah utama yang harus diikuti dalam merancang program
untuk mengevaluasi sistem tersebut.

Tujuan evaluasi
Studi Evaluasi meneliti sejauh mana tujuan yang telah ditetapkan atau harapan telah
dicapai atau sejauh mana ini dapat dicapai. Keen memberikan tiga tujuan utama dari
evaluasi sistem temu kembali informasi:
1. perlunya langkah-langkah yang dapat digunakan untuk membuat perbandingan
jasa dalam situasi tes tunggal. Dengan kata lain, studi evaluasi dilakukan untuk
membandingkan manfaat (atau demerits) dari dua atau lebih sistem
 2. perlunya langkah-langkah yang dapat digunakan untuk membuat comparions
antara hasil yang diperoleh dalam situasi tes yang berbeda, dan
3. kebutuhan untuk menilai kebaikan sistem rela-hidup.

Swanson menyatakan bahwa studi evaluasi mempunyai satu lagi dari tujuan berikut:
1. untuk menilai suatu tujuan yang ditetapkan, rencana program, atau desain
sebelum pelaksanaan
2. untuk menentukan apakah dan seberapa baik kinerja tujuan atau harapan yang
sedang digenapi
3. untuk menentukan alasan khusus untuk keberhasilan dan kegagalan
4. untuk mengungkap prinsip-prinsip yang mendasari suatu program yang berhasil
5. untuk mengeksplorasi teknik untuk meningkatkan efektivitas program
6. untuk mendirikan sebuah yayasan penelitian lebih lanjut tentang alasan bagi
keberhasilan relatif dari teknik alternatif, dan
7. untuk memperbaiki cara yang digunakan untuk mencapai tujuan atau terlalu
mendefinisikan kembali subgoals atau tujuan dalam pandangan temuan penelitian.

Kriteria evaluasi
Sebuah studi evaluasi dapat dilakukan dari dua sudut pandang yang berbeda. Ketika
dilakukan dari sudut pandang manajerial, studi evaluasi disebut manajemen berorientasi
dilakukan dari sudut pandang pengguna itu disebut studi evaluasi yang berorientasi
pengguna. Banyak ilmuwan informasi menganjurkan bahwa evaluasi dari intensifikasi
pencarian informasi harus selalu pengguna criented, ic, evaluator harus lebih
memperhatikan faktor-faktor yang dapat memberikan layanan yang lebih baik kepada
pengguna. Cleverdon mengatakan bahwa evaluasi yang berorientasi pengguna harus
mencoba untuk menjawab pertanyaan-pertanyaan berikut:
1. apa Sejauh mana sistem memenuhi kedua kebutuhan laten diungkapkan dan
masyarakat penggunanya?
2. apa alasan kegagalan sistem untuk memenuhi kebutuhan pengguna?
3. apa efektivitas biaya dari pencarian yang dilakukan oleh pengguna sendiri sebagai
lawan yang dibuat oleh perantara?
4. apa perubahan mendasar yang diperlukan untuk meningkatkan output?
5. biaya dapat dikurangi dengan tetap menjaga tingkat kinerja yang sama?
6. apa yang akan menjadi pengaruh mungkin jika beberapa layanan baru
diperkenalkan atau layanan yang sudah ada yang ditarik?

Seperti sistem lain, kami berharap kinerja terbaik dengan biaya paling tidak dari sistem
pencarian informasi. Kita dapat mengidentifikasi dua faktor utama, kinerja dan biaya.
Sekarang, jika kita mencoba menentukan bagaimana kita mengukur kinerja sistem temu
kembali informasi yang kami harus kembali ke pertanyaan tujuan dasar. Kita tahu bahwa
sistem ini dimaksudkan untuk mengambil semua dokumen dalam koleksi yang relevan
dengan query yang diberikan sambil kembali semua dokumen-dokumen yang tidak
relevan. Sistem ini, oleh karena itu, harus mengambil item yang relevan dan hanya
relevan. Pertanyaan tentang relevansi dengan demikian menjadi faktor penting. Kami
akan datang untuk masalah ini segera. Kami juga ingin menilai bagaimana sistem
ekonomi melakukan. Perhitungan biaya sistem temu kembali informasi adalah tidak
mudah, karena melibatkan sejumlah metode tidak langsung perhitungan biaya.