Panduan Monitoring dan Evaluasi Riset Unggulan Terpadu Panduan Monitoring dan Evaluasi RUT 1

1. Latar Belakang Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan evaluasi adalah satusatunya aspek yang belum terimplementasikan secara baik, tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing, PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor Baru, PDB; Domestic Collaborative Research Grant, DCRG; Studi Lingkungan; Kajian Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda, karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM), riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan pemantapan platform riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita, DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di lain pihak Kantor Menteri Negara Riset dan Teknologi, KMNRT pun mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT; Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok; dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut bersaing memperebutkan biaya riset yang dialokasikan. Hibah riset yang berasal dari luar negeri seperti Asahi Glass Foundation, Toray Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumber 2 Panduan Monitoring dan Evaluasi RUT

dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu tertentu sehingga kelompok peneliti yang eligible untuk berpartisipasi, juga terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora; Risbiniptekdok, bagi bidang kedokteran, dll. Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana riset bagi dosendosennya. Pada umumnya jumlahnya terbatas untuk menciptakan nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam skala yang masih kecil, telah turut berperan serta dalam program riset perguruan tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi program riset di lingkungannya. Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik. Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang dana riset untuk melaksanakan monitoring sekaligus evaluasi. Jadi, asas desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang diharapkan dapat sekaligus bertindak sebagai peer reviewer tidak dapat terpenuhi, olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT) implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi Panduan Monitoring dan Evaluasi
RUT 3

dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas monitoring dan evaluasi riset di Indonesia. Sejak tahun 1993 dan tahun-tahun setelahnya, KMNRT telah memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT, RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada pada posisi untuk melaksanakan program-program tersebut secara operasional. Implementasi program-program riset termaksud dilaksanakan oleh LPND yang berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk setiap program KMNRT dan model monev khusus untuk RUT. Dengan demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan RUSNAS, karena program-program tersebut membawa misi yang berlainan. Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke DRD. KMNRT mengakses situs web DRD untuk memantau kegiatan dan produk riset di setiap propinsi. 4 Panduan Monitoring dan Evaluasi RUT

2. Tujuan Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi. Panduan
Monitoring dan Evaluasi RUT 5

3. Pengertian Unit Riset adalah unit dimana sekelompok peneliti melakukan penelitiannya dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai kebijakan riset atau mengaplikasikan temuannya, dan (4) mempunyai program riset. Di dalam unit riset terdapat seorang pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh unit riset antara lain: laboratorium, kelompok bidang keahlian, Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian, pusat antar universitas, bidang dan sejenisnya. Monitoring adalah suatu kegiatan observasi yang berlangsung terus menerus untuk memastikan dan mengendalikan keserasian pelaksanaan program dengan perencanaan yang telah ditetapkan. Evaluasi adalah suatu teknik penilaian kualitas program yang dilakukan secara berkala melalui metode yang tepat. Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya meningkatkan kualitas operasional suatu program dan berkontribusi penting dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam, kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya dan arah produktif potensial masa depan. Dengan menyediakan informasi yang relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan program. Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan program dilukiskan secara sederhana seperti tampak pada Gambar 1. Model 6 Panduan Monitoring dan Evaluasi RUT

tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan arah pelaksanaan program. Akan tetapi, karena operasionalisasi program merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masing-masing pola tersebut hanya mampu menetapkan sebagian dari total kualitas pelaksanaan program dan dampaknya. Setelah melalui fase penilaian sesuai lingkaran ganda kedua dari serangkaian proses evaluasi dilakukan pengambilan keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya. Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga). Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah ditetapkan dengan melanjutkan atau mengubah kebijakan yang ada, mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program. Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret apalagi linier. Sudut pandang model di atas, dinilai telah berkorespondensi dengan pandangan tradisional tentang peran evaluasi dalam pengembangan suatu program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam

kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang dapat berupa kebijakan, strategi, dll -seyogyanya dinilai dan dievaluasi setelah diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau dimodifikasinya suatu aksi. Perubahan konteks sosial S PS
osial Sosial olitik Politik umber daya Sumber daya

Gambar 1. Model Proses Peningkatan Kualitas

Kebijakan Program Pelaksanaan Program 3Keputusan Terintegrasi tentang Kualitas Standar yang disepakati Kualitas Program Penilaian Kualitas 12Panduan Monitoring dan Evaluasi RUT 7 8 Panduan Monitoring dan Evaluasi RUT

4. Sistem MONEV KMNRT Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek tentang ruang lingkup operasional KMNRT yang berskala nasional. Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh) LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia. Sebagaimana telah diketahui bahwa aspek pengawasan, controlling, meliputi monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi. Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK. Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan seperti tampak pada Gambar 2. Pada gambar tersebut dilukiskan mekanisme evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku utama, yaitu: 1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah Asdep 4/III Evaluasi Kinerja Lembaga; 2. Penentu kebijakan dan program riset nasional, yang dalam hal ini terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertim-bangkan saran atau rekomendasi Dewan Riset Nasional; 3. Pihak perencana anggaran nasional, yang terdiri dari unsur Direktorat Jenderal Anggaran, Departemen Keuangan dan Bappenas; 4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan pusat-pusat studi. Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku

memegang peranan penting dalam proses kelancaran, efektivitas, berbasis monitoring dan evaluasi riset di Indonesia. KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN, Pusat Studi). Berbasis informasi tersebut, KMNRT mengolah dan
Jakstra Punas

Program Baru Sistem Baru Panduan

Program Baru Riset Nasional

DPR Bappenas DJA Deputi Staf Ahli Profil Kinerja Lembaga Profil Sumber- daya Riset Lembaga

KMNRT LPND PUSAT STUDI INDUSTRI PT LD Asdep Evaluasi Kinerja

Gambar 2. Mekanisme Evaluasi Kinerja Lembaga

Masukan, input visi, misi renstra, rencana aksi kebijaksanaan peraturan sumber daya Proses, process interaksi antar periset periset-pimpinan atmosfer riset; efisiensi; manajemen konflik Keluaran, output

produktivitas artikel saintifik buku paten prototipe desain dll. Hasil, outcome aspek komersialisasi aspek internalisasi return on investment Dampak, impact Pengaruh positif dan/atau negatif terhadap lingkungan internal lingkungan eksternal Manfaat, benefit relevansi efektivitas
Panduan Monitoring dan Evaluasi RUT 9

10 Panduan Monitoring dan Evaluasi RUT

menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT (para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan riset baru. Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan pembahasan program tersebut. Program-program riset yang telah disetujui pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada seluruh lembaga riset melalui mekanisme penawaran yang atraktif. Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat dikembangkan di daerahdaerah dalam menyusun program-program riset daerah, dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program riset yang spesifik untuk daerah yang bersangkutan. Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev internal dengan cara melakukan self-evaluation atau evaluasi diri, menetapkan indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih memerlukan dukungan pengembangan.

5. Struktur Data MONEV KMNRT Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website setiap lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum disimpan dalam website. Uraian rinci Sistem Informasi Riset, SIR dan jenis basis data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku Sistem Informasi Riset yang diterbitkan oleh KMNRT, tahun 2001. Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT. Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan KMNRT untuk mendukung kegiatan monev, entry data dan program pengolahan data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas.
IT RISET UNIT RISET
KMNRT Sistem Informasi Riset, SIR - 3

Gambar 3. Struktur Data MONEV KMNRT

Sistem Informasi Riset, SIR 1 Basis Data: Identitas Manajemen Riset Sumberdaya Riset Program Riset Kebijakan Riset

U NIT RISET UN
Lembaga/ Institusi Sistem Informasi Riset, SIR - 2
Panduan Monitoring dan Evaluasi RUT 11

12 Panduan Monitoring dan Evaluasi RUT

6. Evaluasi Formatif dan Sumatif Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahan-perubahan atau perbaikan unit riset di masa depan. 6.1. Perbedaan Evaluasi Formatif dan Sumatif Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam evaluasi tersebut, masingmasing dapat dilihat pada Tabel 1 dan Tabel 2 berikut ini. Tabel 1. Perbedaan Evaluasi Formatif dan Evaluasi Sumatif Sumatif Evaluasi Formatif Evaluasi formatif dilakukan untuk membantu
perancang program, para manajer dan/atau staf untuk menyempurnakan program yang sedang dikembangkan atau yang sedang berjalan, Menuntut perhatian yang cukup untuk memantau implementasi program dan pencapaian tujuan, Dalam upaya untuk meningkatkan program, diperlukan pemahaman tentang kemajuan program ke arah pencapaian obyektif sehingga peluang melakukan perubahan dalam komponen program dapat dilakukan,

Evaluasi sumatif dilakukan untuk

membantu sponsor atau institusi berwenang lainnya dalam menentukan keputusan apakah akan melanjutkan program yang dinilai sukses atau apakah akan menghentikannya, Tujuan evaluasi sumatif adalah untuk mengoleksi dan menampilkan informasi yang diperlukan dalam mendukung pengambilan kesimpulan dan keputusan tentang program serta nilainya,