See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/301945887

The Group Decision Support System to Evaluate the ICT Project Performance
Using the Hybrid Method of AHP, TOPSIS and Copeland Score

Article  in  International Journal of Advanced Computer Science and Applications · April 2016

DOI: 10.14569/IJACSA.2016.070444

CITATIONS READS

5 653

4 authors, including:

Herri Setiawan Jazi Eko Istiyanto

Universitas Indo Global Mandiri Palembang, Indonesia Universitas Gadjah Mada
8 PUBLICATIONS   20 CITATIONS    49 PUBLICATIONS   154 CITATIONS   

SEE PROFILE SEE PROFILE

Purwo Santoso
Universitas Gadjah Mada
20 PUBLICATIONS   124 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Naïve Bayesian View project

Governance View project

All content following this page was uploaded by Herri Setiawan on 06 April 2017.

The user has requested enhancement of the downloaded file.

 Sistem Pendukung Keputusan Kelompok Evaluasi Kinerja Proyek ICT
Menggunakan Hybrid Metode AHP, TOPSIS dan Copeland Score
(Studi Kasus : Instansi Pemerintah Daerah)

Herri Setiawan Jazi Eko Istiyanto

Department of Computer Science and Electronics, Department of Computer Science and Electronics
Faculty of Mathematics and Natural Sciences Faculty of Mathematics and Natural Sciences
Gadjah Mada University, Yogyakarta, Indonesia Gadjah Mada University, Yogyakarta, Indonesia
Email: herri.1303@gmail.com

Retantyo Wardoyo Purwo Santoso

Department of Computer Science and Electronics Departement Politics and Government
Faculty of Mathematics and Natural Sciences Faculty of Social and Political Sciences
Gadjah Mada University, Yogyakarta, Indonesia Gadjah Mada University, Yogyakarta, Indonesia

Abstract. Paper ini mengusulkan Konsep Group Decision Support System (GDSS) Evaluasi kinerja Proyek
Information and Communications Technology (ICT) di Instansi pemerintah daerah di Indonesia, untuk
mengatasi inkonsistensi yang mungkin terjadi dalam pengambilan keputusan. Dengan mempertimbangkan aspek
perundang-undangan yang berlaku, decesion maker yang dilibatkan untuk memberikan penilaian maupun
evaluasi atas penyelenggaraan proyek ICT di istitusi pemerintahan daerah adalah Eksekutif Institusi
pemerintahan, Satuan Kerja Pengelola ICT, Satuan Pemilik Proses Bisnis, dan Masyarakat yang diwakili oleh
DPRD. Konstribusi para pembuat keputusan dalam model tersebut berupa preferensi untuk menevaluasi
alternatif-alternatif dari proyek ICT berdasar kriteria-kriteria yang ditentukan, dengan menggunakan metode-
dalam Multiple Criteria Decision Making (MCDM). Penelitian ini menyajikan kerangka kerja GDSS yang
mengintegrasikan metode Analytic Hierarchy Process (AHP) , Technique for Order Preference by Similarity to
Ideal Solution (TOPSIS) dan Copeland Score. Metode AHP digunakan untuk menghasilkan bobot antar kriteria
yang akan dijadikan input dalam proses perhitungan metode TOPSIS. Dari perhitungan topsis dihasilkan
rangking proyek setiap Decision Maker, dan untuk menyatukan perbedaan preferensi antar decision maker
maka digunakan metode Copeland Score sebagai salah satu metode voting untuk menentukan ranking proyek
terbaik dari seluruh decion maker.
Keywords - GDSS; ICT; MCDM; AHP; TOPSIS; Copeland Score, Decision Maker

1. INTRODUCTION
Keuntungan utama dari Multiple Criteria Decision Making (MCDM) adalah menyediakan proses
pengambilan keputusan dengan menganalisa masalah yang kompleks, agregasi kriteria dalam proses evaluasi,
kemungkinan pengambilan keputusan yang tepat, dan ruang lingkup bagi pengambil keputusan untuk
berpartisipasi secara aktif dalam proses pengambilan keputusan [1].
Sejumlah penelitian dalam pengambilan keputusan evaluasi kinerja Proyek ICT menggunakan metode
MCDM [1][2][3][4]. Seleksi proyek yang efektif dan efisien memiliki arti penting dalam setiap organisasi,
karena proses pengambilan keputusan untuk menilai kelayakan suatu proyek adalah sangat kompleks. Dalam
penelitiannya, dilakukan pendekatan menggunakan metode AHP dan Moora [1].
Untuk menghadapi ketidakpastian dan ketidakjelasan persepsi subjektif manusia dalam proses
pengambilan keputusan, digunakan model evaluasi berdasarkan metode fuzzy multi-criteria decision-making
(FMCDM) untuk mengukur kinerja proyek-proyek pengembangan perangkat lunak [2]. Permasalahan dalam
MCDM adalah decision maker (DM) yang harus memilih alternatif terbaik yang memenuhi kriteria. Umumnya
sulit ditemukan alternatif yang memenuhi semua kriteria secara bersamaan, sehingga solusi kompromi lebih
disukai. Masalah dapat menjadi lebih kompleks ketika beberapa DM tidak memiliki persamaan persepsi
terhadap alternatif yang ada. Metode perangkingan dengan metode VIKOR diusulkan untuk mengidentifikasi
solusi kompromi tersebut. Metode ini menggunkan nilai yang tepat untuk penilaian alternatif dengan kriteria
unquantifiable, terutama jika evaluasi dilakukan dengan cara linguistik.
Kazemi dkk [3] menawarkan sebuah metode pengawasan proyek agar sesuai dengan tujuan strategis.
Langkah awal dalam usaha mengurangi risiko kegagalan proyek adalah memilih proyek yang optimal dengan
pendekatan MCDM menggunakan metode AHP dan TOPSIS. Pada model yang lain, penerapan Linear
Programming (LP) dan MCDM untuk pengambilan keputusan dilakukan dalam evaluasi pemilihan proyek
 prioritas dengan beberapa kriteria yang ditetapkan [4]. Hasil analisis menunjukkan MCDM dapat digunakan
untuk untuk evaluasi kinerja proyek
Di instansi Pemerintahan Indonesia, khususnya di lingkungan Pemerintah Daerah dikenal LAKIP
(Laporan Akuntabilitas Kinerja Instansi Pemerintah), yaitu alat untuk mengukur Kinerja Instansi terkait sampai
seberapa jauh keberhasilan program-program/kegiatan-kegiatannya. Namun sayangnya pengukuran ini bersifat
umum dengan berbagai variabel yang digunakan, tidak ada yang khusus mengenai ICT saja. Dalam penelitian
yang lain, Ishak [5] melakukan tinjauan mengenai efektifitas pengukuran kinerja di setiap SKPD. Dengan
menggunakan metode analisis dari berbagai sumber data, disimpulkan bahwa akuntabilitas pemeritahan di
Indonesia masih berfokus hanya dari sisi pengelolaan keuangan saja, sementara dalam kenyataan sehari-hari
keingintahuan masyarakat tentang akuntabilatas pemerintah tidak dapat dipenuhi hanya oleh informasi keuangan
saja, karenya diperlukan alat ukur yang tepat dalam pengukuran kinerja SKPD tersebut. Karenanya, proyek-
proyek e-Goverment di pemerintahan perlu di lakukan evaluasi untuk mengetahui penyebab perubahan,
kekurangan, dan penyimpangan yang terjadi [6].
Paper ini menjelaskan GDSS untuk Evaluasi Kinerja Proyek ICT di instansi pemerintah daerah. GDSS
dimaksudkan untuk menjadi alat bantu bagi para pengambil keputusan untuk memperluas kapabilitas mereka,
namun tidak untuk menggantikan penilaian mereka. Secara garis besar paper ini terbagi atas beberapa bagian.
Bagian pertama menjelaskan gambaran singkat tentang AHP, TOPSIS dan Copeland Score. Kemudian
dijelaskan metodologi berupa langkah-langkah bagaimana metode hybrid diterapkan, yang selanjutkan diberikan
contoh bagimana metode hybrid diimplementasikan. Pada bagian akhir disimpulkan hasil penelitian yang telah
dilakukan.
Berbeda dari penelitian yang telah ada sebelumnya, selain implementasi GDSS yang menggunakan
metode hybrid, kriteria penilaian yang digunakan merupakan kriteria yang dapat digunakan dalam penilaian di
semua kategori proyek ICT, tidak hanya terbatas pada proyek ICT yang berhubungan dengan software maupun
hardware saja. Selain itu, dalam kiteria penilaian yang digunakan dipertimbangkan aspek teknis dan aspek
manajerial untuk mengakomodir semua DM.

2. OVERVIEW OF MULTI-CRITERIA DECISION MAKING

Berdasarkan jumlah kriteria yang digunakan, maka persoalan keputusan dapat dibedakan menjadi dua
kategori, yaitu persoalan keputusan dengan kriteria tunggal dan kriteria majemuk (multikriteria). Pengambilan
Keputusan Multikriteria (MCDM) didefinisikan sebagai suatu metode pengambilan keputusan untuk
menetapkan alternatif terbaik dari sejumlah alternatif berdasarkan beberapa kriteria tertentu [7]. MCDM dibagi
menjadi Multi-Objective Decision Making (MODM) dan Multi-Attribute Decision Making (MADM) [8] .
Terdapat beberapa metode yang dapat digunakan untuk menyelesaikan masalah MADM, antara lain
yaitu: 1) Simple Additive Weighting Method (SAW), 2) Weighted Product (WP), 3) ELimination Et Coix
Traduisant la realitE (ELECTRE), 4) Technique for Order Preference by Similarity to Ideal Solution (TOPSIS),
dan 5) Analytic Hierarchy Process (AHP).

2.1. Analytical Hierarchy Process (AHP)

AHP merupakan suatu model pendukung keputusan yang dikembangkan oleh Thomas L. Saaty. Model
pendukung keputusan ini akan menguraikan masalah multi faktor atau multi kriteria yang kompleks menjadi
suatu hirarki [9][10]. Hirarki didefinisikan sebagai suatu representasi dari sebuah permasalahan yang kompleks
dalam suatu struktur multi level dimana level pertama adalah tujuan, yang diikuti level faktor, kriteria, sub
kriteria, dan seterusnya ke bawah hingga level terakhir dari alternatif. Dengan hirarki, suatu masalah yang
kompleks dapat diuraikan ke dalam kelompok-kelompoknya yang kemudian diatur menjadi suatu bentuk hirarki
sehingga permasalahan akan tampak lebih terstruktur dan sistematis. AHP memiliki keunggulan karena dapat
melakukan analisis secara simultan dan terintegrasi antara kriteria-kriteria, baik yang kualitatif dan kuantitatif.
Pada dasarnya langkah-langakah dalam metode AHP meliputi:
a. Mendefinisikan struktur hirarki masalah
Permasalahan didekomposisi ke dalam bentuk pohon hirarki yang menunjukkan hubungan antara
permasalahan, kriteria, dan alternatif solusi.
b. Melakukan pembobotan kriteria pada setiap tingkat hirarki
Pada tahapan ini, seluruh kriteria yang berada pada setiap tingkat hirarki diberikan penilaian kepentingan
relatif antara satu kriteria dengan kriteria lainnya. Penilaian tersebut dapat menggunakan standar
pembobotan Saaty dengan skala berkisar dari 1 hingga 9 dan kebalikannya. Skala yang digunakan dapat
diubah dengan nilai lain sesuai dengan kondisi kasus yang diselesaikan. Keterangan mengenai skala yang
digunakan Saaty dapat dapat dilihat pada Tabel 1.
 Tabel 1 Penilaian kepentingan relatif Kriteria menggunakan skala Saaty

Skala aij Keterangan

1 Kedua kriteria sama penting
3 Kriteria i agak (weakly) lebih penting dari kriteria j
5 Kriteria i cukup (strongly) penting dari kriteria j
7 Kriteria i sangat (very strongly) penting dari kriteria j
9 Kriteria i memiliki kepentingan yang ekstrim (absolutely) dari kriteria
j
2, 4, 6, 8 Kriteria i dan j memiliki nilai tengah diantara dua nilai keputusan
yang berdekatan
berbalikan Kriteria i mempunyai nilai kepentingan yang lebih dari kriteria j,
( ai,j = 1/ai,j) maka kriteria j memiliki nilai berbailkan

Berdasarkan nilai-nilai kriteria tersebut dapat disusun sebuah matriks pairwise comparison A sebagai
berikut:

𝑎1,1 𝑎1,2 𝑎1,3 ⋯ 𝑎1,𝑗

𝑎2,1 𝑎2,2 𝑎2,3 ⋯ 𝑎2,𝑗
𝐴 = 𝑎3,1 𝑎3,2 𝑎3,3 ⋯ 𝑎3,𝑗 (1)
⋮ ⋮ ⋮ ⋮ ⋮
𝑎𝑖,1 𝑎𝑖,2 𝑎𝑖,3 ⋯ 𝑎𝑖,𝑗

Ai,,j menyatakan elemen matriks A baris ke- i kolom ke- j .

c. Menghitung pembobotan kriteria dan konsistensi pembobotan

Tahapan ini menghitung prioritas pembobotan dengan mencari nilai eigenvector dari matriks A melalui
proses sebagai berikut :
 Kuadratkan matriks A. Nilai elemen matriks A2 ditentukan dengan menggunakan rumus berikut:
𝑛

𝑎𝑖,𝑗2 = 𝑎𝑖,𝑘 . 𝑎𝑘 ,𝑗 (2)

𝑘=1

ai,k menyatakan elemen matriks A baris ke- i kolom ke- k dan ak,j menyatakan elemen matriks A
baris ke-k kolom ke-j.
 Jumlahkan elemen setiap baris matriks A2 sehingga diperoleh suatu matriks B dengan menggunakan
rumus berikut:
𝑛

𝑏𝑖 = 𝑎𝑖,𝑗 = 𝑎𝑖,𝑖 + 𝑎𝑖,2 + 𝑎𝑖,3 + ⋯ + 𝑎𝑖,𝑗 (3)

𝑗 =1

bi menyatakan elemen matriks B baris ke-i. Matriks B disusun menggunakan elemen b i seperti berikut
ini:

𝑏1
𝑏2
𝑏3
𝐵= ⋯ (4)
⋯
⋯
𝑏𝑖

Jumlahkan seluruh elemen matriks B menggunakan rumus berikut :

𝑛

𝑏𝑖 = 𝑏1 + 𝑏2 + 𝑏3 + ⋯ + 𝑏𝑖 (5)
𝑖=1
  Dari matriks B yang telah diperoleh pada langkah b di atas, selanjutnya dilakukan normalisasi
terhadap matriks B untuk memperoleh nilai eigenvector dari matriks B tersebut. Nilai eigenvector
dari matriks B ini digambarkan dalam bentuk matriks E sebagai berikut :
𝑛
𝑒1 = 𝑏1 / 𝑖=1 𝑏𝑖
𝑛
𝑒2 = 𝑏2 / 𝑖=1 𝑏𝑖
𝐸= (6)
⋮
𝑛
𝑒𝑖 = 𝑏𝑖 / 𝑖=1 𝑏𝑖

ei menyatakan elemen matriks E baris ke-i

 Ketiga proses di atas dilakukan berulang-ulang dan pada setiap akhir iterasi dicari selisih nilai
eigenvector matriks E yang diperoleh dengan nilai eigenvector matriks E sebelumnya sampai
diperoleh angka yang mendekati nol. Matriks E yang diperoleh pada langkah terakhir menunjukkan
prioritas kriteria yang ditunjukkan oleh koefisien nilai eigenvector.

d. Menghitung pembobotan alternatif

Pada tahapan ini dilakukan pembobotan alternatif untuk setiap kriteria dalam matriks pairwise
comparison. Proses untuk melakukan pembobotan alternatif ini sama dengan proses yang dilakukan
untuk menghitung pembobotan kriteria.

e. Menampilkan urutan alternatif yang dipertimbangkan dan memilih alternatif

Tahapan ini menghitung nilai eigenvector yang diperoleh pada pembobotan alternatif untuk setiap
kriteria dengan nilai eigenvector yang diperoleh pada pembobotan kriteria. Hal ini dilakukan untuk
menentukan pilihan dari alternatif yang tersedia

f. Mengulang langkah c, d dan e untuk seluruh tingkat hirarki.

g. Menghitung eigen vector dari setiap matriks perbandingan berpasangan.

Nilai vektor eigen merupakan bobot setiap elemen. Langkah ini untuk mensintesis prioritas elemen-
elemen pada tingkat hirarki terendah sampai pencapaian tujuan.

h. Memeriksa konsistensi hirarki. Jika nilainya lebih dari 10 persen maka penilaian data judgement harus
diperbaiki.

2.2. Technique for Order Preference by Similarity to Ideal Solution (TOPSIS)

Technique for Order Preference by Similarity to Ideal Solution (TOPSIS) didasarkan pada konsep dimana
alternatif terpilih yang terbaik tidak hanya memiliki jarak terpendek dari solusi ideal positif, namun juga
memiliki jarak terpanjang dari solusi ideal negatif [11]. Secara umum, prosedur TOPSIS mengikuti langkah-
langkah sebagai berikut:
a. Menghitung nilai normalisasi
TOPSIS membutuhkan rating kinerja setiap alternatif Ai pada setiap kriteria Cj yang ternormalisasi,
yaitu:
xij
rij  (7)
m

x
i 1
2
ij

Keterangan simbol :
rij adalah nilai normalisasi dari tiap alternatif( i) terhadap kriteria (j) dengan i=1,2,...,m; dan j = 1,2,...,n.
xij adalah nilai dari suatu alternatif (i) terhadap kriteria (j) dengan i=1,2,...,m; dan j = 1,2,...,n.

b. Menghitung nilai normalisasi terbobot

Setelah menghitung nilai normaliasi, tahap selanjutnya adalah menghitung nilai normalisasi terbobot
dengan mengalikan nilai pada tiap alternatif di matriks rnormaliasi dengan bobot yang diberikan decision
maker. Persamaan yang digunakan adalah:
yij  wi rij (8)

Keterangan simbol :
- yij adalah nilai normalisasi terbobot.
- wi adalah bobot masing-masing kriteria.
 - rij adalah nilai normalisasi masing-masing alternatif dimana i=1,2,...,m; dan j = 1,2,...,n.

c. Mengidentifikasi solusi ideal positif dan solusi ideal negatif.

Solusi ideal positif dan solusi ideal negatif dapat dihitung berdasarkan nilai normalisasi terbobot
sebagai:

A  y1 , y2 , , yn ;  (9)

 
dengan
A  y1 , y2 ,, yn ; (10)
max yij ; jika j adalah atribut keuntungan
 i
y 
j (11)
min yij ; jika j adalah atribut biaya
 i

j = 1,2,..,n.
min yij ; jika j adalah atribut keuntungan
 i
y 
j (12)
max yij ; jika j adalah atribut biaya
 i
Keterangan simbol:
 Solusi ideal positif (A+) diperoleh dengan mencari nilai maksimal dari nilai normalisasi
terbobot (yij) jika atributnya adalah atribut keuntungan dan mencari nilai minimal dari nilai
normalisasi terbobot (yij) jika atributnya adalah atribut biaya.
 Solusi ideal negatif (A-) diperoleh dengan mencari nilai minimal dari nilai normalisasi terbobot
(yij) jika atributnya adalah atribut keuntungan dan mencari nilai maksimal dari nilai normalisasi
terbobot (yij) jika atributnya adalah atribut biaya.

d. Menghitung jarak antara setiap alternatif dengan solusi ideal positif dan solusi ideal negatif.
Jarak antara alternatif Ai dengan solusi ideal positif dirumuskan sebagai:

i = 1,2,...,m. (13)
 y 
n
2
Di  
i  yij ;
j 1

Jarak antara alternatif Ai dengan solusi ideal negatif dirumuskan sebagai:

 y 
n
2 i = 1,2,...,m. (14)
Di  ij  yi ;
j 1

Keterangan simbol:
 Jarak antara alternatif Ai dengan solusi ideal positif (yj+) yang dinyatakan dengan simbol Di+
diperoleh dari nilai akar dari jumlah nilai tiap alternatif yang diperoleh dengan nilai normalisasi
terbobot untuk setiap alternatif (yij) di kurangi solusi ideal positif (yi+) kemudian di pangkat
dua.
 Jarak antara alternatif Ai dengan solusi ideal negatif (yj -) yang dinyatakan dengan simbol Di-
diperoleh dari nilai akar dari jumlah nilai tiap alternatif yang diperoleh dengan nilai
ternormalisasi terbobot untuk setiap alternatif (yij) di kurangi solusi ideal negatif (yj -)
kemudian di pangkat dua.

e. Menentukan nilai kedekatan setiap alternatif terhadap solusi ideal (preferensi).

Nilai preferensi untuk setiap alternatif (Vi) diberikan sebagai:
Di
Vi  ; (15)
Di  Di

Keterangan simbol :
 Vi (nilai preferensi untuk setiap alternatif) diperoleh dari nilai jarak antara alternatif Ai dengan
solusi ideal negatif (Di-) dibagi dengan jumlah nilai jarak antara alternatif Ai dengan solusi
 ideal negatif (Di-) ditambah jumlah nilai jarak antara alternatif Ai dengan solusi ideal negatif
(Di+).
 Nilai Vi yang lebih besar menunjukkan bahwa alternatif Ai lebih dipilih.

2.3. Copeland Score

Salah satu masalah dalam GDSS yang sering dihadapi adalah bagaimana mengagregasikan opini-opini dari
para pengambil keputusan untuk menghasilkan suatu keputusan yang tepat. Metode-metode dalam pengambilan
keputusan secara kelompok (terutama yang terkait dengan MCDM) biasanya akan mengalami kendala ketika
setiap pengambil keputusan memberikan preferensinya secara individual [12]. Secara umum, ada dua tahap
yang harus dilakukan dalam GDSS, yaitu membangkitkan preferensi pengambil keputusan secara terpisah dan
melakukan agregasi kelompok terhadap setiap preferensi yang diberikan.
Salah satu sarana (tools) yang digunakan dalam agregasi pengambilan keputusan berdasarkan group adalah
voting. Voting merupakan tindakan untuk memilih nilai yang paling banyak muncul dari alternatif-alternatif
yang telah dipilih [13].
Copeland score merupakan salah satu metode voting yang tekniknya berdasarkan pengurangan frekwensi
kemenangan dengan frekwensi kekalahan dari perbandingan berpasangan [13]. Pada penelitian yang lain [14],
dijelaskan bagaimana metode voting copeland score mengakomodasi bobot decision maker berdasarkan tingkat
keahliannya. Contoh penentuan perbandingan berpasangan pada metode Copeland score dapat dilihat pada
Gambar 1.

Population Preferences Contest Winner Alternative Copeland Score

45 % adbc a vs b b a 2–1=1
40 % badc a vs c a b 3–0=3*
15 % cbad a vs d a c 0 – 3 = -3
b vs c b d 1 – 2 = -1
Preference profiles b vs d b
c vs d d Voting Result

Pair-wise contest

Gambar 1. Penentuan perbandingan berpasangan pada metode Copeland Score

Berdasarkan Gambar 1. ditampilkan tiga buah tabel yaitu Tabel preference profiles, Tabel pair-wise
contest, dan Tabel voting results. Tabel preference profiles memperlihatkan bahwa terdapat empat pilihan yaitu
a, b, c, dan d. Sebanyak 45% dari populasi lebih menyukai a dari pada d, b, dan c ( lihat baris pertama pada
Tabel preference profile). Tabel pair wise contests menunjukkan bahwa satu pilihan (misalkan a) dibandingkan
dengan keseluruhan pilihan (b, c, d). Perbandingan berpasangan ini dikerjakan secara satu per satu dan
dikenakan kepada keseluruhan peserta pilihan.
Pada baris pertama diantara perbandingan berpasangan a terhadap b (lihat pada Tabel preference profile)
45% dari populasi lebih menyukai a dibandingkan b, sedangkan pada baris kedua, 40% dari populasi lebih
menyukai b dibandingkan a, sementara pada baris ketiga, 15% dari populasi lebih menyukai b dibandingkan a.
Artinya ada 45% dari populasi yang lebih menyukai a dibandingkan b, sementara ada 55% (tambahkan jumlah
populasi yang lebih menyukai b) yang lebih menyukai b dibandingkan a. Maka, b terpilih sebagai winner dari
perbandingan berpasangan a terhadap b. Perbandingan juga dilakukan terhadap kandidat lain, sebagaimana
dijelaskan seperti diatas.
Tabel pair wise contests memperlihatkan bahwa sebagai winner, pilihan a tampil sebanyak 2x (dua kali). Pilihan
b tampil sebanyak 3x (tiga kali). Pilihan d tampil sebanyak 1 x (satu kali), sedangkan untuk pilihan c tidak
tampil.
Berdasarkan tabel pair wise contests maka dapat dilihat pilihan a memiliki kemenangan sebanyak 2x
(dua kali) terhadap c dan d, dan kekalahan 1x (satu kali) terhadap b. Untuk menentukan apakah pilihan a
menjadi pilihan terbaik atau tidak, maka dilakukan operasi pengurangan antara frekwensi kemenangan dengan
frekwensi kekalahan. Tabel voting results memperlihatkan bahwa pilihan b memiliki frekwensi terbanyak.
Berdasarkan frekwensi tersebut, maka alternatif b terpilih sebagai pemenang voting.

3. RESEARCH METHOD
3.1 Pengelompokkan Jenis Proyek ICT
Proyek-proyek di instansi pemerintah daerah yang termasuk Proyek ICT adalah sebagai berikut [15]:
a. Pembangunan/Pengembangan Perangkat Lunak
b. Pengadaan/Pemeliharaan Perangkat Keras
 c. Pembangunan/Pemeliharaan Jaringan
d. Pembelian/Sewa Bandwith
e. Pendidikan/Pelatihan Staff TIK

3.2 Metode GDSS yang Digunakan

Evaluasi Proyek ICT yang dirancang, merupakan model pengambilan keputusan multikriteria (MCDM)
dengan menggunakan metode-metode dalam Multi Attribute Decision Making (MADM). Penetapan
alternatif terbaik dari sejumlah alternatif berdasarkan beberapa kriteria yang ditentukan. Kriteria scoring
evaluasi proyek ICT yang digunakan merupakan hasil kompilasi dari konsep manajemen proyek secara
umum [16], ISO/IEC 15939 tentang bagaimana mengukur software [17] dan benchmark yang dapat
digunakan dalam pengukuran kinerja komputer [18]
Tabel 2 menjelaskan Decision Maker beserta Parameter dan Kriteria-kriteria yang digunakan dalam
evaluasi proyek ICT.

Tabel 2. Kriteria Evaluasi Proyek ICT

Parameter Output
Kriteria Decision Maker
1 Jadwal Proyek (C1)
2 Biaya Proyek (C2) Satuan Pemilik Proses Bisnis (DM1)
3 Ruang Lingkup Proyek (C3)
4 Risiko Proyek (C4) Satuan Kerja Pengelola TIK (DM2)
5 Performa Proyek (C5)

Parameter Outcome
Kriteria Decision Maker
6 Efektifitas Proyek (C6) Eksekutif Institusi pemerintahan (DM3) dan
7 Kepuasan Pengguna Proyek (C7) Masyarakat yang diwakili oleh DPRD (DM4)

Evaluasi proyek-proyek ICT di instansi pemerintah memerlukan penilaian dari Eksekutif Institusi
pemerintahan, Satuan Kerja Pengelola TIK, Satuan Pemilik Proses Bisnis, dan Masyarakat. Para pemangku
kepentingan pengelola TIK sebagai kelompok pengambil keputusan memiliki kriteria penilaian berdasarkan
indikator kinerja sesuai tugas dan fungsinya. Dalam pemberian penilaian kinerja akan digunakan kriteria-
kriteria kualitatif dan kuantitatif, pada kriteria yang bersifat kualitatif akan digunakan variabel linguistik.
Variabel linguistik adalah sebuah variabel dimana nilainya berupa kata-kata atau kalimat dalam bahasa alami
atau buatan [19].
Kemudian, untuk membuat kesimpulan hasil capain Proyek ICT, digunakan skala pengukuran kinerja
berdasar kriteria yang ada. Skala pengukuran dibuat berdasarkan pertimbangan masing-masing decision
maker. Tabel 3 merupakan skala pemberian bobot penilaian yang digunakan.

Tabel 3. Bobot penilaian kinerja kriteria

Score Penilaian Persentase
5 Sangat baik Sangat Besar Diabaikan 90 s/d 100
4 Cukup baik Cukup Besar Minor 80 s/d 89,99
3 Baik Besar Moderate 60 s/d 79,99
2 Kurang baik Kurang Besar Serius 40 s/d 59,99
1 Tidak baik Tidak Besar Kritis < 39,99

3.3 Scoring terhadap masing-masing kriteria adalah sebagai berikut :

 Jadwal Proyek
Berdasarkan kriteria ketepatan waktu terhadap jadwal proyek, persentase antara rencana dan aktual
waktu proyek [20].
Formula:
[1 – ABS (ALT – PLT) / PLT] x 100% (16)
ALT = Actual Finish Date – Actual Start Date
PLT = Planned Finish Date - Planned Start Date
  Biaya Proyek
Kemampuan untuk memberikan ruang lingkup tugas yang disepakati menyangkut biaya, jam kerja,
laboratorium dan biaya perjalanan. Berdasarkan Persentase antara committed (baseline) dan biaya
expected (actual + forecast) [20].
Formula:
[1 – (ECost – CCost) / CCost] x 100% (17)
Expecteed Cost (Ecost) = actual + forecast
Commited Cost (Ccost)

 Ruang Lingkup Proyek

Pada kategori kriteria ini scoring menggunakan variabel linguistik: Sangat Besar, Cukup Besar, Besar,
Kurang Besar, Tidak Besar

 Risiko Proyek
Merupakan dampak risiko yang ditimbulkan, yang didefinisikan sebagai berikut [20]:
 Kritis: Jika risiko ini terjadi proyek akan gagal. Persyaratan minimum proyek tidak akan terpenuhi.
 Serius: Jika risiko ini terjaid, proyek akan mengalami peningkatan biaya/jadwal. Persyaratan
minimum proyek yang dapat diterima terpenuhi. Persyaratan sekunder tidak dapat dipenuhi.
 Moderate: Jika risiko ini terjadi, proyek akan menghadapi peningkatan biaya/jadwal. Persyaratan
minimum proyek yang dapat diterima terpenuhi. Beberapa persyaratan sekunder tidak dapat
dipenuhi.
 Minor: : Jika risiko ini terjadi, proyek akan mengalami peningkatan biaya/jadwal sedikit.
Persyaratan minimum yang dapat diterima terpenuhi. Sebagian persyaratan sekunder akan dipenuhi.
 Diabaikan: Jika risiko ini terjadi, tidak akan berpengaruh pada proyek. Semua persyaratan akan
dipenuhi.

 Performa Proyek, Efektifitas Proyek dan Kepuasan Pengguna Proyek

Pada kategori kriteria ini scoring menggunakan variabel linguistik: Sangat Baik, Cukup Baik, Baik,
Kurang Baik, Tidak Baik

Masing-masing memiliki kriteria memiliki penilaian kinerja yang dinyatakan dalam skala pengukuran.

3.4 Hybrid Metode AHP, TOPSIS dan Copeland Score

a. Melakukan pembobotan kriteria (AHP)
b. Menghitung nilai normalisasi (TOPSIS)
xij
rij 
m

x
i 1
2
ij

c. Menghitung nilai normalisasi terbobot (AHP-TOPSIS )

yij  wi rij (18)
Keterangan simbol :
- yij adalah nilai normalisasi terbobot.
- wi adalah bobot masing-masing kriteria (didapat dari pembobotan AHP)
- rij adalah nilai normalisasi masing-masing alternatif dimana i=1,2,...,m; dan j = 1,2,...,n
d. Mengidentifikasi solusi ideal positif dan solusi ideal negatif (TOPSIS).
e. Menghitung jarak antara setiap alternatif dengan solusi ideal positif dan solusi ideal negatif (TOPSIS).
f. Menentukan nilai kedekatan setiap alternatif terhadap solusi ideal (preferensi) (TOPSIS).
g. Mengulang langkah a sampai f untuk setiapa Decion Maker
h. Perangkingan seluruh DM (TOPSIS-Copeland Score)

4. RESULT AND ANALYSIS

Pada bagian ini akan dicontohkan implementasi model evaluasi proyek ICT. Data sampel yang
digunakan berasal dari sepuluh proyek ICT pemerintahan daerah yang telah selesai. Dalam model GDSS ini
terdapat empat decison makers (DM1,DM2, DM3, DM4), tujuh kriteria (C1, C2, C3, C4, C5, C6,C7) yang akan
dinilai dan sepuluh alternatif proyek ICT (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10) yang akan di evaluasi.
 DM1 mengevaluasi setiap alternatif dengan tiga kriteria C={C1, C2, C3), DM2 mengevaluasi setiap
alternatif dengan dua kriteria C={C4, C5}, DM3 dan DM 4 mengevaluasi setiap alternatif dengan dua kriteria
C={C6, C7}.

a. Melakukan pembobotan kriteria (AHP)

Langkah pertama, membuat matriks perbandingan berpasangan kriteria untuk DM1, yang dilanjutkan
dengan pembobotan kriteria. Kemudian melakukan penjumlahan nilai a ij pada setiap kolom matriks
perbandingan berpasangan seperti terlihat pada Tabel 4.

Tabel 4. Matrik Pairwise Kriteria DM1

C1 C2 C3
C1 1 0.5 0.3
C2 2 1 0.5
C3 3 2 1
6 3.5 1.8

Kemudian setelah dilakukan normalisasi, terlihat pada Tabel 5.

Tabel 5. Bobot Kriteria Ternormalisasi

C1 C2 C3 Rata-rata
C1 0.1667 0.1429 0.1818 0.1638 W1
C2 0.3333 0.2857 0.2727 0.2973 W2
C3 0.5000 0.5714 0.5455 0.5390 W3
1.0000 1.0000 1.0000 1.0000

b. Menghitung nilai normalisasi (TOPSIS)

Berdasarkan data hasil evaluasi penilaian DM1 terhadap kriteria setiap alternatif proyek ICT, didapat
data hasil penilaian seperti pada Tabel 6.

Tabel 6. Scoring DM1

C1 C2 C3
P1 4 4 5
P2 3 3 4
P3 5 4 2
P4 4 4 5
P5 3 3 4
P6 5 4 2
P7 4 4 5
P8 3 3 4
P9 5 4 2
P10 4 4 5
12.8841 11.7898 12.6491

Tabel 7. Scoring Ternormaliasi DM1 (Matrix R)

0.3105 0.3393 0.3953
R 0.2328 0.2545 0.3162
0.3881 0.3393 0.1581
 0.3105 0.3393 0.3953
0.2328 0.2545 0.3162
0.3881 0.3393 0.1581
0.3105 0.3393 0.3953
0.2328 0.2545 0.3162
0.3881 0.3393 0.1581
0.3881 0.3393 0.1581

c. Menghitung nilai normalisasi terbobot (AHP-TOPSIS )

Scoring bobot ternormalisasi DM1/Matrix Y pada Tabel 8, dihasilkan dari perkalian Bobot
ternormaliasasi masing-masing kriteria pada Tabel 7 dengan Scoring ternormalisasi DM1/Matrix R pada
Tabel 6.

Tabel 8. Matrix (Y) DM1

0.0508 0.1009 0.2130
0.0381 0.0756 0.1704
0.0636 0.1009 0.0852
0.0508 0.1009 0.2130
0.0381 0.0756 0.1704
Y
0.0636 0.1009 0.0852
0.0508 0.1009 0.2130
0.0381 0.0756 0.1704
0.0636 0.1009 0.0852
0.0636 0.1009 0.0852

d. Mengidentifikasi solusi ideal positif dan solusi ideal negatif (TOPSIS).

A+ 0.0636 0.1009 0.2130

A- 0.0381 0.0756 0.0852

e. Menghitung jarak antara setiap alternatif dengan solusi ideal positif dan solusi ideal negatif (TOPSIS).
D+1 0.012712 D-1 0.130907
D+2 0.110520 D-2 0.085217
D+3 0.043126 D-3 0.035806
D+4 0.110088 D-4 0.120157
D+5 0.154066 D-5 0.132746
D+6 0.035516 D-6 0.000000
D+7 0.110088 D-7 0.120157
D+8 0.103272 D-8 0.116746
D+9 0.101414 D-9 0.134992
D+10 0.092180 D-10 0.114053

f. Menentukan nilai kedekatan setiap alternatif terhadap solusi ideal (preferensi) (TOPSIS).
P1 0.911489 P1 0.911489 Pemenang
P2 0.435366 P9 0.571017
P3 0.453630 P10 0.553032
P4 0.521865 P8 0.530622
P5 0.462834 P4 0.521865
P6 0.000000 P7 0.521865
P7 0.521865 P5 0.462834
 P8 0.530622 P3 0.453630
P9 0.571017 P2 0.435366
P10 0.553032 P6 0.000000

g. Mengulang langkah a sampai langkah f untuk setiap Decion Maker

Setelah dilakukan proses scoring oleh masing-masing DM (DM1, DM2, DM3 dan DM4), didapatkan hasil
rangking proyek seperti pada Tabel 6.

Tabel 9. Rangking seluruh DM

Ranking DM DM2 DM3 DM4
1(Pemenang) P1 0.911489 P3 0.614761 P1 0.789999 P1 0.777171
2 P9 0.571017 P10 0.614761 P3 0.707060 P3 0.532960
3 P10 0.553032 P4 0.597624 P4 0.707060 P5 0.532960
4 P8 0.530622 P7 0.597624 P10 0.707060 P10 0.532960
5 P4 0.521865 P2 0.573689 P6 0.675952 P6 0.524957
6 P7 0.521865 P6 0.569533 P9 0.675952 P7 0.524957
7 P5 0.462834 P9 0.569533 P2 0.594851 P9 0.524957
8 P3 0.453630 P8 0.553453 P7 0.594851 P2 0.522668
9 P2 0.435366 P5 0.541074 P8 0.585358 P4 0.522668
10 P6 0.000000 P1 0.453388 P5 0.572409 P8 0.522668

h. Rangking hasil evaluasi proyek dari seluruh DM (TOPSIS-Copeland Score)

Tahapan voting results proyek ICT terbaik melalui tahapan sebagi berikut:
 Preferences Profile
Preference profile pada Tabel 10, memperlihatkan bahwa terdapat sepuluh alternatif proyek ICT (P1, P2,
P3, P4, P5, P6, P7, P8, P9, P10). Setia Decision Maker dalam pengambilan keputusan memiliki bobot
yang telah ditetapkan berdasar keahlian dan kompetensinya. Bobot untuk DM1 sebesar 0.1, DM2 sebesar
0.4, DM3 sebesar, dan DM4 sebesar 0.2.
 Melakukan pair-wise contest
Pair-wise contest merupakan proses perbandingan berpasangan yang membandingkan satu kandidat
(alternatif) terhadap kandidat lainnya, pair-wise contest dilakukan dengan cara:
- Menampilkan contest alternatif secara berpasangan. Sebagai contoh P1 dibandingkan dengan P2, P1
dengan P3, dan selanjutnya berturut-urut dengan P4, P5, P6, P7, P8, P9,P10. Selanjutnya P2 vs P3,
P2vs P4, …, P2 vs P10. Dan seterusnya erbandingan berpasangan dilakukan satu persatu dan
dikenakan kepada keseluruhan pilihan, sampai P9 vs p10.
- Mencari pemenang (winner) dari perbandingan (contest) terhadap masing-masing pasangan alternatif.
Sebagai contoh, contest perbandingan berpasangan P1 dan P2 (lihat tabel 11), winner nya adalah P1.
Diperoleh karena pada DM1 ranking P1 diurutan 1, sementara P2 diurutan 9 sehingga pemenang pada
DM1 adalah P1. Pada DM2, ranking P1 diurutan 10, sementara P2 diurutan 6, sehingga pemenang
pada DM2 adalah P2. Pada DM3, ranking P1 diurutan 2, sementara P2 diurutan 7, sehingga
pemenang pada DM3 adalah P1. Terakhir, pada DM4 ranking P1 diurutan 1, sementara P2 di urutan
8, sehingga pemenang pada DM4 adalah P1. Hal ini menunjukan bahawa P1 tiga kali lebih tinggi
peringkatnya dibandingan P2, dengan memperhitungkan bobot setiap DM diperoleh hasil untuk P1
sebesar 0.1+0.3+0.2=0.6, dan P2 sebesar 0.4. Maka pemenangnya adalah P1.
 Tabel 10. Preferences Profile
Preferences ( Rangking)
Weight
1 2 3 4 5 6 7 8 9 10
DM1 (0.1) P1 P9 P10 P8 P4 P7 P5 P3 P2 P6
DM2 (0.4) P3 P10 P4 P7 P2 P6 P9 P8 P5 P1
DM3 (0.3) P1 P3 P4 P10 P6 P9 P2 P7 P8 P5
DM4 (0.2) P1 P3 P5 P10 P6 P7 P9 P2 P4 P8

Tabel 11. Pairwise Contest

Contest Winner
P1 VS P2 P1
(01+0.3+0.2) (0.4)
P1 VS P3 P1
(01+0.3+0.2) (0.4)
P1 VS P4 P1
(01+0.3+0.2) (0.4)
. . . .
. . . .
. . . .
P1 VS P10
(01+0.3+0.2) (0.4) P1

 Menghitung voting results

Voting results memperlihatkan hasil voting (score) dari masing-masing kandidat setelah dilakukan pair-
wise contest, dengan cara:
- Menghitung frekwensi kemenangan dari kandidat (alternatif) yang telah dibandingakan pada pair-
wise contest.
- Menghitung frekwensi kekalahan dari kandidat (alternatif) yang telah dibandingakan pada pair-wise
contest.
- Mencari selisih antara frekwensi kemenangan dan frekwensi kekalahan masing-masing kandidat
(alternatif) yang dibandingkan.
- Menampilkan hasil selisih frekwensi kemenangan dan frekwensi kekalahan masing-masing kandidat
(alternatif) yang dibandingkan sebagai score dari masing – masing kandidat.

Hasil voting ditampilkan secara berurutan sesuai ranking dari perolehan score frekwensi kemenangan
yang tertinggi sampai yang terendah dari keempat DM, yang dapat dilihat pada Tabel 12.

Tabel 12. Voting Result

Alternatif Win Loss W-L

Proyek 1 9 0 9
Proyek 3 8 1 7
Proyek 10 7 2 5
Proyek 4 6 3 3
Proyek 7 5 4 1
Proyek 6 4 5 -1
Proyek 9 3 6 -3
Proyek 2 2 7 -5
Proyek 8 1 8 -7
Proyek 5 0 9 -9

CONCLUTION
Dalam paper ini ditawarkan metode hybrid dalam MCDM untuk mengevaluasi Proyek ICT di instansi
pemerintah daerah di Indonesia berdasarkan konsep Group Decession Support System (GDSS).
Konsep GDSS dapat mengatasi inkonsistensi yang mungkin terjadi dalam pengambilan keputusan,
karena dengan GDSS keputusan diambil berdasarkan model perhitungan yang bersifat matematis. Konstribusi
para pembuat keputusan dalam model tersebut berupa preferensi untuk memilih alternatif-alternatif dari Proyek
 ICT berdasar kriteria-kriteria yang ditentukan, dengan menggunakan hybrid metode AHP, TOPSIS dan
Copeland Score. Dari contoh implementasi dihasilkan rangking proyek terbaik dari hasil penilaian seluruh DM
adalah Proyek 1, Proyek 3 dan 10 yang memiliki kinerja yang sama, sementara Proyek 5 memiliki kinerja
terburuk.
Penelitian kami selanjutnya akan difokuskan pembangunan protoype berbasis web sebagai bentuk
implementasi model yang diusulkan. Prototype yang dibuat merupakan salah satu usaha sebagai jawaban atas
permasalahan dalam evaluasi kinerja Proyek ICT di instansi pemerintah daerah.

DAFTAR PUSTAKA
[1] T. Bakshi, A. Sinharay, and B. Sarkar, “Exploratory Analysis of Project Selection through MCDM,” in
ICOQM-10, 2011, pp. 128–133.
[2] G. Büyüközkan and D. Ruan, “Evaluation of software development projects using a fuzzy multi-criteria
decision approach,” Math. Comput. Simul., vol. 77, no. 5–6, pp. 464–475, May 2008.
[3] S. M. Kazemi, S. M. M. Kazemi, and M. Bahri, “Six Sigma project selections by using a Multi Criteria
Decision making approach: a Case study in Poly Acryl Corp.,” in Proceedings of the 41st International
Conference on Computers & Industrial Engineering, 2011, pp. 502–507.
[4] H. Ismaili, “Multi-Criteria Decision Support for Strategic Program Prioritization at Defence Research
and Development Canada,” University of Ottawa, 2013.
[5] M. Ishak, “Kebijkaan Pengukuran Kinerja Pemerintah Daerah,” INOVASI, vol. 6th, pp. 143–151, 2009.
[6] G. J. Victor, A. Panikar, and V. K. Kanhere, “E-government Projects – Importance of Post Completion
Audits,” in International Conference of e-government (ICEG), 2007, pp. 189–199.
[7] S. Kusumadewi, S. Hartati, A. Hardjoko, and R. Wardoyo, Fuzzy Multi Attribute Decision Making
(Fuzzy MADM), First. Jogyakarta: Graha Ilmu, 2006.
[8] H.-J. Zimmermann, Fuzzy Set Theory and Its Applications, Second Edi. Boston, MA: Kluwer Academic
Publishers, 1991.
[9] T. L. Saaty, The Analytic Hierarchy Process: Planning, Priority Setting, Resource Allocation. New
York, NY: McGraw-Hill, 1980.
[10] T. L. Saaty, Fundamentals of Decision Making and Priority Theory With the Analytic Hierarchy
Process. Pittsburgh: RWS Publications, 2000.
[11] C.-L. Hwang and K. Yoon, Multiple Attribute Decision Making : Methods and applications. New York:
Springer Berlin Heidelberg, 1981.
[12] S. K. Cheng, “Development of a Fuzzy Multi-Criteria Decision Support System for Municipal Solid
Waste Management .’ A Thesis,” University of Regina, 2000.
[13] B. Gavish and J. H. Gerdes, “Voting mechanisms and their implications in a GDSS environment,” Ann.
Oper. Res., vol. 71, pp. 41 – 74, 1997.
[14] Ermatita, S. Hartati, R. Wardoyo, and A. Harjoko, “Development of Copeland Score Methods for
Determine Group Decisions,” Int. J. Adv. Comput. Sci. Appl., vol. 4, no. 6, pp. 240–242, 2013.
[15] H. Setiawan, J. E. Istiyanto, R. Wardoyo, and P. Santoso, “The Use of KPI In Group Decision Support
Model of ICT Projects Performance Evaluation,” in International Conference on Electrical
Engineering, Computer Science and Informatics (EECSI 2015), 2015, no. August, pp. 19–20.
[16] PMI, A Guide to the Project Management Body of Knowledge - PMBOK Guide. 2013.
[17] ISO/IEC, Information technology — Software engineering — Software measurement process, no.
September. 2001.
[18] “Standard Performance Evaluation Corporation.” [Online]. Available: https://www.spec.org/.
[Accessed: 02-Jan-2016].
[19] L. A. Zadeh, “The Concept of Linguistic Variable and ITs Application to Aprroximate Reasoning-II,” in
Information Sciences, vol. 357, 1975, pp. 301–357.
[20] P. A. Engert and Z. F. Lansdowne, “Risk Matrix User ’ s Guide,” Bedford, Massachusetts, 1999.

View publication stats