M

E
A
S
U
R
E
M
E
N
T

The process of assigning numbers to

objects or observations
Quantification expressed in numbers
The process observing and recording
the observations that are
collected as part of a research
effort.

MEASUREMENT
OBJECTS

ABSTRACT
(INSUBSTANTIAL)
Abstract concepts
Qualitative measurement
Nonstandard measurement tools
ACCURACY: LESS CONFIDENCE

PHYSICAL
(SUBSTANTIAL)

PENGUKURAN
(MEASUREMENT)
PENGUKUR
INSTRUMEN

OBJEK

PROSES
Faktor2 yang mempengaruhi pengukuran

HASIL
PENGUKURAN

KRITERIA PENGUKURAN
YANG BAIK
Precise
Unambiguous

TESTS OF GOOD MEASUREMENT

I.

RELIABILITY

II. VALIDITY

Free from errors

Valid
Reliable
Practicable*

*Practicality (e.g., economy,

convenience, interpretability)

INSTRUMENT
(ALAT UKUR)
Tidak jarang peneliti terperosok ke
dalam availability bias hanya karena
memilih instrumen seadanya, atau
terperangkap (default) dengan
menggunakan instrumen yang biasa dipakai
di masa lalu.
Pemilihan instrumen yang buruk berarti
meningkatkan noise dan error
penelitian
Perlu dilakukan pencarian dan
evaluasi dengan seksama semua
instrumen yang direkomendasikan

FAKTOR2 YANG PERLU

DIPERTIMBANGKAN
(dalam memilih alat ukur/instrumen)
1. KOMPLEKSITAS INSTR.: (hindari)
(pilih instrumen yang
sederhana/
sesuai/cocok)
2. MATCH (cocok) antara tujuan
penelitian
dengan instrumen
3. SENSITIVITAS INSTR. (apakah instr.
dibuat berdasarkan atas apa yang ingin
diukur) (mis. besar/kecil perubahan)

4. SPESIFISITAS (makin besar spesifisitas

instr.
makin besar peluang prediksi
penampilan/hasil sebenarnya)
5. RELIABILITAS & VALIDITAS
(1). Apakah reliab. & valid. instr. yang
dipakai sudah mapan (dalam publikasi)
(2). Apakah sudah dipahami
kekuatan/kelebihan dan kelemahan
instr.
tsb?
6. ISYU2 ETIS (perhatikan
implikasi/dampak etis instr. yang dipakai)

 Series of items arranged

S
K
A
L
A
(SCALE)

according to value for the

purpose of quantification
A continuous spectrum
SCALE PROPERTIES
Uniquely classified
Preserves order
Equal intervals
Natural zero

SCALE

CATEGORIC

NOMINAL

CONTINUOUS

ORDINAL

INTERVAL

RATIO

DICHOTOMIC POLYTOMIC

MEASUREMENT AND FURTHER ANALYSIS ARE

DEPENDENT ON THE PROPERTY OF THE VARIABLE.
The levels of measurement (scale) can be classified as:
NOMINAL, ORDINAL, INTERVAL, RATIO

1. NOMINAL (name and count)

Data are numerical in name only

Scale assigns number symbols to events
in order to label them
Order is of no consequence
Restricted use:
- keeping track people/objects/events
- no statistical manipulation possible

2. ORDINAL
(RANK/ORDER)

Data that can allow setting up

unequalities and cannot do much
Scale places events in order
Intervals of the scale are not equal
More precise comparisons are not
possible
No absolute values

 Median

is appropriate measure
of central tendency
Percentile or quartile is used for
measuring dispersion
Rank order correlations are possible
Nonparametric tests
Used in qualitative research

INTERVAL

data which allows for forming

differences in addition to
setting up
inequalities
Scale that adjusts intervals in such a
way that a rule can be established as a
basis for making the units equal
No absolute zero or unique origin; only
an arbitrary zero can be had
No capacity to measure the
complete absence of a
trait/characteristic

 More

powerful than ordinal scale due

to the concept of equality of
interval
Mean is an appropriate measure
of central tendency
SD is widely used for dispersion
Product moment correlation is possible
t-test and F-test for significance

4. RATIO

Data allows forming quotients in addition to

setting inequalities and forming differences
Scale has an absolute or true zero and
represents the actual amounts of variables
The most precise scale; all mathematical
operations and statistical techniques can be
applied
(all manipulations that are possible with
real numbers can be carried out)
Geometric and harmonic means can be used
Coefficient of variation can be worked out

TESTS OF GOOD MEASUREMENTS

I.

RELIABILITY (consistency !)

II. VALIDITY (functional

relevancy: measure what
should be measured)

Reliability & validity: as separate ideas?

They are related to each other!

METAFORA HUBUNGAN ANTARA RELIABILITAS DAN VALIDITAS

TARGE
T

Pusat sasaran (center of the target) dianggap

sebagai konsep yang akan diukur.
Bayangkan bahwa untuk setiap orang yang diukur
anda menembak sasaran.
Jika mengukur konsep secara sempurna: semua
tembakan mengenai pusat sasaran
Makin jauh dari pusat sasaran
makin tidak sempurna

pengukuran

1. Mengenai sasaran secara konsisten (ajeg) dan

sistematik, tetapi tidak mengenai pusat:
pengukuran ini reliabel tetapi tidak valid
(konsisten tetapi salah)

2. Tembakan tersebar secara random di seluruh

sasaran, tetapi tidak/jarang mengenai pusat: anda
mendapatkan jawaban yang benar untuk kelompok
(tetapi tidak cukup baik untuk individu-individu)
Anda mendapatkan estimasi kelompok yang
valid tetapi tidak konsisten.
Menunjukkan: reliabilitas berhubungan
langsung dengan variabilitas pengukuran
3. Tembakan anda menyebar ke seluruh sasaran dan
secara konsisten tidak mengenai pusat: pengukuran
anda tidak reliable dan tidak valid
4. Robin Hood scenario: tembakan anda secara
konsisten mengenai pusat: pengukuran anda
reliabel dan valid

TUJUAN (GOAL) PROSES

PENGUKURAN:
To ensure that the values assigned to
variables are reliable and valid
RELIABILITY: ensures that the assignment
of values is consistent or reproducible
VALIDITY: ensures that the assignment of
values truly reflects the underlying
construct or concept

 MEASUREMENT

ERRORS
Reliabilitas dan validitas dipengaruhi
oleh measurement errors
Measurement Errors:
1. random/chance errors
2. nonrandom errors

 1.

Random/Chance Errors
- Occurs inconsistently
- Cause the measures to deviate
- Negatively affect the reliability of
the measurement (and are present in
every measurement process)
(The goal of a measurement process:
to minimize random errors, and
thereby
maximize the reliability)

2. NONRANDOM/SYSTEMATIC ERRORS
- Terjadi secara konsisten oleh definisi
pengukuran berdeviasi dari nilai
sebenarnya secara nonrandom
- Besar error sistematik dipengaruhi langsung
oleh validitas pengukuran
- Berhubungan terbalik dengan validitas :
high nonrandom error decreases the
validity of a measurement process

 The

factors that influence

reliability:
1. The individual (diurnal variation,
education level, biological variations)
2. The instrumentation (calibration,
misleading/mistakes in recording
responses)
3. Environment (temperature, pressure,
light, electrical fluctuations)

BIAS
Macam bias:
- bias info.: jika terjadi perbedaan info. secara
konsisten antarpartisipan (karena faktor2 yang
mendasarinya)(mis. test cases tend to provide
more info. than control cases that do not have
the disease
- bias recall: terjadi jika ada perbedaan
kemampuan me-recall info. (mengenai
pengalaman sebelumnya)(oleh subjek/pasien)
- bias interviewer: terjadi jika persepsi atau
perilaku inteviewer mempengaruhi respon

 Proses

pengukuran harus bisa

mengontrol systematic biases (mulai
koleksi data dan tahap2 desain
penelitian) untuk memperkuat validitas
(Mis. teknik blinding: dipakai untuk
menyembunyikan aspek prosedural
desain penelitian dari responden dan
interviewer untuk MINIMIZE THE BIAS)

RELIABILITAS (RELIABILITY)
The ability of an instrument to measure
consistently/repeatable the phenomenon it
is designed to measure (Seltitz dkk.)
Istilah lain RELIABILITY
I. DEPENDIBILITY/STABILITY/RELIABILITY
II. CONSISTANCY/PREDICTABILITY/ACCURACY
III. PRECISION

UJI RELIABILITAS:
untuk mengetahui sejauh mana instrumen memp . tingkat
konsistensi (keajegan) relatif tetap jika dilakukan pengukuran
berulang-ulang terhadap subjek/fenomena yang sama
(Dengan asumsi: apa yang sedang diukur tidak berubah)

DEFINISI RELIABILITAS
1.

3 PENDEKATAN
Jika kita mengukur himpunan objek yang sama
berulang-ulang dengan instrumen yang
sama/serupa/mirip didapatkan hasil yang sama
(STABILITAS/DEPENDIBILITAS/
PREDIKTABILITAS/dependibility)

Apakah ukuran yang diperoleh dari suatu

instrumen adalah ukuran yang sebenarnya untuk
ciri2 yang diukur (AKURASI/accuracy)
Seberapa besar error pengukuran yang terdapat
dalam instrumen (PRESISI/precision)
(makin kecil error
makin besar presisi)

2.

3.

In research: the term reliability means repeatability or

consistency.
Suatu pengukuran dianggap reliabel jika pengukuran berulangulang memberikan hasil yang sama
X1

X2

X: pengukuran
T + e: hasil
pengukuran

T+
e1

T + e2

T: nilai sebenarnya;
e: error

RELIABILITAS?
Reliabilitas: rasio nilai sebenarnya
dengan nilai pengukuran total
varian nilai sebenarnya
varian nilai pengukuran
var (T)
var (X)

Var=Varian: (SD)2

We cant compute reliability because we cant

calculate the variance of the true scores
We just can estimate
Estimate of reliability:
correlation between two observations
the same measure

of

var (T)
var (X)
0
var
(e)

Reliability = 1

Reliability = 0

Reliability: 0.5 ?
Reliability: 0.8 ?

var.: variance

TIPE-TIPE RELIABILITAS
1. INTER-RATER (inter-observer) RELIABILITY
Untuk menilai derajat reliabilitas antara penilai-penilai
(raters/observers) apakah memberikan estimat yang
konsisten terhadap fenomena yang sama
Objek/fenomena

Hasil penilaian observer 1

?
=

(Mean +/- sd)(1)

2. TEST-RETEST RELIABILITY

Hasil penilaian observer 2

(Mean +/- sd)(2)
Pengukuran (1)

?
=

Pengukuran (2)

Untuk menilai konsistensi pengukuran

dari satu ke waktu lain
(dengan instrumen yang sama)

Waktu 1
(1)

Waktu 2
(2)

3. PARALLEL-FORMS RELIABILITY
Untuk menilai konsistensi hasil-hasil dua
test yang
dibuat dengan cara yang sama dari ranah
isi
(content domain) yang sama
Form
A

(parallel
)

Form B
A

Time 1

Time 2

INTERNAL CONSISTENCY RELIABILITY

Dipakai satu instrumen yang diterapkan pada satu
kelompok orang pada satu kejadian untuk
mengestimasi reliabilitasnya

1. Average Inter-item Correlation

memakai semua items dalam instrumen yang didesain
mengukur konstruk (construct) yang sama:
mula-mula dihitung korelasi antar tiap pasangan item
(mis. ada 6 items

15 pasangan berbeda

rerata korelasi interitem: rerata semua korelasi tersebut.

Dalam contoh didapat rerata korelasi inter-item: 0,9
dengan korelasi2 individual 0,84 0,95

Average Inter-item Correlation

Item 1
I1

I2

I3

I4

I5

I6

Item 2
I1 1.00
Item 3
measur
e

Item 4
Item 5
Item 6

(item=pertanyaan)

I2

.89 1.00

I3

.91

.92

1.00

I4

.88

.93

.95

1.00

I5

.84

.86

.92

.85

1.00

I6

.88

.91

.95

.87

.85

1.00

Total .84 .88

1.00

.86

.87

.83

.82

0.85
(rerata)

2. Split-Half Reliability/Correlations*

* Jumlah item: genap

Secara random semua items dibagi menjadi dua set konstruk

(I dan II)
Dicatat pengukuran seluruh instrumen untuk sampel dan
dihitung skor total masing-masing parohan yang dibagi secara
random
Split-half reliability: korelasi antara kedua skor total
Item 1
Item 2
measure

Item 1 Item 3 Item 4

Item 3
Item 4
Item 5
Item 6

0.87 .
(r)
Item 2 Item 5 Item 6

II

ANALISIS RELIABILITAS
Menganalisis derajat kemampuan instrumen

CARA

I. PROSEDUR KONSISTENSI EKSTERNA

INDEKS HUBUNGAN (r)
II. PROSEDUR KONSISTENSI INTERNA
INDEKS HUBUNGAN (r)

r: koefisien korelasi

X1

PROSEDUR
KONSISTENSI
EKSTERNA

T + e1

X2
T + e2

DERAJAT RELIABILITAS
Hasil kumulatif pengukuran
1.
TEST- RETEST
Syarat: kondisi pengukuran stabil
t1
t2
Jika Xt1 = Xt2
Xt1- Xt2= 0
(derajat rel.: sempurna)
Xt1
Xt2
Praktis tidak pernah dicapai
t1, t2: saat pengukuran
Ada variance error
(Fluktuasi random dari satu ke
Xt1, Xt2: hasil pengukuran
pengukuran lain)
variance: (SD)2=
TRUE VARIANCE
2
COEFF. STABILITY =
S
X
OBSERVED VARIANCE
Sx 2 - Se 2
S t2
r xx :
=
(r xx : 0.0 - +1 atau -1)
Sx2
Sx2
X: the measure; T: true score; e: error

KELEBIHAN & KELEMAHAN

TEST-RETEST
KELEBIHAN
* Mudah
* Kesinambungan instrumen
* Var. luar lebih terkendali

* Self-comparable:
- Subjek
- Instrumen
KELEMAHAN

* Replikasi memori
* Maturasi
* Intervening var.
underestimate)

* Over/under estimate
Jarak waktu t1 t2:
- Singkat: r overestimate
- Panjang:
r

Kelemahan test-retest diatasi dengan test paralel

TEST PARALEL
(ALTERNATE - FORM METHOD)
INSTR

INSTR I

(paralel*)

Instrumen DIBAGI DUA

INSTR II

VARIABEL/
FENOMENA
SKOR II
rXX
(Coeff. equivalence)
Koef. Korel.
*Paralel: - Items/pertanyaan2 berbeda
- Mengukur var./fenomena yang sama
SKOR I

KELEBIHAN & KELEMAHAN

TEST PARALEL

KELEBIHAN
Dapat mengatasi kelemahan* metode
test-retest (* lihat depan)
KELEMAHAN
- Sulit membuat 2 instrumen paralel
- Sulit menentukan ekivalensi
(HATI2: dapat terjadi: 2 instr./test berkorelasi,
tetapi mengukur 2 fenomena berbeda)

PROSEDUR KONSISTENSI
INTERNA
(Disebut juga: ONE-SHOT TRIAL atau SINGLE TRIAL)
ITEMS DIANALISIS
POLA HUBUNGAN: KONSISTEN?
1.

SPLIT- HALF RELIABILITY: instrumen dibelah menjadi 2

(INSTR (ITEMS)*
SEPARUHII
SEPARUH
SEPARUH II
INSTR
INSTR
INSTR
SKOR I

(r

xx

SEPARUH II
INSTR
SKOR II

2 rxx
r xx = rXX: derajat reliabilitas seluruh instrumen
1 + rxx
r xx: derajat reliabilitas antarbelahan
* Instr (items) diterapkan dulu pada responden

PROSEDUR KONSIST. INT. (lanj.)

ASUMSI:
Person with particular trait will respond
predictably to items affected by those traits
SESEORANG MEMP. KUALITAS
SOSIAL/PSIKOLOGIS TERTENTU
MERESPON INSTR. SECARA
KONSISTEN
(Syarat: items instr. ditarik dari
universum yang sama)

SPLIT-HALF RELIABILITY

CARA
EKIVALENSI
(membelah)

1. GANJIL/GENAP
2. RANDOM
3. STATISTIS: Gutmann
Kuder- Richardson
4. ITEM ANALYSIS: pairing (berpasangan)*
(Dasar: - Derajat kesulitan
- Diskriminasi
- Isi (contents)

KELEBIHAN: - Practice effect: (-)

- Memory: (-)
- Rangsangan item: (-)
(Perubahan gejala/fenomena)
- Kondisi pengukuran: terkendali maksimal

Single trial yang banyak dipakai

TEKNIK SPEARMAN-BROWN
(Teknik belah dua)
SYARAT:
1. Belahan sebanding dalam:
Mean/variabilitas
SAMA
distribusi statistik
(sulit dipenuhi)
2. Jumlah items genap
3. Sifat instr.: homogen

II. ITEM DISCRIMINATION

ANALYSIS (IDA)
IDA
POWER

A. VISUAL
B. ANGKA DISCRIMINATING
C. UJI KEMAKNAAN

A. VISUAL
Item 1
1
6
2
5
3
6
4
6
5
2
6
6
7
6
8
5
9
5
10
6

2
1
1
2
1
5
2
1
1
1
1

Responden
3 4 5 6 7 8
3 2 5 1 6 4
2 1 5 1 6 4
2 1 5 2 6 4
3 1 4 2 6 4
6 4 2 4 2 2
1 1 5 2 6 4
2 2 6 2 5 4
3 3 5 2 5 4
3 1 5 2 6 4
2 1 5 1 6 4

9
1
1
1
1
5
1
2
3
1
3

10
4
4
5
4
2
3
5
5
6
6

11
1
1
2
2
4
2
1
2
2
2

12
6
6
5 Nilai (hasil pengukuran)
6
3
5 Item 5: tidak reliabel
6
4
5
4

IDA (lanj.)

B. DISCRIMINATING POWER

-Dianalisis item demi item

-Dibandingkan kuartil teratas dan terbawah
Respon kuartil teratas dan
terbawah untuk item 1
N1: 10
N2: 10
BANDINGKAN RERATA KUARTILTERATAS (Kuart. teratas) (Kuart. terbawah) KUARTIL TERBAWAH UNTUK SEMUA ITEM
6
1
CARI SELISIHNYA
5
3
4
2
Item Kuartil teratas Kuartil terbawah Selisih
5
3
(Rerata)
(Rerata)
4
4
1
5,1
2,4
+2,7
5
3
2
4,6
4,5
+0,1
6
4
3
3,3
3,3
0
6
1
4
5,5
3,1
+2,4
5
2
5
4,8
1,8
+3,0
5
1
6
3,9
4,1
-0,2
Juml. 51
24
7
5,0
4,0
+1
Mean1 : 5,1 Mean2 : 2,4
8
4,8
2,5
+2,3
9
4,9
2,8
+2,1
10
1,3
5,4
- 4,1

Perhatikan: item 3,6 dan 10

PENILAIAN RELIABILITAS
PENGUKURAN
1.

VARIABEL NUMERIK

a. STANDARD DEVIASI (SD)

COEFF. OF VARIANCE (CV)=SD/MEAN
CV
RELIABILITAS
Contoh: Instr. A: Mean = 134,7 SD=1,76
CV=1,76/134,7 = 0,013
Instr. B: Mean= 134,7
SD=2,71
CV=2,71/134,7=0,020 INSTR. A atau B LEBIH RELIABEL?
b. CONFIDENCE INTERVAL (CI)
CI

RELIABILITAS

PENILAIAN
RELIABILITAS PENGUKURAN (lanj.)
2. VAR. NOMINAL
NILAI KAPPA (K)
DERAJAT KESESUAIAN
NOMINAL DIKOTOMIS
(Pria/wanita, ya/tidak, sakit/sehat, normal/abnormal)
Contoh: 2 dokter (P dan Q) menilai USG 30 pend.
perdarahan intrakranial
Interpretasi: N (normal)/A (abnormal) ?
Tabel 2 x 2

16

10

14

13

17

30

NILAI KAPPA (lanj.)

Kesesuaian nyata: (9+10)/30=63,3%

Kesesuaian karena peluang:
(16x13)/30+(14x17)/30=14,9%
Kesesuaian bukan karena peluang:
kesesuaian nyata - kesesuaian karena peluang:
63,3% - 14,9%=48,4%
Potensi kesesuaian bukan karena peluang :
100% - 14,9% = 85,1%
K = 48,4/85,1 = 0,57
(Kappa: rasio antara kesesuaian bukan karena faktor peluang
dengan kemungkinan terbesar (potensi) kesesuaian bukan karena
peluang)
1 (ideal, tidak pernah tercapai)
NILAI K
0,8 (sangat ideal)
0,6 - <0,8 (memadai)
<0,6 (kurang baik)

RELIABILITAS INSTRUMEN
1. TEST- RETEST
(Teknik ulangan/single test double trial)
- Cukup waktu untuk melakukan 2x test
- Rumus korelasi Pearson (Pearson Product
Moment/PPM)
Nxy (x) (y)
rxy =
V (N x2 ( x )2 (NY2 (Y)2
2. TEST PARALEL
3. SPLIT- HALF
- Cukup waktu
- Butir2 genap
- Kecakapan menyusun
- Tidak punya cukup
waktu
2 perangkat instrumen
- Rumus Spearman-Brown

RUMUS2 RELIABILITAS
1. RUMUS FLANAGAN
r11 = 2 (1-

V1 + V2

Vt
V1: varian skor belahan I
Vt : varian skor total
2. RUMUS RULON
Vd
r11 = 1
Vt

r11: Reliab. instrumen

V : Varian (variance)

V2: varian skor belahan II

r11: Reliabilitas instr.

Vd : Varian beda (difference)
Vt : Varian total

RELIABILITAS

VALIDITAS

Bukan all-or-none
(R V; Tidak R tidak V)
R atau V: merupakan gradasi
Sangat baik/Baik/Cukup/ Kurang/Buruk
2 hal terpisah (kurang R tetapi cukup V;
sangat R tetapi kurang V)

VARIANCE (varian)
VARIANCE: salah satu bentuk measure of dispersion

Dispersion=Variation = Scatter
Variance:
n
s2 = (Xi X)2
i=1

Range, variance, CV
Variabilitasnya tidak sama
CV=6,9
CV=12,5

VARIANCE (lanj.)

V
A
R
I
A
N
C
E

SYSTEMATIC VARIANCE
Cenderung ke satu arah:
Semua tinggi/rendah; semua +/ERROR VARIANCE
Konstan; mengandung bias

RANDOM VARIANCE
Random error
Bersifat mengimbangi/menebus diri sendiri:
Kadang2 cenderung ke satu arah, pada
kesempatan lain cenderung ke arah berlawanan

RANDOM ERROR
Himpunan error akibat pengaruh berbagai sumber
Unsur random/kebetulan yang biasa dijumpai:
- Keletihan/fatigue sementara
- Kondisi2 serba kebetulan pada saat2 tertentu
mempengaruhi objek pengukuran
- Fluktuasi daya ingat orang
- Faktor2 lain
(BERSIFAT SEMENTARA DAN TERUS-MENERUS BERUBAH)

STRATEGI RELIABILITAS
PENGUKURAN
CARA RANDOM
ERROR PENGUKURAN

SUMBER RANDOM ERROR

Standardisasi cara
pengukuran
Pelatihan
Penyempurnaan instr.
Otomatisasi instr.
Mengulangi pengukuran

Pengukur/Pengamat
Pengamat
Instr./Pengamat
Pengamat/Subjek
Pengamat/Subjek/Instr.