Tugas Kelompok

KAJIAN BUKU

Judul : Cognitive Diagnostic Assesment For Education

Penulis : Jacqueline P. Leighton dan Mark J. Gierl
Tahun : 2007
Jumlah halaman : 381 (12 chapter)

Pengkaji :

Sri Rahmayani (161050801034)

Wilda wijayani P. (161050801023)
Usnul Hayati (16050801035)
Azmar (161050801024)

PRODI PENDIDIKAN FISIKA

PPS UNIVERSITAS NEGERI MAKASSAR
2016/2017
 BAB I
Penilaian Diagnostik Kognitif (Cognitive Diagnostic Assessment / CDA)

Penilaian diagnostik kognitif (CDA) dirancang untuk mengukur struktur pengetahuan dan
keterampilan pemrosesan tertentu pada siswa sehingga dapat memberikan informasi tentang kekuatan
kognitif dan kelemahannya. Buku ini, khususnya, membawa serangkaian perspektif yang luas tentang
bagaimana diagnosis kognitif dapat diterapkan dalam pengukuran pendidikan, termasuk sistem bimbingan
dan pengujian pengetahuan kerja. Di sini, ada tiga prinsip CDA, yaitu informtion, validitas uji dan
psikologi kognitif. Dalam buku ini, ada beberapa pendekatan yang digunakan untuk membuat kesimpulan
tentang proses psikomunikasi.

A. Pendekatan Substantif

Dalam pendekatan substantif, item disertakan dalam ranah berdasarkan relevansi yang dinilai ke
domain yang didefinisikan secara luas namun dipilih untuk pengujian berdasarkan konsistensi respons
empiris. Komponen substantif dari validitas konstruk adalah kemampuan teori konstruksi untuk
memperhitungkan kandungan uji yang dihasilkan, struktur internal dan substansi pengujian dapat
ditangani secara lebih langsung dengan menggunakan pemodelan kausal pada item atau kinerja tugas.
Pendekatan ini untuk membangun representasi mencoba untuk mengidentifikasi mekanisme teoritis yang
mendasari kinerja tugas, terutama dengan menguraikan tugas menjadi komponen proses yang diperlukan
(Embretson, 1983).

B. Menjelajahi Pendekatan Substantif dengan Psikologi Kognitif

Snow dan Lohman menunjukkan bahwa gagasan, teori, dan metode psikologi kognitif dapat
berkontribusi pada kemajuan pengukuran pendidikan dengan (a) menginformasikan analisis tes yang ada
untuk menjelaskan konstruksi dasar tersebut; (b) mengklarifikasi tujuan pengujian dalam hal pengetahuan
dan keterampilan yang merupakan indikator asli penguasaan dan pemahaman; dan (c) meningkatkan teori
kemampuan, prestasi, dan pembelajaran di berbagai domain.

C. Mengadaptasi Model Pengukuran Psikometri Pendidikan untuk Teori Psikologis:

Meskipun ada beberapa variasi dalam asumsi tertentu yang dibuat di model pengukuran
psikometrik pendidikan yang berbeda, seperti yang ditunjukkan oleh Snow dan Lohman kepada mereka,
secara umum mereka bertujuan untuk mendekati lokasi seseorang pada variabel minat yang mendasar
seperti prestasi sains atau kemampuan spasial. Lokasi dimana orang tersebut akhirnya ditempatkan sering
ditafsirkan sebagai cerminan jumlah atau jumlah variabel yang diperoleh orang tersebut, seperti 67%
pencapaian sains atau 85% apresiasi spasial. EPM models seperti yang didasarkan pada teori respon item
telah memberikan kontribusi besar terhadap pengukuran pendidikan dan psikologis dengan mengatasi
hambatan teknis yang penting (misalnya, kemampuan peserta ujian memperkirakan tergantung pada
sampel item uji yang dipilih). Namun, pengukuran groundbreaking ini telah menunjukkan keterbatasan
dalam menghadapi perubahan konteks dan iklim pendidikan, di mana ada permintaan informasi yang
terus meningkat tentang pemrosesan kognitif siswa. Kelima langkah ini mewakili sebuah kontrak untuk
mengikuti pendekatan substantif dan memastikan kesetiaan struktural dalam pengembangan CDA. Yaitu
antaralain, konstruksi teori substantif, pemilihan desain, administrasi uji, skor respon, revisi desain.

Ikhtisar buku

Bagian ini adalah lokasi dimana kita berada dalam proses pengembangan CDA. Untuk tujuan ini,
bagian pertama dari buku ini menyajikan beberapa masalah mendasar yang terkait dengan CDA, seperti
kebutuhan dan filosofis alasan untuk mengembangkan akun substantif yang kuat untuk CDA. Bagian
kedua dari buku ini menyajikan beberapa prinsip desain dan analisis uji untuk membantu memastikan
kesetiaan struktural CDA dengan komponen substantif. Bagian ketiga dari buku ini menyajikan prosedur
psikometrik dan aplikasi untuk membuat CDA menjadi kenyataan. Alih-alih memberikan laporan yang
luas dari setiap bab, demi singkatnya, kami hanya menyoroti keseluruhan tujuan setiap bab dan
bagaimana menyajikan tujuan dari buku ini.Bagian I: Dasar Penilaian Diagnostik Kognitif. Bagian II:
Prinsip Desain dan Analisis Uji. Bagian III: Prosedur dan Aplikasi Psikometri

BAB II
Permintaan untuk Penilaian Diagnostik Kognitif

Istilah pengembang penilaian digunakan di sini untuk merujuk pada psikometri, psikolog kognitif,
spesialis kurikulum dan pengajaran, dan ilmuwan belajar yang merupakan praktisi dan / atau anggota
komunitas riset penilaian

A. Perspektif dan Gambaran Sastra Penilaian Kognitif Diagnostik

Salah satu cara untuk menggambarkan sejarah CDA adalah memulai dengan publikasi Embretson
(1983) di Buletin Psikologis, di mana dia secara efektif mengintegrasikan kemajuan dalam psikologi
kognitif dan konsep kontemporer tentang validasi konstruk: "representasi bangunan mengacu pada
ketergantungan relatif dari respons tugas terhadap proses , strategi, dan toko pengetahuan yang terlibat
dalam kinerja "(halaman 180). Meski kognitif psikolog telah bekerja untuk beberapa waktu memodelkan
hubungan antara kesulitan item dan proses kognitif (Fischer akhir Formann, 1982), publikasi Embretson
signifikan dalam penerapan perkembangannya dari psikologi kognitif hingga teori pengukuran.

B. Kerangka Desain Penilaian Psikometri versus Kognitif

Nichols (1993, 1994) melukiskan gambaran dua pendekatan yang sangat berbeda terhadap desain
penilaian dan penggunaan hasil penilaian dalam pembahasannya tentang tes yang dikembangkan dari
kerangka kerja psikometrik versus kognitif. Tes yang dikembangkan secara psikometri terutama
dikembangkan dengan mengevaluasi sifat statistik item karena tujuan utama dari penilaian ini adalah
untuk memberi peringkat urutan ujian sepanjang skala yang dapat diandalkan (yang menyiratkan
pengukuran konstruksi sebagian besar unidimensional) untuk tujuan pemilihan , klasifikasi, dan / atau
evaluasi sumatif. Pendekatan semacam itu kontras dengan penilaian yang dikembangkan dari dalam
kerangka kognitif, yang terutama digunakan untuk mendiagnosis keadaan pembelajaran peserta ujian dan
untuk menginformasikan remediasi.

Pellegrino (2002) menguraikan sistem kurikulum terpadu ini.

instruksi dan penilaian dengan menyarankan kerangka penilaian kognitifyang terdiri dari tiga elemen
yang saling terkait:

1. Sebuah model pembelajaran siswa dalam domain akademis yang ditentukan.

2. Satu set keyakinan (atau hipotesis) tentang jenis pengamatan yang akan memberikan bukti
kompetensi siswa di ranah, di mana kompetensi tersebut didefinisikan oleh model kognitif.
3. Kerangka kerja untuk menafsirkan hasil asesmen.

C. Permintaan untuk penilaian diagnostik kognitif dari pendidik

Ketika menilai permintaan CDA dari pendidik, penting untuk diketahui bahwa sebenarnya mereka
tidak menuntut pengembang penilaian menggunakan model kognitif sebagai dasar untuk merancang dan
melaporkan penilaian. Apa yang dididik pendidik adalah bahwa mereka menerima hasil yang relevan
secara instruksional dari setiap penilaian di mana siswa mereka diminta untuk berpartisipasi dan bahwa
penilaian ini cukup selaras dengan praktik kelas menjadi nilai instruksional maksimum.

Beberapa upaya terkini untuk memenuhi kebutuhan pendidik

1. Upaya untuk membantu mengintegrasikan hasil asesmen diagnostik ke dalam praktik kelas
2. Menggunakan prinsip dan praktik asesmen diagnostik kognitif untuk memperbaiki prosedur
pelaporan diagnostik untuk penilaian skala besar yang ada.
Kesimpulan

Penilaian skala besar untuk tujuan sumatif dan taruhan tinggi merupakan bagian integral dari sistem
pendidikan. Meskipun penilaian ini biasanya dikembangkan untuk tujuan pertanggungjawaban atau untuk
memberi peringkat siswa, mendesain ulang penilaian ini dari pendekatan berprinsip secara kognitif dapat
membantu mengintegrasikan penilaian ini dengan pengajaran dan pembelajaran di kelas tanpa harus
membahayakan tujuan utama pembelajaran. Demikian pula, prinsip dan praktik CDA dapat digunakan
untuk mengidentifikasi tipe informasi baru yang dapat dilaporkan untuk penilaian yang dikembangkan
dari kerangka psikometri. Hasil dari survei menunjukkan bahwa guru mencari informasi sebanyak
mungkin tentang siswa mereka dari berbagai sumber. Merupakan tanggung jawab kita sebagai pendidik
untuk menanggapi secara kreatif kebutuhan mereka dengan memanfaatkan pengetahuan baru tentang
pengajaran dan pembelajaran saat merancang penilaian dan kapan menganalisis dan melaporkan hasil
penilaian. Penerapan prinsip CDA akan menjadi kemajuan penting dalam hal ini.

BAB III
Pemodelan Kinerja Kognitif pada Tes Prestasi Diagnostik

Untuk menafsirkan dan menggunakan skor tes prestasi untuk penilaian diagnostik kognitif,
diperlukan penjelasan mengenai kinerja siswa. Dalam bab ini, penggunaan model kognitif kinerja pada
tes pencapaian diagnostik dapat dibenarkan jika model dapat membantu memberikan penjelasan dalam
pengertian pemahaman peserta ujian. Model kognitif, yang dibangun berdasarkan data dari dialog internal
peserta ujian saat mereka terlibat dalam item uji prestasi, dapat membantu menjelaskan tingkat
pemahaman mereka.
Tahap untuk bab ini membuat serangkaian klaim yang diberikan untuk analisis filosofis dan
justifikasi. Pertama, kami menggambarkan sudut pandang filosofis dari mana keinginan muncul untuk
penjelasan kinerja tes siswa dalam hal penyebab. Kedua, kita membahas hubungan yang sulit antara
pemahaman dan sebab-akibat. Ketiga, kita meneliti bagaimana model pencapaian kognitif dapat memberi
wawasan tentang pemahaman siswa. Akhirnya, kami memberikan penilaian keseluruhan tentang peran
dan pentingnya model kognitif dalam menjelaskan kinerja uji prestasi dan mendukung interpretasi
diagnostik.
Sebuah pembenaran diperlukan untuk beralih ke model kognitif dalam pengembangan dan
penggunaan tes pencapaian diagnostik karena telah ada pandangan lama dalam bidang pengujian dengan
kecenderungan yang berlawanan. Setidaknya ada lima alasan mendapatkan wawasan tentang pemahaman
peserta ujian tentang tes prestasi.
1. Yang pertama adalah pemahaman itu adalah cita-cita pendidikan. Ketika kita mengajar siswa
matematika, sains, atau logika, kita tidak hanya membuat mereka memecahkan masalah dan
mendapatkan jawaban yang benar, tetapi juga untuk memahami alasan mengapa jawaban tertentu
benar dan mengapa prosedur tertentu sah untuk sampai pada mereka.
2. Kedua, menarik pemahaman peserta ujian, atau kekurangannya, adalah cara yang paling masuk
akal untuk menjelaskan apa yang mereka lakukan pada tes. Jika kita tidak dapat menarik
pemahaman mereka sebagaimana diungkapkan oleh penalaran yang mereka gunakan, maka kinerja
mereka pada tes tetap menjadi misteri. Agaknya, kita tidak sebagai pendidik ingin berada dalam
situasi di mana kita tidak memiliki ide bagus mengapa siswa menanggapi dengan cara yang mereka
lakukan terhadap tes yang kita berikan kepada mereka.
3. Ketiga, pengetahuan tentang apa yang dipahami siswa saat mereka mengikuti tes pencapaian
diagnostik memungkinkan kita untuk memperkirakan prediksi kinerja masa depan mereka dengan
lebih baik mengenai tugas yang membutuhkan pemahaman yang sama
4. Keempat, dan mengikuti dari yang ketiga, pengetahuan tentang apa yang siswa pahami dan yang
tidak mengerti memberikan alasan mengapa intervensi instruksional mungkin diperlukan untuk
memperbaiki pemahaman mereka dengan memanfaatkan apa yang sudah mereka mengerti.
5. Kelima, dan akhirnya, kita tahu bahwa kinerja yang benar bisa timbul dari pemahaman yang buruk

Kesimpulan
Untuk menafsirkan dan menggunakan skor tes prestasi untuk penilaian diagnostik kognitif,
diperlukan penjelasan mengenai kinerja siswa. Pandangan bahwa konsep kemampuan dan pencapaian,
dan istilah teoritis dan konstruksi yang digunakan dalam pengujian pendidikan dan psikologis dan sains
lebih umum, adalah istilah untuk kumpulan pengamatan langsung, seperti jenis perilaku yang ditunjukkan
dalam kondisi tertentu.

BAB IV
Uji Validitas Dalam Penilaian Kognitif

A. Konsep Validitas
Tujuan pengukuran psikologis adalah untuk mendapatkan informasi tentang posisi orang-orang
yang berada pada atribut teoritis dengan mengacu pada nilai yang diamati, yang dikumpulkan melalui
prosedur pengujian. Prosedur pengujian kemudian memunculkan sebuah proses yang menghasilkan nilai
tes. Nilai tes (atau kemungkinan fungsinya) juga memiliki struktur tertentu.Jika prosedur pengukuran
berjalan sebagaimana mestinya, maka proses yang dimunculkannya adalah posisi yang berbeda dalam
strktur teoretis sehingga menghasilkan posisi yang berbeda dalam struktur yang diamati dan diperoleh
dengan cara yang dapat diprediksi dan sistematis.
Contohnya, seseorang dapat mengetahui tentang identitas sex biologis orang lain. Identitas sex
seseorang terdiri atas dua tingkatan, yaitu laki-laki dan perempuan. Jadi ini adalah identitas kualitatif dan
bukan kuantitatif. Jika semuanya berjalan dengan baik, maka seseorang akan menjawab bahwa dia adalah
laki-laki atau perempuan. Oleh karena itu, struktur nilai tes (respon: perempuan atau respon: laki-laki)
sesuai dengan struktur atribut seks (tingkat: laki-laki atau tingkat: perempuan). Walaupun kasusnya
berbeda-beda, properti validitas sama untuk semua kasus Jadi ini menunjukkan bahwa properti ini dapat
didefinisikan dengan cara yang sederhana dan tidak ambigu. Tes valid untuk mengukur atribut teoritis
jika dan hanya jika variasi atribut menyebabkan variasi dalam hasil pengukuran melalui proses respons
yang dihasilkan oleh tes. Uji validitas dengan demikian tidak berarti apa-apa dan tidak lebih dari itu,
sebuah tes dapat digunakan untuk mengukur atribut teoritis karena proses yang diraih menghasilkan
variasi pada atribut ke variasi dalam nilai ujian.

B. Proses Respon Dan Validitas

Agar prosedur pengukuran menjadi valid, atribut yang diukur harus berperan dalam menentukan
nilai yang akan diukur hasil pengukuran. Setidaknya ada tiga cara di mana hal ini bisa terjadi. Pertama,
atribut tersebut mungkin memainkan peran parameter dalam proses respons yang homogen. Kedua,
atribut tersebut dapat bertindak sebagai moderator yang menghomogenkan serangkaian proses respons.
Ketiga, atribut itu mungkin ada sebagai gabungan dari atribut yang berbeda, yang menyebabkan
perbedaan nilai tes karena sampel dari alam semesta dari atribut berbeda yang terdiri dari komposit.

C. Pengukuran, Keputusan, Dan Dampak Pengujian

Saat ini, pandangan dominan, seperti yang diungkapkan oleh, antara lain, Messick (1989), adalah
bahwa sebagian besar konsep psikometri dapat dimasukkan di bawah payung uji validitas. Namun, dalam
pandangan yang diusulkan, validitas tidak memainkan peran untuk memberikan evaluasi menyeluruh
terhadap interpretasi skor ujian. Sebagai gantinya, kami mengusulkan untuk menyandingkan konsep
psikometrik dan bukannya mensubordinasikannya dengan validitas. Tiga jenis konsep dibedakan: konsep
pengukuran, keputusan, dan dampak.
Membangun validitas bertepatan dengan konseptualisasi validitas kita pada pandangan realis
tentang atribut teoritis dan interpretasi kausal proses pengukuran. Validitas isi adalah validitas yang
diterapkan pada jenis atribut tertentu (yaitu komposit) dan jenis proses pengukuran tertentu (yaitu, proses
pengambilan sampel alam semesta). Keabsahan kriteria tidak ada kaitannya dengan pengukuran per se
dan tidak boleh dianggap sebagai konsep pengukuran, apalagi semacam validitas. Kami menyarankan
agar masalah yang relevan diulang dalam konsep keputusan, seperti akurasi prediktif, dan bahwa
penggunaan istilah validitas harus dihindari dalam konteks ini.validitas uji harus dibatasi pada pertanyaan
apakah suatu tes mengukur ukuran yang seharusnya diukur. Konsekuensi penggunaan uji coba, seperti
dampak penerapan tes pada masyarakat pada umumnya, adalah masalah yang sangat penting untuk
dipertimbangkan, namun teori tersebut berada di luar wilayah teori psikometrik atau, dalam hal ini, sains
itu sendiri.

BAB V
Membangun Validitas dan Penilaian Diagnostik Kognitif

Penilaian diagnostik kognitif (CDA) semakin menjadi fokus utama pengukuran psikologis dan
pendidikan. Alih-alih menyimpulkan kecenderungan respons umum atau konsistensi perilaku dari seorang
peserta ujian mengenai domain target pengukuran, hasil penilaian diagnostik memberikan penjelasan rinci
tentang dasar kognitif yang mendasari kinerja peserta ujian dengan mengumpulkan informasi yang lebih
kaya yang diberikan oleh pola respons yang spesifik.

A. Validitas Konstruk: kerangka umum

Validitas konstruk menyangkut sejauh mana bukti empiris dan alasan teoritis mendukung
kesimpulan yang dibuat dari nilai ujian.Messick membedakan enam aspek validitas konstruk untuk
diterapkan pada semua tes.Pertama, aspek konten menyangkut relevansi dan keterwakilan konten uji
terhadap konstruk. Untuk tes apa pun, termasuk tes kemampuan, isi tes penting untuk mengevaluasi
kesesuaian dengan kesimpulan yang dibuat dari tes. Isi uji mungkin menyangkut fitur permukaan atau
fitur struktur dalam konten. Kedua, aspek substantif menyangkut alasan teoritis dan bukti tentang proses
di balik tanggapan uji. Pada tes kemampuan, relevansi konstruksi harus dinilai. Ketiga, aspek struktural
menyangkut hubungan sistem penilaian dengan struktur domain konstruksi. Penelitian analitik faktor
relevan dengan aspek validitas ini. Jika nilai digabungkan antara item dan faktor, bukti empiris harus
mendukung kombinasi ini. Keempat, aspek generalisasi menyangkut sejauh mana interpretasi skor dapat
digeneralisasi ke berbagai populasi, kondisi, dan pengaturan. Penelitian tentang dampak buruk,
penggunaan uji coba kertas dan pensil versus pengujian terkomputerisasi, relevan dengan aspek validitas
ini. Kelima, aspek eksternal menyangkut korelasi skor tes dengan kriteria dan tes lainnya. Studi tentang
prediktabilitas kriteria, serta multitrait-multimethod studies, relevan dengan aspek validitas ini. Keenam,
aspek konsekuensial menyangkut konsekuensi sosial dari penggunaan uji, seperti bias, keadilan, dan
keadilan distributif.

B. Membangun validitas: masalah unik dalam penilaian diagnostik kognitif

Selain aspek validitas konstruk untuk praktik pengujian umum, CDA memiliki masalah tersendiri
dalam hal validitas konstruk. Bagian ini berfokus pada beberapa aspek validitas konstruk untuk CDA.
Namun, bukan berarti aspek validitas yang tidak diberikan pembahasan khusus disini tidak penting.
Sebaliknya, penilaian diagnostik yang gagal memenuhi persyaratan validitas mendasar instrumen
pengukuran suara tentu saja gagal menjadi instrumen diagnostik yang dapat dipertahankan.Pengujian
diagnostik kognitif dalam lingkungan psikologis atau pendidikan terutama berfokus pada setidaknya tiga
aspek karakteristik kognitif, yaitu keterampilan profil atau daftar pengetahuan yang penting dalam suatu
domain kognitif tertentu, jaringan prosedural dan/ atau pengetahuan terstruktur.dan proses kognitif,
komponen, atau kapasitas.
Prinsip desain kognitif untuk tes penalaran diperiksa secara empiris untuk menggambarkan
bagaimana validitas konstruk dapat didukung untuk pengukuran sifat dan diagnosis kognitif. Untuk
diagnosis kognitif, fitur desain yang sama membentuk dasar untuk mengklasifikasikan peserta ujian
dalam hal kompetensi mereka. Membangun validitas didukung secara empiris dalam analisis yang
disajikan untuk kedua tujuan pengukuran. Untuk pengujian diagnostik kognitif,hasilnya memiliki
beberapa implikasi. Pertama, keterkaitan eksplisit antara rangsangan item dan persyaratan kognitif yang
mendasari memungkinkan item dihasilkan dengan khasiat kognitif dan psikometrik yang ditargetkan,
yang merupakan fitur yang penting untuk pengujian diagnostik. Kedua, teori kognitif tidak hanya
mengidentifikasi variabel kognitif yang merupakan sumber kesulitan item, namun juga memberikan dasar
untuk memahami hubungan struktural di antara mereka. Ketiga, dikombinasikan dengan teknologi
modern, seperti pendekatan generasi item, teori kognitif yang divalidasi untuk item memiliki potensi
untuk mengotomatisasi pengujian diagnostik individual.

Laporan Verbal sebagai Data untuk Penilaian Diagnostik Kognitif

Nilai CDA terletak pada integritas dan spesifisitas informasi yang diberikan tentang pola pikir
peserta ujian sehubungan dengan kelas masalah. Untuk tes diagnostik kognitif untuk memberikan
informasi yang akurat tentang kekuatan dan kelemahan peserta ujian, tes harus mencakup item yang
mengukur struktur pengetahuan dan keterampilan pemrosesan tertentu yang mencerminkan kompetensi
asli dalam suatu domain, dan bukan sekadar menguji kefasihan. Selain itu, untuk tes diagnostik kognitif
untuk memberikan informasi spesifik tentang kekuatan dan kelemahan peserta ujian, tes harus dirancang
dengan model kinerja kognitif yang dibuktikan secara empiris. Dengan cara ini, kinerja peserta ujian pada
item tes dapat benar-benar informatif tentang ada tidaknya komponen kognitif tertentu. Jika sebuah tes
dirancang tanpa model kinerja tugas, tidak ada jaminan bahwa item uji mengukur struktur pengetahuan
dan keterampilan pemrosesan tertentu, dan integritas kesimpulan dikompromikan, jika tidak terancam
sepenuhnya.
Analisis protokol dan analisis verbal adalah dua teknik untuk mengamankan data tentang
bagaimana peserta ujian memikirkan dan menyelesaikan item tes. Meskipun kedua metode ini memiliki
kesamaan permukaan dan dapat digunakan dalam pengembangan tes diagnostik, ada beberapa perbedaan
penting dalam instruksi, analisis, dan kesimpulan mereka. Pertama, penggunaan analisis protokol,
terutama wawancara bersamaan, menghambat jenis laporan yang didorong oleh analisis lisan: penjelasan,
deskripsi, justifikasi, dan rasionalisasi.Kedua, analisis protokol digunakan terutama untuk
mengidentifikasi keterampilan pemrosesan sekuensial yang terlibat dalam penerapan peraturan yang
diijinkan, sedangkan analisis verbal digunakan terutama untuk menangkap struktur pengetahuan yang
terlibat dalam memahami dan menghasilkan makna.Ketiga, sebagian besar pekerjaan dalam analisis
protokol terjadi dalam menghasilkan model komputasi sebelum laporan lisan dikumpulkan.
Karena tugas pemecahan masalah mengharuskan siswa untuk menggunakan struktur pengetahuan
dan keterampilan pemrosesan secara bersamaan, analisis protokol dan analisis verbal keduanya
merupakan metode yang berguna dalam pengembangan dan validasi CDA. Bahkan ilustrasi silogisme
kategoris yang diajukan sebelumnya mewajibkan siswa untuk memahami arti quantifier, bersamaan
dengan menerapkan keterampilan pemrosesan untuk menghasilkan model mental. Namun, analisis
protokol dan analisis verbal masing-masing dirancang untuk menghasilkan jenis kesimpulan yang
berbeda dari data laporan lisan, yang membahas tujuan penelitian yang berbeda. Analisis protokol paling
baik digunakan saat mencari bukti konfirmasi untuk model kinerja tugas dan / atau saat bekerja dengan
tugas berbasis aturan dan pemecahan masalah yang memberikan analisis tugas. Sebaliknya, analisis
verbal paling baik digunakan saat mencari bukti eksploratifuntuk model kinerja tugas dan / atau dengan
tugas yang tidak didefinisikan dan berbasis pengetahuan.

BAB VII
Uji Konstruksi dan Pengujian Diagnostik

Di antara banyak uji coba yang tercantum dalam Standar Pendidikan dan Pengujian Psikologi,
Diagnosis salah satunya yang paling kompleks. Penilaian untuk diagnosis mengubah data kuantitatif
menjadi deskripsi kualitatif yang kaya akan kemampuan kognitif individu, patologi psikologis, dan
kepribadian.Lebih umum lagi, pengujian pendidikan berfokus pada tujuan seperti penilaian, seleksi,
penempatan, kompetensi, dan evaluasi hasil. Akibatnya, prosedur pengembangan pengujian yang
termasuk dalam sebagian besar literatur penilaian pendidikan berkaitan dengan konstruksi uji untuk
tujuan ini.

Bab ini membahas tentang prosedur pengujian item dan pengujian yang dirancang khusus untuk
tes diagnostik. Dalam hal ini menggunakan prosedur konstruksi uji tradisional dengan modifikasi
terhadap proses pengembangan uji diajukan.

kerangka kerja untuk pengembangan uji diagnostik

Berbagai metode untuk pengembangan tes diagnostik baru-baru ini telah diusulkan. Metode ini
umumnya dapat dibagi menjadi dua kategori: (a) model statistik yang menggabungkan parameter untuk
komponen pengolahan kognitif, dan (b) kerangka kerja asesmen penilaian yang menenun teori kognitif ke
dalam keseluruhan prosedur pengembangan uji.

Model statistik, yang kadang-kadang disebut cognitive-diagnostic models(CDMs), pada dasarnya

adalah teknik analisis data yang dirancang untuk menghubungkan teori kognitif dengan sifat psikometrik
item. Dua pendekatan yang paling banyak diterapkan adalah Mislevy’s Evidence-Centered Design
(CDS; Embretson, 1994, 1999) dan Embretson’s Cognitive Design System Approach (ECD; Mislevy,
1994; Mislevy, Steinberg, & Almond, 2002).

BAB VIII
Cognitive Foundations of Structured Item Response Models

Bab ini menunjukkan bagaimana psikologi kognitif dapat memainkan peran integral dalam
menjawab pertanyaan yang diajukan oleh Messick (1984) di awal bab ini. Seperti yang dianjurkan oleh
banyak orangpeneliti (misalnya, Embretson, 1994; Mislevy, 1996; Nichols, 1994), perspektif psikologi
kognitif seharusnya tidak dilapisi sebuah posteriorinamun terintegrasi secara apriori ke dalam asesmen
penilaian pendidikan dan menjadi lensa terkemuka yang dipikirkan oleh para spesialis tentang
pengambilan keputusan mereka.

Tingkat ukuran butir dalam tradisi eksperimental kognitif psikologi dan tradisi diagnostik
penilaian pendidikantentu berbeda, operasionalisasi konstruksi dan hubungan merekadapat dihubungkan
satu sama lain dengan bantuan model SIRTuntuk menciptakan retorika pembuktian koheren tentang
kompetensi peserta didik. Yang penting, ketika penilaian pendidikan dirancang dengan cermat
dandipandang sebagai intervensi dalam pengertian eksperimental, hal ini bisa jadisingkat, yang
memungkinkan pertukaran dan sinergi yang lebih besar antaradua disiplin ilmu (lihat juga
Borsboom,Mellenbergh, & van Heerden,2004, untuk pembahasan konseptualisasi validitas, danBorsboom
& Mellenbergh, buku ini).
Upaya semacam itu terbukti kompatibel sepenuhnya standar kinerja berbasis kompetensi dalam
sistem pendidikandi seluruh dunia yang bertujuan untuk (a) membina pembelajaran siswa, (b)
menyediakanwawasan tentang jalur perbaikan potensial bagi peserta didik, dan (c) pelayanan lokaldan
tujuan akuntabilitas nasional. Meski merupakan integrasi kognitifPsikologi dalam desain penilaian
pendidikan mungkin bersifat sumber dayadalam hal waktu, keahlian, dan infrastruktur, teorinyadan
manfaat praktis yang dapat direalisasikan biasanya menjamin investasi.Secara umum, penting juga untuk
diingat bahwa meskipun ada tantanganMemodelkan data dari penilaian semacam itu dengan model SIRT
(structured item response theory) yang canggihmuncul dalam konteks praktis tertentu, penilaian itu
sendiri sudah pastihanya diuntungkan dari desain yang cermat dan akan mempertahankan nilai
edukasinyameskipun ada keterbatasan pemodelan potensial. Dalam hal itu, integrasipsikologi kognitif ke
dalam proses perancangan, analisa, danmenafsirkan penilaian pendidikan merupakan nilai tambah
yangrealisasi tentu layak investasi yang diperlukan.

BAB IX
Using the Attribute Hierarchy Method to Make Diagnostic Inferences About Examinees’ Cognitive
Skills

Banyak penilaian pendidikan didasarkan pada tugas pemecahan masalah kognitif. Penilaian
diagnostik kognitif dirancang untuk memodelkan tampilan kognitif pada tugas ini dan menghasilkan
informasi spesifiktentang kekuatan dan kelemahan pemecahan masalah mereka. Bab ini memperkenalkan
dan menjelaskan metode hirarki atribut(AHM) untuk penilaian kognitif (Leighton, Gierl, & Hunka, 2004).
AHM adalah metode psikometri untuk mengklasifikasikan item tanggapanpeserta ujianke dalam satu set
pola atribut terstruktur yang terkait dengan komponen yang berbeda dari model kognitif kinerja tugas.
1. Pada Bagian I, menjelaskan proses diagnostik dan menghubungkan proses iniuntuk penilaian
diagnostik kognitif. Kemudian, menyoroti beberapa manfaatdari pendekatan pengujian ini.
2. Bagian II, menghadirkan AHM. dimulai dengan memusatkan perhatian pada pentingnya
menentukan model kognitif kinerja tugas.
3. Pada Bagian III, memberikan ringkasan danidentifikasi area dimana dibutuhkan penelitian
tambahn.

A. Karakteristik inferensi diagnostik.

1. Sekilas Atribut Hierarchy Metode untuk Penilaian Kognitif
 Deskripsi ini sangat membantu untuk mengidentifikasi beberapa kualitas penting dalam
penilaian diagnostik kognitif Tiga aspek deskripsi :
a. Pertama, diagnosis melibatkan proses penentuansifat kinerja buruk dan melaporkan hasilnya
dari prosesnya.
b. Kedua, proses diagnostik harus mengarah pada klasifikasiketerampilan kognitif
menggunakan sistem pelaporan yang diterima
c. Ketiga, diagnosis bukanlah tipe evaluasi utama. Sebaliknya, diagnosisadalah satu langkah
dalam usaha yang jauh lebih besar yang terjadi saat timbulmasalah (Hunt, 1995).

2. Potential Benefits of Cognitive Diagnostic Assessment

Penilaian diagnostik kognitif dapat berkontribusi pada pengajaran dan pembelajarandalam dua cara.
Pertama, harus meningkatkan pemahaman kita tentang siswa. Kedua, penilaian diagnostik kognitif
menyediakan satu pendekatanmenghubungkan teori kognisi dan pembelajaran dengan pengajaran.
Sebagian besar berskala besartes pendidikan menghasilkan sedikit informasi untuk siswa, guru,dan
orang tua tentang mengapa beberapa siswa berkinerja buruk atau bagaimana Kondisi
instruksionalbisa diubah untuk memperbaiki pembelajaran (National Research, 2001).

3. Model KognitifdanAsesmenPendidikan
Model kognitif kinerja tugas ditentukan pada ukuran butir terkecilkarena memperbesar proses
kognitif yang mendasari kinerja tes.Seringkali, model kognitif dari kinerja tugas juga akan
mencerminkanhirarki proses kognitif dalam suatu domain karena proses kognitifberbagi
ketergantungan dan fungsi dalam jaringan yang jauh lebih besarproses, kompetensi, dan
keterampilan yang saling terkait (Anderson, Reder, &Simon, 2000; Dawson, 1998; Fodor, 1983;
Kuhn, 2001)

B. Menggabungkan model kognitif ke dalamprosedur psikometrik

Sekilas Atribut Hierarchy Metodeuntuk Penilaian Kognitif, AHM adalah metode psikometri untuk
mengklasifikasikan tanggapanpeserta ujian 'ke dalam satu set pola atribut terstruktur yang
terkaitdengan komponen berbeda yang ditentukan dalam model tugas kinerja.AHM
digambarkansesuai dengan proses diagnostik empat langkah yang dipaparkan sebelumnya:
1. menentukan model kognitif,
2. mengembangkan item untuk mengukurmodel,
3. menganalisis dan mencetak item sesuai model, dan
 4. melaporkan hasilnya
Hasil dari analisis AHM harus dikombinasikan dengan pengetahuan yang ada tentang peserta
ujian untuk diidentifikasi kelebihan dan kelemahan pemecahan masalah.

BAB X
Sistem Diagnosis Keterampilan Model Fusion (Louis A. Roussos, Louis V. DiBello,
William Stout, Sarah M. Hartz, Robert A. Henson, dan Jonathan L. Templin)

A. Sistem diagnosis keterampilan Model Fusion

Secara Umum merupakan tes diagnostik keterampilan" untuk merujuk tes yang memberikan
informasi profil pada peserta ujian informasi tersebut lebih berguna dari pada satu skor tunggal,
informasi itu berbasis ilmiah dan statistik suara dan informasi yang bisa efektif dan mudah ditindak
lanjuti oleh siswa, orang tua, guru, dan lain-lain. Secara Khusus Dapat dilihat melalui Pandangan
beberapa ahli pada sebuah program penelitian yang diprakarsai oleh ,karya pemodelan dasar DiBello,
Stout, dan Roussos (1995), perkembangan selanjutnya dari Hartz dan Roussos (Hartz, 2002; Hartz &
Roussos, di media cetak) dan ETS.

B. Tujuan sistem diagnosis keterampilan

Pekerjaan ini didasarkan pada premis bahwa tes diagnostik keterampilan periodik, disesuaikan
dengan kebutuhan kelas, bisa sangat meningkatkan pengajaran dan pembelajaran, dan dapat
meningkatkan kualitas yang lebih tinggi dan akuntabilitas yang lebih besar dalam program pendidikan
dan pelatihan. Sistem Model Fusion yang digambarkan di sini adalah psikometrik yang efektif dan
pendekatan statistik yang terdiri dari prosedur dan perangkat lunak untuk praktis uji diagnostik
keterampilan.

C. Syarat keterampilan yang dibutuhkan untuk melakukan tes

Syarat Keterampilan yang dibutuhkan untuk melakukan tes dengan baik dan untuk yang
mengetahui informasi diagnostik yang kuat tentang kurangnya penguasaan ujian. Menyediakan industri
pengujian dengan alat praktis untuk berkembang pengujian standar untuk memasukkan diagnosis
ketrampilan yang efektif. Keterampilan diagnosis, terkadang disebut sebagai asesmen keterampilan,
keterampilan profil, penilaian profil, atau diagnosis kognitif, adalah penerapan teori psikometrik dan
metode untuk proses yang ketat secara statistik yakni : mengevaluasi setiap peserta ujian berdasarkan
tingkat kompetensi pada keterampilan yang dikembangkan oleh pengguna, dan mengevaluasi estimasi
keterampilan efektivitas tes dengan menilai kekuatan hubungan antara profil keterampilan individu dan
kinerja yang diamati pada item tes individu.

D. Rincian sistem Model Fusion

Rincian sistem Model Fusion akan sangat membantu untuk menempatkan sistem dalam
konteks kerangka kerja yang lebih umum diagnosis ketrampilan. Roussos, DiBello, Henson, Jang, &
Templin (di pers; lihat juga Roussos, DiBello, & Stout, menggambarkan sebuah kerangka kerja untuk
keseluruhan proses implementasi untuk penilaian diagnostik,. Secara khusus, mereka menggambarkan
pelaksanaan penilaian diagnostik Prosesnya melibatkan enam langkah berikut yaitu:
1. Deskripsi tujuan penilaian.
2. Deskripsi model untuk ruang keterampilan.
3. Pengembangan tugas penilaian.
4. Analisis tugas penilaian.
5. Pemilihan model psikometri yang tepat untuk menghubungkan kinerja yang dapat diamati pada
tugas ke variabel keterampilan laten.
6. Pemilihan metode statistik untuk estimasi model dan memeriksa.
7. Sistem untuk melaporkan hasil penilaian ke peserta ujian, guru, dan lainnya.

E. Komponen Sistem Model Fusion mencakup empat komponen berikut:

1. Model fungsi respon item yang dapat diidentifikasi dan dapat ditafsirkan, reparameterisasi
Unified Model yang didirikan (DiBello ,1995).
2. Metode estimasi parameter yang disebut Arpeggio, yang mana menggunakan algoritma Markov
Chain Monte Carlo (MCMC) di dalam kerangka pemodelan Bayesian untuk estimasi model,
termasuk parameter parameter item dan parameter distribusi kemampuan perkiraan.
3. Kumpulan prosedur pemeriksaan model, termasuk statistik Pemeriksaan konvergensi MCMC,
distribusi kemampuan dan item estimasi parameter dengan kesalahan standar, statistik model fit,
statistik validitas internal, dan metode estimasi reliabilitas.
4. Statistik tingkat keterampilan, termasuk perkiraan penguasaan / nonmastery, Pilihan subscoring
untuk menilai penguasaan / nonmastery, dan statistik skala kemampuan yang menghubungkan
nilai tes dengan keterampilan penguasaan.

BAB XI
Menggunakan Informasi Dari Pilihan Berganda Distractors Untuk Meningkatkan Kognitif
Diagnostik Skor Pelaporan (Richard M. Luecht
A. Pandangan Bebebrapa ahli :
1. Tes unidimensional hanya mengukur hanya satu sifat kemahiran atau kemampuan (Hambleton
& Swaminathan, 1985). Artinya, kita asumsikan itu sebagai suatu sifat kemahiran tunggal
benar-benar dapat menjelaskan pola respon diamati untuk populasi pengambil tes. Namun,
kebanyakan tes menunjukkan beberapa multidimensionalitas (yaitu, tanggapan yang bergantung
lebih dari satu sifat kemahiran atau kemampuan).
2. Multidimensionalitas mungkin disebabkan oleh kompleksitas kognitif dari item tes,
kecenderungan motivasi dari pengambil tes, atau faktor lain yang lebih asing (Ackerman, 2005;
Ackerman, Gierl, & Walker, 2003).
3. Prosedur respon faktor respon (IRT) menilai multidimensionalitas dan bentuk residu kovariansi
yang terkait dalam data respon sebagai ketidakcocokan statistik atau penyimpangan (Hambleton
& Swaminathan, 1985).
4. Dilema adalah tes yang murni unidimensional sedikit untuk berbagi di luar informasi
pengukuran yang masuk ke komputasi nilai tes total, dan tes yang menunjukkan jumlah kecil
yang tidak relevan multidimensionalitas mungkin tidak menghasilkan jenis yang tepat informasi
pengukuran untuk mendukung subscores yang berguna secara diagnostik. Ada dua solusi
potensial untuk dilema ini. Solusi pertama memerlukan pengembangan pendekatan terstruktur
untuk merancang dan menulis / membuat tugas penilaian yang akan menghasilkan
multidimensional yang stabil informasi untuk dua atau lebih sensitif terhadap instruksi sifat
laten. Solusi ini secara khusus melibatkan pengembangan hati-hati item direkayasa, desain
tugas, dan templat, idealnya berdasarkan faktor empiris manusia dan penelitian ilmiah kognitif.
(Luecht, 2005a; Wainer et al., 2001).

B. Garis Besar Augmentasi data

Pada bab ini berfokus pada mekanisme augmentasi data yang memanfaatkaninformasi
pengukuran tersembunyi dalam pola distraktor yang berarti pertanyaan pilihan ganda . Hasilnya disajikan
secara empiris studi yang menunjukkan bahwa adanya konsistensi yang masuk akal Dimensionalitas
Kekuatan dan Kelemahan Penting untuk mempertanyakan apakah kekuatan dan kelemahan ada di
dalamnya metrik yang sama atau metrik yang berbeda sebelum masuk ke dalam diskusi dari data
augmentasi Satu argumen adalah tes kecakapan paling banyak, selanjutnya diperkuat sebagai konsekuensi
yang umum digunakan prosedur penskalaan psikometri dimana hanya mengukur peserta ujian, Kekuatan
sepanjang satu dimensi yang menarik. Artinya, kita jumlahkan skornya tanggapan atau model probabilitas
respon yang benar sebagai suatu fungsi sifat yang mendasarinya. Jika peserta ujian memilih jawaban yang
benar tes tersebut,akan menunjukkan kekuatan pada sifat misalnya minat.. Untuk lebih memperumit
masalah, kapan tes ini secara eksplisit dibuat menjadi unidimensional - whichmanytests adalah - pola
respons item skor cenderung menghasilkan subscores itu berkorelasi kuat dan kuat dengan keseluruhan
sifat yang diukur oleh hasil ujian. Akibatnya, setiap profil keahlian berdasarkan dua atau lebih diagnostik
subscores yang menggunakan penilaian benar / penilaian yang salah akan cenderung menjadi datar dan
tidak informatif (Luecht, 2005a, 2006; Luecht, Gierl, Tan, & Huff, 2006; Wainer et al., 2001).

C. Data Tanggapan, Penilai Scoring, dan Data Augmentation

sebuah komplikasi berhubungan dengan unidimensional Tes adalah bahwa jawaban yang
dikotomotchot hanya memberikan informasi tentang sifat tunggal. Data augmentation menyiratkan
adanya data tambahan. Ini berarti mendapatkan tambahan sumber data, selain matriks respons yang
dichotomously biasa. Adapun pengolahan skor dapat dilakukan dengan menggunakan :

1. Dua matriks data: U, skor benar / salah, dan V, ditambah data. U = (u1, u2, ..., un).((Luecht,
2001, 2005a, 2005b).
2. Penyajikan metode estimasi Bayes empiris disebut augmented scoring yang sesuai untuk
digunakan dalam Metode augmentasi atau metode berbasis jaminan lainnya Wainer dkk. (2001)
3. Skor undian adalah jenis penilaian empiris Bayes dengan meminimalkan residu (Gorsuch, 1983;
J¨oreskog, 1969)

Catatan :Kelayakan menggunakan faktor-derived diagnostic Skor juga dieksplorasi sebagai

alat untuk mendapatkan statistik lebih sub scores yang optimal Namun, analisis faktor tidak
menghasilkan nyata Manfaat psikometri dan sangat rumit perbandingan yang diperlukan di antara
tiga penilaian evaluator.

BAB XI
Menggunakan Informasi Dari Pilihan Berganda Distractors Untuk Meningkatkan Kognitif
Diagnostik Skor Pelaporan (Richard M. Luecht)

A. Peran Model Kognitif dalam penilaian diagnostik kognitif

Jenis model kognitif diperlukan untuk membuat kesimpulan tentang kemampuan pemecahan
masalah para peserta ujian. Model ini memberikan kerangka kerja yang diperlukan untuk membimbing
pengembangan item dan mengarahkan analisis psikometri sehingga kinerja tes bisa jadi terkait dengan
kesimpulan spesifik tentang keterampilan kognitif peserta ujian. Beberapa ahli berpandangan bahwa:
1. Borsboom dan Mellenbergh (volume ini) memberikan tinjauan singkat tentang uji validitas di
penilaian kognitif Mereka mengklaim bahwa CDA berlaku untuk mengukur suatu atribut teoritis jika
variasi atribut dapat dikaitkan dengan variasi dalam hasil pengukuran melalui proses tanggapan
dibutuhkan oleh tes Uji validasi.
2. Norris, Macnab, dan Phillips (volume ini) menambah konseptual pondasi diletakkan oleh Borsboom
dan Mellenbergh dengan memberikan filosofis analisis dan justifikasi penggunaan model kognitif di
Indonesia CDA. Sederhananya, model kognitif membantu kita mengoperasionalkan teoritis atribut,
serta proses respon yang sedang kita coba mengukur dan membuat kesimpulan.

B. Penggunaan rancangan uji berprinsip untuk pengembangan penilaian diagnostik kognitif

Penggunaan rancangan uji berprinsip untuk pengembangan penilaian diagnostik kognitif.
Pendekatan berprinsip Untuk menguji desain dan analisis memerlukan beberapa jenis model kognitif
awalnya diidentifikasi dan dievaluasi. Kemudian, item uji dikembangkan menggunakan template untuk
mengukur atribut atau fitur dalam model. Akhirnya, statistik berbasis model digunakan untuk
menganalisis data, menghasilkan skor, dan panduan interpretasi skor.

C. Granularitas dan spesifisitas dari kesimpulan diagnostik kognitif

Granularitas dan spesifisitas dari kesimpulan diagnostik kognitif mencirikan pendekatan
pengujian di mana kemampuan kognitif peserta ujian dievaluasi, biasanya dengan menentukan di mana di
kognitif yang mendasarinya model para peserta ujian 'diyakini memiliki kekuatan tertentu dan kelemahan.
Tapi, seperti yang terlihat dalam bab ini, Alasan filosofis diperlukan untuk menciptakan dan memvalidasi
model kognitif ini, prosedur desain uji yang digunakan untuk mengembangkan tugas penilaian, dan
akhirnya, metode psikometri dibutuhkan menganalisis data respon peserta ujian dengan array yang
kompleks alternatif. Saat kita mencoba bermanuver melalui alternatif ini, kita harus melakukannya
dibimbingi oleh tujuan yang jelas.

D. Melaporkan hasil penilaian diagnostik kognitif

Skor pelaporan adalah antar muka antara pengembang dan pengguna. Demikian, pelaporan
adalah topik penting lainnya dalam CDA karena laporan skor disampaikan informasi tentang makna dan
kemungkinan interpretasi Hasil tes, sering ke khalayak pengguna yang beragam Standar untuk Tes
Pendidikan dan Psikologis (Pendidikan Amerika Asosiasi Penelitian, American Psychological
Association, National Dewan Pengukuran dalam Pendidikan, 1999) menggambarkan tujuan skor
pelaporan: Saat informasi skor tes dilepaskan ke siswa, orang tua, perwakilan hukum, guru, klien, atau
media, mereka yang bertanggung jawab untuk program pengujian harus memberikan interpretasi yang
sesuai. Interpretasi harus dijelaskan dalam bahasa sederhana apa yang dicakup ujian, apa arti nilai,
ketepatan dari skor, kesalahpahaman umum tentang nilai tes, dan bagaimana skor akan digunakan.
Artinya, CDAreports, yang harus menarik secara luas, harus berisi komprehensif, namun ringkas,
ringkasan hasil psikologis dari pengujian. Namun, memenuhi persyaratan ini menimbulkan tantangan
yang signifikan, terutama bila hanya sedikit penelitian mengenai pelaporan skor tes.

E. Mengintegrasikan teori kognisi, pembelajaran, pengajaran, dan penilaian

Hasil survei yang disampaikan oleh Huff dan Goodman menunjukkan bahwa pemangku
kepentingan menginginkan penilaian yang lebih sesuai secara instruksi hasil. Minat kami pada CDA
dipicu, sebagian, oleh keyakinan itu bentuk penilaian ini dapat memberikan informasi yang relevan dan
bermanfaat tentang pengetahuan dan pengolahan siswa. Serta memberikan informasi yang lebih spesifik
tentang kognitif siswa .
Keterampilan diagnosis, terkadang disebut sebagai asesmen keterampilan, profil keterampilan,
profil penilaian, atau diagnosis kognitif, adalah penerapan teori psikometrik dan metode untuk proses
statistik yang ketat (a) mengevaluasi setiap peserta ujian dasar tingkat kompetensi pada rangkaian
keterampilan yang dikembangkan pengguna, dan (b) mengevaluasi keefektifan estimasi keterampilan dari
sebuah tes dengan menilai kekuatan dari hubungan antara profil keterampilan individu dan kinerja yang
diamati pada item tes individu.