Welcome to Scribd, the world's digital library. Read, publish, and share books and documents. See more ➡
Download
Standard view
Full view
of .
Add note
Save to My Library
Sync to mobile
Look up keyword
Like this
5Activity
×
0 of .
Results for:
No results containing your search query
P. 1
49 ProcenaZnanja

49 ProcenaZnanja

Ratings: (0)|Views: 976|Likes:
Published by kinasky

More info:

Categories:Topics, Art & Design
Published by: kinasky on Feb 10, 2010
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See More
See less

02/18/2011

pdf

text

original

 
 
PROCENA ZNANJA PRIMENOM KOMPJUTERSKOG ADAPTIVNOGTESTIRANJAKNOWLEDGE ESTIMATION BY THE USE OF COMPUTER ADAPTIVETESTING
Jelena An
đ
elkovi
ć
 
FON, Jove Ili
ć
a 154
Sadržaj
:
Razvoj informacionih tehnologija omogu 
ć 
uje primenu ra
č 
unara i u oblasti obrazovanja. U okviru  procesa obrazovanja ra
č 
unari se naj 
č 
eš 
ć 
e koriste za procenu znanja, odnosno u fazi vrednovanja i ocenjivanja procenjenog znanja. U cilju pra
ć 
enja savremenih svetskih trendova, na našim prostorima,razvijena je aplikacija za Kompjutersko adaptivno polaganje ispita (KAPI). U okviru ovog rada bi 
ć 
e predstavljenja priemnjena metodologija kompjuterskog adaptivnog testiranja, aplikacija za Kompjuterskoadaptivno polaganje ispita , primena aplikacije KAPI kroz eksperiment i rezultati eksperimenta.
Klju
č
ne re
č
i
:
Obrazovanje, metodologija, Kompjutersko adaptivnog testiranje, Kompjutersko adaptivno polaganje ispita, Teorija davanja odgovora, banka ajtema, procena sposobnosti (znanja), eksperiment.
Abstract
:
The development of information tehnologies allows the appliance of computers for educational  purposes. Within the educational process, computers are mostly used for knowledge estimation, especially during evaluation and grading phase. As a follow up of the new world wide trends, Computer AdaptiveKnowledge Evaluation and Grading (CAKEG) application is developed. Within this paper, applied methodology of Comuter Adaptive Testing (CAT), application for Computer Adaptive Knowledge Evaluationand Grading, the use of CAKEG application through the experiment and the experiment results will be presented.
Key words
:
Education, methodology, Computer Adaptive Testing (CAT), Computer Adaptive KnowledgeEvaluation and Grading (CAKEG), Item Response Theory, bank of items, abillity (knowledge) estimation,experimet.
1. UVOD
Prvi korak ka stvaranju tržišno konkuretnih kadrova jeste njihovo obrazovanje, bilo da je re
č
o školskomobrazovanju ili obrazovanju u okviru radnih organizacija. Kako je rezultat procesa obrazovanja formiranjenovih sposobnosti koje se izražavaju kao znanja i umenja,
č
esto se postavlja pitanje vrednovanja iliocenjivanja tog ste
č
enog znanja. Razvoj informaciono komunikacionih tehnologija doveo je doosavremenjivanja samog procesa obrazovanja te danas primena informacionih tehnologija se može videti usvim fazama obrazovnog procesa. Posebno se isti
č
e njihova primena u fazi vrednovanja uspeha, odnosnovrednovanja i ocenjivanja procenjenog znanja, i to u vidu Kompjuterski podržanih testova i Kompjuterskiadaptivnih testova.Na našim prostorima procena i ocenjivanje znanja naj
č
ć
e se vrši na tradiconalan na
č
in, usmenimispitivanjem ili putem testova papit-i-olovka. U novije vreme razvijen je i odre
đ
i broj kompjuterski podržanihtestova za u
č
enje i ocenjivanje. U cilju pra
ć
enja savremenih svetskih trendova, i njihove primene kod nas,razvijen je Sistem za podršku kompjuterskom adaptivnom testiranju u okviru koga je kreirana aplikacaja zakompjutersko adaptivno polaganje ispita (KAPI). Aplikacija KAPI primenjena je u okviru eksperimentaorganizovanog na Fakultetu organizacionih nauka u junskom ispitnom roku 2003. godine. Eksperimentom je
 
obuhva
ć
eno polaganje usmenog dela ispita iz predmeta Sistemi za podršku odlu
č
ivanju, preko ra
č
unara,primenom metodologije kompjuterskog adaptivnog testiranja, kao i anketno ispitivanje studenata o takvomna
č
inu polaganja ispita.
2. PRIMENJENA METODOLOGIJA KOMPJUTERSKOG ADAPTIVNOG TESTIRANJA UAPLIKACIJI KAPI
Kompjutersko adaptivni testovi predstavljaju znatno efikasniji na
č
in provere znanja uz maksimalno koriš
ć
enjemogu
ć
nosti ra
č
unara. Njihova adaptivnost se ogleda u mogu
ć
nosti prilago
đ
avanja trenutnom znanjuispitanika. Kao glavne prednosti ovakvog na
č
ina ispitivanja isti
č
u se: individulni test za svakog ispitanika,smanjenje greške u slu
č
aju razli
č
itih ispitiva
č
a, pove
ć
ana sigurnost testiranja (jer se ne zna koja
ć
e pitanjaispitanik dobiti), mogu
ć
nost podešavanja vremena i postavljanja velikog raspona razli
č
itih tipova pitanja, bržeobavljanje testiranja uz postizanje istog nivoa pouzdanosti, davanje preciznih rezultata za ispitanike saširokim rasponom znanja (dok tradicionalni testovi daju precizne rezultate za predpostavljene prose
č
neispitanike odrge
đ
ene grupe), itd. Kompjutersko adaptivno testiranje se zasniva na: izboru modela teorijedavanja odgovora, formiranju banke ajtema (pitanja), izboru prvog pitanja (po
č
etka testiranja), odre
đ
ivanjuredosleda zadavanja ajtema, proceni sposobnosti i izboru metode kriterijuma zaustavljanja.Algoritam kopjuterskog adaptivnog testiranja je iterativni proces i naj
č
ć
e obuhvata slede
ć
e korake:1. Svi ajtemi, iz banke ajtema, koji nisu još ušli u procenu, se evoluiraju ( na osnovuinicijalne procene sposobnosti),2. Odabira se slede
ć
e najbolje pitanje i ispitanik daje odgovor,3. Procenjuje se nivo sposobnosti na osnovu tog odgovora i svih ajtema koji su do togtrenutka ušli u procenu i4. Koraci 1-3 se ponavljaju dok se ne zadovolji kriterijum zaustavljanja.
Jednoparametarski model 
. Kompjutersko adaptivno testiranje zasniva se na Teoriji davanja odgovora [3].Teorija davanja odgovora (Item Response Theory – IRT) je statisti
č
ki model koji povezuje karakteristikestavki i karakteristike pojedinca s jedne strane i verovatno
ć
e davanja ta
č
nog odgovora s druge. Slikovitopredstavljanje definicije Teorije davanja odgovora dato je na slici 1. Teorija davanja odgovora se zasniva nadva postulata: uspešnost davanja odgova ispitanika na ajtemu se može predvideti grupom nezavisnihfaktora (osobine, latentne osobine, sposobnosti) i odnos izme
đ
u uspešnosti davanja odgovora ispitanika naajteme i grupe navedenih faktora, od kojih zavisi ta uspešnost. Uspešnost se može prikazati u vidumonotono rastu
ć
e funkcije koja se naziva ajtem karakteristi
č
na kriva (AKK). Svaki ajtem u testu ima svojuvlastitu ajtem karakteristi
č
nu krivu. U Teoriji davanja odgovora obra
đ
enja su tri modela ajtem-katakteristi
č
nekrive: Rašov ili Jednoparametarski model, Dvoparametarski model i Troparametarski model.Slika 1. Tipi
č
na Ajtem Karakteristi
č
na Kriva,P(
θ
) – Verovatno
ć
a davanja ta
č
nog odgovora,
Θ
– Sposobnost, OsobinaU aplikaciji KAPI primenjen je jednoparametarski (Rašov) model. Što zna
č
i da verovatno
ć
a davanja ta
č
nogodgovora u odnosu na posmatranu osobinu, u ovom slu
č
aju znanje, zavisi samo od jednog faktora. Tajfaktor je težina pitanja (u formuli (1) obeležen je oznakom b). Formula koriš
ć
ena za ra
č
unanje verovatno
ć
eda
ć
e ispitanik
ta
č
no odgovoriti na postavljeno pitanje
 j 
 je:
( )( )
 j  j 
bbij 
ee p
+=
θ θ 
1
1
, za
i=1,2,…,n
i
 j=1,2,…,k 
… (1)
n-predstavlja ukupan broj ispitanika, dok k-predstavlja ukupan broj pitanja u banci ajtema,
Parametar 
b
 j 
,(stavska kalibracija)
definiše
težinu 
pitanja, dok
θ 
 
 je
mera
koja zavisi jedino od svojstva osobe
i naziva se
latentna crta osobe, u ovom slu 
č 
aju govorimo o znanju.
 
 
Formiranje banke ajtema.
 
Banka ajtema je
strukturisana kolekcija ajtema
, implementirana na ra
č
unaru, kojase kreira, održava i koristi pomo
ć
u specijalizovanog softvera. U aplikaciji KAPI banka pitanja sastavljana jeod 54 pitanja podeljenih u dve oblasti, kako se u teoriji i preporu
č
uje. Pitanjima u obe oblasti dodeljeni sutežinski koeficijenti u rasponu od –3 do 3 logita (Jedan logit odgovara verovatno
ć
i pozitivnih odgovora od73%. Dakle, ako je ispitanik na testu sposobnosti od 100 pitanja ta
č
no odgovorio na 73, njegova mera bi
ć
e1.) od strane stru
č
nog lica. Pitanja prve oblasti bila su takozvana Da/Ne pitanja. Odnosno prikazana su trimogu
ć
a odgovora: Da, Ne i Ne znam, od kojih je ispitanik mogao da izabere samo jedno, pri
č
emu seodgovor Ne znam tretirao kao ne ta
č
an. Pitanja druge oblasti bila su pitanja višestrukog izbora od kojih jesamo jedan odgovor ta
č
an. Implementirana je kao tabela u okviru baze podataka. Skup automatskiodabranih pitanja iz banke pitanja (na osnovu kriterijuma za izbor) predstavlja test za odre
đ
enog ispitanika.
Izbor prvog pitanja (po
č 
etak testiranja)
. U aplikaciji KAPI primenjene su dve metode za po
č
etak testiranja:
Pitanjem koje odgovara konkretnoj procenjenoj vrednosti inicijalnog znanja
– Predstavlja na
č
in odabiraprvog pitanja za prvu oblast, gde se za inicijalno znanje uzima vrednost 0.65 (jer ona predstavlja nivoznanja nešto iznad proseka, a treba znati da nema presudni uticaj kada ispitanik odgovori na dovoljanbroj pitanja). Na osnovu te vrednosti vrši se odabir pitanja za koje informaciona funkcija ima najve
ć
uvrednost.
Pitanjem na osnovu izra
č 
unate inicijalne procene znanja odabranim modelom
– Predstavlja na
č
inodabira prvog pitanja za drugu oblast gde se za izra
č
unatu vrednost inicijalne procene znanja uzimaprocenjeno znanje iz prve oblasti. Na osnovu te vrednosti bira se pitanje koje
ć
e sa najve
ć
ompreciznoš
ć
u u
č
estvovati u daljoj proceni tj. pitanje sa najvišom vrednoš
ć
u informacione funkcije.
Informaciona funkcija [2] 
. Statisti
č
ko zna
č
enje informacione funkcije (Fisher) je recipro
č
na vrednost odpreciznosti parametara koji se procenjuju(2)I - nivo informacija;
2
δ  
- mera preciznosti – varijansa procenjene sposobnosti.Pošto se ovde radi o informaciji o osobini (
θ
) koju poseduje jedno pitanje ili
č
itav test ovu informacijumožemo ozna
č
iti kao I(
θ
). Za jednoparametarski model informativnost ajtema se može izra
č
unati kao:
( ) ( ) ( )
θ θ θ 
Q
=
(3)P
i
(
s
θ 
) – verovatno
ć
a davanja ta
č
nog odgovora na ajtem i , za dati model ajtem karakteristi
č
ne krive, za nivosposobnosti
s
θ 
,Q
i
(
s
θ 
) = 1 – P
i
(
s
θ 
) - verovatno
ć
a davanja neta
č
nog odgovora na ajtem i, za dati model ajtem karakteristi
č
nekrive, za nivo sposobnosti
s
θ 
.Sabiranjem informativnosti svih ajtema nekog testa može se dobiti ukupna informativnost tog testa o osobinikoju on meri:(4)
Standardna greška [5] 
.
Standardna greška predstavlja standardnu devijaciju asimptoti
č
ke normalnedistribucije maksimalne verovatno
ć
e sposobnosti za datu ta
č
nu vrednost. Odnosno, koli
č
ina informacija kojutest obezbe
đ
uje, za datu procenjenu sposobnosti, obrnuto je srazmerna ta
č
nosti sa kojom izra
č
unavamosposobnost u toj ta
č
ci.(5)I(
Θ
) -Informaciona funkcija testa.
Odre
đ 
ivanje redosleda zadavanja pitanja [5] 
. U aplikaciji KAPI primenjuje se Procedura maksimalneinformacije, koja obezbe
đ
uje izbor onog pitanja za koje informaciona funkcija doseže najviši nivo u odnosuna procenjeno znanje predhodne iteracije. Može se izdvojiti kao zaseban slu
č
aj koriš
ć
enje Bejzijanoveprocedure i to pri izboru prvog pitanja jer se tada predpostavlja a priori vrednost za inicijalnu procenu znanja iu odnosu na nju vrši izbor pitanja.Ispitaniku model postavlja prvo pitanje na osnovu neke od metoda za po
č
etak testiranja. Ispitanik odgovarana pitanje i na osnovu njegovog odgovora vrši izbor slede
ć
eg pitanja. Ako je ispitanik odgovorio ta
č
no, na
2
1
δ  
=
( )
=
=
n
1
)(
θ θ 
( )( )
θ θ 
SE 
1
=

You're Reading a Free Preview

Download
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->