BLOC TEMTIC 2: Interpretaci de les puntuacions

Com shan dinterpretar les puntuacions dun test? La puntuaci directa duna persona en un test depn del nombre i propietats psicomtriques dels tems, de com shan puntuat, de com combinem les puntuacions en els tems per arribar a la puntuaci final, de que shagi establert o no un temps lmit dadministraci... Per tant, no s directament interpretable. Perqu una puntuaci tingui sentit, lhem de referir als continguts inclosos en el test o al rendiment de les dems persones que composen el grup normatiu, utilitzant el que anomenem nomes o barems. Els barems ens serveixen per assignar a cada possible puntuaci directa un valor numric que ens informa de la seva posici en relaci amb les puntuacions que obtenen les persones que integren el grup normatiu (mostra de persones a les que sha aplicat el test per a lobtenci dels barems, procs que sanomena baremaci). La quantitat, mida i adequaci dels barems dependr del grup normatiu en el que sobtenen. s freqent obtenir les normes que corresponguin als diferents subgrups que responen al test. Es parla de normes de lusuari (obtingudes amb una mostra concreta que ha resps al test durant un cert perode de temps) i normes de convenincia (sobtenen desprs daplicar el test a la mostra disponible durant la seva elaboraci). Al utilitzar els barems produm interpretacions referides a la norma. Una altra manera de facilitar la interpretaci consisteix en relacionar una puntuaci amb el rendiment en els tems especfics, per inferir qu sap o sap fer o la posici de lavaluat en la caracterstica psicolgica que mesura el test. Es parla en aquest cas dinterpretacions referides al criteri. Les proves que requereixen interpretacions referides al criteri acaben oferint informaci sobre la posici de cada persona en relaci a les dems. Per tant, amb freqncia, els tests solen permetre i oferir diversos tipus dinterpretacions, encara que sigui una (la normativa o la de criteri) la que resulta ms til a lobjectiu del test. Per interpretar les puntuacions, se sol recrrer als punts de tall. De vegades se nobt noms un, que permet establir la pertinena al dos grups. Altre vegades se nobtenen dos o ms, el que permet definir 3 o ms nivells de rendiment. A ms, els punts de tall es poden utilitzar en els dos tipus dinterpretacions. En el cas de les referides al criteri, a cada nivell se li assignen interpretacions qualitativament diferents, que indiquen el que saben fer els que arriben a aquesta classificaci. En les interpretacions referides a la norma, se sol fixar un percentatge de rebuig (com es fa en selecci de personal). Altres maneres de fer una interpretaci referida al criteri son el mapatge dtems i el nivell dacompliment. Transformacions de les puntuacions INTERPRETACIONS REFERIDES A LA NORMA BAREMS CRONOLGICS T sentit comparar la puntuaci dun avaluat amb les que obtenen els avaluats de la seva mateixa edat i els dedats diferents. Aix es pot realitzar mitjanant dos tipus diferents de barems: ledat mental (EM) i el coeficient intellectual (CI). Ledat mental s ledat que correspon al grau de constructe (rendiment) que demostra una persona en la realitzaci dun test.

Un exemple dinterpretaci dedat mental seria el segent: un nen obt en un test una puntuaci directa de 14 punts, per tant, direm que es correspon amb una edat mental de 9 anys, mirant la taula. El coeficient intellectual s el resultat de dividir ledat mental entre ledat cronolgica (EC) de la persona. Per prescindir dels decimals, el resultat es multiplica per 100 i sarrodoneix al nombre enter ms prxim.

Si la EM dun avaluat coincideix exactament amb la seva EC, el seu CI ser 100. Si el CI supera el valor de 100 significar que t una intelligncia superior al promig de la seva edat, mentre que si el seu CI s inferior a 100, significar que la seva intelligncia s inferior a la mitjana del seu grup dedat. Usualment, els coeficients intellectuals inferiors a 70 indiquen deficincies importants, mentre que els coeficients intellectuals superiors a 140 indiquen excepcionalitat intellectual. Els barems cronolgics noms poden aplicar-se quan la mitjana dun test augmenta amb ledat, i avui dia sapliquen poc, tot i que el seu s sha generalitzat internacionalment. Normalment, no saplica en edats adultes, excepte en alguns casos determinats. BAREMS TPICS Puntuacions tpiques (estandarditzades) Una puntuaci tpica sobt aplicant la segent transformaci:

La puntuaci tpica obtinguda pot ser positiva o negativa i indica el nombre de desviacions tpiques de sallunya de la mitjana la corresponent puntuaci directa (x). Per exemple, una puntuaci tpica de -2,23 indica que la corresponent puntuaci en el test X es troba 2.33 desviacions tpiques per sona de la mitjana. Puntuacions tpiques normalitzades Les puntuacions tpiques tenen dos inconvenients que dificulten el seu s: assumeixen valors no sencers i valors negatius. Per superar aquestes dificultats shan proposat les escales tpiques derivades, o derivades normalitzades. Les principals sn les escales T i les escales D.

Quan es pot assumir que les puntuacions dun grup normatiu en un test segueixen una distribuci normal, un rang centil concret dividit per 100 indica lrea de la corba normal (cosa que s un avantatge) que queda per sota del centil corresponent. Aix tamb fa que aquest tipus de puntuacions, no shagin daplicar quan la distribuci de les puntuacions est molt allunyada de la normalitat. Sobtenen al assignar a cada percentil de les puntuacions, el corresponent valor Z de la distribuci normal tipificada.

Quan la mitjana i la desviaci tpica de les puntuacions tpiques sn 0 i 1, respectivament, la mitjana de les puntuacions T i D s 50 i les respectives desviacions tpiques sn 10 i 20. Al generar una escala transformada, conv tenir en compte que el nombre de diferents valors de lescala sigui suficient perqu no es perdi part de la discriminaci que tenim en les puntuacions directes, per no tants valor com per donar la impressi de que les persones difereixen, quan per lerror de mesura de la proba podrien no diferir les seves puntuacions vertaderes.

En lescala T, quan el resultat de la transformaci s un valor menor de 10 (Z menor de -4), es converteix en 10, i si s major de 90, en 90. En lescala D, valors negatius (Z menor de -2,5) es converteixen en 0, i majors de 100, en 100. BAREMS CENTILS Els barems centils assignen a cada puntuaci del test el seu rang centil. No sha de confondre la paraula centil amb la paraula rang centil, el centil s la puntuaci del test a la que correspon el

rang centil, que s un percentatge. El rang centil indica el percentatge de persones del grup normatiu que obtenen puntuacions inferiors a la puntuaci en concret. Hi ha dues maneres dobtenir el rang centil duna puntuaci, depenent de que considerem la variable mesurada pel test com a discreta o contnua. En el cas de que sigui discreta, es dedueix que el rang centil de cada puntuaci s el valor de la columna percentatge acumulat que correspon a la puntuaci anterior. En el cas de que sigui contnua, saplica la segent frmula:

Els centils sn els barems ms utilitzats. Permeten la comparaci del rendiment de diferents persones en la mateixa prova i duna persona en diferents proves. La relaci entre les puntuacions i els seus rangs centils no s lineal, les unitats de mesura dels percentils no sn equidistants en puntuaci (els rangs centils que es troben als extrems difereixen menys entre s que els de les puntuacions centrals (les puntuacions centrals sn menys estables), degut a que hi ha un major nombre de subjectes en la part central), cosa que s el seu principal inconvenient. No es poden fer clculs aritmtics no estadstics amb puntuacions en escala de rangs percentils. INTERPRETACIONS REFERIDES AL CRITERI Mapatge dtems El procediment consisteix en associar a cada puntuaci ltem que sigui encertat amb una probabilitat dencert p, pels que tenen aquesta puntuaci. En el cas dels tems de resposta oberta es tracta de mostrar ltem que illustri de millor manera el rendiment que sespera de qui lobtingui en cada puntuaci. En resum, sassocien a cada puntuaci els continguts o procediments que cal dominar per obtenir-les. Descripci de cada nivell de dacompliment Es tracta destablir, mitjanant experts, els nivells dacompliment associats a determinades puntuacions en el test, amb lobjectiu dinformar del nivell de competncia als interessats. Suposem que shan establert quatre nivells de rendiment: Insuficient, Suficient, Destacat i Avanat. Un cop que sha fet el mapatge dtems, es demana als experts que analitzin als tems que queden prop dels corresponents punts de tall. La tasca dels experts s estudiar b aquests tems per trobar i descriure en poques frases qu sap i qu sap fer qui obtingui aquella puntuaci.

Punts de tall De vegades, lobjectiu duna determinada aplicaci s trobar la puntuaci o puntuacions del test que separen als competents dels no competents o als diferents nivells dacompliment que volem establir. Com hem dit, hi ha tant punts de tall pels tests referits a normes (lobjectiu s dividir el grup en subgrups que tinguin una mida prefixada) com pels tests referits a criteri (els punts de tall venen determinats per coneixements, destreses i capacitats requerides per les qualificacions). En aquest cas, ens centrem en els punts de tall per tests referits a criteri. Shan proposat els segents passos per lestabliment dels punts de tall:

A continuaci veurem alguns dels mtodes comentats per avaluar els tems dopci mltiple: Mtode Angoff: cada panelista proporciona per a cada tem la probabilitat que tindria lavaluat frontera dencertar en cada tem. La mitjana de les sumes donades pels panelistes seria el punt de tall cercat. Un problema que t aquest mtode s que se sap que les estimacions que es solen fer del rendiment dels avaluats frontera sol tenir un biaix negatiu (sn menors de les que shaurien de donar) en els punts de tall inferiors, i biaix positiu pels punts de tall superiors. Angoff tamb propos un altre mtode que consisteix en dir davant de cada tem si lexaminat frontera lencertaria o no. Aquest mtode s conegut com el mtode S- No; i sutilitza tamb el mtode Angoff per a tems politmics, en el que el panelista ha de donar una estimaci de la puntuaci esperada per lestudiant frontera a cada tem. Mtode Nedelsky: en cada tem el panelista ha dindicar quantes opcions podria saber que sn incorrectes lestudiant frontera. El punt de tall seria el promig de les sumes de tots els panelistes. Mtode del marca-pgines: es prepara una llista dtems ordenats pel seu parmetre b, que s lindicador de la dificultat dels tems en alguns models de la TRI. La tasca del

panelista s posar el marca-pgines entre dos tems, de manera que els que estan davant serien resolts correctament per lavaluat frontera amb una certa probabilitat major o igual a p, i amb una probabilitat menor els que van darrere. La tasca del panelista s veure, tem a tem, en quina la probabilitat dencert de lestudiant seria el valor de p prefixat. Altres mtodes, no especfics per avaluar tems dopci mltiple, sn el mtode del grup frontera (experts seleccionen a un conjunt davaluats frontera), el mtode dels grups que es comparen (sidentifiquen a estudiants que estiguin clarament per sobre del punt de tall i a un altre grup que estiguin clarament per sota daquest; les distribucions es comparen i se sol prendre com a punt de tall aquella puntuaci en la que les dues es tallen) i el mtode holstic (els panelistes veuen tota la feina dels avaluats, els treballs han estat prviament puntuats i sescull un per cadascuna de les puntuacions diferents assignades). Comunicaci de les puntuacions de les persones en els tests El ms freqent s que els tests proporcionin el barem centil i algun barem tpic. Una de les recomanacions de Hambleton sobre com informar de les puntuacions en els tests s que en els informes individuals saporti simultniament informaci numrica, el valor en la escala o escales apropiades i una grfica. Un exemple seria: la puntuaci en la prova (x), lestan i el rang centil, linterval de confiana en el que es troba el seu rang centil i la representaci grfica de la seva puntuaci. Sha dexplicar tamb el significat de linterval de confiana. Resums grfics