PSICOMETRIA

Solucions–PAC2

Validesa

Activitat 1.

El nostre test de raonament abstracte a que fèiem referència en la

segona activitat de la PAC1, s'ha passat a una mostra de 150 subjectes,
als quals també se'ls ha passat el test de Raven. El coeficient de
correlació de Pearson entre les puntuacions dels subjectes en els dos
tests ha sigut de 0,78. Consultant el manual del test de Raven, sabem
que el seu coeficient alfa és de 0,75.
D’altra banda, analitzant les puntuacions dels 150 subjectes en els dos
tests per tal de detectar aquells que presenten un alt nivell de
raonament abstracte, s'ha comprovat que el test de Raven detecta 30
subjectes, mentre que el nostre test en detecta 45. El nombre de
subjectes considerats com d'alt nivell de raonament abstracte pels dos
tests alhora és de 25. A partir d'aquestes dades, contesteu les
preguntes següents:

1.1. Quin seria el coeficient de validesa del test?.

El coeficient de validesa del test seria de 0,78, ja que és el valor del

coeficient de correlació entre les puntuacions en el test, i en el Raven
que ens serveix de criteri.

1.2. Quina estimació podem fer del coeficient de validesa anterior,

suposant que el test i el criteri tinguessin una fiabilitat perfecta?
(utilitzeu el coeficient alfa del test calculat en les solucions de l’apartat
2.2. de la PAC1).

Per obtenir l’estimació del coeficient de validesa suposant que el test i

el criteri tinguessin una fiabilitat perfecta, apliquem la fórmula
d’atenuació adequada per aquest cas:

ρ xy 0,78
ρv y = = = 1,05
x
ρ xx ' ρ yy ' 0,73 0,75

L’estimació que podem fer del coeficient de validesa anterior, suposant

que el test i el criteri (Raven) tinguessin una fiabilitat perfecta és de 1,
ja que és el màxim valor que pot assumir un coeficient de validesa
(validesa perfecte).

1.3. Quin seria el coeficient de validesa del test si li afegim 9 ítems als 6
inicials? (utilitzi el coeficient alfa del test obtingut en les solucions de
l’apartat 2.2. de la PAC1).

1
 PSICOMETRIA
Solucions –PAC2

Si afegim 9 ítems als 6 inicials, el test final tindrà 15 ítems i el coeficient

de validesa serà:

Ítems finals 15
n= = = 2,5
Ítems inicials 6

ρ xy n 0,78 2,5
ρ Xy = = = 0,85
1 + (n − 1)ρ xx ' 1 + (2,5 − 1) × 0,73

Si li afegim 9 ítems als 6 inicials, el coeficient de validesa del test serà

de 0,85.

1.4. Sabent que la mitjana de les puntuacions dels 150 subjectes en el

test ha sigut de 2,5 punts amb una desviació típica de 1,2, i que la
mitjana en el Raven ha sigut de 18 punts amb una desviació típica de 6,
entre quines puntuacions en el Raven podem pronosticar que obtindrà
un subjecte que té 3 punts en el nostre test? Construeixi l’interval amb
un nivell de confiança del 95%.

Per determinar la puntuació que podem pronosticar que tindrà en el criteri

(Raven), un subjecte que ha obtingut tres punts en el nostre test (x = 3),
aplicarem el model de la regressió.
La equació de la recta de regressió serà: y’ = a + b x, on b és el pendent
de la recta i a la intersecció o ordenada en el origen.
El pendent (b) i la intersecció (a) els podem calcular a partir de les
següents fórmules:
sy 6
b = rxy · = 0,78 = 3,9 a = y − b· x = 18 − (3,9 ⋅ 2,5 ) = 8,25
sx 1,2
i per tant, tenim que: y’ = a + b x = 8,25 + 3,9 . 3 = 19,95.
Ara podem construir el interval de confiança a partir de la expressió
següent:
IC1−α → y ' ± tn−1;α / 2 ⋅ s y − y'
on tn-1,α/2, és el valor de la t d’Student amb n-1 graus de llibertat i el nivell
de confiança determinat, i Sy-y’ és l’error típic d’estimació.

En el nostre exercici, t amb 120 g.ll i α=0,05 = 1,98 , i

s y − y ' = s y 1 − rxy2 = 6 1 − 0,782 = 3,75

Així, IC1−α → y '±t n−1,α / 2 ⋅ s y − y ' = 19,95 ± 1,98 ⋅ 3,75 = [12,53 27,38]

, podem concloure que un subjecte que ha obtingut tres punts en el nostre

test, li podem pronosticar que tindrà entre 12 i 28 punts (arrodonint) en el
Raven, amb un nivell de confiança del 95% .
 PSICOMETRIA
Solucions –PAC2

1.5. Obtingui i interpreti l'indicador adequat per valorar la validesa de

decisió del nostre test per detectar subjectes amb alt nivell de
raonament abstracte.

Per obtenir l'indicador adequat per valorar la validesa de decisió del

nostre test per detectar subjectes amb alt nivell de raonament
abstracte, tenim que calcular el coeficient Kappa amb la fórmula
següent:

F − Fa
(25 + 100) −  (30 × 45) + (120 × 105)150 
k= c =   = 0,56
n − Fa 
150 −  (30 × 45 ) + (120 × 105 ) 

 150 

a partir de les dades de l'enunciat recollides de la següent taula:

Raven
Alt nivell Baix nivell
Alt nivell 25 20
Test
Baix nivell 5 100

Segons els criteris de Alman, podem interpretar aquest valor com

corresponent a una validesa de decisió moderada del nostre test per
detectar subjectes amb un alt nivell de raonament abstracte.

1.6. Quines són la sensibilitat i la especificitat del nostre test?

La sensibilitat del nostre test per detectar subjectes amb un alt nivell de
raonament abstracte serà:

Detectats pel nostre test 25

Sensibilitat = = = 0,83
Total de subjectes amb alt nivell (Raven) 30

La especificitat del nostre serà:

Subjectes sense alt rendiment detectats pel nostre test 100

Especificitat = = = 0,83
Total de subjectes sense alt rendiment (Raven) 120

Activitat 2.

En aquesta activitat s’ha administrat el nostre test de raonament

abstracte una mostra més amplia de subjectes, i a partir de les seves
 PSICOMETRIA
Solucions –PAC2

respostes s’ha aplicat una anàlisi de factorial per tal d’analitzar

l’estructura interna del test.

La taula següent indica les saturacions factorials obtingudes en aquesta

anàlisi, havent extret un factor o component.
Component 1
Ítem 1 0,72
Ítem 2 0,65
Ítem 3 0,80
Ítem 4 0,76
Ítem 5 0,78
Ítem 6 0,82

2.1 Obtingui la comunalitat per cada ítem, el valor propi i el percentatge de

variància explicada. O sigui, completi la taula següent:

Component 1 Comunalitat
Ítem 1 0,72 0,52
Ítem 2 0,65 0,42
Ítem 3 0,80 0,64
Ítem 4 0,76 0,58
Ítem 5 0,78 0,61
Ítem 6 0,82 0,67
Valor propi 3,44
Variància explicada 57,32 %

2.2 Quines conclusions podem extreure sobre la dimensionalitat d’aquests 6

ítems del test de raonament abstracte? .

Podem concloure que els 6 ítems que formen el test mesuren un sol
constructe (el raonament abstracte), i que per tant és unidimensional, ja
que tots els 6 ítems tenen saturacions factorials elevades en el component
extret.

Activitat 3

3.1. Un grup de psicòlegs i assistents socials volen construir un test per

avaluar el grau de deteriorament cognitiu de les persones grans. En el
procés de validació d'aquest test han fet les següents proves :

a) Han demanat a un grup de 10 psicòlegs experts en gerontologia, que

determinin la adequació de cada un dels 12 ítems inicialment creats
per mesurar el deteriorament cognitiu.
b) Han administrat el test definitiu a una mostra de 120 persones de
més de 65 anys a les que prèviament també els hi havien administrat
el MEC-LOBO, que és una prova àmpliament utilitzada per valorar el
deteriorament cognitiu.
 PSICOMETRIA
Solucions –PAC2

c) Han realitzat una Anàlisi Factorial amb les respostes dels subjectes de
la mostra anterior.
d) Han entrevistat a 20 d'aquests subjectes, per tal de recollir
informació sobre diferents aspectes relacionats amb les seves
respostes al test.
e) Han utilitzat les respostes dels 120 subjectes de la mostra per
analitzar les seves necessitats i requeriments d'ajust socials, i han
remès aquesta informació al Departament de Benestar Social.

Determini el diferent tipus d'evidència de validesa en que s'emmarca cada

una de les accions anteriors, justificant en cada cas la seva resposta.

a) En aquest cas obtenen evidències sobre el contingut del test, ja que

es basa en els judicis de 10 experts en la matèria pròpia d'aquest test.
b) Aquesta acció va encaminada a obtenir evidències sobre la relació amb
altres variables. Pretén verificar la relació entre les puntuacions en el
test, i les obtingudes pels mateixos subjectes en una altre prova que
serveix de criteri, ja que mesura el mateix constructe.
c) L'Anàlisi Factorial aportarà evidències sobre l'estructura interna del
test, ja que permetrà determinar la seva dimensionalitat, o sigui si tots
els ítems mesuren un mateix constructe.
d) En aquest cas aportaran evidències sobre el procés de resposta al test.
e) Finalment aquesta darrera acció permetrà obtenir evidències sobre les
conseqüències de l'aplicació del test.

3.2. A partir dels resultats d'algunes de les proves anteriors, respongui les
seves qüestions:

a) La taula següent recull el nombre d'experts (fi), dels 10 consultats,

que han considerat adequat cada un dels 12 ítems inicials:

Ítems 1 2 3 4 5 6 7 8 9 10 11 12
fi 9 7 8 5 8 10 8 7 6 9 8 10

Quins d'aquests 12 ítems inicials no es consideren adequats per

mesurar el deteriorament cognitiu?. Justifiqui la seva resposta.

Un ítem no es considera adequat si té un índex de congruència

inferior a 0,7. L'índex de congruència és la proporció d'experts que
considera l'ítem adequat.
En el nostre exemple, els índex de congruència (IC) dels diferents
ítems seran:

Ítems 1 2 3 4 5 6 7 8 9 10 11 12
fi 9 7 8 5 8 10 8 7 6 9 8 10
IC 0,9 0,7 0,8 0,5 0,8 1 0,8 0,7 0,6 0,9 0,8 1

Per tant, hi ha 2 ítems (el 4 i el 9) que no es consideren adequats.

 PSICOMETRIA
Solucions –PAC2

b) Si es considera que les puntuacions tant del nou test com del MEC-
LOBO són numèriques, però mesurades en escales ordinals, quina
tècnica estadística ens servirà per a determinar el coeficient de
validació del nou test?.

Si les puntuacions tant en el nou test com en el MEC-LOBO son

numèriques però mesurades en escales ordinals, tindrem que obtenir
el coeficient rs de Spearman o el coeficient τ (Tau) de Kendall, per
determinar el coeficient de validesa del test.

c) Com a resultat de l'Anàlisi Factorial, la taula següent mostra la matriu

de components amb les saturacions dels 10 ítems finals que formen
part del test definitiu en els dos components extrets:

Component
Ítem 1 2
1 0,78 0,05
2 0,67 -0,12
3 -0,04 0,82
4 0,81 -0,09
5 0,12 0,61
6 0,09 0,74
7 0,59 -0,03
8 0,08 0,66
9 -0,12 0,77
10 0,72 -0,15

Interpreti els resultats anteriors, sense necessitat de fer cap càlcul

nou.

En funció de la matriu de saturacions factorial anteriors, podem

concloure que el test es bidimensional, o sigui que mesura dos
constructes diferents.
Per una banda, un dels dos constructes agrupa els ítems 1, 2 4, 7 i
10 (ja que tots mostren saturació elevada amb el primer component),
mentre que l'altre agrupa els ítems 3, 5, 6, 8 i 9 (que mostren
saturacions elevades amb el segon component).