psicometria-tema9.

pdf

raquelcontrera

Psicometría

2º Grado en Psicología

Facultad de Psicología
Universitat de València

Reservados todos los derechos.

No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
 PSICOMETRIA 1
TEMA 9. VALIDESA: FONTS D’EVIDÈNCIA EXTERNES

1. RELACIONS DEL TEST AMB ALTRES VARIABLES

- Concloure sobre el grau en què les relacions de les puntuacions del test amb altres mesures
reprodueixen les relacions implicades en la xarxa nomològica.

- Objectiu: demostrar que els constructes no son productes artificials creats per instruments de
mesura utilitzats.

1.1. Evidència convergent i discriminant

- Evidència convergent: mesures del mateix tret efectuades amb diferents mètodes tenen una
alta correlació
- Evidència discriminant: mesures del mateix tret efectuades amb diferents mètodes
correlacionen més que mesures de diferents trets amb el mateix mètode.

Cal mesurar diversos trets per diferents mètodes:

ANÀLISI DE MATRIUS MULTITRET-MULTIMÈTODE (MRMM) Campbell i Fiske (1959)

- Test DAT: Test d’Aptituds Diferencials

- Test P.M.A: Test d’Aptituds Mentals Primàries

Matriu multitret-multimètode:

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5630017
 PSICOMETRIA 2

Problemes:
- Gran esforç en elaboració de proves
- Dificultat en interpretar matrius molt grans
- Mostra àmplia de subjectes disposats a contestar un nombre important de tests

Altres tècniques
- Anàlisi factorial confirmatòria amb efectes de mètode.

1.2. Relacions test-criteri

- OJECTIU: concloure sobre l’existència de relació entre les puntuacions del test i les mesures
del criteri que es preten predir.
- Especial rellevància en l’àmbit de la selecció

Quan mesurar el criteri

- Estudis predictius: primer el test, després el criteri
- Estudis concurrents: test i alhora criteri
- Estudir retrospectius: primer el criteri, després el test

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5630017
 PSICOMETRIA 3

Procediments per a la recollida d’evidència:

• Coeficient de validesa
- Correlació entre les puntuacions del test (X) i del criteri (Y)

- Rang de valors admissibles

- Interpretació
- General: com qualsevol correlació
- Existència: contrast d’hipòtesi

- Importància: coeficient de determinació

• Regressió lineal simple

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5630017
 PSICOMETRIA 4

• Regressió lineal múltiple

2. BIAIX I FUNCIONAMENT DIFERENCIAL DE L’ÍTEM (FDI)

- Un ítem presenta FDI quan individus amb el mateix nivell d’habilitat tenen diferent probabilitat
d’encertar (estar d’acord) pel simple fet de pertànyer a grups diferents.
- Exemple:
“Un ítem dirigit a mesurar raonament numèric però que per la seua forma de redacció i, sense
voler-ho, mesura també raonament verbal.
Pensem que les dones tenen major raonament verbal que els homes.
Llavors la probabilitat de contestar a l’ítem anterior dependrà de les dues capacitats i, a igual
capacitat de raonament numèric, les dones tindran més puntuació per tenir major raonament
verbal.”

FUNCIONAMENT DIFERENCIAL DE L’ÍTEM (FDI):

- Un ítem presenta FDI quan mostra diferents propietats estadístiques en diferents grups sempre
que aquestes diferències no siguen reals en el constructe mesurat.

- Impacte: diferència entre grups en l’exercici causada per una diferència real en la variable
mesura (no sempre que un test o un ítem mostren diferencies entre 2 grups suposarà fdi).

- Condicions que s’han de donar:

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5630017
 PSICOMETRIA 5
a. Multidimensionalitat de l’ítem: Un ítem que presenta FDI està tractant de mesurar una
habilitat principal, la que pretén mesurar el test, però també mesura altres habilitats, espúries,
que sense pretendre-ho, afecten els resultats del test

b. Diferents distribucions dels grups en l’habilitat espúria: Només si dos grups tenen
diferents distribucions en les habilitats espúries, que no es pretenen mesurar, els ítems són
capaços de mesurar aquestes múltiples dimensions i l’estimació d'aquestes habilitats es
concreta en una única mesura.

- Procediments per a la detecció de FDI:

a. No paramètrics: basats en taules de contingència

b. Paramètrics: regressió logística i TRI ajustada a diferents grups.

3. ALTRES FONTS D’EVIDÈNCIA

3.1. Basada en el procés de resposta

- OBJECTIU: concloure sobre el grau en què les estratègies usades per respondre son acords
amb la definició del constructe a mesurar
- Es troben implicats en el procés de resposta els individus
- Identificar quins son els components cognitius implicats: proporciona evidència de validesa i
enrriqueix la definició del constructe.

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5630017
 PSICOMETRIA 6
3.2. Basada en les conseqüències de l’aplicació
- Incorporar en la conceptualització de la validesa les conseqüències desitjades i no desitjades
derivades de l’aplicació i ús dels tests. Samuel Messik (1989)
- Acord en que l’anàlisi de les conseqüències de l’ús dels tests és important però ha de ser
considerat com a part de la validació?

Detractors
- Wiley (1991)
- Maguire, Hattie y Haig (1994)
- Tenopyr (1996)
- Popham (1997)
- Mehrens (1997)

Defensors
- Messick (1975, 1989, 1995)
- Cronbach (1988)
- Shepard (1993, 1997)
- Linn (1993, 1997)
- Moss (1995)

Arguments dels detractors

- És important, però ha de considerar-se a part de l’estudi de validació
- Implica anàlisis socials, polítics i morals que queden fora de la competència dels estudis de
validació
- La seua consideració complica la conceptualització de la validesa
- Inviabilitat de caràcter institucional i econòmic

Arguments dels defensors

- Són part essencial del procés de validació i no un problema
- La conceptualització de la validesa no és simple, però la solució no està en reduir artificialment
el concepte per ferlo més senzill
- Reconeixen problemes pràctics, però no incloure-ho és donar-li menys importància

Aspecte polèmic:
“Espere que els autors de la revisió de les Normes reconeguen el debat i releguen qualsevol
discussió sobre les conseqüències a un context separat del concepte de validesa”
Mehrens, 1997

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5630017