TEMA-8.

pdf

xbulerias

Psicometría

2º Grado en Psicología

Facultad de Psicología
Universitat de València

Reservados todos los derechos.

No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
 TEMA 8. VALIDESA: FONTS D’EVIDÈNCIA INTERNA

1. EVIDÈNCIA BASADA EN EL CONTINGUT

Objectiu: Examinar l'adequacio฀ amb la qual el contingut del test mostreja el domini

sobre el qual es van a realitzar les infere฀ncies

Avalu฀a la representativitat dels i฀tems que formen el test, com a mostres de un domini
me฀s ample d’i฀tems representatius.

 Hem fet be฀ l'operacionalitzacio฀ del constructe???

A realitzar en les primeres etapes de construccio฀ del test

Exigira฀ un ampli coneixement de l'objectiu de la mesura i de les seves possibles

indicadors empi฀rics.

PASSOS

1. Definir el camp o domini d’intere฀s del test. Requereix disposar d'una definicio฀
teo฀rica del constructe clara i ben fonamentada. Proce฀s que va des de la teoria cap
a l'empi฀ric.

2. Seleccionar un conjunt de experts en el tema. Han d'haver-hi almenys 3 jutges

(experts) per cada i฀tem.

3. Proporcionar un marc estructurat per al proce฀s d'aparellar els i฀tems amb els temes
d'intere฀s de mesura del test. Enumerar totes les a฀rees de contingut del constructe
que es consideren importants i assegurar-se que el test conte฀ i฀tems que permeten
cobrir-les de forma adequada.

4. Seleccionar els i฀tems adequats a trave฀s del proce฀s d'aparellament i฀tem-camp

d'intere฀s.

Definició del domini: Especificacio฀ de les a฀rees a cobrir per a una correcta
representacio฀ del constructe

Anàlisi: Grau en que฀ els i฀tems so฀n una mostra representativa i rellevant del constructe

1.1 Definició del constrcute

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 Judicis d'experts en la mate฀ria per establir l'adequacio฀ dels i฀tems a les especificacions
del test

TAULA D'ESPECIFICACIONS

» Definicio฀ del constructe

» A฀rees de contingut (dimensions, contextos ...)
» Processos (comprensio฀, ana฀lisi, generalitzacio฀...)

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 1.2 Anàlisi

ME฀TODE DE JUDICI: Consisteix en calcular la mitjana i la desviacio฀ ti฀pica de les

puntuacions atorgades pels jutges/experts per a cada un dels i฀tems amb relacio฀ a la
seua relleva฀ncia i representativitat. En base a aquesta puntuació, acabe concloent si es
representativa i rellevant. Com? Calcule el punt de tall

Punt de tall: els i฀tems amb puntuacions per sota d'aquest reflectiran baixa relleva฀ncia
i representativitat i es plantejara฀ la seua inclusio฀ en l'escala.

Exemple: En una escala de depressio฀, els experts han de valorar cada i฀tem d'1 a 10. El
punt de tall e฀s 8, tot i฀tem que no arribe a aquesta puntuacio฀, no mostrara฀
evide฀ncies de validesa de contingut.

AVALU฀A DOS ASPECTES:

» Rellevància: l’i฀tem e฀s necessari, essencial, per al domini?

» Representativitat: els i฀tems so฀n suficients per avaluar el domini?

ME฀TODES D’AVALUACIO฀: I฀NDEXS NUME฀RICS

» I฀ndex de Validesa de Contingut (IVC)

Es basa en la valoració d'un grup d'experts de cada un dels i฀tems del test com a
necessari, u฀til i essencial.
ne= nombre d’experts que consideren l’item
𝑁
𝑛𝑒 − essencial
𝐼𝑉𝐶 = 2
𝑁
2 N=nombre total d’experts

El IVC oscil.la entre +1 i -1, sent les puntuacions positives les que indiquen major validesa
de contingut. Punts de tall suggerits (Lawshe, 1975):

o IVC ≥ 0,29 quan s'hagen utilitzat 40 experts (TOTAL)

o IVC ≥ 0,51 quan s'hagen utilitzat 14 experts (TOTAL)

o IVC ≥ 0,99 quan s'hagen utilitzat 7 experts (TOTAL)

EXEMPLE

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 Hem construït un test i volem estudiar la validesa de contingut dels seus i฀tems. Per a
aixo฀, vam reco฀rrer a 40 experts. 30 experts han classificat a l’i฀tem 1 com a u฀til i

essencial, mentre que 10 no ho han fet. Podem considerar, segons l'I฀ndex de validesa
de contingut, que aquest i฀tem te฀ validesa de contingut?

𝑁 40
𝑛𝑒 − 30 −
𝐼𝑉𝐶 = 2 = 2 = 0.5
𝑁 40
2 2
Segons el nombre d’experts concloeré una cosa o altra. Tinc 40, nombre de tall: 0.29.

¿¿¿¿ Com 0.5 > 0.29 (nombre tall)  major validesa ????

» Índex de Hambleton

En aquest procediment es proporciona als jutges una llista dels objectius o àrees a cobrir
pel test i se'ls presenta cada i฀tem en una fitxa separada. Cada jutge compara l'i฀tem amb
la llista d'objectius i tracta d'establir el grau en que฀ s’aparella cada i฀tem amb l'objectiu
o àrea a partir d'una escala de 5 punts (1 = mal ajust, 5 = ajust excel·lent)

N = nombre d'objectius o a฀rees a cobrir

𝑁
𝐼𝑖𝑘 = (𝑚𝑖𝑘 − 𝑚𝑖 )
2𝑁 − 2 mik = mitjana dels jutges per l'i฀tem i i l'objectiu k

mi = mitjana dels jutges per l'i฀tem i en tots els

Aportacio฀ davant del IVC: Ens permet cone฀ixer en concret com es relaciona cada i฀tem
amb cada a฀rea.

EXEMPLE

Hem construït un test d'autoestima per a estudiants que volem que cobreixi 5 a฀rees del
constructe: acade฀mica, fi฀sica, familiar, social i emocional. Preguntem a 40 jutges en
quina mesura creuen que el primer i฀tem s'aparella amb cada a฀rea, en una escala d'1
(mal ajust) a 5 (ajust excel.lent).

 A l'a฀rea acade฀mica, l'i฀tem obte฀ una puntuacio฀ mitjana de 4,5.

 A l'a฀rea fi฀sica, l'i฀tem obte฀ una puntuacio฀ mitjana de 3,2.
 A l'a฀rea familiar, l'i฀tem obte฀ una puntuacio฀ mitjana de 4,1.

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
  A l'a฀rea social, l'i฀tem obte฀ una puntuacio฀ mitjana de 2,3.
 A l'a฀rea emocional, l'i฀tem obte฀ una puntuacio฀ mitjana de 3,0.

PROCEDIMENT: calcular l'I฀ndex de Hambleton per al i฀tem 1 en cadascuna de les

a฀rees. L'i฀tem s'assignara฀ a l'a฀rea on s'ajusti millor (el valor de l'i฀ndex sigua me฀s
alt).

 Quin és el valor de l’índex de Hambleton per a l’àrea acadèmica?

𝑁 5
𝐼𝑖𝑘 = (𝑚𝑖𝑘 − 𝑚𝑖 ) = (4.5 − 3.42) = 0.675
2𝑁 − 2 2∗5 − 2
 Quin és el valor de l’índex de Hambleton per a l’àrea fisica?

𝑁 5
𝐼𝑖𝑘 = (𝑚𝑖𝑘 − 𝑚𝑖 ) = (3.2 − 3.42) = −0.138
2𝑁 − 2 2∗5 − 2
El valor mes alt (mes prop a 1) serà el que major es relaciona amb l’item (àrea acadèmica)

1.3 Validesa aparent

Grau en que฀ el test produeix la impressio฀ que mesura el constructe proposat quan

s'observa el seu contingut. Fa refere฀ncia al grau en que฀ e฀s possible que els subjectes
en contestar un determinat test reconeguin la utilitat per mesurar allo฀ que es prete฀n.
Que de la formulacio฀ dels i฀tems del test es comprengui que฀ es prete฀n mesurar.

» Desitjable: actitud i motivació positiva

» Indesitjable: falsejament de les respotes (escales de sinceritat)

2. EVIDÈNCIA BASADA EN L’ESTRUCTURA INTERNA

Objectiu: Concloure sobre el grau en que฀ els i฀tems reprodueixen l'estructura

hipotetizada

Tradicionalment lligada a l'estudi de la dimensionalitat del test

» Definicio฀ del constructe

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 » Contrastacio฀ empi฀rica del grau en que฀ les relacions entre els i฀tems reflecteixen

l'estructura hipotetizada

2.1 Anàlisi factorial

 Te฀cnica estadi฀stica multivariada de reduccio฀ de dades

Consisteix a explicar les relacions empi฀riques entre variables observades (i฀tems) a partir
d'un nombre reduït de variables no observades (factors)

Objectiu: trobar el nombre mi฀nim de dimensions que expliquen les diferents respostes
de les persones o el que els i฀tems tinguen en comú

FACTOR

o E฀s un grup homogeni d'elements (i฀tems) que tenen altes correlacions entre si per
compartir alguna caracteri฀stica subjacent
o Els factors so฀n dimensions relativament independents entre si, formats per grups
d'elements (i฀tems) diferents

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 2.2 Procés i fases de l’anàlisi

FORMULACIÓ DEL PROBLEMA

S'aborda la seleccio฀ de :

» Les variables a analitzar (i฀tems):

o El me฀s habitual e฀s que siguin CONTI฀NUES.
o Han de recollir els ASPECTES ME฀S ESSENCIALS de la tema฀tica que es vol
investigar  la seua SELECCIO฀ estara฀ marcada per la Teoria Psicolo฀gica
subjacent.
o E฀s important saber, primer, els factors que es pretenen mesurar i despre฀s,
en funcio฀ d'aquests, triar les variables.
» Els elements de la poblacio฀ on aquestes variables (i฀tems) van ser abordades
(mostra).
o Ha de ser representativa de la poblacio฀ i de la major granda฀ria possible

(4/5 vegades me฀s observacions que variables).

Determinar l’enfocament de l’anàlisi factorial:

Tots dos mètodes s’utilitzen

per avaluar l’estructura
subjacent a una matriu de
correlacions

– A.F. Exploratori (AFE)

 No permet a l’investigador:
 definir quins i฀tems mesuren quins factors
 ni les relacions entre els factors
 Nome฀s permet determinar el nombre de factors que es poden esperar.

 Pero฀ no la seva composicio฀ ni les relacions entre els factors

– A.F. Confirmatoria (AFC)

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
  Permet a l’investigador:
 determinar el nombre de factors que s'esperen

 definir quins i฀tems mesuren quins factors

 definir les relacions entre els factors
 Determinar el nombre de factors, la seva composicio฀ i les relacions entre
els factors

ANÀLISI DE LA MATRIU DE CORRELACIÓ

Objectiu: Comprovar si les correlacions entre les variables so฀n adequades per realitzar
l’ana฀lisi factorial.

– Requisit fonamental : les variables (i฀tems) han d'estar intercorrelacionades.

• Proves per a la seua comprovacio฀ s'utilitzen les mesures d'adequacio฀ mostral:

» Prova o test d’esfericitat de Barlett (condicio฀ necessa฀ria)

Contrasta si la matriu de dades e฀s una matriu identitat (ortogonal; H0: les dades NO
esta฀n relacionades):

o Si MH0 (p > 0,05)  les dades NO esta฀n relacionades  NO te฀ sentit

interpretar els resultats de l’AF.
o Si RH0 (p < 0,05)  les dades SI esta฀n relacionades  SI te฀ sentit interpretar
els resultats de l’AF.

» Mesura d’adequació de la mostra KMO: grau de relacio฀ conjunta entre les variables

Oscil.la entre 0-1. Com me฀s alt, me฀s relacionades estan les variables. Punts de tall per
a la seva interpretacio฀ :

o Si KMO > .90: excel·lent.

o Si KMO > .70: acceptable
o Si .50 < KMO < .70: dubtosa

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 o Si KMO < .50: inacceptable

ESTIMACIÓ DEL MODEL: EXTRACCIÓ DE FACTORS

Me฀tode d’extraccio฀: Procediments a partir dels quals s'estimen els para฀metres del
model (ex: pesos i correlacions entre factors)

Obeeix a tres tipus de criteris :

1. Explicar el ma฀xim de la varia฀ncia total observada: Components Principals (CP.

component = factor). No e฀s un me฀tode de AF

o Combinacio฀ lineal de les variables observables (i฀tems).

o Els components (factors) s'extreuen de manera que el primer (F1) explica el

ma฀xim possible de la varia฀ncia total disponible. El segon (F2), explica el

ma฀xim de la varia฀ncia que queda en eliminar la varia฀ncia explicada pel
primer component ...
o Aquest proce฀s continua fins explicar tota la varia฀ncia disponible, per a
aixo฀ cal extreure tants factors com i฀tems  Contrari a l’objectiu de l’AF :
reduccio฀ de dades.

o SOLUCIO฀: criteris que ens permeten seleccionar un nombre menor de

components.
• Problema: Dins de la varia฀ncia total s'inclou l'error

2. Reproduir el millor possible les correlacions observades : Mi฀nims quadrats Ordinari:

conjunts de me฀todes basats en un criteri comu฀.

o Determinacio฀ de la solucio฀ factorial que fa que els residuals estiguin me฀s

proper a 0.
o Residuals: difere฀ncies entre les correlacions observades (empi฀riques) i les
correlacions reproduïdes pel model.
o Fan mi฀nima la suma de quadrats de les difere฀ncies entre les correlacions
observades i les reprodui฀des pel model.

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 o Adequats en variables ordinals quan s'analitza la matriu de correlacions
polico฀ricas i quan no es pot aplicar ML en variables quantitatives.

A) Factors o Eixos principals (EP)

B) Mi฀nims quadrats no ponderats (ULS) (No supo฀sits restrictius, ni preocupacions per

mides mostrals)

» El me฀tode d'extraccio฀ e฀s igual que el de components principals, pero฀...

» en lloc d'extreure els factors en funcio฀ de la varia฀ncia total que expliquen
(components principals), s'extreuen en funcio฀ de la COMUNALITAT dels i฀tems
(hij):

» Proporcio฀ de varia฀ncia que explica cada i฀tem sobre tots els factors en conjunt
que extreu l'ana฀lisi

(Varia฀ncia comu฀: correlacio฀ mu฀ltiple al quadrat de cada i฀tem).

» Els factors s'extreuen de manera que el primer (F1) explica el ma฀xim possible de
la varia฀ncia comuna. El segon (F2), explica el ma฀xim de la varia฀ncia comuna
que queda en eliminar la varia฀ncia comuna explicada pel primer...

» El proces continu฀a fins explicar el 100% de la varia฀ncia comuna

» PROBLEMA: pot ser que s'extreguen massa factors  Contrari a l’objectiu de l’AF:
reduccio฀ de dades.
» SOLUCIO฀: criteris que ens permeten seleccionar un nombre menor de factors.

3. Obtindre els millors estimadors de la matriu factorial poblacional.

 Ma฀xima Versemblança (ML)

» Te฀ en compte que les puntuacions obtingudes en els i฀tems provenen d'una
mostra i que aquesta mostra prove฀ d'una poblacio฀.
» Per tant, busca quin valor han de tenir els para฀metres poblacionals perque฀ les
dades mostrals siguen el me฀s versemblants possible.
» Extrau els factors a partir de les correlacions parcials entre els i฀tems (controlant
l'efecte de la varia฀ncia comuna dels factors).

» Assumeix la normalitat multivariada.

o Si les dades NO so฀n normals problemes de converge฀ncia.

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 » Les estimacions no depenen de l'escala de mesura dels i฀tems.

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 DETERMINACIÓ DEL NOMBRE DE FACTORS

PROBLEMA DE L'EXCE฀S DE NOMBRE DE FACTORS EXTRETS : SOLUCIO฀  criteris

cla฀ssics que ens permeten seleccionar un nombre menor de factors :

» CRITERI DE KAISER: Conserva els factors que tenen valors propis (autovalors inicials o
eigenvalues) majors a 1 (extrau els factors que expliquen major percentatge de
varia฀ncia total). Tendeix a sobreestimar el nombre de factors. E฀s el me฀s
desaconsellat actualment.
» GRA฀FIC DE SEDIMENTACIO฀ (Scree test): permet veure gra฀ficament a partir de
quin nombre de factors els autovalors decauen bruscament (certa subjectivitat).

» SELECCIONAR EL NOMBRE DE FACTORS QUE ESPEREM SEGONS LA TEORIA

» LA SOLUCIO฀ QUE OFEREIX LA MILLOR INTERPRETACIO฀ POSSIBLE

SOLUCIO฀  criteris actuals que ens permeten seleccionar un nombre menor de factors:
NO DISPONIBLE EN EL SPSS

» ANALISI PARAL∙LEL (AP): combinacio฀ entre el criteri de Kaiser i el test de

sedimentacio฀ (me฀s objectiu). Compara gra฀ficament la corba dels valors propis

empi฀rics i la corba dels valors propis creats a l'atzar. El punt d'interseccio฀ entre les
dues corbes indica el nombre de factors a retenir (me฀s objectiu).

ROTACIÓ DE FACTORS

o La matriu factorial original resulta difi฀cil d'interpretar (no queda clar en que฀ factor
satura cada variable).
o Per facilitar la interpretacio฀: rotacio฀ factorial. Consisteix a fer girar els eixos de

coordenades, que representen els factors, fins a aconseguir que s'aproximen al

ma฀xim a les variables en que฀ estan saturats.
o La matriu factorial rotada e฀s una transformacio฀ lineal de l'original i explica la
mateixa quantitat de varia฀ncia inicial, pero฀ e฀s me฀s fa฀cil d'interpretar.
o Decisio฀ a prendre: Tipus de rotacio฀ a utilitzar: rotació ortogonal o rotacio฀
obliqua

» Ortogonal: S'assumeix la independe฀ncia o abse฀ncia de relacio฀ entre les

dimensions analitzades.

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851
 o Me฀tode me฀s emprat : Varimax
o Si hipotetitzem una dimensio฀ de me฀s importa฀ncia seguida d'altres

menys importants : Quartimax

» Obliqua: S'assumeix que les dimensions o factors estan correlacionats.
o Me฀tode me฀s emprat : Oblimin
o Me฀tode de rotacio฀ me฀s utilitzat en Psicologia.

INTERPRETACIÓ DE FACTORS

Puntuació:

» Directa: Les puntuacions observades (X) en els i฀tems.

» Factorial: Saturacio฀ factorial (aij): correlacio฀ de l’i฀tem i amb el factor j (es requereix
almenys de .30)
- aij2: variancia de l’i฀tem i explicada pel factor j.

Criteri d’assignació dels items als factors

» Pra฀ctica me฀s comu฀ e฀s retenir saturacions que estiguen per damunt de .30

» Alguns autors so฀n me฀s estrictes i situen el punt de tall en .40.

» A me฀s: la discrepa฀ncia entre les saturacions ha de ser de .30 o .40.
» Si hi ha problemes amb els elements per solapaments o no arribar a punts de tall:
Eliminar i฀tem del test, o reformular l'i฀tem, i tornar a executar l’AFE

COM EL PROCE฀S DE
VALIDACIÓ DEL MODEL
VALIDACIO฀ D'UN
Es replica l’estrucutra esperada? INSTRUMENT NO ACABA
MAI ...
 SI: afegim evidència de validesa basada en l’estructura interna
ME฀S ANA฀LISI: AFE
 NO:

É
Ó

É À

Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-5632851