NUEVA NORMA ISO 10667

NUEVA NORMA ISO 10667

EVALUACI
EVALUACI

N DE PERSONAS EN
N DE PERSONAS EN
CONTEXTOS LABORALES Y
CONTEXTOS LABORALES Y
ORGANIZACIONALES
ORGANIZACIONALES
J os
J os

Mu
Mu

iz
iz
Universidad de Oviedo
Universidad de Oviedo
Objetivos
Conocer la nueva Norma I SO 10667
Profundizar en el problema de la
Evaluacin de personas
Nuevas Tendencias en Evaluacin
Pasin Evaluadora
Esquema
Esquema

Introducci
Introducci

n
n
: Marco referencial
: Marco referencial
sobre el proceso de evaluaci
sobre el proceso de evaluaci

n de
n de
Personas
Personas

Presentaci
Presentaci

n de la Norma ISO 10667

n de la Norma ISO 10667

Perspectivas futuras
Perspectivas futuras
: Ideas para un
: Ideas para un
debate abierto
debate abierto
Introducci
Introducci

n
n
Marco referencial sobre el proceso
Marco referencial sobre el proceso
de evaluaci
de evaluaci

n de Personas
n de Personas
Hechos
Hechos

Pandemia Evaluadora:
Pandemia Evaluadora:

De repente en las Instituciones y

De repente en las Instituciones y
Empresas
Empresas
todo el mundo se ha
todo el mundo se ha
puesto a evaluar a todo el mundo a
puesto a evaluar a todo el mundo a
todas horas
todas horas
Por qu esta obsesin
evaluadora?
Para Mejorar el
funcionamiento institucional a
distintos niveles
Cadena de Intervencin
Evaluacin rigurosa
Diagnstico preciso
Intervencin Eficaz
Basada en evidencias

A Qu
A Qu

niveles hay que

niveles hay que
mejorar?
mejorar?

Personas
Personas

Productos
Productos

Procesos
Procesos

Sistemas
Sistemas
Complejidad del Proceso
Evaluador
Por dnde empezar a evaluar?
Qu evaluar?
Quin evala?
Qu se hace con los resultados?
El torcido leo del que estamos
hechos los humanos (Kant)
Mitos sobre lo
Mitos sobre lo
Humano
Humano

Racional
Racional

Irracional
Irracional
-
-
Instintivo
Instintivo
Kahneman, D. (2011). Kahneman, D. (2011). Thinking, fast and slow Thinking, fast and slow. .
London: Penguin Books. London: Penguin Books.
Grandes n
Grandes n

meros
meros

20.000 genes
20.000 genes

7.000 millones de habitantes

7.000 millones de habitantes

6.000 Lenguas
6.000 Lenguas

100.000 millones de neuronas

100.000 millones de neuronas

100 billones de conexiones

100 billones de conexiones
SE NECESITA
UN MODELO INTEGRAL
DE EVALUACIN
Modelo General de
Evaluacin Institucional
A. Qu se evala
B. Partes legtimamente implicadas
C. Quin evala
D. Cmo se evala: Metodologa
E. Feedback a las partes
F. Planes de Mejora
G. Opinin de las partes
A.
A.

Qu
Qu

se eval
se eval

a en una
a en una
empresa o instituci
empresa o instituci

n?
n?

Personas
Personas

Productos
Productos

Procesos
Procesos

Sistemas
Sistemas
Frmula del Rendimiento
Profesional
Rendimiento = Capacidad x Esfuerzo
Variables implicadas en el
Variables implicadas en el
Rendimiento Profesional
Rendimiento Profesional
1. Caracter 1. Caracter sticas Personales sticas Personales
Aptitudes Aptitudes
Actitudes Actitudes
Personalidad Personalidad
Inteligencia Emocional Inteligencia Emocional
2. Compa 2. Compa eros de trabajo eros de trabajo
3. J efes 3. J efes
4. Tipo de tarea 4. Tipo de tarea
5. Cultura de empresa 5. Cultura de empresa
6. Ambiente familiar 6. Ambiente familiar
7. Entorno Socio 7. Entorno Socio- -cultural cultural
Inteligencia Emocional:
Inteligencia Emocional:
Los Techos de Cristal
Los Techos de Cristal
Nos ayuda a optimizar nuestro
Nos ayuda a optimizar nuestro
rendimiento a partir de un esfuerzo y
rendimiento a partir de un esfuerzo y
de unas capacidades intelectuales
de unas capacidades intelectuales
determinadas
determinadas
Facetas de la Inteligencia Emocional
Facetas de la Inteligencia Emocional

Inteligencia INTRA
Inteligencia INTRA
-
-
personal
personal

Autoconocimiento
Autoconocimiento

Control Emocional
Control Emocional

Motivaci
Motivaci

n
n

Inteligencia INTER
Inteligencia INTER
-
-
personal
personal

Empat
Empat

a
a

Habilidades Sociales
Habilidades Sociales
Cualidades Personales
Cualidades Personales
m
m

s valoradas por las empresas

s valoradas por las empresas
1.
1. Responsabilidad Responsabilidad
2.
2. Iniciativa Iniciativa
3.
3. Capacidad Intelectual Capacidad Intelectual
4.
4. Tenacidad Tenacidad
5.
5. Creatividad Creatividad
6.
6. tica tica
7.
7. Lealtad Lealtad
8.
8. Seguridad en s Seguridad en s mismo mismo
9.
9. Discreci Discreci n n
10.
10.Sinceridad Sinceridad
Habilidades Sociales
Habilidades Sociales
m
m

s valoradas por las empresas

s valoradas por las empresas
1.
1. Trabajo en equipo Trabajo en equipo
2.
2. Adaptaci Adaptaci n n
3.
3. Ganas de aprender Ganas de aprender
4.
4. Superaci Superaci n n
5.
5. Disponibilidad Disponibilidad
6.
6. Organizaci Organizaci n n
7.
7. Capacidad de comunicaci Capacidad de comunicaci n n
8.
8. Integraci Integraci n n
9.
9. Capacidad para las relaciones sociales Capacidad para las relaciones sociales
10.
10.Dotes de mando Dotes de mando
Las cinco Aptitudes
demandadas por Google
Razonamiento analtico
Capacidad de Comunicacin
Deseo de experimentar
Saber trabajar en equipo
Pasin y Liderazgo
B. Partes legtimamente
implicadas
Personas Evaluadas
RRHH
Departamentos implicados
Direccin
Representacin Sindical
C. Quin evala
Externa
Interna
Mixta
D. Cmo se evala:
Metodologa
Instrumentos de medida
Objetivos
Claros
Comprensibles por las partes
Cuantitativos (cuando sea posible)
Fiables
Vlidos
E. Feedback a las partes
implicadas
Vital
Barato
Cundo darlo
Rpido
Cmo darlo
Vara segn el destinatario
Persona Evaluada
Supervisores
Direccin
Gestores
F. Planes de Mejora
Fundamentados en datos
Acordados con las partes
Objetivos
Medibles
Evitar generalizaciones hueras
Reculturalizacin de la empresa
G. Opinin de las partes
Objetivos:
Evaluar su opinin del proceso
Mejorar su implicacin
Hacerlos partcipes de los planes de mejora
Metodologa
Objetiva
Operativa
Fiable y Vlida
Nueva Norma ISO 10667
Nueva Norma ISO 10667
Nada Nuevo bajo el Sol
Nada Nuevo bajo el Sol
No inventa nada nuevo:
No inventa nada nuevo:
Sistematiza, operativiza, y da
Sistematiza, operativiza, y da
estructura de Norma ISO a
estructura de Norma ISO a
normas y regulaciones
normas y regulaciones
dispersas ya existentes
dispersas ya existentes
Marcos Reguladores Previos
Estndares Tcnicos de los Tests
AERA, APA, NCME
Modelos de Evaluacin de Tests
EFPA, COP, BPS
Cdigos ticos
APA, EFPA, COP
Directrices de Uso
ITC
Denominaci
Denominaci

n
n
Prestaci
Prestaci

n del Servicio de Evaluaci

n del Servicio de Evaluaci

n:
n:
Procedimientos y M
Procedimientos y M

todos para para

todos para para
Evaluar a las Personas en contextos
Evaluar a las Personas en contextos
de Trabajo y Organizacionales
de Trabajo y Organizacionales
Nota Hist
Nota Hist

rica
rica

Iniciativa del Instituto Alem

Iniciativa del Instituto Alem

n de
n de
Normalizaci
Normalizaci

n DIN
n DIN

Cuatro a
Cuatro a

os de trabajo y reuniones
os de trabajo y reuniones
internacionales (2007
internacionales (2007
-
-
2010)
2010)

Aprobaci
Aprobaci

n por el Comit
n por el Comit

TC230 el 17
TC230 el 17
de Diciembre de 2010
de Diciembre de 2010

Actualmente: Publicado (Oct. 2011)

Actualmente: Publicado (Oct. 2011)

Espa
Espa

a: AENOR (COP, AEDIPE)

a: AENOR (COP, AEDIPE)
Objetivo General de la Norma
Objetivo General de la Norma
Proporcionar unas reglas
Proporcionar unas reglas
claras y concisas a los
claras y concisas a los
Proveedores de Servicios
Proveedores de Servicios
Evaluativos y a los Clientes de
Evaluativos y a los Clientes de
estos, con el fin de llevar a
estos, con el fin de llevar a
cabo un Proceso Evaluativo
cabo un Proceso Evaluativo
riguroso
riguroso
C
C

mo alcanzar ese Objetivo

mo alcanzar ese Objetivo

Definiendo las
Definiendo las
Buenas pr
Buenas pr

cticas
cticas
de
de
los M
los M

todos y Procedimientos de
todos y Procedimientos de
Evaluaci
Evaluaci

n
n

Asegurando la
Asegurando la
Equidad
Equidad
en la
en la
aplicaci
aplicaci

n de los Procedimientos de
n de los Procedimientos de
evaluaci
evaluaci

n
n

Valoraci
Valoraci

n de la
n de la
Calidad del Servicio
Calidad del Servicio
de Evaluaci
de Evaluaci

n
n
Niveles de la Norma
Niveles de la Norma

Individual
Individual
Entrevistas Entrevistas
Selecci Selecci n de personal n de personal

Grupal
Grupal
Clima de Equipo Clima de Equipo
Rendimiento de grupos Rendimiento de grupos

Organizacional
Organizacional
Satisfacci Satisfacci n Laboral n Laboral
Cultura de empresa Cultura de empresa
Cobertura de la Norma:
Todo el Ciclo de Vida Laboral
Seleccin
Contratacin
Orientacin y asesoramiento laboral
Desarrollo Personal
Planificacin de sucesiones
Recolocacin
Estructura de la Norma
Estructura de la Norma

Parte 1: Requisitos para el Cliente

Parte 1: Requisitos para el Cliente

Parte 2: Requisitos para los

Parte 2: Requisitos para los
Proveedores del Servicio de
Proveedores del Servicio de
Evaluaci
Evaluaci

n
n
Quiero adoptarla en mi
Quiero adoptarla en mi
Empresa
Empresa

Es engorrosa su implementaci
Es engorrosa su implementaci

n en la
n en la
pr
pr

ctica?
ctica?
NO
NO
Niveles de Implementaci
Niveles de Implementaci

n
n

Certificaci
Certificaci

n Oficial a trav
n Oficial a trav

s de
s de
AENOR
AENOR

Todav Todav a en marcha a en marcha

Adopci
Adopci

n de hecho
n de hecho

Se adopta sin certificar oficialmente Se adopta sin certificar oficialmente

Menor valor, pero igualmente positivo Menor valor, pero igualmente positivo

Popular en EEUU Popular en EEUU

Seis Secciones
1. mbito de aplicacin
2. Terminologa y Definiciones
3. Acuerdo Cliente-Proveedor de servicio
4. Procedimientos Pre-Evaluacin
5. Realizacin de la Evaluacin
6. Revisin Post-Evaluacin
1. mbito de aplicacin
a) Necesidades y lgica del uso de la evaluacin
b) Condiciones de uso de la evaluacin
c) Enfoque de la evaluacin, procedimientos y
mtodos
d) Competencia y profesionalidad de los
profesionales implicados
e) Acceso, uso y custodia de los resultados
f) Decisiones relacionadas con la evaluacin
g) Mtodos y Procedimientos a utilizar
2. Terminologa y Definiciones
Se fija el sentido estricto de la
terminologa utilizada
Evaluacin
Evaluador
Cliente
Feedback
Consentimiento Informado
Datos personales
Fiabilidad
Validez
.
3. Acuerdo Cliente-Proveedor
de servicio
Responsabilidades del Cliente y del
Proveedor de Servicios
Previsin de Resultados y
Consecuencias
Competencia y Entrenamiento
Actividades complementarias de
Investigacin
Responsabilidades del
Cliente
Comunicar sus necesidades de evaluacin
Elegir un proveedor del servicio con la adecuada
capacidad y competencia
Comprobar que los mtodos de evaluacin se
basan en evidencias
Cumplir los requisitos del acuerdo establecido
Asumir las responsabilidades legales
Seguir las buenas prcticas y deontologa
profesional
Proteger la seguridad y confidencialidad de la
evaluacin
Responsabilidades del Proveedor
Responsabilidades del Proveedor
de Servicios Evaluativos
de Servicios Evaluativos

Colaborar con el cliente en la

Colaborar con el cliente en la
especificaci
especificaci

n de las caracter
n de las caracter

sticas de la
sticas de la
evaluaci
evaluaci

n
n

Dar informaci
Dar informaci

n exhaustiva al cliente
n exhaustiva al cliente

Atenerse a las regulaciones legales,

Atenerse a las regulaciones legales,
profesionales y deontol
profesionales y deontol

gicas
gicas

Velar por la confidencialidad de la

Velar por la confidencialidad de la
informaci
informaci

n
n

Proporcionar documentaci
Proporcionar documentaci

n completa y
n completa y
precisa sobre el proceso de evaluaci
precisa sobre el proceso de evaluaci

n
n
Competencia y Entrenamiento
Competencia y Entrenamiento
El proveedor de servicios deber
El proveedor de servicios deber

:
:

Utilizar las directrices adecuadas para seleccionar Utilizar las directrices adecuadas para seleccionar
y desarrollar las evaluaciones y desarrollar las evaluaciones

Tener los conocimientos te Tener los conocimientos te ricos y t ricos y t cnicos cnicos
requeridos por la evaluaci requeridos por la evaluaci n n

Conocer los m Conocer los m todos de evaluaci todos de evaluaci n disponibles n disponibles

Estar al d Estar al d a de los avances t a de los avances t cnicos cnicos

Conocer la competencia t Conocer la competencia t cnica de las personas cnica de las personas
implicadas en la evaluaci implicadas en la evaluaci n n

Asegurarse del comportamiento Asegurarse del comportamiento tico de las tico de las
personas implicadas en la evaluaci personas implicadas en la evaluaci n n
4. Procedimientos
Pre-Evaluacin

Identificaci
Identificaci

n de las Necesidades
n de las Necesidades
Evaluativas
Evaluativas

Decisi
Decisi

n sobre los Servicios de

n sobre los Servicios de
Evaluaci
Evaluaci

n ofertados
n ofertados

Acuerdo entre el Proveedor de

Acuerdo entre el Proveedor de
Servicios y el Cliente
Servicios y el Cliente
Acuerdo entre el Proveedor
Acuerdo entre el Proveedor
de
de
Servicios y el Cliente
Servicios y el Cliente

mbito de la evaluaci
mbito de la evaluaci

n
n

Duraci
Duraci

n del Servicio
n del Servicio

M
M

todos y Procedimientos utilizados

todos y Procedimientos utilizados

An
An

lisis a realizar con las mediciones

lisis a realizar con las mediciones
evaluativas
evaluativas

Tipos de informes de resultados

Tipos de informes de resultados

Combinaci
Combinaci

n de los resultados de distintos

n de los resultados de distintos
procedimientos
procedimientos

Roles, obligaciones y responsabilidades de

Roles, obligaciones y responsabilidades de
cliente y proveedor
cliente y proveedor
Acuerdo
Acuerdo
(Continuaci
(Continuaci

n)
n)

Privacidad de los datos, propiedad

Privacidad de los datos, propiedad
intelectual, almacenamiento y borrado de
intelectual, almacenamiento y borrado de
datos
datos

Compromiso de cumplimiento legal y

Compromiso de cumplimiento legal y
deontol
deontol

gico
gico

Naturaleza y frecuencia de revisiones

Naturaleza y frecuencia de revisiones
peri
peri

dicas
dicas

Tipo de feedback
Tipo de feedback

Identificaci
Identificaci

n de costes
n de costes
Acuerdo
Acuerdo
(Continuaci
(Continuaci

n)
n)

Competencias de las personas que llevan a

Competencias de las personas que llevan a
cabo las revisiones
cabo las revisiones

Especificar lo que ser

Especificar lo que ser

revisado y cu
revisado y cu

ndo
ndo

Quien estar
Quien estar

implicado en las revisiones

implicado en las revisiones

Criterios para la revisi

Criterios para la revisi

n
n

Naturaleza y forma del tipo de informe

Naturaleza y forma del tipo de informe
sobre las revisiones
sobre las revisiones
5. Realizacin de la
Evaluacin

Planificaci
Planificaci

n de la evaluaci
n de la evaluaci

n
n

Informaci
Informaci

n a los Participantes
n a los Participantes

Desarrollo de la Evaluaci
Desarrollo de la Evaluaci

n
n

Interpretaci
Interpretaci

n de los Resultados
n de los Resultados

Preparaci
Preparaci

n de I nformes
n de I nformes

Feedback
Feedback

Valoraci
Valoraci

n de la Evaluaci
n de la Evaluaci

n
n
Planificaci
Planificaci

n de la
n de la
evaluaci
evaluaci

n
n

Plan de Evaluaci
Plan de Evaluaci

n
n

Seguridad
Seguridad

Derechos de los participantes

Derechos de los participantes

Protecci
Protecci

n de Datos de los
n de Datos de los
Participantes
Participantes

Especificar Feedback
Especificar Feedback
Informaci
Informaci

n a los
n a los
Participantes
Participantes

Provisi
Provisi

n de Informaci
n de Informaci

n
n

Razones de la Evaluaci Razones de la Evaluaci n n

Necesidades especiales, Responsables Necesidades especiales, Responsables

Consentimiento Informado
Consentimiento Informado

Receptores de los resultados Receptores de los resultados

Usos suplemetarios Usos suplemetarios

Confidencialidad y Anonimato
Confidencialidad y Anonimato

Regular los t Regular los t rminos de confidencialidad rminos de confidencialidad

Desarrollo de la Evaluaci
Desarrollo de la Evaluaci

n
n

Competencia de los evaluadores

Competencia de los evaluadores

Adecuaci
Adecuaci

n de los instrumentos y
n de los instrumentos y
m
m

todos
todos

Condiciones adecuadas
Condiciones adecuadas

Seguridad
Seguridad

Documentaci
Documentaci

n del proceso
n del proceso
Interpretaci
Interpretaci

n de los
n de los
Resultados
Resultados

Competencia de los evaluadores

Competencia de los evaluadores

Procedimientos documentados
Procedimientos documentados

M
M

todos adecuados
todos adecuados

Evaluaciones de distintos m
Evaluaciones de distintos m

todos
todos

Documentar el procedimiento de Documentar el procedimiento de

combinaci combinaci n n
Preparaci
Preparaci

n de Informes
n de Informes

Detallados y emp
Detallados y emp

ricos
ricos

Puntuaciones Puntuaciones

Interpretaciones Interpretaciones

Resultados Resultados

Destinatarios
Destinatarios

A qui A qui n se facilitan n se facilitan

Facilitar la utilizaci Facilitar la utilizaci n n

Feedback
Feedback

Acordar tipo de Feedback

Acordar tipo de Feedback

C
C

mo proporcionarlo
mo proporcionarlo

Preciso
Preciso

Pertinente
Pertinente
Valoraci
Valoraci

n de la Evaluaci
n de la Evaluaci

n
n

Criterios de Evaluaci
Criterios de Evaluaci

n relevantes
n relevantes

Buenas pr
Buenas pr

cticas evaluativas
cticas evaluativas

Ajuste al marco legal y deontol

Ajuste al marco legal y deontol

gico
gico
del pa
del pa

s
s

Validez del proceso

Validez del proceso

Equidad inter
Equidad inter
-
-
grupal
grupal
6. Revisi
6. Revisi

n Post
n Post
-
-
Evaluaci
Evaluaci

n
n

Cumplimiento de los objetivos

Cumplimiento de los objetivos

Lo que se desarroll
Lo que se desarroll

y no de acuerdo
y no de acuerdo
con lo planeado
con lo planeado

Lecciones aprendidas para la mejora

Lecciones aprendidas para la mejora
futura
futura

Consecuencias deseadas y no
Consecuencias deseadas y no
deseadas
deseadas

Claridad de los Informes

Claridad de los Informes

Uso de los Informes

Uso de los Informes
Anexo A
Anexo A
(I nformativo)
(I nformativo)
Derechos y deberes de los
Derechos y deberes de los
participantes en la
participantes en la
evaluaci
evaluaci

n:
n:
Directrices y Expectativas
Directrices y Expectativas
Derechos
Derechos

Trato respetuoso, cort

Trato respetuoso, cort

s, imparcial
s, imparcial

Ser evaluado/ a con procedimientos

Ser evaluado/ a con procedimientos
que sigan las directrices
que sigan las directrices
profesionales
profesionales

Recibir informaci
Recibir informaci

n sobre la
n sobre la
evaluaci
evaluaci

n, sus fines, tipos y usos

n, sus fines, tipos y usos

Profesionalidad de los evaluadores y

Profesionalidad de los evaluadores y
quienes interpreten los resultados
quienes interpreten los resultados

Grado de Confidencialidad
Grado de Confidencialidad
Deberes
Deberes

Trato respetuoso con otros durante el

Trato respetuoso con otros durante el
proceso de evaluaci
proceso de evaluaci

n
n

Seguir las instrucciones

Seguir las instrucciones

Cumplir con lo requisitos de la evaluaci

Cumplir con lo requisitos de la evaluaci

n
n

Responder de forma honesta

Responder de forma honesta

I nformar sobre cualquier incidente o

I nformar sobre cualquier incidente o
condici
condici

n que influya en los resultados

n que influya en los resultados

Dar el Consentimiento informado

Dar el Consentimiento informado
Anexo B
Anexo B
(I nformativo)
(I nformativo)
I nformaci
I nformaci

n Complementaria
n Complementaria
sobre Documentaci
sobre Documentaci

n t
n t

cnica
cnica
de los Procedimientos y
de los Procedimientos y
M
M

todos de Evaluaci
todos de Evaluaci

n
n
B1. Documentaci
B1. Documentaci

n de los
n de los
M
M

todos y Procedimientos de
todos y Procedimientos de
Evaluaci
Evaluaci

n
n

Evidencias e investigaci
Evidencias e investigaci

n sobre los
n sobre los
M
M

todos y Procedimientos
todos y Procedimientos

Disponibilidad de la documentaci
Disponibilidad de la documentaci

n
n
para las partes implicadas
para las partes implicadas

Acceso p
Acceso p

blico a la documentaci
blico a la documentaci

n, o
n, o
accesibilidad para las partes
accesibilidad para las partes

Informaci
Informaci

n t
n t

cnica detallada
cnica detallada
B2. Objetividad de los
B2. Objetividad de los
M
M

todos y Procedimientos
todos y Procedimientos

Validez
Validez

Pertinencia de la inferencias Pertinencia de la inferencias

Fiabilidad
Fiabilidad

Estimaci Estimaci n de los errores n de los errores

Equidad
Equidad

Ausencia de Sesgo Ausencia de Sesgo

Adecuaci
Adecuaci

n de las acomodaciones
n de las acomodaciones

Comprobar de forma peri Comprobar de forma peri dica dica

Anexo C
Anexo C
Informaci
Informaci

n
n
complementaria sobre el
complementaria sobre el
An
An

lisis e Interpretaci
lisis e Interpretaci

n
n
de los Resultados
de los Resultados
Los Responsables de An
Los Responsables de An

lisis
lisis
de Datos e Interpretaci
de Datos e Interpretaci

n
n

Tener competencia acreditada

Tener competencia acreditada

Especificar los m
Especificar los m

todos de
todos de
combinaci
combinaci

n de medidas
n de medidas

Analizar e interpretar los datos con

Analizar e interpretar los datos con
equidad
equidad

Evitar generalizaciones inapropiadas

Evitar generalizaciones inapropiadas

Asegurarse de que las conclusiones

Asegurarse de que las conclusiones
est
est

n avaladas por los datos

n avaladas por los datos
Anexo D. Informaci
Anexo D. Informaci

n complementaria
n complementaria
sobre los Informes
sobre los Informes

Utilizar informes basados en evidencias

Utilizar informes basados en evidencias

Rese
Rese

ar las limitaciones
ar las limitaciones

Especificar el peso de los datos de la

Especificar el peso de los datos de la
evaluaci
evaluaci

n respecto de otros
n respecto de otros

Ajustar el tipo de Informe al destinatario

Ajustar el tipo de Informe al destinatario

Lenguaje Lenguaje

Contexto Contexto

Tecnolog Tecnolog a a
S
S

ntesis
ntesis

Trabajo colaborativo Cliente

Trabajo colaborativo Cliente
-
-
Proveedor
Proveedor

Transparencia
Transparencia

Acuerdo Cliente
Acuerdo Cliente
-
-
Proveedor
Proveedor

Personal especializado
Personal especializado

M
M

todos basados en evidencias

todos basados en evidencias
Ejercicio de Certificaci
Ejercicio de Certificaci

n:
n:
Autoinforme
Autoinforme
A continuaci
A continuaci

n punt
n punt

e de 1 (total
e de 1 (total
desacuerdo) a 10 (total acuerdo) el
desacuerdo) a 10 (total acuerdo) el
grado en el que su compa
grado en el que su compa

a lleva a
a lleva a
cabo cada uno de los requisitos
cabo cada uno de los requisitos
descritos a la hora de realizar una
descritos a la hora de realizar una
evaluaci
evaluaci

n en un contexto laboral u
n en un contexto laboral u
organizacional
organizacional
Ejercicio
Ejercicio
1. Su cliente le comunic de forma precisa sus
necesidades de evaluacin
2. El cliente comprob que los mtodos de
evaluacin se basaban en evidencias
3. El cliente cumpli con los requisitos del acuerdo
establecido
4. El cliente asumi las responsabilidades legales
que le correspondan
5. Se siguieron las buenas prcticas y deontologa
profesional
6. Se protegi la seguridad y confidencialidad de la
evaluacin
Ejercicio (cont.)
Ejercicio (cont.)
7. Colabor 7. Colabor con el cliente en la especificaci con el cliente en la especificaci n de las n de las
caracter caracter sticas de la evaluaci sticas de la evaluaci n n
8. Proporcion 8. Proporcion informaci informaci n exhaustiva al cliente n exhaustiva al cliente
9. Se siguieron las regulaciones legales, 9. Se siguieron las regulaciones legales,
profesionales y deontol profesionales y deontol gicas gicas
10. Se mantuvo la confidencialidad de la 10. Se mantuvo la confidencialidad de la
informaci informaci n n
11. Proporcion 11. Proporcion al cliente documentaci al cliente documentaci n completa n completa
y precisa sobre el proceso de evaluaci y precisa sobre el proceso de evaluaci n n
Ejercicio (cont.)
Ejercicio (cont.)
12. Sigui 12. Sigui las directrices adecuadas para seleccionar las directrices adecuadas para seleccionar
y desarrollar las evaluaciones y desarrollar las evaluaciones
13. Dispone de los conocimientos te 13. Dispone de los conocimientos te ricos y t ricos y t cnicos cnicos
requeridos por la evaluaci requeridos por la evaluaci n n
14. Conoce los m 14. Conoce los m todos de evaluaci todos de evaluaci n disponibles n disponibles
15. Est 15. Est al d al d a de los avances t a de los avances t cnicos cnicos
16. Conoce la competencia t 16. Conoce la competencia t cnica de las personas cnica de las personas
implicadas en la evaluaci implicadas en la evaluaci n n
17. Se ha asegurado el comportamiento 17. Se ha asegurado el comportamiento tico de las tico de las
personas implicadas en la evaluaci personas implicadas en la evaluaci n n
Ejercicio (cont.)
Ejercicio (cont.)
En el contrato con el Cliente En el contrato con el Cliente: :
18. Se especific 18. Se especific el el mbito de la evaluaci mbito de la evaluaci n n
19. Se concret 19. Se concret la duraci la duraci n del Servicio n del Servicio
20. Se especificaron los M 20. Se especificaron los M todos y Procedimientos utilizados todos y Procedimientos utilizados
21. Se establecieron los An 21. Se establecieron los An lisis a realizar con las mediciones lisis a realizar con las mediciones
evaluativas evaluativas
22. Se especificaron los Tipos de informes de resultados 22. Se especificaron los Tipos de informes de resultados
23. Se estableci 23. Se estableci el tipo de Combinaci el tipo de Combinaci n de los resultados de n de los resultados de
distintos procedimientos distintos procedimientos
24. Se concretaron los Roles, obligaciones y responsabilidades 24. Se concretaron los Roles, obligaciones y responsabilidades
de cliente y proveedor de cliente y proveedor
Ejercicio (cont.)
Ejercicio (cont.)
En el contrato con el Cliente En el contrato con el Cliente: :
25. Se especific 25. Se especific la Privacidad de los datos, la Privacidad de los datos,
propiedad intelectual, almacenamiento y borrado propiedad intelectual, almacenamiento y borrado
de datos de datos
26. Se estableci 26. Se estableci el Compromiso de cumplimiento el Compromiso de cumplimiento
legal y deontol legal y deontol gico gico
27. Se estableci 27. Se estableci la Naturaleza y frecuencia de la Naturaleza y frecuencia de
revisiones peri revisiones peri dicas dicas
28. Se concret 28. Se concret el Tipo de feedback a proporcionar el Tipo de feedback a proporcionar
29. Se especificaron los costes de la evaluaci 29. Se especificaron los costes de la evaluaci n n
Ejercicio (cont.)
Ejercicio (cont.)
En el contrato con el Cliente En el contrato con el Cliente: :
30. Quedaron claras la Competencias de las 30. Quedaron claras la Competencias de las
personas que llevan a cabo las revisiones personas que llevan a cabo las revisiones
31. Se especific 31. Se especific lo que ser lo que ser revisado y cu revisado y cu ndo ndo
32. Se detall 32. Se detall quienes estar quienes estar n implicados en las n implicados en las
revisiones revisiones
33. Se definieron los Criterios para la revisi 33. Se definieron los Criterios para la revisi n n
34. Se acord 34. Se acord la Naturaleza y forma del tipo de la Naturaleza y forma del tipo de
informe sobre las revisiones informe sobre las revisiones
Ejercicio (cont.)
Ejercicio (cont.)
35. Se estableci
35. Se estableci

un Plan de Evaluaci
un Plan de Evaluaci

n
n
detallado
detallado
36. Se especificaron los sistemas de
36. Se especificaron los sistemas de
seguridad de los datos
seguridad de los datos
37. Se garantizaron los Derechos de los
37. Se garantizaron los Derechos de los
participantes
participantes
38. Se garantiz
38. Se garantiz

la Protecci
la Protecci

n de los Datos
n de los Datos
de los Participantes
de los Participantes
39. Se especific
39. Se especific

el tipo de Feedback a
el tipo de Feedback a
proporcionar
proporcionar
Ejercicio (cont.)
Ejercicio (cont.)
40. Se detallaron las razones de la
40. Se detallaron las razones de la
evaluaci
evaluaci

n elegida
n elegida
41. Se especificaron los receptores de los
41. Se especificaron los receptores de los
resultados
resultados
42. Se concretaron los usos de la evaluaci
42. Se concretaron los usos de la evaluaci

n
n
43. Se garantiz
43. Se garantiz

la Confidencialidad y el
la Confidencialidad y el
Anonimat
Anonimat
o
o
Ejercicio (cont.)
Ejercicio (cont.)
44. Se garantiz
44. Se garantiz

la Competencia de los
la Competencia de los
evaluadores
evaluadores
45. Los instrumentos y m
45. Los instrumentos y m

todos utilizados
todos utilizados
eran los adecuados
eran los adecuados
46. La evaluaci
46. La evaluaci

n se llev
n se llev

a cabo en
a cabo en
Condiciones adecuadas
Condiciones adecuadas
47. Se garantiz
47. Se garantiz

la Seguridad de los datos

la Seguridad de los datos
48. El proceso de evaluaci
48. El proceso de evaluaci

n se document
n se document

de forma adecuada
de forma adecuada
Ejercicio (cont.)
Ejercicio (cont.)
49.
49.
Los informes realizados fueron
Los informes realizados fueron
Detallados y emp
Detallados y emp

ricos
ricos
50. Se especificaron los destinatarios
50. Se especificaron los destinatarios
autorizados de los informes
autorizados de los informes
51. Se llev
51. Se llev

a cabo una revisi

a cabo una revisi

n del
n del
desarrollo de la evaluaci
desarrollo de la evaluaci

n
n
52. Se obtuvieron evidencias acerca de la
52. Se obtuvieron evidencias acerca de la
satisfacci
satisfacci

n de las partes implicadas en

n de las partes implicadas en
la evaluaci
la evaluaci

n
n
Perspectivas de Futuro
en la Evaluacin de
personas
Grandes y rpidos cambios:
Hitos de la medicin
- Teora Clsica: Spearman (1904)
- TRI: Lord y Novick (1968)
- Tests I nformatizados: Actualidad
En 1977
(cuando acab la carrera)
1. Tecnologa psicomtrica sencilla
2. Tarjetas perforadas
3. Ordenadores main frame
4. No acceso a Internet
Hoy, 2012
(35 aos despus)
1. Modelos psicomtricos sofisticados
2. Ordenadores personales, porttiles y
tablets por doquier
3. Internet
4. Evaluacin Informatizada
El Cisne Negro:
Quin predijo estos grandes
cambios?
- Nadie lo hizo
- Ser el primer escptico sobre
mis reflexiones de futuro
Nuevos desarrollos en la Evaluaci
Nuevos desarrollos en la Evaluaci

n
n
1.
1.
Model
Model
os de medida
os de medida
2.
2.
Tecnolog
Tecnolog

a utilizada
a utilizada
3.
3.
Items
Items
4.
4.
Fiabilidad
Fiabilidad
5.
5.
Vali
Vali
dez
dez
6.
6.
Uso de instrumentos de medida
Uso de instrumentos de medida
7.
7.
Tendencias futuras
Tendencias futuras
1.
1.
Model
Model
os de medida
os de medida

De la Teor
De la Teor

a Cl
a Cl

sica de los Tests a la Teor

sica de los Tests a la Teor

a
a
de Respuesta a los
de Respuesta a los

tems (TRI)
tems (TRI)
* Enfoques complementarios * Enfoques complementarios

Todav
Todav

a funcionando
a funcionando
:
:
Teor Teor a de la Generalizabilidad a de la Generalizabilidad
Tests Referidos al Criterio Tests Referidos al Criterio
Curvas Caracter
Curvas Caracter

sticas de los Items

sticas de los Items
0.0
0.2
0.4
0.6
0.8
1.0
-3 -2 -1 0 1 2 3
Ability
P
r
o
b
a
b
i
l
i
t
y

o
f

C
o
r
r
e
c
t

R
e
s
p
o
n
s
e


.
4
33
46
19
16
5
22
30
Algunas Aplicaciones de la TRI
Algunas Aplicaciones de la TRI
1.
1.
Evaluaci
Evaluaci

n Educativa
n Educativa
2.
2.
Tests selectivos (tales como SAT, GRE,
Tests selectivos (tales como SAT, GRE,
GMAT, TOEFL, ASVAB)
GMAT, TOEFL, ASVAB)
3.
3.
Tests psicol
Tests psicol

gicos
gicos
4.
4.
Evaluaci
Evaluaci

n de Calidad de Vida
n de Calidad de Vida
5.
5.
Evaluaciones Internacionales (tales como
Evaluaciones Internacionales (tales como
TI MSS, PI SA)
TI MSS, PI SA)
6.
6.
Ex
Ex

menes de Acreditaci
menes de Acreditaci

n (M
n (M

dicos,
dicos,
Enfermetas, Administrativos
Enfermetas, Administrativos

)
)
2. Tecnolog
2. Tecnolog

a
a
del papel y l
del papel y l

piz a los ordenadores

piz a los ordenadores

Cada vez m
Cada vez m

s tests se aplican por

s tests se aplican por
ordenador
ordenador

Tests Adaptativos Informatizados (TAIs)

Tests Adaptativos Informatizados (TAIs)
Concepto Concepto
Ventajas Ventajas
3. I tems
3. I tems

Grandes avances en su elaboraci

Grandes avances en su elaboraci

n
n

Bancos de
Bancos de

tems
tems

Influencia de la tecnolog
Influencia de la tecnolog

a
a
inform
inform

tica
tica

I tems Multimedia
I tems Multimedia

Nuevos formatos (m
Nuevos formatos (m

s de 50 descritos)
s de 50 descritos)
Dimensiones de I nnovaci
Dimensiones de I nnovaci

n
n

Formato
Formato

Tipo de respuesta
Tipo de respuesta

Medios t
Medios t

cnicos incluidos (audio, video...)

cnicos incluidos (audio, video...)

Nivel de interactividad
Nivel de interactividad

M
M

todos de puntuaci
todos de puntuaci

n
n
Aciertos, Errores, Tiempos, Intentos, Estrategias Aciertos, Errores, Tiempos, Intentos, Estrategias
4. Fiabilidad
4. Fiabilidad

Funci
Funci

n de I nformaci
n de I nformaci

n
n
Fiabilidad para cada nivel de medici Fiabilidad para cada nivel de medici n n

Teor
Teor

a de la Generalizabilidad
a de la Generalizabilidad

Tests Referidos al Criterio

Tests Referidos al Criterio
Funciones de Informaci
Funciones de Informaci

n
n
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
1.6
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
Ability
I
n
f
o
r
m
a
t
i
o
n
Item 1: b=0.0, a=1.0, c=0.2 Item 4: b=2.0, a=1.5, c=0.25
Item 2: b=1.0, a=1.0, c=0.2 Item 5: b=1.5, a=0.5, c=0.0
Item 3: b=-1.0, a=1.5, c=0.2 Total
Funciones de Informaci
Funciones de Informaci

n de Items
n de Items
0.0
0.5
1.0
1.5
2.0
2.5
3.0
-3 -2 -1 0 1 2 3
Ability
I
n
f
o
r
m
a
t
i
o
n
4
33
46
16
22
30
5
19
Funci
Funci

n de Informaci
n de Informaci

n
n
0
2
4
6
8
10
12
14
-3 -2 -1 0 1 2 3
Ability
T
e
s
t

I
n
f
o
r
m
a
t
i
o
n
0
0.2
0.4
0.6
0.8
1
S
t
a
n
d
a
r
d

E
r
r
o
r
5. Validez
5. Validez
1.
1.
Correlaci
Correlaci

n con el Criterio
n con el Criterio
(Thorndike, 1904) (Thorndike, 1904)
2.
2.
Contenido
Contenido
(Cureton, 1951) (Cureton, 1951)
3.
3.
Constructo
Constructo
(Cronbach y Meehl, 1955 (Cronbach y Meehl, 1955) )
4.
4.
Consecuencial
Consecuencial
(Messick, 1989 (Messick, 1989) )
5.
5.
Concepci
Concepci

n unitaria
n unitaria
(APA, 1999) (APA, 1999)
6. Uso de instrumentos de medida
6. Uso de instrumentos de medida
Conectando Investigadores y Profesionales
Conectando Investigadores y Profesionales

Uso adecuado de los tests

Uso adecuado de los tests

Evaluaci
Evaluaci

n de la calidad de los tests

n de la calidad de los tests

Actitudes hacia los tests

Actitudes hacia los tests
Estrategias para mejorar el uso de los
Estrategias para mejorar el uso de los
tests
tests

Enfoque restrictivo
Enfoque restrictivo
Clasificaci Clasificaci n de los tests: A, B, C n de los tests: A, B, C
Certificaci Certificaci n (Tests, Usuarios) n (Tests, Usuarios)
Venta restringida Venta restringida

Enfoque I nformativo
Enfoque I nformativo
Diseminar informaci Diseminar informaci n t n t cnica sobre los tests cnica sobre los tests
Directrices y Est Directrices y Est ndares ndares
7. Tendencias futuras y Retos
7. Tendencias futuras y Retos
I mpacto de las Nuevas Tecnolog
I mpacto de las Nuevas Tecnolog

as
as

Dise
Dise

o de los tests
o de los tests

Generaci
Generaci

n de los
n de los

tems
tems

Presentaci
Presentaci

n de los
n de los

tems
tems

Puntuaci
Puntuaci

n de los tests
n de los tests

Evaluaci
Evaluaci

n a distancia
n a distancia
Autentificaci Autentificaci n n
Seguridad Seguridad
Recapitulacin
Necesidad de un modelo integral de
Evaluacin
Evaluacin objetiva y contrastable
Nueva Norma ISO 10667 para
regular todo el proceso evaluativo
Futuro: Mayor profesionalizacin
Evaluaci
Evaluaci

n
n
objetiva
objetiva
de una vida media
de una vida media
de 75 a
de 75 a

os
os
25 a 25 a os durmiendo os durmiendo
25 a 25 a os trabajando os trabajando- -
estudiando estudiando
5 viendo la TVE 5 viendo la TVE
3 comiendo 3 comiendo
2 fumando (s 2 fumando (s lo lo
fumadores) fumadores)
1 esperando sem 1 esperando sem foros foros
6 meses cepill 6 meses cepill ndose los ndose los
dientes dientes
6 meses duch 6 meses duch ndose ndose
6 meses tendiendo la ropa 6 meses tendiendo la ropa
5 meses sacando la basura 5 meses sacando la basura
4 meses murmurando 4 meses murmurando
3 meses llorando 3 meses llorando
6 meses en la peluquer 6 meses en la peluquer a a
6 meses 6 meses
maquill maquill ndose/ afeit ndose/ afeit ndose ndose
......... .........
Muchas gracias por vuestra atenci
Muchas gracias por vuestra atenci

n
n
jmuniz@uniovi.es
jmuniz@uniovi.es
Referencias Bibliogrficas
Carretero-Dios, H., y Prez, C. (2005). Normas para el desarrollo y
revisin de estudios instrumentales. International J ournal of
Clinical and Health Psychology, 5, 521-551.
Downing, S. M. (2006). Twelve steps for effective test
development. En S. M. Downing y T. M. Haladyna (Eds.), Handbook
of test development (pp. 3-25). Mahwah, NJ : Lawrence Erlbaum
Associates.
Downing, S. M., y Haladyna, T. M. (2006). Handbook of test
development. Mahwah, NJ : Lawrence Erlbaum Associates.
Fernndez, J . (2008). Valoracin de la calidad docente. Madrid:
Editorial Complutense.
Referencias Bibliogrficas
Morales, P., Urosa, B., y Blanco, A. B. (2003). Construccin de
escalas de actitudes tipo Likert. Madrid: La Muralla.
Moreno, R., Martnez, R., y Muiz, J . (2006). New guidelines for
developing multiple-choice items. Methodology, 2, 65-72.
Muiz, J . (1997a) Introduccin a la teora de respuesta a los tems.
Madrid: Pirmide.
Muiz, J . (1997b). Aspectos ticos y deontolgicos de la
evaluacin psicolgica. En A. Cordero (ed.), La evaluacin
psicolgica en el ao 2000. Madrid: Tea Ediciones.
Referencias Bibliogrficas
Muiz, J . (2000). Teora Clsica de los Tests. Madrid: Pirmide.
Muiz, J . (2004). La validacin de los tests. Metodologa de las
Ciencias del Comportamiento, 5, 121-141.
Muiz, J ., y Bartram, D. (2007). Improving international tests and
testing. European Psychologist, 12, 206-219.
Muiz, J ., Fidalgo, A. M., Garca-Cueto, E., Martnez, R., y Moreno,
R. (2005). Anlisis de los tems. Madrid: La Muralla.
Muiz, J . y Fonseca, E. (2008). Construccin de instrumentos de
medida para la evaluacin universitaria. Revista de I nvestigacin
en Educacin, 5, 13-25.