DOCUMENTO BÁSICO SOBRE EVALUACIÓN

I. LA EVALUACIÓN DE PROGRAMAS

1. Delimitación del concepto de evaluación de programas

Para iniciar el porqué o la justificación de la necesidad de evaluar los programas, en

nuestro caso los de prácticas, en la enseñanza superior, creemos necesario establecer unas
delimitaciones conceptuales, expresadas por la mayoría de los autores, reflexionar sobre las
características, ventajas y desventajas de esta evaluación, describir algunos de los modelos
más utilizados y plantear el enfoque metodológico de nuestro trabajo de investigación.

Al tratar de delimitar el concepto de evaluación de programas, nos encontramos con que

como dice Municio, P. (1992:375) “la mayoría de los conflictos conceptuales tienen su origen
en la utilización de partes diferentes de análisis durante el proceso de evaluación” y nos
encontramos también con una serie de conceptos afines a los que es necesario hacer
referencia, como son la investigación científica, la evaluación y la investigación evaluativa.

En su trabajo de tesis doctoral, Pérez Carbonell, A. (1998), resume tras una revisión
bibliográfica de autores como Kerlinger, F.N. (1975), Burck, H.D. y Peterson, G.W. (1975),
Worthen y sanders, J.R. (1973), Patton (1990), etc., las diferencias entre Investigación e
Investigación Evaluativa, representándolas en este cuadro:

INVESTIGACIÓN INVESTIGACIÓN EVALUATIVA

Los juicios de valor se limitan a los implícitos Los juicios de valor se extienden, además, al
en la selección del problema que es
responsabilidad del propio investigador.
Se formulan hipótesis que parten de teorías o
por intuición de observaciones o conocimientos.
Es posible la replicación.
La recogida de datos está determinada por el
problema y las hipótesis.
El investigador puede manipular o controlar
variables a la vez que eliminar efectos
sistemáticos de otras.
La aceptación o rechazo de la hipótesis es
responsabilidad del investigador.
El informe se adapta a las normas de la
comunidad científica.
Cuadro 1. Diferencias entre Investigación e Investigación Evaluativa, Pérez Carbonell, A. (1998).
desarrollo y aplicación de los procedimientos de
estudio. La responsabilidad es compartida entre
evaluador e instancias del programa.
Es difícil e incluso en ocasiones inadecuado formular
hipótesis.
La replicación no es posible.
La recogida de datos se realiza en base a la viabilidad
del proceso. Se constatan diferencias entre los datos
accesibles y los deseables para el evaluador y
responsables del programa.
El control o manipulación tan sólo se logra de forma
superficial y el control de la varianza sistemática es
muy difícil.
La decisión sobre continuación, modificación,
aplicación o sustitución del programa corresponde a la
institución administradora del programa o a la
audiencia a la que se dirige el informe.
El informe se adapta a las exigencias de quien toma
las decisiones sobre el programa.

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 1

 Sobre estas diferencias también habla Tejedor, F.J. y otros (1994),
resumiéndolas en el siguiente cuadro:

TOPICOS INVESTIGACIÓN INVESTIGACIÓN

EVALUATIVA
Propósito Incrementar el Modificar la realidad.
conocimiento, sacar Tomar decisiones.
conclusiones
Generalización de A otros ámbitos (validez Limitado a grupo de
resultados externa). referencia.
Juicios de valor Conocimiento objetivo (la Asignar criterios de valor.
verdad).
Papel investigador Autónomo. Dependiente del gestor.
Temas Interés personal y/o Interés del gestor.
científico.
Metodología Básicamente cuantitativa. Diversas.
Diseño Preestablecido. Preestablecido, pero
flexible.
Hipótesis Explícitas. No explícitas.
Replicación Exigible. No exigible.
Datos A partir del problema. A partir de la viabilidad.
Control y Manipulación Deseable (exigible en la Deseable, pero muy difícil.
básica)
Aleatorización Básica. No procede.
Criterios de validez Interna, externa y de Utilidad, credibilidad.
constructo.
Interpretación de datos De acuerdo a reglas Valoración por los
definidas. responsables del
programa.
Informe Adaptado a comunidad Adaptado a usuario y
científica. gestores.

Cuadro 2. Diferencia de tópicos entre la Investigación y la Investigación Cualitativa, Tejedor, F.J. y

otros (1994).

Vemos por tanto, que la investigación en su globalidad aporta un conocimiento más

generalizable y teórico que la evaluación, y que ésta última se centra más en lo particular y
concreto de un caso.

Ahora vamos a centrarnos más en la investigación evaluativa, puesto que en nuestro

trabajo vamos a desarrollar aspectos relacionados con la evaluación de programas. Hemos
recogido una serie de definiciones de diferentes autores con el fin de llegar a entender la
esencia de su significado.

Siguiendo la propuesta de Fernández Ballesteros, R. (1996) cuya opción es clarificar en primer

lugar qué es evaluación y qué es un programa, para llegar a definir en último término, la
evaluación de programas. Planteamos una serie de definiciones sobre evaluación, como las
siguientes:

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 2

 “La estimación del mérito de un objeto” Scriven (1967).

“El examen de los efectos, resultados u outputss de un programa” Levine (1975).

“La sistemática investigación del valor o mérito de algún objeto” Comité de

Estándares para la Evaluación (1983-1994).

“La valoración, a partir de criterios y referencias preespecificados, de la información

técnicamente diseñada y sistemáticamente recogida y recogida, sobre cuantos factores
relevantes integran los procesos educativos para facilitar la toma de decisiones de mejora”.
Pérez Juste, R. (1995).

“El proceso de identificación, recolección y tratamiento de datos para obtener una

información que justifique una determinada decisión. Debe servir no sólo para analizar un
determinado programa, sino también para ayudarnos a comprender el proceso de
aprendizaje”. García Llamas, J.L (1996: 46).

Cuatro son pro tanto los principales componentes de la evaluación: los contenidos a
evaluar, la información a recoger, la valoración de la información y la finalidad o funciones.

En términos metodológicos, un programa se interpreta como una intervención o

tratamiento, es decir, “como un conjunto de manipulaciones que han sido programadas para
ser implantadas en una determinada realidad socioambiental” Fdez-Ballesteros, R, (1996: 28).

Definido de una manera más amplia, Bartolomé Pina, M. (1990:39) entiende los
programas como: “un conjunto de estrategias y elementos orientados a la consecución de
determinadas metas y objetivos”.

Es decir, apoyándonos en la teoría de los UTOS de Cronbach, J. L.(1982), en la que

habla sobre los componentes de la evaluación de programas, resaltamos el hecho de que
dichos programas se aplican a unas determinadas “unidades” o población, en la que
previamente se han observado una serie de “operaciones” y la cual se desarrolla en un
“contexto” determinado. De lo cual se deduce, la trascendencia que dichos componentes
tienen a la hora de poder generalizar la evaluación de un programa concreto a otro de
características distintas.

Otras definiciones de programa:

“Plan sistemático de intervención, diseñado y elaborado intencionalmente para la

consecución de unos objetivos de mejora” Pérez Juste, R. (1992: 46).

“Los sistemáticos esfuerzos realizados para lograr objetivos preplanificados con el fin
de mejorar la salud, el conocimiento, las actitudes y la práctica” Fink (1993:2).

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 3

 Por tanto al hablar de un programa nos referimos a una estructuración y
organización de una serie de recursos tanto materiales como humanos, puestos al servicio de
una población con una necesidad determinada (formativa, social, de salud, etc.).

Sobre la evaluación de programas, tampoco existe un único concepto. Nos encontramos

con diversos autores que no sólo difieren en su punto de vista sobre la definición de la misma,
sino sobre los procedimientos para desarrollarla.

Una de las mejores caracterizaciones sobre lo que se entiende por evaluación de

programas, desde una perspectiva experimental, se la debemos a Weiss, C.H. (1983: 31):

“La investigación en evaluación es una empresa racional, que examina los efectos de
las políticas y los programas de sus poblaciones – objeto, en términos de los fines que
intentan alcanzar. Por métodos objetivos y sistemáticos, la evaluación mide la extensión con
la que dichos fines son alcanzados y observa los factores asociados con el éxito o el fracaso
de sus resultados. Se supone que aportando “hechos”, la evaluación ayuda a la toma de
decisiones para la elección inteligente entre cursos de acción. Los datos precisos y no
sesgados sobre consecuencias de los programas mejorarán dicha toma de decisiones”.

En las siguientes definiciones podemos ver esa evolución conceptual a la que se refería
Worthen y Sanders (1988) desde el planteamiento de Tyler, R. hasta la actualidad:

“El proceso para determinar en qué medida los objetivos educativos han sido
alcanzados mediante los programas de currículos y enseñanzas” Tyler, R. (1950:69).

“Es el proceso de identificar, obtener y proporcionar información útil y descriptiva

acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un
objeto determinado, con el fin de servir de guía para la toma de decisiones, solucionar los
problemas de responsabilidad y promover la compresión de los fenómenos implicados”
Stufflebeam, D.L. (1989).

“Un proceso de determinación de áreas de decisión sobre asuntos de interés mediante la

selección de la información adecuada y analizada para realizar un informe con datos útiles
para los que toman decisiones” Alkin, M C.,1990.

“La aplicación sistemática de los procedimientos de investigación social en la

valoración de la conceptualización y diseño de un programa, de la implementación y de la
utilidad de los programas de intervención social” Rossi y Freeman (1991).

“Proceso sistemático diseñado intencional y técnicamente, de recogida de información

rigurosa –valiosa, válida y fiable- orientado a valorar la calidad de un programa, como base
para la posterior toma de decisiones de mejora tanto del programa como del personal
implicado y, de modo indirecto, del cuerpo social en el que se encuentra inmerso”. Pérez
Juste, R. (1992)

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 4

 “La evaluación de programas es la sistemática investigación a través de métodos
científicos de los efectos, resultados y objetivos de un programa con el fin de tomar decisiones
sobre él”. Fernández Ballesteros, R. (1996:23).

Del análisis de estas definiciones, deducimos que la evaluación de programas pasa a

ser un componente fundamental de la educación desarrollado paralelamente al resto de las
actividades educativas. Y que no es fácil encontrar un acuerdo total entre las definiciones
sobre evaluación de programas. Según Talmage (1982), la mayoría de ellas son definiciones
de trabajo y no puede apreciarse un alto consenso respecto a los objetivos de la misma
evaluación.

En la evaluación de programas se puede identificar dos componentes fundamentales: el

conceptual y el metodológico, ambas con carácter flexible y abierto. Aunque la elección de un
determinado enfoque teórico y metodológico determina el posible modelo evaluativo a seguir
en la práctica.

Es decir, “Un proceso evaluativo no se puede concebir como una actividad

básicamente técnica y neutral, de mera aplicación de procedimientos científicos, sino como un
proceso sucesivo de toma de decisiones coherentes, que se inician con delimitación del
modelo teórico del que se parte, elección del tipo de evaluación a seguir, papel del evaluador,
finalidades, etc., hasta terminar en la recogida de datos mas puntual y la elaboración del
informe evaluativo” Colás, P. y Rebollo, Mª.A. (1993).

1.1 Características de la Evaluación de Programas

Colás, P. Y Rebollo, Mª. A. (1993), recogen ocho de los aspectos claves a considerar en el
desarrollo de cualquier modalidad de evaluación de programas.

1. Es un proceso con carácter dinámico.

2. Se aplican procedimientos científicos, incluyendo estrategias de diseño,
recogida y análisis de información rigurosos y sistematizados.
3. Se pretende obtener información válida y fiable.
4. Debe tener como proyección una toma de decisiones.
5. Está condicionada por las circunstancias y ha de ajustarse a las condiciones
reales en las que se aplica el programa a evaluar.
6. Irá referida a un programa. Y puede tener un ámbito de aplicación restringido
o muy amplio.
7. Tiene una función ideológica y política.
8. Supone la emisión de un juicio o la valoración de algo.

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 5

 Para Álvarez Rojo, V. (1994), son cuatro las características comunes en la
evaluación de programas:

1) Proceso sistémico.
La evaluación se lleva a cabo continua y secuencialmente, a través de indicadores,
criterios y variables consensuados y aplicados: antes, durante y después de la evaluación.

2) Recogida planificada de datos.

Acción que conduce a la elaboración de juicios de valor sobre la praxis del programa
durante su desarrollo (evaluación formativa) y ofrece una valoración de los resultados
obtenidos para unos sujetos en un contexto determinado (evaluación sumativa).

3) La evaluación se dirige a todos los elementos del programa.

Según este autor, existen dos tipos de elementos, los primarios (objetivos, contenidos,
actividades, metodología, unidades instruccionales, organización, materiales y resultados
esperables), y los secundarios (destinatarios, gestores y contextos de aplicación y
desarrollo del programa).

4) El objetivo principal de la evaluación de programas es la obtención de datos sobre el

mismo, y su desarrollo en contextos naturales que posibilite la toma de decisiones.

En síntesis, la evaluación de programas es un proceso no uniforme en cuanto a modelos y

metodología, con un carácter dinámico, en el que se aplican procedimientos científicos,
rigurosos y sistemáticos, que incluyen una serie de estrategias de diseño, recogida y análisis de
información, para obtener una información válida y fiable, con la que poder llegar a una toma
de decisiones atendiendo a la contextualización y condiciones reales en las que se aplica el
programa.

1.2 Funciones de la Evaluación de Programas

Dentro del planteamiento genérico en el cual se entiende que el objetivo principal de la

evaluación de programas es tomar decisiones en torno a una determinada intervención. Existen
distintos planteamientos sobre las funciones que ésta evaluación ha de adoptar.

Queremos resaltar algunas de las más importantes debido a la trascendencia y estrecha

relación que tienen junto con la definición del concepto de evaluación, el modelo evaluativo y
los procesos metodológicos a seguir.

Colás, P. y Rebollo, Mª.P. (1993) nos presentan una doble perspectiva de dichas funciones,
una es la perspectiva externa planteada por Gross y Humphreys (1985: 3) y otra la perspectiva
interna planteada por Sanz Oro, R. (1990: 59).

Funciones desde una perspectiva externa y/o política (Gross y Humphreys):

Proporcionar información y comprensión sobre el programa.

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 6
 Ayudar al desarrollo y expansión del programa.
Ayudar a configurar políticas, ya que los resultados de una evaluación ayudan a
determinar la dirección futura de los programas.
Defender y apoyar iniciativas.
Ayudar a identificar la bondad o éxitos de las innovaciones.
Ayudar a propagar programas.
Ayudar a la comunidad educativa a estar mejor informada.
Fundamentar la toma de decisiones acerca de la distribución de recursos, o la
posibilidad de extender, eliminar, institucionalizar y replicar el programa o alguno de
sus partes.
Ayudar a demostrar la rentabilidad del programa de cara al público externo.

Funciones desde una perspectiva interna, en relación al propio programa (Sanz Oro, R.):

• Comprobar si el programa está dando respuesta y satisfacción a las necesidades para

las que se planificó.
• Servir de base para una continua mejora.
• Proporcionar información rigurosa sobre la marcha del programa.
• Recibir una constante retroalimentación sobre la efectividad del programa.
• Elegir y utilizar las técnicas de intervención sobre la base de su utilidad.
• Comprender un programa, identificar sus posibilidades y limitaciones, las
dimensiones que abarca y las que no.
• Posibilitar una reflexión crítica sobre una situación determinada.

En la evaluación de programas la determinación de las funciones de la evaluación, va a

condicionar las decisiones siguientes, es decir, va a influir en el tipo de objetivos, contenidos,
metodología, etc.. Y las funciones a su vez, van a depender de la entidad, persona o institución
de la que parte la iniciativa de evaluar. Si son ellos los responsables directos del programa a
evaluar las funciones serán distintas a si son agentes externos al mismo.

1.3 Tipos de la Evaluación de Programas

En función de todo lo anterior, la mayoría de autores españoles como, Sanz Oro, R.

(1990), Alvira Martín, F. (1991), Colás, P. y Rebollo, Mª.A (1993), Rodríguez Espinar, S. y
otros (1993), Fdez.-Ballesteros, R. (1989), hablan de cuatro tipos de evaluación que
interactúan entre sí:

Evaluación del contexto y necesidades.

Evaluación del diseño y planificación del programa.
Evaluación del proceso.
Evaluación del producto o los resultados.

La evaluación del contexto, según Stufflebeam, D. y Shinkfield, A. (1987:11): “tiene

como función definir el contexto institucional, identificar la población objeto de estudio y
valorar sus necesidades, diagnosticar los problemas que subyacen en las necesidades y juzgar
DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 7
 si los objetivos propuestos son lo suficientemente coherentes con las necesidades
valoradas”. Dicho en palabras de Sanz Oro, R (1990), se trata de una vez definido el marco de
aplicación del programa, identificar las carencias, lagunas y necesidades de los usuarios, para
solventarlas.

Según Colas, P. y Rebollo, Mª. A (1993), en este punto de la evaluación nos podemos
plantear las siguientes cuestiones:

- ¿Cuáles son las características del contexto y la situación específica del

programa?.
- ¿Quiénes son los participantes en el programa?.
- ¿Qué condicionamientos existen en la realización del programa?.
- ¿Qué recursos son necesarios y de cuáles se dispone?.
- ¿Cuáles son las necesidades clave que debe cumplir el programa?.
- ¿Qué disponibilidad de tiempo y recursos humanos tenemos?.
- ¿Cuáles son las expectativas que tienen los receptores del programa?.

La evaluación del diseño, según Stufflebeam, D. y Shinkfield, A. (1987:11):

“centra sus propósitos en identificar y valorar las estrategias del programa y la planificación de
sus procedimientos” a la vez que “cumple una doble finalidad, identificar y valorar las
estrategias del programa y planificar los procedimientos de aplicación”.

Es decir, se pretende saber si el programa es evaluable o no, si responde a las necesidades

para las cuales fue diseñado. A lo cual también se le suele denominar como conocimiento de
la “evaluabilidad” de un programa según Hernández Fdez., J. y Martínez Clares, P.(1996), que
a su vez se basan al emplear dicho término en autores como, Horst, Scanlon y Wholey (1977).

En esta evaluación del diseño del programa podemos plantear las siguientes cuestiones,
Colás, P. y Rebollo, Mª.A. (1993):

- ¿Están bien definidos los objetivos del programa?.

- La secuencia de actividades ¿está expresada con suficiente claridad para su
puesta en práctica inmediata?.
- La planificación del programa ¿responde a la situación del contexto donde se
implementará?
- Está ajustado el tiempo a las actividades a realizar?.

En cuanto a las técnicas de trabajo más utilizadas en esta evaluación, Rodríguez Espinar,
S. y otros (1993), destacan las siguientes: búsqueda de información especializada, resúmenes
de la literatura consultada, registro y conocimiento de programas de información de
reconocida valía, inventario y análisis de recursos humanos y materiales disponibles, discusión
en pequeños grupos del personal responsable del programa y medios para implicar a los
usuarios directos del programa.

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 8

 La evaluación del proceso, también denominada de seguimiento o “formativa” por
Scriven, M (1967) “es la realizada durante la aplicación del programa y tiene por objeto
esencial la mejora y perfeccionamiento del mismo”. Y denominada por Alvira Martín, F.
(1991) “implementación”.
Pretende descubrir los defectos de planificación que se han ido produciendo en la
implementación del programa, tanto en los procedimientos como en las actividades,
durante el proceso de aplicación, con el fin de favorecer mejoras en el mismo.

Las cuestiones que nos proponen Colás, P. y Rebollo, Mª.A. (1993) para plantearnos
en esta evaluación son:

- ¿Cuál es la percepción que tienen los implicados sobre la ejecución del

programa?.
- ¿Se están realizando las actividades de acuerdo con el plan previsto?.
- ¿Cuáles son las dificultades y logros más importantes detectados?.
- ¿Cómo funcionan los grupos?
- ¿Cuál es el nivel de participación de los implicados?
- ¿Cuál es el desarrollo real del programa: actividades desarrolladas, asistencia,
realizaciones de los usuarios?.

Según Rodríguez Espinar, S. y otros (1994), las técnicas más utilizadas en esta evaluación
son: los registros anecdóticos, las descripciones de los cambios en el plan original, informes
estandarizados sobre limitaciones y logros, actas de reuniones con los responsables del
programa, balance de gastos del programa, cuestionarios de opinión sobre la marcha del
programa y entrevistas con representantes de los distintos grupos implicados.

La evaluación del producto o los resultados, también llamada evaluación de impacto o

“sumativa” por Scriven, M. (1967) “es la que se lleva a cabo una vez finalizado el
programa su finalidad es valorar, interpretar y juzgar los resultados positivos y negativos
de un programa, y ofrecer información suficiente para tomar decisiones sobre la
prolongación, repetición, ampliación o anulación del programa a otros contextos o
ámbitos, Martínez Clares, P. (1996).

De nuevo Colás, P. y rebollo, Mª.A. (1993) plantean las siguientes cuestiones en este
tipo de evaluación:

- ¿Cuáles son los logros obtenidos?.

- ¿Qué ha aportado el programa a la comunidad educativa?.

- ¿Ha existido un cambio en las actitudes de los participantes hacia el programa?
¿En qué sentido?.

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 9

 1.4 Criterios y normas para la evaluación de programas

No hay duda sobre la influencia de la evaluación de programas en la educación en las

últimas décadas. Y si esa influencias ha estado bien vista ha sido gracias al establecimiento de
unas normas ético – científicas para regular el trabajo de los evaluadores.

Una de las aportaciones más importantes introducidas en la evaluación de programas, a

cargo de Tyler, ha sido la consideración explícita de criterios de evaluación. Suchman (1967)
al proponer su evaluación científica, plantea cinco categorías de criterios: esfuerzo (cantidad y
calidad de las actividades del programa), eficacia (separa los resultados del esfuerzo, de sus
esfuerzos), impacto (idoneidad del resultado en términos de necesidades satisfechas), coste –
eficacia y procesos, denominando a estas dos última categorías como “aclaratorias”.

No es posible establecer criterios desde un planteamiento general, según Fernández

Raigoso, M. y Arias Blanco (199-) no se puede afirmar a priori y sin referencia de contexto,
del responsable del programa, del evaluador, etc que existen unos criterios mejores o peores
que otros para un programa determinado.

Lo mismo plantea García Ramos, J.M. (1992), “cada investigación evaluativa, de acuerdo
a sus presupuestos epistemológicos y a los recursos metodológicos que utilice, debe definir
con la mayor precisión posible sus criterios al diseñar la evaluación de su programa”.

Brunet, L (1987) resalta los cuatro aspectos principales que hay que controlar para lograr
que la medición del criterio sea lo más válida posible:
1. Si el criterio que se quiere medir incluye todos los objetivos deseados del
programa.
2. Ciertos elementos externos al programa que pueden afectar a los resultados.
3. Sesgos causados por las características del grupo, que se producen cuando los
participantes en el programa poseen ya las características medidas por el criterio.
4. La pluridimensionalidad del criterio, que exige evaluar el criterio con múltiples
medidas.
Gairín, (1993), expone ampliamente algunos de los criterios a considerar en la evaluación,
que resumimos en el siguiente cuadro:

CRITERIO DELIMITACIÓN CONCEPTUAL

EFICACIA Relación entre lo asignado y lo alcanzado.
EFICIENCIA Relación entre lo alcanzado y los medios aplicados.
COMPRESIVIDAD Relación entre las ganancias obtenidas y la población afectada.
SATISFACTORIEDAD Relación entre lo deseable y lo existente.
SUFICIENCIA Relación entre lo asignado y las necesidades detectadas.
PERTINENCIA Adecuación a las finalidades establecidas.
COHERENCIA Grado de consistencia de una propuesta o de una realización.
OBJETIVIDAD Adecuación a leyes y principios científicos.
UTILIDAD Grado en que puede ser aplicado.
APLICABILIDAD Capacidad de solucionar situaciones concretas.
RELEVANCIA Importancia para cubrir necesidades individuales y sociales.
PROGRESO Relación entre las prestaciones efectivas y las previstas.
ACTUACIÓN

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 10

 El Joint Committe on Standars for Educational Evaluation dedicó en 1981
parte de sus esfuerzos a la identificación de dichos criterios o normas de calidad, nacidas de
las asociaciones de profesionales implicados en la evaluación de programas educativos,
integradas en el Joint Committeé.

Este comité, inició su actividad en 1975, actualmente representa a quince organizaciones

profesionales americanas y canadienses del ámbito de la evaluación educativa (Sanders, J.R.,
1994). Estas normas tienen un carácter dinámico y una intención de ser revisadas
periódicamente. Su objetivo básico es crear la necesidad de que las evaluaciones sean serias,
de calidad y útiles.
En resumen las cuatro categorías principales en las que ordenan dichas normas son las
siguientes:

1. Normas de Utilidad. Han de servir para un mejor conocimiento de las características de

la enseñanza por parte de las audiencias y para la consiguiente adopción de decisiones
de perfeccionamiento sólidamente fundamentadas. Implican:

- Identificación de la audiencia.
- Credibilidad del evaluador.
- Selección y amplitud de la información.
- Identificación de valores.
- Claridad del informe.
- Difusión del informe.
- Oportunidad del informe.
- Trascendencia de la evaluación.

2. Normas de Viabilidad. Ha de poder llevarse a cabo sin grandes dificultades, con

procedimientos fácilmente aplicables. Es decir, ha de ser una evaluación realista,
prudente, diplomática y frugal. Implica:

- Procedimientos prácticos.
- Viabilidad política.
- Relación costo – producto.

3. Normas de legitimidad. Deben de respetar los derechos de los implicados mediante la

realización y cumplimiento de compromisos explícitos. Debe ser honrada y ética en la
exposición de sus resultados presentando la realidad del objeto de evaluación con sus
virtudes y defectos. Implican:

- Obligación formal.
- Conflicto de intereses.
- Exposición total y franca.
- Derecho a la información pública.
- Derechos del sujeto.
- Interacciones humanas.
DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 11
 - Equilibrio del informe.
- Responsabilidad.

4. Normas de Precisión. La evaluación ha de verse libre de influencias, proporcionando

conclusiones, válidas y fidedignas, acerca de los rasgos del objeto de estudio.
Implican:

- Identificación del objeto.

- Análisis del contexto.
- Propósitos y procedimientos descritos.
- Fuentes de información confiable.
- Medición válida y confiable.
- Control sistemático de datos.
- Análisis dela información cuantitativa.
- Análisis de la información cualitativa.
- Conclusiones fundamentadas.
- Informe objetivo.

Llevar a cabo la fijación de estos criterios de evaluación también supone una ardua tarea,
que Van de Ven y Ferry (1980) facilitan proponiendo una guía de seis puntos para llevarla a
cabo:

1) Escoger criterios que tengan gradaciones para que puedan ser

discriminativos.
2) Investigar aquellos criterios que expliquen o se relacionen con el mayor
número de variables.
3) Buscar aquellos criterios que son menos costosos de medir.
4) Determinar si el criterio se asocia a una variable dependiente, independiente
o moduladora.
5) Clasificar los criterios por niveles de análisis.
6) Alcanzar, entre usuarios y evaluadores, un consenso sobre los criterios más
adecuados.

Son muchos los autores que resaltan y explican la necesidad e importancia de los criterios
y normas de evaluación, Sanders, J. R. (1985); De la Orden, A. et al (1992); Villa Sánchez, A.
et al (1996); Escudero Escorza, T. (1996); etc.

Las tres razones que Sanders, J.R. (1985) da para justificar la necesidad de estas normas de
evaluación son:
1. La literatura sobre evaluación de programas ha aumentado sustancialmente desde 1985
y es difícil de abarcar individualmente; por tanto, es necesario recoger y analizar el
punto de vista contenido en un campo tan disperso.
2. Ha incrementado la necesidad de evaluación en el campo de la educación. Por
consiguiente, se hace necesario transmitir sugerencias y advertencias para la práctica
de la evaluación educativa.
DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 12
2. Metodología de la Evaluación de Programas

Centrándonos en la metodología de la evaluación de programas, basándonos en los

supuestos teóricos anteriormente mencionados y en la definición de evaluación de programas.
Planteamos los momentos, dimensiones y objetivos de la evaluación de programas, que según
el citado autor ha de seguir el evaluador a la hora de afrontar una evaluación de este tipo. Lo
esquematiza en la siguiente tabla y lo desarrollamos a continuación:

MOMENT DIMENSIONES OBJETO

OS
El Programa Calidad Intrínseca del Programa. Contenido del Programa. Calidad
en sí mismo. Técnica.
Evaluabilidad.
Adecuación al Contexto Necesidades y carencias.
Priorización.
Adecuación Situación de Partida. Viabilidad.
El Programa Secuencias.
en su Temporalización.
desarrollo. Marco.
Flexibilidad.
El Programa Constatación.
en sus Contraste.
resultados. Análisis crítico.
Valoración.
Incorporación de mejoras.
Momentos, dimensiones y objeto de la evaluación de programas. Pérez juste, R. (1995 y 1995 a)

Por tanto, el primer momento en la evaluación de programas es, la evaluación del

programa en sí mismo. Que conlleva el análisis de:

1. La calidad intrínseca del programa; con el objetivo de poner en marcha el programa en

condiciones favorables y facilitar los análisis diagnósticos posteriores y las decisiones de
mejora. En concreto, los criterios y la metodología con la que atenderá a los objetos de análisis
son los siguientes:

A) El contenido del programa

Criterio fundamental: Coherencia del programa con sus fundamentos teóricos.

Metodología: Análisis crítico, por expertos, del contenido del programa en relación
con la base fundamentante.

B) Calidad técnica del programa.

Criterio: diseño del programa conforme con exigencias técnicas. Plan, sistema, orden,
adecuación, coherencia.
DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 13
 Metodología: análisis critico, por expertos, del diseño del programa

C) Evaluabilidad del programa.

Criterio: ofrecimiento de información suficiente, adecuada y relevante para valorar

tanto la calidad como la eficacia en marcos eficientes.

Metodología: análisis crítico, por expertos en evaluación, del contenido, lenguaje y

metodología incluidos en el programa.

1. La adecuación al contexto; con el objetivo de detectar si el programa responde a

necesidades / carencias de los sujetos, buscando el máximo ajuste y, determinar si lo hace
tras una adecuada priorización.

Criterio: coherencia entre el programa y las necesidades.

Metodología:

- Observación de la realidad: detección de carencias, conflictos, disfuncionalidades.

- Consulta al personal: técnicas formales e informales.
- Análisis de documentos.
- Prospectiva.
- Deducción desde la teoría.

3. Adecuación a la situación de partida; con el objetivo de valorar la viabilidad del programa

y promover la motivación y la implicación de los usuarios, y del resto del personal.

Criterios:
- Realismo en la previsiones de medios, recursos, tiempo, personal.
- Participación, implicación y grado de consenso de la comunidad en la
implantación, diseño e incardinación del programa

Metodología: contraste entre un inventario de recursos disponibles y los exigidos por el

programa.

El segundo momento en la evaluación de programas es, la evaluación del programa en su

desarrollo. Cuyo proceso desglosamos a continuación en los siguientes puntos:

1. Objetivos.

Facilitar la toma a tiempo de decisiones inmediatas de mejora (en programas ya

validados).
Acumular información para posteriores decisiones, una vez validado el programa
(evaluaciones primeras de un programa).
DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 14
2. Objeto de evaluación.

Secuencias.
Temporalización.
Marco del programa.
Facilidad para la adaptación.

3. Criterios.

Conformidad con la planificación.

Existencia de desfases / desajustes.
Aparición de efectos no programas.
Comportamientos adecuados del personal (asistencia, participación, “moral”...)
Satisfacción del personal.
Incardinación efectiva en el Plan de centro.

4. Metodología.

Observación de los procesos.

Dialogo con el personal.
Entrevistas formales con los miembros de la comunidad.
Técnicas formales de recogida de información.
Triangulación.

Y el tercer momento en la evaluación de programas es, la evaluación del programa en sus

resultados. Cuyo planteamiento metodológico es el siguiente:

1. Objetivos.

Determinar la eficacia del programa tal como efectivamente fue desarrollado.

Decidir sobre el mantenimiento, supresión o modificación del programa, tras el análisis y
la valoración de los correspondientes logros.
Sistematizar información de cara a decisiones de mejora del programa.

2. Objeto de evaluación.

Los logros del programa, sin reduccionismos en: contenidos, técnicas y fuentes de datos.

3. Criterios.
- Niveles prefijados.
- Niveles de otros programas.
- Niveles del programa en otras aplicaciones.
- Relación precio / logro.
- Circunstancias.
DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 15
 4. Metodología.

- Diseños diversos, desde los puramente experimentales, sean de grupos o de n = 1, a

los correlacionales, pasando por los de carácter cuasi - experimental.
- Medida de los efectos.

En suma, lo que el evaluador de programas educativos hace, es plantearse preguntas

sobre la calidad de los mismos, intentado responderlas a través de un proceso de investigación.

Uniendo y perfilando todas las preguntas que el evaluador se plantea, se llega a visualizar
el marco y la orientación de cada una de las investigaciones evaluativas; es decir, como afirma
Escudero Escorza, T (1996: 291) “se perfila el contenido de la investigación evaluativa y, en
suma, definimos su significado”.

En síntesis

La evaluación es considerada actualmente como un componente fundamental del

funcionamiento de sistemas e instituciones, como afirman Medina Rivilla, A. y Villar Angulo,
L.M. (1995:25) “se pretende controlar la calidad de sus procesos y productos para atender al reto
inexcusable de una permanente mejora”.

Por tanto estamos ante un hecho trascendental para la calidad educativa, y la evaluación
de programas se presenta como una “exigencia ineludible” en esa búsqueda continua y
permanente de la mejora de la Educación.

II. PAUTAS PARA LA EVALUACIÓN DE PROGRAMAS

A continuación se plantean una serie de indicadores (aspectos, en los que fijar la

atención por representar manifestaciones de las variables a valorar) a los que deberían
aplicarse los oportunos criterios. Los elementos componentes de cada pauta se presentan en
forma de pregunta a la que dar contestación.

En general la mejor cualidad que debe tener un instrumento de recogida de

información es su plena coherencia sobre la realidad evaluada, la aceptación, rechazo o
modificación es una tarea técnica que debe llevar a cabo el profesor o profesores interesados
en la tarea. Así determinados items pueden ser, en casos concretos, irrelevantes; por el
contrario, en ocasiones puede ser necesario prestar una atención más detallada y profunda a
ciertos indicadores de los aquí planteados. He aquí la pauta:

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 16

MOMENTO INICIAL: 1. ¿Se han explicado las bases científicas y socio-psicológicas del
programa?.
EVALUACIÓN DEL 2. El tratamiento dado a los temas, teorías, acontecimientos, ¿es
PROGRAMA adecuado / distorsionado / desequilibrado?
3. ¿Están actualizados o desfasados los contenidos del
EN SÍ MISMO programa?
4. Los contenidos incluidos ¿se consideran relevantes desde
perspectivas científicas, sociales, psicológicas y pedagógicas
1. CALIDA DINTRÍNSECA (valor formativo)?
5. ¿El programa incluye objetivos, actividades, recursos,
metodología y sistema de evaluación?
6. ¿Se puede considerar que los objetivos son congruentes con
los planteamientos científico-curriculares, con las demandas
sociales y con las características evolutivas de los destinatarios?
7. ¿Se da coherencia interna entre los diversos elementos del
programa y de ellos en relación a la finalidad y metas
perseguidas en el proyecto?
8. El programa está adecuado a la diversidad de características
diferenciales: motivación, intereses, capacidades, etc., del
alumnado receptor? ¿y del profesorado emisor?
9. La información contenida en el programa, de cara a su posterior
evaluación, ¿se considera suficiente, relevante y adecuada?
10. ¿El programa propone el funcionamiento democrático,
2. ADECUACIÓN AL cooperativo e implicativo del centro? ¿y facilita dicho
CONTEXTO funcionamiento entre el profesorado?.
11. ¿El programa contempla la necesidad de que el centro coopere
con las familias cuando sea necesario para el desarrollo del
programa?.
12. ¿Se han planteado reuniones con los docentes de los centros
de cara a la planificación e implantación del nuevo programa?.
13. ¿Existen datos (informes, registros, actas,...) en los centros
educativos donde se quiere implantar el programa, sobre las
necesidades y carencias del alumnado relacionadas con la
temática del mismo? ¿y datos sobre las necesidades y carencias
formativo-informativas de los docentes?.
14. ¿Se cuenta con herramientas y pruebas de carácter
diagnóstico (cuestionarios, entrevistas, etc.) para detectar
necesidades y carencias formativas e informativas de:
profesores, alumnos, equipos directivos, etc.?
15. ¿Se ha previsto un sistema de ajuste inicial a las carencias y
dificultades detectadas en las distintas audiencias, tales como
jornadas de información, seminarios de formación, sistemas de
mentoría, etc.?
16. ¿Responde el programa a demandas de los interesados?
3. ADECUACIÓN AL PUNTO 17. ¿Se han previsto espacios físicos, temporalización (fechas y
DE PARTIDA horarios), recursos humanos y materiales, necesarios para la
implementación del programa?.
18. ¿Se encuentran capacitados los responsables para el desarrollo
del programa?.
19. ¿Se han planteado reuniones de seguimiento con el equipo de
profesores responsables de desarrollar el programa en los
diferentes centros educativos?.
20. ¿Se va a someter el programa a la aprobación de todo el equipo
docente de los centros educativos? ¿y de los padres
SEGUNDO MOMENTO: 21. La metodología propuesta en el programa ¡resulta adecuada
para el desarrollo de los objetivos?
PROCESO DE APLICACIÓN 22. Muestran los alumnos y alumnas interés y motivación hacia las
DEL PROGRAMA actividades del programa? ¿y el profesorado implicado?
23. ¿Se aprecian avances significativos en la consecución y
secuencia de las actividades planteadas?.
1. PUESTA EN MARCHA 24. ¿Se detectan desfases significativos en la temporalización
prevista?
DEL PROGRAMA 25. ¿Se respeta la planificación en lo referente a espacios físicos,
horarios, apoyos institucionales, recursos, etc.?.
26. Los niveles parciales de logro ¿se consideran alejados o

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 17

 acomodados a los propuestos?.
27. ¿Se da rigidez o flexibilidad en la aplicación del programa?.

2. MARCO DE 28. ¿Se aprecian conflictos y tensiones entre el personal del centro
educativo que puedan repercutir en el desarrollo del programa?.
APLICACIÓN DEL 29. Las relaciones entre el profesorado y el alumnado durante el
PROGRAMA desarrollo de las actividades relacionadas con el programa, se
pueden catalogar como cordiales o problemáticas?.
30. ¿Se detecta alguna incompatibilidad o solapamiento entre los
objetivos o planteamientos del programa propuesto y el proyecto
educativo del centro en el que se ha implantado?.
31. ¿Se percibe concordancia entre la organización y disciplina del
aula o aulas en las que se desarrolla el programa y el sistema
organizativo y disciplinar del centro en general?.
32. ¿se da un clima de confianza en la utilidad y éxito del programa
entre los profesores? ¿y entre los alumnos/as?.

TERCER MOMENTO: 33. ¿Se han tomado medidas para asegurar la calidad técnica de
EVALUACIÓN FINAL DEL las pruebas con las que se apreciarán los niveles de logro del
PROGRAMA programa?
34. ¿Se planificaron las pruebas y demás instrumentos elaborados
para la recogida de datos, en el momento de diseñar el
1. MEDIDA Y LOGROS programa, a fin de asegurar la máxima coherencia con los
objetivos?
35. ¿Se recurre a técnicas variadas de recogida de información,
cuantitativas y cualitativas, acordes a la diversidad de los
objetivos del programa?.
36. ¿Se especificaron los criterios de desempeño y los niveles de
2. VALORACIÓN logro del programa?.

37. ¿Se especificaron de modo claro y preciso, los criterios y las

referencias o estándares, para valorar los resultados finales del
programa?.

38. ¿Se aplican los criterios y las referencias de los estándares

de calidad, de conformidad con las previsiones y las exigencias
técnicas de éste tipo de proyectos?.
39. ¿Se dispone de información amplia y matizada, sobre los
momentos inicial y Procesual del programa, como base para
valorar los resultados finales?.
3. CONTINUIDAD
40. El estilo entre los responsables de desarrollar el programa ¿es
participativo y Colaborativo o directivo y autoritario?
41. ¿Existe un proceso institucionalizado de evaluación, de forma
que los resultados se plasmen en nuevos procesos
programadores?.
42. ¿Se asignan tareas concretas a los diferentes responsables de los
cambios a introducir en el programa?.

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 18

III. CRITERIOS E INDICADORES PARA LA EVALUACIÓN DE PROYECTOS
COMENIUS

Este documento se ha realizado de acuerdo con las Comunidades Autónomas de toda España.
Se trata de una guía de evaluación de proyectos Comenius 1, que atiende a
los aspectos establecidos por la Comisión Europea y a algunos nacionales y
de las Comunidades Autónomas, que se ha elaborado para ser utilizados por los
evaluadores y facilitar así su trabajo.

CRITERIOS E INDICADORES PARA LA EVALUACIÓN INICIAL DE LOS

PROYECTOS EUROPEOS. CONVOCATORIA 2005

Estos criterios e indicadores han sido consensuados en reunión de AN y representantes de

CCAA por lo que deberán ser tenidos en cuenta por los comités de selección del Programa
Sócrates en la convocatoria 2005. Naturalmente, deberán adaptarse, si es preciso, a las
convocatorias de cada CA.

Nos hemos centrado en los criterios de selección comunes a todos los tipos de proyectos, a
ellos habrá que añadir los criterios específicos de los proyectos lingüísticos y de adultos,
así como aquellos propios de las CCAA, si los hay.

Para facilitar el trabajo de los comités de selección hemos señalado en el documento los
apartados del formulario donde debería encontrarse la información relativa a cada criterio
(se recomienda, no obstante, una lectura completa del formulario antes de proceder a la
valoración de cada apartado).

No reflejamos la puntuación que debe recibir cada indicador, pues ello puede depender de
la existencia de criterios adicionales en las CCAA. Dejaremos este tema para una fase
posterior.

APARTADOS DEL CRITERIOS E INDICADORES

FORMULARIO
Apt. A (resumen del Dimensión europea (no está en los baremos, pero debemos tenerlo en cuenta)
• Exportabilidad de los productos o metodología de los proyectos
proyecto) • Intercambio real de información, experiencias y buenas prácticas entre profesores
Apt. C7-9 participantes
• Intercambio real entre los alumnos
• Plan para superar las barreras lingüísticas
Apt C7-9 • Contenidos centrados en cuestiones relacionadas con el europeismo: ciudadanía,
constitución, etc...
Apt. D (Plan • Productos resultado del trabajo conjunto de la asociación internacional
Comenius) • Relación con los objetivos del Programa Sócrates
Apt. B 1. Profesorado, áreas implicadas e interdisciplinariedad
Se aplicarán criterios cuantitativos (0-30%, 40-80%, 80-100%) a los siguientes aspectos:
• Profesorado
• Áreas implicadas
• Interdisciplinariedad
• Equipo directivo
2. Claridad en los objetivos y en los resultados esperados
DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 19
 Apt. C1 • Coherencia entre la justificación/necesidades, objetivos, actividades y
resultados/productos.
• Coherencia con el PCC/PGA
• Objetivos y resultados compartidos con todos los socios
Apt. C10
Apt. C3
Apt. C1 3. Carácter innovador
Este aspecto se valorará siempre desde el contexto del solicitante y se adjudicará la puntuación
según el proyecto sea innovador:
• En cuanto a la temática
• En cuanto a la metodología
• En cuanto a los recursos
• En cuanto a los resultados/productos
Apt. B 4. Representación equilibrada de países geográficamente dispersos, regiones, tipos de
centros …..
• Equilibrio geográfico
• Variedad de tipos de centros
Apt. C2 5. Plan de trabajo
• Temporalización coherente y realista
• Secuenciación de actividades individuales y conjuntas
• Precisión en el detalle de las actividades
• Coordinación y reparto de tareas en el centro y entre los socios
Apt. C4 6. Plan de evaluación
• Criterios que permitan detectar los elementos fuertes y transferibles del
proyecto así como los aspectos susceptibles de mejora
• Instrumentos que se utilizarán para la evaluación tanto del proceso como del
producto
• Temporalización
• Responsables de la evaluación
Apt. C5 7. Estrategias para la difusión
• Sectores receptores
• Procedimiento a seguir
• Personas responsables
• Calendario aproximado
Apt. C6 8. Incidencia del proyecto en la atención a la mejora del
éxito escolar del alumnado con necesidades educativas
y sociales
• Se intuye
• Se concreta
• Parece claramente factible
• Se detalla plan de actuación

DOCUMENTO BÁSICO SOBRE EVALUACIÓN – RED E-CONS 20