Fundamentos de

evaluacin de polticas pblicas

Ministerio de Poltica Territorial

y Administracin Pblica
Agencia Estatal de Evaluacin de las Polticas Pblicas
y la Calidad de los Servicios
Madrid 2010

FUNDAMENTOS DE
EVALUACIN DE POLTICAS PBLICAS
Primera edicin: 2010
Equipo Tcnico del Departamento de Evaluacin
Marisa Merino Cuesta
Revisin:
Direccin del Departamento de Evaluacin
Ana Ruiz Martnez

De conformidad con lo establecido en los artculos 15.2 y 37.3 del RD

1418/2006, de 1 de diciembre, por el que se aprueba el Estatuto de la Agencia
Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios, el
documento Fundamentos de evaluacin de polticas pblicas fue tratado en la
reunin de la Comisin Cientfica y Profesional celebrada el da 20 de mayo de
2010 y aprobado por el Pleno del Consejo Rector en su sesin del da 17 de junio
de 2010.

Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios

Esta obra se acoge al amparo del Derecho de la Propiedad Intelectual. Quedan
reservados todos los derechos inherentes que recoge la Ley, as como los de
traduccin, reimpresin e Internet (web). Se permite la reproduccin citando la
fuente.

Edita: Ministerio de Poltica Territorial y Administracin Pblica. Agencia Estatal de

Evaluacin de las Polticas Pblicas y la Calidad de los Servicios.
Catlogo General de Publicaciones Oficiales:
http://www.060.es
NIPO: 012100159

PRESENTACIN
La evaluacin de las polticas pblicas es desde hace aos una preocupacin
central de los gobiernos de los pases industrializados. La mayor diferencia frente a
otras tcnicas de mejora gerencial, enfocadas, prioritariamente, al control econmico
y al cumplimiento normativo, es que la evaluacin, en el actual contexto poltico,
aparece ligada a aspectos sociales y de transparencia democrtica, en estrecha
relacin con la publicidad de sus informes y la participacin plural de los actores
que entran en juego.
En un mundo en perpetuo cambio, los poderes pblicos necesitan aprehender los
problemas complejos, difusos y contradictorios que tratan de resolver sus polticas.
Esta cuestin exige lgicas comprehensivas frente a los anlisis atomizados y
descontextualizados de los controles administrativos tradicionales. Esa bsqueda de
un mayor sentido holstico, traducida en una lgica ms integral, es la aspiracin de
la evaluacin.
La evaluacin no es slo una comprobacin de conformidad de la accin pblica,
sino que expresa un juicio de valor sobre el xito de los resultados y los impactos
deseados o no- de las polticas pblicas y ese juicio de valor se debe extraer con el
mayor rigor y garantas, de ah la exigencia de una slida metodologa.
Desde hace aos, las administraciones disponen de numerosas guas de
evaluacin, referidas a diferentes sectores, sin embargo, cada institucin tiene sus
propios enfoques en relacin a sus cometidos y eso lleva a particularizar sus
herramientas aprovechando un ncleo comn. Adems, se han producido grandes
cambios en el campo de la evaluacin que reclaman nuevos instrumentos y
aproximaciones, con una demanda cada vez ms insistente, en la necesidad de
instrumentos para la evaluacin en el nivel estratgico de las polticas pblicas. Y en
este sentido se debe entender la aportacin de AEVAL.
Este documento examina los fundamentos bsicos de la evaluacin de polticas
pblicas en el panorama actual para reflexionar sobre los nuevos retos.
La evaluacin revela, actualmente, un campo complejo, con innumerables
prcticas muy heterogneas y con enfoques y finalidades diferentes. Presenta un
desarrollo desigual en los distintos pases y sigue mostrando ciertas tensiones entre
el peso de sus componentes acadmicos y la lgica de las intervenciones pblicas.
En cualquier caso, tanto los Estados como las comunidades cientficas reconocen,
cada vez ms, la necesidad de evaluar el funcionamiento y resultado de las
instituciones y sus polticas para elevar sustancialmente la productividad y
modernizar procesos especficos del sector pblico.
A simple vista, tres grandes sectores dominan la industria de la evaluacin y
marcan muchas de sus reglas: el sector de ayuda al desarrollo, en los organismos
internacionales, el de los Fondos Europeos, en la UE, y el de la evaluacin interna de
cada pas, con infinidad de prcticas.

Adems de los dos grandes promotores internacionales en evaluacin, el tercer

bloque ofrece un abanico de experiencias nacionales que recorre un amplio arco,
desde la evaluacin como monitoreo o seguimiento, la evaluacin como herramienta
de mejora al servicio de la gerencia pblica new public management, hasta la
evaluacin democrtica, encaminada a dotar de poder a la colectividad y de la que
se habla en Europa, desde luego, pero an con mayor fuerza en las Organizaciones
Internacionales y en Amrica latina, porque all lo que est en juego no es slo la
modernizacin administrativa y la revitalizacin del sistema democrtico, sino su
reforzamiento. Cada una de estas organizaciones tiene puntos de vista muy distintos
sobre el tipo de evaluacin a utilizar en funcin de sus fines. Este trabajo pretende
mostrar someramente esta enorme variedad con la salvedad de no perder de vista
que la evaluacin, por profesional y excelente que sea, no es ms que un mapa que
trazamos para explorar la realidad y que una posicin moderna del conocimiento no
puede reclamar verdades absolutas. A su vez, desde el punto de vista poltico,
convendra tener presente que por importante que sea su valor, la evaluacin es un
instrumento ms entre los mltiples que ayudan a la toma de decisiones pblicas.
Una consideracin importante es que la mayor parte de las
experiencias
evaluadoras estn enfocadas a la evaluacin de programas 1 y mucho menos a las
polticas pblicas en cuanto a sus funciones superiores (tareas estratgicas de
gobierno y no slo gestoras y operativas), por lo que, existiendo infinidad de
prcticas, son menos las que sirven como modelo respecto a la finalidad que
persigue el ms alto nivel de la accin de gobierno: la evaluacin de las polticas
pblicas. Tratar de marcar esta diferencia, que est reclamndose cada da ms en
evaluacin, ha sido uno de los propsitos de este trabajo.
Respecto a la prctica evaluadora, el lector habr de considerar que teora y
prctica van de la mano y lo sensato es mantener un equilibrio entre los que
propugnan que ms vale un gramo de prctica que una tonelada de teora, y los
que piensan que la mejor prctica es una buena teora.
La obra, que forma parte de un conjunto de materiales de los que ste es el texto
de partida, se ha estructurado en dos bloques: el primero, en el que se sita la
evaluacin en el marco de la Nueva Gobernanza, trazando un breve recorrido
histrico, en el que se pretende situar al lector en el origen de la evaluacin y en los
debates que ha suscitado, recogiendo, asimismo, los distintos aportes
multidisciplinares y polticos de la evaluacin y las diferencias con otras prcticas de
control que, en ocasiones, se consideran afines; el segundo, de carcter mucho ms
tcnico, trata de la lgica, el vocabulario y los elementos que conforman la prctica
especfica de evaluacin de polticas pblicas, bajo la consideracin de que sta es
por s misma una intervencin pblica con sus fases de planificacin, implementacin
y resultados.
El propsito de la obra es proporcionar los fundamentos para comprender y
valorar la cultura de evaluacin y rendicin de cuentas en el mbito de las
Administraciones Pblicas as como vislumbrar los retos y las estrategias necesarias
para su consolidacin.

Laevaluacindepolticaspblicasenglobalaevaluacindeprogramasyambascompartenprocedimientosytcnicas,peroseplantean
diferenciasimportantesencuantoalaspreguntasdelaevaluacin,criteriosyutilidades,queenlaevaluacindepolticasestnenrelacinala
funcinsuperiordelgobiernoyenlaevaluacindelosprogramasenrelacin,sobretodo,alafuncingestora.

ndice
PRIMERA PARTE
LA EVALUACION DE POLTICAS PBLICAS EN EL MARCO DE LA NUEVA
GOBERNANZA

QU ES EVALUAR?.................................................................................................. 13
LA EVALUACIN EN EL CONTEXTO DE LA GOBERNANZA ............................................... 15
LOS PRINCIPIOS DE BUEN GOBIERNO COMO MACRO-CRITERIOS DE VALOR EN LA
EVALUACIN DE POLTICAS PBLICAS. ...................................................................... 17
EL VALOR AADIDO DE LA EVALUACIN EN EL SECTOR PBLICO .................................. 18
USOS Y FUNCIONES DE LA EVALUACIN..................................................................... 19
DOBLE VERTIENTE DE LA EVALUACIN: GERENCIAL Y POLTICA.................................... 22
BREVE HISTORIA DE LA EVALUACIN DE POLTICAS PBLICAS Y PANORAMA ACTUAL ...... 27
Primer periodo: Optimismo frente a los programas y optimismo frente a la evaluacin
(1960-1970) ...................................................................................................... 27
Segundo Perodo: Pesimismo respecto a los Programas y desencanto respecto a la
evaluacin (1970-1980) ..................................................................................... 28
Tercer Periodo: Institucionalismo, pluralismo y evaluacin..................................... 29
DESARROLLO DE LA PRCTICA EN EL MARCO INTERNACIONAL: TENDENCIAS.................. 30
1. La prctica de la evaluacin en los distintos pases .............................................. 35
La evaluacin en el continente americano............................................................... 31
La evaluacin en Europa ...................................................................................... 33
2. La evaluacin de los Fondos Europeos. La UE y el Marco metodolgico: Las Guas
MEANS .............................................................................................................. 35
3. La Evaluacin de Programas de Cooperacin y Ayuda al Desarrollo: Organismos
internacionales ................................................................................................... 37

ESPAA: PROCESO DE INSTITUCIONALIZACIN DE LA EVALUACIN ..............................39

LA AGENCIA DE EVALUACIN DE LAS POLTICAS PBLICAS Y LA CALIDAD DE LOS
SERVICIOS (AEVAL) .................................................................................................41
NECESIDAD DE GENERAR CULTURA DE EVALUACIN....................................................44

FUNDAMENTOS DE LA EVALUACIN COMO INTERVENCIN PBLICA............................... 46

LA EVALUACIN DENTRO DEL CICLO DE INTERVENCIN DE LAS POLTICAS PBLICAS .....46
OBJETOS A EVALUAR: EVALUAR POLTICAS O EVALUAR PROGRAMAS?...........................48
DIFERENCIAS DE LA EVALUACIN CON INSTRUMENTOS COMO EL CONTROL, LA AUDITORIA,
LA INSPECCIN Y LA INVESTIGACIN. .......................................................................57

FUNDAMENTOS ACADMICOS DE LA EVALUACIN........................................................ 60

PARADIGMAS, PERSPECTIVAS Y ENFOQUES EN EVALUACIN .........................................61
ENFOQUES PRINCIPALES DE EVALUACIN: CARACTERSTICAS DISTINTIVAS...................65
EL DEBATE METODOLGICO EN EVALUACIN ..............................................................65

RETOS ACTUALES EN EVALUACIN ............................................................................69

SEGUNDA PARTE
CONCEPTOS BSICOS DE EVALUACIN DE POLTICAS PBLICAS

DEFINICIONES DE EVALUACIN................................................................................. 73
ESTRATEGIAS Y LGICAS EN EVALUACIN.................................................................77
BASE DEL TRABAJO DE EVALUACIN ..........................................................................78
JUSTIFICACIN Y LGICA DE LA INTERVENCIN..........................................................79
LAS PREGUNTAS EN EVALUACIN ..............................................................................80
EL JUICIO DE VALOR ................................................................................................81
PRINCIPALES TIPOLOGAS DE EVALUACIN ................................................................ 83
EN FUNCIN DEL PARADIGMA ...................................................................................83
EN CUANTO AL MODO DE INVESTIGACIN .................................................................86
EN FUNCIN DEL PROPSITO:...................................................................................87
EN FUNCION DE LA PERSPECTIVA TEMPORAL...............................................................88
EN CUANTO A LOS EVALUADORES..............................................................................89
EVALUACIN SEGN CONTENIDO .............................................................................90
LA METAEVALUACIN ...............................................................................................97
EL DISEO DE LA EVALUACIN................................................................................. 98
TCNICAS ............................................................................................................. 102
EL INFORME DE EVALUACIN .................................................................................. 103

UTILIDAD Y UTILIZACIN DE LA EVALUACIN........................................................... 106

ANEXO 1 .............................................................................................................. 109

REFERENCIAS DE INTERS SOBRE EVALUACIN ........................................................ 111

BIBLIOGRAFA ...................................................................................................... 113

10

PRIMERA PARTE

LA EVALUACION DE POLTICAS PBLICAS EN EL

MARCO DE LA NUEVA GOBERNANZA

11

12

QU ES EVALUAR?
Evaluar (del lat. valere) significa estimar, apreciar, calcular el valor de
algo. El Diccionario de la RAE indica que evaluacin consiste en la accin y
efecto de sealar el valor de una cosa. A su vez, en el Diccionario de Mara
Moliner encontramos que evaluar consiste en atribuir cierto valor a algo.
El matiz que introduce el adverbio cierto de la ltima definicin podra pasar
inadvertido, pero no es desdeable al apuntar hacia el relativismo en que se mueve
nuestro conocimiento de la realidad. Cierto seala una aproximacin que nos
recuerda que la evaluacin es un mapa que trazamos para explorar la realidad y que
en ningn caso debemos confundir con el propio territorio.
Las ciencias, despus de todo, son nuestra propia creacin, incluidos
todos los severos estndares que parecen imponernos. Es bueno recordar
constantemente este hecho. Paul K. Feyerabend (1984)
Aunque el origen semntico del trmino evaluacin aporta el ncleo esencial de
lo que se entiende por tal, habr que distinguir entre el uso corriente del lenguaje y
el lenguaje especializado que exige cualquier disciplina, cuestin sta que no resulta
suficientemente clara en evaluacin, ya que en ella han influido tanto el lenguaje
comn como diversos campos acadmicos y gerenciales. Lo que interesa destacar es
que ninguna definicin es neutra y entraa diferentes abordajes y valores.
La disciplina de evaluacin proviene de los pases anglosajones, donde aparece
bajo la rbrica de dos acepciones sinnimas: assessment y evaluation que en la
literatura especializada tienen usos diferentes: assessment se utiliza en general
referido a personas y evaluation, referido a intervenciones, programas, proyectos...
La profesora Fernndez Ballesteros argumenta que en espaol ha prosperado el
trmino evaluacin al estar menos cargado semnticamente que valoracin.
Evaluar es apreciar, analizar, valorar y juzgar los resultados e impactos de una
intervencin a fin de mejorar su calidad. La prctica de la evaluacin incluye
actividades tcnicas de observacin, de medida, de anlisis, pero no se reduce slo
a eso. Se apoya en el mtodo cientfico pero no es una disciplina cientfica en el
sentido habitual del trmino, sino una actividad institucional con vocacin de
integrarse en la gestin pblica y en el funcionamiento del sistema poltico.
En lneas generales, se entiende por evaluacin un proceso integral de
observacin, medida, anlisis e interpretacin, encaminado al conocimiento de
una intervencin pblica -norma, programa, plan o poltica-, que permita alcanzar
un juicio valorativo, basado en evidencias, respecto a su diseo, puesta en
prctica, resultados e impactos.

La evaluacin es un instrumento integrado en el anlisis de las polticas pblicas

de carcter multidisciplinar y de reciente especializacin profesional que tiene por
objeto apreciar la eficacia de los programas o polticas pblicas, comparando sus
resultados e impactos con los objetivos asignados y los medios puestos a su

13

disposicin, emitiendo un juicio de valor. Ms que un instrumento de conocimiento

per se es un proceso guiado por una serie de exigencias y valores: rigor,
imparcialidad, transparencia, atencin a los distintos puntos de vista y voluntad de
que prevalezca el inters general.
La dificultad de establecer ese juicio valorativo sobre un campo tan complejo
como el de las polticas pblicas conlleva que la evaluacin trate de dotarse del ms
slido despliegue metodolgico y tcnico contando con una pluralidad de enfoques
disciplinares y herramientas, considerando, cada vez ms, las necesidades de los
actores implicados en el proceso.
La evaluacin moviliza la capacidad crtica frente a las acciones de gobierno, pero
con la exigencia democrtica de rodear cualquier juicio sobre una accin de las
mximas garantas.
El nfasis metodolgico propio de la evaluacin es la diferencia con otros
instrumentos de informacin y valoracin de los que se sirven los decisores pblicos.
Lo relevante de la evaluacin es construir sus juicios apoyndose en una
metodologa que ofrezca las mayores garantas de credibilidad. Precisamente por
ello, todo el proceso va encaminado a satisfacer las necesidades informativas
garantizando la fiabilidad de los datos, la solidez de los anlisis, la credibilidad de los
hallazgos, la validez de las conclusiones y la utilidad de sus recomendaciones, as
como cualquier otra cuestin de calidad tcnica y metodolgica que reflejarn sus
informes. Para ello se auxilia en la caja de herramienta de las ciencias sociales, pero,
tambin, cada vez ms, en la de campos como la planificacin estratgica y la
gestin pblica.
La evaluacin emite un juicio de valor, pero no persigue la recriminacin o la
sancin como fin ltimo, sino un mayor conocimiento de las intervenciones
pblicas, suscitando un cambio de cultura para mejorar lo pblico. Su planteamiento
de la comprensin de los problemas es holstico, interesndose tanto por los
contextos como por los procesos, los resultados, los efectos y los destinatarios de las
intervenciones pblicas.
Los dos componentes principales de la evaluacin de las polticas
pblicas son su contribucin a la comprensin de la accin pblica y su rol
de anclaje para el impulso de una democracia ms participativa.

En cualquier caso, por rigurosos que sean los estudios de evaluacin no la

convierten en una disciplina cientfica puesto que su razn de ser es la actividad
institucional y su fin ltimo la responsabilidad de los poderes pblicos frente a los
ciudadanos.
Las diferencias entre evaluacin e investigacin social no se refieren tanto a los
diseos de investigacin y mtodos de recopilacin de datos, sino a los problemas
que abordan y a su finalidad. Los evaluadores trabajan por encargo para un fin
prctico inminente. Los plazos de tiempo, la retroinformacin y la utilizacin de los
resultados son mucho ms cruciales en evaluacin que en la investigacin
acadmica.
Tampoco debe confundirse la evaluacin con algunas prcticas complementarias
pero diferentes como el control de gestin o contable, la auditora o la inspeccin.

14

La evaluacin se integra en una nueva cultura gerencial y poltica. La evaluacin

aporta a esa cultura atributos tales como su carcter relacional y holstico en la
comprensin de la accin pblica y su razn ltima es la eficacia social, por lo que
la evaluacin deviene instrumento de mejora de las intervenciones pblicas.
El trabajo evaluador requiere un equilibrio entre el anlisis poltico-institucional y la
reflexin metodolgica y epistemolgica. En la bsqueda de ese equilibrio y de su
propia consolidacin profesional la evaluacin establece sus fundamentos sobre cinco
dimensiones claves:
1. Aspectos epistemolgicos y metodolgicos: distincin de los
objetos de evaluacin, caractersticas y peculiaridades de la prctica, su
historia, sus metodologas y herramientas.
2. Caractersticas y destrezas propias de la prctica en s.
3. Dimensin deontolgica: identificacin y seleccin de los valores a
utilizar en evaluacin.
4. Conocimiento de los aspectos terico-conceptuales de los
programas y polticas de las que se ocupa. Teoras de conocimiento, estado
de la cuestin, origen y puesta en marcha de las polticas pblicas,
hallazgos, resultados, benchmarking, etc.
5. Gestin del conocimiento en materia evaluativa. Acumulacin,
explotacin y uso de los conocimientos que se van generando en ese campo.
El cometido de este texto trata de desarrollar someramente la primera de
las anteriores dimensiones.

LA EVALUACIN EN EL CONTEXTO DE LA GOBERNANZA

Desde finales de la dcada de los ochenta, se viene asistiendo a un proceso
acelerado de transformacin mundial: liberalizacin econmica, nueva regulacin
internacional, dominio del mercado, nuevos problemas sistmicos, irrupcin de
nuevas tecnologas, etc. Una de las consecuencias ms importantes de estas
vertiginosas transformaciones es la necesidad de perfeccionar el propio sistema
democrtico, de una parte, por el dficit de participacin ciudadana en las decisiones
y de otra, por la exigencia de eficiencia que se reclama cada vez ms a lo pblico.
La globalizacin, que ha incrementado de manera considerable la interrelacin
entre la esfera nacional y la mundial, no es slo un fenmeno econmico y
tecnolgico, sino un fenmeno cultural,social y poltico. En esta esfera se revela la
progresiva importancia que han cobrado los mbitos de decisin y de interaccin
transnacional. El poder poltico efectivo ya no es slo nacional, sino que se
comparte, se trueca y se cuestiona por diversas fuerzas y organismos pblicos y
privados, que transcienden las esferas nacionales, regionales y locales. Esto ha
venido a agravar ms an la crisis democrtica. La ciudadana siente cada vez
menos la identificacin con centros de decisin alejados de su capacidad e incidencia

15

y se ve sometida a una lgica de lites poderosas e influyentes que la suplantan.

Esta situacin supone mayor complejidad e interaccin en las redes en las que se
desarrollan las relaciones de poder y la accin pblica y en las que el Estado no es el
nico mbito de decisin frente a la pluralidad de actores. Hasta la propia naturaleza
tradicional de los estados nacionales ha sido puesta en cuestin. (Prats, 2000)
No se trata aqu de relatar los cambios que han sufrido los Estados, ya que hay
muchas diferencias en el papel que juegan unos y otros, pero, lo cierto es que, de
forma generalizada, la globalizacin ha provocado una mayor jerarquizacin y
subordinacin entre ellos. Todo esto suscit el debate sobre la dimensin del
Estado: el desarrollismo de los aos ochenta (Estado mximo) y el reduccionismo de
los noventa (Estado mnimo), hasta llegar al momento actual, en el que se plantea
una nueva redefinicin del papel del Estado bajo criterios de un nuevo orden
internacional: El Estado, el que sea necesario, pero eficaz.
Los Estados y sus polticas, se ven involucrados, cada vez ms, en interacciones
transnacionales, promovidas por agentes muy diversos, estatales y no estatales,
que obligan a debatir en espacios cada vez ms abiertos y complejos que requieren
un papel de equilibrio entre lo regional y global. Sin embargo, los riesgos no son
exclusivamente de desaciertos en la gestin o mala administracin, sino de que lo
pblico se disuelva en una gestin privada desgobernada de espaldas a los intereses
sociales y colectivos y que amparada en el propio sistema democrtico lo debilite o
lo desvirte.
Si al mal gobierno le corresponderan unas polticas pblicas errneas, el
desgobierno lleva consigo la intencionalidad y no la mera ignorancia o incapacidad
que provoca el mal gobierno y la mala administracin.
De ah que desde hace aos, se trata de hacer frente a todos estos riesgos con el
establecimiento de una serie de principios, que se conocen como Nueva Gobernanza,
que, naturalmente, tienen su incidencia en las polticas pblicas. La culminacin de
este proceso que persigue el buen gobierno y en el que se trata no slo de fortalecer
las instituciones nacionales, sino el sistema democrtico, no est exenta de
conflictos e interpretaciones diversas, pues la gobernanza no est culminada ni
entraa lo mismo para todos. Se trata de un proceso en construccin pero que
supone en todo caso una nueva reflexin sobre el papel del Estado y de la sociedad
en las decisiones pblicas y su interaccin en situaciones en las que los recursos
estn dispersos.
En Europa este impulso ha encontrado su plasmacin en el Libro Blanco de la
Gobernanza cuyos principios se fundamentan en apertura, participacin,
responsabilidad, eficacia y coherencia, proponindose, tambin, los de legitimidad
democrtica y subsidiariedad. Estos principios no son responsabilidad exclusiva de
las instituciones europeas y, menos an, exclusivamente de la Comisin, sino que
afectan a todos los niveles de responsabilidad de la administracin pblica, las
empresas privadas y la sociedad civil.
Tratar, en la actualidad, de la evaluacin de polticas pblicas y no tener en
consideracin este contexto y sus principios restara valor a cualquier aproximacin
o estudio. El anlisis de las polticas pblicas y su evaluacin exige atender a los
espacios geopolticos en los que stas se desarrollan: regional, nacional, sectorial y
global y tener en cuenta aspectos metodolgicos amplios, complejos y adaptativos,

16

atendiendo a los contextos, la cultura, los principios, los criterios y los fines que
persiguen las polticas pblicas en sus diversas esferas de accin.
La calidad del sistema poltico no es una variable independiente de la calidad de
su Administracin Pblica, sino que hay una vinculacin directa entre ambas. La
Administracin es un actor poltico clave. En su seno se toman decisiones muy
relevantes, adems de ser la encargada de implementar las polticas pblicas. El
cuestionamiento sobre el valor de lo pblico se percibe, muy a menudo, por el buen
o mal funcionamiento de las administraciones y los servicios que estas prestan.
Sin embargo, la relacin poltica-administracin no est exenta de tensiones que
han ido oscilando, a lo largo del tiempo, entre enfoques que otorgan mayor o menor
discrecionalidad y responsabilidad a los cargos administrativos. Esas tensiones
tambin estn presentes en la evaluacin.

LOS PRINCIPIOS DE BUEN GOBIERNO COMO MACRO-CRITERIOS DE VALOR

EN LA EVALUACIN DE POLTICAS PBLICAS.
Si se est de acuerdo con los principios que exige el buen gobierno, la valoracin
de las polticas pblicas no debera soslayar el incorporar esos principios como
macro-criterios referenciales del campo de la evaluacin.
PRINCIPIOS DE BUEN GOBIERNO
1. Apertura: Impone a las Instituciones comunitarias trabajar de forma
ms abierta. Comunicacin activa, lenguaje ms accesible y medidas que
conduzcan a la confianza de los ciudadanos en las instituciones comunitarias.
2. Participacin: Se entiende que la calidad, la pertinencia y la eficacia de
las polticas exigen una amplia participacin ciudadana tanto en la fase de
formulacin como de implementacin y evaluacin.
3. Responsabilidad: Exige la clarificacin del papel de cada una de las
instituciones comunitarias que intervienen en la toma de decisiones.
4. Eficacia: Requiere que las medidas adoptadas produzcan los resultados
buscados sobre la base de unos objetivos claros, de una evaluacin de su
futuro impacto y en su caso de la experiencia acumulada.
5. Coherencia: Exige que las polticas y acciones europeas sean
coherentes y fcilmente comprensibles.
(Libro Blanco de la Gobernanza europea)

Por el momento, no resulta frecuente que las evaluaciones de polticas pblicas

incorporen este marco referencial que debiera ser el punto de partida de la
valoracin de la accin pblica que se quiere considerar dentro del buen gobierno.

17

Desde esa perspectiva una poltica pblica podra tener buenos resultados
respecto a sus objetivos pero incumplir el principio de apertura a los ciudadanos o
presentar una baja legitimacin social. La participacin aparece ligada a la valoracin
de calidad, la pertinencia y la eficacia de las polticas pblicas. Por otra parte, ms
all de la econmica contable, sigue existiendo poca cultura de la responsabilidad en
las organizaciones pblicas. La eficacia resulta un criterio ms comn, pero puede
correr el peligro de limitarse a una eficacia gestora que no incluya la eficacia social.
Hay que tener en cuenta la lgica de cada nivel de gobierno para resolver las
tensiones que pueden existir en uno y otro al aplicar los criterios por los que se
valorarn las polticas pblicas.
Por ltimo, dentro de la complejidad de esferas de gobierno, la coherencia de las
polticas pblicas parece un principio elemental de buen gobierno y de
enjuiciamiento de lo pblico.
La evaluacin de polticas pblicas apunta a un nuevo tipo de
control poltico-democrtico en consonancia con los principios de la
Nueva Gobernanza: responsabilidad, transparencia y participacin.
Esta nueva forma de gobernar se apoya en modelos de gestin
pblica, que persiguen mayor eficacia y eficiencia del Sector Pblico
en sus diferentes niveles de gobierno, estratgico y operativo. Estos
niveles se complementan, pero la lgica para su valoracin no es
exactamente la misma.

EL VALOR AADIDO DE LA EVALUACIN EN EL SECTOR PBLICO

Desde un punto de vista econmico tradicional se podra definir el valor pblico
como la capacidad para satisfacer necesidades humanas mediante el uso de recursos
disponibles en la sociedad. Este punto de vista -importante para la empresa y el
mercado- resulta inadecuado para el sector pblico por criterios de redistribucin
equitativa, eficacia social y transparencia. Para los ciudadanos el valor pblico radica
en la mejora de los procesos polticos y para ello tan importante es el criterio de
eficacia como el de equidad. Cuanto ms opacos sean los procesos decisionales ms
desciende el logro de valor pblico y ms oculta queda la distribucin de los
intereses de los diferentes actores. Lo que trata de lograr el valor pblico es
factibilidad econmica a la vez que social.
En las ltimas dcadas, la mayora de las democracias avanzadas y en particular
los pases de la OCDE han venido desarrollando reformas del Sector Pblico con el
fin de dar respuesta eficaz a las exigencias sociales. Conscientes de la necesidad de
reforzar el sistema democrtico y mejorar la eficacia de sus administraciones han
adquirido mayores compromisos con la transparencia pblica y la rendicin, no slo
de cuentas, sino del conjunto de la accin pblica a los ciudadanos.
La evaluacin de las polticas pblicas es un instrumento ms al servicio de estas
reformas que tienen como base la reorientacin de las relaciones Estado-Sociedad y,
entre sus objetivos tcticos, el alcance de una mayor eficiencia de las actuaciones

18

pblicas, valorando tanto los aspectos de una mala organizacin como la desafeccin
democrtica que produce el desgobierno y el deterioro intencionado de lo pblico.
Reforzar los controles resulta cada vez ms necesario, aunque esos controles no
sean exactamente los tradicionales.
Evaluar es valorar lo pblico con el fin de transformar lo que no funciona, pero no
bajo premisas exclusivamente tcnicas aunque desde luego necesarias-, sino,
tambin, de interlocucin social que propicie una cultura de responsabilidad y
mejora continua. Desde esta perspectiva, la evaluacin contribuye a la mejora
administrativa que, no slo es compatible con la eficiencia, sino que puede
reforzarla, promoviendo la lgica relacional entre las distintas esferas
administrativas y aprovechando sus capacidades, recursos y sinergias.
La evaluacin de polticas pblicas trata de conectar democracia, control y
eficiencia, entendiendo que sta, en el Sector Pblico, no puede referirse a los
exclusivos criterios del mercado, ni a intereses de oligarquas administrativas. Las
reglas del buen gobierno deben equilibrar la eficiencia con otros criterios de valor de
lo pblico: equidad, cohesin social, corresponsabilidad, cooperacin institucional,
comprendiendo y explicando las tensiones inherentes a los diferentes intereses que
se entrecruzan en la accin pblica.
El valor aadido de la evaluacin, en ltimo trmino, es su contribucin a la
mejora de la calidad democrtica y slo en ello alcanza su plena legitimidad porque,
si se limitara a tareas propias del control tradicional no tendra razn de ser; eso ya
es competencia de otros controles del Estado.
Para mejorar la capacidad de formular polticas pblicas de orden superior y para
valorarlas es necesario trascender las nociones convencionales de eficiencia y
eficacia (no obstante su importancia) y valorar la capacidad de influir sobre el
futuro en la direccin deseada (enlightenment) y de profundizar o no en la calidad
democrtica. Esa es la esencia de la evaluacin de las polticas pblicas.

Usos y funciones de la evaluacin

De lo anterior se deduce que la evaluacin, desde la perspectiva de instrumento

pblico, tiene dos usos complementarios y diferenciados:
Uso poltico estratgico y democrtico: responsabilidad y
transparencia gubernamental.
Uso gerencial: mejora de la gestin
pblica y de la calidad
prestacional.
La evaluacin tiene, tambin, desde su origen:
Un uso acadmico y de aprendizaje
Una finalidad dinamizadora.
La evaluacin contribuye, tambin, a la formacin y a la movilizacin de los
agentes y actores implicados en las intervenciones pblicas. Les ayuda a

19

comprender los procesos en los que participan y a apropiarse de una manera ms

responsable de los objetivos que persiguen las polticas y a mejorar los resultados.
El tiempo produce cambios que inciden sobre los objetivos trazados en la
planificacin de las intervenciones; es posible que un proceso dinamizador, como la
evaluacin, pueda clarificarlos de mejor manera produciendo mejoras en la
organizacin del trabajo y en la eficacia del conjunto. Las herramientas modernas de
gestin pblica deben permitir a cada agente y a cada servicio definir mejor sus
tareas, valorar su cometido dentro de una estrategia general y desarrollar la
participacin.
Otro de los aspectos importantes de la evaluacin es que favorece la
convergencia de puntos de vista y la cooperacin entre actores polticos o
administrativos comprometidos conjuntamente en la marcha de una intervencin.
Todo ello permite, no slo mejorar la eficacia, sino reforzar la legitimidad de las
polticas pblicas.
En un inicio, la evaluacin puede vivirse como molesta porque consume tiempo y
energa. Puede generar desconfianza al interpretarse como un tipo de control
administrativo ms, pero, cuando su cultura va calando, conduce a los agentes
implicados a confrontar su accin cotidiana con los efectos externos y a asumir
mayor responsabilidad frente a los resultados.
Todo esto hace que la evaluacin, adems de un proceso cognitivo, se convierta
en un proceso de dinamizacin que promueve una cultura de tipo relacional que
habr de cohabitar con otras culturas administrativas: la jurdico-normativa, la
gestora, la economicista
Esta capacidad dinamizadora de la evaluacin presenta varios tipos de efectos:
motivacin
de
los
agentes
implicados,
delegacin
ms
concreta
de
responsabilidades, evolucin de los modos de decisin y mayor preocupacin por los
resultados. Esta capacidad se convierte, adems, en el mayor propulsor y difusor de
la propia cultura de evaluacin, tanto para los que deciden o proponen
evaluaciones como para los que las dirigen y realizan.
La experiencia muestra que las evaluaciones de mayor xito son las que renen
varias finalidades y usos.

20

Rendicin de cuentas
John Elliott (1988), distingue tres tipos de rendicin de cuentas (accountability):
social, econmica y profesional y centra el proceso en la misma institucin responsable de
la poltica o programa ms que en agentes externos.
Dado que las polticas utilizan fondos pblicos es preciso saber cmo se estn gastando.
La responsabilidad poltica, social y tcnica exige garantas y comprobaciones de que se
est trabajando con seriedad y eficacia. Sin embargo, no es suficiente con explicar cmo se
gastan los fondos pblicos y con su control por los organismos correspondientes (fiscal
accountability) sino responder de las acciones e inacciones que justifican los resultados.
M. Kogan introduce un matiz al considerar la accountability como una condicin que se
ha de producir en el fenmeno social y que obliga a exigir responsabilidades e incluso
sanciones. Es la condicin segn la cual los que tienen un papel individual son responsables
de la revisin y de la especial aplicacin de sanciones si sus acciones dejan de satisfacer a
aquellos con los que tienen una relacin de responsabilidad (1988).

Transparencia
Junto con la rendicin de cuentas, la transparencia es un potente mecanismo de
creacin de valor pblico.
Para que la sociedad pueda percibir el grado de eficacia y eficiencia de las
administraciones pblicas resulta necesario arbitrar procesos de transparencia.
La publicidad de las evaluaciones contribuye, no slo a la mejora de los sistemas de
control del Estado, sino a la percepcin por la sociedad de la responsabilidad de sus agentes
decisores y a la aportacin de los resultados de las polticas.
El ejercicio de transparencia de las acciones pblicas las acerca a los ciudadanos que las
financian y les otorga legitimidad. Los ciudadanos necesitan saber, no slo en qu se gasta
su dinero, sino qu resultados y qu impactos se producen con ese gasto.
Mediante el proceso de evaluacin se produce un proceso continuo de aprendizaje,
mejora y transparencia ante la sociedad de las acciones del sector pblico. Esta imagen de
servicio adems de considerarse un derecho democrtico tiene un valor positivo per s, ms
all de los resultados, siempre que quede garantizada la independencia y la calidad de la
evaluacin.

21

Participacin
Para satisfacer las demandas ciudadanas, lo que se persigue, dentro del propio modelo de
democracia representativa, es abrir mayores espacios a la participacin. Algunos prefieren
hablar en este caso de democracia expresiva, al considerar lo impracticable que resulta la
participacin en muchos temas de gobierno, pero propicindola siempre que sea posible,
porque participacin y eficacia se complementan.
o

Este modelo no se limitara a manifestar la opinin existente acerca de los logros y los
modos de la entrega de bienes y servicios a la sociedad en cada convocatoria
electoral, sino que revelara el grado de legitimidad con que cuentan las instituciones
en cada momento y para cada actividad, as como las preferencias de los ciudadanos
acerca de las polticas pblicas.

Propulsar la democracia en la administracin pblica puede mejorar su control y

eficiencia, fortaleciendo a la ciudadana tanto directa como indirectamente. Este es un
planteamiento que tiene varias vas de realizacin, siendo la evaluacin una de ellas al
tratar de favorecer la valoracin y la transparencia de las decisiones de los altos
funcionarios involucrados y la responsabilidad de los gestores de programas en la
implementacin de las polticas.

No se trata tanto de la despolitizacin del Estado, sino de justo lo contrario: lograr

que el Estado y sus instituciones sean capaces de hacer bien la poltica y ello en
razn de criterios de democracia, combinando equidad y eficiencia econmica.

DOBLE VERTIENTE DE LA EVALUACIN: GERENCIAL Y POLTICA

La evaluacin de polticas pblicas, apoyada en mltiples disciplinas que la
auxilian, se incardina en el campo de la Ciencia poltica, en su rama Administracin
Pblica. Tiene relaciones con la formulacin del poder, con cmo se ejercita y los
resultados e impactos que se obtienen. Afecta, por tanto, al mbito de gobierno en
su nivel estratgico: decisin y planificacin de las polticas, y al operativo-gestor:
puesta en marcha, responsabilidad organizacional y calidad de los servicios
administrativos. Estos mbitos responden a lgicas diferentes que habr que tener
en cuenta.
En el mundo de las Administraciones Pblicas, el concepto de estrategia no ha de
entenderse como respuesta a la competitividad entre instituciones y empresas, sino
como una serie de acuerdos explcitos que reflejan las preferencias surgidas del
debate entre los actores colectivos e individuales presentes en el marco de juego de
esas Administraciones (Stewart y Ranson, 1988). La estrategia apunta a los
objetivos que se debieran o se pretenden alcanzar por los gobiernos, suele
plasmarse en planes y operativizarse a travs de programas y proyectos.

Vertiente gerencial

Una vez establecidos los objetivos propios de una poltica (nivel decisional y de
formulacin de la accin del gobierno) la implementacin entra de lleno en el campo

22

gerencial (la postdecisin). El problema crucial de la gestin pblica es lograr que las
cosas se hagan y su campo natural es el despliegue de las polticas en planes y en
programas gestores.
Desde hace aos, viene siendo frecuente promover en las administraciones
pblicas una cultura gerencial, considerando que para su desarrollo es necesaria una
clara y especfica determinacin de objetivos. Esto se relaciona, a su vez, con lo que
comnmente se conoce como cultura de resultados, que no es otra cosa que
anteponer el cumplimiento de los objetivos sealados y analizar sus resultados, en
contraposicin a la orientacin tradicional que enfatizaba los procedimientos. Este
enfoque de resultados supone generar una dinmica interna en las organizaciones
que redunde en la mejora del desempeo organizacional, pero presupone, tambin,
partir de un proceso de planificacin y de un instrumental de evaluacin para
verificar el cumplimiento de metas y objetivos. Bajo este enfoque, la evaluacin
gerencialista supone preocuparse por los resultados y saber si se han alcanzado o no
los objetivos planteados.
La administracin pblica, en su modelo tradicional (racional-burocrtico), no
estaba pensada para preocuparse por los resultados, sino por la legalidad de su
actuacin, por ello, los mecanismos de control se dirigan ms a certificar la
conformidad de la actuacin administrativa respecto a lo previsto normativamente
que a encontrar indicadores de gestin y volumen de resultados e impactos.
La constatacin de que los problemas de eficiencia en la actuacin pblica
responden en gran medida a fallos gerenciales a la hora de generar incentivos y a
una escasa prctica de produccin y aprovechamiento de la informacin de gestin,
ms que a la mera titularidad pblica aunque sta imponga restricciones evidentes
sobre los aspectos anteriores- ha suscitado que las reformas de la Administracin
hayan puesto el acento en la actualizacin y mejora de los modelos de gestin
pblica apoyados en la ideologa de ciertas corrientes, en particular la Nueva Gestin
Pblica.

Para solventar los problemas de una burocracia ineficaz la corriente de la

Nueva Gestin Pblica propugn la separacin entre administracin y poltica,
reclamando en nombre de la eficiencia mayor discrecionalidad para lograr los
objetivos. Esto supondra que los gobiernos, en su conjunto, estableceran los
objetivos estratgicos de las polticas pblicas y los ministros determinaran
los objetivos especficos que debe cumplir cada departamento, evaluando la
consecucin de los mismos. Se reservan as los responsables pblicos el
derecho de administrar las polticas pblicas, en razn de la consecucin de
los mejores resultados.

La corriente de la Nueva Gestin Pblica se apoya en la aplicacin de tcnicas

y modelos de mercado en el campo administrativo, con el desarrollo de
modelos institucionales tipo Agencias. En sus mejores intenciones, esta
corriente trata de reducir el peso burocrtico, sin lesionar la racionalidad
instrumental que est en su base, a travs de obtener mayor discrecionalidad
para que los gerentes pblicos puedan seleccionar la combinacin ptima de
insumos que permita producir los resultados fijados, asumiendo, a la vez,
mayor responsabilidad gerencial.

23

La Nueva Gestin Pblica y los modelos Agencias, desarrollados al mximo en

el mundo anglosajn, han mostrado aciertos pero tambin errores al
pretender aplicar la lgica del mercado a lo pblico. Aunque lo ms importante
es que tambin han demostrado derivas entre el nivel de decisin poltica y el
administrativo. Cuando se producen esas derivas, el peaje poltico lo pagan
los gobiernos. Esta brecha deja un campo de control especialmente
interesante para la evaluacin, porque a la mayor autonoma de gestin que
reclama la Nueva Gestin Pblica debe acompaarse, a su vez, un mayor
control de responsabilidades.

La atencin puesta en los resultados se ha convertido en un elemento central de

las reformas recientes del sector pblico en los pases de la OCDE. Desde mediados
de los noventa, los esfuerzos sostenidos para modernizar las actividades de control
fueron creando las condiciones necesarias para el desarrollo de la capacidad de
evaluar resultados. Al exponer las prioridades de las futuras reformas del sector
pblico, el Comit de la gestin pblica de la OCDE seal que el buen
funcionamiento del sector pblico exige una evaluacin continua de la eficacia de las
polticas.
La evaluacin de resultados de los programas pblicos adquiere, en este
contexto, un papel central en los procesos de reforma de la gestin pblica. La
evaluacin de programas, entendida como el proceso generador de informacin
sobre los resultados de la intervencin pblica y su posterior utilizacin en la toma
de decisiones, ha resultado una herramienta prctica adecuada para alimentar los
nuevos sistemas de gestin pblica basados, en su mayora, en adaptaciones al
mbito de la Administracin de modelos gerenciales nacidos en el marco de la
empresa. No obstante, la ausencia de mercado para la mayora de las producciones
pblicas y por tanto, de medidas directamente observables sobre el valor de las
mismas- ha generado la necesidad de adaptar metodologas que permitan estimar el
efecto atribuible a los programas pblicos con el mayor rigor, pero atendiendo
siempre a sus peculiaridades: el propio marco referencial de lo pblico.
A pesar de la complejidad y las dificultades de los nuevo tiempos, los gobiernos
pueden mejorar el rendimiento de sus administraciones a travs de metas realistas,
utilizando, de forma sistemtica, instrumentos de control durante todo el ciclo de la
intervencin. De ah que, junto a los tradicionales controles de legalidad, gestin,
inspeccin, auditora, la evaluacin resulta una herramienta absolutamente
aconsejable en las organizaciones orientadas a resultados y una fuente de
conocimientos aplicables a las reformas de la gestin pblica (Thoenig, 2000)
El enfoque de la evaluacin de polticas pblicas supone diferencias respecto a los
tradicionales controles del Estado que aplican un punto de vista distinto para la
valoracin de la accin pblica. Estas tcnicas se centran, generalmente, en el
cumplimiento de normas internas al sistema analizado (reglas contables, jurdicas o
normativas), mientras que la evaluacin ensaya aprehender un punto de vista
externo que alcanza una valoracin ms integral de todo el ciclo de la accin
gubernamental: planificacin, implementacin, resultados e impactos.
Tan slo una salvedad, sera errneo confundir la cultura de resultados con la
evaluacin de resultados.

24

Se entiende por cultura de gestin de resultados aquella que pone stos en el

foco de su gestin. Desde esta perspectiva, la propia evaluacin como una
intervencin pblica ms est comprometida con esa cultura y habr de procurar la
mayor eficacia de su accin que se plasmar en sus informes. Sin embargo, la
evaluacin, en su dimensin institucional aspira a una valoracin integral de la
poltica evaluada, a la implantacin de una cultura de evaluacin y de mejora de lo
pblico y a legitimar su propia accin con un compromiso de responsabilidad y
transparencia que va ms all de los resultados obtenidos en el nivel gestor y
operativo de uso ms interno.
La evaluacin es un instrumento muy til y complementario de la cultura de
resultados al proveer a los gestores y responsables de programas de una mejor
informacin sobre la que fundar sus decisiones y una mayor transparencia y
rendicin de cuentas, pero, en ningn caso, los resultados de sus informes
pretenden ser la panacea a todos los problemas y males de gobierno o sustituir el
juicio de los decisores, sino ayudarles a obtener un feedback de informacin que
proporcione responsabilidad sobre las polticas actuales y sus posibles mejoras.
Es en el mbito gestor, sobre todo, que la evaluacin ha ido conquistando, desde
la dcada de los 90, espacios de control y de mejora, introducindose en el mbito
reglamentario. Los gestores pblicos se han ido apropiando de la evaluacin como
herramienta ligada a un modelo de decisin pblica ms racional y con un carcter
tcnico. Pero, ya desde esa misma dcada, se viene explorando su potencial
estratgico ms all de las exigencias reglamentarias y de las de mejora gerencial.
Resulta obvio que los resultados de la gestin no son exactamente los resultados de
las polticas. Los primeros, muestran su eficacia al alcanzar los objetivos gestores
la buena o mala administracin-, mientras que los resultados de las polticas son
elementos mucho ms complejos donde los criterios gestores pueden entrar en
colisin con los objetivos ltimos de una poltica o de sta con otras, teniendo en
cuenta adems la imbricacin de las diferentes esferas de gobierno. Por ejemplo, un
Programa de Centros educativos puede resultar muy valorado, incluso puede
obtener altos rendimientos en sus logros pero estar produciendo desigualdad social o
desigualdad de gnero que son principios de calidad democrtica que priman las
Polticas educativas en sintona con los principios de gobernanza. A su vez, una
buena poltica educativa en lnea con esos principios puede estar colisionando con
los objetivos econmicos de limitacin del gasto pblico. En definitiva, hablar de
resultados es necesario pero no suficiente y cuando se habla de evaluacin de
polticas pblicas hay que ensamblar los logros alcanzados en la dimensin gestora y
los que se persiguen en el nivel poltico, distinguiendo ante los ciudadanos los
diferentes niveles responsables.
La gestin no es un mero instrumento tcnico o de proceso de las polticas
pblicas. Entre el nivel gestor y el poltico hay interrelaciones, ambigedades,
conflictos y desvos que deben ser tenidos en cuenta en la evaluacin. La evaluacin
debe servir para comprender el proceso de implementacin de las polticas, que en
muchos casos y por mltiples factores puede ser contradictorio con el sistema de
valores y los consensos de la poltica en cuestin. Asimismo, la racionalidad de los
programas no puede ser puesta en relacin con la racionalidad de las polticas,
donde el aprovechamiento de la oportunidad no del oportunismo- es un requisito
de su propia racionalidad que a veces se entiende mal en el mbito gestor. Por ello,
algunos autores huyen de los enfoques cientificistas en evaluacin y la encuadran en

25

una dimensin de innovacin, debate, negociacin y conflicto social (Radaelli y

Dente, 1996) que deben ser tenidos en cuenta.

Vertiente poltica

Frente al enfoque gerencialista de la evaluacin otros autores defienden su

dimensin poltica. La sola eleccin de evaluar implica en s misma una decisin
poltica.
La consideracin de la evaluacin como instrumento poltico sita su accin en el
proceso de formulacin de polticas y viene acompaada de varias cuestiones de
inters; por un lado, la neutralidad del modelo, por otro, la racionalidad subyacente
en el proceso y por ltimo, la significacin que pueden aportar sus conclusiones y
recomendaciones a la calidad tanto de las polticas como de la vida democrtica.
Este carcter poltico se va incorporando paulatinamente a la prctica y a la
concepcin actual de la evaluacin buscando el equilibrio entre el desarrollo tcnico
y el de responsabilidad democrtica, pues no se ha de olvidar que el fin ltimo de la
evaluacin es la utilidad social.
Lo que en la actualidad se entiende por evaluacin, no es slo una herramienta
tcnica, de utilidad para el nivel gestor de los gobiernos, sino un instrumento de
fortalecimiento del Estado en su nivel estratgico, bajo los principios del buen
gobierno, haciendo ms transparente y responsable la accin pblica, mejorando la
eficiencia gestora del Sector Pblico y concibiendo un papel ms activo para los
actores implicados en las polticas pblicas.
Desde esta perspectiva, la evaluacin es un proceso antes que una tcnica y se
entiende dentro de una visin ms prxima a los ciudadanos y con mayor
responsabilidad de los agentes pblicos.
La evaluacin est de moda y difcil ser no encontrarla en la agenda de la mayor
parte de los gobiernos, porque a lo largo de los aos, y a pesar de los avances y
retrocesos, este instrumento ha ido conquistando el mbito gestor y apunta hacia un
nuevo tipo de control poltico-democrtico, en consonancia con el contexto de la
nueva gobernanza, cuyos principios ya sealados, son condiciones indispensables
para el xito de las polticas pblicas en las modernas democracias.
El desafo del futuro, apunta Monnier, est en pasar de la cultura gerencialista a
una cultura poltica, participativa y democrtica de la evaluacin.

Evaluacin
nivel
reglamentario

Evaluacin
nivel
gerencial

Evaluacin
nivel
democrtico

A estos distintos niveles de actuacin de la evaluacin le corresponden diferentes

instrumentos de control que pueden ser usados como palancas de gobierno con la
condicin de que recojan la riqueza de matices y de perspectivas que toda accin de
gobierno genera. (Subirats, 2004)

26

Hay, por tanto, diferentes lgicas que se entrecruzan en el terreno del gobierno y
la Administracin y el control de sus acciones y no se pueden aplicar de manera
indiferenciada los mismos parmetros de control o rendicin de cuentas a
interrelaciones basadas en lgicas distintas, o confundir las distintas relaciones y
posiciones de poder e influencia estableciendo indicadores no pensados
especficamente para recoger los distintos valores que encierra cada situacin.
La Administracin es parte integrante de la realizacin de una poltica y el nivel
poltico y los gerentes pblicos no pueden ir por separado. En el curso de la
implementacin el organismo de gestin debiera estar implicado con el decisor
mucho ms all del control de gestin-, porque esa parte operativa influye en gran
medida en el logro de las estrategias. Pero ello complica la participacin de actores
en el campo de la evaluacin y sus diferentes necesidades informativas, por lo que
se requiere del evaluador conocimiento y dominio de las diferentes lgicas.
La necesidad de colaboracin entre ambas perspectivas es lo deseable y la
evaluacin puede servir de puente para el entendimiento entre esos dos niveles de
accin pblica que manejan diferentes valores y distintas formas de conocimiento.

BREVE HISTORIA DE LA EVALUACIN DE POLTICAS PBLICAS,

DESARROLLO Y PANORAMA ACTUAL
Despus de la Segunda Guerra mundial, la prctica de la evaluacin de
programas se extiende al conjunto del mundo anglosajn y a la Europa del Norte. Su
desarrollo en los pases latinos es ms tardo.
Las obras que trazan la historia de la evaluacin suelen hablar de diferentes
oleadas en su desarrollo e institucionalizacin. En un trabajo ya clsico sobre un
buen nmero de pases, coordinado por Furubo y Rist (2002), se individualizan tres
grandes oleadas de difusin de la evaluacin en los que se fueron desarrollando
infinidad de aspectos diversos sobre evaluacin, algunos bastante opuestos, pero
otros complementarios, cada uno portador de nuevas vas y tendencias.

Primer periodo: Optimismo frente a los programas y optimismo frente a la

evaluacin (1960-1970)
La evaluacin nace en los EEUU y surge como respuesta a la preocupacin por
determinar los efectos de los programas de la Great Society (guerra contra la
pobreza), impulsados por el Presidente Johnson. El momento coincidi con un gran
desarrollo de las ciencias sociales, lo que llev a considerar las ventajas de medir los
resultados de las polticas de reforma con mtodos experimentales.
Bajo este enfoque, evaluar es medir cientficamente la eficacia de las
intervenciones pblicas observando la evolucin de las variables de impacto a travs
de dos muestras estadsticamente comparables de beneficiarios y no beneficiarios.

27

Una figura relevante de este periodo es Donald Campbell, psiclogo-socilogo,

que mantena que la experimentacin es una concepcin tan grande para la ciencia
como para la poltica, que los programas polticos deban ser considerados como
experimentos y que los polticos deban mantener una actitud experimental y
desapegarse de los proyectos, una vez aplicados, buscando que el experimentalismo
acadmico ofreciera las respuestas sobre sus xitos o fracasos

Tanto los detractores como los defensores de las polticas sociales se mostraron
partidarios de la evaluacin para obtener informacin sobre mejores resultados y
costes. Los que defendan las polticas sociales vean en la evaluacin la posibilidad
de legitimar y justificar el incremento del gasto pblico y los que se oponan
buscaban argumentos en los que fundamentar su crtica, con el propsito de
posponer su generalizacin o reclamar su eliminacin. Para ambos, la evaluacin
experimentalista era una herramienta til, vlida y fiable, con la que construir
evidencia emprica para fundamentar el debate de las decisiones polticas.
En esta primera fase de optimismo, tanto frente a los logros de los programas
como ante los resultados de la evaluacin, se cree que para evaluar programas
sociales es suficiente ser un buen cientfico social, estar en posesin de todas las
tcnicas y los mtodos cuantitativos posibles y tener la capacitacin para aplicar a
los grandes programas la experimentacin. La idea es hacer un experimento con los
programas, aplicando la intervencin slo a algunos grupos sociales y controlando
las consecuencias. La experimentacin es favorecida por el sistema federal
norteamericano, que permite aplicar los programas en algunos Estados, controlando
los resultados antes de su implementacin a escala general.
Esta preocupacin conduce a un proceso de institucionalizacin de la evaluacin
con la creacin de unidades de evaluacin y la aprobacin de normativa para regular
la evaluacin de las acciones pblicas (Economic Opportunity Act, 1967 y Sunset
Legislation).
En la misma poca surge otra tendencia ligada a Michael Scriven. Para l, la
lgica de la evaluacin es completamente inversa a la que aplicaba el
experimentalismo. No se trata de ver si un programa se ha desarrollado como deba
o si los objetivos se han alcanzado, sino de descubrir si el programa en s es bueno o
no. Se comienza a razonar en trminos de calidad y se busca atribuir un valor a los
programas, intentando, a la vez, que sean los implicados los que aporten su idea de
valor sobre las intervenciones.
Segundo Perodo: Pesimismo respecto a los Programas y desencanto
respecto a la evaluacin (1970-1980)
Esta etapa se caracteriza por la progresiva institucionalizacin de la evaluacin, a
la vez que empez a considerarse limitada la creciente intervencin pblica
experimentalista del perodo anterior.
Se habla de pesimismo respecto a los programas porque empieza a apreciarse
que estos no han conseguido los logros que perseguan: el desempleo no se erradica
en breve tiempo. No es tan simple rehabilitar los guetos urbanos o resolver el
fracaso escolar o el desempleo. Se concluye que hay efectos asociados que no se
controlan. Comienza a considerarse la idea de los efectos perversos de las polticas

28

pblicas, ya que, an logrando resultados positivos, se obtienen tambin efectos no

deseados.
Durante este periodo los evaluadores mantienen dos posiciones diversas. Segn
una de ellas, la manera en que estn diseados los programas dificulta su
evaluacin, los objetivos son demasiado difusos o genricos. Se advierte, en muchos
casos, la incoherencia entre necesidades apreciadas, objetivos planteados y
medidas, de manera que es imposible emitir un juicio de valor coherente sobre los
resultados. Para volver los programas evaluables es necesario reformular mejor las
intervenciones. De aqu nace una orientacin investigadora de gran peso encabezada
por Rossi y Freeman, cuyo Manual represent por muchos aos el texto fundamental
para ayudar a los polticos a reformular los programas y a evaluar sus diversas
fases.
La otra posicin sostiene que las cosas van mal porque los evaluadores pretenden
mantenerse al margen, externos al sistema, sin ensuciarse las manos. El evaluador
debera, al contrario, tratar de ver qu sucede en los programas, ayudar a las
personas implicadas y responsables a expresar su juicio sobre la intervencin,
evaluar y negociar con las diversas partes interesadas dinamizando el proceso. Los
seguidores de este grupo y de la utilizacin de metodologas principalmente
cualitativas, se definen naturalistas, porque sostienen la necesidad de estudiar un
programa en la realidad donde se desarrolla, sin buscar la generalizacin. El debate
cuantitativo-cualitativo alcanza su momento ms lgido a final de los 70 y principios
de los 80.
Tercer Periodo: Institucionalismo, pluralismo y evaluacin
Los aos 80, en EEUU, son aos en los que se inicia una actitud incierta, marcada
por las presidencias de Reagan y Bush. Ese periodo, en cuanto a evaluacin se
refiere, se caracteriza por el fortalecimiento del proceso de institucionalizacin de la
evaluacin. Se crea un instituto especfico para la evaluacin dentro de la General
Accounting Office (GAO) que posteriormente, se reorganiza en la Divisin de
Evaluacin de Programas y Metodologas.
Se pone en evidencia, cada vez ms, el problema de los efectos perversos de los
programas y los parlamentarios comienzan a solicitar a los evaluadores informacin
sobre los aspectos negativos para decidir sobre el recorte de gastos. La actitud
pesimista llega a su lmite: los programas no dan los resultados esperados y las
evaluaciones apenas se usan.
Hay una constatacin de que cada programa es algo muy complejo, compuesto
de partes diversas, de las cuales unas pueden ir bien y otras mal y pueden ser
implementados de manera muy diferente. Se descubren las desviaciones de la
implementacin y se busca analizar el mrito de las acciones singulares para
entender, en cada caso, qu es lo necesario. Este periodo va, aproximadamente, de
la mitad de los aos 80 en adelante.

29

DESARROLLO DE LA PRCTICA EN EL MARCO INTERNACIONAL:

TENDENCIAS
Resulta imposible recoger aqu el sinfn de prcticas que, bajo el epgrafe de
evaluacin, tratan de mejorar la calidad de las polticas pblicas y contribuir a su
rendicin de cuentas y a la responsabilidad poltico-administrativa que requieren los
ciudadanos. No obstante, haciendo un esfuerzo de sntesis, podramos destacar, al
menos, tres grandes ejes de evaluacin bien diferenciados: 1) el enorme y variado
bloque de las evaluaciones nacionales, con impulso y prcticas muy diversas en cada
pas y cada sector; 2) la evaluacin que se realiza en la UE, impulsada,
especialmente, por el control sobre los Fondos europeos y 3) la evaluacin de ayuda
al desarrollo con la influencia en la transferencia de conocimientos y prcticas de los
Organismos Internacionales.
1. La prctica de la evaluacin en los distintos pases
El panorama de la evaluacin en los diferentes pases presenta un campo muy
complejo de innumerables prcticas poco homogneas, con estratos de control
superpuestos, con grandes diferencias entre las esferas de gobierno que interactan
y los sectores a los que se aplica la evaluacin y con enfoques y finalidades muy
distintas. Todo ello muestra un intrincado laberinto de paradigmas que cohabitan,
unos emergentes y otros dominantes, difcil de desentraar que de una parte
enriquecen el panorama pero que tambin encierran contradicciones. En todo caso,
evidencian el error de las soluciones estandarizadas.
En cualquier caso, los estados reconocen, cada vez ms, la necesidad de evaluar
continuamente el funcionamiento y resultado de las instituciones y sus polticas para
elevar sustancialmente la productividad y modernizar procesos especficos del Sector
Pblico.
La evaluacin se practica hoy en casi todos los pases europeos, pero su
desarrollo se presenta muy desigual. Se podra medir por dos tipos de criterios: i) el
grado de institucionalizacin y su papel en la preparacin del presupuesto y su uso
por la gerencia pblica; ii) la importancia de la estructuracin de un medio
profesional y acadmico especializado.
Segn estos criterios y, a pesar de los progresos recientes de la evaluacin en
Europa, el avance americano permanece incontestable. Los otros pases motores son
casi todos de lengua inglesa (Canad, Gran Bretaa, Australia, Nueva Zelanda), con
excepcin de los Pases Bajos y Suiza y los pases escandinavos (Suecia, Dinamarca
y Finlandia). Alemania y Francia se encuentran en una situacin intermedia,
mientras que en Italia y Espaa la evaluacin se ha empezado a desarrollar con
cierto ritmo en las ltimas dcadas.
La evaluacin en los pases anglosajones va estrechamente unida a su relacin
con el presupuesto caso de EEUU y del Tesoro en el Reino Unido. Los resultados de
las
evaluaciones
son
mencionados
explcitamente
en
los
documentos
presupuestarios para justificar ciertas propuestas de nuevas medidas. En los Pases
Bajos la evaluacin presupuestaria se inscribe en el marco de un procedimiento de
revisin sistemtica de los gastos.

30

La evaluacin en el continente americano

EEUU
Las primeras evaluaciones cientficas de programas pblicos datan de principios
del siglo pasado. Desde 1932, el modelo conceptual de la evaluacin fue el de la
experimentacin social impulsada por Ralph Tyler con ocasin de un gran estudio
experimental sobre la eficacia pedaggica de dos programas escolares. En los aos
sesenta, se promueve la evaluacin como instrumento de control y optimizacin del
gasto pblico en el marco presupuestario del Planning Programming Budgeting
System (PPBS).
o

La General Accounting Office (GAO), con cometidos similares a los de los

Tribunales de Cuentas europeos, depende del Congreso de los EEUU. A partir de
los aos 70 se afianza como un actor central en la evaluacin con mayor papel
an en los aos 80, recibiendo encargos tanto del Congreso como del ejecutivo.
De carcter federal y dirigida por el Controlador General que es nombrado por
el Presidente de la Nacin, la GAO se dedica, principalmente, a la realizacin de
auditoras y control del gasto, aunque tiene otras atribuciones de carcter
normativo relacionadas con la contabilidad general y el presupuesto, en
colaboracin con la Office of Management and Budget. Uno de sus pilares ms
fuertes son sus aportaciones metodolgicas. En los inicios, los estudios de la GAO
estuvieron estrechamente ligados al mtodo experimental.
La evaluacin se compromete, desde este enfoque, con actividades de
medicin, concediendo un limitado inters a las cuestiones cualitativas.
La opinin dominante hoy da es que la experimentacin no ha sido el mejor
medio para obtener informaciones tiles sobre la puesta en marcha, la
pertinencia y la eficacia de las intervenciones pblicas, adems de las
consideraciones ticas y el coste asociado.
Sin embargo, EEUU sigue siendo uno de los pases con mayor peso en cuanto
a evaluacin, donde ha tenido lugar el nacimiento de mltiples corrientes. En la
actualidad, la evaluacin se desarrolla bajo formas muy diversas combinando
gran variedad de mtodos. Sin embargo, persisten dos especificidades
americanas que ya se dieron desde el origen: la consideracin de que la
evaluacin forma parte de un mercado floreciente y concurrente que hay que
sostener e impulsar y las cuestiones de que el mtodo juega un papel central en
su estructuracin: la evaluacin es un producto a vender y la reputacin
metodolgica es uno de los argumentos de venta del producto (Pollitt, 2005)

Canad
o

El Secrtariat du Conseil du Trsor en Canad. Es un rgano central que

apoya la prctica de la evaluacin en los ministerios y agencias, a base de
asesorar sobre mejores prcticas, establecer estndares, controlar la capacidad
evaluadora de los ministerios y utilizar los resultados de las evaluaciones para

31

apoyar los procesos centrales de la decisin. Acta como instrumento de

articulacin y colaboracin en la evaluacin de polticas en distintos niveles.
Al igual que en los EEUU, las asociaciones profesionales de evaluacin son
muy influyentes en Canad. Publican revistas y convocan Congresos cientficos
importantes.
Latinoamrica
En Amrica Latina, los xitos y los fracasos de la evaluacin estn ligados a los
procesos de reforma de la Administracin y del Estado que han caracterizado la
regin en los ltimos decenios y tienen como base los problemas de legitimidad y
gobernabilidad de los Estados latinoamericanos.
Para entender la evaluacin latinoamericana en los 90 hay que partir del nfasis
en los resultados de la gestin pblica que se convierte en el rasgo crtico de las
propuestas de reforma del sector pblico a nivel mundial, bajo la visin de la Nueva
Gestin Pblica.
Hay pocos estudios sobre la evaluacin en Amrica Latina; entre las experiencias
concretas destaca el Informe comparativo de 12 pases (Argentina, Bolivia, Brasil,
Chile, Colombia, Costa Rica, Honduras, Mjico, Nicaragua, Paraguay, Per,
Uruguay), realizado por el CLAD bajo patrocinio del Banco Mundial en 2006. El
cuadro siguiente muestra una seleccin de las diversas experiencias.
SISTEMA DE EVALUACIN / SEGUIMIENTO /
MONITOREO / EXPERIENCIAS FUERA DE UN SISTEMA
Sistema de Control de Gestin y Presupuesto por Resultados
Sistema de Seguimiento de la Programacin Gubernamental (SSPG)
Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica
(SINERGIA)
Sistema Nacional de Evaluacin (SINE)
Sistema de Evaluacin de la Gestin Pblica (SEV)
Sistema de Monitoreo y Evaluacin del Plan Plurianual
Sistema de Evaluacin de Metas Presidenciales (SMP)
Sistema de Evaluacin de Metas Presidenciales (SIMEP)
Sistema de Seguimiento y Evaluacin de la Gestin por Resultados
(SISER)
Evaluacin sin articular en un sistema

PAS
Chile
Colombia
Costa Rica
Uruguay
Brasil
Mxico
Bolivia
Argentina

Como se evidencia, se trata de experiencias muy variadas con grandes

diferencias de enfoque entre los que destacan pases que conciben la creacin de un
Sistema Nacional de Evaluacin (Colombia, Costa Rica, Uruguay) y otros que aplican
experiencias especficas sin pretensin de constituir un sistema (Chile). Otro rasgo
distintivo, es el hincapi de unos pases en la modernizacin de la gestin pblica y
los sistemas de presupuestacin (Uruguay y Chile) y otros que conciben la
evaluacin como herramienta para la gestin del gabinete presidencial (Colombia y
Costa Rica) y para el seguimiento del cumplimiento de las polticas pblicas de su
gobierno (Brasil y Mjico).

32

Las caractersticas de estos sistemas se puede sintetizar en dos modelos en razn

a su vinculacin: Modelo Plan (en Colombia y Costa Rica, por ej. la evaluacin est
muy ligada a la planificacin) y Modelo Presupuesto (Uruguay y Chile, en los que la
evaluacin est vinculada al presupuesto). Chile integra la informacin producida por
la evaluacin al ciclo presupuestario y Uruguay la integra de manera directa en el
momento de la elaboracin del presupuesto.
En general, las experiencias de evaluacin latinoamericanas, estn ms en la
lnea del seguimiento que de la evaluacin tal y como se entiende en esta gua, sin
embargo, cada vez ms, se trata de un seguimiento al servicio del nivel de gobierno
(Sistema de Evaluacin de Metas Presidenciales de Brasil y Mjico) y no como era
habitual hablar de seguimiento en el nivel gestor.

La evaluacin en Europa

Reino Unido
En el curso de los aos 90, el desarrollo de la evaluacin en el Reino Unido ha
estado fuertemente marcado por la Nueva Gestin Pblica (New Public Management,
NPM).
Las lneas de fuerza de este enfoque de accin han sido: privatizaciones,
desarrollo de mecanismos de mercado, refuerzo de instancias de regulacin
encargadas de supervisar el buen funcionamiento de los mercados, externalizacin
de funciones administrativas a favor de agentes no gubernamentales o semipblicos.
En el marco de la nueva gestin pblica, la evaluacin se ha dotado de un fuerte
sostn poltico y se ha invocado en beneficio de las reformas administrativas, eso s,
con el riesgo de ser reducida a una tcnica de gestin de objetivos. Uno de los
motivos ha sido la limitacin de los presupuestos y la necesidad de fijar resultados.
Todo ello ha potenciado durante los aos 80-90 el uso de la evaluacin gerencialista,
centrada en la reduccin de costes y mejora de la gestin.
o

La Strategy Unit del Reino Unido. Creada en 2002, es un rgano central que
agrupa las labores llevadas a cabo por la Performance and innovation Unit (PIU)
y otros organismos de estudios y definicin de estrategias, dependientes, en
general, del Primer Ministro. Su labor fundamentalmente es suministrar ideas
para los temas clave de la poltica gubernamental y los estudios de prospectiva.
Ha desarrollado, tambin, estudios en colaboracin con ministerios sectoriales,
que engloban evaluaciones y anlisis de impacto referidos a proyectos
especficos.
Pone el nfasis en el coste de oportunidad de las intervenciones pblicas con
una bsqueda de la mayor eficacia y eficiencia en la gestin, as como en las
consideraciones sobre la participacin del mercado.

En el Reino Unido, tambin debe destacarse el peso de la evaluacin ex ante, a

travs de la labor de la Regulatory Impact Unit, en materia de impulso y apoyo en
la realizacin de anlisis de impacto regulatorio por los departamentos sectoriales.

33

Suecia
o

La Agencia para la Gestin Pblica (Statskontoret) de Suecia. Trabaja por

encargo de los diversos ministerios o de los comits parlamentarios, que a su vez
cuentan con mltiples organismos de evaluacin.
El sistema administrativo sueco se basa en el establecimiento de comisiones
para desarrollar las diferentes tareas e implica un gran nmero de evaluaciones
de muy diferente carcter y calidad.
La evaluacin se centra en programas preferentemente sociales para
determinar su impacto en el bienestar y cohesin social. Los campos ms
habituales son: medioambiente, tributos, seguridad social, educacin y ayuda a
la inmigracin. Se enmarca en los modelos de gestin pblica y en los programas
presupuestarios y se apoya en redes de evaluadores externos.

Francia
En Francia, el desarrollo de la prctica evaluativa es indisociable de la visin
poltica de la evaluacin frente a la gestora y se traduce, desde los aos 70, en una
serie de iniciativas institucionales de evaluacin de xito muy diverso. Su historia ha
venido marcada por dos tentativas para implantar la evaluacin en el ncleo del
funcionamiento del Estado: la racionalizacin de las decisiones presupuestarias
(RCB, 1970) y la creacin de un dispositivo gubernamental de evaluacin de polticas
interministeriales, en 1990.
Desde los aos 80 bajo el impulso de Michel Rocard la evaluacin se inscribe
dentro de una poltica ambiciosa de reforma administrativa denominada Renovacin
del servicio pblico. Hay dos aspectos destacados dentro de la valoracin de la
evaluacin en Francia: su contribucin al desarrollo de la responsabilidad de los
agentes pblicos y su posible papel en el debate pblico.
El objetivo que se persigue es hacer de la evaluacin un elemento central en la
toma de decisiones gubernamentales y del debate democrtico (de ah, la obligacin
de publicar los informes de evaluacin) y hacer progresar los mtodos y la
deontologa de la evaluacin.
En 1988, el Consejo interministerial y el Consejo cientfico son suprimidos y
reemplazados por el Consejo Nacional de Evaluacin, cuyas atribuciones son, a la
vez, polticas y metodolgicas.
o

El Conseil Nacional de lvaluation (CNE) en Francia es creado en 1999

dispone, en teora, de poder real de iniciativa para proponer temas de evaluacin
al Primer Ministro. En la prctica ese poder se limita por las reticencias de los
Ministerios implicados en las evaluaciones.
Est compuesto por profesionales de los cuerpos de control (Consejo
Econmico y Social, Consejo de Estado y Tribunal de Cuentas), profesores
universitarios, representantes de los medios socioprofesionales y representantes
elegidos de regiones, provincias y municipios.

34

La concepcin evaluativa es pluridisciplinar e interministerial con un enfoque

transversal y de instrumento de concertacin econmica y social. Es un modelo
que ha levantado algunas crticas por el excesivo peso burocrtico y de revisin
continua.
Paralelamente a este proceso de institucionalizacin se desarrollan en Francia
otras formas de evaluacin en las administraciones del Estado.
2. La evaluacin de los Fondos Europeos. La UE y el Marco metodolgico:
Las Guas MEANS
En Europa, adems de los pases pioneros del Norte y del Reino Unido, el mayor
impulso a la evaluacin, en los ltimos aos, ha venido de la mano de la Unin
Europea, que ha insistido en la relevancia de la evaluacin de sus polticas y la
necesidad de desarrollo por parte de los pases miembros.
Desde su creacin en 1996, el sistema de evaluacin de la Comisin Europea ha
ido desarrollando la evaluacin, tanto en las unidades internas de la propia
Institucin como en los pases que la conforman. Su objetivo ha sido promover y
asegurar la utilizacin de la informacin obtenida en las actividades de evaluacin a
todos los niveles de decisin, desde el estratgico al operativo, aunque ha sido este
ltimo el ms privilegiado.
El desarrollo de las polticas regionales impulsado por la UE puso en circulacin el
mecanismo de los Fondos estructurales (FEDER, FSE) que, con la reforma de 1998
obliga a los Estados miembros a realizar actividades de evaluacin sistemticas y
obligatorias que justifiquen los programas de ayuda. Esto se corrobor con la
reforma realizada en 1999, a partir de la Agenda prevista para el 2000. No slo es
importante definir con correccin los problemas y necesidades de las regiones y
disear programas que los corrijan, sino establecer un sistema de evaluacin que
permita conocer de forma peridica la pertinencia, eficacia, eficiencia, impacto y
sostenibilidad (no en el sentido medioambiental, sino en cuanto a posibilidad de
mantenimiento de los programas) de las intervenciones pblicas. A esos criterios
fijados por el Comit de Ayuda al Desarrollo (CAD) la UE aadir los de
complementariedad y valor aadido comunitario.
La normativa de evaluacin comunitaria ha sufrido cambios importantes desde el
perodo de 1999 que van en la lnea de:
a) Mayor precisin y reforzamiento de las referencias sobre la necesidad y obligatoriedad
del seguimiento y de tres tipos de evaluacin (previa, intermedia y final).
b) La determinacin de quin deber asumir la responsabilidad del seguimiento de cada
una de las evaluaciones.
c) El aumento del grado de concrecin de los objetivos de seguimiento y evaluacin.
d) El aumento del grado de implicacin de las responsabilidades de los Estados
miembros.
e) La vinculacin con repercusiones financieras para los Estados: la reserva de eficacia.

En el mbito de la evaluacin, la Unin Europea muestra especial preocupacin

por el respaldo poltico documental de las intervenciones y la aceptacin de los
programas por los gobiernos y por los grupos de inters.

35

En cuanto a su propsito, est el contribuir al diseo de las intervenciones y a

establecer prioridades sociales, buscando la eficiencia y eficacia de los resultados e
impactos de los programas y la rendicin de cuentas de las intervenciones.
Asimismo, la UE ha mantenido un papel muy activo en el campo de las
metodologas de evaluacin a travs del Programa MEANS (Mtodos de Evaluacin
de las Acciones de Naturaleza Estructural) cuyo objetivo es alcanzar mayor
coherencia y eficacia en los procedimientos, ayudando a crear una cultura y unos
organismos ms profesionales.
Los Fondos Estructurales han creado un ambiente, un lenguaje y un mercado de
evaluacin con importantes ventajas para su impulso, aunque, en algunos casos, no
exento de contradicciones.
Desde el punto de vista estructural y siguiendo la normativa obligatoria del ao
2000, se han creado y reforzado, de forma generalizada, unidades de evaluacin en
todos los servicios de la Comisin, lo que ha permitido un fortalecimiento de la
cultura de evaluacin en el seno de la institucin.
El papel de la evaluacin se ha visto reforzado desde el punto de vista
institucional, con la inclusin en el Reglamento Financiero de 2003 de la obligacin
de evaluar las actividades desarrolladas y de utilizar las informaciones obtenidas en
la toma de decisiones.
Sin embargo, el impulso evaluador de la UE no est exento de ciertas paradojas.
De una parte, resulta positivo que los Estados comenzaran a pensar en trminos de
programas y proyectos, vindose obligadas las administraciones a encargar
evaluaciones independientes, si bien, inicialmente, los trabajos se ocupaban ms del
seguimiento econmico (la buena utilizacin de los fondos) que de los efectos de las
polticas y de su formulacin. Pero, por otro lado, el hecho de que la UE exigiese
estos controles ha condicionado la propia evaluacin en sus pretensiones ms
ambiciosas (el nivel poltico), favoreciendo su utilidad en el nivel gestor y
tecnocrtico y a decir de algunos, bajo la amenaza de cierto peligro de
burocratizacin.
Las solicitudes de evaluacin no se basan en los problemas concretos que
presentan los programas, sino que calcan una y otra vez los mismos presupuestos
que deben cumplirse para obtener los fondos. A su vez, las ofertas de evaluacin se
convierten en copias que tratan de atenerse, sin mayor creatividad, a las
convocatorias de la Comisin, por temor a no encajar en los trminos de sus pliegos
y perder los concursos. Las conclusiones sobre las evaluaciones realizadas son:

En general, se describen bien y con detalle las realizaciones fsicas y financieras.

Se ha reforzado la base metodolgica de la evaluacin y sus procesos,
particularmente en el nivel gestor y operativo.
Las conclusiones son, a menudo, demasiado generales y de escasa utilidad para los
decisores.
Resulta difcil separar los efectos de los programas de otras acciones privadas,
regionales o nacionales para determinar en qu medida los resultados son
imputables a las polticas regionales de la UE.

Por todo lo anterior, no es de extraar que la gran preocupacin reciente en el

mbito comunitario sea la calidad de la evaluacin.

36

A pesar de las contradicciones hay que reconocer los mritos de la Comisin. En

el perodo 1994-99 se recorri un largo camino tratando de individualizar mtodos
de evaluacin para examinar los efectos de los programas que reciban los Fondos.
Esto se debi tanto al debate producido en la propia comunidad internacional de
evaluadores, que discuti sobre los diversos enfoques y la forma de integrarlos,
como al trabajo desarrollado en el mbito del programa europeo MEANS que puso en
contraste las experiencias ms significativas de evaluacin y que concluy sus
trabajos con la publicacin de una serie de guas que ofrecen un amplio elenco de
herramientas del que poder extraer conclusiones, indicando el valor y el lmite de
cada una de ellas e invitando a los evaluadores a desarrollar muchas ms.
A partir de entonces, la preocupacin por la calidad de la evaluacin no responde
slo a estudios bien hechos que sigan las tradicionales metodologas estadsticas y
macro-econmicas, sino, tambin, a toda aquella recogida de informacin que
proporcione conocimiento sobre la teora de los programas, contexto y,
especialmente, utilizacin de las evaluaciones por parte de las administraciones
que reciben sus informes.
Las guas MEANS resultan indispensables para todo aquel que quiera conocer las
reglas metodolgicas que estn rigiendo la evaluacin en la UE, aunque su uso no es
tan generalizado como sera deseable. Las MEANS no tratan de erigirse en una
Biblia sobre evaluacin, sino en orientacin para que los pases puedan adaptar
sus exigencias con versatilidad, promoviendo, adems, el cuestionamiento
metodolgico y el anlisis crtico. Junto a la Coleccin MEANS la Comisin ha
publicado numerosas colecciones y documentos, como la Metodologa de evaluacin
para la Ayuda Exterior y la Gua sobre el desarrollo socio-econmico, de 2003, que
prosigue la aportacin iniciada con las MEANS.
3. La Evaluacin de Programas de Cooperacin y Ayuda al Desarrollo:
Organismos internacionales
Las polticas de ayuda al desarrollo son uno de los campos en los que la
evaluacin se ha ido imponiendo desde hace aos, como instrumento de rendicin
de cuentas. Es verdad que, en el inicio ha estado mucho ms ligada al seguimiento y
al control que a la visin estratgica que ltimamente se reclama.
Las organizaciones multilaterales dedicadas a la cooperacin y ayuda al
desarrollo como Naciones Unidas, el Banco Mundial o el Banco Interamericano de
Desarrollo, han sido impulsoras de las evaluaciones de programas por parte de las
Administraciones Pblicas de los pases receptores de las ayudas y han fomentado la
cultura de evaluacin con la publicacin de numerosos estudios tericos, guas y
manuales prcticos.
La Ley de Cooperacin Internacional de 7 de julio de 1998 establece en su
artculo 19, punto 4, que la SECIPI evaluar la poltica de Cooperacin para el
Desarrollo, los programas y proyectos financiados con fondos del Estado en curso de
ejecucin y los finalizados, desde su concepcin y definicin hasta sus resultados. La
evaluacin tendr en cuenta la pertinencia de los objetivos y su grado de
consecucin, as como la eficiencia y la eficacia alcanzadas, el impacto logrado y la
viabilidad comprobada en los programas y proyectos ya finalizados.

37

Similar inters por la evaluacin se evidencia en los informes de la OCDE, la

Organizacin para la Cooperacin y el Desarrollo Econmico, en la que los gobiernos
trabajan de manera conjunta para responder a los retos econmicos, sociales y
medioambientales producto de la interdependencia y la globalizacin. Esta
organizacin se crea despus de la Segunda Guerra Mundial con el propsito de
coordinar el Plan Marshall y en 1961 se convierte en la Organizacin para la
Cooperacin y el Desarrollo Econmico con vocacin transatlntica y despus
mundial. Actualmente cuenta con 30 pases miembros que trabajan a travs de
Agencias de Cooperacin y cerca de 70 pases o economas en desarrollo y transicin
estn asociados a su trabajo. Su misin es promover polticas destinadas a alcanzar
un crecimiento econmico sostenible, as como estabilidad financiera y posibilidades
de progreso en el nivel de vida de los pases miembros con el fin de contribuir al
desarrollo econmico mundial.
El planteamiento de las evaluaciones OCDE se caracteriza por un enfoque
tecnocrtico, con nfasis en la eficiencia y modernizacin del Sector Pblico y apoyo
en y al mercado. Sus principales propsitos son mejorar la regulacin, racionalizar la
toma de decisiones y la asignacin de recursos y conseguir responsabilizacin y
aprendizaje de las organizaciones.
La OCDE estimula la realizacin de evaluaciones conjuntas con otros donantes,
de acuerdo con las tendencias actuales: Unin Europea, Banco Mundial,
Organizacin Internacional del Trabajo, ONGD.
La evaluacin es una herramienta que pretende dar respuesta a preguntas
concretas sobre un programa, un proyecto, un conjunto de actuaciones o una
poltica determinada. Las preguntas pueden provenir de la propia comunidad
beneficiaria, de los gestores del proyecto o programa o de las autoridades polticas y
se suelen plasmar en cinco criterios estndares aprobados por el Comit de Ayuda al
Desarrollo (CAD): pertinencia, eficacia, eficiencia, impacto y sostenibilidad. Estos
criterios se incluyen en los Trminos de Referencia (TdR) que suponen el acuerdo
contractual con el que se formaliza la evaluacin.

38

Caractersticas de la Evaluacin de Ayuda al Desarrollo

Se centra en programas, proyectos e instrumentos de diversa ndole, pero

fundamentalmente:
- Ayuda humanitaria de emergencia
- Fondos de Ayuda al Desarrollo (FAD)
- Fondos para la Concesin de Microcrditos (FCM)
Pretende extender la misma lnea metodolgica a todas las evaluaciones
basndose en la lgica de intervencin del Enfoque del Marco Lgico (EML). Ha sido
tambin el escenario para la aplicacin de la Metodologa de Investigacin accin.
Se recurre preferentemente a evaluaciones externas, contratando por
concurso a consultores independientes, segn baremo establecido y pliegos de
licitacin. Trata de favorecer los principios de imparcialidad e independencia, as
como el de credibilidad basada en la experiencia tcnica de las personas que
forman parte de los equipos.
En la mayor parte de los casos se evalan proyectos, programas en
funcionamiento, enfatizando las caractersticas formativas en las recomendaciones.
Faltan estudios de sntesis, sectoriales o temticos para sistematizar las
lecciones aprendidas.
Sera necesario estimular la realizacin de evaluaciones estratgicas ya que
las tcnicas y herramientas para las evaluaciones operativas difieren en algunos
aspectos de las metodologas propagadas en los Manuales del CAD.
Tienden a la especializacin.

ESPAA: PROCESO DE INSTITUCIONALIZACIN DE LA EVALUACIN

Una de las formas que reviste la evaluacin es la institucionalizacin, que
consiste en establecer mecanismos e instancias permanentes que la aplican, la
promuevan y se comprometan con la rendicin de cuentas de los resultados de las
acciones pblicas. La institucionalizacin de la evaluacin est ligada a su carcter
poltico y la naturaleza pblica de sus retos.
Como seala la OCDE Est generalmente reconocido que un cierto grado de
institucionalizacin es necesario para que la evaluacin juegue un papel en las
administraciones pblicas. Es favorable y necesario un marco institucional para
promover la calidad y la utilizacin de las evaluaciones. Pero, hay que velar para
que el institucionalismo no se convierta en simple instrumento de comunicacin o de
autopromocin poltica. Por eso, la evaluacin debe someterse a mecanismos que
garanticen la eficacia y calidad del propio proceso evaluador.
Lo que est en juego en la base de la institucionalizacin de la evaluacin, en las
democracias modernas, es contribuir a la legitimacin social, la transparencia de las
acciones y la comprensin de la accin pblica, as como contribuir al desarrollo y
perfeccionamiento del propio sistema democrtico. Estado que rinde, ciudadana
poltica y participacin, son elementos transversales a la estrategia evaluadora que
deben ser impulsados al mismo tiempo.

39

El contexto espaol

Espaa no se ha sido ajena a la corriente evaluadora de los pases de su entorno

y de los organismos supranacionales (bsicamente, la UE). Esa corriente se
desarrolla a partir de dos mbitos distintos: la exigencia ciudadana y la necesidad
poltica y de gestin.

La exigencia ciudadana: Est relacionada con la nueva forma de hacer

poltica en la que se ha de tener en cuenta elementos como la transparencia, la
participacin, la clarificacin de objetivos, la rendicin de cuentas y, lo que es muy
importante, la percepcin que los ciudadanos tienen de la eficacia y de los efectos de
las polticas pblicas.

La necesidad poltica y de gestin de calidad de los servicios pblicos:

La ciudadana es en este mbito claramente ms exigente y reclama servicios
pblicos que, a un coste razonable, resuelvan sus necesidades de forma adecuada,
es decir, de forma efectiva y con calidad.
Compromiso gubernamental

Algunos sostienen que el desarrollo de la evaluacin es tributario del tipo de

Estado en el que surge y de los compromisos de sus gobiernos.
El respaldo al ms alto nivel institucional es muy importante para la implantacin
de un sistema de evaluacin nacional, porque ste requiere para su xito de fuerte
voluntad poltica y de impulso por parte de las lites que tienen la responsabilidad de
ponerla en marcha.
La evaluacin es una actividad en la que se une el deseo de optimizar el uso de
los recursos pblicos con el de rendir cuentas a los ciudadanos sobre la actividad de
los gobiernos, adems de servir como herramienta para incrementar la confianza y
garanta en la gestin de lo pblico. Es, en definitiva, un instrumento bsico en la
profundizacin del buen gobierno.
Las evaluaciones son instrumentos esenciales para desarrollar la
democracia y asegurar el progreso individual y del conjunto de la
sociedad.
(Discurso de investidura del Presidente del Gobierno espaol, 2004).

La mejora de la gestin pblica y la evaluacin de sus resultados se plantean en

ese contexto como una perspectiva estratgica de profundizacin democrtica y de
consolidacin institucional.
Grado de descentralizacin del Estado espaol

Espaa es uno de los estados ms descentralizados del contexto europeo, lo que

hace an ms necesaria una adecuada articulacin del diseo y gestin de las
polticas y de la evaluacin misma. En esta articulacin se considera que la
evaluacin puede llegar a ser una herramienta privilegiada para valorar la
adecuacin de las polticas a los objetivos y su adaptacin a la continua evolucin de
las necesidades (existentes y emergentes) en los distintos niveles y esferas de
gobierno.

40

Las administraciones han de actuar al servicio de toda la ciudadana, funcionando

con transparencia, eficacia y calidad y deben estar plenamente comprometidas con
la mejora de los servicios y la participacin ciudadana en las decisiones pblicas y en
la definicin de los intereses generales de la nacin.
Impulso de un sistema pblico de evaluacin

Sobre la base de lo anterior, desde el Ministerio de Administraciones Pblicas 2 se

encomend a una Comisin de expertos en mltiples disciplinas, tcnicos
internacionales y expertos de la Administracin, un estudio sobre la evaluacin de
polticas y programas en Espaa y la posible creacin de una Institucin que pudiera
impulsar un sistema pblico de evaluacin en la AGE con la colaboracin de las
Comunidades autnomas, Entes locales y resto de actores sociales implicados en la
evaluacin.

LA AGENCIA DE EVALUACIN DE LAS POLTICAS PBLICAS Y LA CALIDAD

DE LOS SERVICIOS (AEVAL)
Aunque existan en Espaa experiencias muy apreciables de evaluacin,
sectoriales y puntuales, el gobierno decidi impulsar esta herramienta en todo su
potencial poltico-gestor con una visin de transversalidad y de uso ms estratgico.
Para ello, se ha tratado de disear un nuevo marco institucional de evaluacin que
diera respuesta a la realidad poltica espaola y a los nuevos retos del sector
pblico.
El diseo de un marco institucional adecuado pretende promover y facilitar las
condiciones para una implantacin exitosa de la evaluacin de las polticas pblicas y
su uso efectivo en la gestin y en el ms alto nivel decisor poltico.
La creacin de la Agencia supone la constitucin de una institucin evaluadora
con identidad propia para la evaluacin de las polticas pblicas y para la mejora de
la calidad de los servicios. Este hecho constituye un compromiso fundamental del
Ejecutivo espaol para la modernizacin de la Administracin y un elemento clave
en el proceso de institucionalizacin de la evaluacin en Espaa.
La institucionalizacin de la evaluacin en Espaa se proyecta con vocacin
integradora dentro de la malla administrativa en la que ejerce su actividad,
insertndose de manera activa en los procesos de planificacin e implementacin de
las polticas pblicas y en la valoracin de sus resultados e impactos.
Asimismo, la evaluacin resulta informacin interesante aunque no siempre
condicionante- en la asignacin de recursos presupuestarios, permitiendo discernir
qu polticas son tiles en trminos de calidad social y gestora y eficientes en cuanto
a ejecucin presupuestaria.

EnlaactualidadlaAEVALestintegradaenelMinisteriodePolticaTerritorialyAdministracinPblica(BOE
de4denoviembrede2010;Disposicinadicionalsexta).

41

La perceptibilidad social de la evaluacin a travs de instrumentos y rganos de

evaluacin visibles supone una profundizacin en la calidad democrtica y una va
para el conocimiento ciudadano de la aplicacin de los recursos pblicos.
Marco normativo

El Real Decreto 1418/2006, de 1 de diciembre, en virtud de la autorizacin

prevista en la disposicin adicional primera de la Ley 28/2006, de 18 de julio, de
Agencias Estatales para la mejora de los servicios pblicos, aprueba la creacin de
la Agencia de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios.
El nuevo organismo se integra en un amplio proceso de modernizacin e
innovacin de las Administraciones Pblicas, en consonancia con los principios de
gobernanza de la Unin Europea: responsabilidad, eficiencia y participacin y de
acuerdo con un nuevo modelo de gestin pblica.
Su propsito es contribuir a:
o Mejorar los servicios pblicos y el conocimiento de los efectos en la sociedad
de las polticas y programas pblicos.
o Promover una mayor racionalidad del gasto pblico, optimizando el uso de
los recursos.
o Favorecer la productividad y la competitividad de la economa espaola,
eliminando trabas burocrticas.
o Aumentar la rendicin de cuentas respecto a los ciudadanos y la calidad
democrtica, promoviendo la transparencia y la participacin.
La Agencia Estatal de Evaluacin de las Polticas Pblicas y la
Calidad de los Servicios desarrolla una actividad institucional en la
que se une la voluntad de mejorar la calidad de los servicios
pblicos con la de racionalizar el uso de los recursos y rendir
cuentas ante los ciudadanos.

Institucin de referencia

La Agencia tiene vocacin de convertirse en una institucin de referencia,

promotora del uso de la evaluacin como una prctica institucional cotidiana en las
Administraciones Pblicas. Est abierta a la participacin y la colaboracin con
distintos rganos de la Administracin General del Estado, las Comunidades
Autnomas y las Administraciones Locales, a travs de Convenios de Colaboracin.
El proceso de institucionalizacin de la evaluacin y la gestin de la calidad en
Espaa se ha impulsado, asimismo, mediante el marco normativo que desarrolla el
Real Decreto 951/2005, de 29 de julio, sobre Mejora de la Calidad en la
Administracin del Estado y con los trabajos sobre el anlisis del impacto normativo
por Acuerdo de Consejo de Ministros, de 25 de febrero de 2005, por el que se
adoptan mandatos para poner en marcha medidas de impulso a la productividad.

42

La Agencia al Servicio de la Administracin y del Ciudadano

La Agencia de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios

dirige sus trabajos al servicio de:
Decisores pblicos: a los que provee de valoraciones tcnicas
independientes para que decidan en las mejores condiciones, tanto en relacin
con la prestacin de servicios pblicos como respecto a las polticas pblicas
(uso estratgico de la evaluacin).
Gestores pblicos: les suministra informacin para mejorar la eficacia en la
aplicacin y desarrollo de polticas y programas (dimensin estratgicaoperativa) as como para mejorar el rendimiento y la gestin de las
organizaciones (dimensin de calidad y de servicios).
Ciudadana: mejora la calidad democrtica al aumentar la orientacin al
ciudadano, teniendo en cuenta tanto sus intereses y necesidades
(participacin), como rindiendo cuentas sobre en qu medida los resultados
obtenidos responden a sus exigencias (transparencia y responsabilidad).
Los dos componentes principales de la evaluacin de las
polticas pblicas son su contribucin a la comprensin de la
accin pblica y su papel de anclaje para el impulso de una
democracia participativa.

Qu evala la Agencia?

El objeto a evaluar propio de la Agencia son

las
polticas pblicas en sus dos niveles estratgico y
operativo.

Referentes para la realizacin de evaluaciones AEVAL

La actividad institucional de evaluacin para la Agencia se encuentra enmarcada en

un proyecto de gobernanza, modernizacin e innovacin administrativa. Asimismo,
promueve la utilizacin de la evaluacin como herramienta estratgica y
prospectiva.

La evaluacin trata de obtener un aprendizaje y conocimiento integral de la

intervencin pblica que examina. Puede referirse tanto a los procesos de diseo,
como a los de aplicacin, desarrollo y finalizacin de dicha intervencin.

La evaluacin incorpora un juicio valorativo basado en evidencias y criterios

referenciales y metodologas que se establecen, explcitamente en consonancia con
los principios de responsabilidad y transparencia.

La evaluacin supone la aplicacin sistemtica de un mtodo de planificacin,

recogida, tratamiento e interpretacin de la informacin que garantice el rigor y la
validez del juicio de valor.

43

La metodologa para evaluar las polticas pblicas aplica una perspectiva abierta y
flexible en materia de modelos y tcnicas, superando cualquier forma de
dogmatismo metodolgico. Utiliza herramientas de las ciencias sociales
(cuantitativas y cualitativas) y tcnicas de la gerencia pblica.

Se aplican mecanismos para incorporar las percepciones y valoraciones de los

actores clave implicados.

La Agencia promueve las medidas oportunas con el fin de que se utilicen los
resultados de la evaluacin en la mejora y perfeccionamiento de las normas,
programas, planes o polticas pblicas.

NECESIDAD DE GENERAR CULTURA DE EVALUACIN

Aunque la institucionalizacin de la evaluacin es un ndice del compromiso
poltico y de su desarrollo, los elementos estructurales no bastan por si solos para el
arraigo de la evaluacin, se necesita, adems, el impulso de una cultura evaluadora.
Cualquier cambio institucional es un proceso muy complejo que depende de la(s)
cultura(s) y estructura(s) de las organizaciones, del liderazgo que lo impulsa, de la
alta gerencia que lo desarrolla y del compromiso colectivo que se implica en el
cambio.
La evaluacin como proceso institucional y no slo como tcnica aplicada al final
de un programa, requiere el uso de un lenguaje comn, un ncleo de valores, reglas
del juego de carcter relacional, con tolerancia ante las divergencias, experiencia del
proceso, con apertura a la realidad y a la lgica de la accin pblica en sus
diferentes niveles.
La evaluacin se enmarca, en cuanto a valores polticos, entre los principios del
buen gobierno; en cuanto a las cuestiones de lo que revelan sus estudios se inserta
en la sociedad del conocimiento y de la informacin; metodolgicamente se enfrenta
a los desafos de la cultura de la incertidumbre y la complejidad. En cuanto los
niveles organizativos en los que desarrolla su accin se interrelaciona con diversas
culturas administrativas. Pone el nfasis en evaluar para la sociedad, compartiendo
los valores que los enfoques de calidad y de satisfaccin de los usuarios vienen
desarrollando, pero va ms all de la calidad de la gestin al proponerse con su
accin la profundizacin en la responsabilidad, transparencia y en la calidad
democrtica. Todos estos valores culturales inciden en los resultados de la
evaluacin y bueno ser tenerlos en cuenta para justificar en parte su xito o
fracaso.
Precisamente, consolidar una cultura de evaluacin fuerte y diferenciada frente a
otras tcnicas consideradas afines es una de las necesidades que reclaman para su
desarrollo los pases de la OCDE as como otras organizaciones internacionales.
El cuello de botella de la evaluacin, no es su capacidad tcnica, sino la
debilidad de una cultura de evaluacin(UNICEF).

44

Los mayores condicionantes para desarrollar una cultura de evaluacin son:

Mantenerse un tanto al margen de los principios de buen gobierno por
centrarse en el mbito puramente gestor.
La falta de apertura y confianza para compartir informacin entre
administraciones.
Pretender reservar zonas de opacidad por parte de los responsables pblicos
unas veces a nivel poltico y otras a nivel gerencial-.
Personalizar las cuestiones de eficacia y tratar de evitar su valoracin.
Vivir los resultados de la evaluacin como una amenaza y no como un
aprendizaje y una responsabilidad de mejora colectiva.
Asumir una cultura de responsabilidad infunde reservas y resistencias.
Considerar la participacin cuando se acepta- como algo ineficaz y
complejo.

En otro sentido y no menos importante, la evaluacin tiene que superar tambin

otras limitaciones:
Aceptacin de lugares comunes y falta de creatividad.
Necesidad de desarrollar pensamiento evaluador de futuro. Si
necesitamos pensar los problemas de una forma nueva tal vez se necesita,
tambin, evaluar la accin pblica con pensamiento nuevo.
Falta de cuestionamiento crtico de la accin pblica en las
administraciones, cuando, a la vez, se pretende mayor competitividad.
Fuerte disociacin entre los problemas del mundo y la ficcin
administrativa. Necesidad de introducir los contextos y los agentes pblicos.
Diferenciar los sustratos confusos de culturas administrativas superpuestas
que reclaman hacer los mismos cometidos.

Para un mayor desarrollo y difusin de una cultura de evaluacin en las

Administraciones pblicas se requiere:

Difundir un lenguaje comn.

Comprender los principios y fundamentos de la evaluacin en sus dos
niveles de accin gubernamental e integrarla en todo el ciclo de las
intervenciones pblicas (evaluacin integral).
Valorar su perspectiva histrica y sus metodologas pero, sobre todo,
los desafos actuales.
Diferenciarla con nitidez de tcnicas habitualmente consideradas
afines.
Caracterizar la calidad y las peculiaridades de sus informes frente a
otros.

45

FUNDAMENTOS DE LA EVALUACIN COMO INTERVENCIN PBLICA

LA EVALUACIN DENTRO DEL CICLO DE INTERVENCIN DE LAS POLTICAS
PBLICAS
La evaluacin se enmarca en la Ciencia Poltica, concretamente, en el campo del
Anlisis de las Polticas Pblicas que, ante las nuevas realidades, debera incorporar
a su denominacin habitual el trmino evaluacin junto al de anlisis.
En principio, la evaluacin surgi como una tcnica ms de racionalizacin del
gasto pblico y de la negociacin presupuestaria.
En sntesis, la racionalidad en las decisiones y actuaciones pblicas se ha venido
manifestando a travs de diferentes formas:
o
o

o
o

Mediante la elaboracin de planes y programas concretos de actuacin.

A travs de la adopcin de sistemas de presupuestacin acordes con la
planificacin (Presupuesto por Programas entre otros) fundamentados en una
lgica tcnico-econmica de carcter mecanicista.
A travs de elementos de control interno (tcnicas consideradas afines a la
evaluacin, pero con importantes diferenciaciones).
Evaluacin de proyectos, programas o polticas, internas o externas a la
unidad de intervencin.

La evaluacin de programas se convirti en una herramienta de control y de

retroalimentacin para los gestores pblicos, pero es, sobre todo, como prctica de
responsabilidad y transparencia democrtica que la evaluacin de polticas pblicas
puede alcanzar su mayor potencial. Si se evala para corregir errores y mejorar,
dando cuenta a la ciudadana, la evaluacin sirve para afirmar el ejercicio de la
responsabilidad administrativa y para obtener legitimacin de la accin pblica
Metodolgicamente, la evaluacin de polticas pblicas tiene, en su origen,
deudas considerables con el campo de las ciencias sociales, pero es bajo la
perspectiva de investigacin aplicada que encuentra su razn de ser al valorar la
utilidad y bondad de la intervencin pblica mediante la aplicacin de un conjunto de
tcnicas, tanto del campo de las ciencias sociales como de la gerencia pblica
(management).
La evaluacin como intervencin pblica eficaz
La evaluacin es por s misma una intervencin pblica.
Las instancias de evaluacin, estn vinculadas al presupuesto o a planes de
trabajo, acaban reflejando en sus encargos los focos estratgicos de la poltica
evaluativa.
La evaluacin se lleva a cabo a travs de las tradicionales fases del ciclo de una
intervencin pblica: planificacin, implementacin y resultados. Y como toda
intervencin pblica, la evaluacin, en su proceso, ha de ser eficaz, transparente y
responsable.

46

La evaluacin detrae para su accin recursos pblicos y como tal deber dar
cuenta de la eficacia y resultados de su accin. Una eficacia que va ligada a cada
fase del proceso: anlisis del encargo, clara definicin del objeto de estudio y su
alcance, eleccin de la estrategia evaluativa ms eficiente para la obtencin de lo
que se requiere, actuacin responsable y solvencia profesional en el diseo
metodolgico, buena administracin de recursos y control de cualquier tipo de
despilfarro -en tiempo o gasto pblico. Una eficacia que ha de quedar plasmada,
tambin, en la calidad de sus informes.

Momento en el que evaluar

Una intervencin pblica se puede evaluar antes de ponerse en marcha (evaluacin

ex ante), durante la implementacin (evaluacin durante o in itinerem) o despus de
implantada para averiguar el logro de sus resultados (evaluacin ex post). La decisin
sobre el momento de evaluar es importante y afectar a las finalidades y utilizacin.
Durante mucho tiempo, ha sido habitual estudiar el anlisis de las polticas pblicas
aislando sus fases identificables (Lasswell, 1962 y Dye, 1955):

Deteccin de los problemas y necesidades.

Elaboracin del diagnstico: conceptualizacin y definicin de los problemas.
Inclusin de los mismos en la Agenda del Gobierno.
Diseo de un plan de accin, lo que supone establecer quin y cmo se hace la
poltica o programa. Esto es, formulacin de los objetivos de la intervencin
pblica, eleccin de los instrumentos y definicin de las acciones.
Ejecucin o puesta en prctica.
Evaluacin de la poltica o programa aplicado que incluye el anlisis sobre su
sistema de seguimiento o control.

Esta concepcin clsica y lineal, del ciclo de las intervenciones pblicas, presume
unos objetivos definidos de forma explcita, un actor nico y libre en la toma de
decisiones y una sucesin lineal entre cada etapa del ciclo. Desde esa concepcin, la
evaluacin sera la ltima fase de todo el ciclo y tendra un carcter retrospectivo,
entendindose como parte de un proceso de retroalimentacin para justificar las
decisiones relativas a las polticas o programas objeto de estudio.
Sin embargo, la realidad es bien distinta, las polticas estn sujetas a continuas
revisiones y los objetivos son, la mayor parte de las veces, confusos y ambiguos,
cuando no una declaracin de intenciones. Adems, no siempre quienes toman las
decisiones buscan la racionalidad tcnico-econmica, a menudo deben encontrar
soluciones socialmente aceptables o polticamente convenientes a los problemas que
tratan de resolver. Los intentos de buscar la racionalidad de un programa o poltica
olvidan en muchas ocasiones que las decisiones pblicas incluyen negociaciones
polticas y el resultado de la mediacin de diferentes grupos de inters o de
compromisos programticos.
La evaluacin no puede concebirse como un hecho aislado y final, sino como un
continuum que acompaa a todo el proceso, desde el momento de la planificacin
(evaluacin ex ante), a la fase de implementacin (evaluacin in intinerem o durante)
y a la verificacin de los resultados y efectos finales (evaluacin ex post). Porque, la

47

evaluacin, adems de otras consideraciones de inters, entraa un tipo de cultura

poltico-administrativa que pretende potenciar el saber en las organizaciones para
cambiar, mejorar y crecer y si mira al pasado es para resolver de mejor manera el
futuro.

LA EVALUACIN
EN EL CICLO DE INTERVENCIN PBLICA
La evaluacin puede referirse tanto a los procesos de diseo, como de
implementacin, desarrollo y finalizacin de una intervencin pblica.
RESULTADOS
PLANIFICACIN
IMPLEMENTACIN
IMPACTO
PROBLEMAS
NECESIDADES

Ev. IMPACTO
NORMATIVO

INTERVENCIN
PBLICA

OBJETIVOS

Ev.
DIAGNSTICO
DISEO

Ex ante

DESTINATARIOS

INSTRUMENTOS
IMPLEMENTACIN

Ev.
IMPLEMENTACIN

Intermedia

SOCIEDAD

IMPACTOS
RESULTADOS
INTERMEDIOS

RESULTADOS
FINALES

Ev.
RESULTADOS

Ev.
IMPACTO

Ex post

La evaluacin trata de reunir evidencias que nos indiquen qu se ha hecho, para

qu sirve y hasta qu punto se acercan o no los resultados a lo previsto. Tambin, sin
duda, qu es lo imputable al programa o poltica y qu a otras causas y cules son los
efectos adversos que se han producido. Para contestar a esas cuestiones de la manera
ms eficaz, la evaluacin necesita ocuparse de todo el ciclo de la intervencin. Esto
es lo que se conoce como evaluacin integral (en relacin a su aplicacin a todas
las fases del ciclo de la intervencin pblica).
Cabra tambin hablar de evaluacin integral cuando se trate de dar respuesta a
la doble funcin de gobierno: legitimidad (polticas con directrices de buen gobierno)
y funcionalidad (buena administracin y gestin), en cuyo caso habr de tenerse en
cuenta a la hora de evaluar que los objetivos, las lgicas, las necesidades de
informacin, los criterios, cronogramas, prioridades y usuarios de la evaluacin
pueden ser distintos en el nivel superior de las polticas que en el de los programas.
El informe integrar los resultados de ambas funciones que se complementan. Si
bien no son todava muy frecuentes las evaluaciones con este enfoque integral que
persigue la AEVAL.
OBJETOS A EVALUAR: EVALUAR POLTICAS O EVALUAR PROGRAMAS?
Aunque en la prctica evaluativa se habla indistintamente de evaluacin de
polticas pblicas y evaluacin de programas, convendra utilizar con el mayor rigor
ambos trminos. Los programas guardan con las polticas la relacin de las partes
con el todo. Por lo que si las polticas engloban los programas, no se pude decir, por
el contrario, que los programas contengan el total de las polticas.

48

Los trminos se confunden pero en la prctica lo que se advierte es un dficit de

evaluacin de polticas pblicas.
Un despliegue modlico de las polticas pblicas respondera al siguiente
esquema.
SISTEMA POLTICO

POLTICAS PBLICAS

Despliegue(+Complejidad)
Decisiones
Actividades
Medidas
( Complejidad)
PROGRAMAS

PROYECTOS

SERVICIOS
PBLICOS

Las polticas pblicas son una concatenacin de actividades, decisiones y

medidas coherentes -al menos en su intencin- tomadas por los actores del
sistema poltico-administrativo de un pas con la finalidad de resolver un
problema colectivo (Larrue, 2000). Desde esta imprecisa consideracin las
polticas pblicas engloban una amplia categora de objetos: polticas en sus
grandes lneas (Poltica de Educacin, de Sanidad, de Empleo), planes (Plan de
juventud, Plan de emprendedores, Plan Nacional sobre drogas y entre ellos cabra
diferenciar planes marco, estratgicos, operativos), programas, proyectos,
medidas, normas, actividades de cuerpos especiales (Plan de Inspeccin) o
intervenciones en una materia especfica (Poltica tributaria, fiscal, urbanstica).
El estudio de las polticas, segn Lasswell, tiene dos dimensiones principales.
Por un lado est el proceso de la poltica que, a grandes rasgos, nos da cuenta de
lo que sucede en la toma de decisin: cmo se disea esa poltica, por qu y
quines intervienen y todo lo que acontece antes, durante y despus de su
elaboracin. Y por otro lado, est lo que el mismo autor llama las necesidades
de inteligencia del proceso (Lasswell, 1993a: 80); es decir, toda la informacin
tcnica que se recaba, analiza y sistematiza para tomar una decisin, que tiene
gran importancia en el proceso evaluador.
A su vez las polticas pblicas dentro de la globalidad estn fuertemente
condicionadas por la influencia de los organismos internacionales, as se habla
cada vez ms de polticas globales (como los acuerdos medioambientales o los
de consecucin de Objetivos del Milenio) o de polticas comunitarias (UE). Todo

49

ello ha dado mayor relevancia a los contextos, a las estrategias comunes y a los
actores en juego, sin olvidar el peso de las organizaciones y los recursos.
En la evaluacin de polticas pblicas, tanto el proceso de formulacin como
el proceso de recogida de informacin y anlisis, as como el estudio de los
diferentes contextos y objetivos estratgicos son componentes que se examinan
para explicar sus resultados con la finalidad de prestar ayuda a la decisin.
La articulacin de las polticas suele realizarse, en un primer despliegue a
travs de Planes y en un despliegue ms detallado a travs de programas,
proyectos y hasta acciones pblicas que no alcanzan siempre un grado tan
estructurado de articulacin.
Cuando se habla de evaluacin de polticas pblicas resulta ineludible aludir al
nivel estratgico y decisor y al valor del impacto de la accin pblica. Las polticas
pblicas son el todo, pero el abordaje de evaluacin no es el mismo para el todo
que para las partes. Adems, el todo no es slo la suma de las partes, tiene,
asimismo, su propia lgica. Hay un ncleo comn para la evaluacin de todos
estos objetos en general el proceso es el mismo-, pero lo fundamental est,
precisamente, en cada una de sus peculiaridades: preguntas, criterios,
indicadores y recomendaciones.
Para ser coherente con el contexto de la buena gobernanza, los criterios de
evaluacin de las polticas pblicas debieran considerar en primer lugar sus
principios. La sintona con esos principios parece ineludible a la hora de valorar la
calidad de las polticas de los Estados en el microespacio europeo. Junto a esta
arquitectura de criterios se habrn de tener en cuenta aquellos relevantes en
funcin de las peculiaridades de cada intervencin (equidad, innovacin,
coordinacin administrativa).
o

Los planes son elementos instrumentales estratgicos que articulan un conjunto

de acciones, programas, proyectos y servicios que se consideran prioritarios para
alcanzar los objetivos de una poltica. Son, junto a las leyes, los instrumentos y
medidas que despliegan, en un primer nivel, los idearios de gobierno. El nfasis
de los planes est tanto en los resultados como en los impactos. Segn se trate
de planes marco o estratgicos o planes operativos sus indicadores debern
adaptarse a un nivel u otro.

Los programas son elementos instrumentales y operativos en los que se

despliegan los planes. En general, un programa es un conjunto de intervenciones
homogneas, reagrupadas para alcanzar un objetivo concreto dentro de un plan
o de una poltica pblica. La evaluacin de programas suele pivotar sobre los
resultados y los procesos de gestin, por lo que esos sern los indicadores ms
relevantes.

Los proyectos son el nivel ms concreto de las polticas pblicas. Un proyecto es

una operacin no divisible, delimitada en cuanto al tiempo y al presupuesto y
que, a menudo, se encuentra bajo la responsabilidad de un solo operador. Al
igual que en la evaluacin de programas tienen un gran peso los indicadores de
proceso y gestin.

50

Los servicios pblicos

El trmino puede aplicarse en un doble sentido: macro, en alusin a los grandes
pilares del Sistema del Bienestar (ej. el Servicio Pblico de Salud) o micro, en
relacin a los procesos de gestin, esencial y prioritariamente prestacionales, que
proporciona el Sistema. Estos servicios micros no dejan de ser accin poltica en
su esencia, pero tienen una significacin distinta a la hora de evaluarlos. Su
propia naturaleza y el fuerte componente de formalizacin administrativa que
conllevan facilita su evaluacin en relacin a criterios de gestin y de mejora y
tienen como indicador esencial la satisfaccin de los ciudadanos.
Sin embargo, en la prctica, el despliegue de las polticas pblicas no es tan
ordenado ni racional (Quade, 1989). Una de las peculiaridades de las polticas
pblicas, condicionadas por los distintos periodos de gobierno, es su capacidad de
reaccionar ante los problemas que surgen son a la vez accin definida y curso
de accin en movimiento-. Las polticas pblicas cuentan, por lo general, con
sustratos anteriores el legado es un factor a tener siempre en cuenta, Janoski
y Hicks: 1994)- que no siempre resulta coherente con los nuevos objetivos. La
formulacin
poltica
debe
intentar
continuamente
obtener
soluciones
satisfactorias a travs de un proceso iterativo y, a menudo, las transformaciones
que se persiguen deben contentarse con la acumulacin de acciones que no
siempre estn tan claramente estructuradas y articuladas.
En cuanto a la racionalidad, tampoco puede sostenerse que exista una nica
alternativa adecuada, sobre todo cuando se trata de evaluar la accin pblica
respecto a problemas complejos, interacciones entre ideas, actores, escenarios
institucionales y realidades procesales. Hablar de racionalidad en los supuestos
de evaluacin de polticas requerir lgicas diferentes a la racionalidad de la que
se habla con respecto a los programas.
Desde un punto de vista modlico, el sistema polticas, engloba al resto de
los subsistemas: programas, proyectos, servicios.

Necesidad de diferenciar los diferentes objetos de evaluacin

En este documento se define con el trmino intervencin cualquier tipo de

accin pblica de la magnitud que sea que emane de los poderes pblicos con el
fin de resolver un problema o una necesidad social. No obstante, para hacer ms
comprensible la dimensin y naturaleza de algunas de estas acciones se han
categorizado como objetos macro: polticas pblicas en su ms alto nivel y los
Servicios del Estado del Bienestar en su valoracin de conjunto, objetos mezzo:
programas y organizaciones que los llevan a cabo; y objetos micro: proyectos y
servicios prestacionales, identificados como las unidades ms indivisibles de la
cadena de accin pblica. Todos estos objetos pueden ser objeto de evaluacin
en el campo del Sector Pblico, adems del desempeo funcionarial, que se
considera un subconjunto de valoracin interna dentro de la evaluacin de las
organizaciones y que queda fuera del propsito de esta obra.
Siendo todo ello accin de gobierno cada una de estas acciones presenta una
lgica distinta en funcin del propio nivel a que pertenecen y su especificidad, por
lo que se requieren enfoques metodolgicos diferenciados. No es lo mismo

51

evaluar el diseo y despliegue de las polticas que evaluar las organizaciones que
las ponen en marcha o evaluar la calidad de algunos de los servicios concretos
que prestan. Si bien todos estas acciones son parte de una cadena para juzgar la
calidad de las polticas pblicas conviene tener en cuenta los dos niveles que
distingue Dror de la accin pblica:
1) Funciones de orden superior: modificacin de las trayectorias colectivas
mediante decisiones que, en esencia, constituyen intervenciones en el
proceso histrico y son cualitativamente las ms trascendentes. Estas
acciones son especficas del ms alto nivel de gobierno y suelen plasmarse
en la formulacin y planificacin de las polticas pblicas.
Todas las acciones polticas abocadas a dirigir las transformaciones de las
sociedades y los gobiernos para su adaptacin a las nuevas realidades
pertenecen claramente a las funciones de orden superior.
2) Funciones de servicio, ejecucin y gestin de los gobiernos (tareas
de gestin).
Entre la fase de formulacin de las polticas pblicas y la de resultados se
encuentra una fase decisiva que es la implementacin. A esta fase del ciclo
de intervencin pblica le corresponden, por lo general, funciones gestoras,
ejecutoras y prestadoras de servicios, siendo la instancia mediadora la
administracin en todas sus esferas de gobierno: central, autonmica y
local. Estas funciones son cuantitativamente ms numerosas que las del
orden superior y estn ms prximas al servicio directo al ciudadano por lo
que suponen una forma de enjuiciamiento ms directa de la accin que se
recibe de los poderes pblicos.
Por consiguiente, la evaluacin de la implementacin de las polticas
pblicas resulta especialmente relevante en los resultados finales de las
polticas pblicas al proporcionar informacin sobre las posibles desviaciones
y dificultades que pueden darse entre la fase de concepcin y formulacin de
las polticas y la de su puesta en marcha.
Un captulo especial merece la evaluacin de las organizaciones y la
calidad de los servicios que prestan. Ambas se encuadran en un segmento
especfico de la accin pblica que se evala desde hace aos bajo el
enfoque de la gestin de calidad y que desde la perspectiva de un sistema
pblico de evaluacin es un subsistema integrado en el conjunto, con la
ventaja de tener, en este caso, una metodologa bastante consolidada
(modelos EFQM, CAF) 3 .

Evaluacin de programas

La mayor parte de la prctica evaluativa se ha dirigido y contina dirigindose

a programas y muy frecuentemente, a los aspectos cuantitativos y formales de
las acciones pblicas; en consecuencia, se centra en las tcnicas de obtencin y
gestin de informacin para el nivel operativo.

ParamayorconocimientosobreestosmodelosconsultarwebdeAEVAL.

52

En general, tanto en los Estados Unidos como en el norte de Europa y en la

Comisin europea, el mayor desarrollo de la evaluacin se ha centrado en la
evaluacin de programas, siendo los pases del sur de Europa, Francia en
particular, los que han hecho mayor hincapi sobre la evaluacin de polticas
pblicas. Los beneficiarios del enfoque de programas han sido, principalmente,
los administradores y gestores de los mismos.
El enfoque de programas y proyectos- supone valorar los aspectos concretos
y operativos del despliegue de las polticas. Investiga sobre la deficiente gestin o
la implementacin desacertada de las polticas pblicas. Se trata de un enfoque
absolutamente necesario en evaluacin pero no suficiente. La propia Comisin
europea requiere evaluaciones cada vez ms estratgicas.
Sin embargo, viene siendo comn, en la mayor parte de los foros, la toma de
conciencia de lo limitada que ha resultado la evaluacin de programas, as como
la transversalidad de centros de poder y la dificultad de probar la racionalidad y
coherencia entre objetivos y medidas de las polticas pblicas cuando hay tantos
actores que actan.
En esta lnea, la OCDE recoge entre los temas clave sobre evaluacin de
polticas pblicas la necesidad de trabajar ms en la incorporacin de la
evaluacin a la formulacin de las polticas de manera estratgica. Y seala que
es en las grandes Agencias donde deber concentrarse esa visin transversal y
estratgica que impulse la funcin superior de los gobiernos, a la vez que a nivel
Departamental se siga impulsando la evaluacin de programas.
La evaluacin de programas sigue estando en la base de la reflexin y
mtodos de evaluacin en la mayor parte de los pases; sin embargo, cada vez
ms los objetos de la evaluacin tienden a diversificarse y a complicarse
plantendose evaluaciones de una jerarqua superior y de carcter ms
estratgico. La toma de conciencia de lo limitada que ha sido la evaluacin de
programas, as como la conflictividad entre objetivos y la transversalidad de
centros de poder muestra el auge de la evaluacin de polticas pblicas.
Adems de los aspectos operativos de las polticas pblicas, la evaluacin
habr de abrirse a los principios de gobernanza en busca de una mayor
profundizacin democrtica, poniendo el foco de su valoracin en las polticas
pblicas errneas o exitosas y, en particular, aquellas que -no por ignorancia o
incapacidad, sino por intencionalidad- provocan un mal gobierno.

Evaluacin de polticas

En la mayor parte de los pases, el impulso evaluador ha venido marcado por

razones reglamentarias, nacionales, internacionales, donde la evaluacin ha
conquistado, poco a poco, el nivel gestor y operativo de la accin pblica, con el
nfasis puesto, como se ha venido sealando, en la evaluacin de programas y
en los mbitos de la prestacin de servicios pblicos. La evaluacin de estos
subconjuntos de la accin pblica informa sobre partes especficas de las
intervenciones en su nivel ms concreto u operativo pero el mayor dficit sigue
siendo la metodologa especfica para el enfoque de polticas pblicas.

53

En tiempos de incertidumbre y vertiginosos cambios, la accin pblica se

desarrolla en terrenos complejos, donde los problemas preocupantes no afectan
slo a cuestiones de gestin o procedimiento -que deben seguir mejorando- sino
de adecuacin estratgica y de legitimacin democrtica. Cada vez ms a
menudo nos enfrentamos a problemas globales interconectados, y por tanto, ms
difciles de segmentar, de definir y de ser abordados desde las especializaciones
que hemos ido construyendo. Los problemas que tenemos tienen poco en comn
con estructuras de decisin y gestin administrativa pensada para otros tiempos
y para otro tipo de problemas (Joan Subirats, 2001, p.39). La evaluacin se
reclama cada vez ms desde el nivel superior de gobierno para la comprensin y
transformacin de las polticas.
Todo lo anterior pretende poner en evidencia la necesidad de diferenciar entre
el objeto de evaluacin de polticas pblicas y el objeto de evaluacin de
programas. La diferencia no est ni en su dimensin ni en su complejidad
algunos programas son de una complejidad extrema-, sino en su significacin en
cuanto a las trayectorias poltico-sociales. Pero es que, adems, la evaluacin de
polticas no es slo la suma o la sntesis de sus componentes, sino que tiene su
propia naturaleza per se.
El mayor dficit sigue estando en el nivel de las evaluaciones estratgicas y en
la valoracin de las polticas en sus grandes lneas, es decir, los conglomerados
ms complejos.
Poner el acento sobre polticas o programas, dice Bernard Perret, revela un
nfasis distinto aunque complementario- sobre la accin pblica, porque
polticas, programas y proyectos estn estructurados sobre binomios diferentes:
POLTICAS PBLICAS

PROGRAMAS / PROYECTOS

(NIVEL ESTRATGICO)
(macro)

(NIVEL INSTRUMENTAL OPERATIVO)

( mezzo/micro)

PROBLEMAS / ACTORES

OBJETIVOS / MEDIOS

Al hablar de evaluacin de programas, aunque no se descarta la complejidad

que puedan alcanzar, incluso el carcter estratgico de algunos de ellos, en
general, la informacin que se persigue suele estar centrada en el
nivel
operativo y en la relacin entre objetivos y medios.
Cuando el nfasis se pone en las polticas pblicas, confluyen distintas
intervenciones, con caractersticas transversales que afectan a mltiples
dimensiones (geogrficas, temporales, institucionales, reglamentarias) y a
sectores de accin pblica interconectados y con trayectorias poltico-sociales,
que tienen como eje de su accin los problemas que surgen as como los
intereses de los actores en pugna.
En resumen, desde el punto de vista evaluativo, las diferentes dimensiones
del objeto de evaluacin nos permiten hablar, de forma aproximativa, de niveles

54

macro, meso y micro de las polticas pblicas. Aunque algunos de ellos pueden
tener lmites confusos. Lo que hay que tener en cuenta es que su tratamiento
ser distinto en cuanto a preguntas a investigar, criterios, utilidad, necesidades
de informacin y, probablemente, tcnicas a aplicar y recomendaciones. La
diferencia entre todos estos elementos no siempre queda clara y ser el
evaluador preferentemente con los interlocutores implicados- quien llegue a
acotar la naturaleza y dimensiones del objeto a evaluar.

El ncleo esencial de las polticas pblicas: lo complejo.

El nivel macro de la accin pblica apunta al ms alto grado de complejidad del

objeto de estudio evaluativo, evidenciando que el ncleo esencial de la evaluacin
de las polticas pblicas se enmarca en el orden de lo complejo 4 , y no slo de lo
complejo ordinario, sino de lo complejo emergente 5 que no deja de generarse a
gran velocidad.
Complejo es lo que est tejido en conjunto, de constituyentes
heterogneos, inseparablemente asociados. La complejidad es el tejido de
acontecimientos, interacciones, retroacciones, determinaciones, azares, que
constituyen nuestro mundo fenomnico. Y esa es la entraa de las polticas
pblicas y de ah la dificultad de evaluar resultados netos e impactos.

La evaluacin de las polticas pblicas trata de obtener conocimiento sobre el

valor global de intervenciones complejas. Se busca responder a los retos que
plantea la transversalidad, la descentralizacin de las decisiones y la
corresponsabilidad financiera que comparten los distintos niveles de Gobierno. Se
alude a una dimensin superior de la accin de gobierno relacionada con la toma
de decisiones estratgicas, la legitimacin social de la accin pblica y sus
impactos y las posibles alternativas y mejoras.

El desafo de evaluar lo complejo: la cuestin del mtodo.

La evaluacin encuentra hoy mayor dificultad al proponerse valorar los

elementos ms complejos del nivel de gobierno: las polticas pblicas. Los
procesos decisorios son bsicamente, el resultado de interacciones mltiples y
simultneas en las que participan diversos actores: polticos, funcionarios de
distintos niveles, grupos de inters, expertos, acadmicos, partidos polticos,
medios de comunicacin De la decisin a la implementacin se burocratizan
los procesos polticos, se politizan los procesos burocrticos y se socializan
unos y otros. De ah que la valoracin de las evaluaciones y su aportacin a la
toma de decisiones se mueva cada vez ms en un terreno muy complejo.

Sedefinencomosistemascomplejosaquellosquenopuedenserabarcadosporunanicaperspectiva.

Lossistemascomplejosemergentessonaquellosquenopuedenserexplicadostotalmentedeunaformamecnicayfuncional.Enellos,
alguno de los elementos presentan caractersticas que no se encuentran en los sistemas ordinarios complejos como individualidad, novedad,
reflexividad, efectos a largo plazo, incertidumbre e ignorancia, irreversibilidad de las acciones. El comportamiento de estos sistemas suele
implicardecisionesurgentesypresentarunnmeroelevadodeagentesinvolucrados.

55

La dificultad no est en el proceso evaluador que, sustancialmente, sigue

siendo el mismo para un objeto u otro, sino en las preguntas que han de hacerse
y los criterios en los que se traducen, segn se requiera la evaluacin desde un
nivel u otro de gobierno. En relacin a ello habr que interpretar y dar
significado a los hallazgos y redactar las conclusiones y recomendaciones para
alumbrar un mejor futuro. Desde esta perspectiva, uno de los pilares
fundamentales son los estudios comparativos y el conocimiento de las mejores
prcticas.
Pero, cmo obtener evaluaciones provechosas sobre un mundo tan
imbricado? Cmo articular y organizar la informacin de la forma ms til?
Cmo sopesar la influencia de los contextos, lo particular y lo global de las
polticas pblicas? Cmo conseguir que las evaluaciones de los niveles
operativos sirvan de la manera ms provechosa al nivel estratgico? Y cmo
lograr que el conocimiento que se adquiere sobre las polticas pblicas, por
relativo que sea, resulte creble y significativo?
Eso plantea la necesidad de:

Disponer de instrumentos metodolgicos que respondan al nivel de lo complejo,

porque lo complejo no se puede interpretar desde lo simple.

Equilibrar lgica investigadora y lgica administrativo- poltica.

Involucrar a los mximos responsables de las organizaciones en la evaluacin y

no slo a los niveles gestores o tcnicos.

Aplicar cotidianamente esos valores para aprender de la experiencia.

Desarrollar estrategias que primen la utilizacin de la evaluacin.

La razn necesita segmentar para comprender, de ah que la evaluacin de las

partes resulta un paso necesario para obtener una valoracin del conjunto, pero
el todo no es la suma de las partes, el todo requiere sus propias reglas y el
desarrollo de su propia metodologa.
Del mismo modo que en el proceso iterativo de la formulacin de polticas
pblicas se produce lo que se denomina la paradoja de la operatividad, que sera
el efecto que surge cuando se trata de operativizar al mximo las intervenciones
pblicas con prdida de visin de lo complejo, lo mismo sucede en evaluacin. De
una parte, resulta necesario acotar ciertos lmites y actuar sobre lo posible, pero
de otra, se corre el riesgo de producir resultados y conclusiones desconectadas
de la complejidad sobre la que se acta. En definitiva, habr que buscar el
equilibrio entre evaluaciones excesivamente sofisticadas difciles de operativizar y
evaluaciones muy operativas pero demasiado simplistas al desdear el complejo
marco de la realidad.
La evaluacin de las polticas pblicas tiene por finalidad apreciar el
conjunto de los eslabones de la cadena de la accin pblica, comprendiendo
de la forma ms completa posible la poltica en cuestin, incluidos sus
impactos finales.

56

DIFERENCIAS DE LA EVALUACIN CON INSTRUMENTOS COMO EL CONTROL,

LA AUDITORIA, LA INSPECCIN Y LA INVESTIGACIN.
Dada la popularidad creciente de la evaluacin su nombre se atribuye
prcticamente a todo tipo de recogida de informacin o investigacin en el sector
pblico sin distinguir entre el uso comn del trmino y el lenguaje profesional.
Algunos sealan que su difusin no est exenta de gran confusin. El trmino se
atribuye a todo tipo de actividades como el control, la investigacin aplicada o la
auditora, con el riesgo de limitar su campo y frenar su desarrollo.
La evaluacin se distingue de todas esas actividades enumeradas, por lo general,
por la naturaleza de los objetos que estudia y su carcter holstico. Cada vez ms,
los poderes pblicos necesitan lgicas comprehensivas que den sentido y significado
a los datos, frente a los anlisis fragmentados y micro-contextualizados de las
tcnicas gerenciales tradicionales.
El control consiste en verificar el respeto a las normas.

El control se ejerce en referencia a reglas y criterios preestablecidos,

conjunto llamado referencial. Estas reglas y criterios son explcitos, conocidos
por todos los actores concernientes a los que se les impone. El referencial se
considera externo y cerrado. Segn el caso, se trata de textos legislativos o
reglamentarios, nomenclaturas y partidas presupuestarias. El que ejerce el
control debe asegurar que, a travs de un procedimiento dado, los servicios y
las personas encargados de ponerlo en marcha han dado prueba de respeto a
las reglas y criterios establecidos, as como del buen hacer requerido para su
buena aplicacin. El controlador debe poseer un buen conocimiento de estas
reglas y criterios y guardarse de toda connivencia o empata respecto a las
personas controladas.

El control constata, mide las desviaciones respecto de la norma y rinde

cuenta. Puede revelar irregularidades en la accin de los individuos, de noconformidad material o de disfunciones patentes en la organizacin colectiva.
Inevitablemente pone en cuestin a las personas y puede entraar sanciones,
lo que implica un tipo de relacin particular entre controladores y controlados.

Seguimiento o monitoreo

Se trata de una actividad sobre el progreso de los elementos de una poltica o

programa con el fin de obtener datos sobre su marcha en base a un sistema
de indicadores.

Es un sistema continuado en el tiempo y no puntual como suele ser la

evaluacin. En general, se realiza internamente por los gestores del
proyecto.

Tiene un carcter informativo y menos holstico que la evaluacin.

Es un elemento muy til a la evaluacin, de naturaleza descriptiva, que no

emite juicios de valor.

57

 La auditora comprende una parte del control de regularidad y de conformidad y

una parte de control de eficacia bajo presupuestos de mejora.
La auditora recoge informacin, pregunta y escucha a fin de analizar y apreciar el
empleo de los recursos y la organizacin puesta en cuestin en relacin a un referencial
que viene dado y que permite conocer a los auditados. El auditor emite su diagnstico y
formula las recomendaciones de mejora de la estructura o de los procesos.

Se rige por normas internacionales.

El auditor ejerce su trabajo con independencia y sus informes sirven de
asesoramiento para mejorar el funcionamiento de la organizacin auditada.
La auditora se ha extendido del dominio financiero a otros campos como la
gestin de riesgos, los procedimientos de control y el management.
Puede ser externa o interna.
El auditor emite su diagnstico y formula las recomendaciones de mejora de
la estructura o de los procesos.

Tratndose de la gestin pblica, los Tribunales de Cuentas e instituciones anlogas

reunidas en el International Organisation of Supreme Audit Institutions (INTOSAI) han
elaborado en 1992 y revisado en 1995 normas que hacen referencia, en particular a la
comparacin con la Comisin europea.
En este marco, el auditor controla y justifica el empleo de los recursos relativos a un
organismo o a un programa.Se extiende al control de eficacia, a la bsqueda de ahorro
as como a proposiciones de mejora de la rentabilidad o del rendimiento.
Por otra parte la Asociacin internacional de auditores internos (Insitute of Internal
Auditors) ha puesto a punto un cdigo deontolgico y normas profesionales. Define la
actividad de sus miembros en el interior de la empresa, del organismo o de la institucin
a la que el auditor pertenece, como una funcin independiente y objetiva de refuerzo y
asesoramiento a fin de aportar un valor aadido y mejorar el funcionamiento de la
organizacin auditada.

La inspeccin: engloba varias actividades, ejercidas separada o simultneamente,

que van del control y la supervisin de actividades reglamentarias hasta el anlisis
y la cualificacin de prcticas individuales o de funcionamiento de sistemas.

La Inspeccin se ejerce, a menudo, por un cuerpo de competencia tcnica

particular o con autoridad especfica, especialmente investido de esta misin.

La inspeccin comprende trabajos de investigacin sobre piezas y sobre

lugar, comprendidos a veces para confirmar o descartar una sospecha seria,
incluso para investigar las pruebas de una anomala grave y poner en
evidencia las responsabilidades. Puede desembocar en la propuesta de una
sancin.

La inspeccin comporta una funcin de expertizaje, de anlisis de prcticas o

de modos de organizacin, con la finalidad de validarlas, sea mejorndolas,
sea valorndolas o promovindolas.

58

 La investigacin

La evaluacin difiere de otras modalidades de investigacin social, no tanto en lo

que se refiere a los diseos de investigacin y mtodos de recopilacin de datos
empleados, sino por los problemas que aborda.

Los investigadores pueden indagar por iniciativa propia, sin un

cometido
externo particular. Los evaluadores, al contrario, trabajan por encargo y para un
fin prctico inminente.

Los plazos de tiempo, la retroinformacin y la utilizacin de los resultados son

mucho ms cruciales en evaluacin que en la investigacin acadmica.

Diferencia fundamental con evaluacin: el juicio de valor.

La evaluacin se diferencia de las diferentes formas de control (de conformidad y

de anlisis de gestin) por el tipo de punto de vista adoptado para apreciar la accin
pblica. El control y la auditoria se refieren a normas internas al sistema analizado
(reglas contables, jurdicas o normas funcionales), mientras que la evaluacin
ensaya aprehender un punto de vista, principalmente, externo de los efectos y/ o
valor de la accin considerada.
La evaluacin puede, sin embargo, integrar los informes de auditora de
funcionamiento de los servicios encargados de la puesta en marcha o un estudio
sociolgico que tenga el mismo objetivo, en la medida en que este funcionamiento
influya sobre los efectos que se busca medir y explicar. Es preciso recordar tambin
que, contrariamente a ciertas formas de auditoria, la evaluacin no tiene por objeto
llevar a un juicio sobre la manera en la que los agentes individuales, comprendidos
los responsables jerrquicos, realizan su misin.

59

FUNDAMENTOS ACADMICOS DE LA EVALUACIN

En sus inicios la evaluacin pretenda convertirse en ciencia de la medicin de los
efectos de la accin pblica y estaba ligada a enfoques cuantitativos y a tcnicas de
medicin. Progresivamente, su prctica se fue extendiendo a mltiples disciplinas de
las ciencias sociales: Pedagoga, Economa, Ciencia Poltica y de la Administracin,
Sociologa, Psicologa, que han ido acumulando un acervo de evaluaciones desde su
propio campo disciplinar. Desde esta perspectiva multidisciplinar la evaluacin se
convierte en una fuente de conocimiento sustancial sobre las polticas pblicas, sus
mecanismos de accin y su eficacia, constituyendo una rama emprica del anlisis de
las polticas pblicas.
La confluencia de profesionales de distinta formacin en la prctica evaluativa ha
podido ocasionar ciertas prdidas de especializacin pero ha dado paso a un saber
comn aceptado tanto en el mercado de la evaluacin como por la comunidad de
expertos (Dunn, 1986).
Desde el punto de vista acadmico la evaluacin es un instrumento
integrado en el anlisis de las polticas pblicas de carcter multidisciplinar
y de reciente especializacin profesional que tiene por objeto apreciar la
eficacia de los programas o polticas pblicas, comparando sus resultados e
impactos con los objetivos asignados y los medios puestos a su disposicin,
emitiendo un juicio de valor.

El campo acadmico ha dado a la evaluacin un fundamento metodolgico que ha

sido y sigue siendo objeto de debates recurrentes. En la base del mtodo est la
validez de los conocimientos y su adecuacin a las necesidades de la sociedad. Y el
nfasis de cmo obtener la informacin pertinente para formar el juicio de valor ha
oscilado entre el enfoque positivista que defienden la objetividad del proceso
cientfico y la postura constructivista que pone el acento sobre el hecho de que todo
conocimiento es una construccin social.
La reflexin metodolgica obliga a desvelar las imbricaciones complejas entre el
conocimiento objetivo, los hechos constatados y los razonamientos y operaciones
que llevan al juicio de valor.
Los debates metodolgicos siguen estando en la base de los Congresos y
asociaciones de profesionales. Por su parte, la evaluacin institucional, en el seno de
las administraciones, opone un cierto rechazo a los mtodos de investigacin social
que pone en peligro la calidad de las evaluaciones. Es, precisamente, esta
combinacin de registros: cientfico-metodolgico, profesional e institucional, lo que
vuelve a la evaluacin compleja. La evaluacin es deudora de esas tres lgicas. Pero
ante la dificultad de entender su carcter hbrido se tiende a identificarla con
instrumentos ms fciles de aprehender: el control, la investigacin, el expertizaje,
la auditora. Pero es en la complejidad de la evaluacin donde reside su mayor
inters.

60

PARADIGMAS, PERSPECTIVAS Y ENFOQUES EN EVALUACIN

Como actividad investigadora y acadmica, la evaluacin no ha escapado a la
pugna de los distintos paradigmas.
Segn Khun (1980), los paradigmas son realidades cientficas universalmente
reconocidas que, durante cierto tiempo, proporcionan modelos y soluciones a una
comunidad cientfica para resolver problemas. El autor considera que el paradigma
puede referirse a un esquema terico o a una va de percepcin y comprensin del
mundo que un grupo de cientficos hayan adoptado.
Cada
comunidad
cientfica
participa
del
mismo
paradigma,
constituyendo as una comunidad intelectual cuyos miembros tienen en
comn un lenguaje, unos valores, unas normas y unas metas. (Kunt, 1980)

En general, los paradigmas varan en cuanto a compromisos, mtodos y teoras.

Un paradigma es una imagen bsica del objeto de una ciencia. Sirve para
definir lo que debe estudiarse, las preguntas que es necesario responder,
cmo deben preguntarse y qu reglas es preciso seguir para interpretar las
respuestas obtenidas. El paradigma es la unidad ms general de consenso
dentro de una ciencia y sirve para diferenciar una comunidad cientfica (o
subcomunidad) de otra. Subsume, define e interrelaciona los ejemplares, las
teoras y los mtodos e instrumentos disponibles (Ritzer, 1993).
Las perspectivas son paradigmas de rango inferior o mini-paradigmticas, que
son ms intercomunicables.
Guba y Lincoln (1994) consideran que los paradigmas deben entenderse como
sistemas de creencias bsicas sobre:

La naturaleza de la realidad investigada (supuesto ontolgico).

El modelo de relacin entre el investigador y lo investigado (supuesto
epistemolgico).
El modo en que podemos obtener conocimiento de dicha realidad (supuesto
metodolgico).

Estos tres niveles: ontolgico, epistemolgico y metodolgico, dice el profesor

Valles (1999), estn interrelacionados, de manera que la creencia bsica o principio
que asuma el investigador, en el nivel ontolgico, le debera conducir a posturas en
consonancia con los otros dos planos, aunque en la prctica esto es mucho ms
flexible.
Por lo que aqu conviene un paradigma suele englobar varias perspectivas
terico-metodolgicas y se caracteriza por una serie de principios generales.
La evaluacin no ha sido ajena a los diferentes frentes cientficos de la
investigacin social, bien al contrario, pues su legitimidad se ha basado durante
muchos aos en criterios cientfico-tcnicos importados de la investigacin social. Es
cierto que, posteriormente, se ha ido desarrollando como disciplina con
especificidades concretas y ha ido creando sus propios criterios, aunque eso no la ha

61

librado de encontrarse inmersa en el centro de los grandes debates sobre la

investigacin social.
Como hemos visto en el epgrafe sobre su historia, la evaluacin tras xitos y
fracasos se consolida hacia los aos 60 y 70, hablndose en esos aos de
industria en crecimiento, ligada estrechamente al positivismo y a los diseos
experimentales. Pero es, curiosamente, en los sesenta, en pleno auge del
positivismo experimentalista, cuando empieza a emerger un nuevo paradigma que
somete a fuerte revisin crtica el paradigma clsico-cuantitativo dominante. Esta
nueva orientacin cientfica basada en los mtodos cualitativos, con una orientacin
ms pluralista y participativa se ver reforzada por los procesos de modernizacin de
los Estados, por la nueva conciencia de ciudadana y de profundizacin democrtica,
y por qu no decirlo, por el propio fracaso del experimentalismo americano para
explicar por s slo la complejidad de la realidad.
El recorrido entre el amplio arco de los paradigmas y las perspectivas en
evaluacin se recogen en multitud de obras, pero destacamos la de Guba y Lincoln
por su influencia.
Guba en su libro The Paradigm Dialog, de 1990, distingue cuatro grandes
paradigmas en la indagacin social.
Positivismo:
a) La realidad existe y se rige por leyes de causa-efecto que pueden ser conocidas.
b) La indagacin puede estar libre de valores.
c) Las hiptesis pueden ser comprobadas empricamente.
Postpositivismo.
a) La realidad existe, pero no puede ser enteramente comprendida o explicada.
Hay una multiplicidad de causas y efectos.
b) La objetividad es un ideal, pero requiere de una comunidad crtica.
c) Es crtico con el experimentalismo, y enfatiza las aproximaciones cualitativas, la
teora y el descubrimiento.
Teora crtica
a) La realidad existe, pero no puede ser enteramente comprendida o explicada.
Hay una multiplicidad de causas y efectos.
b) Los valores median en la indagacin.
c) Propone la eliminacin de una falsa conciencia y facilita y participa en la
transformacin.
Constructivismo
a) La realidad existe como constructo mental relativo a aquellos que lo sostienen.
b) El conocimiento y el conocedor son parte de una misma entidad subjetiva.
c) Identifica, compara y describe las varias construcciones que existen
(hermenutico y dialctico).

62

Se resume a continuacin lo que el enfrentamiento de paradigmas supone en

evaluacin:

Considerar las diferentes tipologas de evaluacin.

Perspectivas distintas respecto a la utilidad de sus resultados.
Preeminencia de un tipo u otro de metodologa.
Papel diferente del evaluador.
Pretensin de evaluacin imparcial y objetiva frente a la importancia de
valores y opiniones de todos los actores implicados.

Desde el punto de vista de la obtencin del conocimiento, la evaluacin no es

slo una cuestin metodolgica o tcnica, es, tambin -desde el inicio- un enfoque
con el que el evaluador se acerca al objeto de evaluacin. Este enfoque tiene que
ver con su propia posicin ante la realidad, con el propio objeto a estudiar, con la
interrelacin de actores implicados y la finalidad que persiguen, con paradigmas
emergentes y dominantes y con el contexto en que se desenvuelve la tarea
evaluativa. Negar todo esto sera tratar de esconder la influencia que tiene todo
observador al observar lo observado y obviar los condicionamientos que le afectan,
es preferible contar con ello. Pero, una vez dicho esto, no quiere decir que el
evaluador no trate de aprehender su porcin de la realidad con la mayor neutralidad
que exige su profesionalidad y honestidad. Sin olvidarnos nunca de que su
descubrimiento slo ser un mapa para mejorar la realidad, que nunca podr ser
una nica verdad.
El enfoque evaluativo es un proceso que est en evolucin, dicen Arnkil e Isfol
(1998). En la mayora de los casos predomina la medicin como nudo crucial, lo que
resulta ser un problema por resolver, aunque cada vez ms se tiene necesidad de
evaluaciones no deterministas, de recomendaciones insertas en un marco sistmico
que ayude a los decisores a comprender y comprehender.
Resulta imposible, en estas pginas, resumir la ingente produccin de los
principales investigadores sociales que han contribuido, desde diferentes
perspectivas y enfoques, al campo de la evaluacin.
Remitimos al lector a la bibliografa y le facilitamos algunos cuadros sintticos
que podrn ayudarle a modo de mapa que podr utilizar a lo largo de los aos de su
formacin.
El primero de los cuadros presenta muchas similitudes con los cuatro
paradigmas de Guba y Lincoln, sin embargo, desde el punto de vista de la
perspectiva o el enfoque habra que entenderlo como algo ms permeable
conformando parte de un arco.
El segundo cuadro que figura en el Anexo I trata de facilitar el encuadre de
algunas de las principales figuras de la evaluacin dentro de la perspectiva que ms
se les ajustan, relacionando a la vez el papel del evaluador segn cada uno de los
enfoques. Una salvedad a tener en cuenta es que la mayor parte de los autores han
sufrido interesantes evoluciones que recorren a veces diferentes enfoques.

63

La evaluacin
experimental

Se basa en la perspectiva positivista que consiste en aplicar la

Metodologa de las Ciencias naturales a las intervenciones pblicas.
En los planes experimentales se comparan grupos extrados al
azar que tienen caractersticas similares y a uno de ellos se le aplica
la intervencin y al otro no.
El mayor empeo del diseo experimental ser tratar de eliminar
todas las variables que puedan afectar a la validez de los resultados,
ya que la atribucin de los efectos observados como causa de la
intervencin se basar en la hiptesis de que no existen otras causas
posibles imputables que hayan afectado a los resultados.

La evaluacin
pragmtica

Pone el acento, sobre todo, en la utilidad y las constataciones de

la evaluacin que debe ser adaptada a los objetivos y a las prcticas
de los principales decisores: la factibilidad poltica, la oportunidad y
el coste son importantes. Se utiliza, generalmente, como
herramienta de evaluacin de los planes cuasi-experimentales en
los que se enfrentan diferentes explicaciones, posibles resultados,
que se descartan por otros medios que la extraccin al azar, de los
estudios de casos y diversos mtodos descriptivos.

La evaluacin
econmica

Se sita, a menudo, aparte de la evaluacin general. Aplica la

idea dominante de racionalidad econmica.
El anlisis coste-beneficio y las evaluaciones coste-eficacia
figuran entre las herramientas empleadas. Produce informacin
sobre los costes del programa como criterio central de evaluacin.

La evaluacin
naturalista

Rechaza tanto la evaluacin experimental como la evaluacin

econmica, afirmando que la evaluacin se construye socialmente y
cambia por la accin de los individuos. En consecuencia, la
evaluacin no puede aportar respuestas exactas y objetivas, sino
que es, a lo ms, un agente que facilita el consenso entre las partes
implicadas.
Los mtodos empleados, como la Etnografa, los estudios de
Observacin- participante, los Estudios de Casos, se dirigen a
describir y clarificar los valores y presupuestos de las partes
implicadas y prestan ayuda a la negociacin del proceso de
evaluacin.

Adaptado de la Gua de meilleurs pratiques suivre pour lvaluation, France,1999

64

ENFOQUES PRINCIPALES DE EVALUACIN: CARACTERSTICAS

DISTINTIVAS

EL DEBATE METODOLGICO EN EVALUACIN

Lo primero que cabra diferenciar son dos registros diferenciados de elaboracin
metodolgica que derivan de la naturaleza de la evaluacin como investigacin
aplicada:
1. Mtodos de investigacin que se utilizarn para la obtencin y la
interpretacin de los datos. Sern mtodos de investigacin de las ciencias
sociales, aplicados al estudio de las polticas pblicas y que se encuentran en las
cajas de herramientas del estadstico, el economista, el politlogo, el socilogo,
el psiclogo, el antroplogo, el historiador...
2. Mtodos de las disciplinas del management poltico y organizacional.
La estrategia y preparacin de una evaluacin (comprendido el dispositivo de
funcionamiento de la evaluacin, marco conceptual en el que deber inscribirse el
trabajo de la evaluacin, logstica) son cometido especfico de la gerencia pblica
y tendr que disponerse en base a sus procedimientos, herramientas y
metodologas tanto operativas como estratgicas.

Mtodos de investigacin: El debate cualitativo/cuantitativo

Desde el punto de vista investigativo, la evaluacin trata de adquirir

conocimientos de la realidad a travs de un mtodo. El problema de la realidad
actual es que se revela demasiado compleja para ser aprehendida desde una nica
perspectiva y se ha puesto en cuestin la posibilidad de que exista un nico mtodo
cientfico incuestionable. En caso de existir, la pregunta sera si las ciencias
humanas, la historia, la cultura deberan acogerse a un mtodo que proviene de las
ciencias fsico-naturales y desde una perspectiva experimental y positivista.
El positivismo afirma que se pueden lograr explicaciones objetivas del mundo
(Denzing y Lincoln).
En el campo de la realidad social el mtodo cientfico riguroso, detallado,
universal y estandarizable, no existe. Cualquier mtodo conlleva errores y puede
encubrir conocimientos que no son tales.
No podemos dedicar estas pginas al anlisis de las posibles vas de acceso que
ha utilizado el ser humano para acercarse a la realidad, pero si apuntar algunas de
las fundamentales que seala el profesor Miguel Beltrn.
Vas de acceso a la realidad
1.2.3.4.5.-

El
El
El
El
El

mtodo
mtodo
mtodo
mtodo
mtodo

histrico
comparativo
crtico-racional
cuantitativo
cualitativo.

65

El tema fundamental que aqu nos ocupa, por lo que a evaluacin se refiere, ha
estado en relacin con las ltimas dos vas de acceso a la realidad: la cuantitativa y
la cualitativa que se corresponde con los mtodos inductivos y deductivos.
El debate sobre investigacin cualitativa y cuantitativa ha hecho correr mucha
tinta y se ha ligado a paradigmas enfrentados. Cada uno de estos tipos
metodolgicos tiene sus partidarios que, normalmente, son detractores de los otros
mtodos.
o

El paradigma cuantitativo se caracterizara por una concepcin global

asentada en el positivismo lgico, el uso del mtodo hipottico deductivo, su
carcter particularista, orientado a los resultados. El supuesto de la
objetividad se correspondera con las ciencias naturales.

El paradigma cualitativo asume una postura fenomenolgica global,

inductiva, estructuralista, subjetiva, orientada al proceso y propia de todas las
disciplinas que tienen como tema de estudio la dimensin psicosocial de lo
humano.
La investigacin cualitativa se basa, por su parte, en hallar respuestas a
preguntas que se centran en la experiencia social, y en cmo se crea y cmo
se da significado a la vida humana (Denzing y Lincoln).

Para Strauss la diferencia fundamental entre ambos tipos es que la investigacin

cuantitativa se centra en el estudio de las relaciones entre variables cuantificadas,
mientras que la investigacin cualitativa lo hace en contextos estructurales y
situacionales.
Lincoln y Guba llegan a hablar de posturas ontolgicas distintas entre ambos
tipos metodolgicos. A veces este debate entra de lleno en el terreno de las
mistificaciones: La investigacin cualitativa es no cientfica, subjetiva, de generalidad
limitada y basada en tcnicas blandas, dicen unos. La investigacin cuantitativa es
superficial, extraada de la realidad, sometida a un empirismo estril, y basada en
tcnicas duras, dicen los otros.
Las discusiones no slo se centran en la superioridad o no de unas tcnicas sobre
otras, sino, en la presunta radicalidad distinta de ambas metodologas. Segn esto,
no se tratara de una simple eleccin de tcnicas, sino de la adhesin a posturas
paradigmticas distintas.
Esta tensin guarda relacin con el desarrollo histrico de las ciencias sociales y
el advenimiento de la modernidad. En pleno enfrentamiento moderno / postmoderno
la actitud del debate en evaluacin no es ms que el reflejo de una posicin ante el
mundo que asume la explicacin de ciertos hechos y la necesidad de comprehensin
que defienden otros.
Los que ven el debate en trminos de contraste entre paradigmas proporcionan
una lista de atributos para distinguir las concepciones globales, cualitativas y
cuantitativas.

66

Para Reichardt y Cook esta discusin es un error y determinan en sus trabajos el

grado de artificiosidad y esterilidad del debate y la falacia que encubre.
Aunque las conclusiones de Reichardt y Cook son interesantes en cuanto al falso
dilema que se plante entre metodologa cuantitativa / cualitativa, sin embargo, deja
vigente el verdadero problema en cuestin, que no es tanto utilizar una tcnica u
otra en funcin de un paradigma, pues, cada vez se utiliza ms la combinacin de
tcnicas (la triangulacin), sino que lo verdaderamente diferenciador es el
acercamiento a la realidad y la explicacin que pretende el investigador: descriptiva,
explicativa o comprensiva.

CUADRO SINTTICO DE ALGUNAS CARACTERSTICAS DESTACADAS

DE LA EVALUACIN CUANTITATIVA y CUALITATIVA
Investigacin cuantitativa

Investigacin cualitativa

Es aquella en la que se recogen y

Evita la cuantificacin; es una investigacin
analizan
datos
cuantitativos
sobre sin medicin. En vez de medir variables los
variables.
investigadores
cualitativos
hacen
registros
narrativos de los fenmenos que son estudiados
mediante tcnicas como, entre otras, la
observacin participante y las entrevistas no
estructuradas. Este material puede ser registrado
literalmente, transformado en cdigos, grabado
en audio o en vdeo.
Paradigma cuantitativo

Paradigma cualitativo

Concepcin global positivista

Hipottico-deductiva
Particularista
Objetiva
Orientada a los resultados
Propia de las ciencias naturales.

Concepcin global fenomenolgica

Inductiva
Estructuralista
Subjetiva
Orientada al proceso
Propia de la antropologa social.

Mtodos/Tcnicas cuantitativas:

Mtodos/Tcnicas cualitativas:

Diseos experimentales y
Teora fundamentada en la realidad (grounded
cuasiexperimentales,
theory).
Investigacin por encuesta,
La investigacin histrica.
Cuestionarios estandarizados,
La investigacin fenomenolgica.
Registros estructurados de observacin,
Las historias de vida.
Tcnicas estadsticas de anlisis de
La investigacin-accin...
datos...

67

Segn el profesor Alvira, el desarrollo de la prctica, como modelo objetivista y

experimentalista, aparentemente neutra y basada en un modelo lineal de solucin de
problemas, ha visto surgir enfoques muy variopintos.

La evaluacin orientada a los objetivos: la tradicin tyleriana.

El mtodo cientfico de evaluacin de Suchman.
La perspectiva de Cronbach que pone el nfasis en la planificacin evaluativa.
La evaluacin enfocada al perfeccionamiento: Stufflebeam.
Stake y el modelo evaluativo centrado en el cliente y en satisfacer las
necesidades de informacin de quien financia la evaluacin.
Owen y Wolf: el modelo de contraposicin (el modelo judicial).
La evaluacin iluminativa: el mtodo holstico: paradigma socio-antropolgico.
El mtodo de Scriven orientado hacia el consumidor.

Otros enfoques:

Utilization- Focused evaluation. (Patton entre otros)

Diferentes tipos apoyados en la metodologa cualitativa, basada en la
observacin, estudio de casos y entrevistas y accin-participacin.
La perspectiva centrada en maximizar la probabilidad de uso y utilizacin de
lo obtenido en las evaluaciones.

68

RETOS ACTUALES EN EVALUACIN

o

Funcin: El principal reto poltico de la evaluacin es que cumpla su funcin de

utilidad de conformar un buen gobierno aportando responsabilidad y
transparencia sobre la accin pblica.

Carcter innovador: Si la poltica encuentra su razn de ser en el mbito de la

innovacin y no slo en el de la gestin, la evaluacin, que es una
intervencin pblica ms, reclama cada vez ms asumir este carcter
innovador.

Contexto: La globalizacin y, en particular, el contexto europeo resultan

determinantes para comprender la complejidad de las decisiones pblicas y
las respuestas a los problemas. Para los pases de la UE, el locus decisional de
las polticas se ha trasladado en gran medida a Bruselas, por consiguiente, los
anlisis contextuales de las polticas no pueden prescindir de esa dimensin.
Los estudios comparativos entre pases resultan ineludibles, aunque siempre
deben contextualizarse.

Compromiso y Coherencia como intervencin pblica: La evaluacin

institucional tiene el deber de mostrar su eficacia como intervencin pblica
acompaando todas las fases de vida del proceso, desde su formulacin hasta
los resultados e impactos. Pero debe ser capaz, al mismo tiempo, de explicar
bien las lgicas y criterios involucrados en un nivel u otro de gobierno.

Criterios de calidad y uso: Junto al aumento del nmero de evaluaciones se

reclama, cada vez ms, una mayor calidad de sus informes y un mayor uso.
La primera cuestin es responsabilidad de los evaluadores, la segunda, de los
poderes que la promueven.

Cultura: En cuanto a la difusin de su cultura, el reto es establecer las

estrategias necesarias para que la evaluacin pueda ser comprendida en su
justa medida por el conjunto de los agentes pblicos, potenciando la funcin
dinamizadora que promueve bajo presupuestos de mejora de lo pblico en su
nivel poltico y gestor.

Conocimiento: En cuanto a las cuestiones sobre el conocimiento que aporta, la

evaluacin tiene el desafo de situarse en la modernidad, tratando de
averiguar lo mximo que sea posible sobre la accin pblica, pero con la
limitacin de su relatividad. Tiene la obligacin de tratar con lo complejo y de
evaluar las intervenciones, teniendo en cuenta aspectos cientficos pero
incorporando el propio conocimiento de la lgica poltica, administrativa y
social en la que se inserta.

Funcin especializada: Como funcin especializada, requiere una mayor

capacitacin y formacin de los evaluadores bajo un enfoque multidisciplinar,
en particular, con una base slida en su propia historia y quehacer y en el
anlisis de polticas pblicas, completada con las especialidades que se
requieran y, desde luego, con el conocimiento de las mejores prcticas.

69

70

SEGUNDA PARTE

CONCEPTOS BSICOS DE
EVALUACIN DE POLTICAS PBLICAS

71

72

DEFINICIONES DE EVALUACIN
o

Pluralidad de usos. Un concepto imn que atrae las ms diversas

acepciones.

La evaluacin ha atrado sobre s significados tan distintos que algunos autores

la consideran un imn semntico (Vedung, 1996). La evaluacin es una palabra
elstica que se estira para abarcar juicios de muy distinto tipo (Carol Weiss,
Evaluation Research, 1972).
En el campo del sector pblico la evaluacin ha llegado a identificarse
prcticamente con cualquier esfuerzo de racionalidad y reflexin sistemtica,
confundindose, a menudo, con otras tcnicas gerenciales consideradas afines, pero
de naturaleza bien distinta como el seguimiento, el control y la auditora.
Existen numerosas definiciones de la evaluacin que engloban finalidades
distintas: cognoscitivas, normativas e instrumentales.
La evaluacin es un continuum de prcticas que implican la recogida y
tratamiento de informaciones sobre la accin pblica (qu es lo que pasa?),
sobre preocupaciones normativas (se ha hecho bien?), y sobre
preocupaciones instrumentales (cmo hacerlo mejor?), ligadas al buen
funcionamiento de las administraciones y servicios pblicos.

Nos encontramos ante un concepto variable, polivalente y dinmico que se ha ido

modificando en funcin de la propia evolucin de la disciplina y las experiencias
evaluadoras, as como de los diversos enfoques profesionales y sus usos:

Uso para los gerentes pblicos: mejora y eficacia organizacional.

Uso poltico: responsabilidad y transparencia gubernamental.
Uso acadmico, ligado estrechamente a la investigacin social
aplicada.

Entre el abundante nmero de definiciones podemos destacar algunas

caractersticas esenciales: las que distinguen entre programas y polticas pblicas y
las que oscilan entre dos verbos: medir y valorar. A poco que se estudie la evolucin
de las definiciones sobre evaluacin observaremos esta oscilacin que trata de
incluir o excluir el juicio de valor.
Algunas definiciones excluyen la dimensin del juicio valorativo y limitan la
evaluacin a la medida de la intervencin de los resultados. Otras definiciones ms
restrictivas limitan la evaluacin a la estimacin ex post de los resultados.
o

La importancia de las definiciones.

Existe un gran nmero de definiciones de evaluacin que ilustran el propio

proceso evolutivo de esta prctica. Cada una de ellas incide en un aspecto u otro
segn el paradigma que asuma, las perspectivas a las que se ligue y la utilidad.

73

Algunas de estas definiciones han quedado demasiado reducidas con el tiempo, otras
apuntan a aspectos interesantes para el futuro sin llegar a convencer a todos. La
mayora se sitan dentro del campo de la evaluacin de programas ms que de
polticas pblicas.
Se aporta una seleccin que ilustra algunos de los aspectos que el evaluador
deber tener en consideracin.
1950. Tyler: (Desde la perspectiva educativa) seala que la evaluacin de programas
es el proceso de determinar en qu medida los objetivos de un programa se han alcanzado.
Centrada en los objetivos. Responde a la pregunta Qu evaluar?
1967. Scriven: Evaluar supone la estimacin del mrito de un objeto.
Sucinta definicin que tiene el mrito de captar el significado bsico y natural del
trmino: diferenciar lo valioso de lo que no lo es. Deja sin aclarar tres extremos: Qu
supone mrito o valor, cmo habra de realizarse la estimacin y para qu habra de
hacerse?
1971. Franco: Evaluar es fijar el valor de una cosa, y para hacerlo se requiere de un
procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrn
determinado.
Introduce importantes novedades respecto a las anteriores: Cmo hacerlo y en base a
qu criterios de valor?
1972. Ban: Evaluar es formar un juicio acerca de una accin o de la concatenacin
de acciones para establecer si su concepcin y desarrollo corresponden a los objetivos
deseados. La evaluacin en el mbito pblico, implica la aplicacin de procedimientos
sistemticos y rigurosos de recogida de datos y de anlisis, pero diferencindose de sta en
que debe emitirse un juicio de valor sobre el objeto que se est evaluando, bien sea un
programa, una poltica determinada, una organizacin, sin olvidarnos que se pone especial
nfasis en los resultados y en la participacin de las partes interesadas.
Tiene en cuenta el continuum de la accin, el mtodo, el juicio de valor, los
diferentes objetos de estudio, el nfasis en los resultados y la consideracin de la
participacin de los actores implicados.
1980. Rutman: Supone el uso del mtodo cientfico en la medida de la implementacin
y de los resultados de polticas y programas.
Reconocimiento del mtodo cientfico en la gestin de resultados. No considera su
aplicacin en la fase de planificacin. Finalidad gerencial.
1982. Weiss: Evaluar es comparar los efectos de un programa con las metas que se
propuso alcanzar a fin de contribuir a la toma de decisiones subsiguientes acerca del mismo
y para mejorar as la programacin futura. Utilidad estratgica para los decisores
pblicos.
1987. Stufflebeam y Shinkfield: Recoger y analizar sistemticamente una informacin
que nos permita determinar el valor o mrito de algo.
Aade a la definicin de Scriven la sistematizacin en la recogida de
informacin.
1994. Valadez y Mamberger (Manual del Instituto de Desarrollo Econmico
Banco Mundial):
La evaluacin es una actividad gerencial externa y/o interna que analiza las relaciones
de los procesos y recursos con los resultados e impactos. Novedad: la referencia a
procesos e impactos. Funcin gerencial.

74

Rossi & Freeman: La evaluacin debe preocuparse de la utilidad de la puesta en

prctica, la eficacia, la eficiencia de las medidas que tienen por objetivo mejorar la suerte de
los miembros de la sociedad.
Esta definicin es de gran importancia y novedad porque es de las pocas que recoge el
para quin evaluar? y alcanza la razn ltima que justifica la evaluacin: la sociedad.
OCDE-CAD

Apreciacin sistemtica y objetiva de un proyecto, programa o poltica en curso o

concluido, de su diseo, su puesta en prctica y sus resultados. El objetivo es determinar
la pertinencia y el logro de los objetivos, as como la eficiencia, la eficacia, el impacto y la
sostenibilidad para el desarrollo.
Una evaluacin deber proporcionar informacin creble y til, que permita incorporar
las enseanzas aprendidas en el proceso de toma de decisiones de beneficiarios y
donantes.
El trmino evaluacin designa tambin un proceso sistemtico y objetivo posible por
el cual se determina el valor y el alcance de una accin de desarrollo planeada, en curso
o concluida.

Dg BUdget

Juicio sobre las intervenciones segn sus resultados, impactos y necesidades que buscan
satisfacer (The Communication on Evaluation: SEC (2000) 1051)
Los propsitos principales son los siguientes:

Contribuir a la concepcin de las intervenciones y aportar los elementos necesarios para

la definicin de prioridades polticas.
Velar por una utilizacin eficiente de los recursos.
Mejorar la calidad de la intervencin.
Dar cuenta de los resultados de la intervencin (accountability).

Qu les falta y les sobra a las definiciones de las que disponemos

frente a las exigencias del nuevo milenio?

A la vista de las definiciones anteriores podemos hacernos una idea de que

cualquiera que se interese por la evaluacin encontrar tantas definiciones como
autores y que casi ninguna acaba de ser completa. Es un campo en devenir que se
ha visto afectado por los paradigmas acadmicos pero tambin por la adaptacin de
las administraciones pblicas y el proceso de cambio de la burocracia a la
gobernanza.
Bernard Perret seala que, teniendo en cuenta todas las circunstancias y
dificultades para encontrar una definicin que llegue a convencer a todos, la que
ms posibilidades tendra de prosperar sera aquella que considerara, a la vez,
presupuestos cognitivos, metodolgicos, instrumentales y sociales, sin olvidar el
juicio de valor. Bajo esos criterios nos atrevemos a apuntar lo que tendra que incluir
una definicin de evaluacin en consonancia con nuestro tiempo.
La cuestin no es intrascendente pues cada definicin es, en cierta medida, una
declaracin de principios con el predominio de ciertos valores en base a los cuales la
evaluacin tratar de dar respuestas.

75

Una propuesta de definicin de evaluacin de polticas pblicas para

el siglo XXI

Consideracin de la evaluacin como proceso institucional.

Aplicacin de la evaluacin en todas las fases del ciclo de intervencin.
nfasis en el entendimiento integral de las intervenciones: resultados,
impactos, sin olvidar los procesos y la teora que sustenta la intervencin.
Consideracin metodolgica y procedimental como un continuum que aplica
sistemticamente el mtodo cientfico para la recogida
y anlisis de
informacin.
Doble vertiente de utilidad: gerencial y poltico-democrtica para la mejora y
diseo de acciones futuras.
Indispensable no eludir el juicio de valor y las recomendaciones.
De carcter pluralista y participativo de los actores implicados, siempre que
sea posible.
Finalidad ltima: Para la mejora de la sociedad y la rendicin de cuentas
sobre las acciones pblicas a la ciudadana.

La evaluacin de polticas pblicas se concibe, as, como

un proceso institucional, que es conveniente adoptar en
todas las fases del ciclo de
intervencin pblica,
aplicando mtodos sistemticos y rigurosos de recogida
y anlisis de informacin, con el nfasis puesto en la
comprensin integral de los impactos, resultados,
procesos y teoras de las intervenciones pblicas en relacin
con los objetivos trazados a fin de servir, tanto al
aprendizaje y a la mejora gerencial de los servicios
pblicos, como a la estrategia sobre decisiones
futuras, fundamentndose este proceso sobre el juicio de
valor de la accin pblica evaluada y basndose en
criterios establecidos por los principales actores
implicados, con la finalidad ltima de servir a la
ciudadana.

76

ESTRATEGIAS Y LGICAS EN EVALUACIN

En el mundo acadmico hablar de evaluacin es hablar bsicamente de su diseo
metodolgico. Sin embargo, la evaluacin institucional tiene una serie de instancias
que intervienen y unos condicionamientos gerenciales que hay que gestionar. Para el
mayor xito de la evaluacin hay que tener en cuenta las distintas estrategias a
encarar en las diferentes fases.
La evaluacin, como proceso institucional conlleva un conjunto de acciones
incardinadas en las fases clsicas de toda intervencin pblica: planificacin,
implementacin y resultados. Estas fases de la intervencin evaluadora estn ligadas
a un conjunto de estrategias: planificadora, negociadora, metodolgica y
comunicativa.
En primer lugar, hay que delimitar el objeto y el alcance del encargo con las
instancias involucradas. A continuacin, hay que planificar y organizar la evaluacin,
sustentando la bsqueda de informacin en una estrategia metodolgica adecuada
al tiempo disponible y a las distintas necesidades informativas. Adems, hay que
garantizar razonadamente las conclusiones y recomendaciones y hay que tener en
cuenta, desde el primer momento, la estrategia de comunicacin para los distintos
actores.
Asimismo, en la evaluacin confluyen dos tipos de lgicas que hay que distinguir
con precisin: la propia evaluadora y la lgica de la intervencin que se
evala.
La primera, la lgica de la evaluacin, por flexible que sea, es una lgica ms
o menos secuencial, que avanza de A (punto de salida de la evaluacin: las
preguntas) a C (Conclusiones a las que se llega), mientras que la lgica de la
intervencin que se evala, resulta tan variada como el campo y el tipo de
intervencin a evaluar y suele ir en direccin contraria, parte de la situacin en la
que se encuentra la intervencin y pretende llegar a comprender el objetivo que se
propona, las desviaciones y los resultados que ha dado. Aunque estas lgicas son
perfectamente distinguibles en su accin, pueden producir cierta confusin en la
narracin del informe final y convendr tenerlo en cuenta.

77

BASE DEL TRABAJO DE EVALUACIN

Dos modos de investigacin: anlisis terico y anlisis emprico.

Anlisis de la lgica de la intervencin que tiene por pretensin

profundizar en los fundamentos de la intervencin y constatar los resultados
que tena previstos a fin de contrastarlos con la situacin actual

Un sistema de razonamiento lgico basado en interrogantes e

hiptesis que nos ir proporcionando mayor conocimiento de la intervencin
con el fin de constatar las desviaciones que se hayan producido y los
resultados actuales.

Definicin de criterios de valor e indicadores que midan los

objetivos.
Para establecer un juicio de valor sobre la intervencin evaluada se
debern establecer unos referentes, asimismo las cuestiones que se quieran
explorar debern traducirse en indicadores para que puedan medirse.

Negociacin con los principales actores implicados para validar los

criterios de valor y las necesidades informativas que requieran de la
evaluacin.

Seleccin de metodologa y herramientas. Estos aspectos debern

ponderarse en relacin con el objeto de estudio, tiempos de entrega de la
evaluacin y recursos.

Observacin in situ. Es el conocido trabajo de campo en el que los

evaluadores, frente al trabajo de estudio que pueden realizar en el despacho,
deben conocer la intervencin en su lugar de origen y, de ser preciso, en su
desarrollo da a da.

Recopilacin rigurosa y sistemtica de los datos y su

tratamiento sometidos a criterios de validez. Esta es una fase que debe
llevarse a cabo con el mayor cuidado para que la informacin recogida tenga
validez y proporcione credibilidad.

Anlisis e interpretacin de datos. Esta fase permite analizar,

contrastar los datos con otros trabajos e interpretar que no manipular- los
datos obtenidos en relacin a la bsqueda que se plantea la evaluacin.

Redaccin de conclusiones y recomendaciones. En funcin de todo

lo anterior, se redactarn las conclusiones y, bien con trabajos comparativos o
con la mayor capacitacin de los evaluadores, se propondrn las
recomendaciones que sean ms viables.

78

JUSTIFICACIN Y LGICA DE LA INTERVENCIN

Para poder investigar sobre la intervencin se tratar de comprender su razn
de ser: las necesidades y problemas que la justifican, el contexto en el que surgi
y su evolucin en el tiempo, as como la articulacin entre objetivos y medidas.
Debe atender por tanto a:

Razones y contexto en los que surge la intervencin.

Problemas o necesidades que trata de resolver y anlisis del
diagnstico que se hizo.
Opciones que se eligieron frente a otras alternativas.
Cambios producidos desde el momento que dio origen a la
intervencin y el momento de la evaluacin.

La lgica de la intervencin es el conjunto de actividades puestas en prctica,

los efectos esperados (productos, resultados e impactos) de una intervencin, as
como los supuestos que explican cmo las actividades van a conducir a los
efectos en el contexto de la intervencin.
Para reconstruir la lgica de la intervencin es necesario:

Ayudar a aclarar los objetivos y a traducirlos en una jerarqua de efectos

esperados de tal manera que ello permita su evaluacin.
Sugerir preguntas de evaluacin sobre dichos efectos.
Ayudar a evaluar la coherencia interna de la intervencin.

La lgica de la intervencin puede ser fiel a los documentos de

programacin y a los documentos de origen de la poltica en la que se inscribe la
intervencin. En este caso, se deducen los efectos esperados de los objetivos
establecidos en los documentos oficiales.
Al construir la lgica de intervencin en el momento de la evaluacin, se
pueden tener en cuenta aquellos efectos que se esperan implcitamente pero que
no han sido explicitados en los documentos iniciales. Eso significa un
distanciamiento de la lgica fiel, lo cual se debe especificar. El enfoque fiel es
pertinente cuando se expresan los objetivos con la suficiente precisin y de un
modo verificable.
Con frecuencia la lgica de una intervencin evoluciona a travs del tiempo.
Llegado este caso, se justifica la reconstruccin de las lgicas correspondientes a
periodos sucesivos.
La lgica de la intervencin es una simplificacin til de la realidad, sin
embargo, hay que estar siempre consciente de la complejidad del mundo real.
Adems, de la reconstruccin de la lgica de intervencin, resulta til identificar
los principales factores externos que condicionan o que afectan la ejecucin y los
efectos. Es necesario tambin tener presente el hecho de que las explicaciones
causales reales se revelan a menudo ms complejas que los supuestos
establecidos al inicio.

79

MODOS DE INVESTIGACIN
1

ANLISIS TERICO

ANLISIS EMPRICO

ESTRUCTURA
TERICA DE
LA INTERVENCIN

OBSERVACIN
IN SITU
DE ACTIVIDADES DE
LA INTERVENCIN

LAS PREGUNTAS EN EVALUACIN

El sistema con el que se ir creando la estructura lgica de la
evaluacin se basar en una serie de interrogantes e hiptesis que
permitirn hacer operativa la puesta en marcha de una evaluacin.

Esta forma de razonamiento acta como un sistema circulatorio que da vida a

todo el proceso de evaluacin. Se trata de concretar el problema a evaluar hasta
hacerlo manejable. Y esto slo se hace a travs de la especificacin de las
preguntas.

La pregunta se configura como la unidad bsica de la investigacin.

... Necesitamos una pregunta o preguntas que nos den libertad y

flexibilidad para explorar el fenmeno a evaluar en profundidad. esta
amplitud de la pregunta o preguntas iniciales va a ir focalizndose a lo
largo del proceso de investigacin / evaluacin al ir descubriendo la
relevancia o irrelevancia de los conceptos y sus relaciones... (Straus y
Corbin, 1990).

Las necesidades informativas de los actores clave.

Es cierto que las preguntas del evaluador son importantes, sin

embargo, tambin es evidente que no bastan si no se escucha a los
grupos de inters implicados en el proceso, a fin de realizar una
evaluacin que les sea til.

La evaluacin satisface necesidades de informacin de diferentes

actores y esas necesidades han de tener cabida en el diseo a travs de
la formulacin, con mayor o menor precisin, de las pretensiones de los
interesados. Ser labor del evaluador clarificar lo que pretenden las
partes interesadas.

La operativizacin de las preguntas en indicadores ser objeto de una prxima

gua ms detallada.

80

EL JUICIO DE VALOR

Sin juicio de valor no hay evaluacin.

Cualquiera de las definiciones de evaluacin tanto en espaol como en otras

lenguas nos pone frente a su problema medular: el establecimiento de juicios de
valor, que marcar los distintos enfoques evaluativos.
La evaluacin tiene por finalidad contribuir a la elaboracin de un juicio de valor
para ayudar a la toma de una decisin, mejorar la puesta en marcha de una poltica
o el funcionamiento de un servicio.
El elemento de valor es esencial para la prctica y teora de la
evaluacin porque es lo que radicalmente distingue la evaluacin de la
investigacin (Alvira,1993).
El juicio de valor est en relacin directa con los criterios que se hayan
establecido.
En los comienzos de la prctica evaluadora se trat de soslayar la cuestin de los
valores. No se mencionaban ni explcita ni implcitamente, al contrario, se pretendi
encuadrar la evaluacin en prcticas cientficas consideradas ms objetivas,
vacindola de contenidos de valor. Alvira sostiene que este ocultamiento carece de
fundamento, porque, ante todo, evaluar es valorar algo tomando como referencia
uno o varios valores.
A partir de los aos 80/90 surge una mayor conciencia respecto a la necesidad de
explicitar los valores de forma clara. En esos aos, surgi tambin una concepcin
ms plural y participativa de la evaluacin, en la que quienes encargan la evaluacin
participan en los criterios de valor adjudicando al evaluador un papel menos
dominante. La lgica de los actores polticos y tcnicos impuso una perspectiva de
valores tecnocrticos que, todava hoy, domina muchas de las grandes instituciones.
Convendra tener presente, recuerda Alvira, en relacin con Scriven, que el valor
ltimo con el que enjuiciar un programa o poltica debe ser la satisfaccin de las
necesidades de los ciudadanos, aadiramos que siempre que ello no lesione
ningn principio democrtico.
En cualquier caso, los problemas sobre los que se acta en programas o polticas
pblicas slo se transforman en problemas sociales cuando intervienen los valores
de las personas o grupos que as lo definen y el Estado garantiza que se cumplen las
reglas del juego democrtico sin desequilibrios.
Por lo que se refiere a la evaluacin, los valores, no son entelequias de carcter
abstracto o de direccin moral o partidista, los valores se entrelazan con todo el
proceso evaluador condicionando las preguntas, el tipo de evaluacin que se va a
elegir y la metodologa a aplicar. Slo as, los juicios de valor a los que se llega en la
evaluacin podrn ser percibidos por todos como fundados sobre argumentos
legtimos.

81

TIPOLOGAS

La evaluacin actual es el resultado de un largo proceso evolutivo que tiene que

ver con los diferentes paradigmas cientficos que la han influido y con su propio
origen en el seno de diversas disciplinas.
El anlisis coste/beneficio del que se sirve la evaluacin proviene de las
ciencias econmicas.
El anlisis de implementacin es deudor de las ciencias administrativas y
polticas.
La evaluacin de resultados es una aportacin de la Psicologa, Sociologa y
Pedagoga.
La evaluacin de impacto tiene su origen, primero en la Ingeniera, luego
en el conjunto de las Ciencias sociales.
En la evaluacin de programas y polticas pblicas se ha ido produciendo una
ampliacin progresiva del objeto de estudio, tomando cada vez ms inters por
cuestiones que van ms all de los meros objetivos. As, la evaluacin se ha ido
ocupando de:

Los efectos netos de la intervencin pblica, es decir, aquellos efectos que no se

hubieran producido en ausencia de aqulla.
La evaluacin de la implementacin de los programas, esto es, su cobertura y
organizacin administrativa.
La evaluacin de la conceptualizacin y diseo de los programas en funcin de
las necesidades y de la forma en que son definidos los problemas sociales.
Los anlisis coste/eficacia y coste/beneficio - evaluacin econmica.

Todo esto ha dado lugar a un buen nmero de tipologas que a veces llegan a
confundirse y a menudo se solapan. Alvira seala que se han recogido ms de 30
tipos o acepciones diferentes de evaluacin, aunque esa diversidad, segn el autor,
no es tanto real, como terminolgica, de manera que muchos tipos se confunden o
simplemente aaden pequeos matices a los ya existentes en un proceso evolutivo
de complementariedad y contraste.
Es importante clarificar este asunto porque el tipo de evaluacin a realizar estar
relacionado con las preguntas clave a las que se quiere dar respuesta, con los
objetivos que se marque el programa y con los criterios de valor a utilizar.

Cada evaluacin tiene un mbito distinto en funcin de las cuestiones que

intenta responder, su propsito, naturaleza, mtodo, fase en la que se aplica,
consideracin de los usuarios o utilidad. Todos estos factores determinarn la
tipologa de la evaluacin.

82

PRINCIPALES TIPOLOGAS DE EVALUACIN

En funcin del paradigma:

Evaluacin clsica, racionalista, positivista, centrada en los objetivos.

Evaluacin pluralista, participativa o constructivista.

En
En
En
En
En

funcin del mtodo de investigacin.

funcin del propsito.
funcin de la perspectiva temporal.
cuanto a los evaluadores.
funcin de las Fases o contenidos:

Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin

de necesidades.
de conceptualizacin o diseo de la poltica o programa.
de cobertura.
de evaluabilidad.
de implementacin.
de resultados.
de Impacto.
econmica.

Metaevaluacin.

Tipos de evaluacin, preguntas, objetivos y criterios de valor

interrelacionados y condicionan (casi determinan) el diseo de la evaluacin.

estn

EN FUNCIN DEL PARADIGMA

Evaluacin centrada en los Objetivos.

Evaluacin Pluralista: centrada en la utilidad, los procesos, los
resultados y los impactos.

Debido a su importancia dedicaremos este epgrafe al estudio de las diferencias

de la evaluacin en funcin del paradigma cientfico. En primer lugar, porque ha
sido base de grandes debates, que tienen estrecha conexin con las tcnicas que
utilizan y su pretensin de rigor cientfico y, en segundo lugar, porque nos ayudar a
entender la evolucin que han sufrido las tipologas.
La primera diferenciacin tipolgica que cabra hacer es la que se deriva, al
menos, de dos grandes paradigmas contrapuestos:

La evaluacin centrada en los objetivos, de orientacin positivista y de

utilidad mayormente tcnica y

83

La evaluacin pluralista centrada en los impactos y en los

intereses de una pluralidad de actores, de mayor utilidad poltica y con
una mayor atencin a la incidencia social.

Entre una y otra cabe sealar un arco de perspectivas que se acercan o alejan de la
radicalidad de los extremos.
LA EVALUACIN CENTRADA EN LOS OBJETIVOS
Dentro de la trayectoria evolutiva de la evaluacin un jaln importante son los
aos 50 en los que surge la evaluacin por objetivos que ha constituido el paradigma
dominante hasta nuestros das. Aunque ya en los sesenta empieza a apuntar un
nuevo paradigma que surge de la crtica al racionalismo cientfico (Scriven 19671973), tardar aos en abrirse paso y convivir en condiciones de igualdad con el
anterior.
La premisa terica en la que se fundamenta el modelo clsico de la evaluacin
por objetivos es que los programas pblicos son diseados con el objeto de alcanzar
objetivos especficos y su xito puede ser determinado en funcin de la medida en
que se alcanzan los objetivos previstos.
El proceso de este modelo centrado en los objetivos es relativamente lineal y
sencillo:

Especificacin de metas y objetivos del programa.

Estricta delimitacin de los objetivos siguiendo una jerarqua, de mayor a menor
concrecin, y en trminos medibles.
Seleccin de los instrumentos adecuados para medir la consecucin de los objetivos
del programa.

Sin embargo, los objetivos de las polticas y de los programas pblicos

acostumbran a ser generales, abstractos y confusos. En infinidad de casos es labor
de la propia evaluacin clarificar los objetivos y las necesidades del programa y
verificar si los resultados responden a lo previsto. La evaluacin por objetivos
recurre a diseos de naturaleza experimental o cuasiexperimental, y al
establecimiento de controles estadsticos que requieren, primero, la identificacin de
variables que reflejen aproximadamente los resultados del programa; y segundo, la
medida de su situacin, antes y despus de la intervencin y/o en relacin con la
situacin de grupos de control que no recibieron aqulla.
Este tipo de evaluacin que llamamos clsica, racional o cientfica, cuyo modelo
desarroll Ralph TYLER, se ha visto, a lo largo del tiempo, que presenta limitaciones
importantes tanto en su aplicacin, como en la utilizacin de sus resultados en el
proceso de toma de decisiones polticas, lo que dio lugar al rechazo del modelo
clasicista-positivista, decantndose algunos investigadores por enfoques ms
polticos, centrados en la utilizacin de los resultados de la evaluacin para la toma
de decisiones, basados, generalmente, en mtodos cualitativos de investigacin.
Esto llev a los investigadores a concluir, segn Ballart, que los diseos de
investigacin clsicos slo se pueden llevar a cabo bajo condiciones y en
circunstancias muy limitadas. La demanda de evaluacin de programas que no

84

puedan ser evaluados de esta forma tendr por tanto que cubrirse recurriendo a
otras formas alternativas de evaluacin.
LA EVALUACIN NATURALISTA / PLURALISTA O PARTICIPATIVA
Guba y Lincoln, (1987) formularon la alternativa ms radical al paradigma
clsico.
Para Guba y Lincoln no es posible la objetivad porque cualquier anlisis implica
que el observador interacta con lo observado. Para estos autores los conceptos de
causalidad, validez interna y validez externa, prestados de la investigacin bsica,
no son trasladables a la evaluacin (Mc Kelly, 1987).
Mc Kelly (1987) define la estrategia naturalista, por oposicin a la cientfica
clsica, en los siguientes trminos:
Utiliza personas como instrumentos de recogida de datos ms que instrumentos de
sondeo: utiliza el conocimiento intuitivo, con el objeto de reflejar de forma ms adecuada
el sistema de valores del investigador; utiliza metodologas cualitativas ms que
cuantitativas, muestreos selectivos ms que muestras aleatorias y representativas, lleva a
cabo anlisis de datos de carcter inductivo, utiliza teoras bien establecidas y no hiptesis
supuestamente sustantivas... (McKelly, 1987).

La evaluacin naturalista o pluralista, reconoce la pluralidad de sistemas de

valores que coexisten en el seno de la sociedad. El exponente ms destacado en
Europa es el francs Eric Monnier.
La premisa terica en la que se fundamenta el modelo pluralista de evaluacin es
que existe una diversidad de percepciones sobre los criterios evaluativos que deben
aplicarse en relacin con un programa especfico, y que lo importante no es tanto
desarrollar medidas objetivas de resultado como facilitar un amplio dilogo entre los
defensores de los criterios diversos.
La evaluacin pluralista representa el reconocimiento de la naturaleza poltica de
la evaluacin. A diferencia de la concepcin racionalista-cientfica este modelo
rechaza la idea de evaluacin imparcial y objetiva de los resultados de un programa,
para centrarse en la importancia de los valores y de las opiniones de la pluralidad de
actores que tienen que ver con l.
La evaluacin pluralista se caracteriza por:
1. Reconocimiento del carcter poltico de la evaluacin y servir a las decisiones
polticas.
2. Abrir el proceso evaluador a mltiples actores, con intereses y perspectivas diversos.
3. Aplicaral una
diversidad dedeenfoques
evaluativos
segn
en
Respecto
reconocimiento
la naturaleza
poltica
de lasituaciones
evaluacinespecficas
no se refiere
funcin de la finalidad del programa.
al plano meramente partidista, sino que supone concebir la evaluacin enraizada en
4. Producir conclusiones que buscan la utilidad para los actores.
el complejo
proceso democrtico de toma de decisiones.
5. El papel del evaluador como mediador.

En este sentido Weiss seala: En la medida que la evaluacin pluralista legitima

la diversidad de intereses presentes, reconoce la multiplicidad de perspectivas que

85

estos intereses implican, y de hecho promueve la participacin activa de los diversos

grupos que tienen relacin con un programa, democratiza la evaluacin, aunque
ello se haga a menudo desde arriba, por decisin de los evaluadores. (Weiss, 1983)
En cuanto a las ventajas del modelo pluralista se sealan:

Evaluaciones que pueden ser realizadas en perodos de tiempo relativamente

cortos.
No comprometen grandes cantidades de recursos.
Responden a las necesidades de los usuarios.
Las metodologas cualitativas permiten mantener un estrecho contacto con la
realidad y obtener una mejor comprensin del entorno poltico-social en el que se
desarrollan nuevas intervenciones sociales.

Conclusin sobre la influencia de los paradigmas.

Autores tan representativos como Weiss y Vedung, los dos desde una perspectiva
positivista (o postpositivista), reconocen lo inadecuado y poco til de utilizar diseos
experimentales o cuasiexperimentales en la mayora de las situaciones y contextos
de evaluacin -a lo que habra que aadir su cuestionamiento tico-; no obstante, en
la teora les siguen otorgando un peso importante y le dedican captulos enteros a
esta cuestin. La profesora Bustelo se pregunta por qu se le sigue dedicando,
entonces, un lugar central en la teora y los manuales al uso sobre evaluacin?
Probablemente, las razones podran encontrarse, no slo en la deuda pendiente que
la evaluacin como disciplina pueda tener todava con la investigacin social, sino,
tambin, en el propio momento de revolucin cientfica, en trminos kuhnianos, en
el que paradigmas emergentes como el constructivismo conviven, todava, poco
rodados, con otros paradigmas que han sido dominantes durante mucho tiempo.

EN CUANTO AL MODO DE INVESTIGACIN

Evaluacin Descriptiva
Evaluacin Analtica

EVALUACIN DESCRIPTIVA: Tiene por objeto obtener parmetros

cuantitativos que puedan ser aplicados a grupos de individuos que se benefician
de una poltica o participan de un programa o servicio pblico.
En la medida que las evaluaciones de la implementacin de los programas
persiguen informacin sobre la poblacin objeto del programa y sobre sus
actividades, suelen ser de naturaleza descriptiva.

EVALUACIN ANALTICA: Intenta responder a cuestiones de tipo causaefecto. Requiere por tanto la utilizacin de modelos tericos y diseos de
investigacin adecuados para demostrar que las interpretaciones causales son
ciertas (Cohen y Franco, 1988).

86

Las evaluaciones de impacto, en cuanto intentan separar los efectos del

programa de otros efectos externos, estableciendo relaciones de causalidad,
suelen ser de naturaleza analtica.

EN FUNCIN DEL PROPSITO:

Evaluacin formativa o de proceso.

Evaluacin recapitulativa, sumativa,
resultados.

conclusiva

de

Los trminos formativa o recapitulativa (del ingls summative) fueron

adoptados por Scriven (1967) en su discusin sobre la evaluacin de programas
educativos y desde entonces se ha utilizado para referirse a evaluaciones con
distintos propsitos (Herman, Morris y Friz-Gibbon, 1987).
o

EVALUACIN FORMATIVA O DE PROCESO: Responde a una de las

preocupaciones que se encuentran en la base de muchas demandas de
evaluacin: obtener informacin, de forma progresiva, sobre la marcha de una
poltica o programa y durante su desarrollo, con el fin de darla a conocer a sus
responsables para poder introducir las modificaciones programticas que se
estimen oportunas.
Requiere un conocimiento detallado de las medidas polticas a aplicar u
operaciones del programa y de sus mltiples componentes para anticipar
problemas y examinar el logro de los objetivos.

EVALUACIN
RECAPITULATIVA,
SUMATIVA,
CONCLUSIVA
O
DE
RESULTADOS: Su propsito es proporcionar informacin necesaria para poder
hacer una valoracin global sobre los resultados de un programa y su utilidad
para tomar la determinacin de continuar con l o suspenderlo. En el caso de las
polticas puede servir para concluir sobre los logros en un determinado momento.
Requiere que haya pasado un intervalo suficiente de tiempo desde la adopcin
del programa, de forma que su organizacin y actividades hayan alcanzado una
cierta estabilidad. En la medida que el programa tenga unos objetivos claros y
medibles ser ms factible juzgar sus resultados.
La evaluacin conclusiva se corresponde, en cuanto a las cuestiones objeto
de investigacin con la evaluacin de resultados, de eficiencia y de impacto.

EVALUACIN FORMATIVA
O DE PROCESO

EVALUACIN RECAPITULATIVA,
SUMATIVA, CONCLUSIVA
O DE RESULTADOS

- EVALUACIN DE CONCEPTUALIZACIN
/NECESIDADES
- EVALUACIN DEL DISEO
- EVALUACIN DE LA IMPLEMENTACIN

- EVALUACIN DE RESULTADOS
- EVALUACIN DE IMPACTO
- EVALUACIN DE EFICIENCIA

87

EN FUNCION DE LA PERSPECTIVA TEMPORAL

Este criterio hace referencia al momento en que se va a llevar a cabo la
evaluacin en relacin con la aplicacin o puesta en marcha del programa. Es
posible distinguir:
Evaluacin ex ante
Evaluacin intermedia
Evaluacin ex post

LA EVALUACIN EX ANTE

Se realiza antes de ejecutar el plan, programa o poltica pblica, siendo el

objetivo principal de la evaluacin analizar y determinar la adecuacin de la
intervencin a las necesidades que lo motivan y sus posibilidades de xito.
Pretende garantizar a priori que el programa o poltica pblica, tal y como ha sido
concebido, conseguir los objetivos de la planificacin.
La evaluacin ex ante es el ideal de una cultura que ha implantado con xito la
evaluacin en el anlisis de las polticas pblicas con un sentido holstico desde el
inicio del proceso de planificacin y no slo al final, cuando el programa o la
poltica est dando los resultados.
En la evaluacin ex ante cabe hacer todo tipo de evaluacin de contenido:
necesidades, teora del programa, cobertura, efectos de la implantacin,
previsibles resultados e impacto.
o

LA EVALUACIN INTRA o INTERMEDIA

Se lleva a cabo a medio camino entre el inicio del anlisis de las polticas
pblicas y el final de la implementacin cuando empiezan a producirse los
resultados. Esta evaluacin intermedia consiste en el anlisis crtico del conjunto
de datos recogidos sobre la intervencin y en la medicin de la forma en la que los
objetivos perseguidos estn siendo alcanzados, explicando las diferencias y
estimando anticipadamente los resultados finales de la intervencin. Las
evaluaciones intermedias aportan datos sobre la validez de la intervencin en
curso, la pertinencia de los objetivos considerados y la calidad del sistema de
gestin y seguimiento de la poltica o programa. Su objetivo principal es obtener
una informacin relevante y precisa que permita introducir las modificaciones
necesarias en el diseo o en la ejecucin de la intervencin.
Los sistemas de seguimiento son elementos inapreciables en la evaluacin de
implementacin, pero no deben confundirse con la evaluacin de implementacin
cuyo anlisis es algo mucho ms amplio y profundo. Se trata de una recogida de
informacin que analiza, tanto los propios sistemas de seguimiento y sus
indicadores como los procesos, las administraciones responsables del programa,
los recursos humanos o financieros, los posibles fallos organizativos o de gestin
en la calidad de los servicios y en la consecucin de los objetivos finales, a fin de
corregir sobre la marcha efectos adversos y desviaciones de la intervencin.

88

LA EVALUACIN EX POST

Se realiza una vez finalizada la intervencin. Permite enjuiciar su xito, el

acierto de la estrategia diseada en el mismo, su grado de flexibilidad y
capacidad de adaptacin a una realidad siempre cambiante, su eficacia y
eficiencia y la adecuacin de los mecanismos de gestin y seguimiento previstos.
Tanto en la evaluacin ex post como en la evaluacin ex ante cabe hacer todo
tipo de evaluacin de contenido (cobertura, teora de la poltica o programa,
implementacin, impacto), la diferencia es que en este caso ya hay resultados a
examinar y que la lgica del trabajo evaluativo ser de abajo arriba, tratando de
averiguar, a travs de los resultados, la lgica y conceptualizacin de la
intervencin pblica y las desviaciones que se hayan producido.

EN CUANTO A LOS EVALUADORES

Evaluacin interna
Evaluacin externa
Evaluacin mixta

La distincin entre evaluacin interna y externa se refiere a las personas

encargadas de realizar la evaluacin y plantea un problema clsico de organizacin,
esto es, quin debe ser el evaluador?: personal del programa, una Agencia
administrativa especialista en evaluacin, evaluadores externos: universidades,
consultores?
o

EVALUACIN INTERNA / EVALUACIN EXTERNA / EVALUACIN MIXTA

La evaluacin puede realizarse internamente (autoevaluacin), o externamente,

por especialistas externos contratados por la Administracin.
Frente a la objetividad e independencia que se reclama para la evaluacin
externa si bien no justificada-, la evaluacin interna presenta como ventajas la
mayor familiarizacin con el mbito administrativo y con la intervencin y por tanto
un mayor conocimiento de sus mecanismos de gestin y ejecucin. Tanto la
evaluacin interna como la externa presentan ventajas e inconvenientes, de ah que
lo ms recomendable sea la creacin de equipos de evaluacin mixtos, formados por
personal ajeno al programa y por algunos responsables de su gestin y ejecucin.

89

EVALUACIN SEGN CONTENIDO

En la evaluacin de programas de intervencin social, la fase en la que se

encuentre el programa o poltica pblica condiciona el tipo de evaluacin a realizar,
siendo, por tanto, uno de los posibles criterios para elegir la tipologa. Otros autores
prefieren hablar de contenidos.
Alvira recomienda seguir un criterio analtico/lgico en la eleccin de la tipologa
y distingue una serie de tipos de evaluacin que considera guardan cierta relacin
jerrquica:
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin

de necesidades.
del diseo/conceptualizacin del programa.
de la evaluabilidad.
de implementacin/proceso.
de seguimiento. (*)
de la cobertura.
de resultados.
de impacto.
econmica.

(*) En la actualidad, no se considera el seguimiento y monitoreo una evaluacin. Sin embargo, es

muy comn encontrarlos asociados, especialmente, en Latinoamrica.
En cuanto a la evaluacin de cobertura, el propio Alvira la incluye en la de implementacin.
Y respecto a la evaluacin de proceso, a menudo se identifica con la de implementacin.

El tipo de evaluacin condicionar el encadenamiento de preguntas que tratarn

de informarnos sobre la realidad del programa y que sern distintas en cada fase.

Etapa de planificacin de la intervencin, la evaluacin de necesidades y el

anlisis evaluativo de la conceptualizacin y diseo constituyen el eje de las
posibles evaluaciones.

Etapa de puesta en marcha. Una vez que est en funcionamiento la

intervencin, la evaluacin ms adecuada sera la de implementacin y la de
cobertura, cabra tambin elegir cualquier tipo de seguimiento de la
intervencin (aunque no lo consideramos estrictamente evaluacin). Si hay
clara constatacin de resultados podramos aplicar la evaluacin de resultados
y la evaluacin econmica.

Cuando la intervencin lleva tiempo funcionando lo lgico sera centrarse en

la evaluacin de resultados, impacto, econmica, cabra tambin aplicar a su
estudio una evaluacin de seguimiento o monitoreo.

6 Alvira habla de Fases. Pero no deben tomarse como necesariamente sucesivas, se pueden
evaluar aisladamente. Slo se seguira una lgica sucesiva en el supuesto de una evaluacin integral.

90

EVALUACIN DE NECESIDADES
La evaluacin de diagnstico de necesidades es el primer paso racional en el
desarrollo de un programa o intervencin.
Tiene como objetivo analizar las caractersticas esenciales del problema que la
intervencin quiere solucionar y su importancia.
PROCESO DE ANLISIS DEL PROBLEMA, DIAGNSTICO DE NECESIDADES
Y ELECCIN DE ESTRATEGIA DE INTERVENCIN

CONDICIONES
SOCIALES O
HECHOS

PROBLEMA
SOCIAL

VALORES
SOCIALES

NECESIDADES
SOCIALES

SELECCIN DE
ESTRATEGIAS DE
INTERVENCIN:
POLTICA / PROGR.

HIPTESIS SOBRE
ETIOLOGA DEL
PROBLEMA

EVALUACIN DE
DIAGNSTICO O
NECESIDADES

Alvira, 1992

EVALUACIN DE LA CONCEPTUALIZACIN O DEL DISEO DE LAS

INTERVENCIONES

La evaluacin de la conceptualizacin y del diseo de las polticas pblicas y

programas intenta proporcionar informacin, primero, sobre el problema
(necesidades detectadas) del que se ocupa o se debera ocupar la poltica o
programa, segundo, sobre el proceso de formulacin y diseo de la intervencin, y
tercero, sobre la racionalidad intrnseca de la misma, es decir, hasta qu punto el
diseo de la intervencin sirve a sus objetivos (Rossi y Freeman, 1985).
Es evidente que el diseo de una intervencin pblica no es algo que competa a
los evaluadores, salvo que el planificador requiera su asesoramiento para evaluar
posteriormente, en cualquier caso, el evaluador puede sealar en sus trabajos
problemas conceptuales o de diseo preexistentes, mediante un anlisis lgico del
programa en relacin al problema que quiere solucionar.
El tema clave es la existencia o no de un modelo de intervencin suficientemente
contrastado que permita suponer que se lograrn los resultados previstos.
El anlisis evaluativo se centrar en:
La poblacin objeto y los posibles problemas de cobertura.
La articulacin objetivos - medidas.

91

EVALUACIN DE EVALUABILIDAD
S. Wholey (1981) plante hace ya aos la necesidad de evaluar la evaluabilidad
de un programa como paso previo formalizado que evite gastos y esfuerzos
innecesarios. La experiencia evaluadora de otros pases ha puesto de relieve que
ms del 50% de los programas no son evaluables por tener problemas de
especificacin de objetivos, problemas de implementacin, problemas de aplicacin
de un conjunto coherente de actividades o todo ello conjuntamente. Esto hace que la
evaluabilidad no sea slo una herramienta operativa, inapreciable en la evaluacin
de programas, sino una tipologa esencial en la planificacin estratgica de la
evaluacin de polticas pblicas.
La evaluabilidad es un tipo de evaluacin de caractersticas particulares que se
aplica previamente a una evaluacin de gran envergadura para determinar si la
intervencin es evaluable, es decir, si sera eficaz evaluar en relacin a los
resultados que se prev obtener, si sera eficiente, en cuanto a los recursos
necesarios para obtener esos resultados y si sera viable respecto a los obstculos
detectados.
La evaluacin de evaluabilidad es una fase previa a la puesta en marcha de una
evaluacin de gran envergadura que se centra en comprobar y valorar todo aquello
que es medible e importante antes de iniciar una evaluacin ms profunda. Y se
trata de una evaluacin ex post respecto a la intervencin, no de una evaluacin ex
ante.
CARACTERSTICAS DE LA EVALUABILIDAD
Saca a la luz la calidad de la conceptualizacin del programa en la fase de
planificacin, analizando su diseo, necesidades y objetivos.
Cuanto mayor rigor haya observado el diseador del programa en la fase de
planificacin ms fcil ser comprobar su evaluabilidad.
Responde a una lgica sistemtica de abajo arriba, que a travs de relaciones de
causalidad ir reconstruyendo un proceso desde las acciones concretas del
programa y sus resultados hasta su fundamento y objetivos especficos.
Verifica la existencia y la accesibilidad a la informacin necesaria, en calidad y
cantidad, que permitira llevar a cabo la evaluacin. Si no hay datos suficientes o
los que hay no resultan relevantes la evaluabilidad desaconsejar la evaluacin.
Informa sobre la implicacin y disposicin del entorno gestor y responsable frente a
la posible evaluacin, constatando sus resistencias o colaboracin. En definitiva,
uno de los objetivos perseguidos con el anlisis de evaluabilidad es crear un clima
favorable, de cooperacin e interaccin entre evaluados y evaluadores para
facilitar la evaluacin.
Analiza la dotacin de recursos con los que se cuenta para la evaluacin.
Su pronstico puede realizarse en un tiempo relativamente corto.
Puede alcanzar una amplia utilizacin.

Resulta de gran eficacia para las Agencias evaluadoras, proponiendo los focos
ms tcticos para la planificacin 7 en evaluacin.

Paraunmayordetallesobreestatipologa,ver:Laevaluabilidad:deinstrumentodegestinaherramienta
estratgicaenlaevaluacindepolticaspblicas.PapelesdeEvaluacin7,ColeccindeAEVAL,2007Disponibleen
versinelectrnica:http://www.aeval.es

92

EVALUACION DE LA IMPLEMENTACION / EVALUACIN DE PROCESO

Uno de los aspectos claves de una intervencin pblica es su ejecucin o puesta
en marcha. Un programa o poltica pueden no conseguir los efectos deseados debido
a que la puesta en marcha no funciona tal y como se haba planeado. En esto
consistir la evaluacin de implementacin o de proceso, en la valoracin de una
forma sistemtica y peridica de dos cuestiones fundamentales:
o

La cobertura de la intervencin, es decir, hasta qu punto el programa o poltica

est alcanzando la poblacin o el rea a los que se dirige.

La forma en que la intervencin se administra, tanto desde el punto de vista de la

utilizacin de los recursos de que dispone, como de los servicios finalmente
distribuidos (Rossi y Freeman, 1985).

La primera cuestin a precisar es terminolgica, ya que la mayor parte de las

veces evaluacin de implementacin y evaluacin de proceso se usan
indistintamente. No obstante, Alvira en su modelo jerarquizado las considera por
separado y en vista a que hemos seguido su propuesta mantenemos la diferencia,
aunque reconocemos que a menudo se solapan. En todo caso la categora superior
sera evaluacin de implementacin, que englobara otras subcategoras.
Rossi y Freeman incluyen en la evaluacin de implementacin tambin la de
cobertura. En el escalograma de Alvira aparecen separadas, aunque cada vez ms,
los evaluadores incluyen el anlisis de la cobertura y el de la calidad del proceso en
la evaluacin de implementacin.
Slo interesa resaltar aqu que una evaluacin de implementacin
puede
contener diferentes anlisis en funcin de lo que hayan solicitado las partes
interesadas, pudiendo optarse tambin por hacer cualquiera de las evaluaciones por
separado dependiendo de lo que se quiera averiguar.
FASE de IMPLEMENTACION

Ev. IMPLEMENTACION
Ev. de Cobertura

Ev. de Proceso
Ev. Desempeo/

Ev. Esfuerzo

Ev. de calidad de la
atencin.

Monitoreo
y Seguimiento
(no se considera
una evaluacin)

Ev. Productos o
Resultados Intermedios

Mayor inters puede tener otra cuestin, sta de tipo conceptual, sobre la que
llama la atencin la profesora Bustelo, compartida tambin por Alvira: Para realizar
una buena evaluacin de implementacin hay que identificar e investigar la Teora

93

del programa. La llamada de atencin responde a que autores importantes como

Weiss y Vedung, a pesar de reconocer esta necesidad terico-conceptual, cuando
llega el momento de hablar de tipologas mencionan nicamente la evaluacin de la
implementacin ejecucin o proceso- y la de resultados. Y todo ello, porque dan
por supuesto que ese estudio previo va implcito en la evaluacin de implementacin
y de resultados. Sin embargo, el enfoque de Teora del programa teora que
sustenta la intervencin-, no ha sido frecuente en evaluacin hasta hace unos aos.
La profesora Bustelo hace hincapi en que como analistas de los procesos de
intervencin pblica, es crucial interesarse por el diseo y conceptualizacin de las
polticas, adems de hacerlo por los procesos de ejecucin y sus resultados e
impacto.

EVALUACIN DE LA COBERTURA
Una intervencin consiste, esencialmente, en un conjunto de actividades a aplicar
a una poblacin objeto. Por tanto, un mtodo de evaluar la intervencin consiste en
analizar hasta qu punto llega a la poblacin destinataria.
Se trata no slo de calcular la tasa de cobertura el porcentaje de la poblacin
objeto afectada por el programa- sino, tambin, de analizar si existe sesgo en la
cobertura y efectuar un anlisis de las barreras y de la accesibilidad al programa.
A menudo, las intervenciones tienen problemas de infracobertura o sesgo, por lo
que resulta clave dentro de la evaluacin de la cobertura analizar: el conocimiento
del programa o poltica por parte de la poblacin destinataria, la accesibilidad fsica o
la aceptacin y receptividad.

EVALUACIN DE RESULTADOS O EVALUACIN DE EFICACIA

Se analizan a continuacin las tres evaluaciones ex post por excelencia: la
evaluacin de Resultados o de Eficacia, la Evaluacin de Impacto y la Evaluacin de
Eficiencia, advirtiendo que por las dimensiones de su desarrollo y la amplitud y
casustica de su metodologa son inabordables en estas pginas de orientacin
general sobre tipologas de evaluacin. En realidad, cada una de estas tipologas
exigira por s misma un desarrollo monogrfico.
De nuevo nos encontramos con problemas terminolgicos en cuanto al uso
indistinto de los trminos resultados, eficacia e impactos y las diferencias entre un
tipo de evaluacin y otra. Esta confusin est muy extendida en el caso de las
evaluaciones de Programas de Ayuda al Desarrollo que suelen hablar generalmente
de evaluacin de impactos, aunque lo que entren a valorar sean resultados.
Adems, el trmino impactos se utiliza en muchas reas geogrfica en particular
Amrica de Sur- como sinnimo de efectos.

94

En realidad, este ltimo vocablo es mucho ms genrico y, en el lenguaje comn

incluira tanto los resultados como los impactos de una intervencin. Por lo que
reservaramos el trmino resultados para los que derivan de los obtenidos en
relacin a los objetivos resultados esperados y no esperados en la poblacin objeto
de intervencin- y el trmino impactos para examinar impactos en esa misma
poblacin y fundamentalmente en la sociedad.
El anlisis de resultados presupone que existe un conjunto de objetivos
operacionales y que stos son indicativos del xito o del fracaso de la intervencin.
Se afirma que ste ha funcionado correctamente si consigue cambios en la lnea
marcada por los objetivos.
La funcin del evaluador consiste precisamente en demostrar que los cambios
son debidos a la intervencin y no se pueden explicar como consecuencia de un
proceso alternativo que no incluya al programa mismo (Rossi y Freeman, 1985).
La cuestin esencial en la evaluacin de resultados es separar los efectos del
programa o poltica de otros efectos externos para determinar hasta qu punto la
intervencin es responsable de los cambios observados durante y despus de su
puesta en prctica. En este sentido la evaluacin de resultados es tambin una
evaluacin de eficacia. Sin embargo, hay que sealar que en el caso de evaluar
polticas los resultados netos son mucho ms difciles de determinar.
Esto se ha tratado de conseguir, desde la perspectiva positivista, con la
identificacin de medidas de resultados que representen los objetivos del programa,
y con el control, mediante mtodos experimentales, cuasiexperimentales o
estadsticos, de aquellos efectos que no sean adjudicables a la intervencin.

EVALUACIN DE IMPACTO

La evaluacin de impacto mide ms all que la evaluacin de resultados. Examina

la medida en que la intervencin produce efectos ms all de los resultados
previstos. Los impactos son clave en la evaluacin de las polticas pblicas. Pero
resultados previstos sobre qu? Sobre la poblacin objeto del estudio o sobre la
general que pueda verse afectada sin haberse previsto?
Los autores no se ponen de acuerdo o al menos no son tan claros como nos
gustara.
Bajo la denominacin de evaluacin de impacto se entiende el proceso evaluativo
orientado a medir los resultados de las intervenciones, en cantidad, calidad y extensin
segn las reglas preestablecidas. (Abdala, E. Manual para la evaluacin de impacto en
programas de formacin para jvenes. Montevideo, 2004)

Esta definicin introduce un criterio sagaz para distinguir la evaluacin de

resultados de la evaluacin de impacto: el de extensin. Una evaluacin de
resultados debera tener como lmites los marcados en la intervencin. Todos los
efectos que se extiendan ms all de lo planificado deberamos considerarlos

95

impactos, sin duda los que afecten a la poblacin en general, pero, tambin, los que
afecten a la propia poblacin objeto de estudio que excedan los resultados previstos.
Lo aclara an ms el mismo autor: La evaluacin de impacto abarca todos los
efectos de la planificacin y ejecucin: especficos y globales, buscados (segn los
objetivos) o no; positivos, negativos o neutros; directos o indirectos.
Se tratar de ilustrar con un ejemplo una cuestin que suscita tantas
confusiones. En el caso de intervenciones para la incorporacin de jvenes
discapacitados al mundo laboral con un porcentaje limitado de discapacidad y por un
tiempo definido, se disea una intervencin con bonificaciones a las empresas. El
resultado es que aumenta el nmero de discapacitados contratados en esas
condiciones (Resultados positivos deseados), pero se observa que la mayora de los
discapacitados son fsicos y de un tipo de discapacidad (resultados no deseados en
la poblacin diana). Se constata, adems, que pasado el tiempo establecido en el
contrato no se produce integracin total de los discapacitados, pasando sus
contratos a indefinidos (impacto en la poblacin diana). Aadindose el hecho de
que han descendido en la zona las contrataciones a jvenes sin discapacidad
(impactos en la sociedad) porque los empresas buscan el beneficio de la
contratacin bonificada. Todo lo producido podramos considerarlo efectos de la
intervencin a tener en cuenta para el rediseo.
UTILIDAD DE LA EVALUACIN DE IMPACTO
Permite:

Registrar y analizar todas las experiencias (positivas y negativas), mediante la

comparacin en el grupo de control, sistematizndolas.
Evaluar el contexto socioeconmico y poltico en que se da la experiencia.
Identificar a los actores involucrados y su peso especfico en los resultados.
Estudiar la articulacin interinstitucional y la pblico-privada.
Ofrecer estudios de coste-beneficio.
Aprender sobre los procesos de gestin de la intervencin.
Informar a los responsables para la toma de decisiones sobre las futuras
intervenciones. Esta retroalimentacin promueve el reforzamiento institucional.

EVALUACIN ECONMICA
El conocimiento de la eficacia o impacto de una intervencin puede ser
insuficiente. A menudo, el impacto de una intervencin deber ser juzgado en
funcin de su coste ya que puede ocurrir perfectamente que un determinado
programa est produciendo unos resultados escasos para los costes en que ha
incurrido. Ello supone incluir el anlisis coste-eficacia o efectividad, el anlisis costebeneficio y el anlisis coste-utilidad dentro del mbito de la evaluacin. Estos
requieren una evaluacin de impacto previa, para determinar los beneficios causados
realmente por la intervencin.
La identificacin, cuantificacin y transformacin a una unidad comn de medida
de los costes y beneficios puede resultar problemtica cuando se trata de

96

intervenciones sociales, ya que no todos los outputs e inputs pueden ser valorados
en trminos monetaristas, cuestin que tiene mucho que ver con los criterios de
valor en las intervenciones pblicas.

LA METAEVALUACIN

Consiste en el anlisis de los resultados de varias evaluaciones. Proporciona, por

tanto, informacin sinttica sobre el conocimiento existente en relacin con una
determinada poltica o programa pblico. Lgicamente, este tipo de anlisis slo es
posible cuando un nmero considerable de evaluaciones han sido realizadas y
publicadas en relacin con una determinada poltica. Entonces, el examen
sistemtico del conjunto de las evaluaciones, desde una perspectiva ms general,
puede proporcionar ms y mejor informacin que un nuevo estudio de
caractersticas parecidas a los realizados anteriormente.
A veces, la metaevaluacin consiste en repetir un estudio acabado, reanalizando
los datos en que se basa o incorporando ms datos sobre el mismo programa
(Hudson y McRoberts, 1984). Otra forma de hacer metaevaluaciones consiste en la
revisin de tipo ms amplio de la investigacin evaluativa desarrollada en un
determinado perodo.
La evaluacin de las evaluaciones, como podra describirse la metaevaluacin,
no est exenta de las complicaciones que derivan de las diferencias existentes entre
proyectos individuales en cuanto a las metodologas empleadas, el tipo de datos
utilizados, o la perspectiva poltica desde la que se llevaron a cabo. Parece
razonable, sin embargo, recurrir a la informacin agregada y sinttica de las
metaevaluaciones para justificar decisiones polticas, cuando esto sea posible, y en
la medida que la evidencia emprica acumulada indique claramente un curso de
accin.

97

EL DISEO DE LA EVALUACIN

Qu se entiende por diseo de la evaluacin?

Una definicin amplia del trmino diseo lo relaciona con bosquejo del conjunto
de los componentes (tema, problema, objetivos, metodologa, tcnicas...) que
permiten al investigador o al evaluador anticipar -mediante una representacin
organizada del punto de partida- el inicio de la construccin del objeto en proceso de
estudio. De este modo, la nocin de diseo es asimilada o se confunde con la de
proyecto de investigacin en su conjunto, sin que el proyecto quede necesariamente
circunscrito a una fase inicial del proceso de investigacin.
En la otra punta del arco, una acepcin restringida define el diseo como la
opcin tcnica adecuada a un determinado tipo de problema de investigacin y
entiende el diseo como un dispositivo exclusivamente tcnico.
Habra que advertir de el abuso y consiguiente desgaste del trmino diseo, al
cual se le atribuyen contenidos de muy variada naturaleza, como se pone de
manifiesto al realizar una revisin sobre la cuestin (Garca Ramos, 1992).
Pero, no debemos olvidar que el verbo disear pone el nfasis en la dimensin
estratgica del proceso de investigacin o evaluacin destacando su referencia
anticipadora de aquello que se quiere conseguir y no slo los medios para lograrlo.
El diseo equivale a realizar con el mayor detalle las distintas tareas que
deben ser llevadas a cabo en el anlisis y valoracin final que supone toda
evaluacin. El diseo ha de partir de una formulacin clara de los objetivos
que se pretenden lograr, y ha de contener informacin precisa sobre los
insumos que van a ser utilizados; las actividades a realizar y los resultados
que se prevn para la consecucin de esos objetivos. (Amescua, C. y
Jimnez, A., 1996)

Para completar esta aproximacin al concepto de diseo en su perspectiva ms

amplia, que es la que aqu interesa, se tendr en cuenta la nocin que aporta Valles:
Disear significa, ante todo, tomar decisiones a lo largo de todo el proceso de
evaluacin y sobre todas las fases o pasos que conlleva dicho proceso (Valles,
2003).

Algunas de estas decisiones se tomarn al inicio, mientras se va perfilando el

problema a investigar y se delimitan los casos, el tiempo y el contexto del estudio,
otras irn surgiendo sobre la marcha, y las ltimas llegarn en el momento de
decidir cmo presentar las conclusiones.
Cada una de estas circunstancias concretas deber resolverse por el evaluador
con particulares estrategias. Esa combinatoria que tiene el diseo de componentes

98

tcticos y estratgicos es lo que se conoce modernamente como estrategia tericometodolgica, que abarca mucho ms que las cuestiones tcnicas y que dada la
complejidad de la realidad exige cada vez la complementariedad de perspectivas.
Cualquier estudio sobre el diseo de evaluacin se enfrentar con el debate de
las dos grandes corrientes metodolgicas que dominan la investigacin social:
cuantitativa y cualitativa.
La perspectiva cuantitativa prefiere utilizar como concepto clave proyecto ms
que diseo y cuando hablan de diseo es para contraponer el diseo tradicional o
convencional (cuantitativo) al diseo emergente (propio de la investigacin
cualitativa).
El concepto de diseo emergente, as como la clave de la flexibilidad del diseo
en estudios cualitativos aparece en Lincoln y Guba, Marshall y Rossman (1985),
quienes consideran crucial un plan de investigacin que incluya muchos de los
elementos de los planes tradicionales, pero reservndose el derecho a modificarlo
durante la recogida de datos.
La diferencia principal entre ambos diseos se halla, segn sus defensores, en la
especificidad del plan original de investigacin.
La informacin que se obtiene a lo largo del proceso de implementacin ha de ser
exacta, fiable y, sobre todo, vlida para detectar qu relacin existe entre la
situacin inicial de la intervencin y la que resulta despus de ella. Todo esto nos
sita frente al tema capital de los diseos cuantitativos: la validez. Existe un buen
nmero de estudios dedicados a este asunto (Campbell & Stanley, 1966; Cook &
Campbell, 1979; Brinberg & Kidder, 1982; Arnau, 1990; Vallejo, 1991; Martnez,
1995), llegndose a construir un autntico mapa de tipos de validez en el proceso de
investigacin (Brinberg & McGrath, 1982), en el que se diferencia,
fundamentalmente, entre validez interna y validez externa.
Por validez interna se entiende la capacidad de controlar las potenciales
explicaciones o hiptesis alternativas que pudieran afectar a los resultados de la
evaluacin. El evaluador que trabaje desde el enfoque cuantitativo tratar por todos
los medios de alcanzar la mayor validez interna en sus trabajos.
El objetivo esencial de un buen diseo de evaluacin de resultados bajo la
perspectiva cuantitativa girar en torno a los criterios que se establezcan para
controlar las posibles explicaciones alternativas.
El problema crtico que tratar de despejar la evaluacin a travs de la
elaboracin de su diseo es determinar si los resultados que produce el programa
podran haber ocurrido sin la intervencin de ste o si se deben a factores
combinados o de confusin, que enmascaran los resultados netos del programa. Por
eso, algunos autores distinguen entre resultados brutos y resultados netos.
Rossi y Freedman consideran que los factores de confusin o causas extraas
que afectan a los resultados brutos de una evaluacin deben tenerse en cuenta para
hablar de resultados netos que son los que podrn atribuirse a la intervencin, libre
de otras causas.

99

La validez interna trata de asegurarse a travs de dos vas:

1. Comparaciones entre grupos que permitan ver diferencias y anular el
efecto de las variables alternativas. En este caso, el procedimiento consiste en
buscar grupos de comparacin o control que no estn afectados por la intervencin
para compararlos con grupos sobre los que sta acta.
2. Anlisis estadstico: Requiere haber identificado las variables que hay que
controlar, es decir, las posibles explicaciones alternativas. Y una vez identificadas se
buscan tcnicas de anlisis multivariable que permitan separar los efectos de unas y
otras variables.
Los diseos tipo en la evaluacin de resultados de orientacin cuantitativa son:
Diseos experimentales
Diseos no experimentales
Diseos diacrnicos:
a) Anlisis de panel
b) Anlisis de tendencias
c) Anlisis de series temporales
Diseos sincrnicos
a) Anlisis de tablas de contingencia mediante
modelos lineales logartmicos
b) Anlisis log-linear
Diseos mixtos
Diseos cuasi experimentales
a) Diseo con grupo control no equivalente
b) Diseo de discontinuidad en la regresin
c) Diseos cuasiexperimentales con sujeto
nico
d) Diseos intraseries
e) Diseos intraseries temporales
Diseos de series temporales interrumpidas
- Con grupo de control no equivalente
- Con variables dependientes no equivalentes
- Con retirada del tratamiento
- Con replicacin mltiples
- Con replicaciones cambiadas
- Estrategias combinadas
Diseos de cohortes

Para el diseo cuantitativo son elementos claves: los grupos, las caractersticas
de la propia intervencin, las mediciones y trabajar con diseos previos, calificados
como rgidos.
Por el contrario el diseo naturalista, por lo general, no se establece por completo
antes de empezar con el estudio, sino que emerge al tiempo que se recogen los
datos. Suele llevar a cabo un anlisis preliminar y luego va tomando forma con el
contexto.
Un investigador cualitativo prefiere que la teora emerja de los propios datos.
Esto incrementa su capacidad para comprender y quiz para concebir una

100

explicacin del fenmeno que sea consecuente con su aparicin. (Erlandson et al,
1993)
Patton (1990) tambin transmite el mensaje de que los diseos cualitativos
siguen siendo emergentes incluso despus de que comienza la recogida de datos.
Pero matiza, el grado de flexibilidad y apertura es, sin embargo, un asunto de gran
variacin entre diseos.
Simplificando, existiran dos tipos extremos de diseos en investigacin
sociolgica: el emergente y el proyectado. Los primeros surgen segn avanza el
estudio, los segundos se proyectan de antemano por el evaluador. Para el profesor
Valles no se tratara de polos opuestos, sino, ms bien, de un continuo entre ambos,
que iramos eligiendo segn el caso a aplicar. Ser la pericia del
investigador/evaluador la que orientar la utilizacin de un diseo u otro segn las
fases, el objeto de estudio o el anlisis a realizar.
El evaluador deber tener en cuenta, de partida, una serie de consideraciones
antes de comenzar con el diseo: factores de tiempo de entrega, oportunidad,
recursos econmicos y humanos de los que dispone, utilidad que persigue la
evaluacin e intereses de los solicitantes. Resuelto todo esto y orientado ms o
menos hacia un tipo de diseo, llevar a cabo un proceso sistemtico de toma de
decisiones y estrategias con el fin de verificar, a travs de una lgica inversa -se
partir de los resultados para comprobar todo lo dems-, si los resultados tienen
como causa el programa y si hay fallos, desvos o resultados imprevistos o no
deseados y por qu.
Comenzar su labor por la elaboracin de un marco terico, de inmediato tendr
que ocuparse de los problemas de medida que tiene toda investigacin social,
localizar y seleccionar los datos secundarios que considera necesarios para sus
anlisis y seleccionar tcnicas y herramientas para la obtencin de datos primarios
y para el tratamiento en general. Acabar interpretndolos y formulado sus
conclusiones en el Informe de evaluacin.
Para la elaboracin del marco terico deber identificar los objetivos, establecer
las preguntas, definir las hiptesis, seguir una lgica causal y considerar las
variables y los criterios por los que se va a regir el trabajo. Respecto a los problemas
de medida deber someter los datos a criterios de control que permitan aceptar su
validez y fiabilidad. Habr de barajar cuales sern las tcnicas ms adecuadas y las
estrategias de muestreo si incluye un estudio por encuesta. Finalmente, habr de
seleccionar las estrategias metodolgicas para que el tratamiento de la informacin
proporcione el mayor significado que le permita elaborar el informe con las
conclusiones y establecer el plan de implementacin de la evaluacin.
El consejo que da Valles, dentro del paradigma naturalista, es planificar siendo
flexible (1993).
Las estrategias sern distintas para cada diseo y para cada fase dentro del diseo. Por
eso, ste no podr ser nunca un modelo nico, sino que se moldea en cada situacin a
partir de los criterios maestros generadores de preguntas y respuestas.

101

Antes de concluir este epgrafe parece de inters recordar lo que seala la

profesora Fernndez Ballesteros:
No existe hasta la fecha ningn planteamiento abarcador con voluntad de unificar los
ejes o criterios de referencia para que, sea cual sea la metodologa seguida, se puedan
estructurar genricamente los diseos.

TCNICAS

Las tcnicas aplicadas a la evaluacin son procedimientos especficos a travs de

los cuales el evaluador rene y analiza los datos mediante operaciones lgicas o
estadsticas.
La mayor salvedad que conviene hacer aqu, en especial para aquellos que no
provienen del campo social, es que no se deben confundir las tcnicas con el mtodo
que es, de una parte, sustento terico de las tcnicas, pero mucho ms, el mtodo
es el modo en el que vamos a proceder a lo largo de la evaluacin para tratar de
comprender al mximo los resultados que obtengamos. Mientras que el mtodo
responde al cmo lo vamos a hacer, las tcnicas responden a con qu.
Hemos sealado ms arriba que un reduccionismo an mayor es el que asimila
diseo con tcnicas.
Lo fundamental respecto a la caja de herramientas de las que se dispone en
evaluacin es la supeditacin de stas a los problemas que pretenden explicarse.
Resulta imposible desarrollar aqu el extenso tema de las tcnicas utilizadas en
evaluacin, por lo que, simplemente, se apuntan algunas.
TCNICAS CUANTITATIVAS

TCNICAS CUALITATIVAS

Entrevista estructurada
Encuesta
Tcnicas de autoinforme
Indicadores especficos: sociales,
econmicos, educacin, salud.
Datos de archivo sobre usuarios
Datos de archivo sobre poltica o
programa

102

Anlisis documental
Anlisis de polticas
Entrevista cualitativa
Grupos de discusin
Observacin
Observacin participante
Analizadores sociales
Mtodo Delphi

EL INFORME DE EVALUACIN

La redaccin del informe de evaluacin es una de los puntos clave que pondr a
prueba las dotes del evaluador. En general, deber tratar de dar unidad a los
distintos enfoques y participantes que hayan colaborado en la evaluacin.
Los informes de evaluacin deben posibilitar la comprensin de: 1) el objetivo de
la evaluacin; 2) la delimitacin exacta del objeto; 3) cmo ha sido planificado el
proceso evaluador y sus estrategias; 4) cules son los hechos constatados; 5) cules
las conclusiones extradas y 6) cules son las recomendaciones aconsejadas.
Por lo general, el informe se acompaar de un resumen ejecutivo, al considerar
que slo un pequeo nmero de destinatarios tendr inters en la lectura completa.
El informe de evaluacin se compone generalmente de:
o Exposicin sinttica sobre la intervencin evaluada: El informe se
iniciar con una exposicin de los objetivos y finalidades que persegua la
intervencin y una descripcin breve del contexto de implantacin. Se
recomienda fundamentar esta parte del informe tanto en elementos
cuantitativos (datos estadsticos ) como cualitativos, que describan de manera
clara la situacin que da origen a la intervencin (contexto socio-econmico,
necesidades identificadas, problemas emergentes, ...).
o

Presentacin del proceso seguido, mtodos y herramientas. Habrn de

presentarse tambin de manera sinttica las preguntas que se plantea la
evaluacin, las hiptesis de partida, los principales referentes (criterios) , las
elecciones metodolgicas y las herramientas utilizadas.

Anlisis, evidencias y factores explicativos. El corazn del informe est

constituido por las respuestas a las principales cuestiones. Esta parte
comprende anlisis de los factores explicativos y las evidencias en las que se
basar el juicio del evaluador.

El anlisis de los factores explicativos se apoyar sobre la diversidad de los

materiales reunidos. Se recomienda a los evaluadores no empearse en un
razonamiento determinado (de tipo econmico, tcnico, sociolgico...), sino, por el
contrario, concebir un proceso heurstico que explore el conjunto de las causalidades
y los efectos del sistema, teniendo en cuenta que un mismo fenmeno resulta, a
menudo, atribuible a varias causas. Corresponde a los evaluadores identificar estas
causas y mostrar las relaciones que existen entre ellas.
Las evidencias se expresarn ponderando datos cuantitativos y cualitativos que
muestren la relacin entre objetivos previstos y resultados.
o

El juicio de valor sobre lo evaluado.

El juicio de valor se revelar en las conclusiones que, como hemos dicho,
estarn fundamentadas en las evidencias, el anlisis y los factores
explicativos.

103

Las argumentaciones deben ser claras, relevantes y referidas a los criterios

e indicadores que se hayan establecido en la evaluacin, permitiendo alcanzar
de manera consecuente los elementos que construyen las conclusiones y el
juicio. Sean cuantitativos o cualitativos, los datos se traducen en
aseveraciones que califican la realidad y servirn para formar el juicio de
los lectores del informe.
Se pueden distinguir tres registros principales de argumentacin que
contribuyen
de manera complementaria a avalar la credibilidad de las
conclusiones de la evaluacin.
1. El registro de lo constatable.
Toda evaluacin desarrolla en principio constataciones que parecen
simplemente inducidas de la observacin directa de la realidad, aunque toda
constatacin comprenda necesariamente una mezcla de inducciones y
deducciones.
Constataciones cuantitativas: Se puede tratar de simples
contabilidades fsicas o financieras: coste de una poltica o un programa,
nmero de beneficiarios, dossieres consultados, etc. Esta cuantificacin
puede obtenerse por explotacin de datos obtenidos de fuentes secundarias
(subproductos de una gestin administrativa) o de una encuesta realizada
sobre una muestra estadstica representativa.
Constataciones cualitativas: la descripcin del proceso socioorganizacional iniciado por la poltica, en trminos de dispositivos
institucionales,
acontecimientos,
actividades
de
situaciones
y
comportamientos, hasta ancdotas o historias personales, constituyen
siempre un componente importante de la evaluacin. Esta descripcin es
necesaria para una buena interpretacin de los datos globales.
2. El registro demostrativo.
Entre las cuestiones planteadas en el proyecto de evaluacin, un cierto
nmero apela a respuestas ms elaboradas que la simple constatacin: se
requiere extraer explicaciones (porqus) o un modo de comprensin (cmo).
Responder a este tipo de cuestiones, consiste en hacer una demostracin o
proponer una interpretacin terica de las informaciones de las que se
dispone.
El registro demostrativo se basa en el test de hiptesis, indagacin y
discusin de pruebas de la realidad sobre un fenmeno o un mecanismo no
directamente observable. Tiene como pretensin medir los efectos propios
de la poltica, en cuanto a sus resultados brutos, descartando los no
imputables a esa poltica o programa.
La demostracin debe esforzarse en aportar la prueba mejor testada de
una relacin causal, y si, es posible, su cuantificacin. En la prctica, la
demostracin presenta, a menudo, un carcter menos formalizado y ha de

104

apoyarse cuando no encuentra con facilidad las relaciones causales en el

registro argumental interpretativo.
3. El registro interpretativo.
Para responder de manera razonada a ciertas cuestiones, no hay otra
solucin que interpretar los datos recogidos (casi siempre con lagunas y
ambigedades), combinando, a veces de manera eclctica, razonamientos
de diversa naturaleza: racionalizacin intuitiva del comportamiento de los
actores o esquemas tericos ms complejos inspirados en corpus cientficos
establecidos (teoras econmicas o sociolgicas).

Conclusiones y recomendaciones.
Las recomendaciones van ms all de las respuestas a las preguntas
planteadas. Sugieren modificaciones o mejoras de la poltica o programa
evaluado. Pueden indicar a los comitentes elementos que estos no haban
tenido en cuenta, detectando cualquier relacin no esperada entre los diversos
elementos de la intervencin y los efectos imprevistos que merezcan atencin.
En la concepcin y la redaccin del informe, los evaluadores deben vigilar
la coherencia entre las explicaciones que dan y los juicios a los que llevan,
entre las constataciones y anlisis que hacen y las recomendaciones que
formulan.
Principales defectos a evitar

Entre los principales defectos a evitar en la elaboracin de los informes de

evaluacin figuran:

o
o
o
o
o
o

No haber descrito con claridad el objeto de la evaluacin y su alcance.

No haber descrito suficientemente la poltica, programa o proyecto, dando por
supuesto que todos los lectores estn familiarizados.
No haber descrito la metodologa y las tcnicas utilizadas en la recogida de datos,
indicando la fortaleza y las debilidades de los mtodos elegidos.
Utilizar informaciones sin citar las fuentes.
Llegar a resultados que no estn slidamente sustentados en los hechos.
Establecer conclusiones que no estn explcitamente justificadas (fundamentadas en
los resultados), de manera que cualquier lector independiente pueda juzgar sobre
su validez.
Hacer recomendaciones que no estn ligadas de manera pertinente a las
conclusiones o que resultan demasiado generales y abstractas.

105

Principios a seguir

o
o
o
o

o
o

La(s) pregunta(s) inicial(es) debe(n) servir de hilo conductor del informe.

Distinguir entre lo esencial y lo accesorio. Los datos y cifras deben estar
directamente relacionadas con las conclusiones y deben ser relevantes.
El lector del informe debe poder identificar fcilmente el nivel de los diferentes tipos
de desarrollo metodolgico (descriptivo, demostrativo, normativo, conclusivo).
Debe ser siempre ntida la voz narrativa del informe, dejando claro quien sostiene
qu en cada momento, especialmente en el registro interpretativo. El evaluador debe
dejar claro cuando los argumentos o juicios forman parte de su propia apreciacin
por el conocimiento extrado en el proceso nunca prejuicios previos- o si se sostiene
en fundamentos informativos o ilustrativos o en otras voces institucionales (posicin
de la Unin Europea, de la Comisin, de otras Agencias).
Las imputaciones de causalidad deben ser claramente argumentadas apoyndose en
informaciones o resultados de estudios validados.
Las recomendaciones deben ser precisas y responder consecuentemente a la lgica
de los resultados de la evaluacin poniendo atencin a otras derivas. Deben ser,
asimismo, aplicables y slo cuando se haya solicitado en el encargo, proponer
nuevos estudios.

UTILIDAD Y UTILIZACIN DE LA EVALUACIN

La utilidad es el norte de la evaluacin.

La evaluacin no responde a una curiosidad intelectual o exclusivamente de
mejor aprendizaje, cuesta tiempo y dinero y suscita expectativas de responsabilidad
y transparencia que se deben cubrir. La utilidad de la evaluacin es menos
cuestionable, lo que resulta un problema recurrente en evaluacin es su utilizacin.
En este sentido, la evaluacin est llena de decepciones.
Podemos admitir que existan dudas sobre su utilidad global, ya que no se trata
de una panacea que resuelva todos los problemas de los decisores pblicos. Y hay
que admitir que, a veces, su utilidad es a largo plazo y puede pasar desapercibida.
Por todo esto, algunos ven en la evaluacin una nueva moda en materia de gestin
que crea ms burocracia, pero que no cambia esencialmente la eficacia y calidad de
las decisiones pblicas.
Sin embargo, cada vez es ms reclamada por todas las Instituciones. Se ha
imputado a su naturaleza terica el que no acabe de encajar en el mundo cambiante
de la praxis, pero se reconoce que despus de la evaluacin decisores y gestores
conocen ms sobre los programas o polticas pblicas evaluados. Hay quien
considera que no aclara ms que cuestiones de menor importancia, porque los
evaluadores se comprometen poco en los informes. Para otros, no sera deseable
que se comprometieran mucho ms.

106

Desde el lado de los evaluadores, la no utilizacin depende de la falta de cultura

evaluadora y de la falta de implicacin de los decisores polticos y los gestores en la
gestin del cambio y de mejora interorganizacional. A menudo los que, en un
principio se interesan por la evaluacin, tras la aplicacin a una poltica o programa
la temen. El valor intrnseco puede ponerse tambin en duda en un contexto en el
que el rendimiento se mide de manera continua y donde la evaluacin se ha
instaurado por contrato, respondiendo de una forma burocrtica sin mayor
compromiso y creatividad por parte de todos los actores implicados, lo que algunos
califican de evaluaciones anodinas (Hogwood-Gunn, 1984; Noche-Poinsard, 1984),
pero como recoge el profesor Subirats:

La evaluacin es un instrumento valioso de informacin y de ayuda a la decisin

pblica, a pesar de ello, es slo una muestra dentro del abanico que el decisor
pblico maneja para orientar las decisiones, sometidas a factores y presiones de
extrema complejidad. Su mayor fortaleza vendr de la calidad de sus estudios y su
capacidad de adaptarse a los ritmos polticos, as como de su capacidad de
dinamizar procesos de mejora.

107

108

ANEXO 1
(Traducido de PALUMBO. Il processo di valutazione. Decidere, programmare,
valutare. 2001) (El proceso de evaluacin. Decidir, programar, evaluar.)
Positivistaexperimental
Los objetivos

Pragmtica-calidad

Autores:

Imn, Schuman;
Campbel; Rossi y
Freman; Chen

Scriven, Wholey,
Donabedian; la
tradicin del NPM

Preguntas:

Los resultados
corresponden a los
objetivos?

Los resultados
corresponden a criterios
de calidad?

Arriba abajo

Arriba abajo

Enfoque:

Vector de la
investigacin
Actitud hacia los
valores:

Teora

Mtodos
principales de
investigacin
Tcnicas

Cundo y dnde
se aplica
normalmente

mbito de
referencia:

Los estndares

Relativismo: los valores El evaluador enjuicia

son aquellos del
respecto a los valores
programa
(propios o del concepto
existente de calidad)
En cada situacin existe
- Una explicacin
causal de cmo obtener un concepto de calidad al
que aspirar
una mejora.
- Con una buena
programacin se
pueden prever todos
los efectos
- Experimentos y
-La lgica de evaluarde
quasi-experimentos
Scriven.
- Cuadro lgico
-Anlisis multicriterios
Sondeos
Anlisis de satisfaccin de
los consumidores.
Juicio de expertos
En los programas
En los fondos
estructurales
europeos.
En cualquier caso
donde se encuentren
objetivos respecto a los
que sea posible
individualizar medios y
resultados (polticas
sociales, de trabajo,
etc)
El ciclo de la decisin

Constructivista-procesos
sociales
Lo que los actores
sociales definen qu ha
sucedido
Stake, Guba y Lincoln,
Cronbach, Patton,
Fetterman, Hirschman,
Tendler
Qu ha sucedido? Lo que
ha sucedido es
consecuencia de la
intervencin?
Qu es y en qu consiste
el xito de una poltica?
Abajo arriba
Los valores son aquellos de
los stakeholders: a veces
en acuerdo y a veces en
conflicto.
- La realidad es ms rica de
lo que se puede
prever
- Importancia de los efectos
inesperados.
- Importancia del proceso.
-Anlisis comparativo.
- Exploracin
- Anlisis participativo
- Estudios de casos
- Entrevistas
- Focus groups
- Observacin

En los servicios
regulares (sanidad,
instrucciones, etc)
En la evaluacin
universitaria
En las cartas de servicios
(estndares de calidad)
En los programas de
reforma del sector pblico

En las situaciones
innovativas
En los proyectos piloto, etc

Administracin y
management de
programas

El contexto
Los actores crticos

109

Utilizacin

Problemas tericos

Problemas de
investigacin
emprica
Remedios

Ventajas

Instrumental para la
decisin poltica

Instrumental para la
gestin y el
funcionamiento de la
administracin
La caja negra: por qu - Qu es la calidad?
debera darnos este
- Cmo se forman los
resultado?
valores?
Qu otras cosas estn
influyendo
Cmo se fijan los
- Los objetivos no
estndares de calidad?
estn claros.
- No existen datos

- Anlisis de
evaluabilidad
- Evaluacin
taxonmica
- Mapa conceptual
- Evaluacin basada en
la teora: Weiss,
Toulemonde
Sirve para programar
mejor

Si no hay estndares de
calidad usar aquellos de
confrontacin con otras
realidades similares o bien
estndares del pasado del
programa.
Implicar a los usuarios en
la definicin de calidad
Sirve al buen
management

Fuente. Palumbo, 2001

110

Cognoscitiva
Empowerment
Por dnde comenzar?

Dnde mirar?

- De dnde nace la
prctica reflexiva del
evaluador?

Sirve de aprendizaje para

todos los stakeholders

REFERENCIAS DE INTERS SOBRE EVALUACIN

La Agencia de Evaluacin de Polticas Pblicas y Calidad de los servicios proporciona en su

pgina web (http://www.aeval.es), en Enlaces y redes, links de evaluacin nacionales e
internacionales.

REVISTAS ESPECIALIZADAS
The American Journal of Evaluation.
Evaluation Review
Evaluation and Program Planning
Evaluation and the Health Profession
New Directions for Program Evaluation
Evaluation the International Journal of Theory
Evaluation Studies (Review Annual)
International Review of Administrative Sciences Politiques et
Management Public
Revue Internationale des Sciences Administratives
Revue Franaise dAdministration Publique
Gestin y Anlisis de Polticas Pblicas(GAPP)
Scienza dellAmministrazione
Revista espaola de Desarrollo y Cooperacin. Madrid, IUDC-UCM
Papeles de Evaluacin. AEVAL. Disponibles en www.aeval.es

111

112

BIBLIOGRAFA

ALVIRA, F. Metodologa de la evaluacin de programas. CIS. Cuadernos

Metodolgicos Madrid, 2002.
ALVIRA y alt. El anlisis de la realidad social. Mtodos y tcnicas de investigacin.
Alianza Editorial Madrid, 2003. (3)
ALVIRA. F. La evaluacin en el sector pblico. Ekonomiaz, n26. Departamento
de Economa y Hacienda del Gobierno Vasco. Eusko Jaurlaritza. 1993
AMAYA, P. La evaluacin de la gestin Pblica integrada a los procesos de
planificacin: su potencial como fortalecedora de la institucionalidad democrtica. IV
Conferencia de la Sociedad Espaola de evaluacin: Evaluacin y Gobierno. Madrid,
7-8 julio 2005
BALLART, X. Cmo evaluar programas y servicios pblicos? MAP. Madrid, 1992.
BALLART, X. (1996). Modelos tericos para la prctica de la evaluacin de
programas. Lecturas de Gestin Pblica. Madrid, 1996, pp. 323-349.
BAN i MARTINEZ, R. La evaluacin de la accin y de las polticas pblicas. Ed.
Daz de Santos, 2003.
BEZZI. C. Il disegno della ricerca valutativa. Associazione Italiana di Valutazione.
Franco Angeli. Milano, 2002 (2).
BROWN, P. La evaluacin de los proyectos de desarrollo comunitario Gestin y
Anlisis de Polticas Pblicas. INAP. Madrid, enero-agosto, 1998, n 11-12, pp. 131140.
BUSTELO, M. Diferencias entre evaluacin e investigacin en Revista Espaola de
Desarrollo y Cooperacin, n 4, primavera-verano, 1999.
BUSTELO, M. Deontologa de la evaluacin: el modelo de los cdigos ticos
anglosajones en Gestin y Anlisis de Polticas Pblicas, n 11-12. enero-agosto,
1998 pp. 141-156.
CALERO, J. Anlisis coste-beneficio. Instituto de Estudios Fiscales. Ministerio de
Hacienda. Madrid, 1995.
CAMPBELL, D. Diseos experimentales y cuasiexperimentales en la investigacin
social. Amorrortu editores. Buenos Aires, 1966. (7, 1995)
CEA DANCONA. Metodologa cuantitativa: estrategias y tcnicas de investigacin
social. Ed. Sntesis, Madrid, 1996.
COOK &
REICHARDT. Mtodos cualitativos y cuantitativos en investigacin
evaluativa. Morata. Madrid, 2000 (4)
COHEN, E y FRANCO, R. Evaluacin de proyectos sociales. S. XXI. Madrid, 1993.
CHANU, V. (2002) Lvaluation: affaire dtat ou question dorganisation.
Politiques et Management Public, Paris, 2002, pp. 1-32
CHELIMSKY, E & SHADIS, W. Evaluation for the 21 century. Thousand Oaks. SAGE
Publications, 1997.
CUNILL, N Y OSPINA BOZZI, S. (2003). Evaluacin de resultados para una gestin
pblica moderna y democrtica. Experiencias latinoamericanas. AECI-MAP-FIAPP,
Venezuela, 2003.
DELGADO, J M y GUTIERREZ, J. (coord).- Mtodos y Tcnicas Cualitativas de
Investigacin en Ciencias Sociales. Ed. Sntesis. Madrid, 1995.
DERLIEN, H-U. Una comparacin internacional en la evaluacin de las polticas
pblicas. Gestin y Anlisis de Polticas Pblicas. INAP. Madrid. Enero-agosto, 1998,
n 11-12, pp. 13-22.

113

DHALER-LARSEN, P. Debemos evaluar todo? O de la estimacin de la evaluacin

a la cultura de la evaluacin. ICE. Evaluacin de Polticas Pblicas. Mayo-Junio, 2007.
n 836.
DIAZ, L F. y ROSALES, R.- Metaevaluacin. Agora. EUNED, Costa Rica, 2003
ECHEBARRA, K y alt.
Responsabilizacin y responsabilidad gerencial:
Instituciones antes que instrumentos. En Responsabilizacin y evaluacin de la gestin
pblica. CLAD (libro), ACECI/MAP/FIIAPP, Caracas, 2005.
FETTERMAN, David M. Empowerment evaluation. SAGE Publications. California,
1996
FERNNDEZ-BALLESTEROS, R- Evaluacin de programas. Una gua prctica en
mbitos Sociales, Educativo y de Salud. Sntesis Psicologa. Madrid, 2001(2)
FURUBO, SENDAHL, & RIST. The evaluation Atlas: seventeen country profiles.
Transaction, 2002.
GALLE, B y MONNIER, E. Une aproche pluraliste et participative : coproduire
lvaluation avec la socit civile.Revue Informations sociales ; sept, 2003, n 110.
GARDE ROCA, J A y VERA, F. La institucionalizacin de la evaluacin de las
polticas pblicas en Espaa. Economistas., Madrid, n 105, julio, 2005.
GARDE ROCA, J A. La evaluacin de polticas pblicas y su institucionalizacin en
Espaa. Gestin y Anlisis de Polticas Pblicas. (n 30/31: Mayo-Diciembre de
2004), editada por el INAP y publicada en 2007
GOMEZ SERRA, M.- Evaluacin de los servicios sociales. Ed. Gedisa. Barcelona,
2004
GUASCH, O.- Observacin Participante. Cuadernos Metodolgicos, n 20. CISS,
Madrid, 1997.
GUBA & LINCOLN. Fourth Generation Evaluation. SAGE Publications. California,
1989
HESPEL, V. Lavenir institutionel de lvaluation des politiques publiques
Politiques et Management Public, Paris, 2002, pp 51.65.
HINTZE, J. Instrumentos de evaluacin de la gestin del valor pblico en
Responsabilizacin y evaluacin de la gestin pblica. CLAD. AECI/MAP/FIIAPP.
Caracas, 2005.
HOUSE, E. R.- Professional evaluation. SAGE Publications. California, 1993.
HOUSE. E. R. Evaluacin, tica y poder, Morata. Madrid, 1997.
JOURDAIN, L. Lvaluation des politiques communautaires : lgitimation et
apprentissages nationaux. Cultures et Conflits, n 28, 1997 ; pp 147-169.
LEONE, L. Riconstruzione della Teoria del Programa nella valutazione di progetti.
Studio
CEVAS,
Roma,
aprile,
2002.
(disponible
en
red:
http://.cevas.it/imparare/lezioni_e_slide/index.htm)
LOFFLER, E.- La Modernizacin del Sector Pblico desde una Perspectiva
Comparativa. Conceptos y Mtodos para Evaluar y Premiar. La calidad en el Sector
Pblico en los Pases de la OCDE. Documentos INAP. Madrid, 1996.
LARR RAMOS, J. M.- Empoderamiento y participacin en la evaluacin de
acciones de cooperacin al desarrollo: del discurso terico a la prctica espaola.
Disponible en CEDOC www. cedoc.net/linea_evaluacin_art.htm-GK.
LINCOLN & GUBA. Naturalistic Inquiry. SAGE Publications. California, 1985
LOPEZ DE CEVALLOS, P.- Un mtodo para la investigacin-accin participativa. Ed
Popular. Madrid, 1989.
MAXIM, P. Mtodos cuantitativos aplicados a las ciencias sociales. Ed. Oxford
University Press. Mxico, 2002.
MERINO, Marisa. La evaluabilidad: de instrumento de gestin a herramienta
estratgica en la evaluacin de polticas pblicas. Papeles de Evaluacin 7, Coleccin
de AEVAL, 2007 Disponible en versin electrnica: http://www.aeval. es

114

MOLOSA, J. Qu hemos aprendido de la evaluacin de programas? Fundacin

Carles Pi i Sunyer DEstudis Autonomics i Locals. Barcelona, 2004, pp. 17-20.
MONNIER, E.- Evaluacin de la accin de los poderes pblicos. Instituto de
Estudios
Fiscales. Ministerio de Economa y Hacienda. Madrid, 1995.
MONNIER. E. De Seville Edimbuourg: Qualit en hausse accountability sans
grand changement . Quatrime Conference Europeenne sur lvaluation des fonds
structurels. Edimbourg, 18-19 de sept, 2000.
MORIN, E. Podemos reformar la administracin pblica? IX Congreso
Internacional del CLAD sobre la Reforma del Estado y la Administracin Pblica.
Madrid, 2-5 nov, 2004.
NIRENBERG, O y alt. Evaluar para la transformacin. Paids. Buenos Aires, 2000.
ORTI, A. La apertura y el enfoque cualitativo o estructural: la entrevista abierta
semidirectiva y la Discusin de Grupo. En El Anlisis de la Realidad Social. Mtodos y
tcnicas de investigacin. Ed. Alianza Universidad, Madrid, 2003 (3)
OSUNA, J.L.- Nuevas instituciones y prcticas de evaluacin para la
administracin pblica IIX Congreso Internacional del CLAD sobre la Reforma del
Estado y de la Administracin Pblica, Madrid. 2-5 nov, 2004.
PALUMBO, D.- Il proceso di valutazione. Decidere, programmare, valutare. Franco
Angeli. Milano. 2001.
PATTON. M Q.- Utilization Focused Evaluation. SAGE Publications. California, 1997.
PATTON, M Q. How to use qualitative methods in evaluation. SAGE Publications.
International Educational and Professional Publisher. California, 1987.
PATTON.M Q. Desarrollo Organizacional y Evaluacin The Canadian Journal of
Program Evaluation, 1999. Disponible en la red (traducido por PREVAL, septiembre,
2004)
PERRET, B.- Lvaluation des politiques publiques. La Decouverte. Collection
Repres. Paris. 2001.
PERRET, B. Reflexions sur les diffrents modles dvaluation . En Lvaluation
en question Revue franaise dAdministration Publique, avril-juin, 1993, n 66,
pp.227-240.
PICHARDO, A.- Evaluacin del impacto social. Ed. Lumen Humanitas. Buenos Aires,
1997.
RODRGUEZ OSUNA, J.- Mtodos de Muestreo. Cuadernos metodolgicos, n1.
CISS. Madrid, 1991.
RODRGUEZ OSUNA, J.- Mtodos de Muestreo. Casos Prcticos. Cuadernos
metodolgicos, n 6. CIS. Madrid, 1993.
ROSSI & FREEMAN.- Evaluacin. Un enfoque para programas sociales. Ed. Trillas.
Mexico, 1989.
SARTORI, G. La Poltica. Lgica y Mtodos en las Ciencias Sociales. Fondo de
Cultura Econmico, Mxico, 1984.
SCRIVEN.- Evaluation Thesaurus. SAGE Publications. California 1991
SHADISH, Jr. & COOK & LEVITON. Foundations of program Evaluation. SAGE
Publications. California, 1991
SEGONE, M. Evaluacin democrtica. UNIFEC. Oficina Regional para Amrica
Latina y el Caribe. Doc n 3; mayo 1998.
STAME, N. Lesperienza della valutazione. Edizioni SEAM,2000
STAKE. R.E.- The Art of Case Study Research. SAGE Publications. California, 1995
STUFFLEBEAM & SHINKFIELD. Evaluacin sistemtica. Gua terica y prctica.
Paids. Barcelona, 1995.

115

SUBIRATS, J.- Anlisis de polticas pblicas y eficacia de la Administracin. MAP.

Madrid, 1992.
SUBIRATS, J. Qu gestin pblica para qu sociedad? Una mirada prospectiva
sobre el ejercicio de la Gestin Pblica en las sociedades europeas actuales, Instituto
de Gobierno y Polticas Pblicas UAB. Disponible en la red: Biblioteca Virtual sobre
Gestin Pblica TOP, 2003.
SUBIRATS, J. Incertidumbres y complejidades en la evaluacin de polticas de
inclusin social: una mirada desde la Unin Europea. X Congreso Internacional del
CLAD sobre la Reforma del Estado y la Administracin Pblica. Santiago de Chile, 1821 oct, 2005.
SUBIRATS, J. Podemos utilizar los instrumentos de evaluacin como palanca de
gobierno del sector pblico? en Responsabilizacin y evaluacin de la gestin pblica.
CLAD. AECI/MAP/FIIAPP. Caracas, 2005.
TRINIDAD REQUENA, A (coord.) Evaluacin y calidad en las organizaciones
pblicas. INAP, Madrid, 2000.
THOENIG, J C. Las polticas pblicas. Ed. Ariel. Barcelona, 1992.
THOENIG, J C. La evaluacin, fuente de conocimientos aplicables a las reformas
de la gestin pblica. INAP , 2000
THOENIG, J C. Lvaluation, source de connaissances applicables aux rformes de
la gestin publique . Revue Franaise dAdministration Publique, octobre-dcembre,
1999, n 92, pp. 681-693.
VALLLES, M. S.- Tcnicas cualitativas de investigacin social. Ed. Sntesis. Madrid,
2003. (3)
VIAS, Vernica E.- La evaluacin de los proyectos de ayuda al desarrollo.
Lecciones de la experiencia.- REGAP. Revista Galega de Administracin Pblica, 1997
(separata).
VIAS, Vernica E.- El uso de las tcnicas cualitativas en la evaluacin de
programas REIS, 95/01 pp. 155-177.
VEDUNG. Evaluacin de polticas pblicas y programas: INSS. Ministerio de
Trabajo y Asuntos Sociales, Madrid, 1996.
WEISS, C.- Evaluation . Ed. Upper Saddle River (NJ) Prentice Hall, 1998.( 2)
WEISNER, E. Funcin de evaluacin de planes, programas, estrategias y
proyectos, CEPAL, NACIONES UNIDAS. Santiago de Chile. Mayo, 2000.
ZAPICO, E. La integracin de la evaluacin de polticas pblicas en el proceso
presupuestario.Gestin y Anlisis de Polticas Pblicas. INAP. Enero-agosto, 1998,
n11-12, pp 53-59.
ZAPICO, E. Desarrollo integrado de la evaluacin y el presupuesto por resultados:
un camino largo y pedregoso con destino incierto. En Responsabilizacin y evaluacin
de la gestin pblica. CLAD (libro), ACECI/MAP/FIIAPP, Caracas, 2005.
MANUALES ,GUAS, PAPERS, RAPPORTS, HERRAMIENTAS
ABDALA, E.- Manual para la evaluacin del impacto en programas de Formacin
para jvenes. Oficina Internacional del Trabajo. Montevideo, 2004.
Comisin Europea. BASES METODOLGICAS DE LA EVALUACIN DE AYUDA AL
EXTERIOR. Luxemburgo, 2006.
BALSA, C. La Better regulation Papeles de evaluacin 1. Coleccin de AEVAL,
Madrid, 2006.

116

COMMENT FAIRE UNE EVALUATION.- Les prliminaires. Agence Candanienne de

Dveloppement International. Qubec, 2000.
Comisin EUROPEA. Gestin del ciclo de un proyecto. Enfoque integrado y margo
lgico. Serie Mtodos e instrumentos para la gestin del ciclo de un proyecto, n1.
Unidad de Evaluacin EuropAid, Bruselas, 1993.
COSUDE. Indicadores y preguntas claves. Agencia Suiza para el Desarrollo y la
Cooperacin. Berna, 1999.
COSTAS, A. Regulacin y calidad de los servicios pblicos liberalizados Papeles de
Evaluacin 2. Coleccin de AEVAL, Madrid, 2006
IINFORME EJECUTIVO SOBRE METODOLOGA DE EVALUACIN DE LA
COOPERACIN AL DESARRALLO ESPAOLA. Instituto Universitario de Desarrollo y
Cooperacin. Universidad Complutense de Madrid. Enero, 1998.
GUIA DE LA EVALUACIN DE LA ACDI (Agencia
Internacional), Divisin de Evaluacin, Ottawa, 2004.

Canadiense

Desarrollo

GUA PARA LA EVALUACIN DE POLTICAS PBLICAS. Instituto de Desarrollo

Regional, Fundacin Universitaria. Sevilla.
GUA PARA EL DIAGNSTICO Y MARCO PARA LA ACCIN. Fortalecimiento de la
capacidad de evaluacin. OED. Departamento De evaluacin de Operaciones del Banco
Mundial. Doc. 6, enero 1999.
EVALUACIONES INFLUYENTES. BANCO MUNDIAL (OEDPK), Washington, 2004.
INFORME de la Comisin de Expertos para el estudio y creacin de la Agencia
Estatal de Evaluacin de la Calidad de los Servicios y de las Polticas Pblicas, INAP.
Octubre, 2004
MANUAL DE GESTIN DE EVALUACIONES DE LA COOPERACIN ESPAOLA.
Aprender para mejorar. DGPOLDE. Ministerio de Asuntos Exteriores. Madrid, 2007.
(Disponible en versin electrnica: http://www.mae.es y http:// www.aeci.es
MEANS (GUAS) editadas por la Comisin de la Unin Europea. Bruxelas, 1999
METODOLOGA DE EVALUACIN Y COOPERACIN ESPAOLA II. Ministerio de
Asuntos Exteriores. Madrid, 2001.
NORAD. Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores
y gestores. IUDE- CEDEAL., Toledo, 1997.
OCDE. Vers de meilleures pratiques de lvaluation. Guide. Paris, 1999.
OCDE. La gestion publique en mutation. Les reformes dans le pays de lOCDE.
Conclusions du Comit de la gestion publique.
PAPELES DE EVALUACIN. AEVAL. http:// www.aeval.es

117

PEDONE, C.- El trabajo de campo y los mtodos cualitativos.- Scritpa Nova. Revista
electrnica de Geografa y Ciencias Sociales.- Universidad de Barcelona, n 57.
Febrero, 2000.
PPETIT GUIDE DE LEVALUATION DEL POLITIQUES PUBLIQUES.- Commissariat
Gnral du Plan. Rapports dvaluation, Conseil scientifique de levaluation. Le Plan.
UNICEF. Evaluacin democrtica. Oficina Regional para Amrica Latina y el Caribe.
Doc 3. Mayo, 1998
RAPPORT VIVERET, P. L valuation des politiques et des actions publiques, La
Documentation franaise. Paris. 1989
RAPPORT ANNUEL.- L valuation au service de lavenir. Conseil National de
lvaluation. France. 1999.
RAPPORT D INFORMATION .- Les enjeux du dveloppement de lvaluation des
politiques publiques. Snat. France., 2003-2004.
UNICEF. EVALUACIN DEMOCRTICA. Documento de trabajo n 3, de Marco
Segone. Oficina Regional para Amrica Latina y el Caribe. Mayo, 1998.

118