You are on page 1of 25

1

PROMOCION DE LA SEGURIDAD CIUDADANA A TRAVES DE
PROGRAMAS DE ATENCIÓN A JÓVENES EN EL DISTRITO
FEDERAL


MANUAL DE EVALUACION DE PROYECTOS SOCIALES








Manuel Canto Chac
Emilienne De León Aulina












2

MANUAL DE EVALUACION DE PROYECTOS SOCIALES


0.- Introducción

De un tiempo a la fecha se habla bastante, hasta tal vez caer en la moda, de la
evaluación. Ante cualquier iniciativa de proyecto social, de programa o de política
de inmediato se habla de la evaluación. En los últimos años se insiste mucho en la
participación de la ciudadanía en la evaluación de las acciones gubernamentales,
volviéndose usual el término de “Contraloría Social”.

Todo lo anterior, siendo altamente positivo, tiene un riesgo: la banalización del
término al grado de que llegue a no significar nada. Pongamos un ejemplo: cuando
se habla de contraloría social se está haciendo referencia a que los ciudadanos
participen en la evaluación pero, ¿qué pasa si los ciudadanos al evaluar no tienen
una base objetiva y se dejan llevar por sus prejuicios o simpatías?. Los que
simpaticen con los funcionarios en turno tenderán a señalar que todo está muy
bien, por lo contrario sus adversarios dirán que todo está muy mal, unos dirán que
les “late” que van bien las acciones de gobierno, otros dirán que les “late” que van
mal, ¿cómo tener entonces la posibilidad de un juicio relativamente
objetivo que, más allá de prejuicios o simpatías, permita que nos
pongamos de acuerdo sobre los resultados y desempeño de las acciones
públicas? Para ello entonces es necesario hacer una revisión de los aspectos
básicos de toda evaluación .

Este manual pretende ser un apoyo para que aquellos que realizan trabajo de
promoción social cuenten con elementos para el diseño de sus evaluaciones. En el
primer apartado nos referimos a los aspectos generales de una evaluación, en el
segundo nos referimos a los distintos tipos de evaluación existentes y a la utilidad
de cada uno de ellos; en el tercero nos metemos al asunto de los indicadores, qué
son y cómo se construyen y en el cuarto y último aportamos un ejemplo concreto
3
a fin de que se pueda integrar todo lo visto en un aspecto concreto del Proyecto:
Promoción de la Seguridad Ciudadana a través de Programas de Atención a
Jóvenes en el Distrito Federal.


1.- Qué es la evaluación

La evaluación, en el sentido más tradicional de su uso responde a una pregunta
básica: dado un objetivo propuesto ¿cuál es el resultado obtenido?, ¿lo logré o,
qué tanto lo he logrado?, o si me propuse una meta, ¿la alcancé o, qué tanto la he
alcanzado?

Gráficamente lo podemos representar así:


LO ESPERADO LO OBTENIDO

Objetivo Deseado
i.e. (aumentar el nivel de escolaridad en
jóvenes de entre 18 y 21 años) ¿alcancé el objetivo, qué
resultado obtuve?

Meta propuesta
i.e.(cobertura de 80% en la preparatoria
para jóvenes de entre 18 y 21 años) ¿en cuánto se alcanzó la meta?



Sería conveniente considerar algunas definiciones de evaluación:
“Una evaluación es un juicio hecho sobre un dato con referencia a un
valor.”
1


“Evaluar es fijar el valor de una cosa; para hacerlo se requiere de un
procedimiento mediante el cual se compara aquello a evaluar respecto

1
Meny, Ives y Jean-Claude Thoening. Las Políticas Públicas. Ariel, Barcelona, 1992.
4
de un criterio o patrón determinado”
2
En ambos casos tenemos entonces que evaluación es:


VALOR – PATRON JUICIO – COMPARACIÓN DATO-LO EVALUABLE


2.- Los tipos de Evaluación



Las evaluaciones pueden ser hechas en diversos momentos del programa o
proyecto
3

, por ejemplo: puede servir para conocer los resultados que alcancé al
final, pero también puedo hacer la evaluación antes que termine para saber
qué tan bien voy y qué es lo que necesito corregir, o también puedo evaluar antes
de iniciar para saber que tan realista sería plantearse alcanzar los objetivos que
me propongo, tenemos entonces el siguiente cuadro:







2
Cohen, Ernesto y Rolando Franco. Evaluación de Proyectos Sociales. S.XXI, México, 1992
3
Antes de seguir adelante conviene ponernos de acuerdo sobre lo que se entenderá por proyecto, programa y
plan:
Proyecto: de acuerdo a la ONU, un proyecto es: “una empresa planificada que consiste en un
conjunto de actividades interrelacionadas y coordinadas para alcanzar objetivos específicos dentro de los
límites de un presupuesto y un período dados”
Programa: “...es un conjunto de proyectos que persiguen los mismos objetivos. Establece las
prioridades de la intervención, identifica y ordena los proyectos, define el marco institucional y asigna los
recursos a utilizar”.
Plan: “es la suma de programas que buscan objetivos comunes, ordena los objetivos generales y los
desagrega en objetivos específicos que van a constituir a su vez los objetivos generales de los programas”.
(ONU y Franco y Cohen: 86)
5
Cuadro 1
Tipos de Evaluación del acuerdo al momento del proyecto

Tipo de
Evaluación
Características Utilidad
Ex – ante
Antes de iniciar la ejecución del
proyecto. Se pregunta por la
viabilidad de los objetivos o metas
propuestos.
Ponderar la factibilidad del
proyecto y en su caso modificar
su diseño.
Concomitante
Se realiza durante la ejecución del
proyecto. Se pregunta por la
adecuación entre lo previsto y lo
que se está realizando.
Establecer la distancia entre lo
que se planificó y lo que está
resultando a fin de establecer
las correcciones necesarias en la
ejecución.
Ex – Post
Una vez terminada la ejecución del
proyecto. Se pregunta por la
relación entre lo esperado y lo
alcanzado.
Calificar el logro obtenido,
conocer los factores que lo
dificultaron o favorecieron.
Saber que es lo que habría que
modificar para la continuación
del objetivo en un nuevo
proyecto.


Pero además de diferentes momentos nos encontramos con diferentes niveles
en la evaluación, esto es: podemos profundizar de manera distinta, dependiendo
también del sentido que se le haya asignado a la evaluación, estos niveles generan
evaluaciones de tipo:

I) Descriptiva: cuáles fueron los resultados del proyecto obtenidos:
escolaricé a 100 personas, obtuve una disminución de las enfermedades
gastrointestinales en 10%, se impartieron tal cantidad de
talleres...Señal o y cuanti fi co l os resul tados.

II) Diagnóstica: explico también las causas de los resultados obtenidos:
no se logró la meta del 20% en enfermedades porque se hizo la
campaña en época de lluvias, si hubiera sido en secas el resultado
hubiera mejorado; los talleres no fueron de buena calidad porque no
6
estaban claros los objetivos. Señal o y expl i co el por qué l os
resul tados.

III) Normativa: cuáles debieron de haber sido los objetivos dados los
resultados que se querían obtener. Si queremos disminuir el delito se
debió de haber actuado sobre la vigilancia a los cuerpos de policía antes
que sobre los ciudadanos. Señal o, expl i co l os resul tados y juzgo l os
objeti vos.

IV) Experimental: a partir de la evaluación de varios casos similares se
llega a conclusiones o al menos a hipótesis de carácter más general
sobre el tema de los casos estudiados. Por ejemplo, podríamos analizar
diversos programas de combate al delito para establecer aquellos
aspectos que resultan más eficaces. Descri bo, expl i co, juzgo,
comparo.

De acuerdo a los fines que se pretenden de la evaluación también podemos hacer
distinciones, la primera es la llamada evaluación de impacto:

a) Evaluación de Impacto. La pregunta básica que estaría
respondiendo es ¿en qué medida ha producido el programa o
proyecto los resultados esperados?

Objetivos Acciones Efectos

Esto es: dados unos objetivos realizo unas acciones, trato de ubicar
la relación causa (acciones) – efecto (resultados). Otros dirán que el
impacto es el efecto neto de una acción, esto es: de los cambios
observados, establezco cuáles se debieron exclusivamente a la acción
realizada. Este enfoque es muy útil cuando trato de percibir
7
relaciones simples (por ejemplo si aplico un tratamiento en este
grupo para disminuir la incidencia de caries ¿qué efecto se produce,
en cuánto disminuye su incidencia?). Habitualmente procede con
criterio estadístico (i.e. muestreo a la población bajo tratamiento y la
comparo con otra que no lo llevó, es decir con un grupo “testigo” o
de control). Tiene limitaciones dependiendo del problema que
analice, cuando se trata de proyectos sociales no siempre es la más
útil, no toma en cuenta algunas cosas (p.ej. el cambio que se da con
el paso del tiempo en los hábitos sociales, pensemos en un caso: las
pensiones para adultos mayores mejoran el aprecio que se tiene por
los ancianos en el núcleo familiar, toda vez que incrementan el
ingreso ¿qué es lo que pasará cuando la población se habitúe a que
los ancianos entregan su pensión?, ¿se mantendrá el aprecio en el
núcleo familiar o todo volverá a la “normalidad”?). Este tipo de
evaluación es muy útil cuando el objetivo y el efecto esperado están
claramente establecidos, pero no siempre es así, veamos por qué en
las siguientes modalidades.

b) Evaluación operativa. En ocasiones se requiere no sólo
preguntarse por los efectos esperados, sino también por la
idoneidad de los medios utilizados, la pregunta que estaría a la
base de este tipo de evaluación es: ¿fueron empleados los medios
de acuerdo a los objetivos iniciales?. Esta evaluación es
importante cuando para llevar adelante el programa o proyecto
intervienen organizaciones complejas, en particular en proyectos
sociales y más aún en proyectos públicos, para realizarlos
intervienen varios actores, cada uno con sus propias visiones del
tema en cuestión y con sus propios intereses, lo que hace que
incluso se modifiquen los objetivos. Por ejemplo: si estamos
frente a un programa de capacitación, una será la visión de los
8
que diseñan el programa, pero otra podrá ser la visión de los
capacitadores y si estos últimos son de varias instituciones
tendrán a la vez distintas visiones y distintos intereses, cada uno
de los cuales tratará de reinterpretar los objetivos hasta el grado
de hacerlos bastante distintos a los planteados por los
diseñadores. Se puede representar en el siguiente esquema:

Objetivos Medios Utilizados Efectos


c) Evaluación de Procesos (sistémica). Un elemento de
complejidad adicional lo tenemos cuando consideramos, además
de las interacciones entre los distintos actores, la interacción entre
el programa y su entorno (contexto), el programa y la
organización que lo ejecuta se conciben como entidades
dinámicas que cambian a medida que se adaptan al contexto. Por
ejemplo, si pensamos de nuevo en el programa de capacitación,
los capacitadores tendrán respuestas que tratarán de adaptarse a
la reacción de los destinatarios, a su vez los diseñadores del
programa, si hacen evaluaciones de proceso se encontrarán con
que los resultados que están apareciendo no son los que
esperaban y por tanto pondrán correctivos para que el proceso se
conduzca de acuerdo a los que ellos esperaban, lo que producirá
reacciones tanto de los usuarios como de los capacitadores.
Adicionalmente, si hay un hecho no previsto que impacte el
programa, como podría ser que se de a conocer un dato sobre la
situación de los usuarios, todos los actores tenderán a modificar
sus comportamientos (vamos a suponer que es un programa de
capacitación para la prevención del delito y aparece una noticia
que los jóvenes están en mayor situación de riesgo de cometer
9
delitos). La pregunta que guía una evaluación sistémica podría
ser: ¿cuáles son los procesos que nos explican los fenómenos
observados?.

Obj.’s y medios previstos Obj.’s y medios ejecutados Resultados

Oportunidades y restricciones Reacciones del Entorno
del contexto

Los anteriores planteamientos nos permiten clasificar las evaluaciones y con ello
tener en cuenta la distinta complejidad que pueden revestir cada una de ellas.
Estar conciente de la dificultad que implica la elección que se haga sobre el
carácter de la evaluación es imprescindible para medir las fuerzas que requerimos
para terminarla exitosamente.

Un asunto antes de seguir adelante. Es necesario tener en cuenta que muchas de
las dificultades con las que suele encontrarse una evaluación derivan no de la
misma evaluación sino del diseño del proyecto, plan o programa a evaluar, entre
las dificultades más comunes se encuentran:

- Los objetivos no siempre son claros y evidentes
En ocasiones es difícil ubicar los objetivos en su concretización toda
vez que están enunciados de una manera tan general que resulta
difícil percibir cómo operan en la práctica, realmente lo que ocurre en
estos casos es que los objetivos reales se encuentran implícitos en la
presentación de algunas de las actividades.

- Las metas pueden ser difusas
10
Lo que se dice de los objetivos también vale para las metas, cuando
estas no están suficientemente definidas se vuelve prácticamente
imposible su contraste con los logros realmente obtenidos.

- Los medios pueden ser cambiantes
Asimismo los medios planteados en el diseño pueden no estar
suficientemente especificados, pero aún más, en la interpretación del
diseño que hayan hecho sus ejecutores seguramente que habrán
tenido que establecer los medios a utilizar. Resulta entonces que una
de las primeras dificultades al realizar una evaluación es responder a
la interrogante:

- ¿cómo hago para saber qué es lo que tengo que averiguar?
Responderla requiere de un proceso de reconstrucción de la lógica
seguida por los diseñadores a fin de encontrar la congruencia entre
las distintas partes del proyecto, así como para tener claro cuáles son
los objetivos y metas realmente deseados. Y de aquí se sigue otra
pregunta:

- ¿qué información necesito?
Esta es una pregunta fundamental, suele ocurrir que muchas veces
nos conformamos con conocer el enunciado del objetivo y de
inmediato pretendemos recabar toda la información posible, pero lo
que requiere una buena evaluación no es mucha información, sino
sólo la necesaria. Debo establecer con precisión cuál es el dato que
me sirve para comparar el comportamiento de la realidad con el
patrón frente al cual la voy a juzgar; es decir: necesito definir
cuáles son mis indicadores, antes de empezar a recabar la
información.

11

3.- LOS INDICADORES

Ahora bien, el objetivo propuesto es el de diseñar un mecanismo para la
elaboración de indicadores. Antes de continuar tenemos que definir lo que es un
indicador. Ya se había dicho al recordar las definiciones que hay tres componentes
en una evaluación: i) el juicio que emitimos como resultado, ii) un valor o un
Patrón con respecto a los cuales se compara o se contrasta y, iii) el dato, que nos
dice cómo se comportó en la realidad lo que estamos evaluando: la escolaridad, la
incidencia de una determinada enfermedad, el delito, etc.

El problema central de los indicadores se puede plantear entonces con la pregunta
¿cuál es el dato que necesito conocer para poder formular un juicio sobre
el objeto evaluable? Construir esos indicadores nos da la posibilidad de obtener
los datos; los números, las cifras, por sí solos no nos dicen nada, antes de tener
los número, para que nos sean útiles, debemos de haber definido los indicadores,
vayamos a eso.

Podemos definir como indicador a la unidad de observación que nos permite medir
o calificar, junto con otras, empíricamente una relación teóricamente construida.
Por ejemplo el concepto de educación en una relación teórica, como tal no puede
ser en sí mismo un indicador, lo tenemos que descomponer en los elementos que
lo integran para poder observar y medir (i.e. escolaridad y hábitos de lectura son
indicadores).
4
Una evaluación es antes que nada un proceso de investigación, de conocimiento
de una realidad o mejor, de un aspecto de una realidad. Todo conocimiento



4
Otra definición de indicador es la siguiente: “indicador es la unidad que permite medir el alcance de un
objetivo específico”. Cohen y Franco, op. Cit. p. 155
12
científico
5
Cuando evaluamos habitualmente nos estamos refiriendo a problemas sociales que
enunciamos con una categoría o un conjunto de categorías. Por ejemplo: si
decimos que vamos a “diseñar un programa para combatir el problema de la
drogadicción ”, estamos diciendo varias cosas a la vez, estamos usando diversas
categorías, podríamos empezar por drogadicción, qué quiere decir?, por qué es un
problema?, para algunos la respuesta será que es un problema porque genera
diversas actividades delictivas vinculadas a su comercialización: organización
criminal, cadenas productivas clandestinas, tráfico, combate a la autoridad, etc,
etc. Cada uno de estos aspectos que se supone integran el problema será una
variable a analizar. Para otros la drogadicción será un problema más que nada por
los efectos que genera en los consumidores: pérdida de salud, disminución de
estima propia, pérdida de nivel socioeconómico, etc, cada una de las cuales será
una variable a considerar. Finalmente para otros podrá más bien ser un problema
por sus repercusiones sociales: desintegración familiar, aislamiento del núcleo
social, deterioro de los espacios de convivencia social, etc. Desde luego que no
faltarán quienes digan que todo lo anterior junto, lo que interesa destacar con
estos ejemplos es que hay múltiples manera de definir un mismo problema
procede a través de categorías, por medio de un conjunto de
elaboraciones teóricas a través de las cuales le damos un orden a la realidad, lo
que nos permite abordarla y procesarla. Por ejemplo, cuando decimos relaciones
sociales no nos estamos refiriendo a ningún hecho concreto, inmediatamente
aprehensible por el intelecto, nos estamos refiriendo a una categoría teórica que
da cuenta de diversos hechos de comunicación, poder, dinero, entre las personas
que conforman un grupo social. En consecuencia tenemos que las categorías
tienen que ser definidas, decir qué es lo que entendemos por ellas, al definirlas
tenemos un conjunto de elementos que conforman esa definición, de notas
constitutivas podríamos decir, cada una de las cuales la podemos llamar variable.


5
Conste que estamos hablando de conocimiento científico que no es todo el conocimiento, sino una forma de
él, hay conocimientos que no son científicos –en cuanto su apego a un método- y no por ello despreciables.
13
(remarcamos que estos son ejemplos hipotéticos, sin que tomemos partido por
ninguna de las posiciones), cada una de las maneras de definirlo da lugar a
distintas variables, veamos el siguiente cuadro con lo hasta ahora dicho.

Cuadro 2
Diversas Maneras de Definir
“Problema de la drogadicción”

Enfoque Predominante Variables Consideradas Indicadores
Delictivo en función del
comercio
Organización criminal;
Cadenas clandestinas;
Enfrentamiento con fuerza
pública;
¿¿¿¿ ???
Efectos en el consumidor Deterioro en la salud;
Disminución autoestima;
Pérdida nivel sociecon.

Efectos Sociales Desintegración Familiar;
Aislamiento social;
Deterioro espacios sociales


Una vez establecidas estas variables –ficticias, sólo por vía de ejemplo- que surgen
de la definición del problema o de la categoría que da cuenta de él, habrá
entonces que preguntarse por el dato que nos permita hacernos un juicio,
equivaldría a preguntarse, en el caso del primer enfoque, ¿está aumentando la
organización criminal?, por supuesto que no podemos responder que “nos parece
que sí” o que “nos parece que no”, tendríamos que dar un dato preciso, ¿cuál es el
dato que nos podría decir si aumenta o disminuye la organización criminal en
relación al comercio de drogas?, este es el reto de la construcción de
indicadores. Podríamos tal vez decir que un indicador podría ser el de número de
delitos cometidos, otro el de ajusticiamientos inexplicables, ambos serían
discutibles, lo que aquí queremos ejemplificar es la dificultad que reviste construir
indicadores dependiendo de la complejidad del fenómeno; por lo contrario en el
segundo enfoque podríamos decir que el deterioro de la salud entre adictos se
puede medir a través de la disminución de peso, recurrencia de ciertas
enfermedades y así sucesivamente con las demás variables.
14

En síntesis: el indicador es el que nos permite establecer el tipo de dato
que necesitamos en función del juicio que queremos emitir, (teniendo en
cuenta nuestro patrón de valores que nos sirve como elemento de
contraste).

Ahora bien, no toda información se puede obtener con la misma facilidad, así, será
más fácil que un adicto nos diga las enfermedades que padece a que un
narcotraficante nos diga la organización a la que pertenece, la selección de
indicadores también tiene que seguir un criterio práctico de posibilidad de acceso a
la información sobre los datos que requerimos. Pero también hay que tener en
cuenta que hay información que siendo difícil de obtener es crucial para la
evaluación, por lo que siempre tendremos que ubicar el punto de equilibrio entre la
importancia del dato y la facilidad de acceso a la información, veámoslo a través
del siguiente cuadro:

Cuadro 3
Criterios de Selección de Indicadores
Importancia/dificultad

Fácil Difícil Muy difícil
Muy importante X (1) X (2) X (3)
Relevante X (4) X (5) (6)
Poco importante X (7) (8) (9)

Los indicadores se ubicarían preferentemente en los cruces 1, 2, 4 y 5, desde
luego que si un dato resulta muy importante habría que intentar conseguirlo
aunque fuera muy difícil su acceso (3). La opción de poco importante y muy fácil
(7) es posible utilizarla cuidando de no llenarnos con mucha información que sea
escasamente importante. Las opciones 6 y 8 resultan una inversión de tiempo poco
racional en una evaluación y la opción 9 es mejor dejarla de lado. Recordemos
que todo depende del tipo de evaluación que estamos realizando.

15
3.1.- La definición de indicadores
Si seguimos con el ejemplo de las adicciones y tomamos uno de los enfoques,
como ejemplo el del problema en el individuo consumidor, habíamos dicho que las
variables son: i) deterioro en la salud; ii) pérdida de autoestima; iii) disminución de
nivel socieconómico, tendríamos que describir cada una de estas variables,
teniendo en perspectiva hechos observables y verificables; equivaldría a
preguntarse: ¿cuándo podemos decir que hay deterioro de la salud?, ¿en qué
consiste la pérdida de la autoestima?, ¿cuándo hay disminución del nivel
socieconómico?

Cuadro 4
Definición de Indicadores
Variables Indicadores
Deterioro de la Salud - Presencia de enfermedades de origen infeccioso
- Pérdida de apetito
- Disminución de situación nutricional
Pérdida de Autoestima - Desconfianza ante el logro de metas personales
- Ruptura de relaciones de pareja
- Insatisfacción ante situación personal
Disminución Nivel Sociecon. - Pérdida de trabajo
- Insuficiencia de recursos para necesidades básicas
- Abandono de estudios

Cabe señalar que la definición de los indicadores requiere de un conocimiento
experto, es decir que un especialista tendría que ayudarnos a definirlos, por
ejemplo, un médico tendría que decirnos que se entiende por pérdida de la salud
como consecuencia de las adicciones, y un psicólogo debiera ayudarnos a decir
qué se entiende por pérdida de autoestima, insistimos en que todos los ejemplos
que se ponen son hipotéticos.

Hay que tener en cuenta que un diseño adecuado de un proyecto debe establecer
los indicadores desde el momento mismo del diseño y no esperarse a la evaluación
para definirlos, de otra manera: una adecuada evaluación se verá altamente
16
favorecida si desde el diseño se contemplan los indicadores para la
medición de los resultados.

Si el proyecto se hubiera puesto como objetivo (también en sentido hipotético)
Combatir las adicciones por medio de la aplicación de tratamientos para disminuir
sus consecuencias sobre el consumidor. Entonces habría que evaluar si los
tratamientos disminuyen estas consecuencias, tal y como se les ha definido y si
ello lleva al abandono de la adicción. Entonces de manera sintética podemos
representar el ejemplo de la siguiente manera:

Cuadro 5
Relación Objetivos – Variables - Indicadores
Objetivo Variables Indicadores
Combatir las
adicciones con la
aplicación de
tratamientos para
disminuir sus
consecuencias en el
consumidor
Deterioro de la salud

Disminución de enfermedades
contagiosas
Recuperación en niveles
nutricionales
Recuperación apetito
Pérdida de Autoestima

Recuperación en confianza de
alcanzar metas
Estabilidad en la relación de
pareja
Satisfacción personal
Disminución nivel
socieconómico
Empleo estable
Suficiencia para cubrir
necesidades básicas
Estabilidad en estudios


3.2.- Los instrumentos
Al establecer los indicadores habrá que diseñar los instrumentos por medio de los
cuales accederemos a la información. En las ciencias sociales el instrumento más
utilizado es la encuesta, por medio de cuestionario que se aplica a una muestra de
los individuos que constituyen la población sobre la cual se pretende actuar,
aunque no siempre es el más eficaz; la eficacia de un instrumento está en función
del tipo de conocimiento que queremos obtener, si queremos una evaluación sólo
descri pti va, que se pregunte por individuos en tratamiento bastará con revisar
los registros y obtener la cifra, estaríamos en el caso de un instrumento
17
documental; si además queremos describir los resultados obtenidos con los
tratamientos entonces tal vez una encuesta a una muestra nos sea suficiente, si
queremos profundizar sobre los mismos, en una evaluación di agnósti ca,
respondiendo por ejemplo a la pregunta ¿bajo qué condiciones funcionan mejor
los tratamientos?, entonces además de la encuesta requeriríamos de estudios de
caso, es decir de tomarnos a algunos pocos individuos y profundizar la
información por medio de entrevistas sucesivas en la que nos informemos de la
trayectoria de su vida, e incluso interrogando también a su núcleo familiar, en este
caso ganamos en profundidad, aunque perdemos en extensión (dado que llevaría
mucho tiempo aplicar este instrumento a muchos individuos). Si queremos una
evaluación normati va, entonces tendríamos que consultar a expertos, a través de
entrevistas abiertas, preguntándoles sobre los tratamientos más idóneos, las
variables sobre las que se debe de actuar y los indicadores para medir sus
resultados. Si queremos una experimental, entonces tal vez tendríamos que acudir
de nuevo a documentos, que en este caso serían los reportes de otras
evaluaciones similares.

Reiteramos que estamos poniendo casos hipotéticos, se pueden derivar algunas
observaciones generales de carácter preventivo:
a) ningún instrumento es, por sí mismo mejor que otro, su idoneidad depende
de: i) el tipo de evaluación que queremos realizar, ii) el objetivo mismo del
proyecto, iii) el problema sobre el que actúa y, iv) la dificultad para obtener
la información requerida.
b) Ningún tipo de evaluación tiene un instrumento necesario.
c) Las evaluaciones suelen obtener mejores resultados cuanto se combina el
uso de un mayor número de instrumentos, aunque esto a su vez depende
de los recursos y tiempo con el que contemos para hacer la evaluación.

Como síntesis de este apartado referiremos algunos de los diversos instrumentos
que están disponibles, señalando algunas de sus ventajas y de sus limitaciones:
18

Cuadro 6
Algunos Instrumentos en Ciencias Sociales
Instrumento Ventajas Limitaciones
Encuesta
Permite conocer información
extensa sobre un número
amplio de individuos
Expresa la información de
manera estadística
Permite la precisión del dato.
No profundiza sobre las
causas de las situaciones
detectadas.
No permite obtener
información sobre
aspectos “delicados”
Puede establecer
relaciones ficticias entre
fenómenos
Estudio de Caso
Permite profundizar en la
información
Contribuye a que el individuo
proporcione información
“delicada”
Facilita manejar múltiples
variables a la vez
No permite sacar
conclusiones con validez
estadística
Requiere de más tiempo
para su realización en cada
caso
Aplicable a un número
reducido

Entrevista
abierta
Permite profundizar sobre el
tema
Facilita recoger información no
prevista
Permite observar reacciones del
entrevistado
Dificulta la comparación
sistemática de la
información
Tiene el riesgo de la
reinterpretación de la
información por el
entrevistador
Observación
Permite ver a los
individuos en acción
Los individuos pueden
no sentirse intimidados
por el observador
Permite percibir
interacciones
No proporciona elementos
verificables
Limita la información a lo
que se manifiesta en el
momento
No permite resultados
conclusivos


4.- UN SISTEMA DE INDICADORES

A partir de los señalamientos anteriores, que nos orientarán a lo largo de la
exposición, pasemos ahora a considerar un sistema de generación de indicadores
para el programa de “Prevención Ciudadana del Delito a Través de Programas de
Atención a Jóvenes en el Distrito Federal”
19

Lo primero que tenemos que preguntarnos es ¿para qué se quiere la evaluación?,
esto con el objetivo de saber cuál es el tipo de evaluación de la que habría que
echar mano. Si ya terminó el Programa y lo que se quiere entonces es un balance
general de los logros obtenidos estaremos hablando entonces de una evaluación
ex post, por lo contrario, si el Programa está aún en marcha y lo que se quiere
saber es su desempeño para aplicar los correctivos pertinentes, estaremos
hablando entonces de una evaluación concomitante. Supongamos que lo que se
nos pide en el tercer caso (la final habitualmente se solicita a una instancia externa
y la ex ante suelen realizarla los propios elaboradores del proyecto), a los
ejecutores habitualmente se les solicita la evaluación de “medio camino”,
recordemos cuál es el objetivo de este tipo de evaluación”: “Establecer la distancia
entre lo que se planificó y lo que se está resultando a fin de establecer las
correcciones necesarias sea en la ejecución o en el diseño.”

Si este fuera el caso entonces tendríamos que definir el nivel de evaluación que se
requiere para tal fin, desde luego que la descriptiva sería útil, pero tal vez no la
más adecuada puesto que nos diría el número y tipo de acciones que se están
desarrollando, pero seguramente que eso no bastaría, sería necesario que digamos
porqué no se están obteniendo los resultados que se tenían previsto, en ese
sentido sería más útil una investigación diagnóstica, como recordaremos, en ella:
“Señalo y explico el por qué los resultados.”

Por supuesto que también sería útil una evaluación normativa, sin embargo sería
poco probable que se le encomendara a los ejecutores el rediseño del Programa,
en su caso esto sería realizado por los propios planificadores. Con el fin de seguir
avanzando en el ejemplo quedemos entonces que se trata de una evaluación
concomitante y diagnóstica, entonces la siguiente pregunta sería: ¿cuál es la
finalidad de esta evaluación?, ¿establecer el impacto que el Programa está
teniendo?. Seguramente que esa sería una de las pretensiones, sin embargo
20
seguramente que además se querría que se dijera por qué sí o por qué no se está
teniendo el impacto esperado, lo que también conduciría a una evaluación
operativa.

Como siguiente paso habría que reproducir la lógica seguida en la planeación del
proyecto, partiendo de su objetivo nos encontraríamos con que el objetivo general
del Programa fue:

Este Programa tenía tres componentes
“El Programa de Prevención de la Violencia y las Adicciones, tiene como
objetivo capacitar a jóvenes de 14 a 29 años para reducir el uso, abuso y
repercusiones de sustancias adictivas en la Ciudad de México. A partir de
privilegiar acciones preventivas y detección de riesgos de las adicciones con
participación individual, social, sectorial e institucional.”

“El Programa Jóvenes Organizados contra la Violencia Familiar, pretende
conformar una red de participación social dedicada a generar un proceso de
prevención de la violencia familiar dentro de la comunidad, a través de
estrategias de difusión, promoción y capacitación entre integrantes de las
Comisiones y Comités Vecinales de las unidades territoriales del D.F. y
jóvenes de las Unidades Territoriales.”

“El programa Jóvenes por la Ciudad, tiene como propósito apoyar a jóvenes
de 14 a 29 años, prioritariamente, en unidades territoriales de alta
vulnerabilidad de la Ciudad de México, para generar un proceso de
intervención comunitaria, orientada a la reconstrucción del tejido social y de
la seguridad ciudadana, como una medida de prevención del delito. “

Puestos de manera sintética los tres componentes son:
Capacitación
21
Conformación de una red
Intervención comunitaria

Lo anterior no debe de hacernos perder de vista que estos componentes se
pueden dar en cada uno de los subprogramas, para simplificar ubiquemos estos
tres componentes prescindiendo de los subprogramas, tendríamos que
preguntarnos cuál es la definición que se utiliza y por tanto cuál es el enfoque
(marco de referencia, patrón de valores) que se le da a cada uno de los
componentes, para de ahí derivar las variables y los indicadores:

Componente Capacitación
Enfoque (posibles) Variables (que se relacionarían
con cada uno de los enfoques)
Indicadores(que se
obtendrían de las
variables)
acumulación de
Conocimientos
- cuáles son los aspectos sobre
los que debieran de tener
conocimiento los promotores?
(p.ej sobre: sustancias
adictivas, grupos de riesgo, etc)
enfermedades que suelen
asociarse...
- cuáles son las destrezas que
deben de tener los promotores
para poder intervenir? (p. ej.
Detección de adictos,
tratamiento inicial...)
¿a partir de qué datos
podemos decir que los
adquirió? (p. Ej
conocimiento de grupos
de sustancias).



¿qué dato nos permite
decir que las desarrolló?
Proceso autónomo
de aprendizaje
- procesos de reflexión grupal
- consensos elaborados por el
grupo
- ¿sobre qué temas?
- ¿qué contenidos?
Interacción entre
mediador y
capacitando
- procesos de reflexión grupal a
partir de propuestas del
capacitador
- generación de consensos
informados
- apropiación de contenidos y
vinculación a la práctica
cotidiana
- ¿qué propuestas?
- ¿a partir de qué
información?
- ¿de qué manera se
vinculan aprendizajes y
prácticas?

22
La respuesta a las interrogantes nos conduciría justamente a establecer los
indicadores, las preguntas que ponemos en el cuadro no son los
indicadores ni las variables, sino las respuestas que alcancemos a construir
serían tales. Es necesario tener en cuenta que el cuadro representa diversos
enfoques, por lo general en un proyecto debe de haber un solo enfoque, ya que
habitualmente estos son excluyentes.

Es necesario tener en cuenta que nos estamos refiriendo a enfoques de manera
hipotética, establecerlos con más precisión implica revisar los documentos y
materiales utilizados en el proceso de capacitación.

En el caso del primer enfoque lo que se supone es que la persona a capacitar lo
que tiene que hacer es acumular una serie de conocimientos y destrezas que le
proporciona el capacitador. El segundo sería el contrapuesto, es aquel que
presupone que el aprendizaje proviene del mismo que aprende a través de sus
procesos sociales de reflexión, el tercero es el intermedio que supone que todo
aprendizaje requiere de un agente externo pero también de la participación activa
y reflexiva de quien aprende, entonces resulta que las intencionalidades implícitas
en cada enfoque son excluyentes.

Demos un siguiente paso con el segundo componente: conformación de una red
de participación social. Pasemos entonces del ejemplo hipotético al análisis de
posibilidades. El objetivo a analizar es: “conformar una red de participación social
dedicada a generar un proceso de prevención de la violencia familiar dentro de la
comunidad, a través de estrategias de difusión, promoción y capacitación entre
integrantes de las Comisiones y Comités Vecinales de las unidades territoriales del
D.F. y jóvenes de las Unidades Territoriales”.

Antes de cualquier otra cosa pasemos a analizar este objetivo:

23
Qué: conformar una red de participación social,
Cómo: a través de estrategias de difusión, promoción y capacitación
Con quiénes: Integrantes de las comisiones y comités vecinales y jóvenes de las
U. Territoriales.
Es decir, en el enunciado están presentes el objetivo propiamente, la estrategia y
los destinatarios, mismos que en una evaluación hay que abordar, pero
concentrémonos ahora en el objetivo:

Objetivo Variables Indicadores
“conformar una red
de participación
social dedicada a
generar un proceso
de prevención de la
violencia familiar
dentro de la
comunidad,”
¿Qué es una red?
¿Qué es
participación
social?
¿Qué es
prevención de la
violencia familiar?


Qué es una red?. Intentemos definirla: conjunto de personas y/o organizaciones
que tienen un objetivo común, pero no una estructura ni jerarquía, actúan en
común a partir de un consenso básico y su identidad y permanencia está en
función del alcance del objetivo.

¿Qué es participación social?. Intervención de personas y organizaciones en la vida
pública a través de la información, análisis de posibilidades, decisiones, ejecución y
evaluación de acciones públicas.

¿Qué es violencia intrafamiliar? Conjunto de distintos tipos de agresión entre los
miembros de una familia, implican una violación a los derechos de los miembros
agredidos, justificada por la manipulación psicoafectiva de la persona agresora;
suele derivarse de fenómenos tales como hacinamiento, frustración, distribución
inequitativa de tareas y recursos en el núcleo familiar y presencia de adicciones de
alguno o varios integrantes de la familia.
24

Estas tres son definiciones que presentamos a manera de ejemplo, puede haber
varios procesos para elaborar una definición; en el caso de red podemos consultar
un texto sobre organizaciones; lo mismo que en el de participación social, está por
ejemplo el Manual de la Participación, del Banco Interamericano de Desarrollo; en
el caso de la violencia intrafamiliar podríamos acudir a la definición que da la ley
correspondiente o podríamos también pedir a especialistas que nos den su punto
de vista, pero lo más importante cuando estamos haciendo una evaluación:
tendríamos que ver qué es lo que quienes diseñaron el proyecto
entendían por esas categorías.

Una vez que se pretendió definir cada una de las variables, pasemos a integrar
todo esto en un esquema:


Cuadro 7
Objetivos – Variables – Indicadores
Del Componente Integración Red
Objetivo Variables Indicadores
“conformar una red de
participación social
dedicada a generar un
proceso de prevención
de la violencia familiar
dentro de la
comunidad,”
Integración Reticular
Participantes (¿cuántos, de
qué tipo?)
Consenso básico (¿en qué
consiste?)
Formas de Actuación (¿qué
hacen los participantes en la
red?
Participación social
Disposición a intervenir en
la vida pública (¿la tienen?)
Niveles de Intervención (de
acuerdo a los señalados en la
definición)
Prevención Violencia
Intrafamiliar
Información sobre derechos
(folletos, talleres, campañas)
Espacios de denuncia (local,
personas encargadas,
capacitadas)
Detección de casos de
violencia (actual y potencial,
medios, canalización casos)

25
Una vez establecidos estos indicadores (están con negritas y entre paréntesis
aquellos aspectos que los hacen aún más específicos) habrá que diseñar los
instrumentos para recabar la información, para lo que habría que tomar en cuenta
lo señalado en el apartado correspondiente.

Recordemos que se trataba de tres componentes, ejemplificamos con uno:
integración de la red, habría que darle el mismo tratamiento a los otros dos:
capacitación e intervención comunitaria, pero esperamos que ya esté claro cómo
se podrían trabajar, así es que les proponemos que hagan su cuadro para cada
objetivo, que discutan y lean, así como también que tengan mucho entusiasmo
para establecer indicadores de la efectividad del trabajo que están realizando,
dado que ello lo hará más benéfico para todos aquellos a los que se dirige.