Professional Documents
Culture Documents
ANEXOS
2
1. PRESENTACIÓN
Existe una abundante bibliografía sobre evaluación; cuál debería ser el equipo ejecutor
de la evaluación (interno-externo), qué tipo de evaluación se debe realizar (procesos-
resultados, impacto-eficiencia), qué metodología es más apropiada (cuantitativa-
cualitativa), etc.
Para finalizar con un tercer capítulo titulada “las claves que empañan los procesos de
evaluación”, en la que destacaremos una serie de principios esenciales en este tipo de
procesos como la perspectiva de genero, la participación de las personas, entre otros.
3
Esperemos que este documento cumpla con sus objetivos iniciales y pueda ser un
soporte básico para avanzar en los procesos de evaluación que las entidades sociales
debemos de poner en marcha.
4
2. EL CAMINO DE LA EVALUACIÓN: LA EXPERIENCIA DESDE NUESTROS
PROYECTOS1
Son varias las formas de evaluación que en diferentes momentos hemos puesto en
marcha y casi podemos llegar a decir que cada proyecto requiere de “su” evaluación
adaptada.
2.1.COMO LO IMAGINAMOS
Una forma de empezar el proceso era situarnos en la visualización de las fases que
debíamos abordar, así como los elementos necesarios para finalizar el camino con
éxito. Así fue la secuencia de nuestro itinerario de evaluación:
2.1.1.Decidimos comenzar
1
El proceso de evaluación que aquí sistematizamos es el del proyecto “Zubiguneak:Centro de Encuentro
y Participación Intercultural”.
5
La evaluación requería la incorporación de todos los puntos de vista y será
fundamental a la hora de decidir quienes son las personas que forman parte del
equipo encargado de poner en marcha un proceso evaluativo.
Definir los tiempos con los que íbamos a contar para dicho proceso también fue
clave. Esta planificación se plasmó en el cronograma correspondiente.
2
Entre las posibilidades de contar con un equipo externo o interno en su totalidad, decidimos por
combinar ambas. También contamos con la colaboración de la UPV-EHU en aspectos metodológicos.
6
(tanto en las personas “Usuarias”, en las “Profesionales”,como en los “Agentes-
Recursos” del entorno).
Todo inicio de proceso evaluativo tiene que estar basada en una definición compartida.
En nuestro caso la evaluación la definimos como:
7
Por un lado, la evaluación debe suministrar evidencias que permitan rendir
cuentas del uso eficaz y eficiente de los recursos públicos asignados al
proyecto. Para la rendición de cuentas es fundamental poder identificar, de la
forma más comprensiva posible, los resultados obtenidos por el proyecto
evaluado. Son los resultados obtenidos los que justifican la realización del
proyecto y la inversión de recursos financieros. Pero, por otro lado, es muy
importante que la rendición de cuentas se compagine con la generación de
conocimiento para la acción.
En este sentido, hay que recordar que los resultados de los proyectos no son
transferibles. Lo transferible son las formas de hacer, las estrategias y
mecanismos de actuación y los procesos de cambio impulsados. La evaluación
debe servir al contexto (ámbito de la inclusión social, por ejemplo) para
aprender y desarrollarse.
La evaluación debe prepararse para poder apreciar pequeños cambios que nos
indiquen si la dirección adoptada es la correcta, ya que los efectos más visibles
sólo podrán apreciarse a largo plazo. Debemos incorporar instrumentos de
observación que permitan identificar la distancia recorrida gracias al proyecto y
recopilar evidencias empíricas suficientes para poder valorar las aportaciones
(diferencias en positivo) que el programa está provocando en los colectivos con
los que trabajamos.
8
2.2.3. La evaluación basada en metodologías cualitativas
9
No hay que olvidar, que el resultado último de la participación debe ser que los
y las participantes (personas, asociaciones, entidades) se “apropian” del
proyecto, compartan y hagan suyos sus objetivos y su filosofía de acción y
sientan que el proyecto les pertenece.
En los últimos años los mapas mentales nos proporcionan una visión muy
práctica para representar las palabras, ideas y tareas, u otros conceptos
ligados y dispuestos radialmente alrededor de una palabra clave o una idea
central. Se utiliza para la generación, visualización, estructura, y clasificación
taxonómica de las ideas, y como ayuda interna para el estudio, organización,
solución de problemas, toma de decisiones y escritura(www.xmind.net)3.
3
Definición y gráfico obtenido en la wikipedea http://es.wikipedia.org
10
11
Fuente: Marco conceptual del proyecto Zubiguneak
12
2.3.2. Los indicadores: Preguntas de evaluación, tareas y fuentes de información
Tipologías de indicadores:
EFICACIA DE ¿Ha favorecido el proyecto la ¿Se ha conseguido que nadie se haya sentido
PROCESOS participación de todas las personas? excluido del proyecto y de sus actividades?
¿Se ha conseguido implicar a todas las personas en
tareas y actividades?
14
Sintetizar las tareas de evaluación que se derivan de la metodología aplicada y
relacionarla con la naturaleza de la información utilizada y las fuentes básicas de
información, nos proporcionó una visión más clara del camino a seguir.
Evaluación de los cambios/ efectos Cualitativa procedente de: Relatos procedentes de las personas
producidos beneficiarias.
− destinatarios / destinatarias
finales
Grupo de discusión
otros agentes
− profresionales Cuestionario semi-estructurado a
recursos, servicios, asociaciones,
personas vinculadas con la mediación.
Evaluación de los procesos de Cualitativa procedente de: Los mismos que para la evaluación de
trabajo cambios /efectos producidos.
− destinatarios finales
− otros agentes
Estas fueron las herramientas que nosotros seleccionamos siendo conscientes que
existe una amplia posibilidad:45
4
Altamira, F y Canarias, E. “EL viaje de la evaluación que conecta ...mundos”. Ed: Intermon Oxfam
5
Geilfus, F: 80 herramientas para el desarrollo participativo. Edit. IICA-Holanda/Laderas C.A. y
Prochalete. El Salvador 1997.
15
o La flexibilidad: si queremos que todas las personas participen en el proceso
en las mismas condiciones es necesario tener en cuenta las disponibilidades
de cada una de ellas. Este es un aspecto importante a la hora de implicar a las
personas beneficiarias del proyecto. La disponibilidad de tiempos que ellas
puedan tener supone, por ejemplo, que a la hora de organizar un grupo de
discusión se tenga que tener en cuenta horarios laborales, cargas familiares,
etc.
o La diversidad de las personas con las que trabajamos nos obliga a qué
tengamos que ser muy minuciosos a la hora de definir las personas que van a
participar en el proceso; mujeres y hombres, personas inmigrantes de
diferentes países, itinerarios sociales diferentes, etc.
6
Creemos que la evaluación debe de ser abordada con enfoque de género, y atendiendo a esa importancia
la trataremos en un apartado posterior profundizando más en la misma
7
Como viven las mujeres el proyecto, las necesidades que tienen, las relaciones que han establecido, su
participación, etc.
16
o La ordenación de la información obtenida: es necesario ordenar toda la
información que vayamos obteniendo en cada una las actividades realizadas.
Es importante siempre tener en cuenta los objetivos que nos habíamos
marcado con la evaluación, las preguntas que nos habíamos propuesto
responder. Ayuda ordenarlo por bloques temáticos específicos e incrementa la
calidad del proceso, además de proporcionar un enfoque humano del mismo, el
incluir lo que las personas participantes han dicho de forma literal.
17
3. LA APORTACIÓN DE LA EVALUACIÓN CUALITATIVA EN LOS PROYECTOS
SOCIALES
En el capitulo anterior nos hemos acercado a las fases del proceso de evaluación a
través de una de nuestras experiencias:
Seleccionar las herramientas en función de Análisis del marco conceptual del proyecto
los objetivos a conseguir (cuanti-cuali) Definir qué es para nosotros evaluar
Trabajo de campo Qué evaluamos
PARTICIPACION
Socialización
8
Hermeneútica: literalmente interpretación de textos. Se aplica a los métodos de investigación que
analizan el discurso característico de un grupo social acerca de algún tema de interés , entendiendo el
discurso en un sentido muy amplio para dar cabida a todo tipo de registros, signos mitos o pautas
culturales que puedan ser interpretadas y reorganizadas por la persona investigadora.
9
Rebolloso, E, Fernández-Ramírez, B y Cantón, P. “Evaluación de programas de intervención social”
Editorial Síntesis. 2008.
18
3.1. Los relatos de vida10
10
Anexamos el guión utilizado en el proyecto Zubiguneak.
11
Garcia Roca, Joaquin. “La condición humana y los relatos de vida”
19
estereotipos; la narración ofrece de este modo la estima en las potencialidades y
posibilidades de los individuos y grupos, al hacer ver que las personas somos más que
nuestros problemas. Construyendo conjuntamente un trato igualitario acercando a las
personas participantes al profesional y viceversa.
Tanto en el plano personal como social, las historias vitales proporcionan marcos
alternativos donde reconstruir una trayectoria vital, promover significados alternativos y
recrear a la persona como agente de su propio cambio. Pero como la identidad se
construye socialmente, las narraciones necesitan igualmente modificar los significados
en la comunidad, en la cultura, en la sociedad con el fin de recuperar el control de las
propias vidas.
Las posibilidades que este técnica nos ofrece a la intervención social es muy
generosa, ya que podemos incluirla no sólo como evaluación de resultados / impactos
sino también a lo largo de todo el proceso del proyecto social. Desarrollar actividades
de narración en las propios talleres, actuaciones en las que las personas participan
puede influir no sólo a la hora de detectar mejoras a realizar en el proyecto, sino que
construye un proceso que ayuda y acompaña el propio proceso de empoderamiento
de las personas en su propio proceso, etc.
12
Se utiliza en todos los servicios de la Federación. Una publicación interesante en el que se describe este
trabajo es la sistematización de los servicios de incorporación de Alto y Bajo Deba que se llevó a cabo en
el 2009 por la Federación Sartu.
20
Empleo y Formación del Gobierno Vasco y nos aporta, además de
herramientas concretas, un ideario y una filosofía de funcionamiento.
21
3.2.2. El desarrollo de un modelo de competencias personales, sociales y
laborales
Cada uno de los proyectos sociales está definido por una serie de
competencias a adquirir en su desarrollo. Desde un inicio se consensua con
las personas participantes las competencias que estableceremos como
objetivo con cada una ellas14, así como los seguimientos que realizaremos
para percibir los logros que se van alcanzando, tanto a lo largo del desarrollo
del proyecto como al finalizar del mismo.
Definición de competencia:
13
En el año 2009 recibimos una subvención de la BBK para el desarrollo de este modelo y el soporte
informático pertinente.
14
Es importante la definición individual de las competencias personales, sociales y laborales de cada
persona, ya que cada una de ellas participa en la actividad con diferentes intereses, realidades. Es decir,
podemos estar trabajando 20 competencias, pero cada persona estar trabajando 5 diferentes a las 5 de un o
una compañera.
22
Aglutinando los siguientes elementos:
15
Este modelo fue extraído de Fernández, A., Galarreta, J. y Martínez, N. (2007): “Manual de
acompañamiento en las empresas de inserción: proceso y herramientas”, Bilbao, Lamegi.
23
nivel de implicación, y por tanto, de resultados varía en el resto de
competencias.
El siguiente cuadro resume los distintos tipos de competencias con las que se
trabajan en la Federación Sartu, no sólo a nivel técnico, sino también a nivel
social:
24
Para la creación de estos espacios es necesario contar con las herramientas
educativas que comentábamos anteriormente, ir de un lenguaje común, una
base mínima para el intercambio, etc.
Para llevar a buen puerto este método, deberemos de centrar el tema a tratar y
elaborar un guión que nos permita conseguir el objetivo que con esta práctica hemos
definido. Un guión que deberá combinar las preguntas abiertas como cerradas16:
16
Anexamos en este documento el guión utilizado en un grupo de discusión dentro del proyecto Sendotu
que llevamos a cabo entre la Federación Sartu y la Fundación Peñascal.
17
Anexamos espiral de la historia del grupo de participación del proyecto del Observatorio de Procesos
de exclusión e incorporación social 2001-2006 de la Federación Sartu.
25
LA ESPIRAL DE NUESTRA HISTORIA
2001-2004 Trabajando en el diseño de
Finalización del diseño de la un espacio para compartir
herramienta y apertura de con otras entidades las
Consolidación de la un proceso de validación
Participación de las claves de participación de
¿Cómo surge el grupo? de dicha herramienta en las las personas con las que
Ante la necesidad de •Conocimiento mutuo entidades, que viene entidades participantes.
de las entidades dada (entre otros trabajamos en los
crear espacios de •Cada entidad se programas / proyectos que
encuentro que participantes: Cáritas, factores) por la compromete a validarla en
Agiantza , Fundación concreción del trabajo llevamos a cabo. Para ello
posibiliten el los programas que tiene en estamos reflexionando
intercambio de Peñascal, BBK Gazte marcha
Lanbidean sobre los niveles de
información, el participación que utilizamos
contraste de Federación Sartu.
•Diseño del marco en esos proyectos,
experiencias, etc Finalización del identificación de
teórico. proceso de potencialidades,
validación de la dificultades, etc... Para
herramienta ponerlo en práctica, etc..
Contando con la
colaboración de Parte
Hartuz (UPV-EHU).
26
4. OTRAS CLAVES QUE EMPAÑAN EL PROCESO DE EVALUACIÓN
¿Por qué debemos evaluar con enfoque de género?18 Es una pregunta a la que
podemos responder:
o Para asegurar que el desarrollo llega también a las mujeres, como colectivo
con necesidades e interese específicos.
o Para visibilizar a los hombres como colectivo con intereses y necesidades
particulares.
o Para que la intervención sea más eficaz y sostenible.
o Cómo son las relaciones de género: las interacciones que establecen las
mujeres y los hombres. Estas relaciones pueden ser de dominio y
subordinación o de igualdad y corresponsabilidad, y se dan tanto en los
ámbitos doméstico y familiar como en los económicos y laborales,
comunitarios, culturales, religiosos, políticos...)
18
Lara Gonzalez y Clara Murgialday (2004): Evaluar con enfoque de género en Bakeaz. Bilbao.
19
Circulo Solidario Euskadi-Incyde-Kalidadea: La evaluación: una propuesta para el fortalecimiento
institucional basado en el aprendizaje.
27
Necesidades Practicas-Intereses estratégicas
En relación a la CONDICION En relación a la POSICIÓN
Relacionadas con los problemas prácticos Relaciones con problemas estructurales
y cotidianos, con su vida inmediata y la de del sistema patriarcal
su familia
Objetivo: mejorar la situación actual de las Objetivo: cambio social y el
mujeres y/o sus familias empoderamiento de las mujeres
A corto plazo A largo plazo
Propias de algunas mujeres Comunes a todas las mujeres
Fáciles de identificar Difíciles de identificar
Satisfechas por medio de: alimentos, Satisfechas por medio de: formación,
medicamentos, etc organización, movilización política.
Fuente: Circulo Solidario Euskadi-Incyde-Kalidadea: La evaluación: una propuesta para el fortalecimiento institucional
basado en el aprendizaje.
Lo que tenemos claro es que las ventajas de incluir la perspectiva de género tanto en
la evaluación como en el seguimiento20 tiene una serie de ventajas, como se menciona
en la guía básica para incorporar la perspectiva de género en la evaluación de los
sistemas de evaluación de empleo y formación elaborado dentro del programa Equal
Kideitu:
20
La incorporación de la perspectiva de género en la Federación Sartu está siendo todo un reto. En el
2008 se realizo el I Plan de Igualdad que se está desarrollando en varios niveles de la organización;
formación de profesionales, incorporación de dicha perspectiva en los servicios, detección de
necesidades, diseño, etc.
28
o Los impactos positivos o negativos de las actuaciones sobre las
mujeres y hombres. Ej: mejora de su nivel de empleabilidad, mejora de
su autoestima...
o Los impactos / la eficacia de las actividades dirigidas a satisfacer las
necesidades de las mujeres o los hombres. Ej: la adquisición de nuevas
habilidades, conocimientos, el acceso de recursos, la mejora de
oportunidades o servicios en el contexto de sus roles de género
existentes.
o Los impactos/ la eficacia de las actividades diseñadas para fortalecer la
igualdad de género en materia de oportunidades, influencia o beneficio:
Ej: las intervenciones puntuales para impulsar el papel de las mujeres
en la toma de decisiones; la creación de oportunidades nuevas para las
mujeres / los hombres en áreas relacionadas con destrezas no
tradicionales para ambos sexos.
o Los impactos/la eficacia de las actividades diseñadas para sensibilizar y
dotar de conocimientos sobre género a equipos técnicos y el equipo
directivo. Ej: la adquisición de conocimientos y habilidades para
introducir el enfoque de género en la práctica diaria, mayor
concienciación sobre las necesidades de aplicar el enfoque de género a
los diagnósticos, etc.
o Los impactos / la eficacia de las actividades que promueven una mayor
igualdad de género en la cultura organizativa y de contratación de
personal de las entidades. Ej: El impacto de las políticas de acción
positiva en la cultura organizacional.
La participación social está ligada a Sartu desde el mismo momento que describimos
que entendemos como incorporación social de las personas, ligado directamente a la
misión, visión y valores.
29
Entendemos la incorporación social como un proceso que supone un cambio,
que implica tanto a la vida de la persona en situación de marginación o
desventaja social, como al colectivo de personas que conforman el grupo social
del que la persona a quedado excluida al margen, y sobre todo a la relación
que se establece entre ambas partes.
30
para la participación, diseñar actividades que potencien e impulsen dichos procesos,
conocer metodologías y herramientas participativas, etc21.
persona
grupo de personas
participantes en la misma
actividad
personas participantes en
otras actividades de otras
áreas
la comunidad
ciudadanía
Transformación social
21
En la Federación Sartu hemos puesto en marcha un proceso en el que va a participar un proyecto por
cada una de las asociaciones que forman Sartu en el cuál se trabajará la participación social desde todos
sus ámbitos. Para ello entre otros, hemos utilizado la “Guía metodológica de la participación social de las
personas en situación de pobreza y exclusión social” publicado por EAPN.
22
Para impulsar el proceso de reflexión sobre la participación social y su puesta en marcha ha sido muy
importante la participación de la Federación Sartu en el grupo de participación de EAPN. El compartir los
procesos que las diferentes entidades están llevando a cabo en este ámbito. El compartir conocimiento,
metodologías, herramientas, supone poner en práctica eso que llamamos “participación”.
31
¿Qué actividad vamos a analizar?
Analizar los proyectos, las acciones que realizamos en los mismos, quienes participan y como, qué herramientas utilizamos y su valoración,
cuáles son los factores que posibilitan y obstaculizan la participación nos ayuda a realizar un diagnóstico e identificar y priorizar en qué
elementos debemos de invertir más esfuerzos.
32
¿POR QUÉ PARTICIPAN LAS PERSONAS?
Oportunidad y movilización de
Elección racional del comportamiento Marcos de acción colectiva recursos
Cada persona elige participar tras una Injusticia, identidad y eficacia son Contexto, la legitimidad que se
reflexión consciente o no sobre el los principales factores para actuar consigue y la eficacia.
coste de participar y los beneficios.
Los beneficios pueden ser colectivos
PROCESO PEDAGÓGICO: Respeto mutuo de valores y culturas. Considerar la importancia y valor de conocimientos, aprendizajes.
Elaboración de códigos de conducta y lenguaje.
Fuente: Guía metodológica de la participación social de las personas en situación de pobreza y exclusión social. EAPN.
33
saberes
políticos
Cambiar actitudes
saberes saberes
Cambiar métodos Compartir técnicos populares
FACTORES DE INFLUENCIA DE QUE LAS PERSONAS PARTICIPEN O NO, EN LA ACTIVIDAD, EN EL CONTEXTO, ETC...
34
GENERANDO CONDICIONES PARA LA PARTICIPACIÓN
Algunas pistas..... Cinco etapas para generar redes de valor entre personas
Fuente: Guía metodológica de la participación social de las personas en situación de pobreza y exclusión social. EAPN.
35
4.3. La intersección de la evaluación, la sistematización y la investigación23
La evaluación está en contacto directo con otro tipo de “disciplinas” como pueden ser
la sistematización24 y la investigación.
EVALUACIÓN SISTEMATIZACIÓN
INVESTIGACIÓN
23
Contenidos trabajados en la Jornadas organizadas por las Federación Sartu y dinamizadas por INCIDE.
24
Alboan: “La sistematización, una nueva mirada a nuestras prácticas. Guía para la sistematización de experiencias de
transformación social” y “La aventura de la sistematización. Cómo mirar y aprender de nuestras prácticas desde
nuestras prácticas”. Dichas guías se encuentran a disposición de cualquier persona interesada en
http://www.alboan.org/sistematizacion/
36
A continuación vamos a realizar una comparativa entre la evaluación y
sistematización, para ver en que consisten, y valorar la adecuación de una u otra a
nuestros procesos, así como su complementariedad.
37
ANEXO1
Guión “Relatos de vida”
utilizado en unos de nuestros
proyectos
38
GUIÓN PARA RELATO DE VIDA DE LAS PERSONAS INMIGRANTES
25
BENEFICIARIAS DEL ACOMPAÑAMIENTO SOCIAL
OBJETIVO
La incorporación social de las personas inmigrantes, dotándolas de la información
necesaria para el desarrollo de una ciudadanía plena. Para ello hay que identificar las
situaciones que puedan generar desigualdad de oportunidades, adaptar los recursos
existentes e identificar y poner en valor los recursos de la comunidad.
39
PRESENTACIÓN
Agradecimiento, identificarme, propósito de la entrevista, dinámica de la entrevista.
EXPERIENCIA
Especificar las acciones concretas que ha tenido con el Proyecto, en principio más
descriptivo que valorativo.
◦ ¿En qué ha consistido tu experiencia con el proyecto?
40
CAMBIOS Y EFECTOS PRODUCIDOS
Función facilitadora: acompañamiento en las dificultades y obstáculos para
poder resolver satisfactoriamente determinadas cuestiones en la vida cotidiana..
◦ Ayuda en la resolución de dificultades comunicativas, administrativas, relacionales,
etc.
◦ ¿Desde que has llegado, has tenido alguna vez problemas para realizar alguna
gestión, rellenar un impreso, entender un escrito, hacer una llamada telefónica,
etc?
◦ ¿Qué aspectos son los que más te han llamado la atención de la vida en
Durango?
41
Soporte emocional: apoyo emocional en los momentos de crisis
(síndrome de Ulises).
- Soledad – pertenencia
- Apatía – ilusión
- Incomprensión – acuerdo
- Tristeza – serenidad
- Ansiedad – estabilidad
- Inseguridad – confianza
- Desánimo – optimismo
- Confusión – seguridad
- Miedo - tranquilidad
◦ A una persona que fuera a venir de lugar de origen, ¿qué le contarías de la vida
local de aquí?
RECAPITULACIÓN
◦ ¿Cuál sería tu valoración del proyecto?
42
Subvencionado por:
43