CUADERNO DE TRABAJO

CURSO: PROYECTOS III MONITOREO Y EVALUACION

Facultad de Ciencias Polticas y Sociales Licenciado Otto Edvin Arenales Callejas

2010

SEDE ANTIGUA GUATEMALA

0

Introduccin
Actualmente es creciente la preocupacin existente en el sector pblico, privado y de la Cooperacin Internacional en relacin a conocer la eficiencia y eficacia de los resultados u objetivos obtenidos en los proyectos sociales; situacin que a partir de la dcada de los aos noventa ha llevado a todos a orientar y centrar esfuerzos ya no slo en la formulacin de los programa y proyectos sociales sino, tambin, en los aspectos de evaluacin formativa y sumativa de los mismos. Desde sta perspectiva, muchos organismos internacionales han dedicado esfuerzos en generar concepciones, metodologas para la implementacin de estos procesos. La evaluacin esta dirigida a contribuir en la toma de decisiones en la gestin de proyectos, para mejorar las intervenciones, superar las limitaciones y aprender de las lecciones y experiencias que nos dejan. Su importancia radica en ello y no debe confundirse con los procesos de informacin, rendicin de cuentas y auditoria. Son cosas muy distintas, aunque la mayor parte de las veces, complementarias. La evaluacin tambin es una forma de brindar componentes esenciales para un buen desarrollo de las actividades comunitarias que se llevan a cabo a travs de proyectos que buscan el mejoramiento de la calidad de vida de un gran nmero de personas, Se presenta a continuacin un cuaderno de estudio semi presencial sobre la evaluacin de programas de gestin social, de manera prctica, para que el lector y estudioso del tema, pueda navegar con orientacin dentro del mar de informacin disponible en relacin con el tema. Se trata de proporcionar elementos para hacer una evaluacin no solo cuantitativa, sino cualitativa, adems de los logros obtenidos y el impacto causado por cualquier tipo de proyecto social. El presente cuaderno se construye de una forma sencilla y gil para que todas aquellas personas que trabajan o estudian la forma de realizar una evaluacin de proyectos, cuenten con herramientas que les faciliten su labor y aprendizajes. Este cuaderno fue preparado, pensando en las personas que desean aprender ms sobre el control y la evaluacin de su trabajo. Est fundamentado en un trabajo de recopilacin bibliogrfica, as como en aos de experiencia facilitando procesos de evaluacin de proyectos sociales. Muchos y muchas utilizan ya mtodos de seguimiento como parte de su trabajo en el rea de desarrollo. Otros muchos utilizan mtodos de evaluacin y realizan levantamientos, principalmente antes de iniciar un nuevo proyecto o programa, o de ampliar o mejorar uno que ya se encuentra en marcha. Por otro lado, muchas personas tienen poca preparacin o poca experiencia en lo que a control y evaluacin se refiere. Lo que todas estas personas tienen en comn es que estn involucradas en los ms diversos programas de desarrollo rural y urbano; trabajan, por ejemplo, en el campo de la salud, del desarrollo comunitario, de la educacin de adultos o de agricultura. Participan en esos programas personas con diferentes niveles de educacin y experiencia. Se pueden encontrar personas con poco o ningn nivel de escolaridad. Se pueden encontrar personas altamente calificadas. Sin embargo, tienen algo en comn: trabajan juntas en un mismo programa y necesitan brindar seguimiento y evaluar un trabajo conjunto. Muchos, principalmente los que trabajan directamente en contacto con una comunidad, manifiestan la urgente necesidad de un apoyo como la presente herramienta gerencial. Creen que gran parte de las tcnicas de seguimiento y evaluacin existentes complejas, caras e inadecuadas a las condiciones reales en las que viven y trabaja, por lo que ac se presentan una serie de tcnicas participativas que se espera faciliten esa labor de seguimiento y evaluacin. Otto Edvin Arenales C.

PRIMERA SEMANA Un marco conceptual para la evaluacin de programas y proyectos sociales

Lectura
Fundamentos del monitoreo y evaluacin
Las actividades de M&E debe ser llevadas a cabo con el objetivo de reducir la diferencia entre la planificacin (formulacin de los proyectos) y la realidad (implementacin y resultados). El monitoreo es antes que nada una herramienta de gestin que se concentra en el avance de los proyectos y puede ayudar al equipo de un proyecto y a los dirigentes de una organizacin a identificar los xitos ya logrados o viables en el futuro, por un lado, y los problemas, por el otro, y para facilitar la adopcin de medidas correctivas durante la implementacin misma del proyecto. Las evaluaciones se realizan por tres razones principales: 1. Aprendizaje: la evaluacin permite a las organizaciones y partes interesadas [stakeholders] aprender de la experiencia, mejorar las acciones posteriores y fortalecer el aprendizaje institucional. Con este fin, se han diseado varios procedimientos para garantizar que las lecciones aprendidas de los proyectos concluidos contribuyan a mejorar la formulacin de las polticas y la programacin de nuevos proyectos. 2. Empoderamiento [empowerment]: fortaleciendo las capacidades de los partners locales, de los equipos de proyectos y de los beneficiarios, en la utilizacin de la evaluacin como una herramienta de conocimiento y de control. 3. Responsabilidad [accountability]: la evaluacin permite a las ONGs ser responsables frente a las agencias donantes sobre el uso de los fondos.

Por qu monitorear y evaluar?

La meta tanto de monitoreo como de evaluacin es identificar debilidades en el programa o proyecto para que se pueda implementar accin reparadora, por ejemplo para contestar la pregunta Hasta dnde hemos llegado? y Cmo podemos hacerlo mejor? En cualquier proyecto o programa podemos identificar por lo menos tres niveles de partes interesadas: beneficiarios, administradores del proyecto y personal del proyecto (de una agencia o del gobierno local), y donantes. Todos requieren informacin especfica de cmo se est desempeando el proyecto. La informacin puede tambin ser requerida en un formato diferente por diferentes partes interesadas. La siguiente lista detalla algunas de las perspectivas de las diferentes partes interesadas con relacin a una evaluacin: Beneficiarios: que necesitan saber si lo que estn haciendo est funcionando y cmo puede hacerse para que funcione mejor. Administradores del Proyecto y Personal: que desean tener informacin para la tomar decisiones sobre cmo mejorar el proyecto.

Donantes/Agencias de la Cooperacin Internacional Externas: que desean saber si los fondos que han contribuido han sido bien empleados. La comunidad ms amplia en torno al rea del proyecto: que podran haber sido afectados por un influjo de refugiados o por la forma en que el proyecto est designado. Otros proyectos de agua, saneamiento e higiene: que necesitan informacin para informar a sus propios proyectos. Gobierno y los encargados de establecer polticas.

A menudo los donantes prefieren evaluaciones que estn basadas en mtodos formales de recoleccin de datos porque se asume que estas son ms vlidas y confiables. No siempre es el caso; investigaciones continuas estn tratando de averiguar la validez de los mtodos participativos. En el pasado, las necesidades de informacin de los beneficiarios a menudo han sido ignoradas y los donantes aparecen como los que instigan el monitoreo y la evaluacin para hacer que el proyecto resulte contable para ellos nicamente. Este tipo de evaluacin noparticipativa (especialmente cuando se lleva a cabo por personas fuera del proyecto) es probable que sea visto con desconfianza por el personal del proyecto y por los beneficiarios en lugar de verlo como una herramienta constructiva para proveer retroalimentacin y qu es lo que est funcionando y qu es lo que no funciona. Cuando el personal del proyecto y los beneficiarios estn involucrados en una evaluacin participativa, la informacin se hace disponible a todas las partes interesadas, pero especialmente aquellos que ms la necesitan (los beneficiarios). Se les da entonces el poder de tomar decisiones por s mismos sobre el futuro del proyecto.

Midiendo cambios
El cambio raramente sucede en una forma lineal y ordenada como lo presuponen muchos modelos de planificacin. Podr por tanto ser difcil definir claramente si un proyecto ha tenido xito o no. Un proyecto puede haber tenido un resultado muy positivo en trminos de aumentar la autoestima de la gente, por ejemplo, pero puede que esto no sea medido por la evaluacin. El resultado de la evaluacin va entonces depender de qu es medido en realidad y de la seleccin de indicadores. El monitoreo y la evaluacin tratan de medir el progreso contra los datos de lnea de base obtenidos al inicio del proyecto al igual que identificar fallas en el diseo del proyecto y objetivos innecesarios o irreales. Una evaluacin de resumen realizada una vez solamente usualmente compara la informacin obtenida en la lnea de base con la informacin de las actividades del monitoreo y la nueva lnea de base obtenida despus de que el proyecto ha estado operando durante algn tiempo. Por ejemplo, si el proyecto est destinado a durar dos aos, podr decidirse que una evaluacin de medio tiempo llevada a cabo despus de un ao y una evaluacin final al final del proyecto sera til. En la etapa aguda de una emergencia, un monitoreo continuo y una evaluacin formativa limitada puede que sea todo lo que es posible, y una evaluacin de resumen tendr que esperar hasta que la situacin se estabilice. Los grupos de la comunidad pueden decidir por s mismos cuando evaluar o evaluar sus actividades. Se podr sugerir que a finales de un perodo de dos semanas ya ciertas acciones habrn sucedido. Entonces esto puede ser evaluado en la siguiente reunin. Algunos proyectos tratan de evaluar los productos o el impacto cada tres a seis meses.

El monitoreo y evaluacin como herramientas de aprendizaje

Durante mucho tiempo se ha pensado que los donantes fueran lentos en aprender de sus errores, y la responsabilidad de rendir cuentas ha sido una preocupacin central para las unidades de M&E de las principales organizaciones de ayuda. Los conceptos de gestin del conocimiento y de organizacin capaz de aprender provenientes del sector empresarial, empezaron a ser utilizados a finales de los aos 90. Hoy en da, la mayora de las agencias de desarrollo identifica el rea del aprendizaje organizativo como aquella que ofrece ms oportunidades y desafos. La nocin de aprendizaje organizativo se refiere al proceso con el cual las organizaciones obtienen y utilizan el conocimiento para adaptar las viejas polticas, programas y estrategias, o, ms en general, para innovar. El Banco Mundial, una de las organizaciones lder en la aplicacin de los conceptos de gestin del conocimiento, identifica tres tipos de aprendizaje: aprender haciendo, aprender de la investigacin y aprender de la evaluacin. El aprendizaje organizativo est por lo tanto relacionado con dos temas conectados: a) Si la organizacin absorbe los conocimientos y las intuiciones de las personas que la integran; si este proceso genera cambios en las acciones de la organizacin; y cmo se dan estos cambios. b) Si los nuevos conocimientos adquiridos se traducen en realidad operativa y de qu manera. Es til observar como estos conceptos se pueden aplicar al M&E, especialmente para las organizaciones, que tienden a poner un mayor nfasis en el M&E como herramienta de aprendizaje. La pregunta es cmo las organizaciones pueden recoger los beneficios del M&E desde el punto de vista del aprendizaje organizativo, y cmo pueden resultar ms efectivas como organizaciones capaces de aprender. La utilidad del M&E con respecto al conocimiento puede ser incrementada por: Fortalecimiento de los donantes y de las organizaciones con la capacidad de aprender. a) Darle ms atencin a la gestin del M&E y a la retroalimentacin que ste genera. b) Mejorar los flujos de informacin internos y externos en el sector del M&E, al igual que la coordinacin entre las organizaciones de desarrollo y donantes. c) Experimentar nuevas herramientas de M&E, especialmente aquellas relacionadas con formas de comunicacin basadas en Internet. Fortalecimiento de las capacidades de M&E: a) Desarrollar las capacidades de M&E de los partners locales, involucrndolos todava ms en los procesos de evaluacin, empezando por la fase de formulacin. b) Utilizar las lecciones aprendidas de las experiencias de M&E para formular los nuevos proyectos y para mejorar las actividades en curso. c) Difundir las conclusiones y recomendaciones obtenidas de las actividades M&E a un pblico ms amplio, incluyendo todas las partes interesadas ms pertinentes.

Monitoreo y evaluacin y la construccin de capacidades

En este marco, los desafos que las organizaciones enfrentarn en el futuro, se pueden resumir de la siguiente manera:

Reduccin de la brecha entre el inters terico para el M&E y el uso prctico de sus herramientas, a travs de la sistemtica promocin y utilizacin de las tcnicas participativas y de una verdadera cultura de la evaluacin. Incorporacin del trabajo de evaluacin en un marco ms amplio, viendo la evaluacin como un proceso que comprende el monitoreo y la estrategia global de planificacin, y utiliza las lecciones aprendidas para la planificacin futura. Fortalecimiento de las capacidades de planificacin, y en particular la identificacin de indicadores apropiados para detectar las diferentes dimensiones de impacto y afinar el anlisis de los datos cualitativos. Investigacin y experimentacin de nuevos mtodos y herramientas, tales como el fortalecimiento de la capacidad interna para llevar a cabo actividades de M&E. Transferencia del conocimiento sobre M&E a los partners locales.

Definiciones
No existe un acuerdo universal sobre los mbitos especficos que los conceptos de monitoreo y evaluacin deberan cubrir y sobre cul debera ser la demarcacin entre los dos. Una distincin til se puede hacer entre las actividades esenciales para sostener la ejecucin del proyecto (monitoreo) y las actividades funcionales a una reflexin ms profunda sobre impacto real (evaluacin).

Monitoreo
El monitoreo se refiere a la verificacin continua de la implementacin del proyecto y de su primer impacto a travs del proceso de recoleccin de datos y de sus anlisis, informe y uso de la informacin. El OECD/DAC [2002] define el monitoreo como una funcin de gestin que usa la metdica recoleccin de datos para determinar si los recursos materiales y financieros son suficientes, si las personas encargadas tienen la calificacin tcnica y personal necesaria, si las actividades son coherentes con los planes de trabajo, y si el plan de trabajo ha sido implementado consiguiendo los objetivos establecidos. El monitoreo es por lo tanto, antes que nada, una responsabilidad de los gestores y debe continuar durante toda la vida de un proyecto; las prcticas de monitoreo deben brindar los mecanismos a travs de los cuales la informacin relevante llega a las personas oportunas en el momento oportuno, para ayudarlas a tomar la decisin apropiada. En particular, la retroalimentacin sobre la ejecucin debe ayudar los gestores y las otras partes interesadas a identificar los xitos verdaderos y potenciales y los problemas lo ms pronto posible para facilitar ajustes puntuales de las actividades del proyecto. El monitoreo debe fijarse en: alcances fsicos (provisin de servicios, ejecucin de las actividades previstas); proceso (gestin y eventual creacin de capacidades a nivel local); respuesta de los grupos o de las comunidades meta a las actividades del proyecto; eventos inesperados y respuestas del proyecto;

cuestiones financieras (presupuesto, gastos).

El modo en el cual el equipo del proyecto y los dirigentes realizan el monitoreo es sumamente variado: diferentes circunstancias, personas y capacidades necesitan diferentes enfoques y mtodos. Un sistema de monitoreo es un proceso continuo y sistemtico que mide el progreso y los cambios causados por la ejecucin de un conjunto de actividades en un perodo de tiempo, con base en indicadores previamente determinados. Es un mecanismo para dar seguimiento a las acciones y comprobar en qu medida se cumplen las metas propuestas. Es una herramienta de la evaluacin que no slo mide ejecuciones: tambin revisa y da seales de advertencia sobre actividades problemticas que no funcionan de acuerdo a lo planificado.

En el monitoreo se buscan las razones de las fallas comprobadas, con el objetivo de encontrar alternativas de solucin. Tambin pone nfasis en los aspectos considerados como positivos, reporta logros para que las prcticas exitosas puedan ser replicadas y las errneas revisadas. El monitoreo nos reporta informacin sobre el nivel de eficiencia alcanzado por la organizacin o proyecto. Una de las funciones muy relacionadas con el monitoreo es la medicin. Abdala (2004,38) indica que la medicin es la calificacin o la cuantificacin de las variables que permite clasificarlas segn los diferentes hechos estudiados. Arriagada (2002, 25-66) es ms especfico en relacin a la medicin al plantear: Es posible afirmar que la medicin es la accin de medir, y que medir es comparar dos o ms magnitudes de la misma especie o naturaleza, utilizando a una de ellas como patrn. La medicin siempre requiere un referente para observar la magnitud de la medida. La medicin parece un simple concepto. De algn modo, cuando se intenta disear un sistema de medicin de desempeo, la confusin y la ambigedad tienden a aparecer. Hay 25 criterios que determinan la calidad de un buen sistema de medicin. 1. Dinmico y flexible en el tiempo. 2. Adecuadamente simple. Tan simple como sea posible. 3. Operacionalmente claro. Facilitar una comprensin comn de la medicin. 4. Con nfasis en el grupo meta. 5. Comunicativo en el cambio. 6. Comunicativo en el conocimiento. Suministrar retroalimentacin. 7. Visible a los/as usuarios/as. 8. Integrado en los procesos para permitir anlisis de secuencias de tiempo. 9. Grfico. 10. Analtico y estadstico. 11. Equilibrado en las diferentes dimensiones del desempeo. 12. Equilibrado en la perspectiva, de cara a la visin estratgica. 13. Equilibrado en los enfoques cuantitativo y cualitativo.

14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25.

Participativo. Integrado, incluyendo indicadores de desempeo individual, grupal y organizacional. Cooperativo. Fomentar la cooperacin, ms que la competencia interna. Integrado en la jerarqua. Coherencia vertical. Alineado con las metas. Integrado en las reas. Integrado en las estrategias, acciones y mediciones. Regenerativo. Mejoramiento continuo. Oportuno. Puntual y a tiempo para decidir al surgir problemas. Relevante. Comprensin de cmo decisiones afectan el proceso entero. Preciso. Localizar adecuadamente los temas para dar los datos y la informacin. ntegro. Proporcionar una medida significativa en la que se pueda confiar.

Seguimiento
La conceptualizacin de lo que es e implica el seguimiento siempre depender del contexto del proyecto. Analicemos algunos aportes: Quintero (1995, 76) refiere al seguimiento de la siguiente manera: Se entiende por seguimiento la observacin, registro y sistematizacin de la ejecucin de las actividades y tareas de un proyecto social en trminos de los recursos utilizados, las metas intermedias cumplidas, as como los tiempos y presupuestos previstos, las tcticas y la estrategia. El seguimiento consiste en tener diferentes momentos de medicin de la situacin del programa o proyecto para evaluar el proceso en marcha. Una vez obtenida la Lnea de Base, se comienza con la implementacin de las estrategias acordadas. En este proceso se podrn definir los nuevos momentos de medicin del avance de la estrategia, que son la base de este sistema de seguimiento. Se debe informar el grado de avance de la estrategia de desarrollo comunitario para poder ver cmo est avanzando y qu ajustes se deben realizar. El Banco Mundial relaciona los trminos de seguimiento y evaluacin continua, al expresar (Weaving y Thumm, 1998, 2): Se entiende por seguimiento la evaluacin continua de la ejecucin de los proyectos en relacin con un programa acordado, y de la utilizacin de insumos, infraestructura y servicios por parte de los beneficiarios del proyecto. El seguimiento proporciona informacin constante a los administradores y otros interesados, retroalimentando la ejecucin del proyecto. Permite identificar, con la mayor prontitud posible, xitos y dificultades reales o potenciales, para facilitar la oportuna modificacin de la operacin del proyecto. Urza D. (2004, 19-) plantea: El seguimiento es una accin permanente a lo largo del proceso de los proyectos, permite una revisin peridica del trabajo, tanto en su eficiencia en el manejo de recursos humanos y materiales, como de su eficacia en el cumplimiento de los objetivos propuestos. Es de vital importancia que el seguimiento se realice como una parte integrante del proceso del proyecto, acordada con los responsables de la gestin, para que no suceda como una mera supervisin. Recordemos que la funcin del sistema consiste en aportar aprendizaje institucional y no en emitir dictmenes. Los propsitos del seguimiento son: Fomentar la cultura de la evaluacin, la gestin del desempeo y la rendicin de cuentas en funcin de los resultados esperados. Alinear la evaluacin con el ciclo de los proyectos, como un elemento sustantivo de la planificacin estratgica. Alentar el aprendizaje institucional de todos los actores involucrados en el proyecto con base en las evaluaciones efectivas y de calidad. Promover el uso de la evidencia proporcionada por el seguimiento.

Elegir los resultados pertinentes y demostrar cmo y por qu producen los resultados previstos o cmo mejoran lo esperado.

El mismo autor indica como claves del seguimiento: Es indispensable realizar un seguimiento efectivo que sirva de base para una evaluacin de calidad, por esto es necesario: Integrar un DIAGNSTICO o LNEA DE BASE que sirva para identificar las expectativas, hiptesis, supuestos y resultados esperados. La lnea de base es el punto de referencia contra el cual evaluaremos las informaciones obtenidas. Establecer los indicadores de cada caso, ya sea cobertura, eficacia, eficiencia, efectividad o proceso. Los resultados esperados son el germen de los indicadores, en estos se describe un punto de referencia que ser reflejado en una medida estadstica para cada caso. Es importante que en la definicin de los indicadores participen los encargados de la gestin del proyecto y los aliados estratgicos involucrados formalmente. Programar el seguimiento conforme a plazos pertinentes y convenientes acordados con los encargados de la gestin de cada proyecto. Compartir en equipo el anlisis de la informacin resultante, con la participacin de los encargados de la gestin y los aliados estratgicos. Destinar recursos especficos a las actividades programadas para el seguimiento. Definir los plazos y los medios para la difusin de la informacin, as como las audiencias principales que debern conocerla.

Chassagnes (s.f., 15) plantea respecto al seguimiento: El seguimiento es acompaar, verificar y actualizar lo que estamos haciendo en nuestro proyecto. Es el modo que tenemos de rectificar y mejorar las acciones si las cosas estn saliendo mal. Permite adems controlar la utilizacin de los recursos y el logro de los resultados previstos. Los resultados del seguimiento contribuyen a consolidar la informacin necesaria para la toma de decisiones durante la etapa de ejecucin, permitiendo el manejo de datos concretos y sistematizados al momento de abordar una evaluacin. Este proceso ha de ser gil, orientado y concertado, debe combinar elementos cuantitativos y cualitativos.

Evaluacin
Una evaluacin es una apreciacin [assessment], lo ms sistemtica y objetiva posible, de un proyecto en curso o ya realizado, de su planificacin, ejecucin y resultados. El propsito es el de determinar la pertinencia y el cumplimiento de los objetivos, la eficiencia en la realizacin, la eficacia, el impacto y la sostenibilidad [OECD/DAC, 2002]. Los sistemas de monitoreo y revisin intermedia son muy importantes para la evaluacin, ya que sta depende de manera significativa de la informacin regularmente recolectada y reportada a travs de las actividades de monitoreo y revisin. La evaluacin es al mismo tiempo un instrumento de conocimiento y de gestin que: (a) ofrece a una organizacin la oportunidad de reflexionar sobre la calidad de su trabajo y la idoneidad de sus estrategias, y sostiene el conocimiento necesario en el proceso de toma de decisiones, por un lado, y el proceso de distribucin de recursos y responsabilidades, por el otro; (b) proporciona la oportunidad de obtener lecciones de la experiencia, y por lo tanto de guiar la planificacin futura.

La evaluacin: definiciones
La evaluacin es un proceso sistemtico de anlisis y reflexin sobre la accin que se produce en el marco de los proyectos o experiencias de desarrollo similares que, en trminos generales, persigue los siguientes propsitos: Valorar si los cambios producidos por las acciones de los proyectos son consistentes con lo previsto, en sentido y en dimensin. Lo que tambin supone ver si como resultado de esas acciones han emergido cambios no previstos y si son o no favorables a lo que se busca. Valorar si las acciones ejecutadas (estrategia del proyecto) son las adecuadas para producir los cambios deseados o si es necesario ajustarlas o cambiarlas. Esta valoracin tambin debe incluir al discurso sobre el cambio social que est detrs del proyecto. Obtener elementos de juicio fundamentados para tomar decisiones que permitan ajustar la accin presente y mejorar la accin futura. Producir aprendizajes tiles para la evaluacin como tal y para mejorar los procesos de gestin de los proyectos en su conjunto.

Como vemos, la evaluacin concentra su esfuerzo de anlisis en el cambio y en las acciones llevadas a cabo para producirlo, y para ello utiliza la comparacin. Toda evaluacin consiste en comparar lo alcanzado con la ejecucin de los proyectos con referentes que se definen en el momento de diseo y en las etapas de inicio de las acciones. Estos referentes son los llamados iniciales o situacin desde la cual se parte en una intervencin, y finales, o puntos de llegada para la misma. El referente inicial es una valoracin del estado o situacin de la poblacin objetivo de los proyectos, el contexto en que se ejecutan y los indicadores definidos para su gestin, antes de que la ejecucin empiece a producir cambios. Es un estudio de base cuyos resultados sern comparados con los resultados de las evaluaciones posteriores. El referente final est compuesto por los objetivos o resultados esperados. Se definen en el proceso de planificacin y traducen las intenciones de cambio que estn detrs de todo proyecto. La idea de estos referentes es comparar los resultados que progresivamente se van alcanzando con la ejecucin, con los resultados previstos. En trminos muy concretos, la evaluacin permite dar cuenta (comunicar resultados a otros) y darse cuenta (producir aprendizajes colectivos dentro del proyecto) de los cambios que se producen, identificar potenciali-

dades y limitaciones en la accin, y utilizar los aprendizajes sobre lo hecho haya sido acertado o errneo para introducir correcciones.

Fuente: Preval. Libro Kellog De la observacin del grfico se pueden extraer varias ideas: La evaluacin no es un estudio transversal, hecho en un momento nico con el propsito de fotografiar una realidad. Consiste ms bien en una serie de estudios longitudinales con una lgica de comparacin. La evaluacin no se limita a la valoracin de lo acontecido en proyectos cuyas acciones ya concluyeron (estudio ex post facto), como si fuese una tarea distinta a la gestin, hecha por fuera y despus de la gestin. Por el contrario, es un elemento constitutivo e inseparable de la gestin, que acompaa y fortalece todo el proceso. La evaluacin, a diferencia del seguimiento que es literalmente permanente, privilegia momentos continuos que se estima son los necesarios para que la ejecucin de los proyectos produzca cambios. La observacin del cambio tiene un acento en sus orientaciones al impacto.

Como sostiene Halpern (1999), la evaluacin debe ser parte de la racionalidad de todo proyecto destinado a cambiar una realidad, desde su inicio hasta ms all de su culminacin, desde las ideas iniciales que guan su diseo hasta el momento en que es necesario reflexionar sobre sus efectos y las consecuencias deseadas y no deseadas de los procesos puestos en marcha.

Porque y para que evaluar

El monitoreo y evaluacin constituye una actividad valorada cada vez ms ampliamente como un instrumento indispensable de gestin de proyectos. Segn el Banco Mundial, la reconocida necesidad de mejorar los resul-

10

tados de la asisten-cia para el desarrollo lleva a prestar atencin ms estrecha al suministro de in-formacin gerencial tanto para respaldar la ejecucin de los proyectos y programas, como para brindar informacin de retroalimentacin para el diseo de nuevas iniciativas. La labor de monitoreo y evaluacin tambin sirven de base para hacer efectiva la responsabilidad en el uso de los recursos destinados al desarrollo. Dada la mayor transparencia que ahora se espera de la comunidad del desarrollo, los gobiernos y los organismos que los asisten tienen que responder a las exigencias de un mayor xito sobre el terreno, proporcionando ejemplos del impacto en materia de desarrollo y demostrando que disponen de sistemas que respalden un aprendizaje logrado a travs de la experiencia. Utilizado cuidadosamente en todas las etapas del ciclo de los proyectos, el moni-toreo y la evaluacin pueden ayudar a reforzar el diseo y la ejecucin de los proyectos y estimular la formacin de asociaciones de esfuerzos con las instituciones interesadas en los mismos. Esas actividades pueden: Influir sobre la estrategia de asistencia sectorial. A travs de anlisis per-tinentes que surjan de la evaluacin de proyectos y polticas se pueden des-tacar los resultados de medidas de intervencin anteriores, as como las vir-tudes y defectos de su ejecucin. Mejorar el diseo de los proyectos. La utilizacin de instrumentos de dise-o de proyectos tales como el marco lgico, da lugar a una seleccin siste-mtica de indicadores para el seguimiento de los resultados del proyecto. El proceso de seleccin de indicadores para el seguimiento pone a prueba la solidez de los objetivos del proyecto y puede mejorar el diseo de los mis-mos. Tener en cuenta las opiniones de los interesados. Se comprende cada vez con mayor claridad que la participacin de los beneficiarios de un proyec-to en su diseo y ejecucin logra que dichos beneficiarios se comprometan en mayor medida con los objetivos del proyecto y aumenta la sostenibilidad de los beneficios. Esta participacin fomenta una mayor responsabilidad. Los objetivos deben establecerse u y los indicadores deben seleccionarse en consulta con los interesados, en procura de una identificacin compartida de los objetivos y las metas. Este compromiso se refuerza cuando se logran be-neficios en una etapa incipiente. Asimismo, la deteccin temprana de pro-blemas que se presenten permite adoptar medidas correctivas antes de que los costos sean mayores. Revelar la necesidad de correcciones a mitad del trayecto. Una corriente de informacin confiable durante la ejecucin permite a los administradores realizar el seguimiento del avance logrado y reajustar las operaciones te-niendo en cuenta la experiencia.

Rol de la evaluacin en los proyectos y el desarrollo local

Los resultados que producen las evaluaciones, cuando son adecuadamente difundidos y utilizados, tienen efectos que, por lo general, exceden los lmites de los proyectos individuales. Una buena evaluacin produce informacin til para otros proyectos en la zona de intervencin o proyectos similares en otros territorios, para tomadores de decisiones y hacedores de poltica, y en general para toda organizacin territorial involucrada con las acciones del desarrollo local. Esta primera idea puede ser complementada por otra, que es ms bien una hiptesis de trabajo: una experiencia de evaluacin, en la medida que involucre a diversos actores locales, ampliar sus efectos de cara a los propsitos del desarrollo local. Esta hiptesis se sustenta en la evidencia de que toda experiencia de evaluacin desarrolla aprendizajes, y que la participacin crea condiciones para que el aprendizaje transite de un plano individual a otro colectivo. Algunos de los resultados de las experiencias de evaluacin que trascienden el marco de los proyectos, tienen que ver con los siguientes temas: Desarrollo de capacidades en formas de reflexionar evaluativamente, que suponen el uso adecuado de informacin, la ponderacin de evidencias, la extraccin de conclusiones y la emisin de juicios respetando otras opiniones. El uso de estas capacidades trasciende los propsitos de la evaluacin para insertarse en cualquiera de los procesos de toma de decisiones a nivel local.

11

Desarrollo de capacidades para la concertacin, el logro de acuerdos y consensos, y el manejo de conflictos. Mejoras en la calidad del dilogo pblico, que se manifiesta en escenarios locales y regionales, y en otros mbitos institucionales de deliberacin de polticas pblicas. Apropiacin social de un stock de informacin confiable y conocimiento, til para el desarrollo de campaas de incidencia en polticas pblicas y de vigilancia social. Las diferencias entre monitoreo y evaluacin se refieren ms a los mecanismos utilizados, su periodicidad y el objetivo propuesto en la planificacin inicial. El monitoreo consiste en una serie de pasos para la evaluacin, ya que permite el seguimiento cotidiano del proceso y genera informacin que servir de insumo para las evaluaciones previstas. Las diferencias ms tradicionales entre los dos conceptos los resume el siguiente cuadro:

La Evaluacin es un proceso de anlisis crtico de todas las actividades y resultados de un proyecto, con el objeto de determinar la pertinencia de los mtodos utilizados y la validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en los beneficiarios.

12

La evaluacin utiliza la informacin obtenida y producida por el Sistema de Seguimiento y Evaluacin y al comparar los resultados con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeo del proyecto, con el propsito de sacar enseanzas para un futuro proyecto. La evaluacin es un proceso general de aprendizaje cuyos fines son, bsicamente: 1. Mejorar las condiciones presentes del proyecto, 2. sacar a flote las posibles insuficiencias o errores del proyecto para contrarrestarlos y prevenirlos en el futuro, y 3. destacar lo til, eficiente y aceptable para actualizarlo teniendo en cuenta las circunstancias que ayudaron a su xito y las nuevas que se prevean. La evaluacin facilita el anlisis crtico de los efectos e impactos del plan, programa o proyecto, con el propsito de determinar la pertinencia de los mtodos utilizados, la validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en relacin con los grupos participantes.

Cuadro comparativo:

13

Actividades de la primera semana

1. Haga la lectura de la semana. 2. Indique cules son los momentos para realizar el monitoreo y la evaluacin de un programa o proyecto.

3. Actualice su documento de proyecto.

14

SEGUNDA SEMANA Enfoques y principios de la evaluacin

Lectura
Enfoques de la evaluacin
Sumado al nfasis puesto en la observacin del cambio (cunto se ha hecho?, qu sentidos ha tomado lo hecho?), nuestra propuesta de evaluacin incluye tres enfoques que definen integralmente el tipo de vnculos de los proyectos con sus usuarios y otros actores locales, las maneras de organizar los procesos de evaluacin y los mtodos adecuados para llevarlos a cabo.

Enfoque en la participacin
Una evaluacin participativa supone dos cosas: primero, que el proceso involucre a los usuarios de los proyectos y otros actores locales importantes; y, segundo, que este compromiso vaya ms all del rol de informantes para pasar al de actores que participan tomando decisiones en los diferentes momentos del proceso (qu y cmo observar con la evaluacin, cmo recolectar, procesar y analizar los datos necesarios, y cmo utilizar los resultados obtenidos). Se trata de un proceso llevado a cabo por un colectivo de autorreflexin que mira su propia prctica para mejorarla, en una dinmica no exenta de complejidades. Es de esperar que las personas concurran al proceso con miradas e intereses distintos y que de ello resulten posiciones diversas y potencialmente conflictivas. Pero es de esperar tambin, que cuando se logra consenso respecto de algn tema, el hecho revierta fortaleciendo la viabilidad y sostenibilidad de los proyectos. Un tema clave tiene que ver con la capacidad que el equipo encargado de la evaluacin demuestre para integrar a otros (directivos y tcnicos de los proyectos, usuarios y otros actores locales) en los procesos, sabiendo que cada uno de esos actores portan racionalidades e intereses distintos. Es precisamente en la integracin de diversas perspectivas que la evaluacin participativa logra ventajas comparativas respecto de los modelos ms convencionales. No hay que olvidar que los proyectos son prcticas sociales forneas que intentan transformar otras prcticas sociales locales, que por lo general estn ancladas en el imaginario colectivo de la gente. Toda intervencin de desarrollo ingresa a un espacio local institucional y culturalmente definido con un conjunto de valores instrumentales difundidos como medios para mejorar la calidad de vida de la gente, que requieren sujetarse a un examen crtico sobre el cumplimiento de esos propsitos tal y como las culturas locales los entienden. Esa es la nica ruta que asegura una internalizacin real de esos valores por los usuarios y otros actores locales. Los proyectos y los paquetes tecnolgicos que por lo general proponen no pueden ser valorados de manera adecuada y comprensiva si los valores culturales afectados por ellos (prcticas de distinta naturaleza y que se desarrollan en distintos mbitos de lo local) se omiten o se tratan de un modo puramente instrumental (como simples medios, ayudas u obstculos para alcanzar las metas del desarrollo). La participacin crea condiciones para que los actores locales se involucren en los procesos incorporando sus intereses, valores y valoraciones desde una perspectiva intercultural. Entonces, consideramos que la participacin no slo es un enfoque, sino una caracterstica y una apuesta que define nuestra propuesta de evaluacin como tal, y que, en cierta medida, define el sentido de los otros enfoques que se maneja.

15

Enfoque en el aprendizaje
La propuesta concibe a los procesos de evaluacin como procesos de aprendizaje, en la medida que los involucrados adquieren capacidades para el anlisis, la reflexin, la negociacin y la toma de decisiones concertadas en el contexto de la prctica, a la vez que se hacen ms conscientes de su realidad, sus posibilidades y sus perspectivas de cambio. Este nfasis en una mirada crtica sobre la accin en el marco de los proyectos es funcional no slo para garantizar que se est avanzando hacia el logro de los cambios previstos, privilegiando las orientaciones hacia el impacto, sino para aprender cmo hacer mejor las cosas (mejorar la gestin), y aprender tambin del proceso de evaluacin como tal. Se trata de promover el cambio de las personas involucradas en la evaluacin como condicin previa del cambio en las instituciones y los procesos. Se persigue un proceso formativo por el cual los usuarios de los proyectos y otros actores locales no slo adquieren capacidades, sino y fundamentalmente desarrollan actitudes vinculadas al uso sistemtico de la informacin y la reflexin crtica colectiva como herramientas para la toma de decisiones y el mejoramiento permanente de sus propias prcticas. La idea es convertir al actor local en usuario y productor de conocimiento. Slo trabajando con este enfoque podremos esperar que ellos reflexionen sobre los problemas de su propia prctica y los enfrenten haciendo jugar sus propias concepciones y sus propios intereses. Sumado al aprendizaje individual y colectivo que produce el hecho de participar en un proceso de evaluacin, otro resultado importante es el aprendizaje institucional a nivel del proyecto que se produce en el dilogo permanente entre evaluacin y planificacin, y que entrega informacin y otros insumos para mejorar el proceso de gestin en su conjunto. Toda experiencia de evaluacin participativa, es decir, hecha desde adentro, tiende a instalar capacidades y actitudes favorables al desarrollo de una cultura organizacional evaluativa.

Enfoque en el uso de los resultados

Un principio de la evaluacin enfocada en el uso es que los usuarios previstos sern proclives a apropiarse y a usar sus resultados, si entienden el proceso que sigui su ejecucin y si los hallazgos que se obtuvieron les resultan relevantes, situacin que es posible si dichos usuarios participan activamente del proceso (Patton, 2004). Una evaluacin enfocada en el uso es necesariamente una evaluacin participativa. Uno de los aportes ms significativos de este enfoque en la ltima dcada ha sido el uso del proceso de evaluacin como tal (Patton, 1997). Toda evaluacin participativa produce dos tipos de resultados: los hallazgos mismos que son comunes a todo tipo de evaluacin y los aprendizajes individuales y colectivos que se generan por el hecho de participar en procesos de reflexin desde una perspectiva evaluativa. El uso de los hallazgos se vincula estrechamente con los propsitos de cada evaluacin: establecer un valor para los indicadores con que opera un proyecto, para contar con una masa de informacin que permita comparar distintos momentos de la ejecucin, para luego, de ser necesario, revisar y ajustar los resultados previstos (logros, efectos e impactos) y las estrategias de intervencin. El uso de los aprendizajes tiene que ver con aprovechar los cambios en capacidades para la reflexin y el anlisis, en actitudes y conductas, en prcticas y procedimientos, que experimenta la gente por el hecho de participar en procesos de evaluacin. Estos cambios tambin se manifiestan en la cultura organizacional de los proyectos y en la institucionalidad local.

16

Como es lgico deducir, el uso real de los resultados implica flexibilidad en la implementacin de las acciones necesarias para que el proyecto y los actores locales incorporen las recomendaciones, difundan los aprendizajes e institucionalicen los cambios.

Los principios de la evaluacin

Participacin
La evaluacin debe procurar cauces para la participacin, de modo que todos los actores puedan valorar el diseo, la aplicacin y los resultados de la ejecucin de una poltica, programa o proyecto de cooperacin (planificadores, gestores, representantes polticos, organizaciones, contrapartes evaluadas, beneficiarios etc.). De esta forma se prepara el terreno para la concertacin y el consenso en los procesos de decisin pblica sobre la cooperacin al desarrollo.

Aprendizaje e incorporacin de las lecciones de la experiencia

La evaluacin no tiene como finalidad la penalizacin sino el aprendizaje, de forma que se puedan incorporar a la gestin y a la planificacin aquellos elementos que hayan mostrado mayores y mejores logros, cerrando as el ciclo de la transferencia efectiva de las mejores prcticas.

Utilidad
El proceso y los resultados de la evaluacin deben ser tiles a gestores, planificadores, decisores y a la sociedad en general. Para garantizar la utilidad de la evaluacin, el sistema de seguimiento y evaluacin de la Cooperacin Espaola debe contar con las pautas y controles necesarios para promover su calidad y sistematizacin.

Transparencia
La evaluacin debe garantizar la transparencia del proceso de planificacin, gestin y ejecucin de la Poltica de Cooperacin y salvaguardar la del propio proceso de evaluacin, favoreciendo la rendicin de cuentas y ofreciendo respuestas a las necesidades de informacin de todos los actores involucrados en las intervenciones. Para ello, los interesados deben tener acceso a informacin referente a los procedimientos aplicados, la asignacin de recursos y los resultados de las intervenciones. En definitiva, y de acuerdo con la definicin y los principios establecidos, el objetivo general de incremento de la calidad de la ayuda a travs de la mejora de los niveles de eficacia que debe perseguir la evaluacin, se lograr en la medida en que sta sea participativa, imparcial, transparente, se oriente al aprendizaje y genere resultados tiles para mejorar la gestin y la planificacin de las intervenciones. En respuesta a los principios de evaluacin expuestos, y considerando las peculiaridades de la cooperacin internacional como objeto de evaluacin, los condicionantes metodolgicos que stas conllevan y el marco

17

normativo establecido, se considera que se debe aplicar un enfoque de evaluacin caracterizado por la aplicacin de: Una aproximacin integral orientada a resultados: Frente a la concepcin tradicional de la evaluacin como ltima etapa del proceso de planificacin, se defiende la incorporacin de una visin integral e integradora. La evaluacin, con independencia del momento en el que se realice, contempla todas las etapas de la intervencin, desde que se disea hasta que se manifiestan sus resultados e impactos, referentes ltimos de la evaluacin. Y todo ello sin obviar el contexto sociopoltico en el que se desarrolla la intervencin y su evaluacin. Un enfoque pluralista y participativo: Se entiende la evaluacin de la poltica pblica de cooperacin al desarrollo como un proceso de dilogo, que debe promover la participacin activa de los agentes implicados, pblicos y del tercer sector, tanto en los pases donantes como en los receptores, determinando qu informacin necesitan, cundo, cmo y para qu. Una orientacin analtica, formativa y conclusiva: El seguimiento y la evaluacin deben vincular los aspectos de la cooperacin internacional relacionados con la gestin, la realizacin y los resultados para, revelando las relaciones causales e interrelaciones que existen entre ellos, calificar la eficacia y eficiencia de la ayuda al desarrollo. Una estrategia basada en la utilizacin de los resultados: La evaluacin de los diferentes niveles de la planificacin de la Cooperacin al desarrollo se realiza para que sus resultados sean utilizados. Por tanto, debe producir informacin til a todos los implicados y fundamentalmente a sus destinatarios, fortaleciendo el proceso de aprendizaje y la incorporacin de las lecciones de la experiencia al diseo y ejecucin de la poltica.

Desde esta aproximacin integral, la evaluacin se concibe como una metodologa de anlisis sistemtico que se aplica para determinar el mrito o valor de la formulacin y diseo, aplicacin y gestin, as como de los resultados e impactos generados por las intervenciones de la Cooperacin para el desarrollo. De esta manera, la evaluacin se convierte en una herramienta orientada a la planificacin y a la gestin puesto que entre sus propsitos se encuentran: mejorar los procesos de toma de decisiones a travs de mecanismos de retroalimentacin; rendir cuentas ante los ciudadanos de las acciones emprendidas, reforzando el sentido de responsabilidad como parte del proceso de democratizacin y participacin en la toma de decisiones; y contribuir a la formacin, aprendizaje y capacitacin de las organizaciones e instituciones que participan en el proceso de evaluacin.

Actividades de la segunda semana

1. Haga la lectura de la semana. 2. Acceda a un informe de evaluacin de un programa o proyecto, identifique con cules enfoques y principios cumple. 3. Actualice su documento de proyecto.

18

TERCERA SEMANA Tipos de evaluacin

Lectura

Evaluaciones segn su contenido

Segn el contenido de las evaluaciones o las etapas de la intervencin que se analizan se pueden gestionar los siguientes tipos de evaluaciones:

Evaluacin de diseo
Tienen como objetivo analizar la racionalidad y la coherencia de la intervencin, verificar la calidad y realidad del diagnstico realizado, constatar la existencia de objetivos claramente definidos, analizar su correspondencia con los problemas y examinar la lgica del modelo de intervencin diseado. El anlisis de coherencia se puede realizar tanto de forma interna, como en relacin con otras polticas y actuaciones que inciden en los mismos territorios o sobre los mismos colectivos y sectores, as como con los marcos superiores de planificacin en los que se enmarca la intervencin.

19

Evaluacin de proceso o de gestin

Su objetivo es valorar la forma en que se gestiona las actividades planificadas. Se trata de analizar la capacidad de los centros de planificacin y gestin de la intervencin en relacin con su diseo, aplicacin, seguimiento y evaluacin, y de examinar la implicacin y coordinacin de los centros gestores, de donantes y receptores, en dichas tareas, determinando el rol de cada uno, la idoneidad de la organizacin y la suficiencia en la dotacin de recursos.

Evaluacin de resultados
El objetivo principal es analizar y valorar hasta qu punto se pueden conseguir, se estn consiguiendo o se han conseguido, los objetivos ms inmediatos y directos establecidos (eficacia), y examinar a qu coste se alcanzan en trminos de tiempo y recursos humanos, materiales y monetarios (eficiencia).

Evaluacin de impactos
El objetivo es valorar los efectos ms generales y menos inmediatos de la intervencin sobre las necesidades de sus beneficiarios. Es un anlisis complejo, pues debe indagar en las relaciones de causalidad entre la intervencin y los cambios habidos (efecto neto), deslindndolos de los efectos producidos por intervenciones distintas a la evaluada o por la propia evolucin del contexto. Frente a la concepcin tradicional de la evaluacin como ltima etapa del proceso de planificacin, centrada, principalmente en la valoracin de resultados, el enfoque actual la sita desde el primer momento de la formulacin y diseo de las actuaciones, con la particularidad de no limitarse exclusivamente a valorar sus efectos una vez finalizadas. As entendida la evaluacin, el diseo, el proceso y los resultados e impactos son contenidos que pueden evaluarse en cualquier momento: antes de la puesta en marcha de la intervencin, durante la ejecucin o una vez finalizadas las actuaciones.

Evaluaciones segn el momento en que se realizan

Segn el momento temporal en el que se realizan las evaluaciones en relacin con el ciclo de vida de la intervencin evaluada se distingue entre: evaluacin exante, intermedia, y ex-post.

Evaluacin ex-ante
Se realiza antes de poner en marcha la intervencin, siendo el objetivo principal analizar su adecuacin a las necesidades que la motivan y sus posibilidades de xito. Tambin se pronuncia sobre la coherencia interna de la lgica de planificacin, la funcionalidad de los mecanismos de gestin y aplicacin que se pretenden articular, sobre la idoneidad del sistema de seguimiento diseado para recoger la informacin, y sobre los resultados e impactos previsibles del programa. Es en definitiva, una evaluacin prospectiva.

Evaluacin intermedia
Se lleva a cabo a medio camino en el desarrollo de la intervencin. Consiste en la valoracin crtica de la informacin producida sobre el comportamiento de las actuaciones para determinar la pertinencia de los objetivos considerados, la calidad del sistema de gestin y seguimiento que se est aplicando, la forma en la que los objetivos perseguidos se estn consiguiendo y, en definitiva, pronunciarse sobre la validez de la intervencin en curso, explicando las diferencias respecto a lo esperado, y estimando anticipadamente los resultados finales de la intervencin. No debe confundirse a la evaluacin intermedia con el seguimiento. La diferencia entre ambos radica, como ya se ha comentado, en que el seguimiento permite informar, de manera aislada, de los elementos de la intervencin (coherencia con otras intervenciones, ejecucin y aplicacin de las actuaciones, grado de participacin de la poblacin objetivo, y evolucin del contexto socioeconmico, entre otros), mientras que con la evaluacin se relacionan todas las variables para emitir un juicio crtico sobre sus mritos y logros.

20

Evaluacin ex-post
Se realiza una vez finalizada la intervencin. Su objetivo es emitir un juicio sobre el xito o fracaso de la intervencin desarrollada, el acierto de la estrategia diseada, su grado de flexibilidad y capacidad de adaptacin a una realidad siempre cambiante, su eficacia y eficiencia, la adecuacin de los mecanismos de gestin y seguimiento aplicados, y los resultados e impactos logrados. Puesto que es necesario dejar transcurrir un tiempo desde la finalizacin de la intervencin para que se manifiesten los impactos y efectos ms indirectos, suele distinguirse entre evaluacin final (realizada nada ms terminar la intervencin) y evaluacin expost (realizada en un momento posterior). Son evaluaciones retrospectivas. Realmente, las evaluaciones ex ante, intermedia y ex post no constituyen una tipologa de evaluaciones sino una manera de clasificarlas en funcin de cuando se realizan. Sin embargo, es frecuente relacionar el momento en que se desarrolla la evaluacin con la etapa de la intervencin, y caer en el error de considerar que en las evaluaciones ex-ante nicamente se valora el diseo de la intervencin, en las intermedias el proceso y los resultados que se estn alcanzando, y en las ex post los resultados e impactos finales. Es cierto que las evaluaciones realizadas ex ante suelen centrar su atencin en la valoracin de la pertinencia del diagnstico y la coherencia interna y externa de la estrategia. Pero tambin pueden valorarse en este momento aspectos relacionados con la gestin o los resultados esperados de la intervencin, aunque sta no se haya iniciado. Siguiendo esta misma lgica, en una evaluacin intermedia se podr evaluar, adems del proceso de gestin de la intervencin, la calidad de su diseo, o revisar los resultados y objetivos previstos tras realizar una valoracin crtica de lo realizado hasta el momento y analizar la evolucin del contexto. Consecuentemente, cuando concluyan las actividades programadas, puede plantearse una evaluacin exante en la que, junto a los resultados obtenidos, se analicen el diseo y el desarrollo de la intervencin. Por tanto, los criterios que clasifican a las evaluaciones segn el momento en que se realicen y segn su contenido no son excluyentes. Las evaluaciones ex-ante, intermedia y ex-post pueden englobar todos los tipos de evaluacin contemplados en la clasificacin segn su contenido (diseo, proceso, resultados e impactos). De este modo, la perspectiva que clasifica la evaluacin segn su contenido ampla la interpretacin de la evaluacin como una fase independiente de la intervencin, para definirla como una filosofa o cultura que debe imbuir todas y cada una de las etapas de su ciclo de vida. En resumen, el diseo y planificacin de la evaluacin deben gestarse desde el inicio de las intervenciones para que pueda contribuir a mejorar los procesos de aprendizaje y capacitacin institucional. Es decir, se debe planificar pensando en evaluar (al igual que se debe evaluar pensando en planificar). As, planificacin y evaluacin se convierten en procesos interrelacionados que caminan a la par.

21

Evaluaciones segn quien las realiza

Segn la relacin existente entre las entidades que gestionan la intervencin y quienes realizan la evaluacin se distingue entre evaluaciones internas o autoevaluaciones, evaluaciones externas y evaluaciones mixtas (internas asistidas).

Internas o autoevaluaciones
Realizadas por personal adscrito a la entidad gestora de la intervencin evaluada, organizado o no en una unidad de evaluacin, sin la contratacin de especialistas externos.

Externas
Realizadas por personal ajeno a la entidad gestora o responsable de la intervencin, alternativa que es obligatoria para muchas de las evaluaciones reglamentarias.

Mixtas (o internas asistidas)

Realizadas por personal vinculado organizativamente a la intervencin evaluada con una asistencia tcnica externa, para que oriente el proceso o desarrolle el trabajo de evaluacin sobre el terreno. La realizacin de una evaluacin externa contribuye a aumentar la independencia y la credibilidad de la evaluacin, debido a la objetividad que se le presupone al equipo externo, frente a la evaluacin interna, en la que la implicacin de los evaluadores en la planificacin y/o gestin de la intervencin se entiende como un sesgo hacia la valoracin favorable de lo evaluado.

22

Sin embargo, esta dicotoma entre objetividad y subjetividad, y entre independencia y credibilidad, se ha venido limando en los ltimos aos, pues la evidencia emprica ha puesto de manifiesto los beneficios de contar en la evaluacin con personal tcnico de la organizacin que conozca los elementos culturales y organizativos principales y estn familiarizados con el objeto de evaluacin y su contexto, garantizando as una mayor adecuacin del proceso evaluativo a la realidad a evaluar. Adems, cuando la unidad de evaluacin es independiente de la planificacin y gestin de las intervenciones, la credibilidad del proceso aumenta. De hecho, la tendencia internacional en materia de cooperacin al desarrollo as lo corrobora. Consecuentemente, en el Plan Director se apuesta por la consolidacin de un sistema basado en evaluaciones mixtas, respetando en todo momento los principios de imparcialidad e independencia (MAE 2005: 116), lo que contribuir, sin duda, al fortalecimiento del sistema de seguimiento y evaluacin de la Cooperacin para el desarrollo y a la institucionalizacin y generalizacin de la cultura de la evaluacin. Otra de las ventajas a considerar si se decide realizar una evaluacin interna o mixta es la dedicacin a tiempo completo del equipo y la apropiacin del aprendizaje durante el proceso (experiencia que queda en la organizacin), lo que permite aumentar las posibilidades de uso de los resultados de la evaluacin, fomentando la introduccin de mejoras en las intervenciones.

Evaluaciones segn las entidades que las promueven

Atendiendo al nmero de entidades que promueven la evaluacin se distingue entre:

Individuales
Aquellas que son promovidas por una nica entidad.

Conjuntas
Aquellas promovidas por un grupo de entidades que coparticipan durante todo o parte del ciclo de la evaluacin. Las tendencias marcadas en los foros internacionales sobre la ayuda al desarrollo giran hacia la colaboracin y armonizacin de esfuerzos entre donantes y hacia el alineamiento con los procesos de desarrollo de los pases receptores. En este contexto, en el que los objetivos de desarrollo slo pueden conseguirse a travs de la corresponsabilidad, es donde entra en juego la realizacin de evaluaciones conjuntas. Las evaluaciones conjuntas son aquellas realizadas en el marco de un partenariado, es decir, son aquellas conducidas por ms de un organismo vinculado con la cooperacin, ya sea donante o receptor. El diseo de la evaluacin, la coordinacin de los trabajos y la comunicacin e incorporacin de las recomendaciones se hace de manera compartida. El diseo y desarrollo de una evaluacin conjunta puede ser ms complejo, lento y costoso que el de una individual. En primer lugar, porque puede que la creacin del partenariado no sea fcil debido a la dificultad de encontrar a otro donante interesado en su evaluacin. En segundo lugar, los miembros del partenariado pueden tener procedimientos y objetivos polticos diferentes, con lo que los aspectos relacionados con la definicin de las cuestiones de evaluacin, la redaccin de los trminos de referencia, la seleccin de un equipo de evaluacin que sea aceptado por todos los miembros del partenariado, los acuerdos sobre el reparto de costes y responsabilidades, la revisin del informe de evaluacin, etc. hacen que el proceso de negociacin entre las partes y la organizacin del trabajo de evaluacin conlleven ms tiempo y sean ms complejos, sobre todo cuando el nmero de participantes es elevado. Lo normal en estos casos es asignar a una institucin o a un reducido nmero de socios la responsabilidad de gestionar la evaluacin. Sin embargo, sus beneficios tambin pueden ser mayores de cara al aprendizaje y mejora de la Poltica de Cooperacin y a la apropiacin de sus resultados ya que: Ofrecen la oportunidad para la armonizacin y el alineamiento de los procesos de evaluacin, favoreciendo el aprendizaje de modelos de evaluacin y buenas prcticas de otros actores.

23

Reducen el nmero de evaluaciones llevadas a cabo, lo que supone una disminucin de los costes de transaccin (al compartir gastos) y de las demandas de informacin (evitando la duplicidad de esfuerzos). Fomentan la participacin, la construccin mutua de capacidades y favorecen el entendimiento entre los socios que conforman el partenariado para gestionar la evaluacin. Incrementan la aceptacin y legitimidad de los resultados y recomendaciones.

Las siguientes indicaciones pueden ayudar a decidir sobre la oportunidad y pertinencia de poner en marcha un proceso de evaluacin conjunta: Cuando existe un inters compartido por el objeto de evaluacin, por ejemplo cuando se trata de evaluar una intervencin cofinanciada por ms de un donante, o se quiere realizar una evaluacin temtica. Cuando se quiera incrementar la armonizacin y alineamiento del programa de trabajo con otros donantes o con el pas socio. Cuando existen acciones similares o complementarias sobre un mismo territorio, colectivo o sector de actuacin. Cuando el objetivo de la evaluacin es valorar la consecucin de objetivos globales de desarrollo (sectoriales o temticos en un pas concreto) y no determinar exclusivamente los objetivos atribuibles a una intervencin determinada. Cuando es necesario generar una masa crtica suficiente y pertinente de pequeas intervenciones para que su evaluacin sea viable.

En la Figura, se presentan algunos de los elementos a considerar para elegir entre una evaluacin individual o conjunta.

Evaluaciones segn su temtica y objeto

Segn el nivel de planificacin que es objeto de evaluacin se distingue entre:

De estrategias 24

Tienen por objeto una poltica, plan o estrategia general de actuacin, entendida sta como un conjunto de directrices y principios que orientan la aplicacin, en determinado territorio, sector o periodo de tiempo, de un conjunto de intervenciones de carcter ms operativo. Centran su atencin sobre mbitos relacionados con la coherencia estratgica de la intervencin en el sistema de ayuda: su pertinencia, armonizacin con otros donantes, alineamiento con las estrategias de desarrollo de los pases receptores, apropiacin de los procesos de desarrollo y contribucin al logro de los Objetivos Del Milenio - ODM. Se pueden realizar tomando como insumos los resultados de las evaluaciones de las intervenciones de carcter ms operativo integradas en la estrategia. Sus aprendizajes son de carcter general y son susceptibles de ser extrapolados a otros contextos y transferidos a polticas generales.

De instrumentos operativos
Tienen por objeto las intervenciones de carcter ms operativo a travs de las que se la cooperacin para el desarrollo. Atienden a aspectos relacionados con la ejecucin de la propia intervencin (eficacia, eficiencia, pertinencia, etc.), aunque tambin se analiza la coherencia externa con los marcos ms amplios de planificacin. Sus aprendizajes son de carcter ms concreto, y pueden retroalimentar la gestin de la propia intervencin o transformarse en buenas prcticas transferibles a otras intervenciones o a la planificacin de intervenciones futuras.

Evaluaciones de la evaluacin: metaevaluacin

Adems de los tipos de evaluacin mencionados, tambin es necesario considerar que la propia evaluacin puede ser evaluada, lo que se conoce con el nombre de metaevaluacin. Las metaevaluaciones se centran en analizar la calidad tcnica y metodolgica del proceso evaluativo, ofreciendo indicaciones sobre las estrategias de evaluacin seguidas, su idoneidad en relacin con el objeto evaluado y los propsitos e intereses a los que sirve. Por tanto, la metaevaluacin cumple dos funciones: una normativa (describir cmo debe ser la evaluacin), y otra positiva (describir cmo son las evaluaciones).

Actividades de la tercera semana

1. Haga la lectura de la semana. 2. En la copia de una evaluacin, (con la que ya cuenta) identifique a qu tipo de evaluacin corresponde

3. Actualice su documento de proyecto.

25

CUARTA SEMANA Los criterios de la evaluacin

Lectura
La mayora de los criterios y conceptos bsicos utilizados en la evaluacin son universalmente aceptados y utilizados por todas las organizaciones de la comunidad de los donantes. Estn fundados en los criterios para la evaluacin del OECD/DAC [1998], y se dirigen a cinco temas principales: 1. Pertinencia 2. Eficiencia 3. Eficacia 4. Impacto 5. Sostenibilidad Cada uno de estos criterios est vinculado a elementos clave del marco lgico, como se explica en la tabla siguiente y en los prximos prrafos.

Pertinencia: La pertinencia de un proyecto se refiere a su formulacin y concierne la medida en la cual el diseo original: responde a las necesidades de los beneficiarios y enfrenta los problemas identificados;

26

refleja las prioridades de desarrollo y las polticas de los partners locales; contribuye a las prioridades de desarrollo de la ONG.

La pertinencia se debe verificar durante el desarrollo del proyecto, y se concentra en la idoneidad del diseo con respecto a la resolucin de problemas en dos momentos temporales: cuando se ha planificado el proyecto y al momento de la evaluacin. El anlisis de la pertinencia se refiere a la vigencia de la razn bsica del proyecto y se concentra en: 1. La consistencia del diseo frente a la situacin local y a la coherencia con otras acciones: identificacin y seleccin de grupos meta y/o beneficiarios; identificacin de las necesidades y prioridades de grupos meta y/o beneficiarios; participacin de las partes interesadas locales en la fase de formulacin; apreciacin de las capacidades locales de absorcin y de ejecucin; coherencia con otras iniciativas de desarrollo en el mismo pas, regin y/o sector.

2. La lgica global de la formulacin del proyecto: calidad del ML, incluyendo las hiptesis y los riesgos identificados; realismo en la seleccin de los objetivos y de los servicios que se pretende ofrecer; grado general de flexibilidad.

Eficiencia: La eficiencia se refiere a la medida en la cual: se brindan y se gestionan los servicios; se realizan las actividades previstas en el modo ms apropiado dados los recursos y el tiempo disponible; se hace todo esto con los menores gastos para producir los resultados esperados.

Por lo tanto, la eficiencia enfrenta la siguiente cuestin: si hubiera sido posible lograr resultados similares o mejores utilizando otros medios a un costo ms bajo y en el mismo perodo de tiempo, o al mismo costo pero en un tiempo ms corto. El anlisis de la eficiencia se concentra en: 1. La calidad de la gestin del proyecto: 1. gestin del presupuesto; 2. oportuna prestacin de los servicios segn el cronograma establecido; 3. relacin con las partes interesadas (beneficiarios e instituciones locales, autoridades); 4. calidad de los procedimientos y prcticas de monitoreo, incluso el uso de indicadores de eficiencia. 2. El uso de la alternativa econmicamente ms efectiva para conseguir los mismo resultados. 3. Los resultados inesperados eventualmente originados de las actividades del proyecto.

Eficacia: La eficacia se refiere a la medida en la cual:

27

el proyecto produce los resultados esperados; los resultados conseguidos permiten lograr el objetivo especfico del proyecto.

La eficacia registra si se ha conseguido la relacin planificada entre objetivo especfico y resultados y si los beneficios programados han sido recibidos por los beneficiarios. Se concentra especialmente en: 1. Los factores que influyen la consecucin del objetivo especfico, incluyendo los factores externos inesperados. 2. La capacidad de gestin para asegurar que los resultados conseguidos permitan lograr el objetivo especfico. 3. La reaccin d los beneficiarios y el uso del los resultados y beneficios del proyecto. 4. Los resultados no programados que pueden afectar el proyecto. 5. Los efectos potenciales obtenidos sobre los temas transversales como el gnero, el medio ambiente y la reduccin de la pobreza. Impacto: El impacto se refiere a los efectos del proyecto sobre los beneficiarios meta as como a sus efectos globales sobre un mayor nmero de personas, al interior del sector o del rea geogrfica, en trminos de factores tcnicos, econmicos, socioculturales e institucionales. El impacto se refiere a la relacin entre el objetivo especfico y los objetivos globales del proyecto, teniendo en cuenta que a este nivel el proyecto es normalmente una de las variables que contribuyen a un ms amplio resultado. El anlisis del impacto normalmente se concentra sobre: 1. La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecucin. 2. Los factores externos que han influido sobre el impacto global y la capacidad del proyecto para responder a estos factores. 3. Los posibles impactos no planificados del proyecto y sus efectos sobre el impacto global. 4. Los posibles efectos a largo plazo del proyecto. 5. Los impactos del proyecto sobre los temas transversales: gnero, medio ambiente, pobreza. Algunos donantes se refieren al impacto empezando desde el nivel del objetivo especfico. Sostenibilidad: La sostenibilidad es a menudo uno de los criterios ms importantes de evaluacin y se refiere a la medida en la cual: los impactos positivos del proyecto a nivel del objetivo especfico tienen la posibilidad de continuar despus del cierre de la asistencia externa; los grupos mta y/o beneficiario quieren, y pueden, seguir realizando las actividades empezadas por el proyecto y por lo tanto seguir cumpliendo sus objetivos.

Este criterio es muy amplio y la importancia relativa de los diferentes temas depende de la naturaleza del proyecto y de su relacin con el contexto local. Los anlisis de sostenibilidad pueden centrarse en: 1. Sentido de apropiacin de las partes interesadas de los objetivos (participacin en su definicin durante la fase de planificacin) y consecucin (participacin durante la ejecucin del proyecto). 2. Sostenibilidad institucional: la medida en la cual el proyecto influye y respeta las caractersticas de las organizaciones y/o instituciones locales; la capacidad de stas de desempear su papel despus del cierre del proyecto y la adecuacin del presupuesto del proyecto para este objetivo.

28

3. Sostenibilidad financiera: si los servicios brindados pueden seguir funcionando cuando se agoten los fondos externos; si hay suficientes fondos para cubrir todos los gastos y si se genera una capacidad local de sostener los gastos de operaciones despus del cierre del proyecto. 4. Sostenibilidad sociocultural: si el proyecto tiene en cuenta la percepcin local de las necesidades y el sistema local de estatus y creencias; si los beneficiarios y las otras partes interesadas han aceptado (y cmo) los cambios producidos por el proyecto. 5. Sostenibilidad tcnica: si la tecnologa y el conocimiento brindados se concilian con las tradiciones, capacidades y conocimientos existentes; si los beneficiarios pueden mantener la tecnologa adquirida sin ulterior asistencia externa. 6. Posibilidad de replicar los impactos exitosos para una posible extensin del proyecto o de iniciativas similares.

29

Actividades de la cuarta semana

1. Haga la lectura de la semana. 2. Revise el informe de evaluacin disponible, luego comprelo con la matriz de marco lgico del diseo del programa, para determinar si la evaluacin permiti identificar la pertinencia, eficacia y efectividad de dicho programa o proyecto. 3. Actualice su documento de proyecto.

30

QUINTA SEMANA Pautas para disear un sistema de seguimiento y evaluacin

Lectura
Al seguir con cuidado los pasos que se describen a continuacin, vamos a tener las bases suficientes para el diseo de los Subsistemas de Seguimiento y Evaluacin -SSE-. La informacin que vamos obteniendo, la podemos registrar en el cuadro siguiente para tener una visin global del proceso de diseo. Es conveniente contar con la mayor participacin posible tanto del personal de nuestra organizacin, como de las organizaciones de base, para garantizar la viabilidad y pertinencia del SSE que diseemos.

Pautas para el diseo de un SSE

1. Lo primero que necesitamos hacer al iniciar el diseo del SSE es identificar los actores y actoras a quienes hay que reportar cualquier tipo de informacin sobre el proyecto que desarrollaremos o desarrollamos (en el caso de proyectos en marcha que no cuentan con un SSE desarrollado). Esta informacin la colocamos en la primera columna del cuadro. Es importante hacer un listado lo ms completo posible de esas personas, entidades y organizaciones (la lluvia de deas es una buena tcnica para esto) y luego ver la posibilidad de agruparlas. No debemos olvidar en esa lista a las organizaciones de base y a las instancias directivas, operativas-tcncas y administrativas-financieras de nuestra organizacin, que tambin requieren informacin sobre el desarrollo del proyecto, as como las agencias y otras. 2. Luego, debemos identificar las necesidades de informacin de esos actores y actoras, en forma de preguntas para responder y las colocamos en la segunda columna del cuadro. Por ejemplo, no decimos que al director de la ONG debemos reportarle "los resultados obtenidos", sino que planteamos una pregunta con ese sentido; podra ser: "Cunto hemos logrado de los resultados que nos propusimos?". De la misma manera, para el coordinador o coordinadora del Proyecto no colocamos "cumplimiento de actividades" sino, por ejemplo, "Cules de las actividades programadas hemos realizado, cules no y por qu? Cules se han hecho en el tiempo previsto y con el uso de recursos presupuestado, cules no y por qu? En cules hemos logrado lo que pretendamos, en cules no y por qu?". Lo importante es plantear preguntas claras y concretas que posteriormente nos orienten el anlisis. Es posible que varios actores/as requieran la misma informacin; si ese es el caso, es importante colocar la misma pregunta frente a todos ellos para no olvidar esa informacin cuando estemos haciendo los informes.

31

En la formulacin de las preguntas debemos tambin hacer un esfuerzo de imaginacin para plantear qu es lo que esas personas y organizaciones podran querer que les respondamos. El conocimiento previo que tenemos de la agencia o agencias que nos apoyan/ de nuestra organizacin y de las organizaciones de base con quienes trabajamos, nos facilitar esta tarea. Si tenemos tiempo (y recursos) podemos hacer un sondeo rpido sobre las preguntas que hemos identificado para cada actor o actora para ajustaras, quitar o agregar alguna que hayamos olvidado, antes de terminar el diseo del SSE. Si eso no es posible durante el diseo del Sistema, en el momento que nos demos cuenta que alguno de esos actores o adoras nos pide una informacin que no hayamos previsto, podemos agregarla al SSE sin ningn problema. 3. Despus de tener las preguntas claras regresamos a nuestro Plan del Proyecto para determinar los indicadores con los cuales podremos responder las preguntas que hemos identificado. En la tercera columna del cuadro y frente a cada pregunta colocamos el indicador o los indicadores (de efecto y de impacto) que nos ayudarn a contestarlas. Podemos utilizar abreviaturas o nmeros para no tener que colocar toda la descripcin del indicador. Si encontramos que un mismo indicador nos ayudar a contestar ms de una pregunta, debemos colocarlo frente a cada una de ellas. Este ejercicio nos ayudar a concretar y precisar los "cruces" de indicadores que debemos hacer para responder a las necesidades de informacin de todas las personas, instituciones y organizaciones relacionadas con nuestro proyecto. Despus que terminamos de ubicar los indicadores en todas las preguntas, podemos encontrarnos con que hay indicadores del proyecto que no van a responder ninguna pregunta (quedan sin ubicar), esto es, que pensamos que nadie requiere ta informacin que podemos "levantar" con ese indicador y por ello debemos revisar si ese indicador es pertinente y necesario; y si no lo es, debemos suprimirlo (puesto que la recoleccin y anlisis de la informacin es siempre costosa, no debiramos "levantar" informacin que no utilizaremos). Tambin puede pasar que tengamos una o varias preguntas para las cuales no encontramos indicadores. Si este es el caso, debemos revisar la pregunta y ver s la informacin para responderla la podemos encontrar en "sitios" diferentes a los indicadores como por ejemplo en el presupuesto (para preguntas como: Cul de nuestras estrategias es ms eficiente?) o en los materiales que elaboramos. Si vemos que es una pregunta realmente pertinente y necesaria y no encontramos dnde recoger la informacin respectiva, debemos entonces ver si es que olvidamos formular algunos indicadores: y si es as, hacerlo (y por lo tanto tendremos que revisar tambin los resultados anuales y/o las situaciones finales correspondientes). 4. Despus de tener claro a quines debemos informar, cul es la informacin que requieren y con qu indicadores responderla, determinamos en dnde vamos a encontrar la informacin que necesitamos. Puede ser: los talleres de A; las actas de reunin de la organizacin X; los diarios de campo, las reuniones del Comit Y, los convenios, etc. En el caso de preguntas relacionadas con el presupuesto, los "dnde" pueden ser: facturas o comprobantes de ingreso y egreso, etc. Esta informacin la colocamos en la cuarta columna del cuadro de Pautas para el diseo del SSE. 5. El paso siguiente es definir en quines recogeremos la informacin, es decir, definir en cules personas y/o familias, cules organizaciones y cul "sociedad local", esperamos recoger la informacin. Esto lo colocamos en la quinta columna del cuadro. 6. Despus, vemos cada cunto recogeremos la informacin que necesitamos, de acuerdo a la periodicidad de los informes. Por ejemplo: para informes mensuales, necesitaremos recoger la informacin mnimo cada quince das, para poder tenerla recogida y analizada al momento de hacer el Informe mensual; para informes trimestrales, podemos usar los informes mensuales como base del anlisis; para informes semestrales podemos usar los mensuales o trimestrales (segn los que hayamos acordado hacer) y recoger alguna informacin puntual y clave del semestre, por lo menos quince das antes de hacer el informe semestral y as sucesivamente. Estos datos los colocamos en la sexta columna del cuadro. 7. Por ltimo, tenemos que determinar cmo recogeremos la informacin que necesitamos, esto es, cules son las tcnicas por medio de las cuales pensamos que podremos obtener la informacin requerida. En la sptima columna solo colocamos el nombre de la tcnica: Entrevista con informantes claves, talleres con la comunidad, grupo focal, etc.. La construccin de los instrumentos especficos para

32

desarrollar cada una de las tcnicas, se har posteriormente. El proceso de identificar las tcnicas a travs de las cuales recogeremos la informacin de los indicadores nos permitir, una vez ms, afinarlos y ajustarlos, esto es, definirlos mejor y/o desechar algunos por el alto costo o dificultad para recogerlos. Finalmente, es importante identificar el responsable o responsables del levantamiento y procesamiento de la informacin y/o de la aplicacin de cada una de las tcnicas. Una vez este cuadro de Pautas est totalmente diligenciado, tenemos las bases para el diseo tanto del Subsistema de Seguimiento como del de Evaluacin. Pasemos, entonces, al Subsistema de Seguimiento.

Subsistema de seguimiento
Generalmente se usan indistintamente las palabras Seguimiento y Monitoreo y aunque tcnicamente se refieren a las mismas acciones (monitoreo es un anglicismo tomado de "monitorng" que significa observar, seguir de cerca el desarrollo de una accin), en nuestro medio la palabra Monitoreo tiene ms el sentido de "seguimiento externo" realizado por la agencia de cooperacin o por la institucin contratada por sta para esa actividad. El Seguimiento consiste en la comprobacin, en forma continua y permanente, de la ejecucin de actividades para asegurarse que la entrega de recursos, el cronograma de trabajo y los logros previstos, se van desarrollando de acuerdo al Plan acordado. Como lo mencionamos anteriormente, el POA (cronograma y presupuesto) es el referente especfico del Seguimiento. Cuando hablamos de logros nos referimos a los cambios causados directamente por la ejecucin de una actividad, para garantizar e! Avance hacia la obtencin de los Resultados Anuales planeados. La comprobacin sealada permite la revisin y ajuste de las actividades programadas y por consiguiente del presupuesto acordado, en funcin de los Resultados Anuales que se esperaban alcanzar, es decir, permite la retro-alimentacin de la planeacin operativa anual y de la planeacin financiera para mejorar la gestin de los programas y proyectos durante su ejecucin (en esto se asemeja a la Evaluacin Continua). Por tanto, la finalidad del Seguimiento es entregar informacin que permita una oportuna toma de decisiones para asegurar que las actividades se cumplan de acuerdo a lo programado (oportunidad), con el uso de los recursos que se han presupuestado (eficiencia) y adems, que se estn obteniendo los logros que se esperaban (eficacia). Por ello es una herramienta muy importante en la gestin de proyectos. En el sentido sealado, el Seguimiento debe ser un proceso interno del proyecto, realizado por cada una de las personas que ejecutan alguna de las actividades sealadas en el POA (autoseguimiento personal) y las que tienen funciones de supervisin y control (autoseguimiento institucional) y no una accin de "vigilancia" o supervisin externa. En trminos generales, es conveniente tener reuniones de Autoseguimiento institucional por lo menos cada mes, con la informacin que cada uno de lo miembros del equipo tiene de su autoseguimiento personal, el cual debe hacerse cada vez que ejecutamos una actividad. Este es el sentido del seguimiento como "proceso permanente y continuo". Despus de haber aclarado estos conceptos, podemos pasar al montaje del Subsistema de Seguimiento. Como el referente del Seguimiento es el POA, ese va a ser la base principal para "armar" este Subsistema. Adems podemos apoyarnos en el cuadro de "Pautas para el diseo de! SSE", seleccionando aquellas preguntas referidas directamente a la ejecucin de las actividades y al presupuesto. Esto nos facilita tener claro a quin debemos reportar esa informacin, cada cunto y con ello disear: i) el Cronograma de Seguimiento (que debemos agregar al POA del ao respectivo para asegurar que tendremos el tiempo y los recursos necesarios para ejecutarlo), ii) los formatos para recoger la informacin (teniendo en cuenta las tcnicas seleccionadas y que hemos colocado en ese cuadro) y iii) los Informes de Seguimiento que, en trminos generales son para uso interno en nuestra organizacin ya que nos permiten conocer los logros y las dificultades encontradas en el desarrollo de las actividades con el fin de hacer los ajustes necesarios para lograr lo que hemos acordado, aunque es conveniente colocar una sntesis del Inform de Seguimiento en el Informe de Avance Programtico que se enva a CORDAID(11). El cronograma de seguimiento, los formatos para recoger la informacin durante las actividades, los formatos para agregar la informacin y los Informes de Seguimiento, conforman el Subsistema de Seguimiento.

33

La "adaptacin" al POA que se presenta a continuacin, puede constituirse en la base para hacer el Seguimiento Personal y de Equipo durante el primer semestre del ao.

a) Cuadro para cumplimiento de Actividades y Ejecucin Presupuestas. Primer Semestre

Este cuadro deberamos elaborarlo en forma individual inmediatamente despus de tener e) POA del proyecto, "bajando" las actividades que sern nuestra responsabilidad especfica. Con el cuadro podremos ir haciendo el seguimiento permanente a las actividades programadas, al uso que estamos haciendo de los recursos y anotando, en las observaciones, las razones por las cuales no hemos podido realizar alguna actividad, la hemos realizado en una fecha diferente a la programada, debimos realizar una actividad adicional (no programada), hemos usado menos o ms del presupuesto que nos han asignado, etc. En las reuniones de seguimiento del Equipo (que es conveniente realizar cada mes como mnimo) vamos agregando informacin en un cuadro semejante ya no individual sino para el Equipo. Adicionalmente podemos tener el cuadro siguiente, para ir "agregando" informacin de logros y dificultades en la ejecucin de las actividades que luego podremos usar en las reuniones de Evaluacin Continua (lo referente a este tipo de evaluacin se presenta ms adelante, en el punto correspondiente al Subsistema de Evaluacin) para analizar cunto hemos avanzado en la obtencin de los Resultados Anuales a travs de los logros de actividades individuales. Este cuadro es ms apropiado para diligenciarse a nivel personal con las actividades que estn bajo la responsabilidad de cada una de las personas del equipo.

b) Cuadro para agregar informacin sobre dificultades y logros obtenidos con las actividades. Semestre____

Como se ha mencionado, este ltimo cuadro nos permite ir "vaciando" y "agregando" informacin, que debemos recoger con instrumentos construidos especialmente para cada una de las actividades que se realizan, teniendo en cuenta la informacin del cuadro de Pautas para el diseo de SSE. Con la informacin de este cuadro podemos hacer un anlisis de la pertinencia de las estrategias y actividades que hemos planeado

34

realizar, al contar con informacin sobre las causas externas (y en cierta medida tambin las internas) que han dificultado el logro y/o resultado propuestos La informacin agregada en los dos cuadros anteriores nos permitir, al tiempo que vamos documentando nuestra intervencin (informacin clave para la Sistematizacin), tener la informacin clara para las reuniones de Seguimiento del Equipo de trabajo a fin de determinar las modificaciones o ajustes que debemos hacer para asegurar la obtencin de los Resultados Anuales. Los ajustes al POA que hacemos despus de la reunin de seguimiento y evaluacin semestral, los podemos colocar en el cuadro siguiente:

c) Cuadro para Ajuste al POA. Segundo Semestre____

Actividades de la quinta semana

1. Haga la lectura de la semana. 2. Disee o redisee el sistema de seguimiento y evaluacin para el programa que ser evaluado. 3. Actualice su documento de proyecto

35

SEXTA SEMANA Preparando el monitoreo y la evaluacin

Lectura
Tarea 1: Por qu quiere realizar una evaluacin?
Es importante saber por qu quiere comenzar el proceso de MyE ahora porque le ayudar a definir por dnde comenzar y cmo enfocar el proceso. Por ejemplo, si quiere usar el proceso de MyE para entender por qu un programa no funciona como se esperaba, lo primero que se puede hacer es hablar con el personal que implementa el programa y revisar algunos datos bsicos de monitoreo. Si, en cambio, un financiador ha preguntado qu impacto tuvo un programa recin terminado, entonces se debe clarificar primero con el financiador cules son sus preguntas y necesidades respecto a la evaluacin. Algunas razones comunes de querer realizar una evaluacin: 1. Un programa existente tiene problemas y se quiere averiguar cules son los problemas y cmo resolverlos. 2. Se quiere entender qu es lo que un programa existente ha logrado o est logrando. 3. Se est desarrollando un programa y se quiere que el plan de MyE sea parte del plan del programa desde un principio. 4. Una persona u organizacin externa, probablemente un financiador, quiere saber el impacto del programa.

Tarea 2: Revisar objetivos, actividades e implementacin del programa - Es ahora el momento de invertir en el proceso de MyE?
Sin importar sus razones por empezar un proceso de MyE, es un buen momento para revisar la lgica detrs de sus objetivos y actividades de programa. Esto es, esencialmente, una mini-revisin de su trabajo para determinar si su programa est preparado para un proceso completo de MyE. Es muy importante tener claridad sobre lo que se quiere lograr con su programa para disear una evaluacin efectiva. Por ejemplo, si se revisa la razn por cada actividad y se descubre que algunas actividades no estn bien conectadas a un objetivo, quizs quiera considerar cambiar esa actividad. O quizs si revisa su curriculum de capacitacin, descubre que algunos mensajes ya no se relacionan a su actual forma de pensar. Entonces, a lo mejor querr hacer los cambios a su curriculum antes de seguir con el proceso de MyE. Hay que saber si el programa generalmente se est implementado como se haba planeado antes de completar el proceso de MyE. Por ejemplo, si se descubre que las mujeres y los hombres a los que ms se quiere llegar no asisten sus talleres, entonces quizs se debe enfocar en esfuerzos de reclutamiento para los talleres antes de empezar la evaluacin. Si no es as, entonces ya se habr logrado algo con su proceso de evaluacin.

Tarea 3: Evaluar su programa: Manejar el riesgo

Realizar una evaluacin de programa puede ser especialmente difcil para las personas que han desarrollado y estn implementando el programa. Es importante abordar desde el principio lo que puede pasar con los hallazgos, particularmente qu pasar si los hallazgos no son los que se esperaban. Si se descubre que el programa no logr sus objetivos, qu pasar? Se usarn estos hallazgos para modificar el programa? Se afectar el financiamiento del programa? Se pondr en riesgo algn empleo?

36

Paso 2: Formar un equipo de Monitoreo y Evaluacin

Fundamento Se necesita un grupo principal de personas que son responsables para crear e implementar el monitoreo y evaluacin (MyE) de su programa. Un equipo con experiencia y perspectivas diversas le ayudar a entender y medir mejor el impacto de su trabajo. Debe haber 3 o 4 personas en el equipo de MyE y debe haber otros actores interesados claves que participan cuando sea posible y necesario.

Tarea 1: Elegir un lder del equipo de MyE

Alguien tiene que dirigir el proceso de monitoreo y evaluacin. Lo ideal es que esa persona tenga las siguientes caractersticas: una visin de lo que el MyE puede hacer para la vida de un programa; un entendimiento profundo del programa; autoridad para realizar de verdad el MyE; una buena relacin de trabajo con el personal del programa.

Tarea 2: Identificar a los actores interesados que quiere invitar a participar y en qu momento quiere que participen
Los actores interesados o implicados (tambin conocidos como stakeholders en ingls) tienen un inters o compromiso fuerte en su programa y/o el problema al que quiere impactar. Por ejemplo, el personal del programa, financiadores/donantes, clientes y lderes comunitarios son actores interesados. Hay que tener participacin de los actores interesados en su proceso de MyE; algunas deben formar parte del equipo de MyE y otras deben participar solo en ciertos momentos del proceso de MyE. Sin embargo, probablemente no ser posible que todos los actores interesados participen en el proceso de MyE.

Los actores interesados deben tener por lo menos una de las siguientes caractersticas:
un conocimiento profundo del problema que el programa aborda un entendimiento completo del impacto deseado del programa un conocimiento profundo de la implementacin real del programa Alguien que pueda y est dispuesto/a a manejar el proceso de MyE de principio a fin Personal que est involucrado en implementar el programa Personas que tengan un conocimiento profundo de los objetivos y actividades del programa y cmo se implementa en realidad. Incluya a personal que realice el programa adems de personas que participen en el programa. Algunas personas, como personal clave del programa y participantes siempre deben ser una parte principal del equipo de MyE, mientras otros deben incluirse solamente cuando se necesiten y cuando sea factible. Lo ideal es que los tomadores de decisin de su organizacin, cuya participacin puede legitimar el proceso de MyE y proporcionar recursos adicionales, se incluyan en alguna capacidad. Si es posible, el/la director/a de la organizacin debe participar en cierto nivel. Quizs no pueda participar en todas las reuniones del equipo de MyE, pero debe considerarse un miembro del equipo y estar presente en reuniones importantes si es posible. Alguien que entienda las implicaciones de una perspectiva de justicia social basada en derechos para la implementacin y evaluacin de programas. Alguien que tiene por lo menos un poco de conocimiento de monitoreo y evaluacin y/o investigacin. Si nadie de las categoras previas tiene esa especialidad o conocimiento. Pero si no puede encontrar a nadie, no se preocupe! Este juego de herramientas ser su acompaante en cada paso del proceso de MyE y recomendar referencias de las cuales puede aprender ms cuando es necesario.

Para su equipo de MyE, considere a personas que tengan las siguientes caractersticas:

37

Cundo y cmo involucrar a los actores interesados que no forman parte del equipo de MyE?
Decida cules personas de inters quiere tener como participantes ocasionales y en qu punto del proceso quiere incluirlos. Explique el proceso de MyE que se est realizando y cmo la participacin de ellas cabe dentro de ese proceso. Sea claro sobre los detalles de su participacin, por ejemplo: cuntas reuniones, cmo tendrn que participar ellos, las opiniones y recomendaciones que se les pedir, la importancia de mantener la confidencialidad, etc. Establezca si van a recibir alguna remuneracin por su tiempo, gastos de viaje u otros, particularmente si viajan desde lejos y/o tienen que pasar la noche. Establezca la autoridad final de tomar decisiones. Si el equipo de MyE tiene esa autoridad, deje entender que es as, pero tambin que sus consejos se considerarn y se los agradecer.

La participacin de actores interesados que no son personal de su organizacin puede:

Ayudar a mantener una relacin importante con la comunidad y las personas con las que se quiere trabajar Contribuir a hacer el programa y la evaluacin responsables a las personas que se quiere servir Dar a los involucrados una voz y un rol en el proceso de realizar el programa Asegurar que se entienden y se toman en cuenta perspectivas diversas sobre el programa y sus objetivos Aumentar el involucramiento de la comunidad Ayudar a comprender cmo hablar sobre temas muy ntimos con clientes Asegurar que se tomen en cuenta normas locales, culturales, y de clase y gnero para facilitar un plan de accin sensata Ayudar a apalancar recursos adicionales y crear coaliciones Crear destrezas entre los actores interesados que les permite a influir la evolucin del programa Crear un lenguaje comn para hablar y pensar en los objetivos y actividades del programa

Las realidades:
Hay que ser sensible a los que se invita a participar y los que no. Las personas no incluidas pueden sentirse ofendidas o las que se invitan pueden sentir que es una obligacin que no pueden cumplir pero no quieren decir que no. Algunas personas tomarn una invitacin a participar como un acuerdo implcito de que se respondern y se incorporarn sus sugerencias en el proceso de planificar, monitorear y evaluar el programa. Incluir a las personas y escucharlas de verdad requiere una inversin. Si se incluyen las personas y no se toman sus perspectivas en cuenta, el resultado puede ser peor que si no se hubieran incluido. Adems, no siempre es factible, ni tiene sentido, invitar a todos los actores interesados en el proceso de MyE para cada reunin. Use su tiempo, y el tiempo de Ud., sabiamente; enfoque su participacin en momentos claves del proceso. Las organizaciones que tienen una misin parecida pueden ser participantes interesados de mucho valor. Sin embargo, invitarlos a participar puede ser difcil porque, de alguna forma, a lo mejor son sus competidores (compiten para la misma financiacin y apoyo).

38

Hoja de trabajo: Herramienta para seleccionar a actores interesados

Categoras de actores interesados para considerar

Nombres de posibles candidatos y sus afiliaciones*

Especialidad, caractersticas que contribuiran al proceso de MyE Caractersticas para considerar:

Personal del programa

1. 2.

Participantes del programa 3. Otro personal 4. 5. Lderes comunitarios 6. Donantes/Financiadores

Familiarizado/a con los temas relacionados a los objetivos del programa. Familiarizado/a con las problemticas que sern medidas. Disponible durante el tiempo planeado para el proceso de evaluacin. Cuyos gastos caben dentro de los recursos que tienes disponibles. Conocen a la comunidad y tienen el poder de fomentar apoyo para la comunidad. Grupos que han sido marginados e ignorados histricamente por los lderes de la comunidad, tienen alto riesgo para el problema que se est abordando y tienen acceso limitado a los servicios y programas.

Otras organizaciones

Otros

39

Tarea 3: Nombrar a los miembros de su equipo de MyE

Puede utilizar la hoja de trabajo para generar su equipo de MyE. Hoja de trabajo: La hoja de trabajo para el equipo de MyE puede ayudar a decidir a quin va a incluir.

Nombre

Posicin/Departamento de la Organizacin o Tipo de Persona Interesada

Especialidad (por ejemplo: conoce a la comunidad, tiene experiencia en anlisis, etc.) Escoja de 3 a 4 personas. Incluya a alguien con experiencia en MyE. Incluya a alguien familiarizado con la perspectiva de justicia social basada en los derechos. Si es posible, incluya a un representante de su organizacin que tiene autoridad para tomar decisiones. Asegure la representacin de todas las partes relevantes de su organizacin o el programa. Nombre a una persona responsable para coordinar el equipo.

40

Tarea 4: Crear una perspectiva de aprendizaje en su equipo de MyE Asegrese de que el/la director(a) enfatiza a todo el personal que considera el proceso de MyE una actividad de alta importancia para la organizacin. Si los lderes apoyan el proceso de MyE ser ms fcil que los participantes inviertan el tiempo necesario y sean honestos respecto a buscar las verdaderas respuestas. Ayude a los miembros del equipo de MyE a expresar sus preocupaciones sobre el proceso de MyE. El proceso de MyE requiere la disponibilidad de examinar de verdad el impacto que el programa ha tenido; por eso tensiones y hasta luchas de poder pueden surgir. Ayude a los miembros del equipo a expresar sus preocupaciones. Aborde sus preocupaciones como grupo y busque llegar a un acuerdo sobre cmo manejarn los aspectos del proceso que tienen potencial a ser incmodos. Clarifique que los hallazgos no sern usados en contra de nadie. Cree un ambiente seguro y asegure que los hallazgos no sern usados para medir desempeo o penalizar al personal de ninguna manera. Enfatice que los hallazgos del proceso de MyE sern usados para mejorar el programa y podrn atraer financiacin adicional. Hablen de lo que puede pasar si se encuentra que el programa no ha tenido el impacto esperado.

Actividades de la sexta semana

1. Haga la lectura de la semana. 2. Identifique a los actores del proceso de monitoreo y evaluacin, conforme su equipo de evaluacin. 3. Actualice su documento de proyecto.

41

SPTIMA SEMANA Identificacin del pblico y las preguntas

Lectura
Paso 3: identificar al pblico y las preguntas para la evaluacin
Las opciones para disear su evaluacin sern formadas por los interesados en sus hallazgos (el pblico) y tambin las preguntas principales que hay que contestar. Uno de nuestros principios gua (los valores que nos motivan) del proceso de MyE es que el personal del programa debe ser una parte principal del pblico de la evaluacin; debern realizar el proceso por y para su personal mismo para aprender de los hallazgos y mejorar su trabajo. Sin embargo, reconocemos que son los financiadores en particular, adems de otros pblicos, que querrn ver, o quizs exigirn ver los hallazgos de la evaluacin.

Determinar los diferente pblicos principales de la evaluacin Determinar qu preguntas quieren que se contesten Averiguar qu tipos de informacin ser ms til para ellos

Renanse con su equipo de MyE y hagan las Tareas 1 y 2. (Incluya a actores interesados claves que no son parte del equipo si es factible y apropiado)

Tarea 1: Determinar el pblico y comprender sus necesidades

Piense en los diferentes miembros de su pblico las personas que querrn ver los hallazgos de su evaluacin. Cules son las preguntas que ms quieren contestar? Algunos miembros de su pblico (como los oficiales de gobierno o directores de programas pblicos, asesores econmicos y algunos financiadores) quizs tengan ms inters en preguntas enfocadas en la magnitud del cambio, antes y despus del programa y sern ms convencidos por los nmeros o datos cuantitativos. Otros (como periodistas y organizaciones colegas) buscarn preguntas enfocadas en cmo ocurri el cambio y qu significa para los participantes y sern ms convencidos por los datos cualitativos como las historias personales y las palabras de las personas involucradas. Su equipo de MyE y su organizacin probablemente querrn ambos tipos de informacin. Debe tratar de recibir aporte de algunos actores interesados, especialmente su personal y financiadores del programa, para pensar en los miembros de su pblico para el proceso de MyE y sus necesidades.

Quizs quiera utilizar la hoja de trabajo Necesidades de informacin de su pblico para categorizar a los miembros de su pblico y su inters en la evaluacin.

42

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) del pblico

potencial(es)

Quin(es) es/son? (Nombre(s))

Dles un nmero en orden de importancia (1,2,3, etc.)

Qu preguntas quieren contestar?

Qu tipo de informacin necesitan o prefieren? (Nmeros? Historias?)

Beneficiarios

1. Identifique quin necesita enterarse

de sus hallazgos.

Lderes comunitarios

2. Cun importantes son? El nmero 3. 4.

1 corresponde al pblico principal de los hallazgos de su evaluacin. Sea claro sobre qu quiere ud. que se haga con los hallazgos. D prioridad a los miembros del pblico que son ms importantes para su programa en este momento. Identifique las preguntas que tienen los miembros prioritarios. Identifique qu tipo de informacin sera ms til y convincente para ellos.

Polticos

Otros de la comunidad o de otras instituciones

5. 6.

Financiador(es)

Periodistas y lderes de opinin

Miembros directiva

de

su

junta

43

Personal de la organizacin fuera del programa evaluado

Otros

44

Tarea 2: Definir las interrogantes de la evaluacin: Monitoreo y Evaluacin

Hay que contestar preguntas que tienen que ver con monitoreo y tambin evaluacin: Las preguntas de monitoreo se enfocan en el proceso cmo su programa se realiza/fue realizado. Las interrogantes de la evaluacin se enfocan en el impacto el cambio que el programa ayud a crear o el que produjo en la poblacin objetivo.

Cuando se escriben las interrogantes de la evaluacin, tenga en mente: El problema de enfoque Los objetivos y actividades del programa Los diferentes miembros de su pblico

Algunas preguntas comunes para una evaluacin:

Monitoreo (Proceso): o Cules estrategias fueron implementadas en realidad? o Fueron implementadas las actividades cmo se pretenda? o Hubo factores que cambiaron o hicieron ms difcil la realizacin del programa? o Quin particip? Los participantes que queran? Otros? Evaluacin (Cambio): o Qu impacto tuvo el programa? Tuvo el impacto deseado? Hubo algn impacto no esperado? Hubo algn impacto negativo? Cul fue la diferencia cuando se hace una comparacin antes y despus de la participacin en el programa? Hubo alguna diferencia entre los que recibieron la intervencin y los que no? o A qu nivel tuvo impacto el programa? Individuo Pareja Familia Comunidad Institucional (por ejemplo, fomentar capacidades o cambiar polticas) o Cules aspectos del programa tuvieron el impacto deseado? Cules actividades produjeron el cambio deseado? o Cul fue la experiencia de los participantes del programa? Desde su perspectiva, cul fue el aspecto ms importante del programa? Si los participantes experimentaron un cambio, lo atribuyen al programa? Si as es, cul fue el cambio ms importante para ellos? o Fueron ms beneficiados ciertos participantes en comparacin con otros? Cules factores formaron el impacto del programa respecto a los participantes? Hubo alguna diferencia de impacto entre mujeres y hombres? adultos y jvenes? personas de diferente estatus socioeconmico? Personas de diferentes grupos tnicos? Hubo alguna diferencia en la experiencia o impacto del programa para los que son marginalizados de alguna forma y los que no?

45

Tarea 3: Identificar un enfoque para su evaluacin

Ahora hay que determinar cules de las necesidades del pblico y cules interrogantes de la evaluacin deben y pueden ser contestadas. o Cules son las preguntas que ms quieren contestar el personal del programa y los actores interesados? o Cmo puede el equipo de MyE priorizar las diferentes necesidades para informacin dados el tiempo, los fondos y los recursos humanos disponibles en este momento?

Haga la lista de preguntas que se contestarn y comprtala con los miembros principales de su pblico para aporte y retroalimentacin. Podr encontrar que este esfuerzo ayude a recaudar ms fondos para el proceso de MyE, particularmente si el financiador es su pblico principal.

Actividades de la sptima semana

1. Haga la lectura de la semana. 2. Determine las necesidades de informacin respecto a la evaluacin. 3. Determine las preguntas de la evaluacin de acuerdo a las sugerencias de la lectura, pero tomando de base los criterios de la evaluacin, vistos semanas atrs. 4. Actualice su documento de proyecto.

46

OCTAVA SEMANA Una cadena de resultados: La lgica de los programas sociales como herramienta para el monitoreo y evaluacin
Lectura
Un programa social se trata de una apuesta una apuesta que lo que se propone como estrategia o plan de accin sea capaz de desencadenar un conjunto de cambios que se consideran deseables, viables y valiosos. En otras palabras, un programa se basa o se fundamenta en una hiptesis una hiptesis que sugiere un vnculo causal (esperado) entre lo que se propone hacer y lo que se propone lograr. Por ende, el monitoreo de un programa social debe consistir en un anlisis y exploracin de la hiptesis causal (o la apuesta) que sustenta el programa. Consiste en la exploracin de preguntas pertinentes (inteligentes) sobre el logro, la calidad, la oportunidad de las actividades; el logro, la calidad, la oportunidad de la entrega de productos esperados y evidencias del logro de los cambios sociales esperados. El monitoreo hace un seguimiento de lo que hace el programa, recopila evidencias de posibles efectos e impactos del programa y analiza los vnculos causales entre s. El monitoreo de un programa social debe consistir en un anlisis y exploracin de la hiptesis causal (o la apuesta) que sustenta el programa. Consiste en la exploracin de preguntas pertinentes (inteligentes) sobre el logro, la calidad, la oportunidad de las actividades; el logro, la calidad, la oportunidad de la entrega de productos esperados y evidencias del logro de los cambios sociales esperados. Siendo as, la gestin del proceso de monitoreo parte de la especificacin explcita de la hiptesis causal del programa. Vamos a proponer una especificacin que toma la forma de una cadena de resultados valiosos esperados, o lo que llamaremos la cadena de resultados. En otros textos, esta especificacin de la hiptesis causal tambin ha sido denominada cadena de objetivos o cadena de valor. Yo prefiero la expresin de cadena de valor, pues nos remarca el nfasis ubicado en la generacin de valor. No obstante, esta expresin se est utilizando para referirse a cadenas en procesos productivos, en todo el anlisis de productividad y competitividad. Con el fin de evitar confusiones entre los dos tipos de cadena, vamos a evitar esa expresin en esta unidad y referirnos a cadena de resultados, recordando que los resultados en que nos enfocamos son los que generan valor pblico. Esta figura es la representacin ms sencilla de la cadena de resultados, que vincula causalmente las actividades e inversiones contempladas en un programa social con una transformacin que se desea producir en la sociedad.

47

Eslabones de la cadena de resultados

Cada eslabn de la cadena se asocia con objetivos: objetivos de la gestin de actividades, inversiones e intervenciones, que se proponen para poder lograr unos objetivos a nivel de productos, que a su vez se consideran valiosos en la medida que permitan cumplir unos objetivos asociados con efectos, que esperamos que conduzcan al logro de unos objetivos sociales (denominados impactos), que a su vez, son valiosos porque forman parte del logro de la transformacin deseada. La cadena representada en la figura anterior responde a la siguiente lgica, que a su vez, detalla la lgica detrs de las propuestas de programas sociales: las actividades e inversiones se combinan de tal manera que permiten lograr la entrega de unos productos y/o servicios. Estos productos y/o servicios no generan valor por su mera existencia; se entregan con el fin de ser acogidos o recibidos por una poblacin objetivo, cuyos consumos, actitudes, conocimientos y/o comportamientos se esperan cambiar. Estos cambios en consumo, actitud, conocimientos y/o comportamientos se denominan efectos y se esperan como consecuencia del efectivo encuentro entre la oferta de productos y/o servicios y la demanda de la poblacin objetivo. (Estos cambios tambin podran denominarse los cambios intermedios esperados como resultado del programa.) Medianero Burga (2001) indica que los efectos se pueden referir al cambio en el comportamiento de los beneficiarios... o el cambio en la manera en que funcionan las instituciones... A su vez, los efectos son el medio que se proponen utilizar para lograr los impactos, que consisten en unos cambios en las condiciones o calidad de vida de la sociedad o de una parte de la sociedad. Estos impactos contribuyen a la construccin de la visin futura deseable que se ha definido como la transformacin deseada. Si partimos del lado izquierdo de la cadena de resultados representada en la figura cada flecha de la cadena representa una relacin causal que corresponde a la respuesta a una pregunta de para qu?. El eslabn de las actividades e inversiones detalla los resultados esperados de las actividades, tareas e inversiones, y la flecha a su izquierda representa la pregunta para qu se realizan estas actividades e inversiones?. Una respuesta a dicha pregunta se expresa en el siguiente eslabn, pues se realizan dichas acciones para que se puedan entregar unos productos o servicios. Y de igual manera nos preguntamos para qu entregar estos productos?. La lgica de la cadena de resultados indica que sera para poder lograr algunos cambios esperados en los comportamientos, consumos, conocimientos y/o actitudes de las poblaciones o instituciones receptores u objetivo. Estos cambios son los efectos esperados. Para qu se buscan esos efectos?. La hiptesis que sustenta el programa propone que dichos efectos puedan conducir a unos cambios sociales deseables y verificables (los impactos) que, a su vez, contribuye al logro de la transformacin deseada. Ejemplo de una cadena de resultados para un programa:

48

Fuente: Material curso Monitoreo de Programas Sociales. INDES, 2,007. Este ejemplo ilustra una lgica causal clara: se espera que las actividades y rutinas para facilitar la entrega de alimentos permitan el consumo de nutrientes por parte de los nios y nias de las poblaciones objetivo. Asimismo, la hiptesis propone que este consumo tenga efectos sobre la asistencia escolar y el perfil nutricional, que luego afectarn el desempeo de los nios y nias de las poblaciones objetivo y su escolaridad. Estos ltimos impactos esperados se consideran valiosos porque se figuran entre los compromiso de la sociedad, para generar oportunidades para todos los ciudadanos y ciudadanas. Consideremos otro ejemplo. En este caso, contemplemos un programa para promover una mayor participacin de mujeres en los gobiernos locales. El programa propone hacer que los procesos decisorios polticos sean ms equitativos y ms sensibles a la manera en que determinadas decisiones afectan de manera asimtrica a los hombres y a las mujeres. La cadena de resultados del programa podra ser la que se presenta a continuacin:

Transformacin deseada: Un proceso decisorio ms equitativo y ms sensible a la forma en que las decisiones tomadas afectan (de manera diferencial) a los hombres y a las mujeres

Acti vidades: Identificacin y capacitacin de un grupo de facilitadores, comprometidos con la busqueda de una mayor equidad en los procoes polticos y conocedores de diversos temas relacionados con la perspectiva de gnero

Productos:

Efecto:

Impacto:

Mujeres egresadas de un programa de capacitacin, sobre el papel y el funcionamiento de los gobiernos locales y sobre el liderazgo y las capacidades necesarios para introducir una perspectiva de genro al proceso decisorios de los Recopilacin, anlisis, publica- gobiernos locales. cin y distribucin de datos con respecto a la participacin de la Un programa de sensibilimujer en los procesos deciso- zacin a los oficiales elegirios dos de los gobiernos locales, para concienciarlos Preparacin de materiales sobre la necesidad de didcticos sobre el gobierno contemplar el genro en local, el proceso decisorio, el los procesos decisorios impacto de los gobiernos locales en el desarrollo nacional y Una capacitacin para los la participacin femenina en los oficiales de los gobiernos gobiernos locales. locales y los miembros de los consejos ciudadanos Desarrollo de una campaa regionales y locales, sobre pblica de comunicaciones anlisis de gnero en la planeacin Identificacin de mujeres lderes y contactos para interesar- Una campaa en los melos en el programa dios masivios de comunicacin, para concienciar Desarrollo de currcula y contesobre la participacin fenidos menina en los procesos decisiorios y para informar sobre los candidatos femeninos

Mujeres que ejercen sus Una participacin increresponsabilidades en los mentada en mujeres entre procesos electorales los oficiales elegidos de los gobiernos locales Mujeres dispuestas a postularse para posiciones Anlisis mayor y menor elegidas en los gobiernos de los asuntos relacionalocales dos con genro en los dilogos y debates poltiMujeres que activamente cos de los gobiernos participan en los consejos locales y nacional ciudadanos regionales y Mayores demandas por locales parte de las mujeres, para Un pblico mejor informa- que los oficiales elegidos do con respecto a los contemplen el gnero en candidatos femeninos y la los procesos decisorios. importancia de incorporar los asuntos relacionados con genro en los dilogos y debates polticos

49

Salpicadura y ondas una manera alternativa de entender los componentes de la cadena de resultados

La persona en este dibujo es una trabajadora comunitaria tratando de entender la metodologia de la cadena de resultados. ste es el nuevo enfoque de monitoreo y evaluacin de programas o proyectos adoptado por muchos organismos financieros gubernamentales y privados en el mundo de desarrollo social. Cada vez ms, las propuestas, planes e informes de avance de los proyectos deben distinguir entre: productos a corto plazo, efectos a mediano plazo, e impactos a largo plazo. Lo que es ms, deben comentar sobre la relacin de causa y efecto entre las actividades del proyecto y estos diferentes niveles de resultados.

Cmo emplear la metfora de salpicaduras y ondas

Encontramos a nuestra amiga Mechitas, facilitadora parada en una isla de piedras, preguntndose, Tengo el proyecto estructurado, mentalmente concebido en mi cabeza, dice ella, pero cmo puedo poner en orden el significado de todos estos trminos de la cadena de resultados? Entusiasmada con una idea, la trabajadora toma una piedra, la sostiene por encima de la laguna y la deja caer. La piedra hace una salpicadura y ocasiona ondas. Aja, exclama, as es como puedo pensar acerca de mi proyecto y de la cadena de resultados! La piedra y yo somos INSUMOS, dice la trabajadora. Dejar caer esta piedra es una ACTIVIDAD, contina, como sostener reuniones comunales, instalar sistemas de agua limpia, y capacitar a los miembros de la comunidad en cmo mantener el buen funcionamiento de los sistemas. Si stas son mis ACTIVIDADES, reflexiona nuestra amiga, sus resultados inmediatos deben ser como la salpicadura...as que la salpicadura debe ser el PRODUCTO! un grupo focal de miembros de la comunidad altamente motivados que se organizan en cuanto al agua y a otros problemas comunitarios,...pozos cavados, caos de agua instalados, y el sistema operando... y miembros de la comunidad expertos, equipados, y que siguen una rutina de mantenimiento. A medida que las ondas se abren paso hacia afuera, nuestra amiga habla entre dientes emocionada, EFECTOS... stos deben tener que ver con la liberacin del potencial que hemos creado en la salpicadura, cmo la comunidad est trabajando, todos trabajan como una unidad, y se estn beneficiando del agua. As mismo, los EFECTOS deben incluir ...mejor acceso a agua limpia para todos los miembros y una mayor participacin de la comunidad en la solucin de problemas locales! Sintiendo un gran avance, la trabajadora llega hasta el resultado en el largo plazo al que se llama un IMPACTO. Hacia qu IMPACTOS contribuyen estos EFECTOS? se pregunta. El IMPACTO debe ser algo as como...una comunidad ms sana y ms independiente!? Nuestra trabajadora de desarrollo, jugando con las piedras en el rio, se ha encontrado con una simple imagen que capta lo que sucede cuando realizamos un proyecto. Cuando implementamos algo como un programa de

50

agua limpia, una campaa de alfabetizacin, una iniciativa microempresarial, o un proyecto de derechos humanos, tambin creamos una salpicadura inmediata y ondas a un mayor plazo. Un dibujo vale ms que mil palabras; la metfora es como un dibujo. Transmite informacin compleja a travs de la analoga a smbolos ampliamente reconocidos. La imagen de una persona dejando caer una piedra en una laguna de agua nos puede ayudar a comprender los enfoques de la planificacin basada en los resultados. La demostracin de dejar caer una piedra en una laguna revela los siguientes puntos importantes: El significado de los rtulos en la Cadena Lgica de Resultados (CLR), y la relacin dinmica entre stos. Por ejemplo, la salpicadura evoca el potencial creado a travs del Producto, mientras que las ondas evocan la liberacin de ese potencial sobre la laguna como los Efectos; La influencia de las Soportes y Limitaciones (tambin se conocen por Habilitadores y Restricciones) - las otras alteraciones en la laguna, y la importancia de hacer Supuestos y de evaluar el Riesgo; La disminucin del control a medida que la roca entra en el agua y la salpicadura se convierte en una onda; La ampliacin de esferas de influencia a medida que el dimetro de las ondas tambin se amplan; La disminucin de la atribucin a medida que la amplitud de la onda que se mueve hacia afuera tambin disminuye; La idea de que observar la salpicadura y luego algunas ondas la primera vez, permite mejoras en la manera en que posteriormente se arrojan las piedras a la laguna; La idea que las personas traen al ejercicio de planificar y administrar su propia perspectiva la cual enriquece el proceso - cada persona parada alrededor de la laguna puede ver la piedra y el agua desde su propio y nico punto de vista; y finalmente, La importancia de ser claros en cuanto a los parmetros; por lo tanto desde la posicin estratgica de quin se est creando la Matriz de Marco Lgico (quin/qu est dejando caer la piedra); quin est directamente ocupado con la intervencin sectorial (quin/qu est en la salpicadura); y quin o qu es indirectamente influenciado por la intervencin (quin/qu est representado en la laguna desde cerca a la salpicadura hasta el permetro de la laguna).

Cmo pueden las imgenes ayudar a sentirse cmodo con la cadena lgica de resultados?
La experiencia muestra que imgenes como la salpicadura y las ondas pueden ayudar a grupos y personas a lidiar con Cadena Lgica de Resultados. Estas imgenes nos ayudan a relacionar trminos como producto y efecto con nuestro trabajo de una manera ms dinmica. En resumen, la metfora involucra a una persona de pie sobre una laguna y sosteniendo una piedra. La persona deja caer la piedra en la laguna creando una salpicadura y luego ondas. Los insumos son la persona y la piedra; el producto es la salpicadura, y las ondas son los efectos y los impactos. Para concluir, creemos que la imagen transmite las siguientes ideas clave: La salpicadura cubre una pequea rea, en comparacin a la onda - esto sugiere que una actividad y su producto involucra un nmero relativamente limitado de personas pero que, as como una salpicadura se convierte en una onda, la influencia de la actividad y su producto se extiende ms all del grupo inicial de participantes. Los que reciben la capacitacin, por ejemplo, llevan su conocimiento y habilidades nuevos de vuelta a sus lugares de trabajo y comienzan a influir en las rutinas de los dems. sta es la zona de las ondas, en donde tiene lugar la verdadera transformacin de desarrollo (cambio social). Las personas que llevan a cabo un proyecto tienen un control considerable sobre el uso de los insumos, de las actividades, y de los productos- es decir, hasta donde se da la salpicadura en la laguna. Pero despus de eso, tienen un control cada vez menor.

51

Esto se debe a que las ondas toman su curso pero el curso que toman est influenciado por otras alteraciones en la laguna - en la vida real, la laguna rara vez est en calma. Esto no es para decir que no tenemos influencia alguna sobre las ondas; tenemos cierta influencia, pero sta disminuye en tanto que la onda se expanda ms hacia afuera para convertirse en un impacto. Verdaderamente, cuando se trata del Impacto, todo lo que podemos hacer es contribuir a dicho resultado. A pesar de no poder administrar el 100% para los resultados (u ondas), tanto ms sabemos acerca del efecto de nuestro trabajo, tanto ms podemos afinar las actividades para obtener los resultados de desarrollo que necesitamos. Podemos alterar o aadir a nuestras actividades o, por ponerlo de otra forma, podemos dejar caer la piedra de manera diferente, cambiar su tamao, o cambiar el nmero de piedras que tenemos que dejar caer. De este modo, el monitoreo se hace especialmente importante.

El Lenguaje Bsico de La Cadena Lgica de Resultados

Insumos - stos son los ingredientes humanos y fsicos - la materia prima - que usted necesita para ocasionar los cambios (resultados) que busca. Aqu es donde usted identifica la pericia, el equipo, y los suministros. Tener una buena comprensin de nuestros requerimientos de INSUMOS nos permite hacer un presupuesto preliminar. Actividades stas representan lo que usted hace con esos ingredientes - cmo los combina. Normalmente, las intervenciones involucran decenas o cientos de actividades definibles. Usted debe agruparlas en conjuntos o componentes de entre cinco a ocho actividades. Entre los encabezados comunes para estos conjuntos se incluye: promocin, formacin de grupos, asesora, creacin de redes, defensa (advocacy), capacitacin, y construccin. Bajo encabezados como stos, escriba pequeos prrafos describiendo qu es lo que el proyecto est HACIENDO. Productos los primeros resultados y los ms inmediatos de su intervencin . Usted tiene mucho control en cuanto a cmo stos se producen. La mayora de los PRODUCTOS se relacionan directamente a una actividad, asi que usted debe tener, en lneas generales, tantos productos como actividades. Una vez ms, usted debe apuntar a tener una declaracin de PRODUCTO por cada conjunto de Actividades. Los PRODUCTOS pueden definirse utilizando nmeros, pero tambin deben describir algn cambio cualitativo (ver notas ms abajo). Los PRODUCTOS captan el potencial que usted crea a travs de las actividades. A menudo este potencial se crea entre un grupo definido de personas - aqullos que participan directamente en la actividad (por ejm. los participantes en un programa de capacitacin). Algunas veces este potencial viene en la forma de un PRODUCTO (por ejm. una presentacin o afiche de alguna poltica convincente, una emisin radial informativa). Efectos stos fluyen de una coleccin de productos y describen la liberacin de dicho potencial. Los EFECTOS por lo general tienen lugar en las familias, en las organizaciones, y en las comunidades que rodean al individuo (o que son influenciados por el producto - ver arriba). Usted debe poder ocasionar estos cambios en la vida de su intervencin. Usted no tiene control total sobre estos cambios porque estn a menos de un paso de la actividad y, a esta distancia, las influencias externas pueden inmiscuirse en el camino muy fcilmente. Pero, es muy importante administrar hacia estos efectos porque stos representan los cambios concretos que usted est tratando de ocasionar a travs de su trabajo. Para una administracin fcil, tenga como objetivo tener entre tres y cinco declaraciones de EFECTO. La declaracin de propsito de un proyecto es por lo general equivalente a los efectos. La principal diferencia entre ambos se describe en las notas ms abajo. Impactos stos por lo general describen los cambios panormicos hacia los que la intervencin de usted se est esforzando por lograr, pero que usted solo no puede ocasionar. Tenga por objetivo una declaracin que ilustre este futuro preferido. Los impactos ilustran el objetivo que yace debajo del trabajo de usted; contestan al por qu el trabajo es importante. El IMPACTO ideal es uno: a) que inspire a las personas hacia un futuro cierto, b) que su proyecto pueda, en algn momento en el futuro, demostrar una contribucin. Piense en un barco o en un faro en el horizonte. Si el objeto est demasiado lejos se hunde bajo el horizonte y no da direccin alguna. Las declaraciones de objetivo y/o visin son en lneas generales equivalentes a una declaracin de IMPACTO.

52

Soportes e impedimentos (Habilitadores y restricciones) aqu estamos hablando acerca del contexto de la intervencin. Este contexto tiene influencias positivas y negativas. Cuanto ms usted sepa acerca de estas influencias, tanto mejor preparado podr estar para administrarlas (por ejm. realizar sus actividades de manera diferente). Los SOPORTES e IMPEDIMENTOS (restricciones y habilitadores) pueden encontrarse dentro de su organizacin as como tambin a una escala familiar, comunal, nacional, e incluso internacional. Pueden ser generados por humanos o por otras fuerzas de la naturaleza. Riesgos y supuestos en ltima instancia, el diseo de sus intervenciones necesita basarse en un conjunto de SUPUESTOS y en un clculo del RIESGO. Los SUPUESTOS se refieren a las condiciones que necesitan darse para que el proyecto realice un avance planificado hacia los resultados que quiere. Los RIESGOS hablan de la probabilidad de que estas condiciones no se den. El clculo del RIESGO puede ser una evaluacin involucrada, o para intervenciones pequeas, es ms un ejercicio intuitivo. Debe hacerse con una buena comprensin de las restricciones y de las impedimentos que muy probablemente influirn en el proyecto (ver arriba). Al calcular el RIESGO, aqullos que disean el proyecto simplemente podran notar si el RIESGO de una condicin necesaria que no est dada es bajo, mediano, o alto, y proveer de una corta explicacin. Indicadores sta es la evidencia, o prueba, necesaria para mostrar el avance hacia los productos y efectos de usted. Imagine los cuadrantes y visualizadores dentro de la cabina de mando de un avin. stos proveen de informacin importante a los pilotos acerca del estado del rendimiento de la nave y su posicin en relacin con su destino. Sin estos INDICADORES, los pilotos tendran muy poco con qu guiarse en su viaje. Designar los INDICADORES - determinar qu cuadrantes y visualizadores van a darle a la intervencin justo el tipo correcto de informacin - es una tarea particularmente difcil que por lo general involucra ensayo y error. Los INDICADORES necesitan dar evidencia precisa y confiable; la informacin tiene que ser fcil de recoger y til para aqullos que toman decisiones administrativas. Los INDICADORES pueden ser cuantitativos o cualitativos.

Caractersticas de los eslabones de la cadena

Cabe destacar las siguientes caractersticas de los eslabones de las cadenas: La cadena de resultados estipula LOGROS ESPERADOS en cada uno de sus eslabones: los elementos registrados en cada eslabn expresan los frutos o logros que se esperan como evidencia del logro de los objetivos reflejados (de actividades, productos, efectos o impactos). A manera de ejemplo, unos logros a nivel de producto podran ser: La capacitacin de todos los docentes de las escuelas primarias rurales, en prcticas pedaggicas que aprovechan nuevas tecnologas de la informacin para la enseanza de matemticas; o Una campaa por los medios masivos sobre el efecto del comercio callejero en la explotacin de trabajo infantil.

Unos logros (correspondientes) a nivel de efectos podran ser: Incorporacin de las nuevas tecnologas de informacin en las prcticas docentes (en aula) en las escuelas rurales; Sensibilizacin del pblico con respecto al efecto del comercio callejero en la explotacin del trabajo infantil.

Y, siguiendo con estos ejemplos, unos logros esperados a nivel de impactos seran: Aprendizaje ms efectivo de las matemticas entre los/las estudiantes de las escuelas primarias rurales;

53

Reduccin de las transacciones callejeras con comerciantes menores (y su correspondiente desestmulo al trabajo infantil).

Las flechas de la cadena revelan las relaciones causales que esperamos permiten conducir de un logro a otro. Cada flecha representa una hiptesis medio fin o causa efecto. Cada flecha, entonces, representa una apuesta de que los logros del eslabn anterior sean capaces de afectar los logros esperados. La flecha representa una relacin causal, no una secuencia de tiempos. Hay una tentacin de estipular secuencias o procesos secuenciales en los diversos eslabones de la cadena. Se recomienda evitar esta tentacin para no convertir la cadena de resultados en un manual de qu hacer, sino mantener su naturaleza de mapa de los logros interdependientes que se esperan desencadenar. No necesariamente existe una relacin uno-a-uno entre logros de un eslabn con los del eslabn anterior. Ciertos resultados interactan entre si para causar o desencadenar un determinado cambio (en el siguiente eslabn de la cadena). La cadena de resultados no revela informacin sobre todos los procesos necesarios para producir los logros esperados. Detrs de los logros estipulados en los diversos eslabones de la cadena, se anidan muchos procesos que tienen que desarrollarse para producirlos. La cadena slo estipula los frutos de los procesos y la complementariedad y coordinacin de los mismos. Por ende, la cadena es un mapa a gran escala de la iniciativa; no se trata de un mapa con detalle suficiente para guiar la gestin de procesos especficos detrs de logro de los resultados estipulados en cada eslabn. Los procesos detrs de lo estipulado son de dos naturalezas, a saber: Tcnicos, administrativos: muy controlables por los equipos gestores, y de naturaleza relativamente dura (cierta y replicable). Sociales, dependientes de actores fuera de las organizaciones ejecutoras de los programas; particularmente dependientes de las acciones de co-produccin por parte de los usuarios o beneficiarios de los servicios. Por tanto, se tratan de procesos de naturaleza ms blanda (incierta, no necesariamente replicable). No todos los logros de la cadena caen en las esferas de control de los equipos gestores. Los logros de actividades e inversiones y de productos son ms controlables por los gestores, aunque se someten a ciertos riesgos del entorno. Los logros de efectos e impactos se afectan por mltiples dinmicas del entorno y por otras iniciativas que afecten los fenmenos que se proponen cambiar; dependen de diversas caractersticas de la entrega de productos, pero tambin de comportamientos y decisiones de diversos actores (incluyendo pero no limitados a la poblacin objetivo). Por ende, hay que cuidar lo que se define como responsabilidad del equipo gestor: normalmente, el equipo tiene la responsabilidad de producir los logros a nivel de actividad y producto, de estar consciente con respecto a la evidencia de logros (o falta de logros) y de reaccionar de manera relevante a estas evidencias. En otras palabras, el no logro de objetivos a nivel de actividades, inversiones o productos se considera normalmente un indicio de fallas en los procesos de implementacin. El no logro de objetivos a nivel de efectos o impactos no necesariamente reflejan este tipo de fallas, sino que podra reflejar que la apuesta (la hiptesis de vnculos causales entre los productos y los efectos e impactos esperados) no se da. Esto porque las relaciones causales a nivel de actividad, inversin producto reflejan tecnologas relativamente conocidas, poco inciertas tecnologas duras (Sulbrandt, 2000). En contraste, las relaciones causales a nivel de producto efecto, o efecto impacto corresponden a tecnologas blandas, ms inciertas y ms sensibles a variables del entorno y de la coyuntura. Por esto mismo, la responsabilidad gerencial de logros de actividades y productos se considera directa; el no logro de objetivos a estos niveles se atribuyen a deficiencias en la gestin de la implementacin. En contraste, aunque sea responsabilidad de los gestores promover los logros esperados a nivel de efectos e impactos y reaccionar y adaptarse para buscar su logro, el no logro de efectos e impactos no se puede atribuir necesariamente a debilidades del proceso de implementacin. En estos casos, hay que explorar las condiciones del entorno, limitaciones en los supuestos sobre los vnculos causales y/o dinmicas ajenas al control gerencial que podran explicar el no logro de los efectos o impactos. Los resultados estipulados como efectos e impactos de programas sociales normalmente ocurren entre las poblaciones objetivo. Los efectos se relacionan con cambios en consumos, comportamientos, usos, conoci-

54

mientos o actitudes que resultan de la entrega (y recepcin o asimilacin) de los productos. Los impactos, a su vez, son consecuencias del efecto -- mejoras en el bienestar que resultan de los cambios en consumos, comportamientos, usos, conocimientos o actitudes que acabamos de comentar. Especificacin de la cadena de un programa ya formulado Nuestras referencias a la cadena de resultados hasta ahora son relevantes para casos en que un programa ya est formulado o sea, casos en los cuales ya existen ideas sobre las inversiones y actividades que se van a realizar, y los cambios sociales buscados. En estos casos, la especificacin de una cadena de resultados puede ayudar a reflexionar sobre el rigor y la consistencia de las relaciones causales esperados. Esto, a su vez, puede ayudar a identificar elementos del programa que hacen falta o que deben fortalecerse; puede conducir a recomendaciones que fortalecen el diseo y/o ejecucin del programa. Una vez propuesta una primera versin de la cadena de resultados, hay que someterlo a un anlisis crtico que examina la sensatez de las hiptesis planteadas. De esa manera, el diseo y desarrollo de la cadena puede educar y enriquecer el mismo anlisis y dilogo con respecto a posibles alternativas de solucin para un determinado problema o desafo. Es recomendable que el proceso de especificacin de la cadena incluya a diversos actores involucrados en el programa, con el fin de facilitar la interpretacin de posibles relaciones causales a partir de diferentes perspectivas y marcos mentales. Durante los procesos de formulacin e implementacin de un programa, es vital tratar a la cadena de resultados como una gua, como una pauta que explicita la apuesta original detrs del programa. Se debe pensar que la cadena es una propuesta de lo que se espera, recordando que es una hiptesis. Se trata de una apuesta y en la medida que se descubra que la apuesta no est dando resultado, habr que repensarla, y definir los medios que se realizarn, pensando que estos otros medios podran ser ms idneos para conducir al logro de cambios sociales deseados. En este marco, el monitoreo jugar un papel de verificacin de la bondad de la apuesta; nos ir viendo si efectivamente apostamos en un conjunto de actividades y productos que sean capaces de lograr los resultados valiosos esperados. Nos levantar banderas rojas en la medida que se evidencie que la apuesta no se da o sea, que la hiptesis no se pueda validar. Especificando la cadena de resultados, como parte del proceso de planeacin del programa La cadena de resultados se puede ir construyendo desde el mismo momento en que surge la idea de enfrentar un determinado problema social; se puede ir construyendo la cadena como parte del proceso de planear y disear una iniciativa. De hecho, la construccin de la cadena de resultados como parte del proceso de planeacin y diseo de una iniciativa es ideal. Una iniciativa llammoslo un programa surge de la identificacin de una situacin que se desea modificar: el problema que se propone solucionar. Esta identificacin inicia con el reconocimiento de una tensin entre lo que se est observando o viviendo (lo que es) y lo que consideramos que debe ser y puede ser. Esta tensin, incomodidad o inconformidad genera un problema a quienes la experimentan. (Aguilar Villanueva, 1993) A su vez, la manera en que se interpreta y se define va a influenciar las decisiones sobre sus vas de solucin y condicionar las alternativas que se consideran para su solucin. (Aguilar Villanueva, 1993 y Moore, 1976).

55

Por tanto, el proceso de planeacin parte del entendimiento que no hay diagnsticos objetivos ni correctos y que las percepciones y valores inciden en la determinacin de lo que es problemtico. Tiene que centrar sus esfuerzos en la generacin de un consenso con respecto a las condiciones o situaciones generadoras de sentimientos de malestar e incomodidad que constituyen el problema. Tiene que respetar las percepciones de distintos actores involucrados con respecto a lo que les genera tensin entre el ser y el debe ser. As, el problema se interpreta, se analiza y se estructura de una manera que podemos contemplar su superacin. Estructurar bien un problema es producir tal definicin del hecho calificado como problema, que pueda volverse el sujeto u objeto de un enunciado causal. Hay que estructurarlo como causa de o efecto de.... No se puede actuar para modificar una situacin-problema sin incluir explcita o implcitamente un enunciado causal adems de un concepto de problema. Aguilar Villanueva, (1993)

La transformacin deseada
Durante la estructuracin del problema, se genera un contraste entre lo que entendemos como fuente de malestar o tensin en la situacin o circunstancia existente y se va creando su imagen espejo: una visin de un futuro sin aquella fuente del problema. As se pinta una imagen del objetivo al cual se apuntar con el mayor compromiso posible. Del contraste entre el entendimiento de lo que se vive y lo deseable que razonable se considera viable, surge la definicin de la transformacin que se desea generar. Esta transformacin define un norte para la formulacin del programa y para las funciones gerenciales. Introduce una base para la visin estratgica de los gestores del programa. Es importante distinguir la transformacin deseada como de una utopa o un sueo. Los procesos de planeacin buscan definir imgenes del futuro que sean alcanzables en la prctica, en las circunstancias que se viven, con los recursos al alcance y los compromisos para trabajar para los cambios deseados. Pinta la imagen de un futuro mejorado que moviliza y compromete. Expresa una razn de ser para intervenciones y programas. Su expresin no necesariamente resulta verificable o reconocible, sino es ms visceral que cerebral. La grandeza de su ambicin y la incorporacin de la jerga que actualmente est de moda hacen que las imgenes pintadas sean capaces de movilizar mucho apoyo poltico y generar una amplia base de compromiso. Son consignas que mueven masas sencillamente por ser de aceptacin universal, difcilmente rebatidas.

Los impactos esperados

Una clave fundamental de la viabilididad de la gerencia social radica en la capacidad de acordar y explicitar la transformacin deseada en elementos reconocibles que puedan formar la base de una verdadera responsabilizacin (accountability). Concretamente, radica en la capacidad para definir expresiones verificables de los cambios que sern las manifestaciones de la transformacin deseada. En el desarrollo de la funcin de planeacin, hace falta gestionar debates, discusiones y estrategias de comunicacin que tienen el objetivo de concretar, interpretar y delimitar la transformacin deseada en objetivos verificables que estipulan impactos esperados en plazos fijos y realistas. Recomendamos que estos debates, discusiones y estrategias tienen que abordar tres desafos, a saber: la interpretacin de la jerga incluida en la expresin de la transformacin deseada: estipular un entendimiento consensuado de los fenmenos que se denomina de manera ambigua o de tal forma que podran entenderse de mltiples maneras; un anlisis de los determinantes de los fenmenos que se proponen afectar: explorar las causas y los contextos que habr que modificar para poder afectar la transformacin, con el fin de determinar lo viable; y un reconocimiento de restricciones: reconocer que el deseo de transformar se limita por la disponibilidad de recursos y de tiempo, lo que nos obliga a priorizar y delimitar.

56

Estas tres acciones obligan a especificar, concretar y delimitar la expresin ambigua y ambiciosa de la transformacin deseada de tal forma que llegamos a la definicin de un impacto preciso, viable y verificable (y, por ende, gestionable, monitoreable y evaluable). En el ejemplo que contemplamos sobre la participacin femenina en los gobiernos locales, la transformacin deseada consista en consolidar un proceso decisorio ms equitativo y ms sensible a la forma en que las decisiones tomadas afectan de manera diferencial a los hombre y a las mujeres. Esta transformacin no tiene una interpretacin nica de lo que correspondera a una forma concreta de reconocer el xito. No obstante, la cadena de resultados revela que los actores involucrados en la planeacin y formulacin del programa consideraron que una mayor participacin femenina en los cargos polticos elegidos constituira una garanta viable y verificable de una mayor equidad (en lo que respecta al gnero). Por tanto, propuso que se reconocera como contribucin valiosa a esa transformacin el logro de: una mayor participacin incrementada en mujeres entre los oficiales elegidos de los gobiernos locales; mayor y mejor anlisis de los asuntos relacionados con gnero en los dialogos y debates polticos de los gobiernos locales y nacional; y mayores demandas por parte de las mujeres, para que los oficiales elegidos contemplen el gnero en los procesos decisorios.

Estos tres objetivos se convirtieron, entonces, en impactos expresiones delimitados de mejoras en las condiciones de vida de las poblaciones objetivos reconocidos como valiosos en si mismos. Cabe destacar que el enfrentamiento de los tres desafos sealados no consiste en un proceso tecnocrtico. Aunque tiene elementos tcnicos y beneficia de buenas capacidades tcnicas, es un proceso con muchas dimensiones polticas, que requieren de dialogo, deliberacin y consenso.

Los efectos, productos y actividades

A partir de la definicin de impactos esperados, el proceso de planeacin o formulacin de un programa tiene que considerar posibles caminos para su solucin. En este caso, se avanza sobre la formulacin de preguntas cmo?. En general, para definir una cadena de resultados como parte del proceso de planeacin de estrategia o formulacin de programa, se parte de la especificacin de la transformacin deseada y los impactos delimitados, y se avanza con base en preguntas iterativas de cmo vamos a lograrlo? Es decir, se parte de los fines bus-

57

cados y se pregunta cmo? para ir identificando y especificando los medios para lograrlos. Al definir los impactos esperados, se pregunta cmo vamos a lograrlos? para definir los cambios en consumos, comportamientos, conocimientos o actitudes que se necesitan (los efectos). Se pregunta luego cmo vamos a lograr estos efectos? para definir los bienes o servicios que podran ser medios para lograrlos (y as sucesivamente). Ahora bien, ninguna cadena de resultados se determina en un sentido unidireccional como la que se presenta en la figura anterior. Se suele tener ideas preconcebidas no solo sobre el problema que se propone abordar y la transformacin que se desea promover, sino tambin sobre los medios que se proponen utilizar para lograrlos. As, el proceso de elaboracin de una cadena de resultados suele ser un proceso iterativo, que hace preguntas de cmo? cuando se analizan relaciones causales representadas por flechas hacia la derecha y preguntas de para qu? para analizar las que se apuntan hacia la izquierda. De manera iterativa y por aproximaciones sucesivas, se analizan las hiptesis que fundamentan las propuestas, las intervenciones que se proponen y los cambios sociales que se buscan lograr. El proceso de construccin de una cadena de resultados fija bases para guiar la gestin y para generar compromisos con respecto a los resultados valiosos. No obstante, no se construye con las intenciones de establecerlo como un mapa rgido; sino como una pauta para la gerencia, y una gua para el dialogo entre actores. Los procesos de gestin y de aprendizaje permitirn introducir cambios que fortalecen las relaciones causales y las viabilidades prcticas para generar los resultados valiosos deseados. No obstante, la cadena puede tener un rol mucho ms amplio en la gerencia social. De hecho, puede ser un mapa que permite fortalecer el enfoque de los procesos gerenciales en la generacin de resultados valiosos. La cadena explcita compromisos e identifica procesos clave que los gestores deben promover y acompaar para asegurar que la gestin conduzca a la generacin de valor pblico. Da una base para el accountability y el enfoque estratgico de la gerencia. Idealmente, la construccin de una cadena de objetivos sera un proceso participativo e iterativo que inicia desde el mismo momento que se propone la idea de una intervencin o programa. Un manejo eficaz del proceso de su construccin ayudara a construir compromisos con los efectos e impactos buscados y generara una apropiacin de la iniciativa por parte de diversos involucrados. Sera un proceso que propone la cadena como gua de la planeacin e implementacin del programa, reconociendo que tiene que revisitarse y revisarse sobre la marcha, en la medida que se aprenda sobre el contexto y el logro (o no) de los resultados esperados. Las tcnicas de anlisis de problemas sociales y las capacidades para proponer hiptesis causales son indispensables para los procesos de construccin de una cadena de resultados. No obstante, por si solos, resultan insuficientes para gestionar estos procesos. Esto, porque la exploracin de problemas y la construccin de rboles de problemas y objetivos son lejos de ser procesos exclusivamente tecnocrticos. Involucran procesos de dilogo, debate y concertacin que requieren de claridad con respecto a las dimensiones sujetivas, relativas y valorativas de la existencia de problemas pblicos. Son procesos que requieren de muchas de las competencias fundamentales del buen ejercicio de gerencia (Sulbrandt, 2001): ptica amplia; perspectiva estratgica; sensibilidad al entorno; ejercicio de liderazgo; flexibilidad; compromiso social; capacidad de comunicacin; Sensibilidad interpersonal y competencia tcnica. Esta unidad propone unas reflexiones relacionadas con la competencia tcnica necesaria para entender la complejidad de la especificacin de una cadena de objetivos que apoyar la gerencia, con el fin de fortalecer los procesos de especificacin de objetivos. En la prctica, esta competencia tcnica tendr que complementarse con las dems competencias tan crticas a la necesaria generacin de consensos sobre problemas y objetivos. Esta unidad propone unas reflexiones relacionadas con la competencia tcnica necesaria para entender la complejidad de la especificacin de una cadena de objetivos que apoyar la gerencia, con el fin de fortalecer los procesos de especificacin de objetivos. En la prctica, esta competencia tcnica tendr que complementarse con las dems competencias tan crticas a la necesaria generacin de consensos sobre problemas y objetivos. Este curso no profundiza sobre estas competencias complementarias. No obstante, propone fortalecer las competencias tcnicas para la gestin de procesos de construccin de cadenas de resultados y otros proce-

58

sos afines. La siguiente unidad se va a ocupar de una de dichas competencias: la identificacin de riesgos que amenazan los logros especificados en una cadena de resultados.

Actividades de la octava semana

1. Haga la lectura de la semana. 2. Construya una cadena de resultados para el programa, del cual cuenta con copia del informe de la evaluacin. Esta cadena se constituir en la base para plantear la teora de cambio. 3. Actualice su documento de proyecto.

59

NOVENA SEMANA La teora de cambio

Lectura
Por qu es necesaria una teora de cambio?
Tomado de: Retolaza Iguren Iigo. Un enfoque de pensamiento-accin para navegar en los procesos de cambio social. PNUD

En nuestro tiempo presente, cada vez hay un mayor reconocimiento a aceptar que vivimos un cambio de era, y no as una era de cambios (de Souza 1999). En este cambio de era, la incertidumbre, la multidiversidad, lo paradjico y contradictorio rigen las dinmicas de nuestras (inter)acciones y la configuracin emergente de nuestras sociedades, sus Estados e instituciones rectoras (Sawyer 2005, Waldorp 1992). Esto se refleja tanto a nivel personal, como organizacional y societal. Habiendo sido (de)formados socio-cognitivamente a partir de un enfoque mecanicista-positivista de la realidad, creemos que podemos alcanzar el orden y el control de los procesos sociales en los que nos involucramos. El uso dogmtico que muchos actores de desarrollo hacen del marco lgico como instrumento de gestin de proyectos de desarrollo, es un claro ejemplo de ello. An hoy, hay una tendencia a creer en la existencia de verdades absolutas, la certitud total, esttica. Y si eso no fuera poco, seguimos convencidos de que la mejor manera de medir esa verdad es desde una lgica cuantitativa. Empero, vivimos tiempos dinmicos y complejos que se nutren de la incertidumbre y de una multidiversidad de relaciones (identitarias, econmicas, sociales, geogrficas, polticas, cognitivas, temporales, interculturales, institucionales, etc.). Este hecho fundamental tiene un impacto directo sobre los procesos de desarrollo y cambio social en los cuales estn involucrados aquellos actores a los que va dirigida esta gua. Como dira Edgar Morin (1990): necesitamos archipilagos de certeza para navegar en este ocano de incertidumbres. El enfoque de pensamiento-accin de la Teora de Cambio busca lograr identificar esos archipilagos de certeza a partir de los cuales podamos nutrir una lgica de pensamiento-accin que nos permita navegar por el complejo ocano del cambio social. Una Teora de Cambio nos permite ordenar nuestro pensamiento y configurar de manera abstracta, y a partir de nuestro cuerpo de conocimiento y experiencia, aquellas condiciones necesarias para lograr el cambio deseado en un contexto determinado. En parte, lo hace a partir de la explicitacin y anlisis crtico de nuestros supuestos (AECF 2004, Aspen Institute 2004). Esos mismos supuestos que rigen nuestro modo de pensar, aprender y generar conocimiento. En definitiva, los supuestos que utilizamos para comprender la realidad; y por ende, actuar en ella. Visto desde una ptica de Teora de Cambio, este nfasis en la explicitacin de los supuestos es fundamental en todo proceso de aprendizaje y cambio social; tanto por una cuestin epistemolgica (Cmo entendemos y aprendemos sobre la realidad? Cmo aprenden los distintos actores involucrados en procesos multiactor?), como por una cuestin poltica (Cules son los argumentos reales utilizados por los distintos actores a la hora de proponer una realidad en contraposicin a otra?) Bsicamente, los procesos de cambio social nos quieren llevar a algn sitio donde no estuvimos jams. Los actores involucrados imaginan y visualizan la realidad futura de una manera que no es posible entender a plenitud desde el momento presente. Esto se debe en parte a una cuestin fundamental: siendo que el futuro es algo que no han experimentado en la actualidad (ms all de experimentarlo abstractamente) no tienen esa experiencia de vida futura instalada en ellos mismos.

60

Casi podramos decir que trabajar para el cambio social es un acto de fe. Creemos que siguiendo una determinada lgica y accin de cambio llegaremos a un lugar mejor. Y creemos que actuando sobre una serie de condiciones existentes en el entorno, llegaremos de mejor manera a esa situacin ideal de cambio. Esa conviccin sobre la posibilidad de un futuro que creemos mejor es una gran fuerza motora a celebrar. El problema surge cuando nuestra conviccin se convierte en dogma, creyendo que nuestro paradigma de futuro es el nico viable y deseable. He ah la importancia de crear espacios dialgicos para el aprendizaje multiactor. Por otro lado, desarrollar una Teora de Cambio (TdC) nos proporciona el instrumento necesario para monitorear nuestra accin y poder as tambin rendir cuentas de nuestros actos; a nosotros mismos y a los dems. La utilizacin sistemtica de una TdC como instrumento de monitoreo de proceso nos ayuda a: i) (des)aprender y a estar constantemente atentos a la revisin y actualizacin de los supuestos a partir de los cuales configuramos inicialmente nuestra TdC; ii) re-leer el contexto y sopesar si las condiciones de cambio establecidas inicialmente se mantienen o si el contexto, emergente y complejo, nos obliga a determinar nuevas condiciones; iii) (re)definir nuevas estrategias que nos ayuden a encarar operativamente y de mejor manera lo mencionado en los puntos anteriores. Si adems, este ejercicio prospectivo se hace con la participacin de otros actores involucrados en el proceso, la calidad del ejercicio se multiplica debido a que: i) somos capaces de incorporar una multidiversidad de miradas, opiniones, supuestos, intereses y cuerpos de conocimiento que nos ayude a construir una visin (ms) compartida y democrtica de la realidad y por consiguiente del proceso de cambio en el que estamos embarcados y que nos afecta a unos y a otros de la misma y distinta manera; ii) el mismo acto de incorporar a actores de diverso posicionamiento identitario y poltico hace que el ejercicio ayude en el proceso poltico de lograr acuerdos de accin coordinada a partir de la construccin (y negociacin) de significados compartidos. Reiteramos que esta lgica de cambio ha de ser compartida con los diversos actores; o al menos debera considerar honesta e inteligentemente lo que los otros actores piensan o requieren. La realidad es hologrfica, multiactor. Hologrfica porque partimos de la premisa de que somos seres sociales, y por ende nuestra identidad y visin de la realidad integra y es integrada por otras visiones, por un Todo mayor a nuestra propia visin fragmentada (Wilber 1996, 2007). Multiactor, porque queremos vivir en un mundo participativo e incluyente donde se incorporan y reconocen los distintos intereses y necesidades (Kahane 2004, 2008; Reason 2005). Por lo tanto, y por imperativo democrtico, la realidad nos obliga a relacionarnos con el otro de una forma incluyente y dialgica. Si bien esta afirmacin pareciera obvia desde un punto de vista cognitivo, a menudo la construccin colectiva de conocimiento se torna en una cuestin poltica y en un instrumento de dominacin (Fals-Borda & Rahman M. 1991). Esta gestin, digamos perversa, del conocimiento, deriva y es reproducida por sistemas de gobernanza del conocimiento de diseo asimtrico y excluyente en trminos de poder (Retolaza 2008a). De ah la complejidad y dificultad de facilitar procesos de dilogo multiactor. Por otro lado, una visin hologrfica y democrtica de las relaciones no slo nos invita a relacionarnos con los otros de una manera ms armnica, sino que tiene implicaciones en cmo nos relacionamos con nuestro propio ser interior (desde una perspectiva hologrfica, en nuestro fragmento habita el Todo y viceversa). Es en el momento en el que divorciamos cartesianamente lo objetivo de lo (inter)subjetivo cuando no logramos avanzar ms all de un cambio superficial, pasajero, polticamente correcto, acomodadorpero estril e hipcrita en trminos transformacionales. An hoy nos resistimos a practicar lo predicado. se es el reto que nos plantea facilitar y participar en procesos de cambio social en contextos complejos y conflictivos.

Qu es una teora de cambio?

En breve, una Teora de Cambio es: Un ejercicio de visualizacin creativa y consciente que nos permite concentrar nuestra energa en determinadas realidades futuras no slo posibles, sino tambin probables y deseables. Un conjunto de supuestos y proyecciones sobre cmo creemos que se puede llegar a desplegar la realidad en un futuro prximo con base en: i) un anlisis realista de contexto; ii) una auto-valoracin

61

de nuestras capacidades de facilitacin de proceso; y iii) una explicitacin crtica de nuestros supuestos. Un enfoque de pensamiento-accin que nos ayuda a identificar hitos y condiciones que han de darse en la senda del cambio que deseamos provocar. Un ejercicio de aprendizaje colaborativo y multiactor que incentiva el desarrollo de la lgica flexible necesaria para el anlisis de procesos complejos de cambio social. Un mapa semi-estructurado de cambio que enlaza nuestras acciones estratgicas a ciertos resultados de proceso que queremos provocar en nuestro entorno inmediato. Una herramienta de proceso que nos ayuda a monitorear consciente y crticamente nuestro pensar y nuestra accin de manera individual y tambin colectiva.

Qu no es una teora de cambio?

Tan importante como definir qu es una TdC es el diferenciarla de otros enfoques. Por lo tanto, una TdC no es: Una verdad absoluta e incuestionable de cmo se ha de dar el cambio, de cmo va a ocurrir o incluso de cmo desearamos que ocurriese. Una receta definitiva que ayuda a eliminar la incertidumbre existente en procesos sociales emergentes y complejos. Un sustituto del Marco Lgico como instrumento de planificacin rgida.

Pautas para entender la complejidad de los procesos de cambio social

A continuacin se proponen algunas pautas conceptuales que ayudan a nutrir el anlisis sustantivo de nuestra Teora de Cambio.

Tipos de cambio
Partimos de una primera premisa en cuanto a los distintos tipos de cambio1 que se dan en nuestro entorno. Cambios emergentes. Son aqullos que se dan en nuestro desenvolvimiento diario de la vida. Son procesos adaptativos e irregulares basados en el aprendizaje experiencial, y que se dan como consecuencia de los cambios inesperados y/o no planificados que surgen de esta dinmica vivencial. Cambios transformativos. La crisis y el estancamiento preparan el terreno para el cambio. Este tipo de cambio se basa en el des-aprender y en liberarse de aquellas mentalidades, relaciones, identidades, instituciones formales y no formales, etc. que obstaculizan la probabilidad de cristalizacin de nuevas realidades ms justas y equitativas en trminos polticos, sociales y econmicos. Cambios proyectables. Cambios basados en problemas simples o complicados que se pueden resolver mediante proyectos concretos y acciones planificadas desde una lgica lineal.

62

En trminos generales, una Teora de Cambio se centra en analizar y proponer acciones pertenecientes a los cambios transformativos, ms complejos en su naturaleza y que exigen de nuestra parte una lgica flexible de pensamiento-accin. Los cambios proyectables son aqullos que podramos gestionar con una lgica de proyecto, utilizando el Marco Lgico o el Cuadro Integral de Mando como instrumento de anlisis y planificacin. Es importante explicitar esta primera premisa de partida, ya que a menudo se plantean acciones para cambios transformativos desde una lgica de pensamiento de cambio proyectable. Hay que evitar caer en esa trampa lgica. En el primer caso (cambios transformativos) impera una lgica de pensamiento flexible y fluido. En el segundo caso (cambio proyectable) domina una lgica rgida.

Niveles de cambio social

A la hora de analizar y desarrollar el diseo de nuestra Teora de Cambio, es necesario ubicar bien el nivel de cambio que estamos queriendo impulsar. Asimismo, hemos de ser conscientes desde qu lgica/nivel estamos pensando y proponiendo los cambios. La lgica de la Teora de Cambio parte de una explicitacin de los supuestos que utilizamos para entender y actuar sobre la realidad. Esto es, en trminos generales, plantear acciones de cambio para el 1er y 3er nivel a partir del 2 nivel. Esto se hace desde una lgica articuladora entre pensamiento y accin. En definitiva, el proceso de diseo de una Teora de Cambio pone nfasis en el cambio de paradigma de cmo entendemos la realidad. De esta forma, supone que las acciones emprendidas para transformar esa realidad emanarn de una nueva manera de entenderla. Por ende, asumimos que al pensar y entender de distinta manera la resolucin y/o gestin de problemas complejos, lograremos distintos resultados en relacin a lo que logrbamos antes de que se provocara ese cambio paradigmtico-epistemolgico.

63

Dimensiones del cambio social

Todo proceso de cambio requiere un enfoque integral que permita lograr un estado armnico en las condiciones que suponemos sustentan dicho cambio. Por lo tanto, se requiere analizarlo desde diversas dimensiones con el propsito de generar dinmicas integrales de pensamiento-accin. Observando el diagrama de Dimensiones de Cambio2 podemos generar un anlisis ms integral del abordaje estratgico que se requiere para lograr efectos exitosos derivados de la implementacin de las iniciativas que propone nuestra Teora de Cambio. Para ello, se sugiere integrar distintos tipos de iniciativas que ayuden a encarar nuestra accin de manera ms integral y articulada. Esto nos permite, por un lado, plantear una accin institucional ms integral; y a la vez desarrollar una dinmica relacional ms colaborativa y articuladora con otras iniciativas en marcha lideradas por otros actores.

A continuacin algunos ejemplos de distintas iniciativas relacionadas con las cuatro dimensiones:

64

i.

Transformacin personal: procesos de formacin de individuos basados en el contexto y la experiencia, actividades para promover la prctica reflexiva en el campo profesional, reconocimiento y gestin de nuestras mltiples identidades, explicitacin y cambio de modelos mentales, introspeccin y desarrollo personal (psicoterapia, meditacin, yoga, biodanza, prcticas shamnicas, retiros espirituales y vivenciales, uso de tcnicas de auto-conocimiento, talleres de creatividad, etc.) Transformacin de relaciones. Generacin y facilitacin de espacios de encuentro multiactor, espacios de dilogo, iniciativas de concertacin de agenda, espacios para la deliberacin y la conversacin pblica, resolucin y/o gestin de conflictos, intercambio de experiencias basadas en contextos situados, procesos de aprendizaje-accin participativos, etc. Transformacin de patrones culturales. Campaas de sensibilizacin y comunicacin masiva, incidencia sobre medios generadores de opinin, cambios de percepcin sobre el otro (racismo, discriminacin debido a la diferencia, aceptacin social de la homosexualidad), acciones dirigidas a segmentos concretos de la poblacin segn problemtica a tratar (por ejemplo, violencia de gnero e incidencia sobre maridos y padres de familia), actividades dirigidas a cambio de patrones culturales y sociales (erradicacin del alcoholismo en padres de familia, machismo), etc. Transformacin estructural. Apoyo a procesos constituyentes, incidencia en el desarrollo legislativo de temas clave, promocin de procesos de control social sobre poltica pblica, apoyo al desarrollo institucional de rganos pblicos, apoyo a procesos de descentralizacin orientados al desarrollo social y la reduccin de la pobreza, reformas educativas y de salud, cambio de modelos econmicos, cambio y/o (re) creacin de instituciones formales y no formales, etc.

ii.

iii.

iv.

Los cambios institucionales

Sintticamente y considerando nuestro caso, entendemos las instituciones como aquellas reglas del juego que determinan el gobierno de una sociedad, grupo social determinado (por ejemplo, grupos tnicos, clanes, asociaciones sociales, etc.), e incluso una organizacin especfica. Normalmente se basan en mecanismos que a su vez cumplen y hacen cumplir una serie de normas establecidas para asegurar el establecimiento y mantenimiento del bien comn. Asimismo, estas normas son bastante rgidas y difciles de cambiar en el tiempo. Partimos de dos tipos de instituciones fundacionales: formales y no formales. i. Instituciones formales: Aqullas que se basan en normas escritas y que rigen las relaciones y procedimientos formales que gobiernan a una sociedad en su conjunto (i.e. constitucin poltica del estado, sistema judicial, congreso, marco legal, sistema electoral, etc.) o a un determinado grupo social o corporativo (i.e. sistema de gobierno de una empresa o asociacin de productores establecidos segn estatuto y reglamentos internos). Instituciones no formales: Aquellas personas, mecanismos, dinmicas intangibles y no escritas que gobiernan a una sociedad o grupo social (i.e. corrupcin en la cosa pblica, sistemas jurdicos consuetudinarios con base en usos y costumbres, relaciones de compadrazgo y pa-

ii.

65

drinazgo, homofobia y misoginia, reciprocidad comunitaria, discriminacin y racismo, Gandhi en India, la madre en la familia, etc.). iii. Por otro lado, es importante destacar cuatro grupos de instituciones que determinan la intensidad y sostenibilidad de los procesos de cambio societal (adaptado de Voeten y Parto, 2005): Instituciones culturales: aqullas que determinan el pensamiento y comportamiento colectivo (carnavales, celebraciones nacionales, danza, msica, folklore, etc.) Instituciones asociativas: aqullas que ordenan las relaciones sociales y la accin colectiva (fraternidades, clanes familiares, movimientos sociales, redes sociales, clubs deportivos, etc.) Instituciones constitutivas: aqullas que sientan las bases normativas sobre las que se cimentan/cementan las socieda-des (Constitucin Poltica del Estado, leyes, religin, familia, etc.) Instituciones cognitivas: aqullas que configuran las formaciones y modelos mentales colectivos e individuales (creencias colectivas de base tnico-cultural, prejuicios colectivos, sistema educativo, etc.)

iv. v. vi.

vii.

66

Los momentos en los procesos de cambio

Los procesos de cambio son dinmicos, impermanentes. Esto significa que son generados a partir de una secuencia dinmica y emergente que pasa por distintos estadios no estticos en el tiempo. A modo de simplificar e ilustrar didcticamente esta secuencia dinmica, se plantean cuatro grandes fases que de alguna manera u otra se pueden apreciar en todo proceso de cambio: i. Fase de satisfaccin (competencia inconsciente): all donde no se generan dinmicas de cambio ya que an no se es consciente de la necesidad del cambio. Las personas tienen naturalizados e integrados una serie de modelos mentales, comportamientos, prcticas institucionales, hbitos culturales, dinmicas de relacionamiento, competencias, etc. y no creen pertinente o necesario cambiarlos. Existe un equilibrio en el sistema que permite cierta estabilidad y consistencia del mismo. Fase de negacin (incompetencia inconsciente): se percibe o intuye que algo no est funcionando bien y ya se denota un desfase entre el deber ser y el ser. Sin embargo, existe resistencia a cambiar el status quo por miedo a lo desconocido, inercia de comportamiento y pensamiento, o por lo que supone de reconfiguracin en las relaciones de poder. Es visible la ruptura del equilibrio del sistema pero se generan grandes tensiones y resistencias que no permiten avanzar hacia una nueva situacin de los factores del sistema; y por ende, de las relaciones entre ellos. Fase de confusin (incompetencia consciente): los actores estn motivados a entrar en una dinmica de cambio una vez superada la resistencia inicial. Sin embargo, no se sabe muy bien cmo avanzar o qu direccin tomar por lo emergente e incierto de todo proceso de cambio. ste es el momento de mayor vulnerabilidad emocional en los actores debido a las consecuencias que tiene para los individuos salirse de la zona de confort poltico, emocional, cognitivo, relacional. ste es el momento en donde se da una mayor disonancia cognitiva entre lo que se conoce y lo que se percibe que se debe aprender/ conocer. El reconocimiento consciente y explcito de que no se sabe lo que se ha de saber genera ansiedad. Lo mismo se aplica al reconocimiento de la necesidad de cambiar un determinado posicionamiento poltico: se sabe que hay que moverse hacia otra posicin pero an no hay suficiente claridad de hacia dnde nos dirige ese nuevo posicionamiento. Existe una gran dispersin en el sistema, lo cual genera dinmicas caticas. Fase de renovacin (competencia consciente): a partir de la necesidad explcita y consciente de desarrollar nuevos campos de posibilidad se entra en una dinmica virtuosa. Ya est individual o socialmente aceptado que hay que cambiar; y este nuevo contexto ayuda a desarrollar las condiciones para que se d el cambio deseado. Se entra en procesos de mutacin, transformacin y renovacin que logran consolidar las bases del cambio. El sistema logra reconfigurar las dinmicas de equilibrio y paulatinamente se avanza hacia un nuevo equilibrio dinmico-cardico.

ii.

iii.

iv.

67

Participacin y poder en procesos de cambio

En todo proceso participativo existe una relacin directa entre el ejercicio del poder, los cuerpos de conocimiento presentes, y la(s) identidad(es) que condicionan los posicionamientos e intereses de los actores involucrados. Como veremos a continuacin, el ejercicio del poder que los distintos actores pueden hacer es diverso. Algunas dinmicas de poder pueden ayudar a integrar de manera (ms) horizontal e incluyente distintos tipos de cuerpos de conocimiento situados entre los actores del proceso. Por el contrario, dinmicas ms hegemnicas y autoritarias restringen la posibilidad de visibilizar y considerar como vlidos y pertinentes ciertas identidades y cuerpos de conocimiento (Fals-Borda y Rahman 1991). Por ejemplo: i) el reconocimiento e inclusin del conocimiento indgena en procesos de decisin dominados por actores de corte occidental o de talante discriminador; ii) la valoracin e incorporacin del conocimiento de la mujer en la toma de decisiones; iii) la negacin por parte de las autoridades y tcnicos municipales de considerar propuestas ciudadanas alternativas a la oficial en lo que se refiere al trazado de vas pblicas o construccin de parques en el barrio, etc. La calidad de estas interacciones entre identidad, poder y conocimiento condicionan, e incluso determinan, cun democrtico es el espacio social donde se desenvuelven los procesos de cambio social. En la medida que estas interacciones son excluyentes y homogeneizadoras en trminos de identidad y conocimiento, el grado de conflictividad del proceso de cambio se incrementa. De la misma manera, el espacio social se puede ver seriamente afectado en lo que respecta al grado de cohesin e integracin social del mismo.

Los pasos metodolgicos para el desarrollo de una teora de cambio

A continuacin abordamos los aspectos metodolgicos clave sobre los que se sustenta una Teora de Cambio: el cambio deseado, los actores del cambio, los supuestos de partida, la ruta de cambio y los indicadores. Los elementos tericos comentados en la seccin anterior deberan ayudarnos a configurar mejor nuestra Teora de Cambio conforme vayamos transitando por los pasos del mtodo. 1.

El cambio deseado

La elaboracin de una Teora de Cambio se inicia, no a partir de la identificacin de un problema a ser resuelto, sino desde la visualizacin creativa y positiva que hacemos de una situacin que se quiere alcanzar en un tiempo posterior al actual. Utilizamos esta visualizacin de futuro como horizonte y motivacin de nuestra accin presente. Esto es, el cambio deseado representa un conjunto de condiciones, relaciones y resultados que queremos contribuir a que ocurran en los aos venideros a partir de nuestra accin en el entorno presente y futuro. Considera siones temporales, relacionales, estructurales, geogrficas, sociales, culturales, econmicas, polticas, institucionales, etc. El sis en una dimensin u otra depender de la naturaleza del cambio que se desea o necesita. Esto tambin est condicionado por la

68

identidad, posicionamiento, estructura cognitiva e intereses de aquellos que formulan dicho cambio. La visin tiene que ser plausible. Se tiene que concentrar en cambios en y entre individuos, organizaciones, estructuras sociales, patrones culturales e instituciones sobre las que nuestra organizacin puede realmente influenciar (no un estado idealizado que no es posible alcanzar). Esto es, no slo ha de ser posible incidir sobre esa realidad futura sino que adems ha de existir suficiente grado de probabilidad de que as ocurra, de manera que justifique invertir los recursos y energa necesarios de nuestra parte. La visin debe ser dinmica. Debera ser el fotograma de una pelcula que representa un sistema complejo y dinmico, en el cual la gente y sus instituciones estn trabajando efectivamente en relacionarse entre ellos y con agentes externos para resolver sus problemas y mejorar el bienestar de los ciudadanos y el medio ambiente en el que cohabitan. Una vez identificado el cambio deseado, se pasa a determinar cules son las reas Estratgicas sobre las que se va a sustentar ese cambio; y por ende, sobre las que hay que centrar nuestra accin. Procuraremos sintetizar en 3 4 reas estratgicas para evitar demasiada dispersin y centrar nuestro ejercicio en los elementos estratgicos y fundamentales, y no tanto en los perifricos y superficiales. 2.

Quines son los actores del cambio?

Una vez acotado el universo de accin, pasamos a identificar aquellos actores que estn involucrados en el proceso sobre el que se quiere influir activamente. stos son actores que de una manera u otra se vern afectados o de hecho ya estn involucrados en el campo de realidad sobre el que se quiere influir. El grado de complejidad social con respecto a la calidad y efectividad de la interaccin que se da entre ellos y sus agendas, determinar de alguna manera cun colaborativo, conflictivo, incluyente y efectivo ser el proceso de cambio en relacin al logro del cambio deseado. De la misma manera, nos ayudar a entender el grado de densidad socio-poltica e institucional en la cual estamos operando.

Hay varias lentes con las cuales podemos identificar y analizar a los actores. Para ello utilizaremos distintas tcnicas de mapeo de actores segn el propsito y naturaleza del anlisis:

69

Anlisis sectorial. Este enfoque es de utilidad en aquellos casos en los que se quiere concentrar la accin en constelaciones de actores que representan, en formato escala, el conjunto de todos los actores sociales afectados por el proceso de cambio. Partimos de una primera premisa, la hologrfica, en donde se asume que cada individuo contiene en s mismo representaciones e identidades sociales del conjunto de la sociedad, su diversidad y complejidad social. La segunda premisa, la microcsmica, plantea que trabajando con una constelacin reducida y representativa del conjunto del grupo social afectado por el proceso de cambio, se lograr entender y accionar de mejor manera sobre la totalidad del campo de realidad a transformar. Normalmente el anlisis parte de identificar y analizar a los actores de al menos tres sectores fundamentales en toda sociedad: el sector pblico-gubernamental, el sector econmico-privado, y el sector social-comunitario. A estos tres sectores tambin se puede aadir el sector poltico (partidario) u otros sobre los que queramos poner especial nfasis (i.e. sector cooperacin internacional). Las zonas de solapamiento estn habitadas por aquellos actores puente capaces de generar espacios y dinmicas de interaccin positiva o negativa entre un sector y el otro. La calidad de la interaccin variar segn el inters que tengan dichos actores en relacin al cambio que se desee provocar, y la capacidad dialgica y negociadora de los actores. En caso de que se requiera complejizar y detallar ms el anlisis, se incorporar la variable de nivel: nivel macro (nacional, federal, etc.); nivel meso (departamental, regional, estatal, etc.); nivel micro (municipal, local, comunitario, etc.).

Anlisis de influencia. Este mapa hace hincapi en capacidad de influencia que los actores tienen o pueden llegar a tener en el proceso de cambio. Este tipo de anlisis se puede combinar con el primero, pudiendo identificar a los actores en base al sector y cuadrante de posicionamiento en el mapa de influencia. Esto se puede visualizar de manera muy clara utilizando distintos cdigos visuales (iconos de codificacin, tarjetas de distintos colores o formas, etc.)

la

70

Anlisis de capacidad de articulacin. En este caso, el nfasis est en la capacidad que los actores tienen para articularse con otros actores. En concreto, se analizan dos tipos de capacidad de articulacin: vertical y horizontal. La capacidad de articulacin vertical se refiere al grado de capacidad y legitimidad que esos actores tienen para crear puentes de entendimiento, establecer relaciones de confianza, transmitir mensajes entre las partes, y proponer agendas de negociacin multiactor entre actores ubicados en distintos niveles. En general, estos articuladores dinamizan procesos de relacionamiento y accin colectiva entre actores ejerciendo un mayor poder de toma de decisiones a nivel superior (lites, autoridades nacionales, organismos internacionales, etc.) con aquellos que si bien estn alejados de las esferas del poder hegemnico, son afectados directamente por dichas decisiones y pueden a su vez afectar el proceso mediante accin colectiva (comunidades de base, asociaciones de productores locales, etc.). La articulacin horizontal se enfoca en la capacidad de los actores de relacionarse con otros sectores y lderes de su mismo rango, pero que estn ubicados en otros grupos sociales o sectores tambin involucrados en el proceso de cambio. Un primer momento del mapeo posiciona a los actores segn su ubicacin en la pirmide: arriba (lites), en medio (actores con capacidad de articulacin), abajo (organizaciones de base). Un segundo momento analiza las relaciones que se dan al interior de y entre los distintos niveles. Anlisis de posicionamiento e inters. En este caso se busca identificar el posicionamiento del actor en base a su inters con respecto al cambio deseado. Se identifica y analiza a los actores con base a tres categoras: dinamizadores, flotadores y bloqueadores.

71

Los dinamizadores son aquellos actores comprometidos en contribuir al cambio deseado y se ubican en el crculo interior. Existe mayor afinidad en sus intereses y resulta medianamente fcil establecer espacios de relacionamiento y alianzas estratgicas entre ellos. Los bloqueadores son aquellos actores que estn en contra del proceso debido a que sus intereses se ven afectados negativamente. Tambin puede ocurrir que obstaculicen el proceso por no disponer de la informacin necesaria que les ayude a entender que hay posibilidades de incorporar sus intereses mediante procesos de negociacin/mediacin. Asimismo, pueden estar obstaculizando el proceso por una cuestin de inercia y rivalidad histrica con los dinamizadores o la temtica de cambio (por ejemplo, terratenientes obstaculizando un proceso de reforma agraria liderado por un gobierno de corte popular). Los flotadores son aquellos actores que se encuentran en una situacin intermedia: no obstaculizan decisivamente pero tampoco apoyan de manera decidida. Estos

72

actores tambin pueden cambiar de posicionamiento (pasar a ser un bloqueador o dinamizador) segn lo que sea ms beneficioso para sus intereses. Una vez identificados todos los actores clave y habindolos ubicado segn su posicionamiento ante el cambio deseado, se har primero un anlisis de intereses, despus una identificacin de bloques de actores de oposicin/dinamizacin y finalmente, se configurarn posibles estrategias de acercamiento e incidencia sobre los actores. Esto ltimo con el propsito de ver qu estrategias ayudaran a acercar a los flotadores, neutralizar o dividir a los bloqueadores, y/o afianzar alianzas entre los dinamizadores. De igual manera que en los mapas anteriores, podemos lograr un anlisis ms detallado si utilizamos iconos y formas visuales de diferenciar el sector al que pertenecen los actores. Esto nos permite tener un anlisis de doble entrada: sector (nfasis en identidad y conocimiento), posicionamiento (nfasis en inters y calidad de relacin). 3.

Los supuestos que utilizamos para desarrollar nuestra teora de cambio

Un aspecto que caracteriza a la Teora de Cambio es el nfasis que pone en profundizar la prctica reflexiva. No slo se trata de analizar e identificar las condiciones necesarias para definir la ruta a seguir, sino tambin de explicitar cmo llegamos a esas conclusiones y cul es el proceso epistemolgico por el cual construimos dichos argumentos y razonamientos. La Teora de Cambio nos obliga a revisar de manera constante e iterativa los supuestos que utilizamos para interpretar la realidad. Veamos un ejemplo que siempre genera gran disonancia cognitiva en los actores que participan en talleres de diseo de Teora de Cambio. Un supuesto absoluto diseado para generar disonancia cognitiva: Un actor con un posicionamiento poltico explcito no puede facilitar procesos de cambio entre mltiples actores. En este caso, algunos de los actores de cambio social participantes en los talleres no estn de acuerdo con este supuesto. Ellos y ellas creen que aun estando claramente posicionados ante un tema, disponen de la suficiente credibilidad y legiti-midad ante otros actores opositores y/o escpticos como para que estos ltimos accedan a ser facilitados en el proceso por los primeros. Por otro lado, otros participantes en los talleres consideran que ellos no tienen problema en facilitar espacios y procesos al interior de su sector (mentalidad afn, intereses comunes, voluntad de generar alianzas intra-sectoriales); pero que resulta sumamente difcil, e incluso peligroso, hacerlo en el caso de una constelacin de actores ms compleja, polticamente encontrada, multipolarmente posicionada, y con intereses tan encontrados que utilizarn el hecho de que ciertos actores quieren facilitar el proceso como excusa para salirse de dicho proceso. Entonces, no podemos dar por hecho de forma automtica (supuesto no reflexivo) que si bien seamos aceptados como facilitadores en ciertos espacios y procesos ms homogneos en cuanto a mentalidad e identidad de los actores participantes (por ejemplo una red temtica sobre violencia de la mujer), tambin lo seamos en otros espacios multiactor (por ejemplo un proceso participativo y dialgico de elaboracin de proyecto de ley sobre reforma agraria) en donde los intereses y posicionamientos no slo son diversos, sino tambin encontrados y en conflicto.

73

Este ejercicio cognitivo de explicitacin de supuestos fortalece nuestra prctica reflexiva en dos planos: Reflexin externa. El proceso de reflexin relacionado con el mundo exterior. Se centra en reflexionar individual y/o grupalmente sobre lo que ocurre en nuestro contexto social, histrico, poltico, econmico. La mayora de las secciones previas tienen que ver con este tipo de reflexin. Digamos que es la reflexin clsica, tradicional, y que normalmente ocupa casi la totalidad del anlisis desarrollado por organizaciones y grupos embarcados en procesos de cambio social. Reflexin interna. El proceso de reflexin relacionado con el mundo interior. Una mirada interior, individual y personal que nos ayuda a entender mejor cmo pensamos, por qu pensamos lo que pensamos, qu efecto tienen nuestras formaciones mentales y estructura cognitiva en cmo entendemos el mundo y por ende en cmo nos relacionamos con l, cmo nos relacionamos con nuestro ser interior, la construccin de nuestra(s) identidad(es), la relacin que tiene nuestro pasado con la configuracin de nuestra personalidad en el momento presente, la construccin de nuestros hbitos mentales y emocionales, etctera. Tradicionalmente, este tipo de reflexin se ha visto severamente marginado de esta clase de ejercicios. Pareciera que la dimensin personal no afectara ni debiera ser considerada en los procesos de cambio social. Y sin embargo, ste es precisamente el punto ms crtico en todo proceso de cambio. Aqu es donde se ven las mayores incoherencias entre lo que proponemos y hacemos. Por lo tanto, hemos de reivindicar la inclusin de esta dimensin en nuestra prctica reflexiva, tanto a nivel individual como con nuestros pares de aprendizaje-accin. Es esencial realizar un trabajo continuado en estas dos dimensiones cuando se trata de flexibilizar nuestra forma de pensar y actuar; requisito ste esencial a la hora de facilitar o actuar estratgicamente en procesos de cambio social. Se trata as de pasar de una lgica rgida de pensamiento a otra ms flexible y creativa, ms acorde a los tiempos complejos que nos toca vivir (Riso 2008, Parra Duque 2003). A lo largo de la elaboracin de la Ruta de Cambio (ver seccin abajo) se estar poniendo especial atencin a los supuestos que utilizamos para argumentar nuestra lgica de cambio. Se establecern de manera explcita algunos momentos (desde espacios concretos en un taller a sesiones de monitoreo en procesos en marcha) para hacer una revisin e identificacin de supuestos. Esto a modo de ir ajustando nuestra lgica de cambio y el diseo de la ruta de cambio que emana de dicha lgica. 4.

Proyectando realidades futuras. La ruta del cambio

La ruta de cambio identifica los hitos del proceso y las condiciones que se han de dar para lograr avanzar con la certeza suficiente en medio de la complejidad en que ocurre todo proceso de cambio social. El logro de resultados en cada una de las reas Estratgicas, y por ende del Cambio Deseado, depende de que se den una serie de condiciones. Esto es, partimos de la premisa de que si no se dieran estas condiciones previas, el Cambio Deseado nunca ocurrira. Estas condiciones giran en torno a cambios en: instituciones, calidad en las relaciones entre actores, presencia y accin de determinados actores, capacidades sociales y/o tcnicas, comportamientos colec-

74

tivos/organizacionales/ individuales, actitudes, entornos ms conducentes (legales, operativos, fsicos, cognitivos, tecnolgicos, etc.). Por la complejidad de nuestros procesos, las condiciones pueden ser de dos tipos: Secuenciales ( ): A no puede ocurrir sin que antes se d B. Simultneas ( ): C no puede ocurrir sin la accin conjunta de A y B.

75

5.

Cmo sabemos que estamos cambiando?

Una primera advertencia: los indicadores de cambio de una Teora de Cambio no guardan similitud con los indicadores de ejecucin de actividades, como aqullos que podemos encontrar en un Marco Lgico tradicional. Mediante la definicin de indicadores de cambio buscamos entender mejor cmo leer el contexto para ver cules son los efectos que podemos percibir en el mismo a raz de nuestra accin. Estos indicadores nos permiten entender mejor cmo se est dando realmente el cambio; y de igual manera, nos permiten entender mejor cul es nuestra contribucin a la ocurrencia del mismo. En este caso, la premisa de diseo de indicadores nos dice que no por el hecho de ejecutar una actividad estamos realmente contribuyendo a generar los cambios planificados inicialmente. La revisin peridica de estos indicadores ayudar a ajustar nuestra Teora de Cambio tanto a nivel poltico-estratgico (accin sobre las condiciones para el cambio) como cognitivo (supuestos que sustentan nuestra lgica de cambio). Los indicadores de cambio estarn relacionados con la observacin de las condiciones identificadas en nuestra Teora de Cambio. De esta manera, los indicadores debern ayudarnos a entender en qu grado y de qu manera se estn dando esas condiciones en el entorno.

76

77

Actividades de la novena semana

1. Haga la lectura de la semana. 2. Con la informacin disponible y realizando los pasos sugeridos por la lectura, proceda a construir la teora de cambio del programa o proyecto que ser evaluado. 3. Actualice su documento de proyecto.

78

DCIMA SEMANA Los indicadores

Lectura
Los indicadores
Los indicadores son un elemento clave en la construccin del objeto de evaluacin. Muchas de las dimensiones y preguntas que se utilizan en evaluacin derivan en indicadores especficos que permiten la observacin de los hechos a los que esas dimensiones y preguntas hacen referencia. Una operacin importante, que tambin forma parte del proceso de construccin del objeto de evaluacin, es la revisin de los indicadores inscritos en el diseo de los proyectos. Esta revisin debe girar en torno a interrogantes como las siguientes: en qu medida lo que se hace (prctica real) corresponde a lo previsto en objetivos (propsitos / resultados) y estrategias (acciones)? De ser as, los indicadores formulados permiten observar integralmente los cambios y las acciones previstas?, es necesario reformularlos, al menos parcialmente?, es necesario complementarlos con la formulacin de otros indicadores? De no ser as, cules de los indicadores formulados resultan an pertinentes?, qu nuevos indicadores se tendra que formular?, para qu hechos o dimensiones? Lo que se debe buscar es un nivel de coherencia entre las dimensiones priorizadas para la observacin de los hechos y las preguntas e indicadores formulados para realizar esa observacin.

Los indicadores: naturaleza, caractersticas y ventajas

Los indicadores son expresiones no ambiguas de fenmenos con caractersticas tanto cuantitativas como cualitativas. Los indicadores deben describir los fenmenos de tal manera que pueden ser comparados y contrastados en diferentes momentos del tiempo, en diferentes lugares o contextos, y en diferentes escenarios. Por esto mismo, los indicadores tienden a tomar una naturaleza cuantitativa, pues la cuantificacin facilita la agregacin y la comparacin. Para el monitoreo, los indicadores permiten explicitar y sistematizar la manera en que se proponen responder las preguntas que se exploran. Permite comparar las respuestas a dichas preguntas en un determinado momento con lo que se habra esperado, con lo que se respondi antes o con los que se responde en otro contexto. Los indicadores son expresiones no ambiguas de fenmenos con caractersticas tanto cuantitativas como cualitativas. Los indicadores deben describir los fenmenos de tal manera que pueden ser comparados y contrastados en diferentes momentos del tiempo, en diferentes lugares o contextos, y en diferentes escenarios. Por esto mismo, los indicadores tienden a tomar una naturaleza cuantitativa, pues la cuantificacin facilita la agregacin y la comparacin. Para el monitoreo, los indicadores permiten explicitar y sistematizar la manera en que se proponen responder las preguntas que se exploran. Permite comparar las respuestas a dichas preguntas en un determinado momento con lo que se habra esperado, con lo que se respondi antes o con los que se responde en otro contexto.

79

Los indicadores se disean y se seleccionan de tal forma que contribuyan a la capacidad de responder las preguntas que se exploran en el proceso de monitoreo. De esa manera, contribuyen al entendimiento del desempeo de la iniciativa y apoyan los procesos y decisiones gerenciales. Los indicadores resumen informacin relevante sobre diversos procesos, dinmicas o fenmenos relevantes. Miden elementos observables, tanto cuantitativos como cualitativos. Tienen valor descriptivo y explicativo, facilitando la comunicacin entre actores clave, el anlisis de vnculos causales (o sea, la prueba emprica de las hiptesis causales en la cadena de valor), la deteccin de desvos del plan, y la toma de decisiones. Un buen indicador para el monitoreo de programas sociales se caracteriza por los siguientes rasgos: Es preciso, no ambiguo: puede ser interpretado de manera clara, de tal forma que sea plenamente entendible por diversos actores, en diferentes momentos. Es relevante: refleja elementos o fenmenos que forma parte de lo que se busca entender; se relaciona con algn aspecto de la cadena de resultados del programa. Se relaciona con lo que se propone monitorear. Es decir, facilita el anlisis de las preguntas propuestas para el monitoreo. Es apropiado para los usuarios de la informacin: los usuarios se identifican con el indicador, entienden el indicador y lo que indica, confan en que refleja fielmente informacin relevante. Es sensible a ser afectado por el programa: cuenta con el nivel adecuado de desagregacin y se recopila con una representatividad apropiada. Es prctico: el costo de recopilar los datos y producir la informacin a ser sintetizada por el indicador es razonable. Su construccin y monitoreo es viable con los recursos disponibles. Es confiable y objetivo, en el sentido en que sus valores no varan de acuerdo a la persona responsable de la recopilacin de datos. Describe el fenmeno que se va a indicar, explicitando su naturaleza (su calidad y su espacio o entorno; y en la medida que sea relevante, los grupos a ser afectados). Respeta la privacidad y la confiabilidad de individuos y de organizaciones individuales que reportan la informacin utilizada en su construccin. Su definicin incluye la definicin de las fuentes de informacin o de los mtodos de recopilacin de datos para su elaboracin.

El uso de indicadores conlleva varias ventajas que facilitan y fortalecen los procesos de monitoreo. Entre las ventajas figuran las siguientes: Un indicador permite sintetizar mucha informacin. o La definicin y el seguimiento regular de un indicador facilitan y promueven una recopilacin regular y sistemtica de los datos necesarios para su construccin.

La precisin de un indicador promueve cierta homogeneidad en la manera que interpretamos la informacin que resume. Los indicadores facilitan la comparacin (entre lugares, entre diferentes momentos, entre lo observado y lo esperado).

Se suele presentar cierta resistencia a la definicin o uso de indicadores de efectos e impactos de programas sociales, pues los indicadores pueden resultar limitados para el anlisis de fenmenos complejos, cualitativos y multidimensionales. No obstante, los indicadores no tienen ninguna limitacin intrnseca para describir fenmenos cualitativos o complejos. Por cierto, ha habido sobre-simplificaciones que han intentado reducir fenmenos muy complejos en indicadores simplistas. Estas sobre-simplificaciones han generado la resistencia al uso de indicadores. Sin embargo, no podemos juzgar los indicadores por las malas aplicaciones de los mismos. Ahora bien, hay que reconocer que aquellos indicadores que miden exclusivamente las dimensiones cuantitativas o fcilmente observables de los fenmenos que queremos entender resultan insuficientes para muchos

80

de los anlisis necesarios para apoyar la gerencia. Es muy probable que un determinado efecto o impacto no se pueda resumir en un solo indicador; cada efecto o impacto podra necesitar ms de un indicador para representar su dinmica. Por supuesto, hay tambin necesidades de informacin para fenmenos que no son observables. Esto puede ser porque la recopilacin de los datos necesarios para construir los indicadores no resulta viable por falta de mtodos confiables o por costos excesivos (por ejemplo, datos de ingresos o de condiciones de salud desagregados por raza o etnia, pues hasta hace poco, la mayora de los pases no contaba con datos confiables de la variable de raza o etnia en sus censos o encuestas de hogar). Asimismo, podra ser que la naturaleza del fenmeno no permite que sea observado (por ejemplo, la tranquilidad de las personas y las familias asociadas con mayor seguridad callejera). En estos casos, se recomienda definir y usar indicadores proxy: indicadores que pueden reflejar aunque sea de manera imperfecta las tendencias que se buscan explorar. Por ejemplo, en un estudio de las condiciones de salud de la poblacin afro-ecuatoriana, la Organizacin Panamericana de la Salud (OPS) utiliz los datos de dos provincias de poblacin predominantemente negra para caracterizar el perfil de los afro-ecuatorianos y los compar con datos de provincias con muy escasa poblacin negra. De la misma manera, se podran utilizar datos sobre la concurrencia a lugares pblicos en horas de la noche y/o el trnsito por las vas consideradas de alto riesgo para reflejar la tranquilidad de las personas frente al crimen callejero.

Tipos de indicadores Indicadores de actividades, productos, efectos, impactos y riesgos

Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspondientes procesos y recursos; contemplan las actividades de las dimensiones programticas, polticas y organizacionales de la gestin. Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la poblacin usuaria (el encuentro de la oferta del programa con la demanda).

Cabe destacar que los indicadores de actividades y productos se construyen con datos que en su mayor parte se recopilan en la(s) organizacion(es) ejecutora(s) del programa y sus puntos de trabajo. Son datos que reflejan procesos que se controlan por los equipos gestores y reflejan fenmenos tcnicos y gerenciables. Indicadores de efectos: describen cambios en los consumos, comportamientos, conocimientos y/o actitudes de los afectados por el programa. Indicadores de impactos: describen los cambios en el bienestar consecuentes de la generacin de los efectos.

La construccin de los indicadores de efectos e impactos requiere de datos que se recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se producen en las comunidades, en los hogares y en los individuos. Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del riesgo y las acciones y resultados de la gestin de estrategias de manejo del riesgo.

Tipos de indicadores: segn sus propiedades estadsticas

Indicadores que describen una sola observacin: (un evento, una organizacin, una comunidad, una poblacin, etc.) Conteo: un conteo de algn fenmeno relevante. Por tratarse de un nmero absoluto, solo aportar informacin til para los gestores en la medida que se pueda comparar con un referente: un estndar; ese nmero medido en otro momento o en otro mbito. Ejemplo: nmero de vacunas aplicadas durante la jornada de vacunacin en supermercados.

81

Descriptores: una enumeracin de caractersticas descriptivas o explicativas de un fenmeno. Se tratan de descripcin ms cualitativas de una dinmica, un evento, una reaccin. Frecuentemente expresada en prosa, con un esfuerzo para expresarla de manera que puede ser comparada con la misma descripcin o la misma explicacin en otro momento o en otros mbitos. Ejemplo: principales actividades pblicas en la vereda durante las horas de la tarde, entre semana. Ejemplo: reacciones ms comunes de las mujeres a una nueva campaa de comunicacin que promueven la denuncia de la violencia domstica.

Indicadores que describen un fenmeno cuantitativo con mltiples observaciones (poblaciones, agrupaciones, industrias, eventos repetidos, etc):
Medidas de tendencia central: Un nico valor que resume el conjunto de observaciones, sealando de alguna forma el centro de los valores. La media (o promedio): el valor calculando sumando el valor de todas las observaciones y dividiendo por el nmero de observaciones. La mediana: el valor que representa el punto central de todas las observaciones, en el sentido que habr igual nmero de observaciones por debajo y por encima de la mediana. La moda: el valor que ms frecuentemente aparece. Medidas de la variabilidad del fenmeno: Describen la forma en que las diversas observaciones estn distribuidas alrededor de las medidas de tendencia central. Rango: describe la distancia entre el valor mximo y el valor mnimo. Desviacin estndar: una medida de la dispersin de las observaciones alrededor del medio. Calculada como la raz cuadrada de la sumatoria de las diferencias cuadradas entre cada observacin y el medio. Se puede interpretar como la diferencia promedia entre cada dato y el medio; entre ms grande la desviacin, ms dispersas se encuentran las diversas observaciones.

Indicadores que describen ciertas caractersticas de un fenmeno cualitativo o cuantitativo con mltiples observaciones (poblaciones, agrupaciones, industrias, eventos repetidos, etc):
Frecuencias: el nmero de veces un determinado fenmeno se presenta. Permite referirse a las ocurrencias ms frecuentes, menos frecuentes, etc. Ejemplo: nmero de personas que reportan desconfiar del gobierno central, al final del ao 2006.. Ejemplo: nmero de consultas externas atendidas por sala de emergencia en el 2005. Porcentaje: la proporcin (estandarizada para expresarse como proporcin entre cien observaciones) del total que se caracterizan por una determinada caracterstica. Cambio en el tiempo: cambio absoluto en un determinado indicador, entre un perodo y otro. Cambio porcentual: cambio porcentual en un determinado indicador, entre un perodo y otro. Cambio porcentual = (Valor en el tiempo 1 Valor en el tiempo 0) / Valor en el tiempo 0.

Precisando los indicadores para el monitoreo

Los indicadores son precisos y no ambiguos; quiero decir que todos que analizan el indicador tienen claridad sobre cmo ha sido construido. Esta caracterstica de precisin requiere de esfuerzos particulares para concretar qu se mide, en qu plazo de tiempo, para qu poblaciones u organizaciones; en qu lugares o mbitos.

82

Sugerimos, entonces, una vez que se haya hecho una identificacin inicial de un indicador, es necesario someterlo a un afinamiento, para asegurar que su definicin aclare: El plazo del tiempo para el cual se va a medir o describir el fenmeno; Los espacios o mbitos incluidos en la medicin o descripcin; Las poblaciones, organizaciones o grupos incluidos en la medicin o descripcin. Si el indicador se trata de una proporcin o un porcentaje, se debe especificar qu grupos, poblaciones u organizaciones (etc) estamos analizando como parte (o numerador) de qu grupo ms amplio (o denominador). En caso de estar indicando elementos cualitativos del fenmeno, incluir las especificaciones o estndares que se desean indicar o medir.

A manera de ejemplo, considera un caso en que se propone monitorear el porcentaje de agricultores beneficiarios de un programa que han aplicado eficazmente las recomendaciones realizado por los extensionistas de un programa que propone diversificar cultivos para lograr un mayor rendimiento y un mayor ingreso. Indicador inicialmente propuesto: El porcentaje de agricultores beneficiarios que han aplicado eficazmente las recomendaciones de los extensionistas. Al precisar plazo: El porcentaje de agricultores beneficiarios del programa que, al seis meses de haber recibido recomendaciones de los extensionistas del programa, estn aplicando eficazmente las recomendaciones Al precisar espacio: El porcentaje de agricultores beneficiarios en cada municipio participante del programa que, al seis meses de haber recibido recomendaciones de los extensionistas del programa, estn aplicando eficazmente las recomendaciones Al precisar poblaciones: El porcentaje de agricultores beneficiarios en cada municipio participante del programa que, al seis meses de haber recibido recomendaciones de los extensionistas del programa, estn aplicando eficazmente las recomendaciones (medido como porcentaje de todos los agricultores beneficiarios en el mismo municipio) Al precisar calidad: El porcentaje de agricultores beneficiarios en cada municipio participante del programa que, al seis meses de haber recibido recomendaciones del extensionista del programa, estn aplicando las recomendaciones tal como fueron especificadas y dibujadas en el plan de mejora elaborado en las visitas del extensionista (medido como porcentaje de todos los agricultores beneficiarios en el mismo municipio) Consideremos otro ejemplo: en el proceso inicial de identificacin de indicadores, podramos haber identificado el indicador de "familias con acceso a agua segura". Al precisar plazo: Familias con acceso a agua segura, al final de cada ao calendario. Al precisar espacio:

83

Familias residentes en el estado de Cear, con acceso a agua segura, al final de cada ao calendario. Al precisar poblaciones: Porcentaje de todas los hogares en el estado de Cear, que cuentan con acceso a agua segura, al final de cada ao calendario. Al precisar calidad: Porcentaje de todos los hogares en el estado de Cear, que cuentan con una conexin domiciliaria de agua que llega por tubera y cuya calidad es controlada por una empresa proveedora, al final de cada ao calendario.

Recomendaciones para la formulacin de indicadores para el monitoreo

Utiliza como punto de partida el conjunto de preguntas que proponen responder en el proceso de monitoreo. No pierda de vista para quines se est montando el proceso de monitoreo. Los indicadores que se proponen deben reflejar el mbito de sus intereses o sus responsabilidades y deben incluir indicadores de los diversos criterios de inters a ese actor. Cuidado con "indicadores" que no son, en efecto, indicadores. El indicador no es un mero parafraseo del resultado que se propone describe. Por ejemplo, menos agresin entre jvenes no es un indicador para describir cambio de actitudes frente a la violencia como medio para resolver conflicto; no cumple las caractersticas de precisin.

A algunas personas, les atrae asociar esta recomendacin con el desarrollo de una formula" para el indicador. No argumentara que todo tenga que tener formula. Pero, un indicador debe ser preciso, todos debemos saber exactamente lo que vamos a observar o indicar, y como lo vamos a hacer. En el caso de experimentar dificultad para especificar un indicador, detngase a preguntar si el resultado esperado (o el riesgo) que estn intentando describir est especificado de manera precisa. Puede ser que hace falta reducir la ambigedad en el fenmeno que van a indicar para poder generar el indicador. Por ejemplo, podra resultar difcil definir un indicador para el impacto de Mejora de condiciones de vida de las familias en las zonas rurales. Este impacto no cumple con la caracterstica de ser delimitado y verificable. Hasta que transforme el impacto en una expresin ms delimitada y verificable, van a sufrir dificultad en definir un indicador para describirlo. Hay que tener cuidado para asegurar que los indicadores van a poder ser interpretados de tal manera que ayuden a gestionar el programa que se monitorea: en ese sentido, sugerimos cuestionar el uso de indicadores que son meros conteos: nmero de obras realizadas; nmero de familias beneficiadas; nmero de organizaciones participantes. Dichos nmeros tienen que tener un referente (un hito o un estndar) para resultar interpretables. Tengan cuidado para asegurar que los indicadores de impactos o efectos estn bien dimensionados, para que sean sensibles a los cambios que el programa puede producir. La tasa de empleo regional o nacional, el IDH del pas o la incidencia de la pobreza de todo el pas podran ser poco sensibles a la dimensin de los cambios realizados por un programa regional o local. Indicadores ms apropiados se enfocaran en los efectos e impactos en las comunidades donde realiza se ejecuta el programa.

84

 Evite limitar su seleccin de indicadores a los que analizan la eficacia (a no ser que el actor para el cual construye el proceso solo est responsable por o interesado en la eficacia.) Para contar con indicadores de eficiencia, habra que agregar una reflexin sobre el uso de recursos. Para contar con indicadores de equidad, har falta mirar los indicadores correspondientes a diversos grupos de poblacin o diversos mbitos. Indicadores de sostenibilidad obligan a definir y seguir los determinantes de sostenbilidad y/o de seguir variaciones de ciertos indicadores sobre el tiempo. Es importante incluir indicadores que permite vigilar la posible ocurrencia de los riesgos que amenazan la generacin de valor pblico. Cada indicador propuesto debe ser precisado, en lo que respecta a plazos, lugar y poblaciones o grupos descritos. Antes de proponer un indicador, se debe juzgar la viabilidad de la recopilacin de los datos necesarios para su construccin y se debe definir la fuente de la informacin. La viabilidad va a depender de la representatividad de los datos con respecto al fenmeno que se propone describir, la periodicidad de la recopilacin de datos y el costo, entre otros. La Unidad 3.3 va a tratar estos temas.

Importancia de los indicadores

Se ha pensado en cmo se vera el xito en el contexto de un programa en otras palabras, cules son sus indicadores. Ahora hay que pensar en cmo los indicadores abordan el propsito de su evaluacin. Debe pensar en las interrogantes de la evaluacin y los miembros del pblico, para poder desarrollar y elegir indicadores que mejor quepan dentro de las necesidades de la evaluacin. Hay que pensar en el tipo de informacin o datos que hay que recolectar para cada indicador. Algunas medidas (o indicadores) se expresan como nmeros (numricos) y otros como palabras (no numricos). Los indicadores numricos y no numricos tienen sus papeles y propsitos en la evaluacin de programas. Escoger entre indicadores numricos y no numricos es una decisin influida por las preguntas y los miembros del pblico de la evaluacin. Revise las preguntas principales de la evaluacin. Si se enfocan ms en la amplitud, el grado y la cantidad de cambio, se debe usar indicadores numricos. Si se enfocan en el proceso del programa (por qu y cmo) y qu significan las cosas a la poblacin, entonces use indicadores no numricos. El publico de la evaluacin quines se interesan en los hallazgos debe considerarse. Algunos miembros de su pblico pueden estar interesados solamente en cuntos participantes aprendieron algo (un indicador numrico), mientras otros pueden interesarse en preguntas que tienen que ver con cmo funciona un programa o las palabras e historias de los participantes (indicadores no numricos). Es probable que las interrogantes de la evaluacin incluyan ambos tipos de pregunta y que se quiera utilizar ambos tipos de indicador. La siguiente tabla explica las variedades de preguntas que cada tipo de indicador puede abordar y da algunos ejemplos de los indicadores numricos y no numricos.

85

Tipo de Indicador

Ejemplo

INDICADORES NUMRICOS Cundo se utilizan: Determinan la cantidad de cada tipo de respuesta Describen la amplitud del programa (por ejemplo la cantidad de personas alcanzadas o el nmero de actividades realizadas) y el grado de cambio (por ejemplo la proporcin de hombres que mejoraron sus actitudes respecto a las mujeres). Expresan datos como conteo (nmero de), ndice (nmero de por), proporcin (porcentaje de), y promedio (nmero promedio de). o Promedio o Mediana

Conteo

Nmero de programas para jvenes que promueven la educacin sexual integral Nmero de ITS nuevas entre pacientes de la clnica Nmero de anuncios de radio transmitidos Nmero de congresistas que apoyan nuevas leyes relacionadas a SDSR Nmero de abortos por 1000 pacientes al ao Nmero de mujeres que han sido fsicamente agredidas por su pareja por 100 pacientes de la clnica embarazadas Nmero de nias que se gradan de la escuela primaria por el nmero que entran a la escuela primaria Nmero de anuncios con contenido discriminatorio o que promueve el estigma entre el nmero de anuncios en un ao proporcin de mujeres en el programa que reportan que participan en tomar decisiones en el hogar Porcentaje de hombres casados que reportan haber tenido relaciones sexuales con hombres Porcentaje de clientes que califican las actitudes del personal como excelente proporcin de hombres en el programa que averiguan que su pareja quiere tener relaciones sexuales antes de tenerlas con l o ella Porcentaje de jvenes que perciben que pueden hablar abiertamente sobre el sexo con sus padres La mediana de parejas del mismo sexo y del otro sexo de hombres no casados El promedio de las edades de las mujeres cuando se casan El puntaje promedio en una escala de empoderamiento entre mujeres en campos de refugiados

ndice

Porcentaje proporcin

86

INDICADORES NO-NUMRICOS Cundo se utilizan Describen especialmente bien conceptos sociales complejos Ayudan a entender los indicadores numricos Describen la calidad de las percepciones y experiencias de las personas Ayudan a entender el cmo y por qu del programa/el impacto del programa Describen los fenmenos con los cuales no est familiarizado su equipo Ayudan a entender el significado local de las cosas y proveer lenguaje localmente relevante Describen particularmente bien actitudes/creencias/prcticas que causan estigma o no son populares Ayudan a explicar por qu el programa funciona o no Describen cmo los participantes se sienten respecto al programa Describen el contenido de las actitudes de las personas para poder entender que tan importante ha sido el cambio de actitudes Describen la percepcin de los cambios que los participantes han experimentado Pueden ser expresados como citas, topologas, temas o resmenes (y pueden ser transformados a indicadores numricos). Citas y testimonios

Categora

Existencia de leyes en contra del abuso marital Existencia de programas para jvenes que promueven la educacin sexual integral Existencia de consejeros capacitados en la clnica Existencia de anuncios en radio desarrollados por jvenes que incluyen informacin sobre la ubicacin del centro para jvenes, horas y servicios Capacitacin en consejera desarrollada Creacin de una comisin de salud reproductiva entre varias organizaciones Citas de jvenes sobre sus percepciones de qu tan amigable a los jvenes es el programa Testimonios del significado de recibir la capacitacin para ser educador de contemporneos Percepciones de hombres jvenes sobre el significado de la identidad masculina y sus esfuerzos en contra de la presin de grupo que alienta la violencia Los mdicos consideran a las mujeres que necesitan la anticoncepcin de emergencia como promiscuas y por eso no quieren promover el mal comportamiento a travs de ofrecerla a todo el mundo. El uso del condn se ve como egosta porque los hombres consideran que limita su habilidad de alimentar a sus esposas con el poder de su semen La percepcin de muchachas jvenes sobre la perdida de virginidad, en categoras: las que lo ven como un regalo para el novio, como un fracaso o estigma, o como el comienzo de ser mujer y por eso un logro, o como una sea de la modernidad y la independencia de la tradicin.

Temas

Topologas

87

Los tipos de muchacho joven en una zona pobre urbana podran agruparse en estas categoras: los que perciben a figuras positivas y protectoras en su vida, tienen mayor respeto para las mujeres/muchachas, expresan esperanzas y sueos positivos sobre su futuro versus los muchachos que no reportan figuras positivas y protectoras en su vida, ven a las mujeres como instrumentos para su ganancia personal y piensan que el xito llegar a travs de medidas violentas o ilegales Historia personal de mujeres que participaron en un programa para generar ingresos.

Estudio de caso

88

Desarrollar indicadores numricos:

Decidir cules numeradores y denominadores que se quiere utilizar (Descripcin y Hoja de Trabajo) Para calcular porcentajes, proporciones e ndices para los indicadores numricos y para saber el tamao del conjunto de datos en el cual los indicadores no numricos se basan, hay que determinar: El nmero real de quines o cules exhiben una caracterstica particular (como el nmero de mujeres que han tenido una o ms parejas sexuales que hablaron son su pareja(s) sexual(es) sobre condones en el ltimo mes o el nmero de centros de salud en la regin que ofrecen pruebas de VIH). Este es el numerador. El nmero total de posibles eventos o fenmenos (como el nmero total de mujeres que participan en el programa que tiene una o ms parejas sexuales o el nmero total de centros de salud en la regin). Este es el denominador. El denominador (o grupo total del que se selecciona) que escoge debe: incluir solo unidades (por ejemplo, personas, clnicas, hogares) que pueden ser impactados por su programa ser relevante al evento o fenmeno que se mide ser significativo al contexto local del programa ser relevante a las decisiones programticas Bsicamente el numerador y el denominador son dos grupos de personas, eventos o documentos que se comparan. Cuando colocas el numerador sobre el denominador, se crea una fraccin que permite determinar porcentajes, proporciones y otros ndices. Con conjuntos pequeos de datos, se va a reportar cuntas personas, eventos o documentos demostraron cierto resultado (el numerador) de todos los que fueron estudiados (el denominador). Por ejemplo, 7 de 10 series de televisin observados en total ensearon a mujeres golpeadas, amenazadas o explotadas por su pareja sexual. Ejemplo: Si simplemente se cuentan el nmero de mujeres que hablaron sobre los condones con su(s) pareja(s) sexual(es) en el ltimo mes y se encuentra que el nmero es 37, es difcil saber si 37 es un logro significativo. Sin embargo, si se sabe que el nmero total de mujeres que participaron en el programa es 50, entonces se sabe que el 74% de las mujeres que participaron en su programa hablaron de condones con su(s) pareja(s) sexual(es) en el ultimo mes (en otras palabras, 37 de las 50 mujeres hablaron de condones, o 37/50 = .74; (.74x100 = 74%). Si el nmero total de mujeres que participaron en el programa es 100, entonces solo 37% o ms o menos una tercera parte del total hablaron de condones en el ultimo mes. El numerador sigue siendo el mismo (37), pero el denominador (50 o 100) en estos casos) provee informacin sobre la amplitud del fenmeno. Denominadores diferentes pueden tener efectos dramticos en los resultados. Asegrese de que: El numerador y tambin el denominador sean claros y especficos Se use un denominador relevante para que el numerador sea significativo Se usen denominadores que reflejan la realidad en el contexto local Se incluyan el nmero de personas que realmente contestaron la pregunta en el denominador, si se reporta un porcentaje de una entrevista o encuesta en la cual a todos los encuestados o entrevistados se hicieron las mismas preguntas

89

Hoja de Trabajo: Escoger el Denominador Ms Relevante Ejemplos de Programas

Los programas A y B se enfocan en aumentar el conocimiento y la habilidad de las mujeres de negociar el uso del condn con sus parejas sexuales masculinos. Programa A un programa pequeo en un contexto en el cual no es comn que las mujeres solteras tengan relaciones sexuales Programa B un programa ms grande, en un contexto en el cual es comn que las mujeres solteras tengan relaciones sexuales

Programa A un programa pequeo en un contexto en el cual no es comn que las mujeres solteras tengan relaciones sexuales

Programa B un programa ms grande, en un contexto en el cual es comn que las mujeres solteras tengan relaciones sexuales Indicador: El porcentaje de las mujeres en el programa que hablaron con su(s) pareja(s) sexual(es) masculino(s) sobre los condones en el ltimo mes Este nmero solo no da ninguna idea de la magnitud del resultado El nmero de mujeres en el programa que hablaron con su(s) pareja(s) sexual(es) masculino(s) sobre los condones en el ltimo mes El nmero total de mujeres en el programa 37 37

Numerador:

Denominador ms amplio y relevante

Como se quiere analizar las respuestas de las mujeres en el programa, lgicamente el nmero de mujeres en el programa es el denominador ms grande que sigue siendo relevante. No sera significativo contar a todas las mujeres en la clnica o la aldea. Pero no todas las mujeres tendrn una oportunidad de hablar con su(s) pareja(s) sobre los condones. Entonces el denominador puede ser reducido para enfocarse en las mujeres que el programa espera que tengan relaciones sexuales. Dados los sesgos tpicos, el programa podra suponer que solo las mujeres casadas tienen relaciones sexuales. Pero en algunos contextos las mujeres solteras tambin pueden tener parejas sexuales masculinos y el programa debe incluirlos en el denominador.

37/50=74%

37/100=37%

Denominador cado

enfo-

El nmero total de mujeres casadas en el programa

37/40=92.5%

37/40=92.5%

Denominador ms enfocado y realista

El nmero total de mujeres casadas y mujeres solteras en el programa que tienen parejas sexuales masculinos

37/42=88%

37/70=52.8%

90

Hoja de Trabajo: Escoger el Denominador Ms Relevante - Para su uso

Componentes del indicador

Indicador

Qu porcentaje, proporcin o ndice quiere Ud. medir?

Numerador

Cul es la incidencia absoluta que se quiere reflejar?

Denominador ms amplio y relevante

Cul es la poblacin ms amplia y relevante que se expusiera al programa y sea relevante al numerador? Por ejemplo, el nmero total de participantes en el programa, personas expuestas a un mensaje de incidencia pblica, mujeres que han estado embarazadas

Denominador enfocado

Qu sub-poblacin sera ms relevante al programa? Por ejemplo, los que asistieron ciertas actividades, personas que tienen el poder de tomar decisiones sobre leyes del aborto, mujeres que han abortado Hay algunos sub-grupos que debe agregar que no se incluyen normalmente pero son muy relevantes? Por ejemplo, las personas que trataron de usar los servicios pero fueron rechazadas, personas que se oponen al aborto legal pero pueden cambiar de idea, mujeres a las que se les negaron abortos legales

Escoge el denominador que: Es ms relevante al fenmeno medido Es ms realista en el contexto local Ms exactamente representa la poblacin prioritaria de su programa Excluye casos por los cules no se pudo recolectar datos para este indicador 0. Incluye casos que son el enfoque de objeto correspondiente del programa

Denominador ms enfocado y localmente relevante

91

Desarrollar indicadores no numricos:

Aunque no estar calculando porcentajes, Ud. tendr que reportar cuntos casos (personas, eventos o documentos) demostraron cierto resultado entre el nmero total que se estudio. Esto puede dar un sentido de qu tan comn o tpico son los resultados y sus implicaciones para el programa. Hay que decidir tambin de qu forma se presentar el indicador. Pueden ser: Citas directas o resmenes Temas identificados de transcripciones de grabaciones Topologas de casos Asignacin de cdigos de categoras predeterminadas y generadas por: experiencia previa, la literatura existente y los resultados cuantitativos/numricos.

Los factores que pueden influir en los resultados para los participantes
Es importante tener en mente los factores que influyen en los resultados de los participantes. Muchas veces estos factores con variables demogrficos como: gnero, edad, raza o grupo tnico y estatus socioeconmico. Estos factores tambin pueden tener que ver con factores relevantes a la participacin en el programa y pueden impactar de alguna otra manera. Por ejemplo, la experiencia del participante antes de entrar en el programa. Es crtico que se piense en cules factores (o variables) que usted considera que probablemente influyan en como el programa impacta en los participantes. Esa informacin puede ser importante para incluir en nuestros indicadores. Por ejemplo, si usted quiere saber algo sobre el impacto del programa en el empoderamiento de la mujer, el cual en el contexto de su programa se mide por la habilidad de una mujer de ir sola a la clnica de salud, entonces es importante considerar los variables demogrficos adems de los factores localmente relevantes que impactan en esto, como la edad de la mujer, su estatus civil y posiblemente su grupo tnico/raza. (Measuring Program Outcomes: A Practical Approach. 1996. United Way of America.) Tipos de informacin que se debe considerar: a. informacin demogrfica b. nivel del participante en el tema de enfoque del programa (por ejemplo, experiencia con la violencia o experiencia sexual previa) c. cualquier otro factor que usted considera importante en cuanto a cmo el programa impacta en el participante

Escriba sus indicadores

Escriba sus indicadores, ya que tenga una idea clara de: a. El concepto complejo que cada objetivo aborda b. Cmo se ve en el contexto del programa y cmo se vera el xito para ese indicador c. Cules con las preguntas principales y lo miembros principales de pblico de la evaluacin y el tipo de indicador que sera mejor (numrico y/o no numrico) para usar d. Otros factores que pueden influir en el impacto que tiene el programa en los participantes

92

Hoja de Trabajo: Su Turno Desarrollar Indicadores de MyE

Elementos del indicador Objetivo: Qu exactamente ser medido Inmediato/Intermedio: A qu nivel de objetivo corresponde el indicador? Evaluacin Resultado inmediato _______________________________________ Evaluacin- Resultado intermedio _______________________________________ Indicador de monitoreo (directamente vinculado a actividades)

Su respuesta

Lista de control para escoger indicadores: Vinculados al efecto del programa: De todos los posibles indicadores bajo consideracin para medir un objetivo particular, escoja el/los indicador(es) que ms exactamente y sin ambigedad reflejan el objetivo correspondiente del programa. Asegrese de que los cambios en el indicador reflejen el xito del programa sin ser influenciado por otros factores.

Poblacin: La poblacin exacta entre quienes sern recolectados los datos

Factibles: Hay muchas maneras de recolectar datos de cada indicador. Considere obstculos y destrezas que pueden involucrarse en recoleccin exitosa de datos para cada indicador bajo consideracin. Escoja indicadores que tienen ms posibilidad de ser exitosamente recolectados mientras dan la informacin requerida.

numrico/No numrico: Tipo de indicador y calculo

numrico: o Conteo (nmero de) o ndice o Porcentaje/proporcin o Promedio No numrico o Categora o Citas o Temas o topologas o Casos de estudio

Costo-efectivos (dinero, horas laborales y otros recursos): Siempre hay que encontrar un equilibrio entre los costos y la conveniencia y la profundidad y significado del indicador. Por ejemplo, los indicadores que requieren esperar una cierta cantidad de tiempo despus de terminar el programa pueden involucrar mayores costos para localizar a los participantes, pero dan mayor indicacin de los resultados reales del programa. Basados en los derechos: Asegrese que todos los indicadores sean sensibles a las consideraciones de justicia social basadas en los derechos. Consejos: Consideraciones claves de la justicia social basadas en los derechos para los indica-

93

dores Recuerde que los indicadores no deben especificar la direccin del cambio deseado porque esa informacin se encuentra en los objetivos.

Numerador/Denominador: Tamao del grupo del cual se recolectan los datos

Numerador =

Denominador =

Factores externos: En qu categoras se divide el indicador (por ejemplo, gnero, edad, estado civil)

Su indicador escrito:

Cmo se relacionan indicadores numricos y no numricos a los datos cualitativos y cuantitativos?

Los datos cualitativos pueden transformarse en indicadores numricos cuando se hace un conteo del nmero de personas que reportan ciertos tipos de percepciones, opiniones y significados. Cuando es ms importante mantener las palabras reales de las personas, use indicadores no numricos como citas directas o texto parafraseado. Los datos cuantitativos siempre se reportan como indicadores numricos.

Para una descripcin grafica vase: Descripcin de las relaciones entre el tipo de dato y el tipo de indicador que se va a utilizar.

94

95

Consideraciones claves de la justicia social basadas en los derechos para los indicadores Componente programa del Nivel del indicador Indicadores de monitoreo (a veces llamados indicadores de productos o de proceso) Definiciones Consideraciones basadas en los derechos

Actividades

(Implementacin del programa)

Miden la implementacin del programa; los recursos dedicados al programa; el contenido y la calidad del programa; la asistencia; la capacitacin de los que implementan el programa; la diseminacin de mensajes po el programa; los eventos realizados

Aborde la distribucin de poder y recursos entre el personal y los proyectos La calidad de la capacitacin y los materiales de alcance a la comunidad Donde sea aplicable, hay que captar la naturaleza holstica e integral de la atencin y servicios proporcionados

Pregunte: Puede controlar esto? Objetivos inmediatos Indicadores de evaluacin que miden los resultados inmediatos (a veces llamados indicadores de resultados de corto plazo) Se relacionan a los efectos muy vinculados a la implementacin del programa, pero no totalmente controlado por el programa en si: 1) el conocimiento, las actitudes, las intenciones cambiados por el programa como inmediatamente medido por los post-pruebas 2) el nmero de personas capacitadas por el programa que han adquirido ciertas destrezas 3) el nmero de mensajes recibidos por el pblico de enfoque Pregunte: Cmo fue recibido el contenido del programa?

(Directamente influidos por las actividades del programa)

Asegrese que los mensajes hayan sido entendidos y destrezas aprendidas Asegrese que los subgrupos marginados o no bien servidos no hayan sido estigmatizados o dejados fuera sin querer Fueron recibidos los mensajes o el contenido del programa por las poblaciones prioritarias como culturalmente apropiados y de buena calidad?

Objetivos medios

inter-

Indicadores de evaluacin que miden los resultados interme-

Se relacionan directamente a si el cambio deseado realmente ocurri en la poblacin servida pero de una manera que es a uno o ms pasos del programa, posiblemente por un lapso de

Enfquese en cambios en las normas sociales o de comportamiento que mantienen las inequidades en la comunidad Los cambios en actitudes, conocimiento y compor-

96

(Cambios en la poblacin que son necesarios para llegar al propsito final)

dios (a veces llamados indicadores de resultados de mediano plazo)

tiempo o porque el cambio crece encima de los resultados inmediatos y representan el progreso uno o dos pasos hacia el propsito.

tamiento que en la vida real causarn el resultado final Las mejoras programticas y cambios a las polticas que pueden causar los resultados finales

Pregunte: Qu ms pas en la poblacin, a causa del programa, que ayudar a producir el resultado final deseado? Propsito Indicadores de evaluacin del resultado final o propsito Demuestran el impacto del programa al nivel de la poblacin

(Mide el propsito de largo plazo)

Recuerde: no tiene que medir cambios en este nivel porque son muy complejos para lograr son un solo programa pequeo

Cambios en el problema al que el programa se dirige en el nivel de la poblacin Cambios en el status de la mujer y otros grupos marginados La eliminacin de obstculos legales, sociales y culturales a la SDSR y la equidad de gnero

Pregunte: Es esta la diferencia que queremos hacer en la salud y bienestar de la poblacin?

97

Decidir hasta dnde llegar

El nivel de recursos disponibles para la evaluacin determinar el nivel de los indicadores de la evaluacin:

Se podr medir: Indicadores de monitoreo Si los recursos para la evaluacin son: Bajos Medianos Altos Actividades Resultados inmediatos X o XX XX o XXX XXX X XXX XXX Indicadores de evaluacin Resultados intermedios Resultados Finales

XXX XXX XXX

98

Indicadores de monitoreo son directamente vinculados a las actividades Proporcionan datos sobre: Cules y cuntas actividades se realizaron Quines participaron o recibieron los mensajes del programa Si esas actividades fueron bien realizadas o no Qu hace o hizo el programa Si el programa realiz las actividades como se pretenda o mejor o peor

NO revelan ningn efecto ni resultado del programa.

Ya que deban utilizarse para fortalecer su trabajo, si no se puede medir todas las actividades, mida: actividades nuevas o innovadoras actividades que no se han probado anteriormente actividades de las cules hay dudas sobre su desempeo actividades que se quieren subrayar o compartir con otros actividades principales del programa Indicadores de evaluacin son directamente vinculados a los objetivos en los tres niveles: resultados inmediatos, intermedios y finales. Proporcionan datos sobre: cambios a los cuales se espera que el programa haya contribuido y cambios inesperados que ya ocurrieron.

Tenga en mente la distincin entre los diferentes niveles de indicadores de evaluacin: Indicadores de objetivos inmediatos reflejan los cambios que ocurren como consecuencia directa de realizar las actividades del programa, como: el nmero de personal adecuadamente capacitado o personas que conocen el programa o conocen cierta informacin a travs de esfuerzos de alcance a la comunidad; el nmero de personas que aprendieron cierta informacin en el curso del programa; o el nmero de personas que reportan reacciones positivas a los mensajes de la campaa del programa. (Algunos planes de evaluacin se refieran a estos como indicadores del proceso). Indicadores de objetivos intermedios reflejan los cambios que ocurren a un paso o ms de su programa. Son medidas de lo que ocurri como resultado de los objetivos inmediatos siendo logrados. Por ejemplo, si el personal es capacitado adecuadamente, cambiar sus actitudes y comportamiento con los clientes (a un paso del programa) y los clientes se sentirn ms satisfechos con los servicios ofrecidos (a dos pasos); si un programa de televisin enfocado en involucrar a los hombres en cuidar del modo maternal a sus hijos se recibe bien, los hombres quizs reporten un deseo aumentado de participar en el cuidado de sus hijos (a un paso) y quizs de verdad participen ms despus de ver el programa (a dos pasos) Indicadores de resultados finales o propsitos reflejan los cambios a largo plazo a los cuales el programa contribuir, como el ndice de infeccin de VIH/SIDA; el porcentaje de nias que no han tenido los genitales cortadas, o el porcentaje de nios y nias que sufren de abuso sexual. Recuerde, aunque se haya identificado los resultados finales o propsitos del programa, la mayora de los programas basados en la comunidad o programas pequeos de SDSR no necesitan indicadores en este nivel. Algunos programas generalmente no tienen suficientes recursos, pericia o tiempo necesarios para afectar y medir el cambio al nivel del propsito y resultados finales. El cambio a ese nivel es muy complejo y el producto de muchos tipos de intervencin a travs del tiempo.

99

Actividades de la dcima semana

1. Haga la lectura de la semana. 2. Construya los indicadores del monitoreo y evaluacin de un programa, para el cual realizar la evaluacin. 3. Actualice su documento de proyecto.

100

DCIMA PRIMERA SEMANA Las fuentes de informacin

Lectura
Monitoreo: un proceso de planteamiento y exploracin de preguntas inteligentes, que propone provocar y apoyar reacciones y decisiones gerenciales que garantizan la generacin de valor pblico. El monitoreo se asocia con indicadores. Y, a su vez, la seleccin de indicadores idneos para el monitoreo no resulta completa hasta cuando se identifiquen las fuentes de informacin que brindarn los datos necesarios para construir los indicadores. Tratndose de un proceso que se realiza continuamente durante la ejecucin de un programa, el monitoreo requiere de fuentes de datos e informacin que podrn ser actualizados (y monitoreados) a travs del tiempo, en plazos que brindarn informacin pertinente y oportuna para los gestores. As, el monitoreo requiere de fuentes de informacin que se actualizan continuamente o que brindan actualizaciones con una periodicidad idnea para verdaderamente generar informacin til para los que toman decisiones con respecto al programa, sus actividades y sus inversiones. En la unidad 3.2 propusimos que la identificacin de indicadores debe incluir la definicin de las fuentes de informacin o los mtodos de recopilacin de datos para su elaboracin. En esta unidad, vamos a proponer unas pautas para contemplar posibles fuentes de informacin o mtodos de recopilacin.

Fuentes primarias y fuentes secundarias

Iniciamos la reflexin con una distincin bsica entre dos tipos de fuentes de informacin: Fuentes primarias (o directas): se tratan de los datos obtenidos "de primera mano", por los que estn gestionando el proceso de monitoreo, por medio de procesos de recopilacin que ellos mismos disean y gestionan. Cuando contemplamos el uso de datos de fuentes primarias, tenemos que referirnos a mtodos de recopilacin de datos. Fuentes secundarias: consisten en datos recopilados por otros gestores, frecuentemente para otros fines. Se trata de datos ya recopilados, que pueden ser utilizados directamente o pueden ser procesados de tal manera que resulten tiles para el proceso de monitoreo. Cuando nos referimos a datos de fuentes secundarias para el monitoreo, nos obligamos a analizar la capacidad de los datos ya recopilados a suplir las necesidades de informacin del proceso. El cuadro que se presenta a continuacin propone resumir posibles fuentes primarias y fuentes secundarias, para los procesos de monitoreo de programas sociales. Vern que se presentan primero las fuentes secundarias. Esto, porque en general, se recomienda que los procesos de investigacin y anlisis tomen las fuentes secundarias, pues se pueden economizar los esfuerzos y los recursos de recopilacin de datos. A su vez, se reconoce que las fuentes secundarias de datos pueden obligar a acomodar las demandas y necesidades del anlisis o investigacin a los mtodos de recopilacin de datos ya aplicados. El cuadro intenta caracterizar cada posible fuente de informacin con ejemplos, una identificacin preliminar de ventajas y desventajas que podran presentar para los procesos de monitoreo y una identificacin de algunas fuentes de informacin impresa y de acceso electrnico. Cabe anotar que la mayora de los links electrnicos llevan a referencias redactadas en ingls. Las fuentes impresas son, en su mayor parte, disponibles en espaol.

101

102

103

104

Analicemos las posibles fuentes, contemplando los diferentes datos necesarios para un proceso de monitoreo: Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspondientes procesos y recursos. Por tanto, los datos necesarios van a ser descriptivos de procesos internos a las organizaciones ejecutoras del programa. Resulta apenas lgico que la mayora de los datos van a resultar de fuentes primarias, en buena parte de registros administrativos de las organizaciones ejecutoras. Se pueden utilizar datos contables, de recursos humanos, de procesos y rutinas, de auditora, entre otros. Evidentemente, los datos de registros administrativos se podran complementar y cualificar con datos de entrevistas con diversos actores de estas organizaciones. Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la poblacin usuaria (el encuentro de la oferta del programa con la demanda). En su mayor parte, estos indicadores se pueden construir con datos recopilados por los establecimientos o los mbitos donde se entregan los productos o servicios del programa. Para estos datos, lo ms comn sera utilizar registros administrativos y, en algunos casos, fichas de atencin a usuarios y entrevistas o encuestas con usuarios. Todos estos, clasificados como fuentes primarias, pues se recopilaran directamente por los gestores del programa, para fines de monitoreo. Indicadores de efectos y impactos: describen evidencias cambios en los consumos, comportamientos, conocimientos y/o actitudes de los afectados por el programa y evidencias cambios en el bienestar consecuentes de la generacin de los efectos. La construccin de estos indicadores de efectos e impactos requiere de datos que se recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se producen en las comunidades, en los hogares y en los individuos. Como tal, abren la posibilidad de uso de fuentes secundarias de informacin. Se podra utilizar datos de encuestas -- bien sean recopiladas primordialmente para fines del monitoreo (fuentes primarias) o que sean tomados de encuestas realizadas para otros fines (encuestas de ingresos y gastos, o encuestas de condiciones de vida, por ejemplo). Asimismo, se pue-

105

den utilizar datos censales, datos de registros administrativos de organizaciones beneficiarias del programa u organizaciones que interactan con la poblacin objetivo del programa. Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del riesgo y las acciones y resultados de la gestin de estrategias de manejo del riesgo. Estos indicadores requieren de datos que se recopilan entre las poblaciones y comunidades objetivo del programa y tambin de datos internos de la organizacin. Como tal, se pueden utilizar datos de fuentes primarias y/o secundarias de informacin: fuentes que hacen seguimiento de evidencias de posible ocurrencia del riesgo (por ejemplo, observatorios de la actividad empresarial o de los indicadores macroeconmicos) y fuentes que monitorean la gestin de estrategias de manejo del riesgo (que muy probablemente se tratarn de datos internos).

Factores que se deben tomar en cuenta para la seleccin de fuentes de informacin

Relevancia de los datos: Los datos que utilizamos en el monitoreo tienen que facilitar las respuestas a las preguntas que proponemos explorar en el proceso. La relevancia de los datos es, por lo tanto, el criterio primordial para la seleccin de las fuentes de informacin. Una fuente de informacin secundaria solo va a ser til si los datos recopilados efectivamente reflejan (directa o indirectamente) los fenmenos que efectivamente estamos tratando de monitorear. De la misma forma, si se toma la decisin de levantar los datos primarios, hay que ser fiel a los fenmenos que se proponen monitorear. Cobertura: El monitoreo requiere datos sobre ciertos procesos, determinadas poblaciones, organizaciones o grupos. Si se propone realizar una recopilacin de datos primarios, es necesario preguntar si se va a recopilar datos sobre el universo de los miembros de los grupos que se desean monitorear o de una muestra representativa del mismo. De la misma manera, la viabilidad del uso de datos de una fuente secundaria depende de la cobertura del mismo: los datos cubren las poblaciones, los grupos, los procesos o las organizaciones que proponemos monitorear? Cubren una muestra representativa de ellos, de forma que podramos proponer generalizar a partir de los datos recopilados? Periodicidad: Por definicin, el monitoreo va a requerir de datos que se recopilan con cierta periodicidad regular; la posibilidad de actualizar los datos regularmente tiene que ser tomada en cuenta al disear un mtodo de recopilacin y/o juzgar la idoneidad de una fuente secundaria de informacin. Para el monitoreo, vamos a requerir de actualizaciones muy frecuentes (mensual, trimestal, etc.) de datos sobre actividades, inversiones y productos y menos frecuentes (semestrales, anuales, bianuales, etc.) de evidencias de efectos e impactos. Si no es posible contar con una frecuencia suficiente de actualizacin de datos (por la exigencia de los mtodos de su recopilacin), conviene definir unos indicadores intermedios o unos indicadores proxi para poder hacer un seguimiento de evidencias que sugieran que pueda (o no) estar presentando evidencias de posibles efectos e impactos. Otro elemento importante para tener en cuenta al definir la periodicidad con que se van a recopilar los diferentes datos particularmente de los efectos e impactos tiene que ver con el tiempo necesario para que se produzca una varianza en el indicador. Una tasa de escolaridad de la poblacin mayor de 10 aos, un coeficiente Gini (de desigualdad distributiva) o una tasa de analfabetismo entre los mayores de 25 aos solo produce varianzas lentas en el tiempo. En caso de incluir indicadores de esta naturaleza en el proceso de monitoreo, tambin podra convenir incluir en el monitoreo unos indicadores intermedios para poder explorar evidencias que sugieran que estemos (o no) en el camino que conduce hacia ese logro. Costos: Evidentemente, en el monitoreo, hay que buscar un equilibrio entre lo ideal y lo alcanzable en la definicin de fuentes de informacin. Es importante tener en cuenta los recursos necesarios (recursos financieros, y de tiempos de los gestores del proceso de monitoreo) para poder utilizar las diversas alternativas de fuentes de informacin.

106

Hoja de trabajo: Seleccionar fuentes de datos

Indicador Fuentes potenciales de datos Criterios para la seleccin de fuentes de datos Completitud, precisin, pertinencia Facilidad en el acceso y factibilidad Falta de riesgos para las personas que responden

Decidir si se utilizar una muestra y qu tipo de muestra.

Si no se cuenta con el suficiente tiempo, dinero o personal para escuchar a todas las personas, revisar todos los documentos y observar todos los eventos, se tendr que seleccionar un subgrupo ms pequeo de la poblacin total, llamado una muestra.

La eleccin de una muestra puede hacer que la evaluacin sea ms factible y menos costosa. Con el fin de que los hallazgos sean pertinentes al grupo o a la poblacin entera, la muestra debe asemejarse al grupo grande del programa en aspectos que sean directamente pertinentes a: el tipo de informacin que se estar recopilando, as como a los objetivos del programa. Se har uso de dichas caractersticas para: seleccionar la muestra en primer lugar y/o para verificar que la muestra haya sido similar a las poblaciones, como se buscaba

107

Hoja de Trabajo: Cmo determinar el tipo de muestra a seleccionar

Cules son los posibles sesgos? Cunto tiempo y cuntos recursos se puede dedicar a la recoleccin de datos? Cules son las implicaciones para el anlisis?

Plantearse las siguientes preguntas:

Tcnica de muestra

Existe presin de tiempo para recolectar los datos antes de una fecha lmite? Existen sesgos

Muestra de tiempo

Se tiene una idea clara de quines constituyen todas las fuentes posibles de datos?

Muestra aleatoria

Se sabe que no existen sesgos en el orden en que se identifica a las personas, los eventos o los documentos?

Muestra sistemtica

Elegir la muestra que: tenga menos sesgos y/o sesgos menos extremosos coincida con los recursos disponibles coincida con el tipo de anlisis que se desea realizar (vase el Mdulo 7) Siempre describir quines o qu est incluido, y quines o qu qued fuera de la muestra.

Existen grupos especiales en los que se debe centrar, aunque sean poco frecuentes en la poblacin general?

Muestra estratificada con sobrerepresentacin de un grupo especfico

Las fuentes necesarias de datos estn altamente estigmatizadas, ocultas, son ilegales o de alguna manera difciles de

Muestra nieve

bola

de

108

No se cuenta con recursos para identificar una muestra, o se desea probar los instrumentos para la recoleccin de datos antes de iniciar la mera recoleccin.

Muestra niencia

de

conve-

Independientemente del medio que se utilice para seleccionar la muestra, siempre habr que: tener absoluta claridad respecto a quin o qu se incluy o no se incluy, y por qu, as como pensar en las implicaciones de dichas decisiones, para los hallazgos potenciales.

Si se comienza la evaluacin de un programa nuevo:

Construir una lnea de base quiz constituya el paso ms importante para asegurar que se llegue a hallazgos tiles. Es necesario recolectar al menos algunos datos de base acerca de las interrogantes ms importantes de la evaluacin. Cundo recolectar datos de base: 1. antes del inicio del programa. Si se realiz un diagnstico de necesidades (evaluacin de necesidades) que incluy la recoleccin de datos sobre los indicadores, habr que utilizar dichos datos como la lnea de base. Aplicar el instrumento para la recoleccin de datos cuando las personas se apuntan para el programa. Revisar los documentos antes del comienzo del programa. 2. al inicio del programa En los casos en que las personas se inscriben o comienzan a participar a partir de un momento especfico, se puede aplicar un instrumento pre-prueba con las mismas preguntas que se utilizar en las valoraciones medias y/o finales. En los casos en que los y las participantes en el programa no son un grupo cautivo, aplicar el instrumento pre-prueba a una muestra de personas, eventos o documentos, que estarn expuestos al programa. 3. en una etapa temprana del programa, antes de poder esperar resultados. Cmo mantener los gastos bajos: 1. utilizar datos del diagnstico de necesidades, si a. son aptos para los indicadores que se han determinado como necesarios para la evaluacin b. se recolectaron de la misma fuente de datos que se utilizar en la lnea media y/o final c. se recolectaron de la misma manera en que se recolectarn en la lnea media o final 2. priorizar las preguntas ms importantes a. centrarse en los objetivos especficos y en las actividades ms importantes respecto al equipo del programa, los actores interesados y los donantes b. enfocarse en los subgrupos ms importantes dentro de la poblacin potencial, como seran las madres solteras, los nios menores, los polticos o la prensa ms conservadora, las personas ms estigmatizadas, es decir, las personas ms importantes para los resultados del programa.

Si se evala un programa ya en marcha:

Es un desafo comn evaluar un programa que no cuenta con una lnea de base adecuada.

Si existe una lnea de base: 109

Aunque no es muy comn, es posible encontrar que se ha realizado algunas mediciones iniciales. Se podr hacer uso de dichos datos, si: la lnea de base existente incluye informacin acerca de los indicadores que ya se han determinado como necesarios para evaluar los cambios respecto a los objetivos inmediatos e intermedios los datos existentes pueden ser analizados de nuevo o reagrupados, con el fin de proveer la informacin necesaria para medir el cambio respecto a los objetivos inmediatos e intermedios del programa se aplic la lnea de base en personas que participan en el programa, o muy similares a ellas se recolectaron los datos de formas similares a las que se utilizar para recolectar los datos postprueba

Icono de punto importante: Es mejor no tener una lnea de base, que llegar a conclusiones errneas de una lnea de base mal construida.

Si no existe una lnea de base:

Esta constituye la situacin ms comn. Utilizar un grupo de comparacin. Si no hay un grupo de comparacin disponible o apropiado, construir una comparacin de lnea de base retrospectiva, mediante: o La creacin de versiones retrospectivas de las preguntas medias o finales, por ejemplo, antes del programa o en tal ao, cmo era la situacin respecto a X, Y o Z? o La utilizacin de percepciones cualitativas de los cambios, al preguntar a las personas que responden cmo perciben la diferencia entre la situacin antes del programa y el momento actual. o La utilizacin de diferentes maneras de indagar sobre cmo eran las cosas antes del programa, por ejemplo, las percepciones de las personas, ms los registros municipales. Ello es otro ejemplo de cmo puede ayudar la triangulacin. o Siempre habr que incluir una pregunta respecto a si los y las participantes en el programa perciben cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una lnea de base slida, este tipo de pregunta complementar los datos y puede llevar a conocimientos significativos.

Cmo ayudar a la gente a recordar?

Siempre existe un riesgo al preguntar a las personas cmo estaban las cosas antes del programa. Quiz se hayan olvidado, u otros eventos hayan causado que recuerden las cosas de otra manera. Con el fin de ayudarles a recordar, habr que ubicarles en el perodo de tiempo de inters para la evaluacin. Por ejemplo, en la introduccin a la entrevista o la seccin, pedir que recuerden dnde vivan, con quin vivan, a qu se dedicaban. Una vez ubicadas en el perodo de tiempo, se les puede plantear preguntas especficas respecto a la lnea de base.

Cundo constituye la lnea final el fin?

En qu momento despus del fin del programa se desea medir la lnea final? Si se espera varios meses o aos: o Es ms probable que se detecte cambios que han persistido e incluso que se han vuelto ms marcados con el tiempo. o Puede ser ms difcil y costoso encontrar a las personas o los registros necesarios para evaluar. o Es posible que las personas ya no recuerden nada o lo que recuerdan est distorsionado. o Otros factores pueden haber aumentado o reducido los resultados que se intenta evaluar. Si se mide inmediatamente despus del cierre del programa:

110

o o

Se puede medir cambios inmediatos (objetivos). Los cambios pueden ser de corta duracin, y no se podr demostrar resultados ms duraderos. La evaluacin podr ser ms fcil y menos costosa.

El escenario ideal es hacer ambos, pero con recursos limitados, habr que realizar las mejores comparaciones posibles, en el momento en que se cuenta con los recursos.

De qu tamao debe ser la muestra?

El asunto puede reducirse a cuestin de tiempo y dinero. o Determinar cunto tiempo, dinero y personas estn disponibles para recolectar los datos. o Determinar cunto tiempo y dinero se necesita para cada tipo de recoleccin (una vez diseados los instrumentos de recoleccin de datos, en el Mdulo 6), y proceder a la inversa. o Equilibrar el tipo de instrumento con el nmero de fuentes a incluir. Por ejemplo, quiz se pueda aplicar una encuesta breve a todas las personas, pero si se quiere realizar entrevistas a profundidad, probablemente se tendr que elegir una muestra pequea. o Tener en mente el tipo de interrogante de la evaluacin, al que se pretende dar respuesta. A veces ser mejor una recoleccin de datos ms profunda en una muestra ms pequea, que muchos datos superficiales de una muestra ms grande. Si se utiliza instrumentos de recoleccin de datos cualitativos (vase el Mdulo 6), habr que planear la inclusin de al menos 3, pero de preferencia 5 personas para cada categora que se utiliz para seleccionar la muestra. Ejemplo: Si la muestra debe incluir hombres que tienen relaciones sexuales slo con hombres, hombres que tienen relaciones sexuales slo con mujeres, y hombres que tienen relaciones sexuales con ambos, habr que intentar formar una muestra de 3 a 5 hombres para cada una de estas categoras.

Evitar sesgos en las comparaciones

Comparaciones de lnea de base versus lnea final: Es importante establecer la confianza durante la valoracin de base, a fin de evitar el sub-registro de conductas o actitudes que son criticadas socialmente, y evitar el sobre-registro de conductas o actitudes populares o de mucho status. o Al recolectar datos para la lnea de base, quiz sea necesario explorar temas sobre los cuales es difcil hablar. Las personas entrevistadas que an no ingresan al programa, quiz subregistren conductas o actitudes delicadas o polmicas, o bien, se jacten de sus hazaas. o Por medio de la participacin en el programa, donde probablemente se desarrolle la confianza, quiz se encuentre niveles ms elevados de conductas respecto a las cuales no se pudo hablar cuando se realiz la lnea de base; asimismo, es posible encontrar niveles reducidos de jactancia acerca de actitudes o conductas de mucho status. En ambos casos, se alterarn las comparaciones. o Preguntar a los y las participantes si se sienten bien al hablar de temas delicados, y en la valoracin post-prueba, si se sintieron ms o menos cmodos/as que antes, hablando de dichos temas. o En la lnea media o final, preguntar si las personas participantes percibieron cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una lnea de base slida, una pregunta de esta ndole complementar dichos datos y puede llevar a importantes conocimientos nuevos. Planear y utilizar los datos de monitoreo para medir cambios en el desarrollo u otros eventos o intervenciones que alteran la vida, mismos que pueden ocurrir entre la valoracin de base y la final. o Las personas jvenes pueden haber cruzado umbrales en su desarrollo durante su estancia en el programa, como sera el inicio de la actividad sexual. Si el programa buscaba reducir la actividad sexual insegura, ello no significa que el programa no tuvo efecto. Su conducta an podra ser mucho ms segura en comparacin con jvenes similares que no tuvieron contacto con el programa (un grupo de control).

111

Pudieron haber ocurrido eventos externos que afectan los hallazgos, como seran disturbios polticos, escndalos, desastres naturales, la transmisin de programas educativos en televisin o radio, etc. o Si se est haciendo uso de registros pblicos, el personal pudo haber recibido nuevos incentivos o capacitacin para redondear su preparacin, o bien, un nuevo gerente o un nuevo sistema de evaluacin les pudo haber intimidado en cuanto al registro de cierta informacin. Revisar la composicin de los grupos reales que se estn comparando. o La desercin durante el programa o la incorporacin tarda de personas (despus de haberse aplicado la pre-prueba), puede llevar a que los grupos pre-prueba y post-prueba ya no sean iguales en algunas caractersticas esenciales, como la motivacin, la escolaridad, el apoyo familiar, etc. Al revisar los datos de monitoreo continuamente, ser posible percatarse de esta situacin, y ojal evitar sesgos en las comparaciones. o Decida si se van a utilizar solamente encuestas apareadas, en las cuales se ha diseado una forma de identificar a las personas en la pre-prueba y post-prueba aun manteniendo su anonimato, para saber el impacto del programa en el individuo. Planear la forma de realizar comparaciones persona por persona en los momentos de pre-prueba y post-prueba. Aun si se cuenta con un subgrupo pequeo, cuyos integrantes se pueden aparejar con personas que responden, se puede obtener informacin valiosa acerca del cambio a nivel individual, de tal forma que si los grupos terminan variando, an se podr saber si el programa tuvo impacto o no. o Si el anonimato constituye un asunto a manejar, asegurar la inclusin de un identificador nico (Un grupo reducido de preguntas que la persona respondedora recordar y contestar de la misma manera cada vez que se le entreviste, sin revelar su identidad, como sera el nombre de la hermana o el hermano ms cercano en edad, el color favorito, el nmero de hermanos y hermanas) en el instrumento de recoleccin de datos, a fin de aparejar las personas que responden sin revelar su identidad. o

Grupos de comparacin
Identificar un grupo de personas, eventos o documentos con caractersticas similares a las del grupo expuesto al programa. Si no se logra identificar un grupo de comparacin para la poblacin entera, identificar uno para cada subgrupo de la poblacin, considerado ms importante para el equipo de MyE y los actores interesados, y/o el pblico a influenciar. Ejemplo: Si la poblacin entera incluye jvenes de 10 a 24 aos de edad, pero es de ms inters el grupo de 10 a 15 aos, se podr buscar un grupo de comparacin de jvenes de esta edad, y despus comparar dicho grupo muestra con los jvenes de 10 a 15 aos en la poblacin original. Utilizar datos generales de poblacin en lugar de un grupo de comparacin (por ejemplo, comparar los y las jvenes en el programa con los y las jvenes del pueblo entero) si existen datos disponibles y apropiados a nivel de distrito/pueblo/estado. No obstante, habr que asegurar que las personas jvenes en el programa no difieran de la poblacin general en otros aspectos importantes, ni que representen una proporcin tan importante de los datos de la poblacin general, que se terminara comparndolas con ellas mismas. Sera ideal utilizar la valoracin del grupo de comparacin como lnea de base para el prximo ciclo del programa. De esta manera, las personas entrevistadas estarn expuestas al programa a la larga, y se evitar la sensacin de que se est invirtiendo recursos sin proveer el tipo de servicios que se desea brindar. Los grupos de comparacin deben mostrar un nivel similar de inters en los temas pertinentes, que el grupo del programa. Sin embargo, habr que estar atentos a que pueden diferir en trminos de apertura a los temas que se tratan en la valoracin, lo que introduce los mismos sesgos que en ocasiones se encuentran en las comparaciones entre lneas de base y lneas finales. Independientemente de cmo se selecciona el grupo de comparacin, siempre habr que explicitar en qu difiere el grupo de comparacin del grupo del programa, en aspectos que pueden tener un impacto en los hallazgos de la evaluacin.

112

Grupos internos de comparacin:

Indagar si hubo subgrupos que de alguna manera estuvieron expuestos a la influencia del programa. Ejemplos: o Personas que asistieron a todas las sesiones versus las que slo asistieron a una cuantas o Personas que recuerdan haber visto o ledo los mensajes que el programa difundi versus las que no recuerdan Dividir los participantes en el programa en dos o tres grupos: personas o que estuvieron suficientemente expuestas como para esperar que muestren el cambio deseado o cuya exposicin fue tan mnima que no se esperara que el programa las influenciara y o posiblemente un grupo intermedio

Asegurar que dichos grupos no difieran en aspectos tan importantes como motivacin, recursos econmicos, etc. Ejemplo: En un programa educativo sobre el VIH/SIDA para personas mineras, algunas de stas que iniciaron en el programa fueron transferidas durante varios meses a otra regin. A pesar de que regresaron a tiempo para participar en la post-prueba, no haban estado expuestas a la intervencin completa. Si las personas transferidas fueron seleccionadas debido a un procedimiento o una caracterstica ajena a los resultados del programa, podran fungir como un excelente grupo de comparacin. Sin embargo, si se encuentra que slo se transfirieron las personas con mayor escolaridad o las que ms se confrontaban, slo se podra utilizar los datos que se tienen sobre las personas que permanecieron en el programa completo. Si el grupo de comparacin estuviera conformado por personas en otra mina, tambin sera conveniente tratar de aparejarlas con el subgrupo sobre educacin e historial disciplinario, para que ambos grupos fueran lo ms similar posible. Por tanto, las comparaciones podran ser las siguientes: Personas mineras que participaron en el programa versus las que fueron transferidas al azar (y no participaron en el programa) o bien, Personas mineras que participaron en el programa versus personas mineras en otra mina (sin programa) que son similares a las personas que participaron en el programa (por ejemplo, en trminos de escolaridad e historial disciplinario)

Ms vale prevenir que lamentar

Siempre es algo riesgoso depender de una lnea de base reconstruida despus del hecho. Siempre es mejor recolectar datos base al comienzo del programa. Sin embargo, si no existe un grupo lgico de comparacin, y se necesita estimar una lnea de base, se obtendr mejores resultados si se hace lo siguiente: enfocarse en eventos ms concretos, y pedir que se den ejemplos pedir a la persona que responde que d las razones o explicaciones de sus percepciones captar datos de diversas fuentes y compararlos para corroborar los hallazgos, por ejemplo, el personal adems de los registros del hospital hablar con personas que tienen diversos grados de identificacin con el programa

Qu de un grupo de control?
Un grupo de control es un grupo de comparacin seleccionado desde el inici, que no se expone al programa. Son ideales porque proveen la comparacin pre- y post-programa, adems del contraste entre al menos dos grupos diferentes en dos momentos diferentes. Sin embargo, los grupos de control presentan desventajas que los vuelve poco comunes en la prctica, en programas de bajos recursos. Posiblemente no est disponible un buen grupo de control. Algunas organizaciones consideran que no es tico contactar a las personas y negarles la intervencin.

113

Existe preocupacin de que exponer el grupo de control a las preguntas pre-programa, si stas abordan temas delicados, podra causar conflictos o incomodidad, sin brindar a las personas que responden algn tipo de consejera profesional posteriormente. Cualquier entrevista, especialmente si trata temas sensibles, puede tener un impacto desconocido en la persona entrevistada, por lo que habr que encontrar la manera de conseguir ayuda en caso necesario. Existe preocupacin de que el grupo de control deserte de manera diferente durante el perodo del programa, ya que no recibe nada ni se beneficia de ninguna manera. Como siempre habr personas que desertan de todas maneras, independientemente del grupo, el equipo evaluador debe asegurar que no deserten ms personas o diferentes tipos de personas, respecto al grupo del programa; de lo contrario, el grupo de control no ser muy til a final de cuentas. Algunos programas resuelven dichos dilemas mediante la provisin de un paquete bsico de servicios al grupo de control, y un paquete bsico ms alguna intervencin nueva al grupo del programa. Ello podra elevar el costo, a tal grado que sera demasiado costoso utilizar y mantener el grupo de control, a menos que la agencia pueda ofrecer mltiples programas. La contaminacin tambin constituye un problema. A veces el efecto del programa puede llegar al grupo de comparacin, especialmente si ambos grupos son de la misma comunidad. Ello dificulta an ms los problemas relacionados con los grupos de control, lo que los hace poco comunes en programas de bajos recursos.

Se puede confiar en los registros?

En muchos casos, los registros existentes y disponibles en archivo, habrn sido plasmados en condiciones no ptimas. Ser conveniente entrevistar a las personas que registran los datos, e indagar sobre el nivel de confiabilidad de estos, antes de depender de registros que pueden ser muy engaosos. Si la valoracin final depender de esos mismos registros, habr que evitar cualquier influencia que pudiera afectar la precisin con la que se asientan durante el perodo de la evaluacin, entre la pre-prueba y la post-prueba. Las influencias podran ser por ejemplo, un mayor inters en el tema, o una nueva poltica que requiere que el personal dedique tiempo a la diligencia de los formularios.

Seleccionar fuentes de datos

Para cada fuente potencial de datos, plantearse las siguientes preguntas: Qu fuente o fuentes proporcionarn la informacin ms completa, precisa y pertinente? La fuente estar libre de sesgos importantes y responder con honestidad? La persona que responde ser capaz de, y estar dispuesta a proporcionar respuestas completas y honestas? Si la fuente es un documento, como la minuta de una reunin, expedientes clnicos, etc., es probable que la informacin est bien registrada y que se haya registrado sistemticamente? La observacin directa puede proveer informacin que no se podra obtener de otra manera, y puede llevarse a cabo de tal forma que se evite cualquier cambio innecesario en el comportamiento de las personas?

Se tiene acceso fcil a esta fuente de datos? Qu tan difcil ser encontrar a las personas con las que se necesita hablar? Qu tan difcil ser lograr que las personas hablen o diligencien el cuestionario? Los documentos estn disponibles y accesibles al equipo o a ciertos/as integrantes del equipo? El/la lder del equipo o ciertos/as integrantes particulares del equipo pueden asistir a los eventos que se desea observar, sin alterar lo que se desea observar? La recoleccin de datos representa un riesgo potencial para la fuente de datos? El hecho de que se intenta encuestar/entrevistar a ciertas personas les causar algn dao o incomodidad, por ejemplo, al identificarles como pertenecientes a una categora estigmatizada? Cmo se podra protegerles de dicho dao o incomodidad? Ser posible proteger el anonimato, la confidencialidad y la privacidad de las personas involucradas?

114

Se pedir que las personas cuenten experiencias cuya discusin pueda perturbarlas?

Anonimato condicin en la que nadie jams pueda identificar a la persona o el tem por su nombre. Confidencialidad condicin en la que nadie jams pueda identificar a la persona o el tem, excepto la persona recopiladora de datos, incluidos los dems integrantes de los equipos de evaluacin y del programa. Privacidad condicin en la que nadie pueda escuchar a la persona proveedora de datos, o de alguna manera incomodarla por proporcionar respuestas honestas. Diligenciar la siguiente tabla para cada indicador y sus posibles fuentes. Elegir las fuentes de datos que renen mejor los criterios. Se incluye un ejemplo despus de la tabla:

Seleccionar un grupo de comparacin

Asegurar que el grupo de comparacin sea lo ms similar posible al grupo del programa. Por tanto, se podr incluir a las siguientes personas: Personas que renen los mismos criterios de seleccin para el programa, pero que llegaron cuando el programa ya estaba lleno, o son elegibles para el programa en el futuro. Personas seleccionadas del pblico general que son similares al grupo del programa en trminos de un conjunto de caractersticas especficas. Se puede elegir un grupo de comparacin de la misma manera en que se elige una muestra.

Seleccionar una muestra: Qu caractersticas habr que cuidar?

Al seleccionar una muestra o un grupo de comparacin, es preciso cuidar las caractersticas que: estn directa o indirectamente relacionadas con la matrcula de, la participacin en, y los objetivos del programa, y tienen que ver con cunto influira el programa en la persona, el evento o el documento. No hay que seleccionar una muestra o un grupo de comparacin con base en caractersticas que son irrelevantes respecto a los objetivos del programa. Ejemplo: Si el programa sensibiliza a personas legisladoras sobre los derechos sexuales y reproductivos de las mujeres, con el fin de alentar la ampliacin de las leyes y procedimientos, Las caractersticas pertinentes de las personas legisladoras podran incluir el sexo de dicha persona; su actitud hacia el empoderamiento de las mujeres; su afiliacin religiosa o partidista; su etnia; y su participacin en comits legislativos clave. Otras caractersticas menos pertinentes podran ser el nmero de hijos/as, escolaridad, aos de servicio y estado civil. Las caractersticas irrelevantes podran ser la propiedad de la vivienda y el nmero de posesiones de status.

115

Tipos de muestras
Tipo de muestra Muestra de tiempo (en ocasiones se le denomina muestra de corte transversal) Descripcin Cmo elegir para evitar sesgos Cundo se utiliza si se est bajo bastante presin de tiempo si se necesita recolectar datos para una cierta fecha lmite si se desea una manera bastante directa y razonable de muestrear, y se puede evitar los sesgos relacionados con el tiempo

Recolectar informacin durante un tiempo especfico pero corto, quiz de las siguientes maneras: una vez, por ejemplo, todas las personas clientes que llegan en un mes determinado regularmente, durante un perodo ms largo, por ejemplo, una vez al mes junto con otro tipo de muestreo

Elegir un perodo de tiempo o un conjunto de periodos de tiempo que: sea tpico respecto a todas las categoras en la fuente de datos no est influenciado por eventos especiales o condiciones como fiestas, la cosecha, condiciones climticas extremas, etc.

Si se realiza el muestreo en ciertos momentos del da, no elegir un momento en que los eventos o las personas contactadas sern diferentes a las que se contactaran en otros momentos, o alternativamente, asegurar que se equilibre dichos momentos con otros en los que se encontrara otro tipo de personas o eventos

Muestra aleatoria

Entre todos/as los/as participantes potenciales, otorga a cada persona, evento o documento, la misma probabilidad de ser incluido

Dependiendo de la proporcin que se pueda o se desee incluir en la muestra, echar una moneda al aire, tirar un dado o un par de dados, o utilizar un juego de barajas para elegir si una persona, evento o documento queda incluido

Si

se piensa utilizar pruebas estadsticas en el anlisis, ya que la mayora de las pruebas requiere de este tipo de muestra se sabe quines integran la poblacin entera

Muestra temtica

sis-

Incluir cada X persona (o unidad) en la muestra

Cada dcima (o X) persona o registro. Habr que cuidar que no existan sesgos en la manera en que las personas o los documentos se encuentren o lleguen. Si se est eligiendo a cada tercera persona, y llegan parejas y los hombres se apuntan antes que las mujeres, la muestra terminar con ms mujeres que hombres Elegir segn las caractersticas de un subgrupo en el que se tiene un inters especial. Ejemplos: madres solteras, castas inferiores o personas marginadas por motivos tnicos, mujeres que han sido golpeadas por su marido, dirigentes de la comunidad que se oponen a cierta opcin Para asegurar que la muestra incluya nmeros adecuados de ciertos grupos que ocurren con menos frecuencia en la poblacin. Se puede combinar con la muestra aleatoria

Muestra estratificada

Quiz se determine que se desea encontrar personas o unidades con ciertas caractersticas

Si un subgrupo de inters es infrecuente en la poblacin, habr que incluir ms de

116

estas personas, por ejemplo, cada quinta persona del subgrupo especfico, en lugar de cada dcima persona de los dems grupos

Muestra de bola de nieve

Comenzar con una persona o un grupo de personas, y pedirles que contacten a otras

Los sesgos constituyen un componente aceptable en las muestras de este tipo, ya que es ms probable que las personas recomienden a otras personas con las que comparten caractersticas clave. Se puede intentar minimizar los sesgos, al ser ms preciso en lo que se pide. Por ejemplo: Gracias por referirme a Juan y a Marcos. Tambin conoces a algunas mujeres transgnero? A menudo este tipo de muestra puede ser engaoso, y las fuentes de datos pueden diferir enormemente respecto a las caractersticas relevantes, como motivacin, actitudes, disponibilidad, escolaridad, etc. Es preciso medir las caractersticas pertinentes, para verificar si la muestra es similar o no, y cmo difiere de la poblacin a la que se desea generalizar

La fuente de datos y/o el tema sobre el cual se desea indagar, es muy escaso, difcil de identificar o estigmatizado

Muestra de conveniencia

Son fuentes de datos que estn disponibles por casualidad, como seran los nios y las nias en un partido de ftbol, o personas que esperan fuera de una escuela

No se cuenta con tiempo ni presupuesto para seleccionar y llegar a una muestra ms rigurosa Se est probando los instrumentos para la recoleccin de datos, antes de comenzar la verdadera recoleccin

Actividades de la dcima primera semana

1. Haga la lectura de la semana. 2. Identifique los datos a recolectar, sus fuentes de informacin y defina su muestra a utilizar en la evaluacin. 3. Realice una investigacin conceptual y metodolgica de la lnea base. 4. Actualice su documento de proyecto.

117

DCIMA SEGUNDA, DCIMA TERCERA Y DCIMA CUARTA SEMANA Recoleccin de datos

Lectura
Paso 1: determinar el tipo de datos a recolectar y con qu instrumentos
Fundamento Como existen varias maneras de recolectar datos sobre un indicador, hay que determinar la manera que funcionar mejor para la evaluacin en cuestin, esto con base en la experiencia, la eficacia y el costo (tiempo y dinero). Las siguientes son dos preguntas importantes para plantear en cuanto a cada indicador: Recolectar datos cualitativos o cuantitativos? Qu mtodo habr que utilizar para recolectar los datos? Aun cuando los recursos sean escasos, siempre hay manera de medir un indicador. Tarea 1: Determinar el tipo de datos a recolectar para indicadores especficos Este paso depender de lo siguiente: El tipo de preguntas a las que los datos deben dar respuesta La familiaridad que se tiene con las posibles categoras de respuestas Los datos cuantitativos indican quin(es), qu, dnde y cunto. Utilizan categoras fijas ligadas a definiciones y cifras Tienen categoras de preguntas y respuestas, predeterminadas por quienes han desarrollado el instrumento de recoleccin de datos Son ms estructurados y estandarizados (significa que se utiliza exactamente el mismo procedimiento para cada persona) que los mtodos cualitativos Presentan el desafo de organizar los datos numricos, de manera que tengan sentido y significado Aplican a un mayor nmero de fuentes de datos ms econmicamente que los datos cualitativos Los datos cualitativos indican por qu y cmo, y usualmente implican hablar con, u observar a las personas, leer textos o ver imgenes. Utilizan palabras en lugar de cifras Se centran en los significados, los patrones en las relaciones y las percepciones No requieren tener conocimiento de categoras predeterminadas de respuestas Presentan el desafi de organizar en temticas o tipologas los pensamientos y las creencias de los y las participantes Normalmente implican un nmero menor de fuentes de datos (ej., personas o documentos) que los datos cuantitativos Pueden ser usados para formular preguntas (cerradas) ms efectivas en encuestas a travs de proporcionar una comprensin del lenguaje, significado y experiencia de los encuestados. Casi siempre es buena idea recolectar ambos tipos de datos. Para ver un ejemplo de diversas preguntas relacionadas con diferentes tipos de datos:

118

Si se intenta mostrar que se dieron cambios en la manera en que los hombres jvenes entienden el significado de la masculinidad, despus de participar en una serie de talleres de sensibilizacin, quiz se desee saber lo siguiente: Cuntos hombres jvenes cambiaron su actitud hacia la violencia y su necesidad de tener varias parejas sexuales? Los cambios fueron marcados y predecibles? En este caso, se recolectara datos cuantitativos. Alternativamente, quiz se desee saber lo siguiente: Cmo visualizan los hombres jvenes la nueva forma de masculinidad que han asumido, y qu significa para sus relaciones con mujeres y su imagen de ellos mismos? En este caso, sera mejor recolectar datos cualitativos, al captar las palabras de los propios jvenes. Para cada indicador y fuente de datos, habr que considerar lo siguiente:

Cmo se dar mejor respuesta a las preguntas Qu enfoque coincide con el presupuesto Qu enfoque tiene ms sentido en el contexto local Si se podr utilizar ambos tipos de datos provechosamente, y cmo se hara

No hay que tomar la decisin respecto al enfoque a utilizar slo con base en experiencias o conocimientos previos. Habr que tomar la decisin con base en qu enfoque, o qu combinacin de enfoques, arrojar el tipo de informacin necesaria para dar respuesta a las preguntas necesarias. Ello se logra al contar las categoras que se encuentran en los datos originales. Ejemplo: Si no est claro por qu, en el contexto local, las mujeres con complicaciones en el embarazo tardan mucho en acudir al hospital, primero sera conveniente recolectar datos cualitativos mediante el dilogo con ellas y sus familiares. Si el director de la clnica desea saber con qu frecuencia se mencionan ciertas razones, por ejemplo las razones relacionadas con la discriminacin por parte del personal de salud, se podra crear categoras con base en las razones mencionadas en cada entrevista. Al contar el nmero de mujeres con evidencias de discriminacin en su historial, se tendra un indicador numrico (un porcentaje o una tasa) de la frecuencia con la que se reporta dicho problema. Para elegir qu tipo de datos se necesita recolectar, vase Hoja de trabajo: Elegir el tipo de datos que dar respuesta a las preguntas

119

Hoja de Trabajo: Elegir el tipo de datos que dar respuesta a las preguntas
Indicador Qu tipo de pregunta se plantea? Por qu? Cunto? Etc. Por tanto, los datos deben ser El indicador ser (puede ser ambos, en el caso de datos cualitati-

cualitativos cuantitativos

numrico no numrico

cualitativos cuantitativos

numrico no numrico

cualitativos cuantitativos

numrico no numrico

Tarea 2: Determinar los mtodos a utilizar para la recoleccin de datos Independientemente de que se utilice indicadores numricos o no numricos, ser necesario elegir entre una variedad de mtodos de recoleccin de datos. Cada mtodo tiene sus ventajas y desventajas, y es ms til en ciertas circunstancias que en otras. Elegir los mtodos que: Sern ms respetuosos de las personas que proporcionarn los datos Sean pertinentes y apropiados para el contexto local Ayuden a obtener, en lo posible, los datos ms precisos y completos Eviten los sesgos innecesarios Aspectos clave que habr que considerar:

Los requisitos o las limitantes relacionadas con el tamao de la muestra Lo apropiado de los mtodos, tomando en cuenta las caractersticas particulares de ciertas personas
que responden, ej., su nivel de alfabetizacin, si estn dispuestas a hablar en grupo o no El conocimiento que se tiene de las potenciales categoras de respuestas respecto a temas no explorados La necesidad del anonimato, la confidencialidad, o la relacin personal que se necesitara para obtener informacin delicada. Los recursos con los que se cuenta: dinero, tiempo y experiencia del personal

Para cada mtodo, se puede utilizar varios tipos de instrumentos. La evaluacin ser ms rigurosa si se utiliza ms de un mtodo de recoleccin de datos para los indicadores clave. El uso de varios mtodos de recoleccin de datos (y/o fuentes de datos) para un mismo tema (lla-

120

mado triangulacin), puede ayudar a validar los datos y puede llevar a una comprensin ms rica de los temas explorados.

Tarea 3: Desarrollar los instrumentos de recoleccin de datos Una vez que se haya decidido sobre los mtodos a utilizar (ej., grupo focal, observacin directa, entrevista corta, encuesta), habr que disear los formularios en los que se registrar los datos. Se puede hacer lo siguiente:

Utilizar instrumentos que otras personas han usado en situaciones similares. Adaptar instrumentos existentes a la situacin particular. Disear instrumentos propios.

En los instrumentos, incluir secciones para 3 tipos de informacin: Informacin descriptiva acerca de la fuente de los datos y el evento de recoleccin de datos La recoleccin de datos acerca de los indicadores El registro de apuntes de campo u observaciones

Verificar que los instrumentos de recoleccin de datos sean entendibles, apropiados y pertinentes a nivel cultural. Habr que reunirse con las partes interesadas, con el fin de que revisen los instrumentos existentes, los que se han adaptado, los que se pretende adaptar y los que estn en proceso de desarrollo. Las partes interesadas pueden: Aportar insumos cualitativos acerca de las categoras ms relevantes en el contexto local; Sugerir preguntas importantes, y ayudar a pensar en cmo plantearlas; y Ayudar a probar los instrumentos, ANTES de comenzar a recolectar los datos. Se les puede plantear las preguntas ms difciles, a fin de ver si las entienden, o si dan el tipo de respuesta que se espera. Contribuir a detectar problemas con anterioridad y realizar los cambios necesarios, antes de comenzar a recolectar los datos. Ser conveniente aplicar los instrumentos con dichas personas, preguntarles cmo llegaron a sus respuestas y qu significan esas respuestas. Con el fin de asegurar que los instrumentos sean apropiados para el contexto local.

Una vez diseado el instrumento de trabajo: Asegurar que el instrumento de recoleccin de datos incluya elementos (preguntas, observaciones, listas de verificacin, etc.) especficos para cada indicador que se haya identificado con base en los objetivos que le incumben a la organizacin, agencia o programa (es decir, los resultados inmediatos y posiblemente intermedios) Asegurar que el instrumento est diseado para recolectar algunos datos acerca de las brechas que se identificaron en la Ruta Causal Reconsiderar si se puede utilizar el instrumento para la lnea de base, la lnea media (si es relevante), la lnea final y/o el grupo de comparacin. Recordar que las mismas preguntas sern planteadas en diferentes momentos o a diferentes grupos para medir el cambio. Asegurar que el instrumento est diseado para recolectar informacin que sirva para medir los cambios que pueden ocurrir realsticamente, entre la primera aplicacin y la siguiente.

121

Paso 2: Desarrollar el plan de recoleccin de datos

Ahora que se cuenta con los instrumentos de recoleccin de datos, es necesario determinar lo siguiente: Quines aplicarn cada instrumento Cundo se recolectar los datos Dnde se aplicar el/los instrumento(s) Cmo se recolectar los datos

Cada uno de estos aspectos tiene importantes implicaciones para la calidad de los hallazgos. Utilizar la Hoja de trabajo: Formulario para la recoleccin de datos, conforme se avance en las Tareas 1 3 del presente Paso 2. Hoja de Trabajo Formulario para la recoleccin de datos Posibles personas que recolectan los datos COMENTARIOS/NOTAS/POR QU/POR QU NO

QUINES

En quines confiarn las personas que responden?

Quines podrn ser objetivos/as y estar libres de sesgos? Quines no tienen una relacin de poder con las personas que responden? Quines estn suficientemente familiarizadas con los temas? Quines tienen buenas habilidades interpersonales y saben escuchar? Posibles momentos para la recoleccin de datos

CUNDO

COMENTARIOS/NOTAS

Cundo estarn disponibles las personas que responden?

122

Se darn variaciones estacionales no deseadas en su comportamiento?

Se llegar con diferentes tipos de personas en diferentes momentos? Opciones respecto a dnde recolectar los datos

DNDE

COMENTARIOS/NOTAS

Dnde es probable encontrar a las personas que responden? Es posible establecer una buena relacin ah, sin demasiadas distracciones, suficiente tiempo, etc.? El lugar estar libre de presiones sociales en el sentido de someterse a la norma (es decir, lejos de la pareja/cnyuge, figuras de autoridad, amistades, parientes)?

Los derechos de las personas sern respetadas, y su identidad ser confidencial en caso necesario?

Tarea 1: Determinar quines recolectarn los datos Si se hace uso de mtodos que implican contacto directo con las personas, es fundamental elegir a las personas idneas para la recoleccin de datos que puedan obtener las respuestas y hacer, en lo posible, las observaciones ms completas y honestas. Personas que: Entiendan y sean sensibles a los temas que se discutir No juzgarn a las personas participantes Puedan ganarse la confianza de estas ltimas Les har sentir cmodas Las caractersticas podran incluir personas que: No tengan un inters creado en los resultados, puedan ser objetivas y libres de sesgos No tengan una relacin de poder con las personas que responden, especialmente si stas ltimas son muy vulnerables o marginadas Tengan las cualidades en las que las personas que responden probablemente puedan confiar dentro de una situacin social y cultural especfica; en algunos casos ellos significa una persona similar a la que responde, pero en otros casos significa una persona respetada pero diferente; en algunos entor-

123

nos, para hablar del sexo, la persona entrevistadora debe ser casada y del mismo sexo que la entrevistada. No tengan prejuicios que podran interferir con la recoleccin de datos Tengan buenas habilidades interpersonales y puedan lograr que otras personas se relajen Conozcan y tengan la suficiente confianza para hablar del tema en cuestin Sepan escuchar bien Sean confiables, tengan un alto estndar tico y una tica de trabajo responsable Hayan respondido bien a la capacitacin y hayan demostrado que acatarn las instrucciones relacionadas con la recoleccin de datos y el protocolo de aplicacin

Tarea 2: Determinar cundo se recolectarn los datos Muchos factores pueden afectar el tiempo en que se puede recolectar datos. Los aspectos estacionales incluyen la temperatura y el clima, el trabajo de temporada, la cosecha, la poca de lluvias, los niveles de delincuencia o las fiestas; cualquier cosa que altere el comportamiento de las personas y su disponibilidad. La hora del da puede afectar el acceso a los y las participantes. Por ejemplo, quiz las personas que trabajan slo estarn disponibles a la hora de su descanso o al final de la jornada. Las personas que llegan temprano a un sitio pueden diferir de las que llegan tarde. Tal vez slo se encuentre a las personas en casa en ciertos momentos del da, pero no estarn dispuestas a participar en esos momentos. Los das del mes o de la semana tambin pueden cambiar las conductas y la disponibilidad, por ejemplo, en relacin con el da de pago, de mercado o de asistencia a las ceremonias religiosas. Dichos factores varan segn la poblacin en diferentes lugares, por lo que habr que estar consciente de las barreras locales a la recoleccin de datos, y adaptarse a ellas. Tarea 3: Determinar dnde se recolectarn los datos El lugar donde se recolecta los datos puede influir en lo siguiente: El acceso a los datos La calidad de los datos (qu tanto se completan, franqueza) Los riesgos que tienen las personas proveedoras de los datos El grado en que la muestra refleja la poblacin prioritaria de la evaluacin Algunos aspectos comunes a tomar en cuenta en el trabajo de SDSR, incluyen los siguientes: Dnde es ms probable encontrar al tipo de persona o documento que se busca? Por ejemplo, para encontrar a los y las jvenes que no asisten a la escuela quiz se tenga buscarlas a ellas en su casa, pero a aqullos en las calles, clubes o las instalaciones militares. Hay suficiente tiempo para recolectar los datos con la persona que responde, o la situacin es demasiado apresurada? El entorno fsico provee suficiente privacidad? Por ejemplo, hacer preguntas ntimas en una sala de espera abierta puede limitar mucho la franqueza de las respuestas. Dnde se puede diligenciar un cuestionario de autoevaluacin, de tal forma que no se tenga que temer que alguien vea las respuestas? Las mujeres probablemente no muestren apertura si estn cerca de sus hijos/hijas, sus amistades o la pareja. Los hombres quiz no se sientan cmodos al hablar de temas delicados en lugares pblicos. En una clnica u otros servicios es importante aclarar que, las respuestas no afectarn de ninguna manera la calidad de los servicios que recibir la persona; las personas deben confiar en que no perdern su derecho a la atencin u otros beneficios si critican el programa. Las reuniones comunitarias son buenos lugares, si la informacin que se busca no es demasiado delicada; pero se necesita un enfoque ms personalizado, si las respuestas pueden causar conflictos en el grupo o incomodidad a algunas personas.

124

Asegurar que el simple hecho de buscar a cierta persona o de que otras personas puedan ver la entrevista, no pondr en riesgo a la persona que responde, al revelar una identidad secreta, despertar suspicacia entre los vecinos, etc.

Tarea 4: Asegurar la correcta recoleccin de datos Aun si los instrumentos son excelentes, la manera en que se recolectan los datos puede afectar la calidad de los datos obtenidos. Asegurar lo siguiente: Claridad en las instrucciones sobre cmo aplicar los instrumentos La adecuada capacitacin y supervisin de las personas que recolectan los datos Que se aliente a las personas que recolectan los datos a reflexionar crticamente, con el fin de aclarar los procedimientos y evitar que se repitan los errores Que existan oportunidades para que las personas que recolectan los datos se junten a discutir los retos, las preocupaciones y los xitos con las personas recientemente reclutadas, as como respecto al uso de los instrumentos Desarrollar una gua para la recoleccin de datos Antes de capacitar a las personas que recolectarn los datos, establecer el protocolo o conjunto de reglas de cmo hacer las cosas, esto debido a que se necesitar capacitar a dichas personas sobre estos mismos aspectos, as como asegurar que sepan cmo facilitar o entrevistar adecuadamente. La gua debe incluir lo siguiente: Indicaciones claras respecto a cmo se obtendr el consentimiento informado. Es muy importante obtener el consentimiento informado de las personas que responden, as como proteger su privacidad, anonimato y/o confidencialidad. En el caso de entrevistas individuales o grupales o encuestas, es preciso obtener el consentimiento verbal o escrito. En el caso de la observacin, normalmente la persona que da acceso al sitio es la que da el consentimiento, adems del adulto responsable de los y las menores de edad. Sin embargo, la persona observadora tambin debe ganarse la confianza de los y las participantes, y obtener su permiso mediante su manera de construir relaciones en el lugar. Para realizar observaciones en lugares pblicos, no hay nadie de quien obtener el consentimiento. La manera en que la persona recolectadora de datos debe presentarse a las personas que responden o a las personas observadas: o cmo saludar a las personas que responden o cmo vestirse o la explicacin de por qu estn ah y cmo se utilizar la informacin o cmo deben representar al programa o a la organizacin ante la comunidad Instrucciones respecto a si la entrevista o el evento ser grabado, filmado o fotografiado Qu procedimientos habr que seguir cuando no es posible recolectar datos, debido a que no se encuentra la persona o el documento. Es importante asegurar que las personas que recolectan los datos sigan los procedimientos y registren los casos faltantes. Procedimientos especficos para salvaguardar los derechos de las personas, el anonimato, la confidencialidad y la privacidad. Directrices para terminar un evento de recoleccin de datos prematuramente, si las condiciones, la calidad de la interaccin, la seguridad o el estado de la persona que responde indican que est en alto riesgo la validez de la recoleccin de datos Capacitar a las personas que recolectarn los datos Si no se aplica bien el instrumento, las personas posiblemente no querrn responder, o se termine con datos que no se puede utilizar, o que no son tan precisos como se requiere. Con el fin de asegurar que ello no suceda, es necesario realizar lo siguiente: Proveer la capacitacin correcta

125

Establecer reglas claras y aplicadas acerca de cmo recolectar los datos Brindar apoyo continuo a las personas que recolectan los datos, y entablar discusiones con ellas de manera continua

Todas las personas que recolectan datos deben recibir capacitacin sobre el proyecto y su papel en l, aun si son integrantes del personal o personas con experiencia en la recoleccin de datos o el MyE. Qu hacer si nunca se ha capacitado a personas que recolectan los datos? Como mnimo, la capacitacin debe incluir lo siguiente: Los objetivos de la evaluacin Una revisin de las tcnicas para la recoleccin de datos Una revisin a fondo de los instrumentos Ensayos en el uso de los instrumentos Ejercicios para fortalecer las capacidades relacionadas con la conduccin de entrevistas y la comunicacin interpersonal. Una discusin acerca de los aspectos ticos (incluyendo la privacidad, la confidencialidad, el anonimato y el consentimiento informado) Consideraciones en torno a los lmites profesionales (ej., si la persona que responde comienza a llorar, es aceptable que la persona entrevistadora la abrace?; si la persona que responde le pregunta a la entrevistadora si experiment X en su embarazo; si la persona que responde invita a la entrevistadora a pasar a su casa a tomar un caf despus de terminar la entrevista) Una discusin acerca de cmo se sienten con su participacin en la evaluacin, ej., abordando temas delicados; si forman parte del personal, cmo se sentirn si descubren que el programa no es tan bueno como se imaginaban La importancia de seguir las instrucciones y el protocolo de aplicacin Ejercicios que les ayuden a convertirse en observadores/as analticos/as, y a hacer observaciones de campo tiles y que reflejen un conocimiento adquirido Una vez que se haya capacitado a las personas que recolectan los datos: Hacer que practiquen sus habilidades nuevas, mediante dramatizaciones o juegos de roles Observar a cada persona recolectadora de datos aplicando una verdadera encuesta, o realizando una entrevista, sesin de grupo focal u observacin (el o la lder de la evaluacin tambin debe aplicar uno o algunos de dichos mtodos, aun si no va a recolectar datos ms adelante) Revisar la trascripcin de las primeras entrevistas a profundidad o grupos focales, y proveer una retroalimentacin especfica Utilizar una lista de verificacin sobre lo que se busca, con base en lo que aprendieron en la capacitacin Reforzar buenas conductas y proveer capacitacin correctiva si las cosas no se hacen como debe ser No utilizar personas que recolectan los datos que no cumplen con las expectativas mnimas establecidas al inicio de la capacitacin Tarea 5: Realizar una prueba piloto de los instrumentos y del plan de recoleccin de datos Antes de invertir tiempo y recursos en la recoleccin de datos, habr que pilotear o probar los instrumentos creados o elegidos, con las siguientes personas:

las partes interesadas personas similares a las de la muestra, pero que en realidad no formarn parte de la misma

Es preciso realizar la prueba piloto con personas, eventos o documentos similares a los de la verdadera recoleccin de datos. Una prueba piloto contribuir a descubrir lo siguiente: Cunto tiempo realmente lleva la recoleccin de datos Si se puede recolectar los datos, dnde y cundo se haba planeado

126

 Si existen problemas con la manera en que funcionan los instrumentos en el mundo real
Probar el plan de recoleccin de datos Con dos o tres personas de cada uno de los subgrupos principales de la muestra. O bien, con dos o tres personas de las diversas subcategoras de la muestra. Para ver un ejemplo. Si la muestra es de jvenes que no asisten a la escuela, y las subcategoras incluyen a las nias versus los nios, empleados/as y desempleados/as, que viven en la calle o en casa, pero los recursos son muy limitados, se puede probar el plan de recoleccin de datos con los grupos ms difciles de contactar. La prueba piloto podra incluir: dos jvenes varones que viven en casa, dos nias jvenes, y dos jvenes varones que viven en la calle. Asegurar que: Las personas que recolectan los datos midan su tiempo, con el fin de ajustar el plan segn la necesidad Las personas que recolectan los datos reporten cualquier pregunta confusa o los problemas que tuvieron con entender cmo completar la aplicacin del instrumento El o la lder de la evaluacin tambin realice algn ensayo de recoleccin de datos, con el fin de detectar cualquier problema que podra seguir presente Se observe a los y las entrevistadoras en accin Se revise sus apuntes de campo Se verifique que hayan diligenciado el instrumento correctamente Se invite a las personas que recolectan los datos a que den retroalimentacin acerca de cmo funcionaron las cosas y cualquier observacin que tengan acerca del instrumento y su aplicacin Crear un ambiente de trabajo colaborativo, a fin de que las personas que recolectan los datos se sientan cmodas compartiendo con el Equipo de MyE. Sus observaciones y la calidad de su trabajo son fundamentales para el xito del proceso de MyE. Verificar que los instrumentos sean confiables y vlidos Estos conceptos son muy importantes para la evaluacin, pero con frecuencia intimidan a las personas a tal grado que ni siquiera intentan evaluar conceptos sociales complejos. Probablemente no se cuente con recursos para probar los instrumentos a profundidad, pero se puede hacer lo siguiente: Para verificar la confiabilidad: Programar que dos personas que recolectan los datos colecten datos de la misma persona Hacer que la misma persona recolectadora de datos repita la recoleccin de datos en la misma persona, documento o evento al da siguiente Revisar los pares de instrumentos para ver si se llega a las mismas conclusiones. Ejemplo: En un instrumento que contempla las actitudes de las y los polticos respecto a la legalizacin de los derechos de herencia de las mujeres, el instrumento no sera confiable si una vez mostr que una persona estaba completamente de acuerdo, y al da siguiente mostr que no tena opinin o estaba en desacuerdo. Para verificar la validez: Asegurar que se haya desmenuzado los conceptos sociales complejos abordados, en componentes medibles (si no, habr que regresar al Mdulo 4). Asegurar que las preguntas no tengan varias respuestas. No use y u o porque no se sabr a qu parte de la pregunta se est respondiendo. Asegurar que las personas que responden a un instrumento, entiendan las preguntas. Asegurar que las preguntas u observaciones coincidan con la realidad del contexto local. Se puede plantear ms de una pregunta sobre el mismo tema en diferentes momentos de la entrevista, a fin de ver si coinciden.

127

 Se puede pedir a la persona entrevistada, su valoracin cualitativa de qu opina sobre algn aspecto
que se intenta evaluar. Ejemplo: Si se aplica una lista de preguntas sobre la toma de decisiones en el hogar (como un componente de la equidad de gnero), preguntar si la persona que responde siente que se toma las decisiones en el hogar con igualdad entre ella y su cnyuge. Utilizar ms de una fuente de datos, a fin de obtener informacin acerca de aspectos clave de la evaluacin. Ejemplo: Si la evaluacin busca evaluar el nivel del empoderamiento de las nias en la toma de decisiones vitales, se podra aplicar una lista de verificacin de decisiones en que cada nia tiene confianza, pero tambin pedir que la o el maestro de las nias las califique en cuanto al nivel de empoderamiento que demuestran; incluso hablar con sus amistades o familiares para preguntarles acerca de los mismos aspectos de empoderamiento

Adaptar los instrumentos a la situacin del programa

Si se ha encontrado un instrumento, como una escala o lista de verificacin, apto para el indicador, pero que se desarroll en otra cultura o entorno socioeconmico, qu se debe hacer? Es necesario encontrar el equilibrio entre la seguridad de que el instrumento es apto para el contexto local del programa, y el hecho que modificar el instrumento puede alterar su capacidad para funcionar bien. Elegir instrumentos que sean muy aptos para el indicador que se intenta medir Elegir instrumentos relativamente sencillos y que no requirieron de anlisis complejos para desarrollarlos Aplicar el instrumento con un grupo de partes interesadas, pedir que expliquen lo que significa cada elemento para ellas, y preguntar cul fue su respuesta Ajustar los elementos que no se entendieron o que parecieron estar fuera de lugar en el contexto local; pero ser conveniente sustituir los elementos que se refieren al mismo tema o componente, con una terminologa adecuada para el contexto local Reaplicar la escala modificada a un grupo de personas similares a la muestra que se utilizar en la evaluacin. Cuando hayan contestado, plantearles preguntas acerca del significado de sus respuestas, de tal forma que se confirme si sus respuestas tienen sentido. Por ejemplo, si se aplic una escala sobre la comunicacin entre la pareja, y la persona obtuvo un puntaje muy alto en cuanto a la comunicacin equitativa, preguntarle cmo siente la comunicacin con la pareja. Verificar que no existan elementos que rinden resultados confusos: ya sea que todas las personas respondieran de la misma manera o que respondieran de maneras muy diferentes respecto a otras preguntas. Preguntar a las personas por qu respondieron as. Una vez que se entienda el problema con la pregunta, hacer las modificaciones necesarias. Reaplicar la escala para ver si las respuestas coinciden mejor con las expectativas Al reportar los resultados de la escala, habr que describir el proceso mediante el cual se modific la escala original. No se podr aducir el mismo nivel de confiabilidad y validez que se report con la escala original, pero se sabr que el instrumento probablemente fue til para la evaluacin

Algunas consideraciones a tener en mente, al desarrollar o elegir las preguntas y categoras

Asegurar que las personas que responden entiendan el lenguaje de las preguntas: Entienden los trminos que se utilizan, de la misma manera que se pretende? Habr que considerar el lenguaje local. La formulacin de la pregunta, las palabras que quedan fuera, el doble sentido y los modismos (especialmente respecto a las prcticas sexuales), pueden variar de una comunidad o barrio a otro, y pueden surgir prcticas respecto a las cuales no se haba formulado preguntas. Asegurar que se entienda los conceptos de la manera en que el Equipo pretende que se entiendan. Asegurar que los conceptos tengan el mismo sentido para la persona que responde, respecto a lo que se espera. Ejemplos: Quiz se le pregunte a los y las maestras acerca de la autoestima de las nias. Si se obtiene muchos tipos de respuestas, quiz se tenga que trabajar sobre un entendimiento com-

128

partido o una definicin de las palabras o las frases clave. Si se desconoce los significados locales, es mejor utilizar datos cualitativos primero para indagar, antes de crear categoras cerradas que no tienen sentido en el contexto local. Quiz se pregunte Tienes relaciones sexuales? Qu significa eso? En algunos lugares, las personas no consideran que el sexo oral o anal constituya relaciones sexuales, aunque la persona entrevistadora s. Los y las jvenes exploran mucho antes del coito; cmo se puede asegurar la captacin de dichas actividades? Como las conductas sexuales son temas tabes, y las personas a menudo suponen que saben lo que significa el sexo y quines tienen relaciones con quines, es buena idea explorar la realidad mediante datos cualitativos primero, para posteriormente poder disear una herramienta cuantitativa que incluya categoras reales y pertinentes a nivel local. Asegurar que el instrumento sea aplicable a las caractersticas especficas de la poblacin/el entorno. Las personas que recolectan los datos no deben tener supuestos innecesarios acerca de las personas que responden. Ejemplo. Si se est aprendiendo acerca de las relaciones sexuales de la poblacin meta, se aplicar la herramienta slo a mujeres heterosexuales? Algunas mujeres habrn tenido o tienen relaciones con otras mujeres? Todas estarn en una relacin con un solo hombre a la vez? Algunas tienen mltiples parejas en el mismo perodo de tiempo? Algunas parejas casadas no tienen relaciones sexuales? Mantener en mente cuestiones de gnero (y edad). Las preguntas son apropiadas tanto para las nias como los nios, para las mujeres como para los hombres? Si se plantea las mismas preguntas a diferentes sub-poblaciones, posiblemente se deje de captar informacin, o se capte diferente informacin de cada grupo Las situaciones son suficientemente realistas como para que las personas puedan responder? Ejemplo. Si se busca evaluar la calidad de las relaciones de pareja, con base en la toma de decisiones respecto a la anticoncepcin, quiz se podra preguntar si la pareja de una mujer se pondra violento si se le pidiera que usara un condn. En algunas culturas, ello no sera apropiado, ya que pedir que se use un condn realmente no constituye una causa de violencia. Casi todas las respuestas obtenidas seran No. Por tanto, esta pregunta no dira mucho acerca del poder en la relacin de pareja. El contexto social o de las polticas hacen que la pregunta sea inapropiada, aunque fuera apropiada en otro entorno? Ejemplo. Las preguntas acerca de la toma de decisiones sobre el nmero de hijos/hijas a tener, son apropiadas en muchos entornos donde las parejas lo deciden libremente. Sin embargo, en China, donde durante muchos aos ha existido en zonas urbanas, la poltica de tener un solo hijo/hija, dichas preguntas seran inapropiadas, ya que la decisin es restringida por la poltica social y el contexto. Quiz sean apropiadas en zonas rurales o en otros pases.

Formular buenas preguntas

Las preguntas deben ser precisas: Hacer uso de un lenguaje sencillo que todo mundo pueda entender, especialmente los grupos con niveles ms bajos de escolaridad y los grupos que hablan diferentes dialectos o idiomas o Mantener el nmero de palabras en 20 o menos, y el nmero de comas en menos de 4 o Evitar el uso del negativo, especialmente el doble negativo Evitar la ambigedad. El Equipo se debe preguntar qu significa una respuesta a la pregunta. Si se obtiene diferentes respuestas, aun dentro del propio Equipo, definitivamente falta especificidad! Asegurar que no existan mltiples interpretaciones de lo que se pregunta o de lo que significan las respuestas Plantear las preguntas con neutralidad. Evitar preguntas que tengan una respuesta socialmente correcta, y no inducir que la persona que responde conteste de cierta manera

129

Cada pregunta debe preguntar una sola cosa. Evitar preguntas que incluyan y u o, ya que no se sabr a qu elemento se responde Evitar opciones que coincidan en algn aspecto, si se pide que la persona que responde elija una respuesta

Las preguntas no deben contener supuestos acerca de las personas que responden: Incluir una opcin de no aplica, por si la persona realmente no puede dar respuesta a la pregunta Plantear preguntas filtro que aclaren los supuestos e identifiquen a las personas que responden en cuanto a ciertas preguntas, por ejemplo, preguntar Tiene hijos o hijas?, Estn vivos o vivas? antes de preguntar acerca del comportamiento de los nios y las nias. Ha tenido relaciones sexuales?, Ha incluido la penetracin vaginal? antes de preguntar acerca de la prevencin del embarazo. Las preguntas deben ser planteadas de manera equilibrada: Presentar ambos lados de una actitud dentro de la propia pregunta Proporcionar un conjunto equilibrado de respuestas, tanto negativas como positivas Preguntar acerca de una gama completa de conductas, incluyendo las que son tabes o estigmatizadas, a fin de reducir el efecto de hablar de stas ltimas Asegurar que la persona entrevistadora no sesgue las respuestas mediante gestos o el tono de voz. Las preguntas deben tener una secuencia lgica, como en una conversacin: Agrupar las preguntas por temas Introducir cada tema nuevo con una breve explicacin de las preguntas que se plantear a partir de ese momento Las preguntas no deben leerse de manera rgida, sino que deben fluir como en una conversacin Las preguntas no deben contener la respuesta Las pregunta no deben incomodar a la persona que responde o hacerle sentir culpable Al abordar conductas ilegales o no aceptadas a nivel social, asegurar la legitimacin de la discusin. Posiblemente se decida preguntar acerca de lo que hacen otras personas, si no se logra que las personas hablen de s mismas respecto a algo ilegal o estigmatizado. Ejemplo: En una evaluacin de un programa dirigido a hombres reclusos, centrado en la prevencin del VIH, posiblemente sea demasiado difcil lograr que los hombres reporten que tienen relaciones sexuales con otros hombres, y de manera particular, que reporten la violencia relacionada con dichos encuentros. Quiz se tenga que pedir que reporten si han odo de encuentros sexuales entre los hombres reclusos y/o con los guardias, y si dichos encuentros fueron violentos.

Cmo dar con las preguntas correctas? El primer paso es hablar con las personas en sus propios entornos y aprender su propio lenguaje. Preguntarle a una persona de confianza si ciertas preguntas tienen sentido y qu significan. Una vez que se cuente con las preguntas a utilizar, aplicarlas en un grupo pequeo de personas, que pueden retroalimentar el proceso. Preguntarles si las preguntas tienen sentido, en qu pensaron para contestarlas y cmo les hicieron sentir las preguntas. Cmo salvaguardar los derechos de las personas? Es preciso implantar ciertos procedimientos, a fin de asegurar la confidencialidad, el anonimato, la privacidad, etc. que se prometieron a las personas que responden. Establecer los cdigos necesarios para identificar la fuente de los datos sin revelar la identidad de la persona Asegurar que las personas que recolectan los datos tomen muy en serio la importancia de no chismear o tomar a la ligera la informacin que oyen durante las entrevistas

130

Asegurar que existan procedimientos para ofrecer ayuda a las personas que revelan algn problema crtico o algn riesgo durante la entrevista, sin violar la confidencialidad o alguno de sus derechos Si una persona no puede responder debido a que hay alguien cerca que pueda or, habr que concertar una cita en otra parte para continuar la conversacin.

Cul es la diferencia entre preguntas abiertas y preguntas cerradas? Las preguntas abiertas son interrogaciones que permiten que la persona que responde conteste como guste, sin categoras determinadas de respuestas. Por ejemplo, Qu opina usted de la atencin en salud que ha recibido de la clnica durante el ltimo ao? Las peguntas cerradas tienen un conjunto fijo de respuestas posibles, y la persona que responde elige entre una o varias opciones. Por ejemplo, Usted siente que la atencin en salud que ha recibido de la clnica durante el ltimo ao ha sido: a) excelente; b) buena; c) regular; o d) deficiente? o bien, Cmo lleg a la clnica hoy da? a) autobs, b) taxi, c) carro propio, d) ped prestado un carro o alguien ms me trajo, e) camin, f) bicicleta, g) combinacin de ms de una respuesta, h) otro medio Cuando el personal se recolecta los datos Cuando integrantes del personal del programa se convierten en recolectadores de datos, necesitarn ayuda para mantener separados sus diferentes papeles: Para evitar que sus expectativas del programa influyan en los datos que recolectan Para evitar que ayuden a las personas durante la recoleccin de datos Para asegurar que las personas que responden confen en que pueden responder honestamente, sin perder los servicios o el acceso como resultado de sus respuestas o conductas Tomar en cuenta las siguientes sugerencias: discutir las cuestiones ticas desde el inicio de la capacitacin, y asegurar que todos y todas entiendan la necesidad de separar sus roles o asegurar que el personal entienda que no se utilizar la evaluacin como una evaluacin del desempeo, y asegurar que ello se cumpla o hacer hincapi en la importancia de la evaluacin para aprender nuevas maneras de mejorar el programa y volverse an ms eficaces en su papel programtico o ensearles respuestas estndares que puedan dar cuando las personas que responden les pidan consejos o ayuda, como sera eso lo podemos discutir ms tarde, esto con el fin de que no respondan improvisadamente ni interrumpan la entrevista; al mismo tiempo asegurar que demuestren empata, que sean compasivos/as y que brindan alguna respuesta til o realicen la canalizacin necesaria al trmino de la entrevista establecer directrices muy claras respecto a su papel como recolectadores/as de datos o decirles lo que pueden y lo que no pueden hacer en el sentido de ofrecer ayuda o consejo a las personas que responden o asegurar que puedan brindar ayuda al final de la entrevista o sesin de observacin o asegurar que registren exactamente qu consejo o informacin se brind o ofrecer un folleto o un conjunto fijo de informacin al trmino de la recoleccin de datos hacer todo lo posible por evitar que el personal recolecte datos con personas de las que se hace responsable dentro del programa o de ser posible, asignar al personal la recoleccin de datos con personas de otra rea u otro sitio del programa o asignar al personal a recolectar los datos de personas que no conozcan personalmente o evitar decir al personal si la persona que entrevistan u observan est en el programa o forma parte de un grupo de comparacin incluir explicaciones claras para todas las personas que responden y que participan en el programa o explicar cmo se utilizar los datos o explicar que no se espera una respuesta especfica o asegurar que se sientan cmodas al proporcionar informacin precisa, sin tener que preocuparse por ofender a alguien o por perder el acceso a los servicios

131

utilizar cuestionarios auto-aplicables (si estos son adecuados para captar el tipo de datos necesarios) o asegurar que las personas que responden puedan depositar el cuestionario sin tener que preocuparse de que el personal sepa quines son o cmo respondieron en la seccin de limitantes en el informe final, incluir una referencia sobre quines del personal fueron recolectadores de datos o explicar las precauciones que se tomaron para reducir el posible impacto de dicha prctica o hacer hincapi en los beneficios observados o presentar con honestidad cualquier cuestin o preocupacin persistente

Cundo es mejor ser diferente? Frecuentemente se supone que las personas iguales a las que responden sern las ms confiables y por tanto, obtendrn las respuestas ms honestas. Pero a menudo no es el caso. En ocasiones, las personas se sienten ms cmodas al confiar en alguien que consideran diferente y que no les juzgar, como posiblemente lo hara alguien de la comunidad propia. A veces las personas externas a un grupo cultural o social pueden ver las cosas con mayor claridad. Lo importante es la capacidad de la persona de no emitir juicios, lograr que la que responde se sienta cmoda y escuchar abierta y compasivamente. Cundo obtener solamente el consentimiento verbal? Evite pedir una firma (consentimiento escrito) si piensa que hacerlo har que la persona no participe, la pondra en una posicin riesgosa o de alguna manera la incomodara tanto que se comprometera la honestidad de sus respuestas. Si trabaja con una poblacin que podra ser iletrada, debe tener un proceso de consentimiento verbal usted explica la naturaleza de la participacin y los derechos del participante y consigue su consentimiento [verbalmente]. Cundo hay que cuidar el lenguaje? Si se analiza el mismo concepto con diferentes subgrupos, estos pueden entender las palabras utilizadas de diferentes maneras, por ejemplo, los y las adolescentes y sus padres y madres. Es ms importante que las personas que responden entiendan la pregunta, que utilizar exactamente las mismas palabras con todas las personas. Alternativamente, se puede utilizar ambos lenguajes para todas las personas que responden, ej., Estoy entendiendo el concepto X como (insertar la definicin), aunque a veces se conoce como (insertar el modismo). Si se ajusta las palabras de las preguntas para los diferentes grupos, Habr que adelantar cmo se tendr que analizar los hallazgos, probablemente como comparaciones, en lugar de poner todas las respuestas juntas Dejar claro en el informe final, cmo se plantearon las preguntas Explorar el significado de cualquier diferencia encontrada Cuando uno no es suficiente Con el fin de que la recoleccin de datos sea ms rigurosa, se debe recolectar ms de un elemento de informacin sobre cada concepto, especialmente los conceptos que causan mayor incertidumbre. Ello se puede hacer mediante lo siguiente: varias preguntas acerca de un mismo componente de un concepto social complejo una lista de diferentes ejemplos que corresponden a una pregunta; por ejemplo, diferentes mbitos de la vida domstica, en la que una mujer tiene o no tiene autoridad para tomar decisiones autnomas Tener cuidado al reportar lo anterior como un solo indicador. Existen ventajas y desventajas de hacerlo: Ventajas: o si las respuestas realmente deben ir juntas, se puede tener mayor seguridad de que realmente se est midiendo el concepto que se pretenda medir o se podr presentar menos hallazgos Desventajas:

132

o o o

es posible que las respuestas realmente no reflejen el mismo concepto algunas respuestas pueden tener mucha ms importancia que otras y al juntarlas, se puede perder informacin uno o ms elementos de la informacin puede contrarrestar los dems y ocultar los resultados verdaderos

Para evitar los errores comunes: Siempre considerar los segmentos de datos por separado primero. Todos indican lo mismo? Cuando uno est alto o bajo, los dems estn altos o bajos? Habr que hacer esto durante la prueba piloto del instrumento, as como durante la etapa del anlisis en s. Averiguar qu piensan las partes interesadas de la medicin de las diferentes preguntas u observaciones. Consideran que todas se refieren al mismo concepto? Pero quiz convenga acudir de nuevo a las partes interesadas, una vez que se cuente con los instrumentos reales de recoleccin de datos, a fin de asegurar que las partes interesadas concuerden en que las preguntas realmente reflejan un cierto concepto.) Reportar segmentos de datos separados de manera separada, a menos que exista un antecedente creble o una justificacin claramente vlida para combinar los datos. Cuntas personas se necesitarn para recolectar los datos? Ello depender de lo extenso de la recoleccin de datos, cuntas personas/eventos/documentos sern valorados y el grado de dificultad del proceso de recoleccin de datos Determinar cuntas sesiones de encuesta/entrevista/observacin puede manejar cada persona con precisin en el mundo real, con base en la prueba piloto del instrumento y del plan de recoleccin de datos Si no se cuenta con los recursos para que suficientes personas entrevistadoras apliquen bien el instrumento, habr que reducir el nmero de entrevistas y/o el tamao y complejidad del instrumento Siempre es mejor recolectar pocos datos bien, que recolectar muchos datos mal.

Grabar o no grabar? Siempre es tentador grabar las entrevistas o algunos eventos, pero tiene sus ventajas y desventajas. ventajas o es la mejor manera de saber que se ha captado los detalles de eventos o entrevistas complejas o otras personas pueden verificar los datos respecto a la confiabilidad o permite hacer diversos conjuntos de codificacin y anlisis una y otra vez o la mayora de las personas se siente bien y acta con naturalidad, a pesar de la grabacin desventajas o puede afectar negativamente la libertad con la que se comportan las personas o comparten informacin o es necesario tomar precauciones, a fin de mantener la confidencialidad y el anonimato, incluyendo el almacenaje y el borrado de las cintas despus del anlisis o puede ser muy costoso revisar las cintas, en trminos de dinero y tiempo o crea un adicional elemento fsico de informacin que debe ser protegido en virtud del plan de confidencialidad Hay suficiente tiempo para tener un impacto? Anteriormente, en la planeacin de los indicadores, se hizo hincapi en la importancia de establecer indicadores de los cambios que realmente pudieran ocurrir como resultado del programa. Si se ha tenido que recurrir a una lnea media en lugar de una lnea de base, y si se realizar la lnea final en un corto lapso de tiempo despus del fin del programa, habr que considerar qu tipos de cambios pueden darse en el tiempo disponible. Si la lnea media y la lnea final tienen lugar dentro de un perodo de slo tres meses, y se busca cambios en aspectos como la equidad de gnero, habr que asegurar que las preguntas reflejen aquellos anteceden-

133

tes o elementos especficos que podran cambiar en ese perodo de tiempo. Alternativamente, considerar si conviene recolectar los datos al final del programa y dar seguimiento ms adelante. La confidencialidad y el anonimato Como es muy ntima la informacin personal acerca de la sexualidad, las relaciones personales, las conductas y la salud, es preciso que todas las personas que proporcionan informacin confen en que no se compartir su informacin personal con cualquiera. En los pueblos pequeos donde todo mundo conoce a todo mundo, las personas pueden estar especialmente temerosas de que se dar a conocer los detalles de su vida personal. Respetar la confidencialidad y el anonimato puede ser clave para asegurar la obtencin de informacin precisa, as como para proteger la privacidad de los y las participantes. Algunas cosas que se puede hacer para asegurar la confidencialidad y el anonimato incluyen lo siguiente: Garantizar que las respuestas individuales de los y las participantes no se compartan con nadie excepto el Equipo de evaluacin, a menos que quien responde presente un inminente intento de daarse a s mismo/a o a otras personas. Explicar que se reportar sus respuestas de manera resumida junto con las de otras personas, de tal forma que no se podr identificar a nadie. Recolectar los datos annimamente, y no pedir los nombres de las personas. Si se necesita aparejar encuestas con personas que responden, habr que utilizar cdigos secretos o numricos u otra identificacin nica en lugar de los nombres. Asimismo, se puede pedir que la persona elija un nombre para s mismo/a. Jams decir que la encuesta es annima y luego registrar la identidad en secreto. Si es absolutamente necesario utilizar los nombres de las personas, asegurar que se salvaguarde muy cuidadosamente cualquier material que contenga informacin personal. Almacenar dichos materiales bajo llave en una gaveta o cuarto, y controlar el acceso al mismo. Tener cuidado con los materiales, aun al deshacerse de ellos. Si se tiran a la basura, las personas de la oficina los podrn ver, o el viento se los puede llevar y pueden terminar en otras manos. Es mejor triturarlos o quemarlos. Similarmente, los datos electrnicos deben ser desordenados. Enfatizar claramente al personal y a las personas que recolectan los datos que se considera de suma importancia la confidencialidad de los y las participantes. Comunicar a todas las personas con las que se trabaja, cunto se valora su confianza. En un entorno en el que todas las personas se conocen, se puede cuidar el anonimato y la confidencialidad al reportar nicamente los datos agregados, es decir, slo los hallazgos grupales y no los individuales. Una nota sobre el anonimato Siempre que sea posible, recolectar los datos de tal forma que cada participante pueda ser annimo/a. Sin embargo, si se busca medir los cambios en los y las participantes a travs del tiempo (ej., la lnea de base comparada con la lnea final), quiz se tenga que cotejar las respuestas del puntaje obtenido en la lnea final de un individuo especfico. Con el fin de emprender algn tipo de anlisis estadstico, quiz tambin sea necesario poder identificar cada caso en diferentes momentos. Por tanto, si se necesita proteger el anonimato, ser necesario incluir algn identificador nico cada vez. Ello puede ser el cdigo que la persona aprende a proporcionar cada vez, o la respuesta a algunas cuantas preguntas que no revelan la identidad, aunque son nicas a l o ella, esto para poder aparejar los datos. Por ejemplo, el lugar de nacimiento de la madre o su color favorito. NOTA: Si se piensa utilizar fotos o citas en los informes o las presentaciones, ser indispensable obtener el permiso de las personas involucradas. A veces no es apropiado dar los nombres verdaderos, sino utilizar un nombre que las personas han elegido y slo identificadores generales, como edad, estado civil y escolaridad, dependiendo de lo que sea pertinente para el informe.

134

Mtodos para la recoleccin de datos

Mtodo: Discusin de grupo focal Descripcin Los grupos focales son discusiones de grupos conformados por una muestra de personas que han sido cuidadosamente seleccionadas, y que se renen con el fin de contribuir sus opiniones sobre temas especficos. Un grupo focal tpico rene de 4 a 12 individuos, normalmente similares en al menos una dimensin (ej., mujeres casadas u hombres VIH positivos) y seleccionados segn el tema a explorar (uso del condn entre parejas casadas, o acceso al tratamiento antirretroviral). La discusin es dirigida por una persona moderadora o lder del grupo, y se centra en temas preseleccionados. Gua para la discusin: Una lista de preguntas y temas a discutir. La discusin puede ser estructurada o no estructurada; la primera cuenta con una lista de preguntas ms desarrollada, mientras que la discusin no estructurada sigue un boceto o una gua, y permite mayor variacin en el tema de conversacin y en cmo fluye la discusin. La persona moderadora coordina la discusin, mientras que otra persona toma apuntes y diligencia una lista de verificacin de las observaciones. A menudo se graba la conversacin para su trascripcin y codificacin posteriores. Pericia necesaria Ventajas Desventajas Habilidades relacionadas con la facilitacin de discusiones grupales Habilidades relacionadas con la observacin cualitativa y la toma de apuntes Habilidades relacionadas con el anlisis de datos cualitativos La capacidad de cuantificar las respuestas en caso necesario Para recolectar informacin cualitativa y cuantitativa de varias personas con caractersticas similares Para obtener retroalimentacin de las percepciones que se tienen respecto al programa, o para captar una idea de un pblico particular (ej., los y las clientes de una clnica, nias adolescentes) Para identificar las normas, los valores y las creencias socialmente aceptadas, respecto a temas o aspectos especficos Para identificar qu lenguaje se utiliza para entender ciertos conceptos, ej., para identificar los componentes de conceptos sociales complejos, como la equidad de gnero y el empoderamiento Para probar el lenguaje y/o los conceptos que se consideran pertinentes en ciertos grupos y/o el programa Para dar retroalimentacin a cuestiones como los avisos de servicio pblico o carteles de sensibilizacin Es una forma rpida de obtener informacin (los grupos focales duran de 1 a 2 horas) Es una manera til de obtener informacin (ej., modismos, normas conductuales) antes de disear las preguntas y las opciones de respuesta de una encuesta Recolecta datos ricos y descriptivos Tiene una alta tasa de respuesta, si coincide con el horario de los y las participantes La logstica relacionada con organizar entrevistas grupales lleva mucho tiempo (ej., la necesidad de programar-

Instrumentos

Cundo utilizarla

135

 Consideraciones para el anlisis (errores comunes, sesgos) Niveles de tiempo y recursos necesarios

las en torno al tiempo de los y las participantes, no el propio; la posibilidad de tener que ofrecer cuidado de los nios y las nias o algn alimento ligero, etc.) Tiende a dar con las normas en lugar de la gama entera de experiencias o conductas, especialmente si stas son delicadas o estn estigmatizadas Los grupos mixtos pueden inhibir la participacin de las mujeres. Aun en grupos de un solo sexo, una o dos personas pueden dominar la discusin. No debe utilizarse para suplir un nmero grande de entrevistas individuales Posiblemente sea necesaria la trascripcin (escuchar y registrar), lo que puede llevar mucho tiempo Posiblemente las personas slo den respuestas socialmente aceptables Una persona o unas cuantas personas pueden establecer una tendencia, o dirigir la discusin, de tal forma que quedan suprimidas las ideas de los dems

Pocos a medianos recursos si se organiza dentro de la organizacin Es indispensable contratar una persona facilitadora altamente calificada La trascripcin frecuentemente resulta costosa El anlisis lleva mucho tiempo No se puede proteger la confidencialidad El consentimiento informado requiere que todas las personas presentes acuerden mantener la confidencialidad y el anonimato de la informacin compartida. Evidentemente cada una sabe lo que dijo cada quien, pero deben respetar los derechos y la informacin de los y las dems participantes Si las personas se perturban por la discusin, posiblemente no tengan la manera de expresarse u obtener la ayuda que requieren Las personas con conductas atpicas o estigmatizadas posiblemente no las revelen en el grupo, ni expresen opiniones impopulares

Aspectos ticos y de sensibilidad

136

Mtodo: Ejercicios participativos basados en la comunidad Descripcin Se puede utilizar varios mtodos participativos para generar datos. Los mtodos principales incluyen los siguientes: mapeos, tarjetas ilustradas, juegos de roles anlisis FODA, anlisis del poder, anlisis del campo de fuerzas Hojas de codificacin, listas de verificacin, apuntes y conclusiones escritas o grabadas; hojas de tabulacin de datos Habilidades para ejecutar programas participativos y para facilitar procesos grupales Mapeos, tarjetas ilustradas, juegos de roles con poblaciones con bajo nivel de alfabetizacin; dentro de proyectos participativos para demostrar los cambios en la distribucin de atributos, problemas comunitarios y conductas interpersonales percibidas Anlisis FODA, anlisis del poder, anlisis del campo de fuerzas son ms pertinentes en los programas de abogaca y otros programas que trabajan para cambiar el entorno poltico y de polticas; para demostrar los cambios en el contexto sociopoltico ms amplio Ventajas Si se aplica sistemticamente en situaciones de pre- y post-prueba o en grupos de comparacin, pueden proveer datos ricos provenientes de una amplia gama de poblaciones El grado en que se pueda comparar depender mucho de la composicin de los grupos y de qu tan sistemticamente se realiza la aplicacin Se puede contar las categoras o proveer descripciones cualitativas

Instrumentos Pericia necesaria Cundo utilizarlos

Desventajas

Consideraciones para el anlisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios Aspectos ticos y de sensibilidad

Requieren de habilidades relacionadas con las tcnicas, as como tiempo para el trabajo grupal y para registrar los hallazgos Son especialmente aplicables en comunidades de bajos recursos que ya estn involucradas en procesos participativos Los y las participantes obtendrn nuevos conocimientos por medio de estos mtodos, y los programas deben darse cuenta que tienen un impacto y que deben dar seguimiento Pueden llevar a que los y las participantes desarrollen expectativas de servicios o bienes que no se puede brindar Pueden llevar a mayores conocimientos, a la apropiacin y al empoderamiento de los y las participantes, por lo que no se debe aplicar de manera aislada, sin algunos componentes programticos

137

Mtodo: Encuesta Descripcin En una encuesta, se plantea una serie de preguntas de manera igual a todas las personas que responden (personas que diligencian el cuestionario). Se puede aplicar encuestas de las siguientes maneras: por medio de una persona entrevistadora en un entorno de persona a persona (una persona entrevistadora lee el cuestionario a la persona que responde y la primera marca las respuestas), por telfono o por Internet. autoaplicada: (la persona que responde diligencia el cuestionario sola, sin la entrevistadora) Las encuestas frecuentemente utilizan preguntas cerradas, y se aplican a nmeros grandes de personas. Algunas encuestas tambin pueden incluir unas cuantas preguntas abiertas. Instrumentos Gua de la entrevista: Un documento que orienta a las personas entrevistadoras respecto a qu preguntas plantear y en qu orden. Introduccin: Un texto que la persona entrevistadora lee en voz alta o que lee la persona que responde, el cual proporciona informacin acerca de la naturaleza y el uso de la encuesta, incluyendo instrucciones generales para responder a las preguntas; asimismo, explica cmo se proteger la confidencialidad/el anonimato. Cuestionario: un conjunto de preguntas planteado a cada participante o persona que responde, de manera exactamente igual, ya sea de manera verbal o escrita. Pericia necesaria Diseo de la encuesta Habilidades relacionadas con la conduccin de una entrevista de persona a persona (en el caso de este tipo de aplicacin) Diseo de una base de datos computarizada, si se utiliza terminales de computadoras en encuestas autoaplicadas Suficiente conocimiento para poder distribuir sistemticamente Habilidades relacionadas con el anlisis de datos (cuantitativos y/o cualitativos, dependiendo de los datos recolectados)

Cundo utilizarla

Para recolectar datos cuantitativos (preguntas cerradas) o cualitativos (preguntas abiertas) Cuando se desea recolectar datos de grandes nmeros de personas, haciendo uso de preguntas cerradas Las encuestas autoaplicadas y las entrevistas de persona a persona son ms apropiadas en el MyE a pequea escala, que en encuestas a grande escala De la encuesta en general: Es fcil comparar las respuestas Es relativamente fcil analizar Permite tener una muestra relativamente grande

Ventajas

138

Es fcil presentar y entender los resultados La aplicacin requiere menos habilidades que la entrevista abierta

De la encuesta autoaplicada: Puede ser annima; baja en costo Sirve para valorar conductas, actitudes y creencias difciles de reconocer en presencia de otra persona, como las conductas ilegales o muy estigmatizadas

De la encuesta aplicada de persona a persona: Faltan menos datos, se puede asegurar la diligencia de todas las preguntas a las que la persona que responde est dispuesta a contestar; se puede aclarar la terminologa y las respuestas de manera sistemtica Se puede adaptar al contexto y a las personas especficas, incluyendo la instruccin de saltarse preguntas que no aplican Permite canalizar los casos en los que se detecta alguna crisis o un problema Desventajas De la encuesta en general: Si las preguntas o las opciones cerradas son inapropiadas para el contexto local, incorrectas o estn sesgadas, pueden faltar datos o estos pueden ser engaosos. Se puede dificultar el diseo que evite sesgos y que sea apropiado a temas delicados No capta informacin espontnea Slo arroja respuestas predeterminadas que posiblemente no sean las mejores para entender el aspecto en cuestin Impone opciones predeterminadas a la persona que responde A menudo no se sabe lo que una respuesta realmente significa A menos que se acompae de preguntas abiertas, no habr oportunidad para aclarar las respuestas

De la encuesta autoaplicada o telefnica: Faltan datos debido a que no hay oportunidad para aclarar el significado de una pregunta (autoaplicada) No es posible aplicarla en poblaciones analfabetas o de bajo nivel de alfabetizacin Requiere una computadora y programas especializados en el caso de grupos grandes; un sistema confiable de correo si se enva el cuestionario por este medio; o acceso amplio al telfono Presenta la posibilidad de obtener una baja tasa de respuesta, si se realiza por correo/Internet/telfono

139

De la encuesta aplicada de persona a persona Falta de anonimato Requiere de mucho tiempo del personal La presencia de la persona entrevistadora puede afectar las respuestas Consideraciones para el anlisis (errores comunes, sesgos) De persona a persona: Los sesgos y las expectativas de la persona entrevistadora pueden alterar las respuestas La persona entrevistadora debe evitar mostrar aprobacin o desaprobacin de las respuestas

Autoaplicada o telefnica: Es necesario realizar un seguimiento para lograr una tasa de respuesta aceptable, si se enva por correo o se aplica va telefnica Niveles de tiempo y recursos necesarios Pocos recursos para el desarrollo, si se logr localizar un instrumento existente, diseado para un propsito y una poblacin similares Pocos recursos en encuestas autoaplicadas Recursos medianos para aplicar encuestas de persona a persona Mayores recursos para planear, disear y analizar la encuesta Es preciso cuidar la confidencialidad, aunque en ocasiones es necesario identificar los casos (por ejemplo, los casos de abuso sexual de menores, y para encontrar a los individuos para efectos de comparar entre pre- y post-programa) No se debe utilizar incentivos, aunque se podra compensar el tiempo con el cuidado de los nios y las nias o cubrir el transporte Los cuestionarios autoaplicados permiten el anonimato en los casos de aspectos delicados Posiblemente se obtenga niveles ms precisos de conductas estigmatizadas o socialmente inaceptables La entrevista de persona a persona puede brindar apoyo sensible, respuestas solidarias y la canalizacin de casos con problemas o crisis detectadas, as como responder a solicitudes de la persona que responde

Aspectos ticos y de sensibilidad

140

Mtodo: Entrevista a profundidad Descripcin Una entrevista a profundidad es un tcnica utilizada para recolectar datos cualitativos y/o cuantitativos, mediante una discusin detallada y personalizada entre la persona entrevistadora y la entrevistada; permite que la primera entienda las percepciones, actitudes y pensamientos que tiene la segunda acerca de varios temas. La persona entrevistadora utiliza una gua o un protocolo de la entrevista: una lista de preguntas y temas a abordar. La entrevista puede ser estructurada o no estructurada; la primera conlleva una lista de preguntas ms estandarizada y especfica, mientras que la entrevista no estructurada sigue un boceto o gua del tema, y permite mayor variacin en el tema de conversacin y en cmo fluye la discusin. La entrevista puede abordar la historia de vida de la persona, o puede estar organizada en torno a temas especficos. Pericia necesaria Cundo utilizarla Consideraciones para el anlisis (errores comu Buenas habilidades para conducir entrevistas, de tal forma que propicien que la persona que responde proporcione informacin completa y precisa acerca de una amplia gama de temas, algunos de los cuales pueden ser bastante delicados Sensibilidad respecto a las diferencias culturales y lingsticas en el significado de las palabras; comprensin del lenguaje corporal Habilidades relacionadas con el anlisis de datos cualitativos y/o cuantitativos Para obtener informacin acerca de temas que no se prestan a entrevistas grupales (i.e., aspectos delicados e historias de vida) Para entender las variaciones y los puntos comunes en la experiencia, la comprensin y el lenguaje Cuando se necesita comprender cmo elaboran las experiencias las personas Cuando se est explorando temas desconocidos y se necesita utilizar preguntas abiertas Para indagar sobre una amplia gama de temas respecto a los cuales la persona que responde comparte sus opiniones, actitudes y percepciones, y reporta la ocurrencia de ciertas conductas o eventos Permite obtener informacin profunda, detallada y desde adentro de una situacin o entorno Una persona entrevistadora capaz puede obtener informacin excelente y brindar apoyo o hacer la canalizacin a otros servicios en caso necesario La presencia de la persona entrevistadora y su posicin pueden sesgar las respuestas y limitar la espontaneidad de la que responde La persona entrevistadora puede transmitir sus opiniones sutilmente, lo que influira en las respuestas Se obtiene opiniones de pocos individuos a un costo relativamente alto Requiere de habilidades bien desarrolladas para evitar sesgar las respuestas Tiene una alta tasa de respuesta, si la entrevista se acomoda al horario de los y las participantes Requiere de habilidades para poder aprovechar los datos Es necesario evitar la sobre generalizacin de los hallazgos y los datos recolectados de un grupo reducido de personas

Instrumentos

Ventajas

Desventajas

141

nes/sesgos) Niveles de tiempo y recursos necesarios Fuerte compromiso de tiempo (1-2 horas invertidas en cada entrevista individual), especialmente si la persona entrevistadora tiene que ir de casa en casa Bajo costo si se lleva a cabo con el personal de la organizacin Costo mediano a alto si se contrata la conduccin de las entrevistas externamente El anlisis requiere de habilidades y lleva mucho tiempo Frecuentemente el simple hecho de indagar o mostrar inters en ciertos temas, puede quebrantar las defensas de la persona que responde, lo que requiere de un manejo sensible y algo de seguimiento. Se puede brindar apoyo y solidaridad, pero debe ser de tal forma que no sesgue las respuestas Si se conduce bien, es ms probable obtener informacin delicada acerca de temas atpicos o tabes Es preciso que la persona entrevistadora mantenga la confidencialidad y jams revele informacin que podra causar dao o estigmatizar a las personas que responden

Aspectos ticos y de sensibilidad

142

Mtodo: Observacin (participativa, no participativa) Descripcin La observacin es un proceso sistemtico mediante el cual se registra los patrones de conducta de las personas, objetos y ocurrencias, de maneras que difieren del planteamiento directo de preguntas y de la comunicacin directa (aunque frecuentemente se realiza la observacin en conjunto con una entrevista). Las personas que evalan pueden utilizar tcnicas de observacin con el fin de observar componentes o actividades del programa, as como el comportamiento de individuos y grupos. Las observaciones normalmente quedan registradas en un escrito, en forma de apuntes de campo. En ocasiones, tambin se utiliza el video o la pelcula. La observacin participativa implica que la persona observadora participa en la actividad, grupo u ocurrencia bajo investigacin. La observacin no participativa significa que la persona observa la actividad, el grupo o la ocurrencia desde fuera. El cliente simulado es una forma de observacin en la que la persona hace creer que es un/una participante o cliente, y no revela su verdadera identidad. Con el fin de evitar problemas ticos, el personal debe saber que se presentar un cliente simulado en momentos indefinidos, esto ltimo con el propsito de evaluar ciertas caractersticas de la prestacin del servicio. Es necesario obtener el debido consentimiento de las personas con autoridad en el entorno en cuestin. Se hace uso frecuente de entrevistas in situ junto con la observacin. Aqullas son entrevistas informales con participantes que se encuentran en el lugar, donde la interaccin es mucho ms natural y conversacional. Los instrumentos que se puede utilizar en las observaciones incluyen listas de verificacin, cuestionarios con preguntas abiertas y formularios (descriptivos o narrativos), que permiten que la persona observadora registre sus apuntes y observaciones. Cundo utilizarla Habilidades para hacer entrevistas que dejan que el observador hable con los participantes de una manera discreta, respetuosa y efectiva. Sensibilidad a las diferencias culturales y lingsticas en los significados de las palabras y el entendimiento del lenguaje corporal Conocimiento de cmo escribir apuntes de campo para grabar observaciones Conocimiento de cmo desarrollar un formulario para recolectar datos Cuando se necesita ver conductas observables en el momento en que se dan en la vida real, especialmente las relacionadas con temas o conductas muy delicadas, as como actitudes tabes, debido a que la observacin permite ver cmo suceden las cosas en realidad, no cmo estn dispuestas las personas a reportarlas Cuando se necesita entender cmo sucede algo en un contexto social y en la vida real, tal y como se vive Cuando se desea saber cmo actan las personas y no slo cmo hablan de las cosas Cuando se desea entender significados implcitos y no hablados Cuando ciertos eventos, como la interaccin entre el/la paciente y el mdico/la mdica, las reuniones de comits, los debates legislativos, son centrales al programa, y el comportamiento que ocurre en ellos constituye un

Instrumentos

Pericia necesaria

143

indicador importante Cuando se necesita evitar que las personas enmarquen sus experiencias, creencias y actitudes dentro de un conjunto predefinido de palabras o valores determinados por la persona que evala, es decir, la encuesta tradicional con preguntas cerradas Cuando se desea valorar con mayor precisin, los cambios en la conducta, evitando los casos en que las personas reportaran lo que consideran que la persona entrevistadora desea saber Permite ver un programa en operacin y obtener informacin acerca de cmo funciona Permite ver conductas y actitudes socialmente indeseables en accin Permite construir confianza entre la persona observadora y los y las participantes Permite captar el silencio que se da en torno a aspectos importantes Los y las participantes pueden portarse bien cuando saben que se les observa Posiblemente no se observe las conductas poco frecuentes dentro del periodo de tiempo disponible

Ventajas

Desventajas Consideraciones para el anlisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios Aspectos ticos y de sensibilidad

Un fuerte compromiso de tiempo Se requiere una persona con habilidades para realizar observaciones sistemticas y cuidadosas El anlisis puede llevar mucho tiempo La confidencialidad: Si la persona observadora se percata de conductas peligrosas o ilegales, posiblemente las tenga que reportar, lo que podra contravenir la confidencialidad y la confianza Es difcil observar conductas ntimas (ej., relaciones sexuales)

144

Mtodo: Revisin documental y de registros, incluido el anlisis de los medios Descripcin Este mtodo implica revisar documentos como los registros de las actividades del programa, registros mdicos, datos demogrficos, datos oficiales (ej., educativos o municipales), minutas de reuniones, contenidos en los medios, inventarios, estadsticas del servicio y otros registros. Otras fuentes de datos incluyen las estadsticas rutinarias del proyecto, encuestas realizadas en las instalaciones, encuestas de proveedores de clientes, peridicos, programas televisivos, publicidad e informacin de la gerencia.

Dichas revisiones documentales normalmente implican contar la frecuencia de diversos comportamientos u ocurrencias, como el nmero de visitas a la clnica, el nmero de embarazos no deseados, la frecuencia en las visitas prenatales, etc. En muchos casos, el programa ya cuenta con datos recolectados sistemticamente.

En algunos casos, se puede obtener datos cualitativos de estas fuentes y presentarlos de manera no numrica, mediante citas y ejemplos que demuestren las tendencias en los cambios, como por ejemplo, el cambio a travs del tiempo en la cobertura que los peridicos dan a los derechos relacionados con el aborto. Instrumentos Las herramientas que se pueden utilizar para la revisin documental incluyen listas de verificacin o formularios en los que se registra apuntes y se tabula la frecuencia de la ocurrencia encontrada en los registros. Es necesario contar con un esquema claro de codificacin para tabular con eficacia. Conocimiento de cmo desarrollar un esquema de codificacin Familiaridad con el medio a revisar (ej., crticas de los medios, anlisis de datos oficiales) Cuando ya existen sistemas para la recoleccin de datos, sta es relativamente sistemtica, los sistemas estn bien estructurados y recolectan datos confiablemente Cuando de otra manera no se tendra acceso a la informacin Para estudiar tendencias en el pasado Para documentar la provisin del servicio como se da actualmente o como se daba anteriormente Para reconstruir datos de base Cuando los objetivos se centran en cambios en los medios, en la provisin del servicio, en los comits entre organismos, etc. Es una fuente objetiva de datos Los datos pueden existir con anterioridad, lo que elimina algunos costos de la recoleccin de datos Ciertos datos recolectados con regularidad tienen en marcha un mecanismo congruente para la recoleccin de los mismos Permite estudiar tendencias en el pasado

Pericia necesaria Cundo utilizarla

Ventajas

145

 Consideraciones para el anlisis (errores comunes/sesgos) Aspectos ticos y de sensibilidad

Puede proporcionar informacin acerca de poblaciones grandes, incluso acerca de resultados finales, ej., registros de salud Los datos no siempre estn completos, no siempre son confiables y pueden tener sesgos indeterminados Puede ser difcil la interpretacin, sin el contexto apropiado sobre el programa/la ocurrencia que se est investigando Puede llevar mucho tiempo si es difcil encontrar los registros y si son extensos Tiende a contener grandes categoras de datos sin mucha atencin al detalle Frecuentemente no contiene todas las categoras posiblemente requeridas por el proceso de MyE en cuestin Las categoras de los datos pueden ser similares en apariencia a las del MyE, pero no lo suficiente para permitir comparaciones reales Posiblemente fueron insuficientes las definiciones utilizadas y la capacitacin impartida para la diligencia de los registros, de tal forma que se desconoce las condiciones bajo las cuales se ingresaron los mismos Posiblemente los datos estn falsificados, si las personas que los registraron estaban bajo presin para registrar altos niveles en indicadores de desempeo Altos si es necesario codificar los registros Altos si es necesario transformar los datos en categoras que coincidan con las de los instrumentos propios de la recoleccin de datos Bajos si los registros ya estn metidos en una base de datos utilizable Posiblemente el consentimiento no sea factible si se trata de revisar registros viejos Problemas relacionados con la confidencialidad Posiblemente no existan datos registrados sobre aspectos ilegales o delicados que podan llevar a consecuencias negativas para la persona que registr la informacin o la persona que respondi originalmente, ej., causa de muerte reportada como sangrado, sin mencionar un aborto inducido, si existen consecuencias legales en dichos casos.

Desventajas

Niveles de tiempo y recursos necesarios

146

Mtodos e instrumentos de recoleccin de datos Mtodo Entrevista Instrumento Gua para la entrevista o cuestionario con preguntas cerradas y/o abiertas Cuestionario (preguntas cerradas); puede incluir algunas preguntas abiertas Gua para la discusin (abierta o cerrada); gua para la observacin Apuntes de campo, lista de verificacin, lista de conductas o eventos a contar, cuestionario abierto (descriptivo o narrativo) Lista de verificacin, hoja de cdigos y esquema de cdigos

Encuesta (autoaplicada, por correo, por telfono, de persona a persona) Discusin de grupo focal

Observacin (participativa, no participativa)

Revisin documental (anlisis del contenido de los medios, inventarios, revisin bibliogrfica, registros clnicos, estadsticas, registros) Ejercicios participativos basados en la comunidad: mapeo, tarjetas ilustradas, juego de roles, anlisis FODA, anlisis del poder, anlisis del campo de fuerzas

Listas de verificacin, hojas de cdigos, resmenes de las conclusiones

147

Nombrar lo innombrable A menudo es necesario hacer una introduccin especial a temas muy sensibles o altamente estigmatizados. Sin exagerar la evidencia, habr que introducir el tema y mencionar a la persona que responde, que algunas personas realizan la conducta en cuestin, aunque se les dificulta hablar de ella. Ejemplo. Ahora le vamos a preguntar sobre la masturbacin. Aunque para algunas personas es difcil hablar del tema, muchas personas totalmente normales lo hacen. Alguna vez se ha masturbado? O bien, por favor cunteme de sus experiencias con la masturbacin. Por qu convertir datos cualitativos en indicadores numricos? Porque puede ser muy eficaz. Posiblemente se tenga que recolectar datos cualitativos si se desconoce cmo se presenta algn fenmeno en el contexto local. Pero una vez que se conoce la gama de conductas que describen dichos datos y los tipos de significados que expresan, quiz se quiera reportar cuntas personas de las observadas o entrevistadas hicieron o dijeron algn elemento de inters. Al transformar los datos cualitativos no numricos en datos numricos, se podr cuantificar y graficar las cifras (va grficas, histogramas, etc.) y se lograr identificar tendencias. Qu es lo que realmente significa consentimiento informado? Es necesario tomar en serio ambas partes de este concepto: Informado significa que las personas tienen que haber recibido y entendido la naturaleza del estudio y su participacin en l, cmo se utilizar la informacin y cmo se proteger su privacidad y/o la confidencialidad. No es suficiente presentar una descripcin escrita o verbal; es preciso asegurar que la persona entienda la explicacin. Ello constituye un desafo especial cuando las personas que responden son analfabetas, hablan un idioma o dialecto diferente, tienen un nivel muy bajo de escolaridad, o son tmidas o reservadas en el sentido de hacer preguntas. Consentimiento la persona que responde realmente tiene que tener la posibilidad de negar su participacin, sin presin, coercin o sentimientos de culpa. Pueden existir tambin consideraciones de ndole jurdico, por ejemplo, si la persona es menor de edad, o en algunas situaciones, una mujer sin autoridad para otorgar el permiso autnomamente. Si bien este tipo de situacin violenta el anonimato, an se podra garantizar la privacidad y la confidencialidad de los datos realmente recolectados. Qu habilidades habr que fortalecer? De ser posible, elegir personas que: Puedan ser objetivas al escuchar y registrar, as como en las interacciones con las personas que responden Se sientan cmodas al hablar con el tipo de personas de quienes recolectarn datos Estn motivadas para indagar sobre qu tan bien funciona el programa, no slo mostrar lo bueno que es. Ello significa que las personas que recolectan los datos deben ser capaces de distanciarse de la retroalimentacin negativa que puedan recibir respecto al programa, y de saber que a la larga, dicha informacin contribuir al mismo. Pedir al educando que haga apuntes de campo. Revisarlos conjuntamente y discutirlos. Asegurar que sean pertinentes y objetivos, y que estn completos.

La capacitacin para fortalecer habilidades debe incluir lo siguiente: Tcnicas de observacin y de escucha, haciendo uso de los juegos de roles entre las y los educandos Cmo evitar preguntas que inducen una respuesta: o Ser conveniente dar muchos ejemplos de este tipo de preguntas o Desarrollar un guin detallado para cada persona entrevistadora, con elementos especficos de sondeo, para cuando se necesite ms informacin Cmo evitar sesgar las respuestas y reforzar conductas: o Cuidar los gestos y ademanes o Cmo ser neutral pero compasivo/a

148

o Lo que hay que evitar y lo que se puede hacer Tcnicas tendientes a legitimar la discusin de temas tabes o muy delicados; por ejemplo, posiblemente los hombres necesiten que se legitimen algunos temas para que puedan hablar de sus sentimientos. o Incluir una introduccin a cada seccin o sub-seccin que aborda aspectos delicados. Explicar qu tema ser abordado y las partes que pueden ser difciles, pero que es ms comn que lo uno cree; o bien, algn enunciado preciso que legitime el tema, por qu es importante la informacin y cmo se utilizar. o No emitir juicios de valor o Si se utiliza respuestas cerradas, quiz convenga poner las preguntas ms estigmatizadas primero, para que se consideren ms aceptables. De esta manera, la persona que responde no tiene que descartar lo que no es, antes de llegar a lo que es. Sensibilidad a respuestas atpicas y cmo manejarlas o Sensibilizar a las personas entrevistadoras respecto a las posibilidades atpicas, y ensearles a evitar los supuestos o Asegurar que sepan que en sus reuniones regulares, pueden reportar si ciertas preguntas les incomodan, y que obtendrn ayuda para manejar dichas situaciones Captar informacin acerca de conductas inseguras o peligrosas o Tener claras las directrices legales aplicables en el contexto local. Si la persona entrevistadora tiene la obligacin por ley de reportar cierta informacin, debe comunicar dicha situacin a la persona que responde antes de comenzar la entrevista o Aun si no existe la obligacin por ley, el Equipo de MyE debe establecer un protocolo claro, con el fin de que las personas entrevistadoras sepan qu hacer en caso de enterarse de conductas inseguras o ilegales o El protocolo debe incluir una manera sistemtica de ofrecer ayuda o de canalizar a la persona que responde Las normas culturales de las personas que responden (cuando la subcultura tiene normas diferentes) o Evitar situaciones en las que la persona entrevistadora no pueda obtener la informacin debido a algn prejuicio cultural, como sera que las mujeres casadas sientan que no pueden hablar de relaciones sexuales con una mujer ms joven y soltera o Asegurar que las personas entrevistadoras sepan que pueden reportar los dilemas culturales que enfrenten

La capacitacin debe: Dedicar mucho tiempo al juego de roles y a ensayos De ser posible, grabar las entrevistas y pedir que cada educando se autoevale. Alternativamente, observar a la persona durante una entrevista y dar retroalimentacin especfica acerca de cmo la hizo. Indicar y corregir lo siguiente: o las oportunidades perdidas para hacer preguntas o indagar o las interrupciones por parte de la persona entrevistadora o los comentarios juiciosos o el aliento a ciertas respuestas o las tensiones y el estrs introducidos por la persona entrevistadora o los momentos en que la entrevista se desvi y se convirti en una conversacin sin enfoque en las preguntas o si la persona entrevistadora perdi el control de la entrevista y la que responde se fue por otro rumbo a temas irrelevantes Centrarse en contribuir a que las personas que recolectan los datos aprendan a buscar siempre la manera de ayudar a las personas a dar las respuestas ms precisas posible Identificar a las personas cuyas actitudes y habilidades simplemente no contribuyen a que las personas se sientan cmodas. En estos casos, habr que encontrarles otras tareas y no utilizarlas como recolectadoras de datos

149

Qu hacer cuando no hay nadie en casa? No slo en el caso de las visitas domiciliares sino en cualquier recoleccin de datos, posiblemente no se encuentre a las personas o los documentos donde y cuando se esperaba. Asegurar el establecimiento de reglas claras para el seguimiento, y que las personas que recolectan los datos las acaten; asimismo, que se registre los datos faltantes y los intentos por encontrar dichos datos, en un formulario preestablecido.

seguimiento determinar reglas claras respecto a lo que deben hacer las personas que recolectan los datos para dar seguimiento, a fin de obtener los datos necesarios o suplir fuentes de datos, esto para evitar que se filtren los sesgos. Habr que decidir lo siguiente: o cuntas veces las personas que recolectan los datos visitarn el sitio para obtener los datos o cuntas llamadas telefnicas se realizar para fijar un cita o qu debe hacer la persona recolectadora de datos cuando falta un documento o cuando una persona se rehsa a dar informacin tasas de rechazo las variaciones en el nmero de personas que se rehusaron a participar en la recoleccin de datos, segn los diferentes subgrupos o grupos de comparacin, pueden afectar el significado de los hallazgos. Habr que monitorear lo siguiente: o el nmero total de participantes dentro de cada subgrupo o el nmero de rechazos en cada grupo cuestiones de ausentismo - algunos grupos pueden ser ms difciles de localizar, y posiblemente se presenten con menos frecuencia en el sitio acordado para la recoleccin de datos. La tasa de desercin en valoraciones de segunda y tercera vuelta puede ser el resultado de factores tanto internos como externos. Es necesario monitorear lo siguiente: o las veces que se acudi al sitio para la recoleccin de datos y que no se encontr a la persona necesaria o cuntas personas de ciertos grupos o cuntos documentos de cierto tipo faltaron, ej., en clase o en los archivos. Ejemplo. Si la lnea de base empez con un nmero igual de nios y nias, pero los nios no se presentaron para la lnea media o final, los hallazgos quedarn fuertemente alterados y pueden indicar la necesidad de hacer cambios en el programa o bien, pueden reflejar algn evento externo que impidi que los nios asistieran, como sera un nuevo club de ftbol en el pueblo.

Qu hacer si nunca se ha capacitado a personas que recolectan los datos? Si no se tiene claro cmo capacitar a otras personas en los mtodos de recoleccin de datos, habr que considerar la posibilidad de identificar a alguien externo a la organizacin, que tenga mayor conocimiento sobre la recoleccin de datos y que pueda capacitar a las personas, como sera algn docente en una universidad cercana, o un/a colega de otra organizacin (gubernamental o no gubernamental). Las y los psiclogos o antroplogos a menudo tienen habilidades en impartir este tipo de capacitacin, y podran orientar o contribuir a que se aprenda cmo dar la capacitacin. Qu pasa si esta informacin es muy delicada? Siempre es indispensable respetar el nivel de comodidad de la persona. Jams presionar a nadie a contestar una pregunta respecto a la cual parecen ser reacios/as a contestar. Recordar que las personas pueden rehusarse a contestar cualquier pregunta, y pueden terminar la entrevista/encuesta en cualquier momento. Una buena introduccin y un buen proceso de consentimiento ayudarn si se explica claramente por qu se necesita la informacin y cmo se utilizar. Habr que hacer el esfuerzo por conseguir el apoyo de la persona. Asimismo, habr que explicar cmo se proteger el anonimato y/o la confidencialidad. Si an as la persona se rehsa, habr que respetar su derecho de hacerlo. Si un nmero inesperadamente alto de personas quiere saltarse una pregunta o se rehsa a participar en la recoleccin de datos del todo, habr que repensar el mtodo, la tcnica de la entrevista y quiz las comparaciones que se necesitan. Preguntarles directamente, de una manera no amenazante, por qu se rehsan a participar, a fin de entender por qu no funciona el plan.

150

Si las respuestas a las preguntas delicadas son indispensables para la utilidad de los datos, ser conveniente incluir dicha(s) pregunta(s) en una etapa temprana de la entrevista; de esta manera, si la persona se rehsa a proporcionar la informacin, se podr terminar la entrevista antes de recolectar la dems informacin. Las personas entrevistadoras deben preguntarse: Estoy contribuyendo a que hable(n) de este tema? Habr que intentar diferentes maneras de lograr que las personas se sientan bien al hablar de temas difciles y delicados.

Sugerencias para capacitar a las personas que recolectan los datos en habilidades para la observacin La observacin puede arrojar datos muy ricos debido a que se observa la vida tal y como se vive, materialmente. Brinda la oportunidad de ver cmo se dan las cosas en la vida real, as como la riqueza del contexto sociocultural de una persona. Para capacitar a las personas observadoras: comenzar con que lean un buen ejemplo de un estudio basado en la observacin localizar un extracto de apuntes de campo buenos, a compartir con las personas que llevarn a cabo las observaciones llevar a las personas que recolectan los datos a un entorno, como sera un lugar pblico, la casa de alguien, la sala de espera de una clnica: o pedir que observen durante un perodo de 30 a 60 minutos o pedir que tomen nota de: lo que dicen y no dicen las personas o el tono de voz de las personas, el movimiento de su cuerpo y los gestos o cmo interactan y no interactan las personas entre s o las reacciones a eventos o a otras personas o las normas que aparentemente rigen la conducta en este entorno o el foco de la conducta y la interaccin, ej., un cumpleaos, la consecucin de una cita, el regateo en el mercado o las diferencias entre los subgrupos, como seran los hombres y las mujeres, jvenes y mayores, personas de diferente color, etnia o tribu Al dejar el sitio, pedir que se sienten en un lugar tranquilo a escribir y registrar todo lo que observaron, incluidas sus impresiones Revisar sus apuntes junto con una persona etngrafa experimentada, y proporcionar retroalimentacin a fondo Una vez que se haya decidido las categoras principales de informacin acerca de la cual se desea recolectar datos, se puede proporcionar a cada persona observadora, formularios con cada categora, a fin de que sus observaciones y apuntes se puedan centrar en el punto de inters inmediato. Qu tipo de informacin deben contener los instrumentos de recoleccin de datos? Informacin descriptiva acerca de la fuente de datos y del evento de recoleccin de datos: Incluir informacin acerca del sitio/la ubicacin, fecha, hora, duracin de la recoleccin de datos, y el nombre de la persona recolectadora de datos. Al recolectar datos directamente de las personas, se debe incluir una seccin de preguntas que recolecten informacin acerca de la situacin social y demogrfica de la persona que responde, como seran edad, raza/etnia/religin, ocupacin y sexo. Se debe recolectar informacin sociodemogrfica, independientemente del mtodo utilizado para la recoleccin de datos grupos focales, encuestas, etc. Las preguntas sociodemogrficas son importantes porque permiten lo siguiente: Entender de quines se recolecta datos Dividir las personas que responden segn criterios importantes y pertinentes para las preguntas que se pretende contestar

151

Identificar los factores que podran alterar los hallazgos Asegurar que sean comparables las recolectaciones pre- y post-prueba y el grupo de comparacin

Qu pasa si esta informacin es muy delicada? Centrarse en los indicadores: El grueso del instrumento de recoleccin de datos estar conformado por preguntas especficas, temas a abordar o sitios donde se observar, que proporcionan informacin relacionada con los indicadores. Cada seccin del instrumento debe tener instrucciones claras de cmo se debe introducir y/o aplicar la seccin. Al desarrollar las partes del instrumento que tienen que ver con los indicadores: Asegurar que se haya convertido cada indicador en una o ms preguntas, temas o categoras de observaciones Asegurar que cada pregunta o categora a codificar corresponda a uno o varios indicadores. Para indicadores complejos, quiz sea necesario utilizar varias preguntas para llegar a un cierto aspecto. Incluso se podra crear una escala o un ndice. Para mayor aprendizaje sobre este tema, vase Consejos: Cuando uno no es suficiente No incluir preguntas o categoras de informacin que no correspondan a los indicadores, excepto cuando la informacin permite identificar la fuente de los datos o la persona que responde, cuando la inclusin es necesaria para asegurar que fluyan las preguntas o para identificar qu conjunto de preguntas es aplicable a cierta persona, evento o documento. Una excepcin sera cuando se ha decidido con anterioridad, recolectar una cantidad reducida de datos acerca de algunas brechas en la lgica del programa. Pero el nmero de dichos casos debe mantenerse bajo, y habr que anticipar cmo se utilizar esta informacin. No incluir preguntas o categoras de codificacin que son tan ambiguas que ser difcil interpretarlas. Ejemplos: o Cuando mi pareja y yo estamos juntos, yo soy algo callada debe ser Soy ms callada que lo normal, de tal forma que sea relativo al nivel normal de callar. Pero si el indicador se enfoca a la calidad de la relacin de pareja, una pregunta as significa que existe suficiente confianza para estar callada (quiz una seal de una buena relacin), o que la mujer se siente inhibida por la presencia del marido (quiz una seal de una mala relacin)? Sera mejor preguntar: Cundo mi pareja y yo estamos juntos, me siento suficientemente cmoda para estar ms callada que lo normal? O bien,Me siento menos capaz de hablar y me vuelvo ms callada que lo normal. Asegurar que cada pregunta y cada opcin de respuesta estn enmarcadas de tal forma que coincidan con el tipo de datos necesarios. Proveer categoras especficas para las respuestas, si se busca datos cuantitativos. Dejar las categoras abiertas y un espacio para registrar la respuesta completa, si se trata de datos cualitativos. Observaciones y apuntes en campo: Dejar un espacio para que la persona recolectadora de datos incluya notas u observaciones acerca de circunstancias no anticipadas, as como datos no verbales o espontneos, como los silencios, la incomodidad, las interrupciones; pistas informales que podran alterar el significado de los datos recolectados, incluidas las impresiones subjetivas acerca de lo adecuado de los datos. El que las personas que recolectan los datos hagan apuntes, constituye una verdadera oportunidad, y puede contribuir significativamente a la calidad de los datos.

152

Tipo de datos a utilizar

Datos cuantitativos Se pretende medir acciones, tendencias, niveles de conocimiento Para determinar cuntos, cunto y con qu frecuencia Las caractersticas de lo que se est midiendo son bien conocidas y es factible organizarlas por categoras con precisin El Equipo tiene algn conocimiento de las estadsticas bsicas o puede obtener ayuda de expertos en la materia La significancia estadstica es de inters para la evaluacin Ya se ha determinado exactamente de qu preguntas se quiere obtener respuestas, y se requiere que los datos estn completamente estandarizados Datos cualitativos Se busca informacin acerca de la explicacin que dan las personas que responden, de sus actitudes, percepciones y motivaciones Se desea entender el contexto del programa y los procesos que tuvieron lugar Se desea explicar por qu o cmo ocurren las cosas Se desconoce cmo se ve en un cierto entorno, un aspecto que se desea medir Se desea abordar brechas en la Ruta Causal y se desea explorar temas no estudiados Se desea saber algo sobre una conducta socialmente indeseable o de alguna manera estigmatizada Se requiere informacin sobre algo que se considera privado y/o indeseable o de alguna manera estigmatizado, por lo que sera mejor entrevistar a las personas y/o observarlas en un entorno social Es algo implcito y difcil de expresar, pero se ve en accin a travs de las observaciones Para contribuir a explicar datos extraos, confusos o aparentemente contradictorios Como un diagnstico de necesidades preliminar Para pedir a las personas que responden, que expliquen las respuestas que dieron a preguntas cuantificables/ cerradas Algunos de los mtodos e instrumentos ms comunes de la recoleccin de datos son los siguientes: Entrevistas a profundidad Preguntas abiertas en encuestas o entrevistas Grupos focales Tcnicas de observacin Anlisis de textos pesados o imgenes, como son programas televisivos,

CUNDO utiliza

se

CMO recolecta datos

se los

Algunos de los mtodos e instrumentos ms comunes de recoleccin de datos son los siguientes: Estadsticas del servicio Registros del programa Encuestas a nivel del programa (proveedores, encuestas de satisfaccin del/de la cliente, evaluaciones de las capacitaciones)

153

 Encuestas a nivel de poblacin (local, regional o nacional) Preguntas cerradas o datos de conteo en entrevistas o cuestionarios Observaciones de conductas, eventos o nmero de personas, que una persona observadora puede contar VENTAJAS Permiten recolectar datos congruentes y comparables, que pueden llevar a conclusiones sobre la dimensin de las diferencias entre grupos o a travs del tiempo. Es ms eficaz en cuanto al costo, recolectar y analizar datos provenientes de un nmero relativamente grande de personas que responden. Permiten proteger la privacidad de las personas que responden, mediante encuestas autoaplicadas. Permiten generalizar los hallazgos hacia poblaciones ms grandes, si se hace bien el muestreo. Se puede medir el cambio, al comparar las respuestas a preguntas idnticas antes y despus del programa, o entre grupos con diferentes niveles de exposicin al programa. Es posible realizar anlisis bsicos ante la falta de habilidades y software especializados.

artculos periodsticos, minutas de reuniones

Permiten recolectar datos congruentes y comparables, si se plantea las mismas preguntas a todas las personas relevantes. Permiten explorar dimensiones sociales y culturales. Permiten identificar trminos locales y su significado. Revelan resultados no intencionados del programa. Propician que las personas que evalan aprendan de la recoleccin de datos y exploren nuevas pistas hacia la comprensin de los significados. Permiten evaluar los objetivos del programa cuya cuantificacin se dificulta. Permiten entender y documentar por qu y cmo un programa tuvo impacto, lo cual cobra importancia en el sentido de que aporta maneras de mejorar y/o replicar el programa. Permiten documentar no slo que algo ocurre, sino tambin cmo y por qu ocurre. Se puede medir el cambio al comparar las respuestas a preguntas idnticas antes y despus del programa, o entre grupos con diferentes niveles de exposicin al programa. No requieren programas especiales de estadsticas o de otra ndole, aunque s requieren otras habilidades. No se puede generalizar los hallazgos hacia una poblacin ms grande. Los hallazgos atpicos posiblemente no queden contrarrestados por los hallazgos tpicos en un conjunto ms grande de datos. Requieren muchas habilidades de observacin y gran sensibilidad, que posiblemente requieran capacitacin especial. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por la manera en que se plantea las preguntas o las caractersticas de la persona recolectadora de datos.

DESVENTAJAS

Se limita uno a categoras predeterminadas, que pueden coincidir con la realidad o distar de ella. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por las opciones de respuesta o la manera en que se plantea las preguntas.

154

Utilizar ambos tipos de datos

A menudo es buena idea utilizar ambos tipos de datos en la misma evaluacin, ya que con enfoques cuantitativos se podr responder a las preguntas qu? y cunto?, mientras que con enfoques cualitativos se podr responder a las preguntas por qu? y cmo?. Frecuentemente, los datos cualitativos permitirn el desarrollo de mtodos cuantitativos con pertinencia local contribuirn a explicar los hallazgos cuantitativos Asimismo, con frecuencia, los datos cuantitativos darn legitimidad a los datos cualitativos demostrarn la dimensin de los hallazgos que se han descrito cualitativamente

Actividades de la dcima segunda, dcima tercera y dcima cuarta semana

1. Haga la lectura de la semana. 2. Determine el tipo de datos requeridos por indicador, as como los instrumentos necesarios. 3. Construya los instrumentos de evaluacin 4. Pruebe, valide sus instrumentos de evaluacin 5. Haga ajustes a sus instrumentos de evaluacin 6. Elabore el plan de recoleccin de datos (determine: quines participarn, en qu, cundo, dnde) 7. Elabore la gua de recoleccin de datos 8. Capacit a las personas que participarn en la recoleccin de datos 9. Desarrolle una prueba piloto de la recoleccin de datos 10. Realicen la recoleccin de datos

155

DCIMA QUINTA SEMANA Analizar e interpretar los datos

Lectura
Paso 1: Desarrollar el plan de anlisis
Fundamento Aun si se plane bien la evaluacin y se disearon excelentes instrumentos y un plan de recolec in de datos es necesario prestar mucha atencin a la planeacin del anlisis de los mismos,

Antes de comenzar a recolectar los datos Durante la recoleccin de los datos Nunca debe comenzarse la recoleccin de los datos hasta que se sepa cmo se analizarn dichos datos, y

se haya probado los instrumentos de recoleccin y el plan de anlisis. Tarea 1: Desarrollar el plan de anlisis Si tiene acceso a alguien con experiencia en el anlisis de datos, con suerte ya se habr invitado a dicha persona a formar parte del Equipo de MyE (ver el Mdulo 1), aun cuando esa persona no haya estado involucrada en todo el proceso. Si se va a entrar en contacto con una persona experta en evaluacin, no debe esperarse hasta que los datos hayan sido recolectados. El equipo debe asegurarse de planear el anlisis cuidadosamente, ya sea por s mismo o con el apoyo de una persona experta, antes de empezar la recoleccin de los datos. Hay dos tipos de interrogantes para el anlisis de datos: uno se enfoca en entender cmo se realiz el programa y el otro se enfoca en el impacto del programa. Usted se enfocar el anlisis de datos en entender o evaluar el impacto que ha tenido el cambio que se realiz en la poblacin de enfoque. Para entender el impacto del programa tambin hay que poner atencin en cmo se realiz el programa los datos de monitoreo. Revisar las interrogantes de la evaluacin y los objetivos del programa. Centrarse en las comparaciones que darn respuesta a las interrogantes de la evaluacin y que indicarn si el programa alcanz sus objetivos o no lo hizo. Las comparaciones bsicas son: Pre-programa versus a medio programa y/o post-programa Post-programa versus grupo de comparacin Dentro de cada una de las filas de la siguiente tabla, puede haber subgrupos cuya exploracin puede ser deseable, segn las dimensiones relevantes del programa; en particular, puede ser interesante determinar si ciertos grupos de personas se han beneficiado del programa ms que otros. Dentro de cada columna, tambin puede haber variaciones cuya exploracin sea necesaria. Obtuvieron mayor puntaje en la medicin de resultados inmediatos o intermedios, las personas que asistieron al programa con mayor frecuencia, o las que fueron expuestas a sus mensajes de manera ms intensa, quienes percibieron el programa ms positivamente, o las que tenan ms habilidades inicialmente?

156

Grupos de indicadores

Subgrupos

Pre-programa Elevada asistencia Poca tencia asis-

A medio programa y/o Postprograma Elevada asistencia Poca tencia asis-

Grupo de comparacin

Objetivo 1

Con cierto historial Sin historial alguno

Objetivo 2

Elevado en algn aspecto Medio en algn aspecto Bajo en algn aspecto

Objetivo 3

Elevado en algn aspecto demogrfico Bajo en algn aspecto demogrfico

Otra interrogante de la evaluacin

157

Hacer una lista de todas las comparaciones vinculadas a las interrogantes y los objetivos de la evaluacin

Verificar el tipo de datos disponible y decidir cul anlisis se puede y debe realizar

Recordar que los indicadores sern numricos o no-numricos. Se puede transformar los datos cualitativos en datos numricos o no numricos Los datos cuantitativos sern analizados como indicadores numricos

Si se est analizando indicadores no numricos: se podr describir los hallazgos en trminos de temticas y tipologas y demostrar sus hallazgos con citas y testimonios. se deber indicar cuntas fuentes de datos analizadas (ej. personas o documentos) mostraron los hallazgos que se reportan para el grupo estudiado; ej. 5 de 7 peridicos publicaron en forma negativa artculos sobre violencia domstica que denigraban o criticaban a las mujeres y defendan a los hombres.

Si se est analizando indicadores numricos, se podr calcular las diferencias en medias, medianas o porcentajes. Para elegir el tipo de anlisis que puede hacerse dependiendo del nivel de los indicadores disponibles o tipo de dato numrico.

Decidir cules comparaciones intragrupales son necesarias para abordar las interrogantes de la evaluacin Al utilizar los datos de monitoreo, se podr explorar la manera en que los diferentes aspectos del programa y la asistencia o la exposicin al programa pueden haber afectado los resultados de la evaluacin Al utilizar datos sociodemogrficos que se hayan recolectado y evidencia que utiliz para construir su Teora de Cambio (Mdulo 2) y Senda Causal (Mdulo 3), se puede explorar si hubo resultados diferentes dentro de cada grupo, ya sea por edad, sexo, estado civil, nivel econmico, historia sexual y/o reproductiva, nivel de motivacin, factores de predisposicin, etc. Hay otras comparaciones necesarias, que reflejen mejor una perspectiva de justicia social basada en los derechos. Para cada conjunto de indicadores, diligenciar la Hoja de trabajo: Planeacin del anlisis Tarea 2: Probar el plan de anlisis Por qu es tan importante? Porque mejora las herramientas de recoleccin de datos antes de que sea demasiado tarde Porque determina si se est recolectando o no toda la informacin necesaria, o si se est recolectando informacin que no ser til Porque determina si se est recolectando informacin de las fuentes correctas de datos

Tabular los datos obtenidos de la prueba (piloto) de los instrumentos de recoleccin de datos y del plan de recoleccin de datos, aplicando el mismo sistema que se utilizar para el anlisis de los datos.

Verificar si hay problemas con: o datos faltantes o instrumentos diligenciados de manera incorrecta

158

respuestas que son drsticamente diferentes a lo que se esperaba, lo cual podra indicar que las preguntas no se entendieron como se esperaba las respuestas no se codificaron correctamente se pregunt a las personas equivocadas

Se debe preguntar a quienes recolectan los datos, acerca de sus impresiones al respecto.

Puede ser necesario reformular las preguntas aclarar las instrucciones actualizar la capacitacin de quienes recolectan los datos

Al probar el plan de anlisis, marque cada elemento de informacin que se utiliza en el instrumento de recoleccin de datos. Hay elementos sin marcar despus de haber especificado el anlisis para cada objetivo? De ser as, debe revisarse si son necesarios y, en caso de serlo, determinar por qu no han sido considerados en los objetivos. Ejemplo: En un diagnstico de necesidades sobre derechos sexuales, realizado mediante entrevistas a jvenes, se les pregunt cules derechos eran los ms importantes. Una de las opciones de respuesta era: este derecho es indispensable. Despus de una prueba piloto, el Equipo encontr que muy poca gente marcaba esta opcin. Las personas entrevistadoras haban observado que muchas de las personas entrevistadas parecan confundidas con el trmino indispensable. En este caso, las preguntas haban sido probadas inicialmente con las y los educadores pares, pero no con personas similares a las que seran entrevistadas. Para cada una de las interrogantes de la evaluacin, utilizar los datos provenientes de la prueba piloto para probar las comparaciones que se planea utilizar, segn el plan de anlisis. Marcar cada elemento de informacin que se usa en el instrumento de recoleccin de datos.

Habr que preguntarse: Se cuenta con los datos necesarios?

Se tienen esos datos en la forma requerida para los anlisis que se planea realizar? Hay algunos elementos de informacin sin marcar, despus de haber especificado el anlisis para cada objetivo o interrogante de la evaluacin? De ser as, son necesarios? Debe determinarse por qu no fueron abordados en las comparaciones y corregir este error. Por el contrario, si no son necesarios, habr que eliminarlos si es posible. Ejemplo. Si existe la expectativa de que el impacto del programa ser diferente en mujeres que han tenido ms de un aborto, que entre aquellas que han tenido un aborto o ninguno, pero solamente se les pregunta si alguna vez han tenido un aborto (s vs. no), no se podr realizar la comparacin. Es ahora el momento de ajustar las opciones de preguntas y respuestas necesarias para el anlisis. Despus de considerar cmo se usar los datos, habr que eliminar los elementos que no son tiles. Realizar las modificaciones segn sea necesario. Consultar a las personas que recolectan los datos, para fundamentar los cambios en sus percepciones y observaciones. Ajustar: o los instrumentos o la manera en que los datos son recolectados y codificados o la manera en que los datos son tabulados Cuando los ajustes son lo suficientemente importantes para cambiar la forma en que la gente podra responder, excluir del anlisis las respuestas obtenidas antes de la revisin.

159

Hoja de trabajo: Planificacin del anlisis

Objetivo o interrogante de la evaluacin: Indicador: Tipo de datos Cualitativos Tipo de indicador No numrico Indicadores reportados como: categoras citas temticas tipologas Numrico porcentaje media mediana tabla cruzada Cuantitativos Numricos: nominal ordinal intervalo porcentaje media mediana tabulacin cruzada estadsticas inferenciales Comparaciones bsicas a realizar Comparaciones intragrupales

Paso 2: Asegurar un anlisis adecuado de los datos

Fundamento Aun si se planearon bien las cosas, los errores pueden infiltrarse a los anlisis, lo que posiblemente limite el valor de la evaluacin. Con el fin de evitar lo anterior, asegurar que se realice lo siguiente cuidadosamente:

Supervisar la recoleccin de datos y corregir los errores encontrados Procesar los datos conforme van llegando Realizar anlisis sencillos que den respuesta a las interrogantes de la evaluacin

Tarea 1: Supervisar la recoleccin de datos Reunirse de manera regular con las personas que estn recolectando los datos: Revisar los procedimientos de recoleccin de datos que se han desarrollado y asegurar que todo mundo los siga Solicitar a quienes recolectan los datos que describan cmo va el proceso, tratando de identificar los aspectos que puedan tener un impacto en los datos que se estn obteniendo, pero que no han sido identificados como problemas

160

Escuchar a las y los encuestadores en lo referente a los retos que hayan encontrado y cualquier conocimiento nuevo o sugerencia que hayan desarrollado; Realizar juegos de roles para poner a prueba la manera de superar los problemas que dichas personas hayan encontrado Animar a las personas que recolectan los datos, y hacerles saber que estn haciendo un buen trabajo segn el caso Identificar las diferencias que ocurren entre los resultados obtenidos de las diferentes personas que aplican las encuestas, ya que dichas diferencias podran tener un impacto en la calidad y/o la consistencia de los datos, y realizar los ajustes necesarios Revisar y depurar los datos conforme van llegando: Codificar los datos tan pronto como sean entregados Buscar errores de codificacin, cotejando contra los formularios originales de recoleccin de datos, y tambin verificando que las respuestas codificadas estn dentro del rango esperado y que tengan sentido Revisar datos faltantes y tratar de encontrar la fuente y resolver cada problema. Verificar si hay ms datos faltantes o en ciertos puntos ms que en otros o entre ciertos subgrupos de personas entrevistadas/encuestadas o en los datos provistos por ciertos/as encuestadores/as Asegurar que existan notas de campo tiles y legibles, y discutirlas con las y los encuestadores en reuniones peridicas Todas las notas y datos cualitativos deben transcribirse de inmediato o Si las personas que aplican las encuestas/entrevistas toman notas (en lugar de grabar las entrevistas), deben completar sus notas INMEDIATAMENTE o Debe constatarse que se ponga comillas antes y despus de las citas directas, y que se encierre entre corchetes o parntesis los casos de parfrasis, aun cuando sean muy parecidas a lo que se dijo. Estar alerta ante los hallazgos que pudieran sugerir la necesidad de hacer cambios en la forma de recolectar los datos, como seran o respuestas demasiado ambiguas o respuestas que no se refieren al tema que se trata de explorar o diferencias entre los sitios de recoleccin de datos, poblaciones o personas encuestadoras Analizar los datos cualitativos conforme se avanza. Proporcionar capacitacin adicional o de refuerzo en caso necesario: Si hay problemas que surgen de manera persistente Tan pronto como se detecte el problema. No esperar a que se agudicen los problemas. Hacer los ajustes urgentes: Es mejor realizar cambios, que esperar a descubrir que los hallazgos son intiles Considerar las implicaciones de dichos cambios, para el anlisis y los hallazgos Registrar cundo y cules cambios se realizan Informar sobre dichos cambios al presentar los hallazgos

161

Hoja de trabajo: Lista de verificacin para supervisar la recoleccin de datos

Fecha: Quin asisti a la reunin? Qu nmero consecutivo tiene esta reunin? Verificar que: Problemas observados Correcciones/soluciones adoptadas Procedimiento Las personas que recolectaron los datos hayan expresado libremente sus observaciones, sugerencias e inquietudes constructivas Se halla codificado los datos oportunamente y sin errores Se halla examinado y tabulado los datos con regularidad Se halla examinado las implicaciones de las respuestas inesperadas Se halla realizado chequeos peridicos de confiabilidad Fecha

Tarea 2: Procesar los datos cuidadosamente Para evitar la introduccin de errores y nuevos sesgos en los anlisis, asegurar que los datos sean manejados cuidadosamente, desde el momento en que son recolectados hasta el momento del anlisis. Los datos cualitativos y cuantitativos debern manejarse en forma diferente. Un aspecto importante de procesar los datos es crear y aplicar cdigos. Un cdigo es una regla para convertir un tem de informacin, por ejemplo, los datos que se recolectan, en otra forma. Por ejemplo, todas las mujeres pueden ser codificadas como 1 o todas las mujeres que atendieron todos los talleres pueden ser codificadas como participantes intensivos. Usted puede determinar los cdigos y todos los miembros del equipo deben aplicarlos de la misma forma. Para los datos cualitativos: Asegurar que las y los encuestadores editen y completen sus notas inmediatamente en campo o lo ms pronto posible despus de la recoleccin de datos. Ello significa que necesitarn un lugar en donde registrar de manera oportuna las notas valiosas. Transcribir las grabaciones para contar con una versin escrita de lo que se dijo en la entrevista. Asegurar que las y los encuestadores tomen notas sobre aspectos no verbales de la entrevista, tales como: gestos silencios cualquier sensacin de incomodidad expresiones faciales

162

forma de vestir, el entorno, etc.

Aun cuando una entrevista haya sido transcrita en su totalidad, puede haber situaciones en las que lo dicho no tenga sentido o su real significado no pueda apreciarse sin los aspectos no verbales. Empezar a desarrollar un enfoque al anlisis de datos para asegurar que se recolectan los datos que se necesitan. Para mayor informacin acerca de los enfoques bsicos del anlisis cualitativo. Para datos cuantitativos:

Revisar en campo, los formularios de recoleccin de datos Asegurar que estn completos y sean legibles Hacer lo anterior cuando la o el entrevistador an pueda regresar a la fuente de datos para completar o corregir lo necesario (sin violar los acuerdos de confidencialidad/anonimato). Asegurar que los datos faltantes sean codificados en forma separada Codificar los datos faltantes como 9 99 Codificar los datos no aplicables como 8 u 88 A pesar de los mejores esfuerzos, siempre habr algunos datos faltantes.

Habr que tener cuidado en no confundir los nmeros anteriores con datos reales. Hay que separarlos antes de hacer cualquier clculo. Y siempre debe reportarse el porcentaje de datos faltantes para cada indicador.

Asegurar que las reglas para codificar los datos sean muy claras Verificar que cada persona que recopila datos las conozca bien Si surgen preguntas respecto a la codificacin durante el proceso de recoleccin de datos, asegurar que todas las decisiones sean registradas, fechadas y conocidas por las personas que recolectan los datos.

Crear una hoja de trabajo para tabular los datos a mano (a menos que se utilice un programa de computadora) Crear una hoja de trabajo usando un programa como Excel o Lotus Asegurar que cada una de las celdas tenga un nmero, de tal forma que se pueda ver si algo hace falta.

Tarea 3: Usar estadsticas descriptivas para resumir las respuestas de los grupos y para realizar comparaciones que den respuesta a las interrogantes de la evaluacin Ahora se utilizar tcnicas analticas sencillas para: describir los grupos principales sobre los que se ha recolectado datos realizar las comparaciones bsicas que se haba planeado explorar las diferencias al interior de los grupos estudiados Describir los hallazgos para cada grupo. Llevar el conteo de cuntas personas dieron cada tipo de respuesta (por ejemplo, usaron o no usaron condn en la ltima relacin sexual) en cada categora significativa (por ejemplo, hombres antes y despus de participar en el programa, mujeres expuestas al programa y las que no lo estuvieron), haciendo esto a mano o utilizando una funcin del programa de hoja de clculo. Ello deber hacerse para los datos tanto cualitativos como cuantitativos. Puede utilizarse un formulario de recoleccin de datos en blanco para registrar el nmero de respuestas recibidas de cada tipo Aun en este punto, verificar los aspectos que no tengan sentido y que podran ser errores de codificacin. Verificar tambin que los conteos sean consistentes con otras respuestas. Ejemplo: Si 21 mujeres respondieron haber sido vctimas de violencia, se debe asegurar que tambin haya 21 mujeres que dieron respuestas a las preguntas sobre la violencia que haban experimentado. Si el nmero es diferente, puede

163

ser necesario regresar a las entrevistas para revisar si algo fue codificado errneamente o si se necesita codificar algunos casos como datos faltantes. Agrupar los resultados segn temas relacionados de manera lgica. o Observar cuidadosamente los datos recolectados de diferentes fuentes sobre un indicador en particular, a fin de ver de qu forma conducen o no a la misma conclusin o Revisar las respuestas recibidas sobre diferentes aspectos del mismo indicador, para ver si presentan lo mismo Presentar los hallazgos en tablas o grficas sencillas, mostrando conteos, frecuencias, promedios, medianas o porcentajes de respuesta por tema. Consejos: Cundo no debe usarse un porcentaje?

Comparar los hallazgos entre los grupos para responder a las interrogantes de la evaluacin. Con los datos cuantitativos a lo mejor se utilizarn las estadsticas descriptivas bsicas para demostrar las diferencias entre los grupos que se comparan para contestar los interrogantes de la evaluacin. Con los datos cualitativos, tambin se puede utilizar las estadsticas descriptivas a travs de convertir los datos en nmeros. Por ejemplo, se puede contar el nmero de personas que obtuvieron cierto resultado en el programa. Sin embargo, especialmente si tiene datos cualitativos, debe comparar resultados entre grupos utilizando tcnicas de anlisis cualitativo. Usar datos intragrupales para hacer comparaciones adicionales que arrojen ms luz sobre las comparaciones bsicas Existen subgrupos dentro de los grupos de comparacin bsicos, que respondan de manera diferente al programa? Para averiguar lo anterior, utilizar: datos de monitoreo informacin sociodemogrfica de las personas entrevistadas los resultados inmediatos para comprender mejor los resultados intermedios, si se cuenta con hallazgos referentes a ambos tipos de resultados, tanto inmediatos como intermedios Observar si los resultados fueron mejores cuando la gente estuvo ms expuesta al programa. Explorar si el programa fue ms o menos eficaz en diferentes tipos de personas.

Tipo de informacin Monitoreo Sociodemogrfico

Ejemplos de comparaciones intragrupales

Baja exposicin versus alta exposicin al programa Asistencia o exposicin a ciertas partes del programa y no a otras Personas con cierto historial de SDSR, como abortos previos, complicaciones del embarazo, infecciones de transmisin sexual etc. Grupos que difieren por niveles econmicos, grupos tnicos, grado de marginacin o de vulnerabilidad Personas que expresan creencias o actitudes ms negativas versus positivas, o que tienen mayor/menor grado de conocimientos Alta presin de pares para ajustarse a los roles tradicionales de gnero, versus apoyo para roles equitativos no tradicionales Comunidades con mayor versus menor nivel de tolerancia a la violencia; normas ms o menos restrictivas, etc.

Factores identificados en su Teora de Cambio (Mdulo 2) y en su entendimiento de los conceptos complejos sociales involucrados (Mdulo 3) Resultados inmediatos

Mayores o menores cambios de actitud o conocimientos al final del programa Personas que calificaron el programa positivamente, versus aquellas que lo calificaron negativamente

164

Las tabulaciones cruzadas sern un buen mtodo para presentar los datos que comparan dos elementos diferentes, para ver cmo se relacionan, por ejemplo, cuntos hombres y mujeres con alto versus bajo nivel educativo difieren en trminos del puntaje que obtienen al final de un taller.

Se recomienda que se discuta el anlisis con las personas que recolectan los datos, personal del programa y otros actores interesados cercanos.
Es conveniente presentar los hallazgos preliminares antes de preparar los grficos o transparencias finales. Utilizar formatos sencillos para presentarlos y discutirlos, primero con la gente ms estrechamente involucrada con la recoleccin de datos. Se puede escribir las estadsticas descriptivas relevantes directamente en un formulario de recoleccin de datos en blanco, a un lado de los elementos correspondientes. Las personas que recolectan los datos estarn familiarizadas con el formulario, el cual vincula claramente los hallazgos con los datos, y tiene un formato ya creado. En este punto, el propsito de la discusin es: Identificar los hallazgos que no coinciden con las observaciones de quienes tiene una relacin ms estrecha con los datos. Dichas discrepancias pueden estar sealando errores en la codificacin o el anlisis, o pueden ser hallazgos interesantes y valiosos en s mismos. Entender las comparaciones entre diferentes fuentes de datos para el mismo indicador. Cualquier discrepancia entre dichos datos debe ser examinada cuidadosamente para saber qu est sucediendo, antes de concluir que un tipo de fuente de datos es mejor que otro. En realidad, dichas discrepancias pueden conducir a un mayor conocimiento de los instrumentos, del programa o de la gente a la que se est llegando. Determinar si es necesario realizar otros anlisis para comprender los datos a fondo. Las personas que recolectaron los datos o el personal plantea preguntas que se puede contestar mediante un mayor desglose de los datos? Ejemplo: Las personas que recolectaron los datos preguntan si hay diferencias en los hallazgos entre tres diferentes sitios clnicos, puesto que han odo que el director de uno de los sitios tiene actitudes muy negativas hacia el programa. Se decide comparar los hallazgos por clnica, para ver si el aspecto de liderazgo ha tenido algn impacto en la eficacia del programa.

El tiempo dedicado a tratar de comprender lo que dicen los datos es tiempo bien empleado. Conviene realizar los anlisis adicionales que las discusiones sugieren son necesarios. Como ayuda para este proceso, diligenciar la

165

Hoja de trabajo: Lista de verificacin de las prcticas positivas de anlisis

Se ha previsto las comparaciones que se desea realizar en el plan de anlisis? probado los anlisis antes de recolectar los datos? depurado los datos para garantizar su precisin? corregido los valores invlidos cuando ha sido posible, o se han codificado como faltantes? asegurado que el anlisis se adapte a los datos que se tiene? abordado cada una de las interrogantes de la evaluacin? desglosado los datos para dar respuesta a las preguntas adicionales que tiene el Equipo, las personas que recolectaron los datos, el personal del programa y las actores interesados cercanas al mismo? entendido los datos tan a fondo como se requiere? S o No Comentarios e inquietudes

Ms all de las estadsticas descriptivas? Si tiene los recursos para realizar un anlisis estadstico ms complejo, como las estadsticas inferenciales (lo cual requiere que se planea desde el principio respecto a la seleccin y el tamao de la muestra y la construccin de la encuesta) debe consultarse con su experta en estadsticas.

Paso 3: Interpretar los hallazgos

Ahora que se cuenta con los hallazgos derivados del anlisis, se necesitar describir lo que significan. Esto ser especialmente difcil si los hallazgos son diferentes a lo que se esperaba. Habr que realizar ciertas acciones para interpretar los hallazgos, de tal forma que tengan sentido para: los actores interesados el pblico a influenciar el programa Recordar que los hallazgos no significan nada en s mismos! Su significado proviene de la realidad del programa y de la vida de las personas involucradas.

166

Tarea 1: Comprender los aspectos de los hallazgos que sean particularmente inesperados, tanto para la persona lder cmo para el resto del Equipo de MyE. Ellos pueden deberse a: Factores independientes que interfirieron en que el programa tuviera los resultados deseados. Todos los programas de SDSR ocurren en el mundo real. Ello significa que otros aspectos que no tienen que ver con el programa, tambin pueden influenciar los resultados. Ejemplo: Un programa diseado para ayudar a padres y madres de familia a que se expresen con sus hijos e hijas ms abierta y positivamente acerca de la sexualidad, puede tener resultados menos positivos que los esperados, debido a que una nueva radio novela pudo haber infundido en los padres y las madres vergenza y temor acerca de la sexualidad; o por el contrario, tuvo resultados positivos porque los grupos tanto del programa como de comparacin estuvieron expuestos a un nuevo y bien informado programa de TV que les prepar y predispuso favorablemente a hablar del sexo con sus hijos e hijas. Problemas con los datos recolectados. Las evaluaciones no son infalibles, por lo que puede concluirse que algn aspecto en la recoleccin de datos o el anlisis condujo a resultados falsos. Si este fuera el caso, se necesitara determinar qu fue lo que sali mal en la manera de recolectar los datos. Debe darse marcha atrs y verificar los formularios originales de la recoleccin de datos, discutir la situacin real de la recoleccin de datos con las personas que la realizaron, y verificar si hubo errores en la codificacin. Desde luego, si no se encuentra errores, se necesitar hacer frente al hecho de que los resultados fueron decepcionantes, y se deben utilizarlos para mejorar el programa. Que es demasiado pronto para demostrar resultados. La evaluacin y los hallazgos pueden ser prematuros. Quiz el programa ha estado operando solamente durante seis meses, y se espera encontrar cambios importantes que se vern tiempo despus. Es necesario recordar que los programas de SDSR influyen en procesos sociales complejos que requieren tiempo para cambiar. Habr que asegurar que se contine con el monitoreo del programa y que se mida los resultados inmediatos que puedan conducir a los resultados intermedios que se espera encontrar. Que no se haya especificado los resultados inmediatos correctamente y por lo tanto, no se perciba los cambios anticipados o deseados. Factores que no se tomaron en cuenta en la planeacin del programa. Si la teora del cambio o la senda causal del programa fueron deficientes, pudieron existir brechas importantes que no se tomaron en cuenta, haciendo que el programa fuera menos eficaz que lo esperado. Si se pudo recolectar alguna informacin acerca de dichas brechas, identificadas en el Mdulo 2, ser posible explicar por qu los resultados no fueron tan buenos como lo esperado. Se debe trabajar con el personal del programa para identificar lo que hace falta y realizar los cambios necesarios. La falta de eficacia del programa. Si se analiza los resultados a fondo, y estos no muestran algn beneficio derivado del programa, se deber realizar cambios significativos al programa o dejar de ejecutarlo. La historia de la salud pblica y del desarrollo est llena de ejemplos de programas que terminaron o fueron modificados justamente por esta razn. o Quiz el programa sea bueno pero constituye una intervencin demasiado pequea como para producir el resultado esperado. Por ejemplo, si se intenta combatir la homofobia, la produccin de un slo cartel o un conjunto de mensajes radiales quiz no sean suficientes para tener el efecto esperado, a pesar de que el programa est cumpliendo con sus metas, y los productos sean atractivos y culturalmente relevantes. La evaluacin tambin debe identificar cambios inmediatos e intermedios que puedan demostrar la eficacia del programa de manera gradual y parcial. Los resultados son demasiado buenos. Aunque resulte difcil hacer esto, si los resultados son mucho ms positivos que lo esperado, debe resistirse la tentacin natural de suponer que todos son debidos al programa. Hay que preguntarse si algo ms sucedi que pudo haber influenciado los resultados. Es mejor ser cauteloso que demasiado confiado, a menos que el anlisis aporte suficiente evidencia para indicar que los resultados son reales y que estn directamente relacionados con el programa.

Reunirse con los actores interesados clave Convocar pequeos grupos de discusin con las y los beneficiarios del programa. Preguntarles acerca de sus percepciones del programa y de las preguntas que se les plantearon acerca del mismo. Mostrarles los resultados encontrados y preguntarles si estn de acuerdo o en desacuerdo, as como lo que significan

167

los hallazgos. Ejemplo: El equipo de MyE ha decidido convocar a un grupo focal con algunas de las personas jvenes que participaron en un programa de educacin sexual. Los hallazgos muestran niveles de actividad sexual ms altos despus del programa. Se ha solicitado a las y los jvenes que analicen los instrumentos de la encuesta y que indiquen si hubieran contestado en forma diferente antes y despus del programa. La mayora de jvenes dijo que haba mentido en la encuesta de lnea base por temor a que la informacin fuera utilizada en su contra. En el cuestionario de evaluacin posterior al programa, fueron ms honestos/as, pues el propio programa haba creado un mayor nivel de confianza. Ciertamente, esta informacin debe reportarse para que la gente no piense que el programa fue un fracaso cuando en realidad tuvo xito en ayudar a la gente joven a sentirse ms cmoda al hablar del sexo, lo cual es una clave para tener una sexualidad ms saludable a largo plazo! Es necesario reunirse con el personal que estuvo involucrado en el programa. Preguntarles lo que significan los hallazgos para ellos. Ejemplo: El personal de un programa de educacin sexual puede haberse dado cuenta que originalmente la gente joven haba tenido temor de revelar sus experiencias sexuales al principio del programa, pero que se abri durante las discusiones participativas. El personal tambin puede haber observado que las y los jvenes respondieron el cuestionario de lnea base cuando todava estaban en la escuela primaria, pero que contestaron el cuestionario de evaluacin posterior al programa, cuando ya estaban en la secundaria, cuando el desarrollo y la exploracin sexuales forman parte normal del proceso de desarrollo, y posiblemente cuando las relaciones sexuales son ms aceptables o alentadas por los grupos de pares nuevos y mayores. Tambin es necesario reunirse con otros actores interesados de la comunidad que conocen el programa y sus participantes para comprender lo que significan los hallazgos. Es posible que dichas partes puedan explicar de una manera ms completa, el contexto de los resultados inesperados. Por ejemplo: Aunque se podra pensar que un programa de apoyo social para mujeres embarazadas de alto riesgo tuvo muy poco efecto en la frecuencia con la que las mujeres acudieron a una determinada clnica para la atencin prenatal, los actores interesados pueden saber que las mujeres fueron a una clnica diferente que haba abierto con precios muy bajos, por lo que las mujeres participantes en el programa haban acudido a mayor nmero de consultas que las del grupo sin intervencin, aunque no a la clnica esperada.

Comparar los hallazgos con los que otros grupos han obtenido Revisar la literatura existente sobre programas similares o tratar de encontrar ejemplos de casos similares a los propios o buscar hallazgos ajenos que contrasten con los propios, de tal forma que se haga necesario explicar las diferencias. En dichos casos, analizar cuidadosamente las fuentes de los datos, los instrumentos utilizados, as como las diferencias en los programas y las poblaciones atendidas Presentar los hallazgos a colegas en otras organizaciones que trabajan en reas similares o Dichas personas han observado el mismo tipo de hallazgos inesperados? Qu interpretacin dieron ellas a los hallazgos?

Tarea 2: Realizar anlisis que puedan contribuir a saber si los hallazgos son el resultado del programa. Utilizar los datos de monitoreo para saber si hubo diferentes niveles de exposicin entre los diferentes subgrupos, y cmo se relaciona ese hecho con los hallazgos. Ejemplo. Si los hallazgos de la evaluacin mostraron que las nias y los nios tenan un mayor conocimiento sobre el VIH, pero los datos de monitoreo muestran que muy pocas nias asistieron al centro juvenil, no se podr atribuir los hallazgos positivos al programa. En un grupo focal con jvenes entrevistados/as durante la evaluacin, podra encontrarse que al mismo tiempo que el programa analizado, se transmiti un nuevo programa de TV muy popular que incluy un importante componente educativo sobre el VIH, y que las nias lo estuvieron sintonizando fiel y regularmente (puesto que eran retenidas en casa por sus padres/madres despus de la escuela). Utilizar los datos de monitoreo para que revelen si ocurrieron otros factores que pudieron haber influenciado los resultados. Ejemplo. Al revisar los informes de campo, posiblemente se encuentre que las personas que recolectaron los datos observaron aumentos en la violencia domstica entre las mujeres que asistan a las clases de alfabetizacin del programa, esto como un resultado negativo inmediato no planeado. Aunque el programa ya haya incorporado dichas observaciones, y haya tratado de resolver el problema, pudo haber sido demasiado pronto para que los nuevos cursos motivacionales con los esposos de las mujeres en cuestin, tuvieran un impacto positivo en los resultados finales o intermedios.

168

Si los datos de monitoreo son insuficientes, habr que complementarlos, convocando a una reunin con el personal del programa, para discutir las formas en que consideran que los resultados puedan o no relacionarse con las caractersticas del programa. Se necesitar hacer un esfuerzo para hacerles sentir cmodos al hablar de lo que no funciona del programa. Ser mejor si se tiene preparado un conjunto de preguntas, con el fin de concentrarse en la explicacin de los hallazgos. Ello mantendr la discusin alejada de las crticas al trabajo del personal

Resumen

169

A estas alturas, se debe haber: Elaborado un plan de anlisis de datos bien probado Logrado un buen entendimiento de los tipos de anlisis que se puede realizar con los datos recolectados Comprendido la importancia de supervisar cuidadosamente la recoleccin de datos Establecido una buena manera de procesar y tabular los datos Realizado anlisis simples para dar respuesta a las interrogantes de la evaluacin Consultado con las actores interesados, con el fin de interpretar o comprender a fondo los hallazgos Aprendido an ms de lo que inicialmente se propuso aprender respecto al programa y la poblacin atendida Identificado interrogantes adicionales a las que se desear responder en evaluaciones posteriores Cmo se puede saber si una diferencia o cambio tiene significancia o representatividad estadstica? Aun si el Equipo cuenta con un analista de datos experimentado, quien usar estadsticas inferenciales para valorar si es probable que los cambios o las diferencias observadas se deban al azar o a otro factor, se necesitar determinar si los cambios o las diferencias son lo suficientemente grandes para tener significancia o representatividad. En proyectos pequeos de bajo presupuesto, es muy probable que no se pueda usar el tipo de anlisis que permita calcular la significancia estadstica. Por tanto, cmo se puede saber si los resultados son representativos? Antes de recolectar los datos o realizar los anlisis, determinar lo que se considerara significativo; realizar una lluvia de ideas con el Equipo antes de recolectarlos datos, para determinar qu magnitud de cambio o diferencia sera satisfactoria o notable; as como qu cambios son demasiado pequeos para tomar en cuenta Conviene consultar la bibliografa acerca de otros programas similares, con el fin de saber qu tipo de cambios pudieron lograr y qu podra esperarse demostrar del programa en cuestin; conviene saber qu es tpico y qu es posible, para poder comparar los resultados del programa con dichos estndares.

Consideraciones de la justicia social basada en los derechos para el anlisis tanto cuantitativo como cualitativo Enfoque basado en derechos: algunos subgrupos pueden obtener mayores o menores beneficios del programa; ej., clientes que eligen sus mtodos anticonceptivos versus clientes que aceptan los mtodos sugeridos por la o el proveedor de servicios; personas que consideran que el programa no fue respetuoso de sus derechos versus quienes consideran que s lo fue; personas que expresaron altos niveles de violacin de sus derechos versus quienes expresaron bajos niveles el requisito de la confidencialidad puede limitar el grado en que se pueda realizar comparaciones caso por caso, puesto que posiblemente estos no sean identificables si no se utiliz un identificador nico para cada uno; es importante asegurar que los grupos a comparar no difieran mucho en las pruebas pre- y post-programa, esto con el fin de poder usar ese tipo de comparacin que no se ha cotejado.

las percepciones respecto a la calidad de atencin pueden variar de manera significativa entre los diferentes subgrupos de clientes y proveedores, por lo que posiblemente se tenga que separar dichos grupos

Igualdad y equidad de gnero y empoderamiento de las mujeres: es necesario separar subgrupos de mujeres que difieren en trminos de poder y posicin, ej. casadas versus viviendo en unin versus solteras versus viudas versus divorciadas es preciso separar el anlisis de las mujeres entrevistadas/encuestas, de los hombres entrevistados/encuestados comparar las respuestas de mujeres/nias con las de hombres/nios a preguntas similares

170

Promocin de una sexualidad sana a lo largo del ciclo vital: comparar las respuestas de las nias/mujeres con las de los nios/hombres, de ser posible, en parejas vinculadas, pero de no ser as, por medio de los datos grupales; asimismo, comparar respuestas de padres/madres de familia en relacin con las de sus hijos/hijas es importante considerar las mediciones compuestas de resultados adecuados, i.e., el retrasar la iniciacin sexual adems del uso de anticonceptivos en las relaciones sexuales consensuales, constituyen resultados positivos Participacin de mujeres, comunidades y ONGs: comparar los resultados de programas que cuentan con consejos comunitarios de asesores con un buen desempeo, contra los resultados de aquellos que no funcionan bien si el objetivo general o el resultado intermedio es la participacin, habr que comparar programas que tienen mecanismos para impulsar la participacin activa de poblaciones prioritarias, con aquellos que no los tienen las mujeres y los y las jvenes participan activamente? Consideran estos grupos que se les toma en cuenta? Atencin a poblaciones marginadas y vulnerables: comparar los datos de sub-poblaciones que difieren en trminos de marginacin o vulnerabilidad valorar el grado en que las poblaciones marginadas y/o vulnerables pudieron haber tenido diferentes percepciones y niveles de aceptacin respecto al programa comparar el efecto diferenciado que tuvo el programa en grupos que varan en trminos de marginacin y vulnerabilidad, as como entre grupos que difieren en el grado en que se sintieron integrados en, o atendidos por el programa

Cundo no debe usarse un porcentaje? Los porcentajes se calculan dividiendo el numerado entre el denominador y multiplicando el resultado por 100. En el sentido ms estricto del trmino, el porcentaje significa cuntas veces sucedi algo en 100 oportunidades. Los porcentajes frecuentemente se calculan con denominadores menores de 100, pero pueden ser engaosos si el denominador es muy pequeo. Si la muestra es pequea, digamos menos de 20, debe reportarse los hallazgos como el nmero de veces que se obtuvo una respuesta, respecto al nmero total de casos analizados. Por ejemplo, 3 de 5 casos mostraron X resultado, en lugar de decir que el 60% lo hizo, esto debido a que cada caso tiene una engaosamente gran influencia en el porcentaje, cuando el denominador es pequeo. Cundo se puede usar estadsticas inferenciales? El siguiente nivel de anlisis despus de las estadsticas descriptivas, es el de las estadsticas inferenciales. Este es el tipo de anlisis que permite llegar a conclusiones acerca de la poblacin general ms amplia. Sin embargo, para poder utilizar este tipo de anlisis, es preciso: tener una muestra adecuada, algo planeado desde el principio contar con el apoyo de personas expertas tener acceso a programas de cmputo que ayuden a realizar los clculos contar con una cantidad de datos suficientemente grande (normalmente al menos 200 casos) tener indicadores numricos de intervalo sin sesgos Cundo usar la media, la mediana o la moda? Estas son formas de destacar la respuesta tpica en datos a nivel de intervalo. El uso de la media o el promedio (calculndose al sumar todas las respuestas y dividiendo este resultado entre el nmero de elementos), puede llevar a malinterpretar los datos, si estos se inclinan hacia uno lado u otro, i.e. si estn desviados estadsticamente. Por ejemplo, si se pregunta a un grupo de personas cuntas parejas sexuales tienen o han tenido, normalmente respondern con un nmero relativamente reducido, como 1 un nmero entre 5 y 10. Solamente unas cuantas personas respondern con nmeros mayores, como 50 ms. En este caso, la distribucin de las respuestas est desviada (o tiende hacia) los nmeros bajos. Si se reporta el promedio y se

171

tiene una persona que report un alto nmero de parejas, el promedio no ser tpico. En estos casos, sera mejor reportar la mediana (que es el valor en medio de un juego de datos, con la mitad de los valores por arriba, y la mitad abajo). La mediana proporciona el valor tpico aun cuando el grupo de datos est desviado hacia un lado u otro. Cuando los datos no estn desviados (cuando estn distribuidos normalmente) la media y la mediana sern esencialmente el mismo nmero. Tambin puede utilizar la moda los valores ms comunes en un juego de datos. Esto puede ser til, por ejemplo si hay una encuesta que mide el aumento de conocimiento despus de una capacitacin y se quiere saber el puntaje ms comn de los participantes.

Estadsticas descriptivas para el anlisis de indicadores numricos Se utiliza estadsticas descriptivas para explicar las caractersticas generales de un conjunto de datos. Se puede utilizar dichos mtodos con cualquiera de los indicadores numricos que se tenga, en cualquier etapa del monitoreo y la evaluacin. Las estadsticas descriptivas incluyen: frecuencias porcentajes conteos promedios (medias y medianas).

Una frecuencia representa el nmero de ocurrencias u observaciones de una variable. Por ejemplo, si la variable en cuestin es la persona que responde tiene un hijo/una hija, y se ha encontrado que de las 135 adolescentes entrevistadas que dieron respuestas vlidas, 52 tienen un hijo/una hija, se est estableciendo una frecuencia. Cuando las frecuencias relacionadas con un slo elemento se presentan en una lista, se le llama distribucin de frecuencias. Por ejemplo, si se encontr que de esas 135 adolescentes, 65 no tenan hijos/hijas, 52 tenan un hijo/una hija, 14 tenan dos hijos/hijas y 4 tenan 3 hijos/hijas, se podra presentar la distribucin de frecuencias de estas estadsticas como se muestra a continuacin.

172

Distribucin de frecuencias del nmero de hijos/hijas entre adolescentes de 13 a 19 aos de edad

Nmero de hijos/hijas 0 1 2 3 Total de Respuestas vlidas

Nmero de jvenes que dio esta respuesta 65 52 14 4 135

Porcentaje 65/135 = 48.1% 52/135 =38.5% 14/135 =10.4% 4/135 =3.0% 100

Otras estadsticas descriptivas La mediana del nmero de hijos / hijas entre jvenes de 13 y 19 aos, es un hijo / una hija.

Faltantes 13 13/165 = al 7.8% de todas las nias de 13-19 aos en la muestra, les faltaba datos para este tem

51.9% de las jvenes de 13 a 19 aos tiene al menos un hijo / una hija. La respuesta moda es cero hijos / hijas; la respuesta ms frecuente entre jvenes de 13 a 19 aos fue cero hijos / hijas

La primera columna en la distribucin de frecuencias muestra la categora de la respuesta (0 hijos/hijas, 1 hijo/hija, 2 hijos/hijas, 3 hijos/hijas). La segunda columna muestra la frecuencia; es decir, el nmero de personas cuya respuesta corresponde a cada una de esas categoras. Por ejemplo, la tabla muestra que 65 jvenes entrevistadas tienen 0 hijos/hijas, mientras que 52 de ellas reportan tener un hijo/hija. La tercera columna en la distribucin de frecuencias muestra el porcentaje del total de personas entrevistadas, que corresponde a cada una de las categoras de respuesta. Por ejemplo, del total de 135 entrevistadas, el 48.1% no tiene hijos/hijas, mientras que el 38.5% tiene un hijo/una hija. El usar un porcentaje en lugar de un conteo ayuda a estandarizar los resultados, de tal forma que se puedan comparar mejor. Los porcentajes se calculan dividiendo la frecuencia de una variable entre el nmero total de observaciones, y multiplicando el resultado por 100. Por ejemplo, las 65 adolescentes que tienen 0 hijos/hijas representan el 48.1% de la muestra: 65/135 = .481(x100) = 48.1%

173

Las estadsticas descriptivas pueden ser tiles para identificar tendencias o patrones en los datos. Por ejemplo, puede resultar inesperado que cerca de la mitad (51.9%) tiene al menos un hijo / una hija... Al profundizar en el anlisis e incluir otra variable, como sera el estado civil, se puede obtener informacin adicional. Es posible mostrar frecuencias en las relaciones que existen entre ms de una variable, esto mediante una tabulacin cruzada. Por ejemplo, con la finalidad de tener una mejor idea de quines estn teniendo hijos/hijas, quiz convenga presentar la relacin que existe entre los datos referentes al nmero de hijos/hijas, y los datos referentes al estado civil de las adolescentes. Algunos programas estadsticos o de tabulacin [como el SPSS] pueden realizar estos clculos. Con pequeas cantidades de datos, es posible contar las ocurrencias y crear este tipo de tabla manualmente. Una tabla con esta tabulacin cruzada puede presentarse como se muestra a continuacin: Porcentaje de adolescentes casadas y solteras entre 13 y 19 aos de edad por nmero de hijos/hijas

Nmero hijos/hijas 0 1 2 3 Total

de

Porcentaje de casadas 7.9 63.4 22.2 6.3 100

Porcentaje de solteras 83.3 16.7

Porcentaje total 48.1 38.5 10.4 3.0

100

100

Esta tabulacin cruzada muestra como sera de esperar, que es ms probable que las adolescentes solteras no tengan hijos/hijas. Esto se muestra con an mayor claridad al colapsar los datos en menos categoras, como Cero hijos / hijas, Uno o ms hijos / hijas

Nmero de hijos / hijas 0 1 ms Total

Porcentaje de casadas 7.9 91.9 100

Porcentaje de solteras 83.3 16.7 100

Porcentaje total 48.1 51.9 100

Esta tabulacin cruzada tambin muestra que algunas adolescentes solteras tambin tienen hijos/hijas y algunas casadas no los tiene. Si bien este caso es obvio, demuestra la utilidad de este tipo de anlisis en casos con datos menos obvios y ms sutiles. Formas de anlisis cualitativo Categoras predeterminadas si se ha determinado de antemano lo que se desea saber, se puede revisar los datos y codificarlos, utilizando categoras referentes a la presencia o ausencia de ciertos eventos, hallazgos, percepciones, etc. Normalmente, se reportan dichas categoras en trminos de la frecuencia con la que las personas o los documentos expresan una cierta actitud, percepcin, etc., o utilizan ciertas palabras o frases. Esta es la forma ms bsica y realista de anlisis para la mayora de las personas sin una amplia experiencia en el anlisis de datos cualitativos.

174

Temtica interpretativa una forma de realizar el anlisis es leyendo y releyendo documentos o transcripciones de entrevistas, con el fin de identificar temticas que aparecen como relevantes para el programa. Dichas temticas provienen de los datos y no estn predeterminadas antes de leer los datos. Muchas veces, las temticas son tiles para explorar nuevas reas y revelar obstculos o problemas que quiz no eran evidentes de antemano para quienes planificaron el programa. Citas o testimoniales constituyen la manera en la que se puede informar sobre los datos en s. Las citas directas provenientes de entrevistas son utilizadas para sustentar algn punto que se plantea respecto a la forma en que las personas entrevistadas perciben la situacin. Las citas o testimoniales deben escribirse entre comillas para distinguirlas de la parfrasis; i.e. cuando alguien condensa la comunicacin de otra persona, usando sus propias palabras, esto sin utilizar comillas. Tipologas o tipos ideales despus de revisar todos los datos, quiz convenga informar que hay uno o ms tipos de personas o experiencias relevantes para el programa. Por ejemplo, puede encontrarse que cuando las mujeres jvenes tienen una hermana de mayor edad con la que mantienen una relacin estrecha, las primeras experimentan su sexualidad de una manera ms positiva, se sienten ms felices y tienen mayor poder de decisin en sus relaciones de pareja. Los tipos ideales se generan a partir de los datos; uno no sabe de antemano que existen. Taxonoma o diagrama de significados una forma de presentar los datos sera con un diagrama de la manera en que las personas entrevistadas vinculan diferentes palabras y significados relacionados con el programa; ello aporta importantes conocimientos sobre cmo las personas realmente entienden los conceptos clave. La manera en que las personas entienden conceptos como la equidad de gnero, la salud reproductiva y la sexualidad sana, puede cambiar a lo largo del programa, por lo que este tipo de diagrama podra revelar efectos importantes. Pasos a realizar en el anlisis de datos cualitativos

Existen mltiples formas de analizar los datos cualitativos, mismas que varan en trminos de: La habilidad requerida de la persona que analiza los datos El tiempo necesario para el anlisis La profundidad y riqueza con la que se quiere comprender los significados que las personas asignan a los temas discutidos

Para desarrollar las categoras analticas: Si se cuenta con personas altamente preparadas en el anlisis de datos cualitativos, se podra hacer lo siguiente: Primero leer cada trascripcin completa sin escribir nada, simplemente como si se leyera una novela. El propsito es lograr una comprensin general de los significados expresados, y comenzar a identificar temticas que puedan surgir Enseguida, leer de nuevo y empezar a escribir cdigos descriptivos, entendindose estos como palabras que describen la esencia de lo que alguien ha dicho, a un lado de las citas o prrafos en la trascripcin Posteriormente, leer las transcripciones de nuevo, prestando particular atencin a los cdigos que se han generado, con lo que se empezar a crear las temticas ms amplias que conectan dichos cdigos Entonces se deber leer de nuevo y codificar los datos con dichas temticas ms amplias Enseguida se deber discutir las temticas con el Equipo y tratar de encontrar referencias a dichos temas en la bibliografa o en los hallazgos de programas similares. Con esto se podr refinar los cdigos. Entonces se leer las trascripciones, codificando cada mencin de las temticas identificadas Finalmente se puede dividir las trascripciones en grupos de personas, documentos o eventos que difieren en caractersticas importantes relacionadas con el programa, esto con el fin de llevar a cabo el tipo de comparaciones contemplado en el plan de anlisis

175

Si el equipo tiene menos experiencia en el anlisis cualitativo, se puede: Analizar por separado, las respuestas obtenidas de diferentes grupos de preguntas Utilizar cdigos determinados con anterioridad, directamente impulsados por, y vinculados a las interrogantes especficas de la evaluacin y los objetivos del programa; o bien, que hayan surgido de una primera lectura de las transcripciones y de la retroalimentacin proveniente de las personas entrevistadoras, respecto a los principales hallazgos observados Una vez que se haya llegado a un acuerdo sobre las categoras de anlisis: Leer las trascripciones y marcar las veces en que aparecen las categoras analticas o las temticas acordadas Enseguida, ser conveniente separar las trascripciones segn las comparaciones que se ha planeado realizar; ej., las personas que asistieron al programa versus las que no lo hicieron; entrevistas previas al programa versus entrevistas posteriores al programa Tambin ser conveniente revisar cmo pueden diferir los resultados dentro de cada grupo. Existen diferencias en la manera en que respondieron ciertos tipos de personas? Por ejemplo, los hombres jvenes que reconocieron haber golpeado a su pareja, muestran mayores cambios despus del programa, que los cambios ocurridos en los hombres jvenes que reportaron no haber tenido conductas violentas? El decidir qu tipos de comparaciones internas habr que realizar debe: o Haberse planeado con anterioridad o Derivarse de las discusiones con el personal del programa y otras actores interesados

Por qu analizar los datos cualitativos conforme se avanza? Una de las virtudes de los datos cualitativos es que permiten adquirir conocimientos sobre nuevos aspectos a explorar y nuevos significados que no se esperaban. Esta flexibilidad permite aadir elementos, revisar y reconsiderar lo que se desea preguntar, o qu eventos se desea observar. Por otra parte, se debe cuidar el punto de saturacin; ello se refiere al punto en que se cuenta con abundantes datos para explicar las variaciones en los tipos de respuestas que se estn obteniendo a las interrogantes o temticas, y en que nuevos datos no aaden soporte adicional a los hallazgos obtenidos, ni a la identificacin de nuevos hallazgos. Es posible llegar al punto de saturacin en un cierto rango de respuestas a una pregunta, o en una temtica, sin que ello ocurra en otras. Esto es aceptable: se necesita identificar los hallazgos ms importantes para que sea precisamente en ellos donde se invierta los recursos para obtener el apoyo adecuado. Qu hacer si no se cuenta con datos provenientes de una prueba piloto? Si definitivamente no hubo tiempo para realizar una prueba piloto de los instrumentos y del plan de recoleccin de datos, y/o la recoleccin de datos ya ha iniciado, se puede: tomar una pequea muestra de datos recolectados en una etapa temprana, y realizar un anlisis inicial hacer que un pequeo grupo de colegas y personas que recolectaron los datos, diligencien los instrumentos como si realmente fueran las personas entrevistadas o encuestadas. Utilizar estos datos para poner a prueba el plan de anlisis Sugerencias para la tabulacin manual de datos Crear una hoja de clculo que tenga: Una fila para cada caso, i.e. persona, documento o evento Columnas para identificar el caso, la persona que recopil los datos, la fecha, el sitio / ubicacin de la recoleccin de datos y otra informacin esencial de identificacin Una columna para cada elemento del instrumento de recoleccin de datos Si se compara el mismo caso a nivel de lnea base, media y/o final, codificar los datos subsecuentes a la lnea base, a mano derecha de los datos iniciales, en la misma fila. Idealmente, cada caso tendr todos sus datos en una sola fila.

Asimismo, asegurar que: haya un dato en cada celda. Por ejemplo, codificar datos deliberadamente como faltantes o no aplicables

176

se verifique cada dato captado para asegurar que sea correcto. Buscar respuestas improbables como por ejemplo, un 3 respecto a la edad de la primera relacin sexual voluntaria, la cual deba haber sido 23. Para hacer las correcciones, es necesario referirse a los instrumentos originales de recoleccin de datos se registre todos los datos conforme vayan llegando no debe esperarse hasta el final del proceso de recoleccin de datos

Tipo de anlisis segn el nivel de los indicadores numricos Categrico o nominal grupos de datos sin valores numricos reales. No hay que confundir lo anterior con datos identificados por nmeros, como 1 = casado/a, 2 = soltero/a, pues no son valores reales. En estos casos: o informar el porcentaje de personas que dio cada respuesta o repetir lo anterior, pero separando por subgrupos de personas entrevistadas o encuestadas o el denominador debe representar el nmero de personas con datos completos o al mismo tiempo, reportar el # de casos con datos faltantes (Si el nmero de casos con datos faltantes es similar para todos los tems, debe reportarse solamente una vez) Ordinal grupos de datos con valores numricos relativos, pero sin la misma distancia entre los diferentes valores, como sera 1 = alto, 2 = medio, 3 = bajo. En estos casos: o reportar la mediana o el valor medio (que sera el tipo de promedio a utilizar con este tipo de datos) Para calcular una mediana a mano el valor que se encuentra en medio, al ordenar los datos de menor a mayor o calcular con base en el nmero de personas con datos vlidos o tambin se puede presentar el porcentaje de respuestas en cada categora o se puede fusionar algunas categoras similares, ej. totalmente de acuerdo y de acuerdo o para realizar comparaciones de una misma persona con base en el puntaje ordinal obtenido en dos momentos diferentes (como la lnea base y la lnea final), slo se puede identificar la direccin del cambio, i.e., no hay cambio negativo, no hay cambio, cambio positivo; si se cuenta con suficientes datos, es posible desglosar los que iniciaron con valores altos o bajos, para ver si vara la cantidad o la direccin del cambio. Intervalo una serie de nmeros que tienen igual distancia o valor entre cada uno. Es necesario contar con este nivel de datos para poder calcular la significancia estadstica. En estos casos: o usar frecuencia, porcentaje, tabulacin cruzada

calcular el promedio aritmtico y la mediana para verificar que la distribucin no est desviada (esto es, que se acumulan muchos casos con respuestas muy altas o muy bajas, lo cual puede crear una imagen engaosa cuando se representan los datos solamente con la media); si la media y la mediana son similares, se puede reportar la media aritmtica o el promedio.

Actividades de la dcima cuarta semana

1. Haga la lectura de la semana. 2. Realice la interpretacin y anlisis de los datos recolectados.

3. Actualice su documento de proyecto.

177

DCIMA SEXTA SEMANA Utilizar los hallazgos

Lectura
Paso 1: Presentar los hallazgos al pblico interno
Fundamento Mediante la presentacin de los hallazgos a las personas ms cercanas al programa, se logra lo siguiente: demostrar el compromiso que se tiene de informar a quienes han apoyado el proceso de evaluacin establecer un excelente campo de pruebas para experimentar con las presentaciones que se harn o enviarn posteriormente al pblico externo Tarea 1: Compartir los hallazgos con el personal de la organizacin: Incluir al personal de todas las reas de la organizacin, aun aquellas personas que no hayan participado en la evaluacin. Las percepciones de todas estas personas son tiles y se les debe alentar a conocer lo provechoso que ha sido el proceso de evaluacin hasta el momento; en el futuro, esas percepciones continuarn siendo de gran utilidad. Realizar una reunin con el personal de toda la agencia o circular un boletn de noticias entre todas las reas de la agencia, incluyendo un resumen de los hallazgos Es importante presentar los hallazgos de tal forma que no sean percibidos como crticas a un departamento o grupo respecto a otro Destacar los xitos y logros Sealar las limitaciones y fallas que indiquen las lecciones aprendidas y las acciones que se requieren en el futuro Invitar a las personas a aportar y a entrar en la discusin, de tal forma que se asegure que realmente se les est tomando en cuenta Realizar reuniones individuales con el personal del programa, con el objeto de discutir a mayor profundidad los hallazgos con las personas directamente involucradas en los aspectos especficos del programa, mismos que el equipo ha estado evaluando. Dichas sesiones de retroalimentacin motivan al personal y le ayudan a tener un mayor aprecio por el gran trabajo que ha venido realizando Con demasiada frecuencia, se elabora los informes y se enva slo a los donantes, y las personas que realmente realizaron el trabajo nunca los ve, ni se enteran de todo lo que han logrado.

Tarea 2: Compartir los hallazgos con los actores interesados de la organizacin: Ya sea que los actores interesados hayan orientado el proceso y apoyado el programa desde un principio, o que su participacin haya sido relativamente reciente, deben conocer los hallazgos antes que el pblico externo, esto por varias razones: Es muy probable que los actores interesados estn comprometidos con, e interesados en los resultados del programa y por lo tanto, deseosos de conocerlos

178

El hacer una presentacin minuciosa y solicitar retroalimentacin y opiniones, har ms fuerte el compromiso de los actores interesados con el programa, y ser ms probable que continen apoyndolo en el futuro Si los hallazgos no son lo que se esperaba, pregunte a los actores interesados cules creen que fueron los factores que inhibieron el cambio deseado Si se presenta una controversia potencial en torno a los resultados, los actores interesados a quienes se les informa oportunamente pueden apoyar y defender la causa del programa Los actores interesados pueden contribuir a formular los argumentos, el plan de difusin (e incluso ayudar a difundirlo) y a reflexionar sobre los siguientes pasos a seguir Los actores interesados pueden convertirse en voceras del programa El Consenso de El Cairo desafa a todos los programas a que se hagan ms responsables ante las comunidades en las que trabajan. El informar primero a los actores interesados constituye un componente importante del compromiso con la rendicin de cuentas que asumen las organizaciones

Tarea 3: Compartir los hallazgos con los donantes actuales: Independientemente de que algn donante realmente haya financiado o no el proceso de MyE, es esencial presentar los hallazgos a todos los donantes actuales. Tomando en cuenta que la retroalimentacin a los donantes es una de las claves del xito del programa, no debe dudarse en presentarles los hallazgos, aun si todava no llega la fecha de presentar un informe formal sobre el donativo correspondiente. Recordar que los donantes actuales pueden ser los ms entusiastas promotores del programa por haber invertido en ello.. Si se est presentando un informe parcial o final, asegurar que se entregue oportunamente, de tal forma que los donantes puedan aprovecharlo. Oportunamente significa, en este caso, que el informe sea presentado en el plazo sugerido originalmente por los donantes, y antes de que tomen decisiones sobre las subvenciones para el prximo ciclo de financiamiento. Usar el formato proporcionado por el donante. Sin embargo, si no se proporcion formato alguno, es recomendable que el informe sea corto, idealmente de 10 a 15 pginas, incluyendo: qu es lo que se esperaba obtener del programa? qu se logr? incluyendo: o acuerdos de colaboracin establecidos, fortalecidos o debilitados o retos enfrentados durante la ejecucin y cmo se afrontaron o conclusiones basadas en los hallazgos o implicaciones y/o recomendaciones para: la agencia el tema que abordado el campo del trabajo o los siguientes pasos con base en los hallazgos, incluyendo cmo se puede ajustar el programa (Paso 2). El hacer un excelente trabajo de monitoreo y evaluacin no garantiza que se lograr la continuidad del financiamiento. Los donantes cambian sus prioridades y tambin enfrentan cambios en la cantidad de fondos disponible. Sin embargo, el tener buenos datos de evaluacin colocar a la agencia en una mejor posicin para poder sustentar los argumentos de un apoyo continuo. Si se planea solicitar al donante que contine o aumente el financiamiento, es necesario explicarle lo siguiente claramente: Lo que se tiene pensado para la(s) siguiente(s) etapa(s) del proyecto Por qu el apoyo de este donante ha tenido una importancia particular Algunos donantes desearn continuar financiando el trabajo actual, pero otros probablemente se interesen en llevar el trabajo actual un paso ms hacia adelante.

179

En este caso, convendr conversar acerca de dnde caben las nuevas ideas del programa en el contexto del campo de trabajo en general; y cmo la agencia puede contribuir a dicho campo, al ampliar el enfoque actual, aplicando enfoques novedosos o promoviendo que el enfoque actual sea adoptado ms ampliamente. Debe pensarse en las razones por las que un donante estara interesado en seguir impulsando los objetivos generales de la agencia, y en las razones que sta tendra para seguir impulsando los del donante o Habr que estar preparados para negociar con el donante, ya que ste puede plantear ideas nuevas que desea poner a prueba a travs de la agencia, o puede proponer elementos programticos que le gustara que fueran incorporados. Por su parte, la agencia tambin puede tener ideas nuevas respaldadas con evidencia, con las que impresionar positivamente al donante. Si los hallazgos son promisorios, puede ocurrir que se desee usarlos para convencer al donante de que contribuya fondos destinados a una evaluacin ms slida y una posible multiplicacin del programa. o

Debe recordarse que la relacin entre la agencia y el donante es un acuerdo de colaboracin; y que el donante tambin tiene necesidades de informacin que la agencia puede satisfacer, as como l satisface las necesidades de financiamiento de la agencia.

Paso 2: Mejorar el programa

Fundamento La funcin ms importante de los hallazgos es mejorar el programa o desarrollar nuevos programas. Los hallazgos pueden:

indicar si el programa est funcionando a toda su capacidad si se est logrando los resultados deseados

Un anlisis minucioso de los hallazgos remitir al diagnstico de necesidades, a un proceso de autorreflexin organizacional y al mejoramiento del programa.

Tarea 1: Refljese en los abordajes de la justicia social basada en los derechos y pregunte qu se aprendi en cuanto a cada uno respecto al programa Qu se ha aprendido acerca de: la proteccin y el cumplimiento de los derechos de las personas, as como los obstculos que deben superarse las maneras de satisfacer las necesidades de salud sexual y reproductiva de las personas, en sus propios trminos y desde una perspectiva holstica las estrategias que funcionaron para modificar la dinmica de poder de gnero, y qu obstculos todava quedan por superar los retos involucrados en promover un enfoque a la sexualidad sana con los grupos de edad con los que se trabaja, y la manera de vencer dichos retos la importancia de la contribucin de los grupos de mujeres y otros grupos de la comunidad, al contenido y la calidad del programa, las estrategias eficaces para trabajar con grupos marginados y/o vulnerables. De qu forma influy este trabajo en otras actividades que realiza la agencia y en los otros grupos con los que trabaja?

180

Tarea 2: Planear cmo hacer modificaciones al programa: Es necesario que el Equipo de MyE y el de planeacin del programa diligencien de manera conjunta la Hoja de trabajo para la mejora del programa, la cual servir de gua para realizar el tipo de cambios que ayudar a que el programa sea an ms eficaz.

Hoja de Trabajo para la Mejora del Programa

Ciclo del programa Comprender el problema relacionado con la SDSR Interrogantes De qu manera alteran los hallazgos la comprensin que se tiene del problema? Hay algunos aspectos de los PPT a los que se deba dar ms atencin, como seran las normas de gnero, la sexualidad y los derechos humanos? Hay cambios que deben aplicarse a la Ruta Causal establecida?

Acciones Discutir estas nuevas formas de comprender el problema con los equipos de planificacin del programa

Construir Causal Definir los generales

una

Ruta

Completar una Ruta Causal nueva o modificada, con base en los hallazgos del MyE Elegir un nuevo objetivo general Modificar la forma en que el actual objetivo general est redactado Reafirmar el objetivo general

objetivos

El objetivo general sigue siendo el mismo? Se le entiende de manera diferente? Hay nuevos objetivos generales que hayan sido revelados por los hallazgos?

Definir los especficos

objetivos

Hay algunos cambios en la forma en que se ha redactado los objetivos especficos, o respecto a cules objetivos deben ser abordados? Hay factores que estn operando a otros niveles que interfieren con los logros? Cules son las implicaciones de los hallazgos y de la nueva forma de comprender el problema relacionado con la organizacin, para mantener o modificar las actividades del programa? Se necesita aumentar, disminuir, cambiar o interrumpir algo de lo que el programa est realizando? Est dirigido el programa a la poblacin apropiada? Sus necesidades han sido satisfechas? Debe el programa ampliar su alcance? Debe el programa cambiar el contenido de su componente de capacitacin o sus mensajes? Debe el programa abordar temas a otros niveles? Hubo sesgos en los insumos, que influenciaron los resultados y que requirieron cambios? Necesita el programa ajustar su logstica; ej. horario, lugares de ejecucin, nmero y frecuencia de los eventos?

Identificar nuevos resultados; o bien, modificar o reafirmar los que se espera alcanzar Redactar objetivos especficos que coincidan con cada resultado esperado Revisar todos los componentes de las actividades: poblacin atendida y alcanzada por el programa contenido de las intervenciones, formas de colaboracin con otras organizaciones para complementar las actividades formas de ampliar las actividades o de dirigirlas ms eficazmente a los grupos que ms las necesitan

Actividades

Insumos

Retomar las necesidades de capacitacin del personal

181

MyE

Apoyo de la agencia

Qu nuevos recursos sern necesarios para llevar a cabo las modificaciones al programa? Qu representan los resultados para el personal, en trminos de fortalecimiento de capacidades y trabajo en equipo? Qu se hara diferente en el proceso de MyE la prxima vez? Qu lecciones se aprendieron acerca de la incorporacin del MyE en programas en marcha o desde el inicio de los nuevos? Necesita la organizacin reorganizarse para alcanzar mejor los objetivos del programa? Existen tensiones debido a aspectos clave del programa, que necesitan ser resueltas?

Revisar la manera en que se los recursos fueron asignados y gastados, corregir problemas y eliminar obstculos

Planear el MyE desde el inicio de todos los programas nuevos y modificados

Ir a La agencia pone en prctica su discurso? (Mdulo 2)

Alentar la discusin interna sobre las maneras de superar los problemas detectados Nuevos donantes

Los hallazgos han abierto nuevas reas que podran interesar a los actuales donantes del programa y a otros nuevos? De qu forma pueden sus hallazgos demostrar los xitos del programa y las nuevas direcciones que deber tomar?

Incorporar los hallazgos a las herramientas de mercadeo dirigidas a los donantes, a los informes a donantes y a las nuevas propuestas

Habr que considerar cada una de las siguientes reas:

Conocimientos nuevos que se hayan adquirido acerca de la comprensin del problema relacionado con la SDSR que aborda el programa y su teora de cambio Modificaciones en la Senda causal del programa Revaloracin del objetivo u objetivos generales del programa Revaloracin de los cambios necesarios, i.e. resultados inmediatos e intermedios, antes de que el programa pueda alcanzar los resultados finales que busca Ajustes en las actividades y en la poblacin atendida Decisiones estratgicas sobre la manera en que el programa o las modificaciones al mismo se ejecutan Diagnstico de los insumos o entradas Implicaciones para las relaciones pblicas Implicaciones para la agencia en su conjunto Implicaciones relacionadas con la bsqueda de nuevos donantes

Realizar reuniones de manera regular, con el fin de trabajar este proceso y establecer planes de accin especficos que tomen en cuenta todos los hallazgos y recomendaciones. Si se trabaj con los actores interesados de la comunidad, habr que informar a la comunidad sobre los cambios que se estn implementando. Esto ayudar a fomentar: la buena voluntad hacia la organizacin las alianzas a largo plazo con la comunidad Tarea 3: Utilizar los hallazgos para disear un programa nuevo: Si la agencia ha decidido disear un programa nuevo que buscar los mismos objetivos generales u otros similares, los hallazgos del MyE sern insumos muy valiosos. Habr que utilizarlo desde el principio, con el fin de:

182

orientar la comprensin del problema relacionado con la SDSR y ayudar a crear una Senda causal completa disear nuevas actividades emprender cambios dentro de la agencia trabajar de manera ms productiva con la comunidad

Planear el nuevo proceso de MyE desde el principio. Cuando el programa todava est en la etapa de planeacin, habr que seleccionar el Equipo de MyE para que trabaje con quienes planean el programa, y recorran juntos todos los PASOS desde el principio. Esta vez el proceso ser ms fcil, pero a la larga se cosechar an mayores beneficios por haber iniciado desde el principio del ciclo del programa.

Tarea 4: Utilizar los hallazgos para identificar nuevos donantes: Ya sea que el programa actual se modifique o no, o que se disee uno nuevo, probablemente se querr identificar nuevos donantes que apoyen el trabajo de la agencia. Aunque los hallazgos del MyE no garanticen por s mismos que se encontrar financiamientos nuevos, ellos proporcionan una base mucho ms slida desde la cual se podr buscar apoyos nuevos. Buscar donantes que apoyan temas ms amplios, como el empoderamiento de las mujeres, la promocin de la equidad de gnero, los derechos humanos, la justicia social, etc. Todos estos temas son pertinentes a la labor del programa, por lo que debe ser posible poner de relieve las conexiones que muestran cmo el trabajo que se propone encaja con lo que el donante desea lograr. Utilizar historias y testimoniales que involucren al donante en el tema del programa y/o le demuestren la importancia del trabajo que se est realizando. Mostrar la manera en que el programa encaja en el panorama ms amplio de esfuerzos encaminados a alcanzar el objetivo final, mediante la descripcin, en trminos sencillos, de la lgica de la Senda causal. Explicar de manera concisa lo que el programa ha logrado en el pasado. Puede elaborarse una lista punteada de logros relevantes para entregar al donante. Justificar las direcciones futuras, al describir los hallazgos, las conclusiones y recomendaciones que demuestran la necesidad del enfoque propuesto. Describir la manera en que la agencia se ha beneficiado del proceso de MyE y del programa mismo, as como los cambios que ha implementado para evitar problemas, cerrar brechas y ejecutar los programas de una manera mejor. Destacar la disposicin de modificar el trabajo con base en los datos: ello demuestra el compromiso con la bsqueda de un impacto real; as como con el propsito de aprender y crecer. Ofrecer al donante razones para confiar en que el programa tendr xito, y que los esfuerzos permanentes de MyE continuarn orientando el buen trabajo para hacerlo aun mejor.

Paso 3: Presentar los hallazgos al pblico externo

Fundamento Usar los hallazgos para cambiar el mundo! Hay que compartir los hallazgos del MyE con diversos pblicos externos, fuera de los donantes y actores interesados del propio programa, de tal forma que contribuyan al avance de la agenda del programa

183

Usar los hallazgos para abogar por el programa con el pblico clave a influenciar. Identificar las personas o los grupos que se desea influenciar, como seran funcionarios de gobierno y personas que formulan las polticas, la prensa, lderes comunitarios. Hay algunos polticos que recientemente se hayan pronunciado de tal forma que sugiere que se interesan en el tipo de trabajo que realiza el programa? Cmo se puede cultivar inters en el trabajo del programa, entre personas que se desea interesar y en las que se desea influir? Acercarse a legisladores/as y otros/otras tomadores/as de decisiones pblicas o Es conveniente informar a las figuras polticas relevantes antes de presentar el informe al pblico. Esto es especialmente importante si los hallazgos de la evaluacin ponen en evidencia que habr necesidad de cambios en las polticas o Quienes formulan las polticas o funcionarios de las agencias tambin pueden estar en condiciones de ofrecer una respuesta pblica a los hallazgos de la evaluacin. Por ejemplo, si la evaluacin demuestra que el programa de prevencin de VIH con nios de la calle, basado en pares comunitarios, es altamente eficaz pero carece de fondos suficientes, las agencias de servicios en la zona quiz deseen informar a la gente que planean aumentar el financiamiento para el proyecto en el siguiente ciclo presupuestal. Acercarse a los medios y periodistas o Al informar a los medios, se les estar habilitando para que puedan defender el programa de una manera ms completa o Es necesario proporcionar un gancho para que los y las periodistas vean la importancia de los hallazgos del programa. Un gancho es una historia, un evento actual, un tema bajo investigacin, un tema que preocupa e interesa a la gente o Presentar los hallazgos de manera sencilla y clara; no perder el tiempo describiendo los detalles de la metodologa de MyE. Hay que esforzarse por dar a las y los periodistas el rostro humano y el significado de los hallazgos o Presentar los hallazgos en eventos pblicos como conferencias o ruedas de prensa, as como en conferencias acadmicas o polticas o Si se ha producido un informe o video acerca del programa, puede realizarse un evento pblico para presentarlo a los medios y a los y las polticas locales o Si el programa est abriendo una nueva oficina, o amplindose a unas nuevas instalaciones, o si se est iniciando una nueva campaa, se puede presentar los hallazgos de la evaluacin en el lanzamiento de ese nuevo trabajo o acontecimiento o Siempre debe proporcionarse los hallazgos clave por escrito, para que las y los periodistas pueden llevarse la informacin precisa o Si es posible y apropiado, tratar de incluir testimoniales e historias; haciendo que las y los beneficiarios presenten sus propias historias en cualquier evento pblico que se est realizando Vincularse con redes de abogaca que estn promoviendo los mismos temas que preocupan a la agencia, como la igualdad de gnero y los derechos en el rea de la salud. Es posible que al colaborar con otros programas afines, se pueda construir un argumento ms slido, con base en los hallazgos conjuntos.

Usar los hallazgos para informar a la comunidad en general sobre el programa Incluir hallazgos y testimoniales clave en los materiales promocionales Realizar reuniones pblicas en donde se presente el programa y se describa sus ventajas y resultados positivos Telefonear a los programas de radio y proporcionar informacin sobre los hallazgos y testimoniales

Usar los hallazgos para construir y fortalecer el movimiento de las ONGs La organizacin que conduce el programa no est sola, y sus hallazgos podran ser de gran inters para otras organizaciones.. Compartir prcticas promisorias: Probablemente muchas otras organizaciones en la localidad, estado o pas, estarn realizando un trabajo similar y estarn deseosas de aprovechar la experiencia de la organizacin que conduce el programa. Podra entonces realizarse seminarios o reuniones con la participacin

184

de las diferentes agencias, en las cuales los grupos podran compartir sus hallazgos e identificar lecciones aprendidas en comn; incluso cada agencia podra hacer referencia al trabajo de las otras en sus respectivos informes. El compartir las buenas prcticas ayuda a mejorar los programas en el campo de trabajo, al introducirlos a mtodos y conocimientos que han sido refinados a travs de la experiencia. Todo ello contribuye al ahorro de tiempo y recursos que pueden dedicarse a la innovacin de nuevos enfoques e ideas. Realizar un cambio en la atencin que se presta a un tema: Las actividades de difusin aumentan la conciencia que se tiene sobre lo que los resultados dicen acerca de la comunidad o el grupo meta. Si los resultados revelan que, a pesar de sus intervenciones, las y los clientes en la clnica de planificacin familiar todava consideran que los y las proveedores de servicios de salud no son sensibles a sus necesidades, el llevar esta informacin al lugar y al nivel adecuados ser crtico para presionar, con el fin de que dichos/as proveedores avancen en su sensibilizacin. Fomentar las relaciones de colaboracin entre las ONGs locales: El compartir informacin tambin crea un ambiente que estimula la resolucin colectiva de problemas y el cambio sostenido a largo plazo. La difusin de actividades que arrojan luz sobre un tema importante puede ayudar a revitalizar o construir una nueva red o grupos comprometidos con la atencin al problema en cuestin. Los grupos interesados, aun aquellos que nunca se haban involucrado en los temas compartidos, pueden ver la conexin con su propio trabajo, y se puede formar grupos nuevos que crucen las lneas tradicionales de colaboracin. Movilizar el apoyo comunitario para lograr intervenciones eficaces: Construir una base de partidarios para el trabajo, conformado por colegas, ser muy til si se llegara a aplicar presin a quienes formulan las polticas para que promuevan el cambio. Las organizaciones afines tienen sus propias bases de membresa que pueden ofrecer como red para diseminar lo que revelaron los resultados de la evaluacin y cmo pueden estos ayudar a provocar el cambio que se desea ver. Usar los hallazgos para construir una base de conocimiento en torno a temas de las ONGs

Con demasiada frecuencia los programas de las ONGS llevan a cabo procesos de MyE y piensan que el nico uso de sus resultados es local. Asimismo, puede existir la preocupacin de que los procesos de MyE no fueron lo suficientemente rigurosos como para ser presentados fuera del crculo local. Con al presente metodologa, se invita a pensar en la posibilidad de llegar todava ms lejos y tratar de presentar los hallazgos del programa a nivel nacional e internacional. Para ello se recomienda lo siguiente: Identificar espacios apropiados para la difusin, como son las conferencias profesionales/acadmicas, talleres y revistas que se enfocan a programas y a la evaluacin de los mismos. Invitar a colegas de las universidades locales o de otras agencias, que ayudaron con el proceso de MyE, para que participen en la presentacin de los resultados en dichos espacios. Vincular los hallazgos a temas crticos relacionados con la equidad de gnero, los derechos sexuales, el empoderamiento de las mujeres, los derechos humanos, etc., y tratar de presentarlos en sesiones donde se podr llegar a acuerdos respecto a dichos temas. Establecer contacto con otros programas similares y relacionar los resultados propios con esos programas. Quiz se pueda unir los resultados o presentarlos conjuntamente a manera de panel, sustentando de manera ms slida lo que el programa ha encontrado. Concentrarse en los hallazgos ms interesantes e ilustrarlos con historias y testimoniales. Presentar con franqueza las limitaciones metodolgicas del trabajo propio, pero tambin mostrar satisfaccin con los hallazgos obtenidos. Todas las evaluaciones, aun las mejor sustentadas, tienen algunas limitaciones; y todos los hallazgos son tiles cuando se unen a otros hallazgos sobre temas y experiencias similares. Proporcionar descripciones cuidadosas de la metodologa, quiz en un escrito por separado, para que las y los colegas puedan revisarla en detalle.

185

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) tencial(es) pblico

podel

Quin(es) es/son? (Nombre(s))

Dles un nmero en orden de importancia (1,2,3, etc.)

Qu preguntas quieren contestar?

Qu tipo de informacin necesitan o prefieren? (Nmeros? Historias?)

Beneficiarios Lderes comunitarios Polticos

Otros de la comunidad

Financiador(es)

Periodistas y lderes de opinin

Miembros de su junta directiva Personal de la organizacin fuera del programa evaluado Otros

6. Identifique quin necesita enterarse de sus hallazgos. 7. Cun importantes son? El nmero 1 corresponde al pblico principal de los hallazgos de su evaluacin. 8. Sea claro sobre qu quiere ud. que se haga con los hallazgos. 9. D prioridad a los miembros del pblico que son ms importantes para su programa en este momento. 10. Identifique las preguntas que tienen los miembros prioritarios. 11. Identifique qu tipo de informacin sera ms til y convincente para ellos.

186

Actividades de la dcima sexta semana

1. Haga la lectura de la semana. 2. Realice la socializacin de sus hallazgos (resultados de la evaluacin) 3. Prepare el informe de la evaluacin 4. Actualice su documento de proyecto

187

Referencias bibliogrficas
1. Aguilar Idez, M. J. y E. Ander Egg. 1,985. Diagnstico Social. Argentina: Lumen. 2. Cohen Ernesto, Martnez Rodrigo. Formulacin, monitoreo y evaluacin de proyectos sociales. CEPAL. 3. INDES. Banco Mundial. Material curso monitoreo y evaluacin. 2,008. 4. Stockmann Reinhard. Evaluacin y desarrollo de la calidad. Costa Rica. 2,006. 5. Vsquez, Enrique Arambur, Carlos E. Figueroa, Carlos. Gerencia Social. Diseo, Monitoreo y Evaluacin de Proyectos Sociales. Lima, Per. 2006.

Webgrafa
http://www.unfpa.org/monitoring/toolkit.htm

http://www.siempro.gov.ar/ http://www.paho.org/spanish/hpp/hpf/adol/monitoreo.htm http://www.observacoop.org.mx/docs/Dec2009/Dec2009-0027.pdf http://www.impactalliance.org/ http://www.comminit.com/es/node/309740 http://www.stepstoolkit.org/

188

ANEXO
DOCUMENTO DE PROYECTO Explicacin general de la dinmica de actividades: Durante el transcurso de este Curso el estudiante ir dando forma a un texto, que denominaremos Documento de Proyecto. En l habr de registrar el desarrollo de las actividades de la gua de estudio, desde la perspectiva que proponen los contenidos del curso: una visin que repare en la naturaleza dinmica y proceso del diagnstico social como herramienta de intervencin. Durante ese recorrido en una primera instancia asimilar los fundamentos epistemolgicos del diagnstico social, para finalmente rastrear el pasado y estado actual de la comunidad en que vive, considerando las diferentes cuestiones sociales que arrojan el presente sobre situaciones problemticas, contextos no deseados que nuestras sociedades buscan resolver mediante intervenciones de carcter social. Un Documento de Proyecto as conformado ir emergiendo al ritmo de los temas y ejercicios que se han pautado para el curso. Por ello, cada parte de l ser el fruto de las actividades previstas, tanto de aquellas de carcter individual como de las que se proponen suscitar aportes a la labor de sus colegas. El Documento de Proyecto, ser construido utilizando WORD, considerando los lineamientos para construir un documento de calidad, el cual puede descargarse de la pgina http://www.scribd.com/doc/15603417/Como-Construir-Un-Documento-Con-Calidad Cada estudiante ser responsable primario de la elaboracin de su Documento de Proyecto, a la vez que asumir el rol de colaborador en la preparacin de los Documentos de Proyecto de aquellos compaeros en los que encuentre afinidad temtica o inters. Al finalizar el curso, entonces, fruto de los esfuerzos individuales y de sus compaeros, cada estudiante partir de estos dominios llevndose consigo un producto tal vez original, cuyo mrito habr de encontrarse en la solidez con que a la luz de los temas estudiados estructure reflexiones sobre el devenir de la comunidad en la que arraiga su vida.

189

Al finalizar el curso, durante la semana diecinueve, el estudiante redactar una carta a su docente, en la que consignar las expectativas al inicio del curso, los aprendizajes desarrollados, facilitantes y limitantes del aprendizaje. Al final la carta incluir una autoevaluacin de la participacin del estudiante.

190