Estrategias para la evaluacion de resultados e impactos La evaluaci6n de resultados se ident 1 el significado convencional de la eva- luaci6n, como medicién del éxito di rvencién, generalmente entendida co- mo eficacia o logro de los objetivos perseguidos. Esta fase de evaluacién se inicia cuando ya son evidentes la presencia de resultados suficientemente consolidados, aunque pueden realizarse previamente evaluaciones intermedias para ayudar a orientar la intervencién, y evaluaciones posteriores para determinar la permanen- cia de los efectos en el tiempo. Es necesario distinguir entre un conjunto diverso de resultados posibles de la intervenci6n, mas alld de los objetivos perseguidos, para incluir todo tipo de efec- tos, deseados 0 no, positivos 0 no, directos o difusos, etc. Quizé la distincion mas importante se refiera a la aparicién de impactos de segundo orden que se originan enc jf Como consecuencia de la interaccién entre Contexto social de Taint los resultados iniciales y los factores 0 condiciones presentes en el propio medio social. El problema central de la evaluacién de resultados se relaciona con la elec- cién de los criterios de valor que servirén como referencia para determinar el <éxtto-de Te intervencion, Tradicionalmente se ha preferido un planteamiento ex- perimental, segin el cual el éxito se determina por comparacién con lo que suce- deria si el programa no fuese aplicado, 0 comparando distintas variaciones del Programa para determinar cudl de ellas obtendria mejores resultados. La elec- cin de los criterios de valor introduce una interesante discusién que intenta di rman sobre el estado-de una~ ferenciar entre indicadores scriptivos, que infor n SO | est cuestién, pero nd permiten un juicio directo, y los auténticos criterios de valo directamente relacionados con lo que Tos grupos implicados desean-et-relaci6n con el programa.Flan ne Yr SO phroohn hog i ete wy ah 120 | Parte 1: Evaluacién sistemdtica de los programas de Intervencién sociai Conceptos clave Evaluacion de resultado Valoracién de los efectos aparecidos como consecuencia del programa, inclu- yendo efectos de todo tipo, perse- 1 guidos o no, positivos o negativos, ) — directos 0 indirectos, etc. Efectos e impactos. Resultados dif - rentes del programa que se distin- guen por el momento y el cardcter planificado de su aparicién, El pro- grama persigue ciertos efectos con- cretos que, una vez aparecidos y en * _ interaccién con el contexto social, + generarén ciertos impactos 0 efec- tos de segundo orden, S Teoria causal de los efectos, Conjunto de hipétesis y relaciones causales que explican la aparicién de ciertos im- Ppactos en el contexto social como consecuencia de la interaccién entre los efectos del programa y el propio medio en que ocurren. Efectividad, eficacia y eficiencia, Crite- rios alternativos para valorar el éxi- to de un programa segtin logre, res- pectivamente, un gran numero de resultados, los resultados Persegui- dos o los logre con un coste mfnimo, Sociedad que experimenta. Concepto entre el terreno cientifico y el poli- 6.1, La evaluacién de res de intervencién social Evaluacién experimental, \, ultados e im tico, que sirvié para animar ficar un gran ndmeto de inj) puiblicas en los afos sesenta we lando valores tecnocraticos 4 gresistas, Pr 6 Odo de evaluaciOn caracterizadg or plantear la intervencién como un experimento completo, valoray. do su éxito por comparacién en. tre los resultados de las distintas condiciones del “tratamiento”, Logica de Scriven. Paradigma de |, evaluacién entendida como juicio, supone que todo objeto puede ser juzgado (evaluado) escogiendo un conjunto de criterios de valor rele- vantes que sirven para medir el comportamiento del objeto y emi- tir un juicio sintético final de cali- dad. Criterios de valor. Como un concepto amplio, los valores de los grupos implicados en la intervencién se utilizan como referente para deter- minar su mérito.o valia. Indicadores. Variables descriptivas, 10 evaluativas, que se utilizan para analizar tendencias en la evoluciéa de un problema social. pactos dentro del proceso Esta fe el as i ee Vez que ha transcurrido un tiempo suficiente para qu Producido efectos mensurables, El objetivo principal es la co™ |Capitulo 6: Estrategias para la evaluacién de resultados e impactos | 121 probacién empfrica de la teoria causal del programa, es decir, la determinacién de si las estrategias que se han puesto en accién han sido las adecuadas para dar solu- cién al problema o necesidad existente, La diferencia entre los resultados -previstS y otro tipo de resultados inesperados o de impactos secundarios justifica la defini- cién de dos momentos évaluativos distintos;-aumnque-estrechamente Telictonados. Cada uno de ellos cumple una funcién distinta y requiere la puesta en préctica de actividades evaluativas y métodos Ge investigacion diferentes. El andlisis de todo tipo de efectos no previstos en_el plan inicial permite ampliar la teoria causatdel programa y aumentar el conocimiento sobre las consecuencias posifivas y negati- vas de la intervenci6n. Siguiendo el esquema de Rebolloso y cols. (2003; véase fi- gura 6.1), tendriamos los siguientes elementos: a) Intervencién secundaria y terciaria. La intervencién secundaria se realiza cuando se acttia una vez aparecido el problema, para retardar sus efectos y evitar que se desarrolle; es el momento propio de la aplicacién de un pro- grama frente al problema. La intervenci6n terciaria se realiza cuando se ac- tia para impedir que el problema se cronifique y aparezcan secuelas, inclu- yendo los efectos negativos inesperados de la propia intervencién. Por ejemplo, frente al problema del maltrato doméstico, una resolucién judicial de alejamiento del maltratador intenta detener el problema de manera in- mediata (intervencién primaria), un programa de asistencia y apoyo para la independencia econdmica de la mujer intenta eliminar el problema definiti- vamente (intervencién secundaria), mientras que un programa de apoyo psicolégico a los hijos intenta remediar un efecto negativo de la desestruc- turaci6n familiar que la propia independencia de las madres contribuye a crear (intervenci6n terciaria). 6) Teorias causales. Como vimos en el capitulo anterior, la teorfa causal del programa pone en relacién las actividades que han sido planificadas en la intervenci6n con los resultados esperados, los cuales coinciden en parte con los objetivos que se trazaron durante la fase de _planificacién. La teo- rfa causal ideralos resultados farce Yel programa «como una i ndiente que tiene a : vos efectos. de segundo orden (impactos) sobre la poblacién destinataria y su entorno social. En linea con la posicién multicausal que aqui se defiende para acercarse mejor a la complejidad de la realidad social, la nueva teoria de los efectos incluye el andlisis de resultados miltiples, sin olvidar que pue- den también interactuar entre ellos. ©) Efectos ¢ impactos. Es habitual que se traten como sindnimos, aunque es inte- \ Tesante distinguirlos. Ambas son variables de resultado, siendo.consecuencia de miltiples factores qué entran en juego én la realidad social del problema y . de la intervencién. La diferencia basica radica en el momento de su aparicién y en el cardcter planificado del resultado en cuestion. En el primer caso esta- mos tratando con los resultados directos de la intervencién, coincidentes en Lipcles director oboe yoga | 2D, A inapatie) a anpllO lp gq: 5is ic yramas de intervencién soci) 122 | Parte I: Evaluacién sistemética de los prog jeti finidos en el plan de trabajo, aungue 4, gran medida con los Bee sets no esperados (positivos y vepain ‘i i spline tratamos con una amplia variedad de Tesultados,» Ry alco. eee planiicados, que son consecuencia de la nueva situacign me aplicaci6n del programa. Tee rarer y evaluacién de impacto. En general, la era. + am de resultados pretende determinar sise han aleanzado ls efeciog ge seados y no otros, y si los resultados se pueden atribuit al pr i un grado de certidumbre razonable. La evaluacién de impacto Bretende descubrir todo tipo de efectos de segundo orden del Programa y valorar g resultan deseables para la poblacién destinataria. Es el segundo Momento “formal para la retroalimentacién dentro del Proceso, porque los datos ¢. bre resultados ofrecen la oportunidad de revisar y mejorar la plant. cin, decidir sobre el valor y la utilidad del programa, y afeantat ponsabilidad contrafda con los patrocinadores y los usuarios de la intervenci6n, cumpliendo asf una funcién sumativa al hacer puiblicas SS. conciusiones de la evaluaci6n, ©. &) Algunas actividades evaluativas especificas. La evaluacién de resultados se “SLL Hata en el andisis valorativo a partir de tres tipos de eriterion eficacia (se & “VE logran los objetivos deseados), efectividad (el programa tiene consecuen- SNe SF cias dixectas miiltiples) ¥-cficiencia (se logran resultados positivos a un cos QO * te razonable). Lacevaluacién de impacto}\se centra en el anilisis de los , CS _lectos de segundo ordemproducidos en la poblacién participante yen la “poblacién general no destinataria del programa, f P@iodos) de investigacion titiles Para las evaluaciones de resultados e im- Pactos. La metodologfa més utilizada en las evaluaciones de resultado es lados previamente dese 1° tietivos de resultado hayan sido form habria que establ OPerativa o cuantificable; en caso contrario, otros datos estadintic Soe ‘ores que permitieran contrastar co? Cualitativo, B] andlisies 7 *s, habria que acudir a datos de corte nada, incluyendo la pasty la efectividad emplea una metodologia combi: Brupos de interés, cen eh iPaCiOn de expertos y de representantes de los * on el fin de maximizar la probaburacd te encom disponibles,Capitulo 6: Estrategias para la evaluacién de resultados e impactos | 123 los s efectos no-esperados. El andlisis de laeficiencia, o relacién coste-be- neficio, requiere sopesar los recursos materiales; econémicos y humanos invertidos, con respecto a la cuantfa o relevancia de los resultados del programa. Muchos factores son relevantes en esta comparacién, como los de indole psicolégica y social. Para el cdlculo de los cocientes es mas con- veniente el uso de datos cuantitativos. Finalmente, para descubrir y valo- rar los impactos se acude a fuentes documentales o datos de archivo que den cuenta de los efectos producidos en Ia poblacién en general, 0 se rea- liza el seguimiento de las personas que han participado directamente en el programa, Se pueden combinar todo tipo de indicadores y de métodos para facilitar el descubrimiento de impactos.. INTERVENCION TEORIZACION: Ly 2 IL-5 a {> INVESTIGACION Progam ——> 43 EP E =F wn =: ah Se fr 2 bn. an Evaluaci6n de ‘Evaluacién de ‘Evaluacién de EVALUACION proceso resultados ‘impacto Evaluaci6n intermedia ACTIVIDADES: Anilisis de la eficacia Anilisis de efectos mas (respecto de objetvos) ald de resultados pis dela eeciitd —_(aBEEN Ey Po (efectos deseados y ro deseados) Andis dela efciencia (coste/beneficio, costelefectvidad, costeltiidad) METODOLOGIA Experimentacién social Estudios correlacionales Cuasiesperimentacén Anis de indicadores CComparacign de estindares Fuentes docurnentales © Anlsis de indicadores de archivo Andlss cuanttatvos Andlss cuanttatvos 0 cualtatwos. Figura 6.1. Elementos de la evaluacion de resultados e impactos., A 124 | Parte i: Evaluacion sistemética de los programas de intervencién social 6.2. La experimentacion social Un programa de intervencin puede ser equiparado en cierta medida a une, mento en el que se manipulan ciertos factores o variables independientes (on i. a conseguir ciertos resultados 0 cambios en las Vatiab es dades, tratamientos) par dependientes (efectos, solucién del problema). El uso del método experimental o la evaluacién de los programas sociales parte de la nocién campbelliana de “s, ocie. dad que experimenta” (Campbell, 1969), por la cual se define la Polftica Social oy. mo un proceso cientifico de experimentaci6n. En esta linea, el politico comprome. tido con la reforma somete su trabajo a la inspecci6n publica (el experimenty aumenta la validez de la comprobaci6n de los efectos) y fundamenta sus précticas en un correcto anilisis de las alternativas de accién. Para muchos, el estudio evaluativo ideal debe adaptarse al modelo experimen. tal cldsico, si bien generalmente se utilizan variaciones que inciden en el anilisis y la reduccién de los problemas de validez que se encuentran en las condiciones so- ciales en que se desarrollan los programas. Up experince rs una prueba, gene- ralmente de una proposicién causal, que implica: la existe: de al menos un pro- grama o variable independiente, la observaci de al menos un resultado 0 variable dependiente, ciertas unidades que asignar al programa y algtin tipo de comparacién que permita inferir un cambio en las unidades que sea atribuible al programa (Cook y Campbell, 1979). En consecuencia, para evaluar la eficacia de la intervenci6n, se requiere especificar (Suchman, 1967): las partes integrantes del programa, la poblacién estimada, las condiciones situacionales y los efectos dife- renciales del programa (inesperados, secundarios). Finalmente, los indicadores que servirén para medir la eficacia deben ser elaborados teniendo en cuenta los problemas de validez y fiabilidad. Freeman y Sherwood (1970) defienden la expe- rimentacién como el mejor método para realizar evaluaciones de resultados, por- que es € ico medio de demostrar la existencia de vinculos causales entre las a¢- tividades y los resultados del programa. - La puesta en practica de la evaluaci6n experimental tiene dos grandes proble- mas. En primer lugar, requiere fuertes condiciones de control para asegurar Ja va- lidez de los resultados, condiciones practicamente imposibles de conseguir en a Ambito de los programas sociales. El disefio de la evaluacién se convierte ¢0 un equilibrio 0 compromiso entre las reglas del método experimental y lo que pued? hacerse ética y pragmaticamente (Freeman y Sherwood, 1970). Por ejemplo, el di- sefio exige la existencia de un grupo de control que no participa en la intervencion propiamente dicha, lo cual plantea consideraciones éticas cuando todas las perso” nas que participan en el programa lo hacen porque conffan en encontrar ayuda @ sus problemas. Las dificultades précticas han sido expuestas en el capitulo ante” rior, donde sefialamos las restricciones econémicas, temporales y sociales qU° cone dicionan la intervencién. La dificultad de aplicacién del método clésico ha eT lugar al desarrollo de los diseiios cuasi-experimentales (Boruch, 1976; Campbe” 1969; Cook y Campbell, 1979), en donde no hay aleatorizacién, se dispon® solo dé ° os aN YOLDCapitulo 6: Estrategia para la evaluacién de resultados e impactos 125 grupos participantes en la intervencién, medidas da y linea base de comparacién, y se usan andli de regresiOn discontinua (véase capitulo 6), En segundo lugar, el estudio experimental se desentiende de la funcién de as de resultado, duraci6n controla- isis de series temporales 0 diseiios i 4 e mejora « y apoyo a la implementaci6n que se espera de una evaluacion d em sistematica. Para los experimentalistas, Se cee : el problema de la implementacién es una cuesti6n de asegurar que las actividades se ejecutan segiin lo previsto, intervinien- do sélo para corregir las desviaciones sobre el plan original. La tarea del investiga- dor es transformar el plan del programa en un experimento, donde los vinculos que relacionan los elementos del programa en el modelo de impacto son las hipdtesis a probar. Efectivamente, de no ser adecuada la aplicacién, habré poca base para desa- rrollar criterios o medidas de resultado que sean utilizadas en la evaluacién de impac- to. El problema es que no se busca la mejora continua como un fin en sf mismo. El punto de vista experimental ha sido criticado fuertemente por estas y otras razones (Cronbach, 1963; Stake, 1975; Patton, 1986, 1994), dando lugar a nuevos métodos de evaluacién (respondentes, naturalistas, orientados al uso) y a las activi- syn dades que se conocen como evaluacién de proceso o de la implementacién, Los eva- ‘ luadores de oreancin ais identifican el experimento con el paradigma do- minante de corte ittvista-y orientado por objetivos, criticandolo porque las situaciones de-estudio tienen muchos pardmetros que no pueden ser controlados, imponen_restricciones artificiales y arbitrarias al estudio y fracasan_al tratar de res- ponder.a las preocupaciones y cuestiones que interesan a los implicados (solucién o mejora del problema), derivando la atencién hacia cuestiones que son més de la in- cumbencia de patrocinadores y politicos (demostracién del logro de objetivos).. Ninguna de las criticas, sin embargo, ha hecho que el método experimental de- je de ser utilizado, y sigue siendo el preferido para la realizacién de evaluaciones de resultados y la comprobacién de la eficacia del programa (Rebolloso y Rebo- lloso, 1998a; Sechrest y cols., 1979). Otra cuestién es que la experimentacién orientada por los objetivos del programa proceda en muchas ocasiones con un fundamento tedrico defectuoso y con un planteamiento descontextualizado, ofre- ciendo una visién empobrecida de la inferencia causal (Chen, 1990; Cordray, 1986; ‘Trochim, 1986). Sin base te6rica, el paradigma experimental aleja la atencién de la tarea de comprender los programas sociales, porque un atractivo del método es que se puede evaluar sin preguntarse por qué el programa funciona. Los resulta- dos de este tipo de evaluacién “de caja negra” (Chen y Rossi, 1983) ofrecen una comprensién estrecha y distorsionada del programa, sin que se aclare si los fraca- 808 0 el éxito se deben a la implementacién o a la base conceptual de la interven- cién. En definitiva, lo que se critica es que algunos piensen que el experimento es el nico método valido para la investigacién evaluativa, posicion que ha sido supe- »dlutada sin duda desde la aparicién de los modelos sistematicos, en donde es uno mas de los métodos recomendados, especialmente en el andlisis de la eficacia y en la comprobacién de hipétesis causales (Chen, 1990; Rebolloso, 1994a; Rossi y Free- man, 1989), fea ef On126 | Parte il: Evaluacién sistemdtica de los programas de intervencién social 6.3. La emisién de juicios de valor El problema del juicio, o como determinar el valor de un objeto, es Central ra la definicion de lo que significa evaluar (Scriven, 1994, 1995). Un Programa’ cial es valioso, entre otras razones, si ayuda a resolver problemas sociales iny, Le iantes, por lo que la tarea basica de Ia evaluacién se convierte én emitir juitios qs valor sobre la calidad y el impacto de los programas o de sus componente; 5 rientar las futuras decisiones sobre el mismo. No obstante, muchos evalugih sienten que en la préctica Ia emisiOn de juicios es un asunto lejano de su traby, diario de apoyo a los programas, que no puede realizarse a partir de los Tesultados de sus estudios (podemos demostrar que determinado efecto ha ocurrido, per 4c6mo juzgaremos que es un efecto socialmente positivo?). No obstante, la emi. sién de juicios en realidad es una actividad presente en toda investigacién de eva, luaci6n, necesaria para decidir qué programa o qué actividad es la mejor de las disponibles, a pesar de que la mayoria de los cientificos han sido formados en la creencia de que los vatoresno-son parte de la ciencia (Cook y Shadish, 1986). Se denomina légica de Scriven‘al procedimiento general para determinar el va- lor de cualquier objeto, incluidos los programas de intervencién social. En concre- to, se sugieren los siguientes pasos: Identificaci6n clara del programa. Especificacién de criterios para determinar sus méritos. Identificacién de programas o componentes alternativos para comparar con el evaluado. * Recogida de datos de cada criterio en cada alternativa. * Enmision de juicios sobre la calidad de la implementacién y los efectos, en comparaci6n con las alternativas. Los cinco pasos se derivan del modelo de los Consumer Reports o informes comparativos que realizan distintas instituciones 0 publicaciones sobre la calidad de ciertos productos, como las revistas del automévil o de ordenadores y las ofici- nas de proteccién del consumidor (Scriven, 1994). Una vez decididos los criterios de valor que resultan relevantes para los principales grupos de interés (producto- res, consumidores, asociaciones, expertos, etc.), las caracteristicas relevantes del producto son estimadas o medidas siguiendo procedimientos fiables aceptados, ¥ estableciendo posteriormente comparaciones entre distintos modelos 0 productos disponibles en el mercado. Las comparaciones pueden ser absolutas (estandares minimos de ejecuci6n) o relativas (comparacién entre productos), y se combinan para recomendar “la mejor compra” a los consumidores potenciales. : La légica de Scriven se aplica de forma generalizada en las evaluaciones de sultados (Scriven, 1996) y esta implicita en muchas ofras actividades evaluativ’® ¢Cémo determinar, por ejemplo, que la planificacién del programa es Ia corre’! (evaluaci6n de entrada), que las actividades han sido implementadas adecu*Copitulo 6: Estrategias para la evaluacién de resultados e impactos | 127 mente (evaluacién de proceso) o que el plan global de evaluacién ha sido el acer- tado (metaevaluacién), sin disponer de criterios de valor con los que comparar la realizacion de todas estas actividades? Por otra Parte, los principios de la légica de Scriven no son diferentes de los utilizados en otros modelos y teorfas de evalua- cién (Shadish, Cook y Leviton, 1991). Por ejemplo, en la experimentaci6n también se comparan los efectos de los programas (variables dependientes) con grupos de control 0 acciones alternativas que persiguen los mismos fines (variables indepen- dientes), que vienen a ser considerados criterios de valor (Campbell, 1960, 1974). La diferencia es que en la experimentacién social se pone a prueba el valor de una hip6tesis te6rica de intervencién en lugar de un producto de consumo. El planteamiento de Scriven no varfa sustancialmente cuando se aplica a la evaluacién de los programas sociales, si bien en la mayoria de las ocasiones el mé- Tito se establece en términos de eficacia, es decir, centrado en el logro de objeti- vos. Asf lo describe literalmente Weiss (1990: 39): “En abstracto, la pregunta evaluativa parece ser muy sencilla. Al parecer, lo nico que tiene que hacer el investigador es: 1. Buscar las metas del programa. | 2. Traducir las metas a indicadores mensurables de la realizaci6n del objetivo. 3, Reunir datos de los indicadores, correspondientes a quienes participaron en el programa (y a un grupo de control equivalente que no particip6). |4. Comparar los datos de los participantes (y de los controles) con los criterios \ de realizacion de las metas. iY eso es todo!”. Sin embargo, las condiciones para la evaluacién de productos de consumo —homogeneidad del proceso, consenso sobre los criterios y los estandares— son muy diferentes a las que se encuentran en la evaluacién de un programa social, mucho menos homogéneo en su implementacién, més inconsistente y variable, di- ficil dé conceptualizar y con desacuerdos en los criterios y los esténdares de ejecu- cién (Cook, Leviton y Shadish, 1985). Ademis, la orientacién por objetivos resulta insuficiente o incorrecta por diversas razones (Cook y Shadish, 1986; Scriven, 1983; Weiss, 1990): las metas suelen ser ambiguas y dificiles de definir con preci- si6n, porque asi interesan mds a politicos y gestores, para ganar en flexibilidad y evitar costes politicos en caso de fracaso; el programa conduce a las metas oficiales ~y no siempre-, ademds de a otras consecuencias inesperadas; el programa es un ctimulo de actividades, personas y estructuras, implementado de forma heterogé- nea en distintos lugares, por lo que hay que clarificar bien qué es el programa para Teplicar y modificar los elementos que se deseen; la pregunta evaluativa no atien- de a la eficiencia del programa, ni a la cuestién del por qué funciona, muchas veces més importante incluso que /o bien que funciona.128 Parte Il: Evaluacién sistematica de los programas de intervencién socig) 6.4. Criterios de valor y variables de resultado i se traten de forma intercambi ea pan no a ae a distinguir a todo tipo de efectos impactos causados-por el progran indicadores de foe deseados 0 0 deseados, esperados 0 no esperados, i te devazltado son descritas en-las diferentes ‘teorfas causales implicadas fs 7 desarrollo del programa. Tienen un cardcter descriptivo, limitan a Constatar existencia o la ocurrencia de determinado suceso 0 resultado, pero no son ae er no juzgan f el suceso 0 el resultado es bueno o deseable. Por su Parte, jog iterios de valor/son esténdares, normas 0 valores que un grupo especitico de stake. ders defiendé como buenos 0 deseables; por ejemplo, alcanzar una Situacién igo. al, reducir una-necesidad social o solucionar un problema. > La eficacia (logro del objetivo perseguido) y la eficiencia (con un minimo gas. to de recursos) son los criterios de valor preferidos en muchas evaluaciones. sin embargo, la vaguedad con que suelen definirse los ol ‘os de los programas, sy falta de realismo 0 la falta de correspondencia con las necesidades Y problemas so. ciales que se quieren solucionar, aconsejan utilizar otro tipo de criterios para juz gar si el programa ha sido bueno o malo, tales como la solucién de las necesidades Sociales o la calidad del conjunto total de efectos del programa (Alvira, 1998). La eleccién de los criterios de valor corresponde a los grupos de Patrocinadores ¢ in- teresados en el programa, si bien el evaluador debe mantener cierto compromiso con la mejora social (defendiendo como valor el solucionar las situaciones de los grupos en desventaja) y con su campo de conocimiento (defendiendo como crite- tio alcanzar situaciones deseables desde el Punto de vista tedrico), Como ya hemos visto, normalmente se identifica la evaluacién de resultados con la medida de la eficacia del programa para conseguii Buidos con los recursos disponibles, y que en muchos casos incluso cambiarn los obje- Practica, y aquéllos do incluidos en la definicion analizando el Conocimiento teérico di ! z e6rico il i i i ia Préctico del proma disponible o investigando el funcionam!Capitulo 6: Estrategias para la evaluacién de resutados e impactas | 129 La eleccién de los criterios de valor Puede realizarse siguiendo alguna teoria cialmente (House, 1980), como por ejem- . la pobreza, el racismo o la delincuencia (War- nock, 1971), 0 la igualdad (Rawls, 1971), que establece como deseable reducir las necesidades materiales de los desfavorecidos que, de no ser satisfechas, pueden suponerles algtin dafio inaceptable socialmente. No obstante, se necesita més in- vestigacién sobre la utilidad y relevancia de diferentes criterios prescriptivos, por- que la justicia o la equidad sélo son una posibilidad entre otras (derechos humanos, igualdad, libertad, utilidad; Nozick, 1974) y su significado suele depender de crite- tios ideolégicos. Ante las dificultades para definir qué es lo bueno o deseable, otros evaluado- res (Stake, 1975; Weiss, 1972a y b; Wholey, 1981) se centran en los problemas que aparecen en la implementacién de los programas, seleccionando los criterios de valor mediante aproximaciones descriptivas, con las que se identifican los valores y objetivos que mantienen en la prdctica los distintos grupos interesados (Poulin, Harris y Jones, 2000). En este sentido, un programa es bueno porque alcanza cier- ‘os minimos en los estandares de ejecuci6n, definidos désde la perspectiva de los va- lores de Ia comunidad politica (Cronbach y asoc., 1980), de los valores de los milti- ‘ples interesados o de la satisfaccién de las necesidades sociales (Chen y Rossi, 1983). Es decir, que se pasa a considerar fuentes diversas en la construccién de los crite- ios, incluyendo las quejas de los clientes y responsables del programa o del servi- cio y los factores que llevan al éxito o al fracaso (Guba y Lincoln, 1981; Stake, 1978), las informaciones que necesitan usuarios, politicos y gestores para futuras decisiones (Bryck, 1983; Weiss, 1972b), la valoracién de modelos sustantivos sobre el funcionamiento del programa (Chen y Rossi, 1983), la satisfaccién de necesida- des sociales y la biisqueda de todos los efectos del programa —perseguidos o no, beneficiosos 0 perjudiciales-. Las conclusiones evaluativas respecto.de cada crite- tio de valor se presentan de forma independiente, porque no todas son igualmente fiables, dejando que los implicados desarrollen sus propias conclusiones, probable- mente menos sujetas a cuestionamiento desde dentro del propio programa y, por tanto, mas aceptables para todos y con mayor potencial para impactar en el cam- bio y la mejora del programa. También los indicadores sociales pueden ser utilizados con fines valorativos. Los sistemas de indicadores estén ampliamente extendidos en el campo de la politica so- cial en los paises desarrollados, en relacién con el interés por documentar y guiar el avance hacia el progreso y la mejora de las intervenciones sociales. Su.utilidad radi- ca en que ofrecen informaci6n realista y accesible para determinar el estado de bie- nestar de la sociedad, asi como el avance en alguna linea concreta de mejora social (Carley, 1981; Carmona, 1977). Sirvan como ejemplo los macroindicadores de cardc- ter econémico (PIB, inflacién, tasa de paro), sanitario (tasa de mortalidad infantil, esperanza de vida) 0 demografico (tasa de crecimiento de la poblacién). Los indica- dores se emplean para reflejar problemas de organizaci6n, facilitar la comparacién entre grupos o instituciones, predecir tendencias sociales, facilitar la planificacién y130 | Parte Il: Evaluacién sistermndtica de los programas de intervencién social evaluar todo tipo de programas y cambios sociales (Blanco y Chac6n, 1985). Si un sistema de indicadores ha sido sometido a las correspondientes comprobaciones de validez, sus elementos pueden ser empleados como criterio 0 como variables de re. sultado dentro de cualquier investigacién social. Se distinguen fres definiciones posibles de lo que representa 4 indicador id sas, 1989): se puedé-entender-eomo: ariables que componen. como una medida estadistica de un concépto o de una dimensién del concepta, es = cir, TA traduccién cuantitativa del concepto que se desea representat; y como la defi- nicidtroperativa de un concepto. Las tres definiciones no son mutuamente exclusi- “vas sino que se complementan de diversas maneras. Todo modelo teérico est4 compuesto de un conjunto de variables independientes o de criterio, y de variables dependientes o de resultado, de tal modo que se postula una relaci6n causal entre ambas, mediatizada en muchas ocasiones por otras variables intermedias y contex- tuales que pueden modificar la naturaleza de la relacién. Cada una de estas varia- bles suele estar definida en un nivel conceptual o de constructo, de tal forma que deben ser traducidas en términos operacionales para que puedan ser registradas 0 medidas (generalmente de forma cuantitativa). La verosimilitud de la relacin 16- gica entre un constructo y los indicadores con los que se operativiza es lo que se denomina validez de constructo del indicador. La eleccién de los indicadores que se utilizarén para medir los efectos de un programa depende de la calidad y cantidad de datos que estén disponibles o que puedan ser obtenidos con relativa facilidad, lo cual depende a su vez de los recur- sos destinados a la evaluacién y de que se hayan previsto si de recogida de la informacién relevante (Aguilar, 1998). Ademés, los indicadores Yeben. permitir comparaciones sincrénicas (realizar medidas miltiples en él mismo momento) y diacrénicas (realizar medidas én distintos momentos), de tal modo que puedan re- alizarse predicciones sobre lo que habra de suceder después de la intervencién. Entre las diversas posibilidades para la clasificacién de distintos tipos de indi- cadores, queremos destacar aqui la diferencia entre indicadores objetivos y subje- tivos o psicoldgicos (Blanco y Chac6n, 1985). Los indicadores objetivos reflejan la frecuencia con que aparece el fenémeno de estudio, registrado a través de escalas de intervalo o de raz6n que pueden ser analizadas con los métodos comunes de andlisis de datos. Los indicadores subjetivos’se refieren a variables o fenémenos que implican una dimensién psicoldgica relevante para el individuo, tales como sentimientos, actitudes, preferencias, valores o creencias, entre otros, medidas ge- neralmente a través de escalas ordinales. Durante aiios se ha discutido sobre la mayor validez y utilidad de ambos tipos de indicadores, polémica que se ha man- tenido en campos de investigacién muy diversos. Los indicadores objetivos serian medidas operativas recogidas mediante jueces 0 técnicos expertos con competen- cia para determinar la existencia y el grado de una cualidad o caracteristica. Los in- dicadores subjetivos pertenecen al mundo psicoldgico del individuo (Carley, 1981), atendiendo a la idea extendida entre los no psicélogos de que las medidas psicol6- gicas estan més ocultas 0 son de dificil acceso.Capitulo 6: Estrategias para la evaluacién de resultados e impactos | 131 En realidad, la polémica est4 mal orientada y la distincién correcta entre am- bos se relaciona con la capacidad para lograr un consenso en torno a la validez de su medicién (Gross, 1966). Los indicadores subjetivos pueden referirse a aspectos objetivos de la realidad social, mientras que los indicadores objetivos implican la participacién de jueces o expertos que se gufan mediante criterios que pueden ser tildados de subjetivos. Una cosa es que la falta de conocimiento dentro de un 4rea de investigacién dificulte la medicién de una variable, 0 que existan sesgos psico- légicos, y otra bien distinta es que cualquier indicador no pueda ser perfectamente objetivado mediante los procedimientos psicométricos adecuados, teniendo en cuenta que la objetividad es ms bien una cuestién de intersubjetividad y consenso entre diferentes observadores (Kaplan, 1985). La distincién, por tanto, carece de sentido y de utilidad (Craik y Feimer, 1987), y no se entiende por qué debe ser me- jor utilizar mediciones de las condiciones “objetivas” de vida como indicadores del cambio social, cuando no esté clara la relacién existente con la experiencia subjetiva de calidad de vida. Evidentemente, los indices técnicos implican sesgos subjetivos, en cuanto que es el especialista quien decide la forma y el procedimiento de medi- ci6n as{ como las dimensiones que se considerar4n relevantes. Ademis, no es cier- to que los indices psicolégicos dependan de la arbitrariedad y el capricho variable del observador, pues el nivel de acuerdo entre miltiples observadores suele ser elevado (Anderson, Zube y MacConnell, 1976). Ambos modos de evaluaci6n tie- nen su utilidad propia, y comparten los mismos problemas metodolégicos (fiabili- dad, validez, sensibilidad de medida, generalizabilidad) y conceptuales (funda- mentos tedricos, validez de constructo). A pesar de la polémica, no deberfamos caer en la falacia de considerar irrele- vantes las condiciones estructurales (“objetivas”) de partida, porque no todas las situaciones tienen las mismas ventajas para el desarrollo psicoldgico, fisico y social de las personas (Blanco, 1998; Martin-Bar6, 1998). No cabe duda, por tanto, de que cualquier sistema de indicadores exhaustivo debe hacer uso de diferente tipo de medidas (Bunge, 1975; Glatzer y Mohr, 1987) para que la calidad de una situa- cién social sea definida en términos realistas por las propias personas que tienen algtin interés en la misma.