Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
Ministerio de Justicia
Informe Final Corregido
Junio, 2011 Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
2
NDICE
1. Introduccin ............................................................................................. 3 2. Estudio Prctico de las Unidades de Justicia Vecinal ...................................... 5 2.1. Antecedentes ............................................................................. 5 2.2. Descripcin del estudio prctico .................................................. 11 2.2.1. Comunas beneficiarias ..................................................... 13 2.2.2 Procesos y procedimientos ............................................... 14 2.2.3 Equipo de trabajo ............................................................ 19 3. Modelo de monitoreo, seguimiento y evaluacin para las UJV ....................... 23 3.1. Conceptos generales ................................................................. 23 3.2. Planificacin: Lgica de las UJV ................................................... 30 3.3. Monitoreo y seguimiento: Sistema informtico de las UJV .............. 36 3.4. Evaluacin de procesos: Anlisis en profundidad de las UJV ........... 37 3.5. Estrategia de evaluacin de impacto de las UJV ............................ 38 3.5.1. Zona comparable al estudio prctico .................................. 39 3.5.2. Tamao muestral ............................................................ 42 3.5.3. Estimacin del impacto .................................................... 43 3.5.4. Potenciales ventajas y desventajas .................................... 46 3.5.5. Adecuacin ante posible expansin de las UJV .................... 47 4. Implementacin del modelo de monitoreo, seguimiento y evaluacin ............ 50 4.1. Instrumentos de recoleccin de informacin ................................. 54 4.2. Evaluacin: estudios y reportes .................................................. 57 4.2.1. Evaluacin de Procesos .................................................... 58 4.2.2. Evaluacin de Impacto ..................................................... 66 4.2.3. Reportes de monitoreo mensuales ..................................... 71 4.2.4. Estudio consolidado lnea base y anlisis cualitativo ............. 72 4.3. Costos aproximados de la estrategia propuesta ............................ 73 Referencias ...................................................................................................... 75 Anexo 1: Poblacin potencial de las Unidades de Justicia Vecinal ............................ 78 Anexo 2: Metodologa de Marco Lgico ................................................................ 89 Anexo 3: Matriz de Marco Lgico de las Unidades de Justicia Vecinal ....................... 96 Anexo 4: Indicadores de procesos y resultados de las UJV ................................... 103 Anexo 5: Conceptos generales sobre evaluacin de impacto ................................ 121 Anexo 6: Encuesta de lnea base y seguimiento .................................................. 128 Anexo 7: Pautas de entrevistas estudios cualitativos ........................................... 135 Anexo 8: Operacionalizacin de las variables ..................................................... 140
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
3
1. Introduccin
Durante el ao 2011, el Ministerio de Justicia se encuentra realizando un estudio prctico, basado en la implementacin de un modelo de justicia vecinal en cuatro comunas de la Regin Metropolitana. El objetivo es, por una parte, instalar un servicio que ponga a disposicin de las personas diferentes vas orientadas a la resolucin de sus conflictos vecinales y, por otra, levantar informacin vlida de experiencias en el abordaje de estos conflictos. En base a lo anterior, el Ministerio de Justica se ha planteado como desafo disear y evaluar este nuevo modelo, por medio de la implementacin de Unidades de Justicia Vecinal. Estos dispositivos territoriales brindan a la comunidad distintos tipos de mecanismos que les permiten solucionar sus conflictos vecinales, ya sea, al interior de las Unidades de Justicia Vecinal o derivando el caso a la instancia que corresponda. La implementacin del Estudio Prctico de las Unidades de Justicia Vecinal por parte del Ministerio de Justicia, sigue una prctica altamente recomendada en la literatura de evaluacin de programas y polticas pblicas, ya que, corresponde a un estudio piloto que permite la evaluacin de un modelo que podra ser replicable a una mayor escala. Lo anterior, permite recabar evidencia, antes de proceder a una implementacin a nivel nacional. Es as como, y en virtud del contrato suscrito con fecha 10 de marzo de 2011, entre el Ministerio de Justicia y la Fundacin Facultad de Economa y Negocios de la Universidad de Chile, el Centro de Microdatos del Departamento de Economa de esta Universidad ha desarrollado las actividades asociadas al diseo de un modelo de monitoreo, seguimiento y evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal. El Ministerio de Justicia ha procedido siguiendo las recomendaciones internacionales ms relevantes en materia de evaluacin que indican que, el mejor momento para disear la evaluacin de un programa o poltica es al momento de disear y planificar la misma intervencin. Esto, por cuanto se posibilita as contar con una mayor Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
4
variedad de alternativas para finalmente tener una evaluacin creble y que arroje evidencia determinante sobre el impacto de la poltica. El inters con el que el equipo del Centro de Microdatos de la Universidad de Chile ha considerado la participacin en las tareas asociadas a este informe se basa, por lo tanto, no slo en la novedad que representa un modelo de intervencin sino que tambin en la posibilidad de ser parte de un diseo que se materializa siguiendo buenas prcticas y que se puede consolidar como un ejemplo de estudio posterior. El presente informe se ajusta a los requerimientos establecidos en el contrato suscrito entre ambas instituciones e incluye, en la segunda seccin, los antecedentes y descripcin de las Unidades de de Justicia Vecinal. En la tercera seccin se presenta el modelo de monitoreo, seguimiento y evaluacin propuesto para el estudio prctico de las UJV, definiendo la lgica que gua el estudio prctico de las Unidades de Justicia Vecinal, y las estrategias de monitoreo, seguimiento, evaluacin de procesos y evaluacin de impacto de las UJV. La cuarta seccin exhibe una visualizacin del modelo propuesto en la seccin anterior, incluyendo un cronograma, definiendo los instrumentos de recoleccin de informacin y los estudios y reportes que se deberan obtener como producto. Con el objeto de favorecer la lectura de este informe, se redujo ste a los aspectos esenciales, por lo que se presenta un conjunto importante de anexos que contienen detalles metodolgicos y ms informacin.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
5
2. Estudio Prctico de las Unidades de Justicia Vecinal
2.1. Antecedentes
Una de las garantas que debe asegurar el Estado es brindar un acceso igualitario de las personas a la justicia. En la actualidad, existe una percepcin de que no todos los ciudadanos encuentran una respuesta institucional para resolver los conflictos que se generan de forma cotidiana en su vida diaria, lo que afecta negativamente su calidad de vida y genera una mala percepcin de las respuestas que es capaz de entregar el sistema judicial. A su vez, la ausencia de una respuesta estatal, puede aumentar la conflictividad y las vas auto tutelares y no pacificas de resolucin de este tipo de conflictos.
En base a lo anterior, y considerando que no se contaba con informacin vlida que diera cuenta de la magnitud de esta problemtica, ni tampoco de la calidad y cantidad de conflictos que se producan en este nivel o de los tipos de soluciones que requieren los ciudadanos, se decidi realizar estudios de diagnstico que permitieran contar con una lnea de base de la situacin actual de los conflictos vecinales, las respuestas existentes a nivel local y las expectativas de herramientas de solucin que tienen los usuarios.
Es as como, durante el ao 2011 se est realizando un estudio prctico, basado en la implementacin de un modelo de justicia vecinal en cuatro comunas de la Regin Metropolitana, que permita, por una parte, la instalacin de un servicio que ponga a disposicin de las personas mecanismos orientados a la resolucin de sus conflictos y, por otra parte, levantar informacin vlida de experiencias en el abordaje de estos conflictos.
No obstante, para el diseo y construccin del modelo de justicia vecinal a implementar en Chile, el Ministerio de Justicia, a travs de la Direccin de Gestin y Modernizacin de la Justicia, procedi a realizar diferentes acciones previas, las cuales se detallan a continuacin. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
6
En primera instancia, el Ministerio de Justicia realiz una revisin de la experiencia comparada, tanto nacional como internacional, respecto a la forma de abordar los conflictos de ndole vecinal y comunitaria y los avances logrados en esta rea.
Respecto a la experiencia nacional, los antecedentes levantados por el Ministerio de Justicia demuestran que, la idea de los juzgados vecinales para resolver conflictos jurdicos de poca cuanta ha estado presente desde los albores de la Repblica 1 .
En efecto, diversas Constituciones Polticas del siglo XIX contemplaron la figura del Juez de Paz. Luego, en 1875 se introduce la figura de los Jueces de Distrito y Subdelegacin, y en 1887, se contempla la funcin de Juzgados de Polica Local. Sin embargo, ninguna de estas experiencias result exitosa para enfrentar conflictos vecinales o jurdicos de poca cuanta.
Ms tarde, a partir de la dcada de los 60 se intenta, infructuosamente, implementar modelos de justicia vecinal como los que se listan a continuacin:
Dcada de los 70: - Experiencias de justicia vecinal con jueces profesionales, pertenecientes al Poder Judicial. - Experiencias de justicia popular y vecinal, con jueces legos elegidos por los pobladores de los campamentos en los que sesionaban.
Dcada de los 90: - Se propone convertir a los jueces de polica local en jueces de paz vecinal. - Iniciativa enviada por Patricio Aylwin como Mensaje del Ejecutivo al Congreso Nacional. Experiencias que surgieron con ms fuerza durante la dcada de los 90 con el apoyo de organismos internacionales y de la sociedad civil, fueron los Mecanismos Alternativos de Solucin de Conflictos (MASC). En Chile, los ms implementados y conocidos son la conciliacin judicial y extrajudicial, la negociacin y la mediacin.
1 Antecedentes para la preparacin del proyecto piloto de Unidades de Justicia Vecinal. Documento de Trabajo, Direccin de Gestin y Modernizacin de la Justicia, Ministerio de Justicia, 30 de Julio de 2010. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
7
Especficamente, los principales MASC desarrollados en Chile son: Mediacin en los mbitos de familia, laboral, salud, y en menor medida, vecinal, comunitario y penal. Mediacin para juicios sobre tierras en los que se encuentre involucrado algn indgena. Centros de medicin de Santiago y Valparaso, de la Corporacin de Asistencia Judicial. Programa de Resolucin de Conflictos Anexo a Tribunales. Programa de Asistencia Jurdica. Proyecto MECE Media del Ministerio de Educacin para la formacin de mediadores escolares juveniles. Programa Cultura del Dilogo del Ministerio del Trabajo para formar mediadores- comparendistas. Oficina de Medicacin de la Corporacin Nacional de Desarrollo Indgena (CONADI) en Temuco. Mediacin penal entre vctimas y ofensores, impulsadas por el Ministerio Pblico, Corporaciones de Asistencia Judicial, Universidades e institutos. Plan Comunal de Seguridad Pblica del Ministerio del Interior contempla sistemas de justicia local, en Copiap, La Florida, Los ngeles, Pudahuel, Santiago, Colina, Coyhaique, La Pintana, Talagante, Conchal, Pealoln, San Felipe y Villarrica.
En cuanto a la experiencia internacional, destacaron los siguientes pases con programas relacionados a la justicia cercana 2 : Uruguay: Juzgados de Paz y Juzgados de Conciliacin en Montevideo. Colombia: Jueces Municipales y de circuito, Centros de Convivencia Ciudadana, y Casas de Justicia. Per: Juez de Paz basados en conciliacin y en equidad. Alemania: Tribunales locales, con competencia comn en asuntos menores.
2 Antecedentes para la preparacin del proyecto piloto de Unidades de Justicia Vecinal. Documento de Trabajo, Direccin de Gestin y Modernizacin de la Justicia, Ministerio de Justicia, 30 de Julio de 2010, y Pontificia Universidad Catlica de Chile. Presentacin Justicia Cercana.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
8
Espaa: Juzgados de Paz en los municipios que no existan Juzgados de Primera Instancia. Estados Unidos: Juzgados de Pequeas Causas (Small Claims Courts), Centros de Justicia Vecinal (Neighborhood justice centers) y Community Courts. En el estado Nueva York, existen los Town and Village Courts. En el distrito Federal de Columbia existe Superior Court y Programa Multidoor. En el estado de Florida, existen Cortes de Condado. Inglaterra: Procedimiento Previo en asuntos civiles antes de juicio; proceso de mnima cuanta (Small Claim Track) y de menor cuanta (Fast Track). Tambin existen Magistrates Courts nombrados por la Corona. Italia: Jueces de Paz, abogados elegidos por el gobierno. Portugal: Jueces de Paz. Francia: Juez de Proximidad. Brasil: Juzgados Especiales Civiles y Penales (Sao Paulo: Justicia Itinerante; Acre: Justicia Ambulante; Alagoas: Juzgado Especial de Accidentes de Trnsito; Cear: Juzgados Mviles para accidentes de trnsito sin resultado de muerte). Canad: Juzgados de Pequeas Causas (Small Claims Courts). El Salvador: Juzgados de Menor Cuanta Este ejercicio de experiencias comparadas sobre justicia vecinal, tuvo por objetivo extraer elementos para la construccin y diseo de las Unidades de Justicia Vecinal en Chile.
Luego, se ejecut una exhaustiva revisin de experiencias comunitarias de resolucin de conflictos en Santiago de Chile. Para ello, se realizaron entrevistas y visitas a terreno a distintos agentes sociales que dirigen programas de solucin de conflictos vecinales, para formar opinin general respecto de los sistemas actuales de resolucin de conflictos vecinales para el equipo encargados del diseo, construccin y la implementacin del modelo de justicia vecinal.
Producto de las entrevistas y visitas, se extrajeron dos conclusiones fundamentales. Primero, el apoyo a la resolucin de conflictos cotidianos es percibido como una herramienta para prevenir conflictos de mayor envergadura, y al mismo tiempo, fortalecer a la comunidad en el manejo de este tipo de situaciones. Y segundo, a nivel Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
9
vecinal se distinguen principalmente dos tipos de conflicto, los propiamente vecinales (entre dos personas o familias) y los comunitarios (conjunto de la comunidad), las cuales requieren metodologas de resolucin diferenciadas.
Adicionalmente, se identificaron temas recurrentes en los centros visitados entre los que distinguimos: Importancia de establecer mecanismos de recoleccin de casos. Necesidad de efectuar una derivacin adecuada de los casos. Capacitacin a funcionarios clave que reciben las consultas de los casos. Mecanismos de Pre-Mediacin que convenzan a las partes de la conveniencia de la mediacin. Ofrecer alternativas de solucin adecuadas a todos los casos recibidos activando la red comunitaria. Importancia de participacin en la comunidad, considerando las caractersticas de los beneficiarios del servicio. En una tercera etapa, se identificaron y analizaron las materias que seran pertinentes de un modelo de justicia vecinal en base las materias que son competencias de los Jueces de Polica Local, y de los Jueces de Letras en lo Civil,
Especficamente, se realiz un listado con una sntesis de las materias probables de justicia vecinal, y la posibilidad de incluir estas materias en el modelo de justicia vecinal, ordenadas segn tribunal competente, tal como se describe a continuacin:
Materias de Juzgados de Polica Local: - Copropiedad Inmobiliaria: Situaciones referidas a administracin, Filtraciones, Gasto Comunes, Situaciones referidas a bienes comunes, tenencia de mascota. - Ordenanzas Municipales: Ruidos molestos, aseo y ornato, bienes comunes de uso pblico, olores molestos, follaje de plantas y rboles. - Infraccin a la Ley 19.779: Discriminacin enfermos de SIDA.
Segn el documento de trabajo Antecedentes para la preparacin del proyecto piloto de Unidades de Justicia Vecinal (Ministerio de Justicia (2010)), la posibilidad de incluir estas materias en el modelo de justicia vecinal es absolutamente posible. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
10
Materias de los Juzgados de Letras con competencia en materia civil - Servidumbres legales: Demarcacin, cerramiento, medianera, de trnsito, de acueducto, de luz, de vista. - Acciones posesoras especiales: Querella de amparo, de restitucin, de restablecimiento, denuncia de obra nueva, de obra ruinosa, interdictos especiales. - Cobro de pesos, pequeos montos. - Arrendamiento, comodato, desahucios
Segn el documento de trabajo Antecedentes para la preparacin del proyecto piloto de Unidades de Justicia Vecinal (Ministerio de Justicia (2010)), la posibilidad de incluir estas materias en el modelo de justicia vecinal es posible, mediante mecanismo con caractersticas auto compositivas que termine con un acuerdo susceptible de ejecucin.
Otros conflictos que se producen a nivel vecinal - Salud: Derivacin a Centro de Salud, pacientes siquitricos. - Asesora en general basada en las redes sociales dispuestas.
Segn el documento de trabajo Antecedentes para la preparacin del proyecto piloto de Unidades de Justicia Vecinal (Ministerio de Justicia (2010)), se concluye que para incluir estas materias en el modelo de justicia vecinal en los temas de Familia, se necesitara una resolucin dada por un tribunal competente (juez de familia), por lo que no ha sido contemplado por las UJV, sin embargo, en los casos correspondientes, se entrega la orientacin al usuario para que se remita a los Juzgados de Familia. En base a todo lo anterior, ms un anlisis jurdico de un plan piloto de justicia vecinal, se decidi trabajar en base a un modelo multipuertas, para disear, construir e implementar las denominadas Unidades de Justicia Vecinal en cuatro comunas de la Regin Metropolitana. Esto, con el propsito de recoger datos tericos y prcticos que permitan disear un sistema de justicia vecinal a mayor escala, que permita para dar una respuesta eficaz y de calidad a los ciudadanos en la resolucin de los conflictos vecinales que presentan, acompaado con las reformas judiciales que sean necesarias. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
11
2.2. Descripcin del estudio prctico
El Ministerio de Justicia se ha planteado como desafo disear y evaluar un Estudio Prctico que implementa un modelo de justicia vecinal por medio de la instalacin de Unidades de Justicia Vecinal 3 . Estos dispositivos tienen como objetivo principal mejorar el acceso a la justicia de las personas y comunidades, promoviendo la solucin de conflictos locales o comunitarios a travs de diversas vas, tanto autocompositivas como adjudicativas, ya sea al interior de las Unidades o derivando el caso cuando corresponda. Es decir, utilizando como eje un sistema multipuertas, en el cual, cada puerta representa una posibilidad de solucin de un mismo conflicto. De esta manera, se busca disminuir las barreras de entrada que impone la justicia tradicional a la solucin de esta clase de conflictos.
El Estudio Prctico en el cual se implementan las Unidades de Justicia Vecinal (UJV) contempla un modelo de acercamiento territorial, a travs de la prestacin de servicios multidisciplinarios de solucin de conflictos vecinales y comunitarios, mediante la habilitacin de dispositivos con profesionales capacitados para cumplir ese objetivo.
Los principales ejes de las UJV, son los siguientes:
Sistema "multipuertas": El proceso se inicia con la recepcin del caso por un equipo que lo analiza y le presenta al usuario las opciones disponibles para resolverlo, a travs de distintas "puertas" o alternativas de solucin del conflicto. Las vas contemplan mecanismos como mediacin, conciliacin, arbitraje y de trabajo en red con los programas sociales vigentes.
Acercamiento territorial de la justicia a las personas: Las UJV se ubican en lugares cntricos de las comunas y recogen las particularidades y el contexto de las realidades comunales. Lo anterior, implica un trabajo coordinado con las Municipalidades y la red social local.
3 Dispositivos territoriales que brindan a la comunidad distintos tipos de mecanismos que les permiten solucionar sus conflictos vecinales. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
12
Amplia cobertura. Tienen acceso a las UJV, las personas de todos los niveles socioeconmicos que tengan conflictos de orden vecinal o comunitario. El servicio es gratuito.
Equipo especializado y altamente calificado a cargo de las UJV: est compuesto por profesionales y tcnicos que se desempearn como ejecutivos de atencin, administrativos, evaluadores jurdicos, evaluadores sociales, mediadores, facilitadores, rbitros, entre otros.
Participacin activa del usuario: El modelo se construye sobre el inters o empoderamiento del sujeto frente a la solucin del conflicto que le aqueja, adems de la voluntariedad del usuario para ingresar el conflicto y buscar una solucin. Es ste quien, frente a las mltiples posibilidades que le plantea el equipo UJV, decide el mecanismo para solucionar su conflicto.
Seguimiento y evaluacin continua: Una vez que el usuario plantea un conflicto a la UJV, ste es acompaado y asesorado por el equipo de trabajo durante todas las etapas del proceso 4 . Adicionalmente, el equipo de trabajo podr realizar derivaciones a la oferta social disponible en la comuna, ya sea, para que el usuario acceda a una va o mecanismo no desarrollado en el modelo, o bien, para complementar el servicio otorgado en la UJV.
Base para la formulacin de poltica pblica: Toda la informacin que se levante a partir de la implementacin del Estudio Prctico de las Unidades de Justicia Vecinal, conformar evidencia relevante respecto a las potencialidades del modelo de justicia vecinal instalado, sus nudos crticos, los costos asociados e identificar aquellas modificaciones legales necesarias para la formulacin de una poltica pblica que contemple todos los elementos necesarios para su diseo e implementacin a nivel de todo el pas.
4 Las etapas por las que transcurre cada caso presentado en una UJV son: ingreso del caso, evaluacin, desarrollo de la va de solucin ms adecuada para el conflicto y seguimiento del caso. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
13
Al ser un estudio prctico que contempla un fuerte componente territorial, su aplicacin se defini a nivel comunal. En una primera etapa, la implementacin de las UJV se realiza en cuatro comunas seleccionadas en base a criterios tcnicos que a continuacin se detallan.
2.2.1. Comunas beneficiarias
Para facilitar la supervisin directa, el estudio prctico se desarrolla a nivel comunal, as en base a las 52 comunas de la Regin Metropolitana, se seleccionaron 4 de ellas que cumplieran con los siguientes criterios tcnicos:
Tener ms de 25.000 y menos de 200.000 habitantes. Contar con un Juzgado de Polica Local dentro del territorio. Contar con una Corporacin de Asistencia Judicial en la comuna.
A continuacin, las comunas que cumplan con los requisitos se agruparon en cuatro subconjuntos de acuerdo a la diversidad territorial (urbano-rural) y socioeconmica existente en nuestro pas. De cada grupo se seleccion una comuna.
Los grupos fueron los siguientes: Piloto N1: Con caractersticas de ruralidad; Piloto N2: Comunas con un porcentaje de pobreza igual o menor al 8,6%; Piloto N3: Comunas con un porcentaje de poblacin en situacin de pobreza entre 8,7% y 15,3%; Piloto N4: Comunas con un porcentaje mayor a 15,4%.
Para la seleccin definitiva, se eligi a una comuna de cada grupo, considerando los siguientes elementos: Densidad poblacional. Existencia de centro cvico. Cercana de los servicios comunales. Red social local existente. De esta manera, a partir de lo mencionado, se seleccionaron las siguientes comunas: Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
14
Paine: Comuna con caractersticas rurales (13% poblacin). Cerrillos: Comuna con porcentaje de poblacin en situacin de pobreza menor al 8,6%. Macul: Comuna con porcentaje de poblacin en situacin de pobreza entre 8,7% y 15,3%. Renca: Comuna con porcentaje de poblacin en situacin de pobreza mayor al 15,4%.
En el Anexo 1 del presente informe se presenta una descripcin de la poblacin potencial de las Unidades de Justicia Vecinal en cada una de las 4 comunas seleccionadas para la implementacin de las UJV.
2.2.2 Procesos y procedimientos
En este apartado, se describen los procesos y procedimientos que rigen la implementacin del estudio prctico de las Unidades de Justicia Vecinal en las cuatro comunas seleccionadas. Se debe sealar que, el trabajo coordinado con las Municipalidades de las comunas donde se desarrolla el estudio prctico es fundamental, no slo en forma previa a la realizacin de ste, si no que durante su implementacin, principalmente en la validacin y difusin del modelo en la comunidad, en la derivacin de usuarios a las UJV y en la recepcin de casos enviados desde la UJV respectiva para la prestacin de servicios municipales.
Asimismo, previo a la implementacin del estudio prctico, se realizaron capacitaciones a todos las personas que trabajaran en las cuatro UJV. Esto, con el fin de presentar el programa, familiarizarse con sus objetivos y estandarizar los procedimientos que se detallan a continuacin.
Tambin, se realiz un proceso de sensibilizacin de actores clave de las comunas, para dar a conocer el inicio de funcionamiento de las UJV e informar sobre los servicios a los cuales podrn acceder y de los procesos involucrados en cada uno de ellos.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
15
En base a los ejes del modelo de justicia vecinal a estudiar y para el funcionamiento de las UJV, se definieron los siguientes procesos de trabajo 5 :
1) Proceso I: Recepcin del caso
Tiene por objetivo general atender a las o los usuarios de las UJV, recibir sus requerimientos, recopilando la informacin tendiente a permitir la toma de decisiones respecto a las etapas siguientes del proceso.
Luego, los objetivos especficos son:
Entregar una atencin oportuna y de calidad a los/as usuarios. Obtener de los/as usuarios informacin relativa al requerimiento por el cual acuden a la UJV, para decidir fundadamente los pasos a seguir. Informar a los/as usuarios los pasos a seguir en relacin a su requerimiento. Registrar antecedentes del caso en el sistema. Efectuar un primer filtro de la competencia del centro UJV sobre el conflicto que se presenta, en base a los criterios de domicilio de los usuarios, su edad 6 y materia involucrada en el conflicto. Aplicar protocolos excepcionales de atencin para casos crticos que se indican.
Especficamente, este proceso corresponde a la atencin de usuarios y es un primer filtro de casos que sern conocidos por la UJV. Este filtro se realiza en base al domicilio de los involucrados en el conflicto (al menos uno de ellos debe poseer domicilio laboral o residencia en la comuna de la UJV), su edad, y a la materia que est involucrada (propias del mbito vecinal y comunitario)
La atencin de los usuarios de las UJV se realiza por orden de llegada, salvo los casos prioritarios definidos en el Manual de Procedimientos de las Unidades de Justicia Vecinal elaborado por el Ministerio de Justicia, lo que no significa un
5 Manual de Procedimientos, Estudio Prctico de Unidades de Justicia Vecinal, Direccin de Gestin y Modernizacin de la Justicia, Ministerio de Justicia, Santiago, Marzo de 2011 6 Mayor de 14 aos. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
16
privilegio de atencin durante el proceso, sino responder a situaciones puntuales que implican una atencin diferenciada.
A su vez, adems de las atenciones presenciales, el modelo contempla vas de ingreso no presenciales (telefnicas y por va electrnica 7 ).
Finalmente, se debe sealar que, durante este proceso se recoge la informacin del usuario con objeto de conocer cul es su requerimiento y expectativas, informacin que permitir la toma de decisiones respecto a la va a utilizar y orientar al usuario en los pasos siguientes del proceso.
2) Proceso II: Evaluacin del caso y derivacin a la va de solucin correspondiente
El objetivo general de esta instancia se ha definido como, evaluar el caso y orientar a los usuarios para utilizar la o las vas de solucin ms adecuadas para resolver el conflicto particular.
En cuanto a los objetivos especficos, stos son:
Evaluar la necesidad de obtener informacin complementaria del caso. Evaluar las caractersticas del conflicto. Obtener informacin complementaria del requerido. Evaluar las caractersticas y voluntariedad del requirente y del requerido. Asesorar a los usuarios respecto a las posibles vas de solucin a su conflicto. Facilitar la decisin de los usuarios respecto a la va de solucin de conflicto a elegir. Entregar orientaciones especficas a los usuarios en los casos que sean competencia de la Unidad y se requieran estrategias breves para solucionar el conflicto (por ejemplo, estrategias de prevencin situacional o asesora en temas de endeudamiento y sobreendeudamiento).
Este proceso, se realiza por un equipo especializado, el cual luego de una evaluacin del tipo de conflicto, materia relacionada e involucrados en el conflicto,
7 A la fecha de entrega de este informe, la va electrnica est en proceso de implementacin. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
17
asesora al requirente (quien plante el conflicto) y al requerido (a quien se seala como provocador del conflicto) para participar de un mecanismo que pueda otorgarles una solucin ptima a sus conflictos, a travs de la eleccin de vas de solucin.
3) Proceso III: Vas de solucin de conflictos
El objetivo general del tercer proceso involucrado en las UJV es utilizar y desarrollar vas adecuadas para la solucin de conflictos, en trminos tales que se formule una propuesta efectiva y satisfactoria de la misma.
Para el logro de este objetivo, se han definido los siguientes objetivos especficos:
Desarrollar e implementar, eficientemente, mecanismos alternativos apropiados de solucin de los conflictos que se seleccionaron para esta va. Desarrollar e implementar, eficientemente, las vas adjudicativas en los casos sugeridos. Vincular a los usuarios con la red social local apropiada, en los casos que el conflicto requiera utilizar esta estrategia.
En este proceso se despliegan mecanismos diferenciados que pueden dar respuesta a las diferencias propias de los conflictos y de los intervinientes.
Especficamente, en las UJV se dar curso a tres vas de solucin de conflictos:
Mecanismos alternativos: Tienen como objetivo favorecer la solucin del conflicto, permitiendo que los usuarios logren un acuerdo mediante la actuacin de un tercero imparcial.
Estos mecanismos alternativos a los procesos judiciales formales, permiten ofrecer alternativas que respondan a las necesidades particulares de los involucrados, relevar la voluntariedad de las partes para participar de los procesos, reconocer la importancia de la comunicacin y de las relaciones existentes entre las partes y promover el logro de soluciones creativas y que Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
18
respondan a los intereses reales de las personas. Se debe sealar que las vas de este mecanismo son, la conciliacin y la mediacin.
Mecanismos adjudicativos: Tienen como objetivo obtener la solucin del conflicto a travs de la actuacin de un tercero que ejerce su autoridad y cuyas resoluciones tienen autoridad de cosa juzgada y son susceptibles de ejecucin. Las vas de este mecanismo son, juicio en el Juzgado de Polica Local, y arbitraje.
Trabajo en red con los programas y servicios sociales existentes: El objetivo de este mecanismo es orientar y/o derivar a las personas involucradas en el conflicto ingresado a UJV a los programas y/o servicios de la red social 8 , para que puedan recibir las prestaciones y/o realizar las intervenciones requeridas. Su relevancia radica en que puede ser una va de entrada para la re-vinculacin o acercamiento de las personas a la red de apoyo existente.
A travs de este proceso, uno o ambos usuarios toman la decisin de la va de solucin de conflictos por la cual optarn. Con la decisin que toman el o los usuarios se ingresar el caso a la va que hayan elegido, el cual podr corresponder a la va de mediacin, conciliacin o arbitraje si se cuenta con la voluntad de ambos o deber seguir el canal formal de tramitacin de causas de polica local o tribunales civiles si solo se cuenta con la voluntad del requirente.
4) Proceso IV: Seguimiento de acuerdos y cumplimiento
Finalmente en los casos que se haya alcanzado acuerdo, se haya dictaminado un fallo o se haya derivado al/los usuarios, se proceder a realizar el seguimiento de estos productos, y en el caso de no cumplirse, intentar motivar el cumplimiento de los mismos.
8 Se entiende por servicios sociales aquellas prestaciones que se encuentran dentro del Sistema de Seguridad Social, estn contenidos en polticas o programas sociales estatales o emanen de entidades pblicas o privadas de otra ndole. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
19
Es as como, el objetivo general del cuarto proceso de las UJV, es monitorear y apoyar el cumplimiento de los acuerdos, fallos y derivaciones a los que se lleg como solucin del conflicto.
Para ello, se definieron los siguientes objetivos especficos:
Monitorear el cumplimiento de los acuerdos, fallos y derivaciones, siguiendo las acciones comprometidas, segn corresponda, tanto por el requirente como por el requerido. Recopilar informacin acerca de la respuesta recibida de parte de otras instituciones relacionadas con el cumplimiento de los acuerdos. Apoyar en el cumplimiento de los acuerdos y en la ejecucin de acciones que faciliten este cumplimiento. Con la informacin recopilada, generar datos para la evaluacin de impacto del piloto.
Toda la informacin de los procedimientos del estudio prctico y las etapas que los componen ser registrada en el sistema informtico de la UJV respectiva, el cual estar en funcionamiento en forma previa al inicio del desarrollo del estudio prctico y estar a cargo del Ministerio de Justicia.
2.2.3 Equipo de trabajo
Para cada Unidad de Justicia Vecinal se defini un equipo de trabajo de diez funcionarios, compuesto por:
Jefe de Unidad: Es el encargado de dirigir y administrara todo el equipo de trabajo de una Unidad de Justicia Vecinal. As como tambin, supervisar el desarrollo ptimo de los procesos y de funcionamiento del modelo.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
20
Ejecutivo de Atencin de Pblico: Su principal responsabilidad est asociada con la primera atencin que reciben los usuarios de una UJV. Especficamente, est encargado de la recepcin, ingresar de los casos de conflictos vecinales o entregar orientacin si el caso no corresponde a una materia de orden vecinal y atender a las consultas y requerimientos de variada ndole de los usuarios.
Asistente Administrativo: Brinda apoyo a todo el equipo de trabajo de la UJV. Especialmente, contribuye con el trabajo del Ejecutivo de Atencin, Jefe Unidad y Facilitador.
Evaluador Jurdico: Es parte del equipo evaluador de los casos ingresados como materia de orden vecinal. Tiene como funcin evaluar los elementos caractersticos del conflicto y de los involucrados, para asesorar a los usuarios en la decisin respecto a la o las alternativas ms adecuadas.
Evaluador Social: Trabaja en conjunto con el Evaluador Jurdico 9 y al igual que ste tiene como funcin evaluar los elementos caractersticos del conflicto y de los involucrados, para asesorar a los usuarios en la decisin respecto a la o las alternativas ms adecuadas.
Facilitador: Tiene como principal funcin realizar estrategias destinadas a favorecer la participacin y concurrencia del requirente y requerido a las distintas instancias que implica el proceso de decisin e ingreso de los usuarios a una va de solucin de conflicto. Para ello, debe contactar a requirente y/o requerido telefnicamente, a travs de cartas, correos electrnicos o de manera presencial, para favorecer al asistencia efectiva de stos a la UJV cuando corresponda.
9 En primera instancia, el diseo de las UJV contempla que todos los casos ingresados sean evaluados conjuntamente por el Equipo Evaluador. No obstante, en casos de exceso de demanda, podra ocurrir que se realicen evaluaciones individuales, en cuyo caso, se asignaran los casos con problemticas legales al Evaluador Jurdico, y los casos con problemticas de tipo social al Evaluador Social. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
21
Conciliador: Tiene como funcin principal conciliar aquellos casos en que los usuarios de las UJV han optado por esta va de solucin para resolver su conflicto vecinal. Lo anterior, a travs de una o ms audiencias que pueden ser complementadas con reuniones individuales con cada parte 10 . Este profesional es compartido por las 4 UJV que considera el Estudio Prctico.
Mediador: Tiene como funcin principal mediar aquellos casos en que los usuarios de las UJV han optado por esta va de solucin para resolver su conflicto vecinal. Lo anterior, a travs del anlisis de los antecedentes, la citacin a reuniones individuales con requirente o requerido y/o reuniones conjuntas con el objetivo de lograr acuerdo 11 .
Abogado de la Corporacin de Asistencia Judicial (CAJ): Su funcin principal consiste en la asesora jurdica entregada a los usuarios que opten por presentar el caso en el Juzgado de Polica Local y la coordinacin de los casos con esta institucin. Tambin puede entregar asesora legal a aquellos usuarios que presentan casos que no corresponden a materias de las UJV.
rbitro: Tiene como principal funcin dirigir las audiencias de juicio oral arbitral y dictar sentencia en las causas que se sometan a su conocimiento. Tiene facultades de rbitro arbitrador, es decir, el procedimiento se establece por las partes y falla en conciencia y equidad. Asimismo, en su calidad de abogado, puede prestar asesora jurdica a aquellas personas que lo requieran en las materias que no son de competencia de la UJV.
10 Puede aplicar diversas estrategias de negociacin y conciliacin, especialmente las del mtodo de negociacin de Harvard, tales como Mejor Alternativa a un Acuerdo Negociado (MAAN). Ver Manual de Procedimientos de las UJV, del Ministerio de Justicia. 11 Puede utilizar diversas tcnicas de medicin, segn el modelo de mediacin que se est aplicando, las destrezas y estilo del mediador, tales como: preguntas circulares, reformulacin, parafraseo, decodificacin, rol de abogado del diablo, lluvia de ideas, down, MANN, etc. Ver Manual de Procedimientos de las UJV, del Ministerio de Justicia. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
22
Cabe mencionar, que algunos funcionarios del equipo de trabajo de las UJV, desarrollan labores en diversas etapas del modelo, como el facilitador que tambin realiza el seguimiento de los casos y como el/la Evaluadora Social que tambin es responsable del mecanismo de trabajo en red con programas y servicios sociales locales. La especializacin de este equipo, debido a las funciones crticas que desarrollan en el Estudio Prctico de las Unidades de Justicia Vecinal, adems de las competencias profesionales y personales de cada uno de ellos, fue complementada con una capacitacin que aborda las principales temticas involucradas en su trabajo (atencin de pblico, mecanismos alternativos de solucin de conflictos, mecanismos adjudicativos, derivacin a la red social presente en la comuna, etc.). Esta capacitacin estuvo a cargo del Ministerio de Justicia, y fue realizada por la entidad externa que adjudic la licitacin correspondiente y se efectu en forma previa al inicio del funcionamiento de las UJV. Se debe sealar que, tanto del diseo del estudio prctico como de la implementacin y funcionamiento del mismo, el responsable directo es el Ministerio de Justicia, desde donde dependern administrativamente los funcionarios contratados para la realizacin del estudio prctico.
Durante la implementacin de las UJV, el Ministerio de Justicia mantendr un monitoreo directo de las Unidades de Justicia Vecinal, las coordinaciones entre stas y la sistematizacin de los resultados que se logren en la realizacin del estudio prctico.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
23
3. Modelo de monitoreo, seguimiento y evaluacin para las UJV
Esta seccin presenta la propuesta de un modelo de monitoreo, seguimiento y evaluacin para el Estudio Prctico de las Unidades de Justicia Vecinal, el cual ha sido diseado de forma tal de dar cuenta de un proceso continuo o regular y, adems, sistemtico y bien planificado.
Adicionalmente, se ha procurado que la interaccin entre monitoreo y evaluacin sea continua. Esto es, los resultados provenientes de una evaluacin de impacto bien diseada, deberan dar lugar a la introduccin de correcciones y modificaciones en distintos aspectos del programa. Por otra parte, el conocimiento de los procesos y el funcionamiento del programa, a travs del monitoreo de indicadores de inters pueden contribuir a entender cmo mejorar el impacto de una determinada intervencin.
3.1. Conceptos generales
En primera instancia, resulta pertinente establecer los conceptos fundamentales que guan el Diseo de un Modelo de Monitoreo, Seguimiento, y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal. Es as como, en base a Bravo (2006) es posible sealar las razones ms importantes para contar con un modelo de monitoreo, seguimiento y evaluacin. a. Un sistema de monitoreo, seguimiento y evaluacin contribuye a generar mayor transparencia en el uso de los recursos;
b. Permite que un programa (o una poltica) se oriente hacia el logro de resultados: sirve para alinear los objetivos de un programa con los objetivos de la poltica;
c. Lo anterior se produce tambin por la va de los incentivos: un programa con un sistema de seguimiento y evaluacin premia los buenos desempeos y, este estmulo hace precisamente ms probable que se generen buenos desempeos;
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
24
d. Permite contar con una base ms clara (provee evidencia) para la toma de decisiones;
e. Posibilita un mejor diseo y aplicacin del programa por medio de la adquisicin de experiencia institucional y el intercambio de conocimientos. Un sistema basado en los resultados tiene como consecuencia proveer de informacin que, en otras condiciones, no estara disponible;
f. Promueve una mejor gestin del programa, en base a los resultados;
g. Permite aportar evidencia con mayor validez sobre el efecto causal de un programa. Adicionalmente, para aclarar trminos, se distinguirn dos conceptos (Bravo et al, 2008): a. Monitoreo y seguimiento: se trata de una funcin continua que se sirve de datos recolectados sistemticamente sobre indicadores especficos para informar sobre la operacin de un programa, en relacin con sus logros y los resultados en el uso de los fondos asignados y entrega de los productos.
b. Evaluacin: es la valoracin sistemtica y objetiva de un programa o poltica en curso o finalizado. Pretende evaluar la idoneidad, el cumplimiento de los objetivos, la eficiencia, la eficacia, el impacto y la sostenibilidad. Al interior de esta categora, se pueden distinguir, a su vez, dos grandes tipos de evaluacin : Evaluacin de Procesos Evaluacin de Impacto Las actividades de monitoreo y de evaluacin son complementarias y ambas deben ser parte de un sistema integral orientado hacia los resultados. Un sistema de monitoreo y seguimiento sin evaluacin pierde el objetivo y no puede responder a las preguntas causales fundamentales. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
25
Por otra parte, un sistema puramente enfocado en la evaluacin, sin monitoreo y seguimiento, puede no ser implementado por cuanto faltarn los insumos bsicos; o bien puede llevar a atribuir errneamente la falta de impacto a una mala aplicacin de la poltica. Planificacin El proceso de planificacin de un programa constituye el elemento fundamental sobre el que se construirn los procesos de monitoreo y evaluacin de la intervencin. Para un conjunto de intervenciones, el grado de homogeneidad de los mtodos y categoras utilizadas durante este proceso determinan la factibilidad y los costos asociados al desarrollo de un esfuerzo de monitoreo y evaluacin armonizado. El marco lgico es una herramienta de planificacin estratgica adecuada para ser aplicada a programas diversos y constituye una forma de ordenar el marco de anlisis de una determinada intervencin. El marco lgico provee una herramienta para evaluar la consistencia entre distintos niveles del anlisis, distinguiendo el fin del programa del propsito del mismo, de sus componentes y, finalmente, de sus actividades. El anlisis de marco lgico permite organizar el sistema de monitoreo y seguimiento de acuerdo a los mbitos de control (Procesos, Productos, Resultados Intermedios, Resultados Finales) y las dimensiones (Eficacia, Eficiencia, Economa, Calidad) 12 . Monitoreo y seguimiento El monitoreo entrega informacin sobre si el programa est siendo implementado de acuerdo a lo planificado. Supone, por lo tanto, que existe un proceso sistemtico de planificacin del programa. Este proceso constituye la base sobre la que se sustentan las acciones de monitoreo y seguimiento.
12 Vase una definicin de estos conceptos en la Seccin 4 del presente informe. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
26
Para cada uno de los mbitos de control y las dimensiones del marco lgico de un programa, se pueden establecer indicadores pertinentes para monitoreo y seguimiento. Un indicador se define como un factor cuantitativo o cualitativo que provee informacin simple y confiable, la cual sirve para medir el logro de un programa o los cambios asociados a ste. Las caractersticas deseables en un indicador 13 son las siguientes:
S pecific (Especificidad) M easurable (Mensurabilidad) A ccurate (Precisin) R ealistic (Realismo) T imely (Temporalidad)
Especificidad: Un indicador debe medir slo el mbito de control (producto, proceso, resultado intermedio o resultado final) que se pretende medir y ningn otro. Debe ser una medida especfica del mbito correspondiente.
Mensurabilidad: Cada trmino (numerador y/o denominador) debe estar claramente definido de forma que no haya mala interpretacin respecto al contenido del indicador. Los datos recolectados por diferentes personas en diferentes periodos de tiempo deben ser consistentes y comparables.
Precisin: Existen varios indicadores que pueden dar informacin sobre un problema de inters, pero algunos indicadores son ms adecuados que otros.
Realismo: Los indicadores deben ser realistas en trminos de la factibilidad de recolectar la informacin a partir de fuentes disponibles.
Temporalidad: Se debe considerar el tiempo invertido en recolectar la informacin; el periodo en que se recopil la informacin; y el lapso de tiempo transcurrido entre la entrega de un bien o servicio y el resultado esperado.
13 Ver World Food Program. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
27
Un sistema de seguimiento, que siempre debe estar orientado hacia los resultados, incluye indicadores que aluden a los procesos (que son necesarios para obtener los resultados planificados) y otros que se refieren a los resultados. Evaluacin de procesos Una evaluacin de procesos entrega informacin sobre la operacin del programa y cmo ste se est ejecutando. Es posible que un adecuado sistema de seguimiento nos entregue informacin pertinente para la evaluacin de procesos. Pero, usualmente, en el desarrollo de un programa, es aconsejable establecer hitos de evaluacin de los procesos de manera ms comprehensiva y con una metodologa complementaria al levantamiento de indicadores. En efecto, es recomendable aqu utilizar metodologas cualitativas que, por medio de entrevistas a informantes calificados, a beneficiarios, o a personas involucradas en distintas etapas del proceso de un programa, nos entreguen informacin sobre la operacin del programa. Algunos instrumentos para el desarrollo de un sistema de monitoreo y tambin para la evaluacin de procesos, son los siguientes: Informacin recolectada en la operacin del programa Desarrollo de encuestas especiales Entrevistas con informantes calificados, focus groups y otras metodologas cualitativas Anlisis de marco lgico
Evaluacin de impacto La evaluacin de impacto tiene una naturaleza distinta. El que un programa se ejecute adecuadamente y cumpla con las metas planteadas no garantiza su impacto. La pregunta sobre cul es el impacto del programa sobre los resultados de inters, es una pregunta sobre la causalidad del programa hacia dichos resultados. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
28
El problema fundamental de la evaluacin de programas es que no es posible estimar el impacto del programa a nivel individual debido a que, obviamente, no es posible observar los resultados de haber participado en el programa y de no haberlo hecho, para un mismo individuo. La literatura de evaluacin de programas se concentra, entonces, en la posibilidad de obtener una medicin, ya no del impacto a nivel individual sino que a nivel promedio. Se puede demostrar que si se observan los resultados de sujetos que participaron efectivamente en el programa y, por otra parte, los de sujetos que no lo hicieron, en general, NO es posible estimar un impacto promedio. No es posible, con una excepcin: que la asignacin del tratamiento (del beneficio otorgado por el programa) haya sido aleatoria. De esta manera, la forma ms transparente de plantear la evaluacin de impacto de un programa es considerar la asignacin aleatoria de los beneficiarios. Ha sido usual en la prctica de la evaluacin desconocer la importancia del resultado anterior, o bien plantear la imposibilidad de la aleatorizacin por razones operativas o ticas. Un fuerte movimiento a favor de los diseos experimentales (donde la aleatorizacin del tratamiento est considerada) ha reconocido la existencia de dificultades, pero ha indicado que stos son factibles en ms ocasiones que las usualmente pensadas como posibles. Considerando entonces que la seleccin de los beneficiarios de un programa no siempre es aleatoria, lo cual significa que no es posible tener una aleatorizacin de la asignacin del tratamiento, sino que se basa en criterios de elegibilidad y focalizacin, se tiene que el conjunto de beneficiarios presenta diferencias tanto observables como no observables con el conjunto no beneficiarios del programa. Los diseos experimentales no estn exentos de problemas y, adicionalmente, no siempre son factibles de ser implementados. En esos casos, es posible implementar otros mtodos, an cuando su robustez es claramente menor y sus resultados dependen de supuestos adicionales que es necesario incorporar. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
29
Entre estos mtodos destacan: Experimentos naturales, mtodos de matching, variables instrumentales y modelos estructurales. Los cuales permiten controlar por diversas caractersticas que posee el grupo de beneficiarios en relacin a los no beneficiarios, construyendo un escenario que simula condiciones de un diseo experimental a partir de bases de datos de ambos grupos y mediante la aplicacin de tcnicas estadsticas avanzadas. 14
En resumen, el diseo de una evaluacin de impacto apropiada tiene mayor complejidad y requiere de una adecuada planificacin por parte de un grupo tcnico. La Figura 1 describe los conceptos anteriormente expuestos: seguimiento y monitoreo, evaluacin de procesos y evaluacin del impacto de un programa. No obstante, para un buen diseo de stos, es necesario considerar un proceso anterior de planificacin. Figura 1: Planificacin, Monitoreo, Evaluacin de Procesos y Evaluacin de Impacto a nivel de un programa
14 En la seccin 5 y Anexo 5 se encuentra mayor informacin referida a la evaluacin de impacto de programas. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
30
3.2. Planificacin: Lgica de las UJV
En base a lo anterior, previo al diseo del modelo de monitoreo, seguimiento y evaluacin de las Unidades de Justicia Vecinal, se construy la Matriz de Marco Lgico de este estudio prctico. El objetivo es contar con una herramienta que permita la comprensin sistemtica de ste y sea un punto de referencia para su monitoreo y evaluacin. Producto de aplicar la metodologa de marco lgico 15 y validarla con una experta marco logista 16 , es posible sealar los siguientes elementos que estructuran la matriz de marco lgico de las Unidades de Justicia Vecinal: El Fin al que contribuye el Modelo de Unidades de Justicia Vecinal es: Contribuir al acceso a la justicia y a la igualdad de proteccin de la ley en el ejercicio de derechos, asesoramiento y defensa jurdica de todas las personas, mejorando su calidad de vida. Sobre esta base, el Propsito que persigue el Modelo de Unidades de Justicia Vecinal es: Las personas resuelven sus problemas de orden vecinal a travs del servicio otorgado en las Unidades de Justicia Vecinal.
El Componente o servicio que entrega el estudio prctico de UJV es: Personas con conflictos vecinales recibieron atencin en las UJV para la solucin de stos, mediante mecanismos alternativos de solucin de conflictos, mecanismos adjudicativos, o a travs del trabajo en red con programas y servicios sociales.
Las Actividades o tareas que se deben cumplir en cada UJV para el logro del componente, en orden cronolgico y secuencial, son:
15 Los aspectos metodolgicos para la construccin del Marco Lgico, y la definicin de los elementos de la matriz de marco lgico, se presentan en el Anexo 2 del presente informe. 16 Heidi Berner Herrera, Profesor Adjunto del Departamento de Economa de la Facultad de Economa y Negocios de la Universidad de Chile, Directora Ejecutiva Centro de Postgrado, y Directora Acadmica Diploma en Gestin Gubernamental, Local y de Presupuesto. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
31
- Actividad 1: Instalacin de las Unidades de Justicia Vecinal en todas las comunas seleccionadas para implementar el estudio prctico. Esta actividad involucra:
o Analizar zonas geogrficas para implementar UJV, segn criterios establecidos, factibilidad y demanda potencial 17 .
o Seleccionar comunas para implementar UJV, dentro de las zonas geogrficas factibles.
o Localizar establecimientos en el cual instalar las UJV en las comunas seleccionadas.
o Adaptar la infraestructura de los establecimientos para instalar el equipamiento fsico y humano en las UJV.
o Instalar el equipamiento fsico en las UJV.
o Seleccionar a profesionales y administrativos que trabajarn en las UJV
o Capacitar a las personas seleccionadas para trabajar en las UJV.
o Comprobar el buen funcionamiento de la infraestructura, equipos, y servicios (agua, electricidad, internet, telfono, plataforma, etc.)
o Abastecer a las UJV con todos los materiales definidos como necesarios.
o Realizar la promocin de los servicios entregados por las UJV.
17 Para la seleccin de las 4 comunas en las que se instal el Estudio Prctico de las Unidades de Justicia Vecinal no se consider la prevalencia de conflictos vecinales, ya que no haba informacin al respecto. Sin embargo, mediante el estudio realizado por COLLECT el primer semestre del 2011 se tiene informacin de la prevalencia a nivel de la Regin Metropolitana, si bien contar con esta variable con representatividad a nivel comunal es complejo, sera recomendable, considerar esta variable en caso de ampliar el modelo a otras sectores del pas. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
32
o Realizar reuniones iniciales de coordinacin con los servicios de la red social del municipio y con los programas y servicios sociales con presencia en la comuna.
o Abrir las UJV al pblico.
- Actividad 2: Atencin oportuna de los usuarios de las Unidades de Justicia Vecinal, mediante la recepcin de sus requerimientos y el registro de sus antecedentes. Esta actividad i involucra:
o Solicitar identificacin y datos de contacto a las personas que acuden a las UJV.
o Completar el formulario de primera atencin de las personas que acuden a las UJV.
o Analizar el requerimiento y definir si la materia corresponde a las UJV. Si no corresponde se enva a orientacin o asesora legal.
o Informar al usuario respecto a los pasos a seguir en su caso.
o Entregar informacin bsica a los usuarios que ingresan a las UJV a travs de las cartillas de atencin.
o Crear el caso remitindolo al equipo de evaluacin/derivacin.
o Entregar orientacin o asesora legal a aquellos usuarios con materias que no son de orden vecinal.
o Atencin de consultas de casos y otros requerimientos.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
33
- Actividad 3: Evaluacin y derivacin de los casos ingresados por parte del equipo de trabajo de las Unidades de Justicia Vecinal, a la o las vas de solucin de conflicto ms adecuadas para su solucin. Esta actividad involucra:
o Establecer estrategias para recoger informacin faltante, en caso que corresponda.
o Acordar, por parte del equipo evaluador, alternativas ms adecuadas para la solucin de cada conflicto y usuario, segn diagnstico realizado.
o Informar y asesorar a los usuarios respecto a la o las alternativas de solucin de sus conflictos, para que stos elijan libre e informadamente aqulla que estimen ms adecuada.
o El facilitador debe persuadir y motivar para que los usuarios participen activamente en el proceso.
o Formalizar con los usuarios la alternativa ms adecuada para la solucin de sus conflictos, a travs de un documento de consentimiento informado.
o Poner trmino anticipado a los casos.
o Ingresar la informacin al sistema.
o Derivar antecedentes al equipo de la va de solucin de conflicto acordado en conjunto con cada usuario y definir cita.
- Actividad 4: Solucin de los casos ingresados a las Unidades de Justicia Vecinal a travs de las vas de solucin. Esta actividad involucra:
o Realizar una entrevista de ingreso entre el equipo de la va de solucin y el usuario correspondiente. Si no llega alguno de los usuarios, el facilitador debe volver a persuadir (3 intentos). Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
34
o En el caso de conciliacin: Analizar informacin recibida desde el equipo de evaluacin, realizar reunin conjunta introductoria, realizar reunin privada con requerido y/o requirente (opcional), realizar reunin conjunta para desarrollar el caso, suscribir acuerdo, remitir a seguimiento en caso de acuerdo, derivar al equipo evaluador en caso de no lograr acuerdo.
o En el caso de mediacin: Analizar la informacin recibida, realizar sesiones conjuntas con requirente y requerido, realizar sesiones individuales con requirente y requerido, si hay acuerdo se firma y se cierra el caso remitindolo a seguimiento, si no hay acuerdo derivar al equipo evaluador.
o En el caso de juicio ante el juzgado de polica local: el abogado patrocinante (de la Corporacin de Asistencia Judicial que trabaja en cada Unidad) representa al requirente durante todas las etapas del juicio: audiencia de comparendo, audiencias y fallo.
o En el caso de arbitraje: Enviar carta de citacin a requirente y requerido, firmar acta de consentimiento informado para someter su conflicto a arbitraje, realizar audiencia de compromiso, recepcionar la demanda a travs de un formulario tipo, recibir contestacin de la demanda a travs de un formulario tipo, realizar audiencia de juicio oral arbitral, dictar sentencia por parte del juez (fallo arbitral), comunicar sentencia y enviar antecedentes al equipo de seguimiento.
o En el caso de trabajo en red con programas y servicios locales: Recepcin del caso desde recepcin, equipo evaluador u otra va, analizar la problemtica del caso, entrevistar al usuario, orientar a los usuarios para que solucionen sus conflictos a travs de la red local comunal o derivar a programas municipales, entregar antecedentes a municipalidades en caso de derivacin, enviar antecedentes al equipo de seguimiento y cumplimiento.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
35
- Actividad 5: Monitoreo de los acuerdos, fallos y derivaciones de los casos ingresados a las Unidades de Justicia Vecinal y ejecucin de acciones de apoyo para su cumplimiento. Esta actividad involucra:
o En el caso de MASC: Revisar decisiones y acuerdos tomados, elaborar calendario de actividades de seguimiento, realizar actividades de seguimiento, evaluar grado de cumplimiento, si el acuerdo no se ha cumplido en su totalidad realizar actividades de rescate u orientacin si corresponde, evaluar si se propone al equipo de la va que el caso sea nuevamente revisado o si se da cierre como acuerdo parcial o sin acuerdo.
o En el caso de la va adjudicativa: Revisar contenidos de fallos o sentencias, establecer aspectos centrales del seguimiento, elaborar calendario de actividades de seguimiento, realizar actividades de seguimiento, evaluar grado de cumplimiento, si no se ha cumplido el acuerdo realizar actividades de rescate u orientacin si corresponde, si ya existe sentencia no se puede reingresar el caso.
o En el caso de la va de servicios sociales: Contactar instituciones donde se derivan casos para conocer resultado de la prestacin, contactar usuario para conocer asistencia y satisfaccin de la derivacin, si el usuario no ha asistido realizar actividades de rescate u orientacin.
El Anexo 3 del presente informe presenta la Matriz de Marco Lgico de las UJV, con la descripcin del fin, propsito, componentes, supuestos, actividades, indicadores, y medios de verificacin.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
36
3.3. Monitoreo y seguimiento: Sistema informtico de las UJV
Un sistema de monitoreo y seguimiento se puede definir como una funcin continua que se sirve de datos recolectados sistemticamente sobre indicadores especficos para informar sobre la operacin de un programa, en relacin con sus logros y los resultados en el uso de los fondos asignados y de la entrega los productos. Dicho de otra forma, un sistema de monitoreo y seguimiento debe orientarse al aumento del conocimiento sustantivo de un programa determinado y ser una herramienta clave en la gestin presente y futura. La base de un sistema de monitoreo y seguimiento es la seleccin de indicadores. En efecto, stos se deben elegir estratgicamente, para contar con una cantidad reducida, fcil de medir y confiable, que garantice la informacin requerida para la toma de decisiones. Por lo tanto, adems de los indicadores ms relevantes propuestos en la Matriz de Marco Lgico (Anexo 3), el Anexo 4 del presente informe exhibe indicadores ms especficos a todos los procesos involucrados en las UJV. Luego, se propone que el levantamiento de la informacin necesaria para la construccin de dichos indicadores, se realice principalmente a travs del Sistema Informtico de las UJV. Este instrumento de recoleccin de informacin corresponde a una herramienta fundamental del equipo de trabajo de cada UJV, en el cual son registrados todos los casos ingresados y actividades relacionadas a cada uno de ellos. En base a la informacin obtenida en lnea a partir del Sistema informtico, sera recomendable que el reporte de los indicadores de monitoreo y seguimiento, fuera mensual, y durante todo el ao. Esto se aplica al Estudio Prctico y a una potencial expansin de las UJV a otras comunas. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
37
3.4. Evaluacin de procesos: Anlisis en profundidad de las UJV
Los procesos de un programa se pueden definir como las actividades vinculadas con la ejecucin o forma en que el trabajo es realizado para producir los productos (bienes y/o servicios), incluyen las prcticas de trabajo tales como procedimientos de atencin de las UJV, procesos de evaluacin y derivacin de casos, procesos tecnolgicos y administracin financiera, entre otros. Por lo tanto, una evaluacin de procesos entrega informacin sobre la operacin del programa, cmo ste se est ejecutando y la efectividad en la entrega de sus productos. De esta manera, se tiene conocimiento respecto al funcionamiento del programa, lo que puede contribuir a mejorar el impacto de su intervencin. Como ya ha sido sealado, es recomendable realizar una evaluacin de procesos a travs de mtodos cualitativos. De esta forma, se podr comprender de manera emptica, las miradas y perspectivas ms comunes y consensuadas, sobre lo que se desarrolla y sucede en las diferentes Unidades de Justicia Vecinal. Especficamente, para el caso de la evaluacin de los procesos de las Unidades de Justicia Vecinal se propone la realizacin de entrevistas en profundidad y grupos focales a informantes calificados y personas involucradas en dos momentos del tiempo. Lo anterior permitir abarcar todos los campos posibles y obtener la mayor informacin sobre la operacin de ste, en su instalacin, primeros meses de implementacin, y luego, posterior a las adecuaciones realizadas al modelo, si stas existiesen producto de contingencias o imprevistos ocurridos en la ejecucin del estudio prctico. Por tanto, la evaluacin de procesos del Estudio Prctico de las UJV debera ocurrir durante el primer ao de implementacin. Se propone como estrategia metodolgica, la realizacin de entrevistas en profundidad y grupos focales con pautas semi estructuradas. Esta metodologa incluye temticas predefinidas a profundizar, permitiendo tambin la incorporacin de aspectos no contemplados inicialmente y que sean de relevancia para los entrevistados.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
38
3.5. Estrategia de evaluacin de impacto de las UJV
En este apartado se describe la estrategia propuesta para la evaluacin de impacto de las Unidades de Justicia Vecinal 18 . Existen variadas metodologas de evaluacin, el Diseo Experimental Aleatorio se considera una metodologa de evaluacin tcnicamente robusta y consistente con la seleccin aleatoria de los beneficiarios dentro de un grupo de individuos elegibles. Esta asignacin aleatoria de los beneficios es la principal ventaja de este mtodo, debido a su fortaleza estadstica. Sin embargo, esta metodologa se ha descartado debido a que en el Estudio Prctico de las UJV, la asignacin del tratamiento o beneficio otorgado no es aleatoria. Por lo anterior, una alternativa son los Mtodos Cuasi-Experimentales, ya que la seleccin de las comunas beneficiarias de este estudio prctico no fue aleatoria, es decir, no es posible obtener una aleatorizacin en la asignacin del tratamiento. Por el contrario, su seleccin se basa en la aplicacin de criterios de elegibilidad y focalizacin que establecen diferencias, tanto observables como no observables, entre stos (grupo de tratamiento) y los no beneficiarios (grupo de control). Esto significa que el impacto del programa no podr ser estimado a travs de la simple diferencia de medias entre la variable del grupo de tratamiento y el grupo de control, ya que las diferentes caractersticas observables y no observables de los beneficiarios y no beneficiarios implicarn la existencia de sesgo de seleccin, es decir, que la seleccin de individuos que participan en el programa responde a ciertos criterios de focalizacin u otros, entonces utilizar la diferencia de medias como el impacto del programa no sera correcto, y por ende: ,
18 El Anexo 5 expone los conceptos fundamentales de evaluacin de impacto y qu elementos se debe tener en consideracin. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
39
la medicin del impacto del programa resultar sesgada, esto es, lo que se infiere de la ecuacin anterior es que la seleccin de individuos beneficiarios del programa no es independiente de sus resultados potenciales. Dependiendo de la magnitud y el signo del sesgo, se puede llegar a subestimar o sobrestimar el impacto de un programa. En el extremo, se pueden evaluar positivamente los resultados finales de una intervencin cuando stos son negativos o viceversa 19 . Siguiendo esta descripcin, a continuacin se desarrollar la metodologa que intenta simular las condiciones de un diseo experimental a partir de la generacin de una base de datos de beneficiarios y no-beneficiarios y usando avanzadas tcnicas estadsticas, las cuales se aplican una vez que el programa ya tuvo lugar, es decir, una vez que ya se seleccionaron los beneficiarios del programa a travs de sus propios criterios sin considerar mtodos aleatorios, como es el caso de este estudio prctico. Por esta razn, una condicin necesaria para el desarrollo de un diseo cuasi- experimental, es la existencia de una base de datos de beneficiarios y no beneficiarios, que contenga para ambos grupos informacin sobre los criterios de elegibilidad del programa, esto es aquellas variables y/o caractersticas que se utilizaron para determinar a quines implementar el tratamiento. Para tal efecto se propone la realizacin de una lnea base y de seguimiento que proporcione la obtencin de informacin sobre las variables que permitirn medir los resultados finales o impactos esperados de la intervencin 20 .
3.5.1. Zona comparable al estudio prctico
Esta estrategia de evaluacin de impacto constituye el mejor esfuerzo para construir un grupo de control que represente el escenario contrafactual de las UJV, y se enfoca en seleccionar una zona geogrfica no participante del Estudio Prctico de Unidades de Justicia Vecinal, que sea comparable en el mayor nmero de indicadores socio- demogrficos con las comunas partcipes de las cuatro comunas en las cuales se han
19 Metodologa Evaluacin de Impacto Aspectos Relevantes, realizado por la Divisin de Control de Gestin de la Direccin de Presupuestos del Ministerio de Hacienda. 20 Metodologa Evaluacin de Impacto Aspectos Relevantes, realizado por la Divisin de Control de Gestin de la Direccin de Presupuestos del Ministerio de Hacienda. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
40
implementado Unidades de Justicia Vecinal. Luego, dentro de las cuatro comunas beneficiarias y la zona no beneficiaria comparable, se deben seleccionar a los individuos que compondrn la muestra en estudio. Entonces, se propone que el proceso de seleccin de una zona comparable a las cuatro comunas donde se implementa el estudio prctico de las Unidades de Justicia Vecinal, sea realizado utilizando la metodologa de matching. Esto es, modelando estadsticamente la instalacin de UJV en las 4 comunas beneficiarias y posteriormente, revisar las caractersticas de elegibilidad de zonas geogrficas que no fueron seleccionadas para instalar UJV, pero que presentan caractersticas similares a las comunas beneficiarias, y por lo tanto, podras haber sido seleccionadas para la realizacin del estudio prctico. Se debe sealar que las comunas en las cuales se implementan las 4 Unidades de Justicia Vecinal del estudio prctico fueron seleccionadas considerando dimensiones de anlisis tales como: Densidad poblacional Existencia de centro cvico Cercana de los servicios comunales Red social local existente Encontrarse en la Regin Metropolitana
En consecuencia, se deberan analizar las mismas variables para la seleccin de una zona geogrfica comparable, adems de otras que pueden contribuir a contar un contexto local comparable. En la medida que exista la informacin, al menos, se deberan utilizar las siguientes dimensiones 21 : Disposicin de los alcaldes a cooperar con intervenciones pblicas similares Escolaridad promedio Ingreso per cpita
21 Para la obtencin de estas dimensiones, una buena fuente de informacin sera la Encuesta CASEN, la cual puede proporcionar estas caractersticas a nivel comunal. Por ejemplo, para el clculo del ndice de hacinamiento en las viviendas, una medida es la que se indica en el Anexo 1, como la razn entre el nmero de personas que vive en el hogar respecto al nmero de habitaciones en el hogar. Luego para obtener una medida relacionada a la presencia de drogas, se puede utilizar la informacin de la base de datos del CONACE. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
41
Porcentaje de pobreza ndices de delincuencia Porcentaje de desempleo Porcentaje de poblacin infantil y adulta ndice de hacinamiento en las viviendas ndices de salud ndices de drogadiccin
Es as como, analizando los indicadores sealados se podr encontrar una zona geogrfica lo ms parecida posible a las 4 comunas beneficiarias de UJV, que se diferencie principalmente, por no contar con los servicios de las Unidades de Justicia Vecinal, de tal manera que sean comparables entre s. Una vez que se cuente con la identificacin de una zona comparable, se debe realizar un diseo muestral para sortear a los individuos que compondrn la muestra, diferenciando entre el grupo de tratamiento (residentes en comunas beneficiarias) y el grupo de control (residentes en la zona geogrfica comparable). Para ello, se propone un diseo muestral aleatorio simple dentro de las 4 comunas beneficiarias, y la zona geogrfica comparable. A travs de esta estrategia de evaluacin, ser posible estudiar el impacto de las Unidades de Justicia Vecinal sobre variables de resultados o de impacto, a travs de una comparacin entre individuos que enfrentan conflictos vecinales de las comunas beneficiarias respecto de otra zona geogrfica similar a stas. La informacin necesaria ser recogida a travs del Cuestionario de Lnea Base y Seguimiento (Ver Anexo 6) en dos momentos del tiempo, antes de la implementacin en rgimen de las UJV y despus de sta. Se debe sealar que esta estrategia de evaluacin de impacto no involucra en absoluto una alteracin en la ejecucin del estudio prctico de las Unidades de Justicia Vecinal, es decir, no implica un cambio en ninguna de las reas de trabajo. Slo es necesario, una base de datos lo suficientemente rica en informacin socio-demogrfica a nivel de barrios y/o comunas para seleccionar una zona geogrfica comparable a las 4 comunas beneficiarias, y luego, una base de datos a nivel de individuos construida a partir de la Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
42
realizacin de una encuesta de lnea base y posteriormente, una encuesta de seguimiento. La informacin que se recoja en comunas con Unidades de Justicia Vecinal y en zonas geogrficas sin stas, debe permitir la caracterizacin socioeconmica de los individuos, as como su potencial o actual enfrentamiento a conflictos vecinales, de modo que los anlisis estadsticos permitan un adecuado control de los factores no asociados a la intervencin que se evala. El anlisis comparativo entre el grupo de tratamiento y control requerir del uso de informacin a nivel individual puesto que an en las comunas donde se han instalado las Unidades de Justicia Vecinal habr personas y familias que hayan sido objeto directo de los beneficios de esta intervencin (porque han tenido un conflicto y han utilizado este programa) como otras que no han sido beneficiados (unos porque no han tenido conflictos; otros porque no estn enterados an de las UJV). Con informacin equivalente para beneficiarios y no beneficiarios de UJV, despus de un determinado periodo de implementacin de las UJV, se podrn identificar aquellas diferencias generadas por la intervencin que realizan las Unidades de Justicia Vecinal, a travs de modelos economtricos especialmente diseados para la evaluacin de impacto. 3.5.2. Tamao muestral
La encuesta ser aplicada a individuos seleccionados aleatoriamente, para ello se deber calcular el tamao muestral, considerando los parmetros tpicamente utilizados para este clculo (Duflo, Glennerster y Kremer, 2007). Basndose en el documento Estudio Cuantitativo y Cualitativo de los Conflictos Vecinales y/o Comunitarios de las alternativas disponibles para su resolucin, del Ministerio de Justicia, elaborado por Collect Investigaciones de Mercado (2011), es Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
43
posible mencionar que de acuerdo a los resultados obtenidos en este estudio un 25% de la muestra 22 ha presentado un conflicto vecinal en el ltimo ao. Sin perjuicio de los clculos adicionales, se estima que contar con una muestra de 1.000 observaciones de individuos/hogares que registren un conflicto, sera deseable. Para ello, se requerira implementar una encuesta a 4.000 hogares pertenecientes a las 4 comunas que componen el grupo de control, con una pregunta filtro, de manera que solo se haga la encuesta ms larga a los aproximadamente 1.000 hogares que registraran contar con dicho conflicto. Esta encuesta tendra un costo mayor al de hacer 1.000 encuestas (porque se requeriran ms visitas) pero inferior al de 4.000. Por lo tanto, para la propuesta de seguir a 4 comunas de tratamiento y una zona de control, se aplicaran 2.000 encuestas. Todo lo anterior asegura contar con un tamao muestral suficiente para la elaboracin de los grupos de tratamiento y control.
3.5.3. Estimacin del impacto
Una vez construidos los grupos de control y de tratamiento, y teniendo mediciones de las variables de resultados y las variables que caracterizan al individuo y su entorno en dos momentos del tiempo (antes y despus de la intervencin de las UJV), se propone cuantificar el impacto de las Unidades de Justicia Vecinal a travs de la estimacin economtrica del modelo Diferencias en Diferencias. Este mtodo trata de estimar el impacto promedio del programa, as, estima primero el cambio en las variables de resultado experimentado por cada grupo, o ms precisamente por sus muestras, entre la lnea base y la encuesta de seguimiento, lo cual corresponde a la primera diferencia, luego comparando el cambio mostrado por el grupo de beneficiarios con el registrado en el grupo de no beneficiarios se obtiene la segunda diferencia 23 .
El impacto sobre la variable de resultado establecida en el modelo se obtiene estimando la siguiente ecuacin a travs de Mnimos Cuadrados Ordinarios:
22 De acuerdo al Informe Final Estudio Cuantitativo y Cualitativo de los Conflictos Vecinales y/o Comunitarios, y de las alternativas disponibles para su resolucin, elaborado por Collect Investigaciones de Mercado (Mayo 2011), se indica que la encuesta realizada corresponde a 2300 casos, con un margen de error estadstico para resultados totales de 2,04%, estimados para Nivel de confianza de 95%. 23 Metodologa Evaluacin de Impacto Aspectos Relevantes, realizado por la Divisin de Control de Gestin de la Direccin de Presupuestos del Ministerio de Hacienda. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
44
(1) Donde: : Variable de resultado para el individuo i en el periodo t (ejemplo: Duracin de los conflictos vecinales) : Variable igual a 1 si el individuo i pertenece al grupo de tratamiento y 0 si pertenece al grupo de control. : Variable igual a 1 si el dato de la variable resultado para el individuo i pertenece al periodo post-programa y 0 de lo contrario. : Conjunto de variables que caracterizan al individuo y su entorno. : Trmino de error aleatorio. Luego, el estimador del parmetro corresponde al impacto de la intervencin realizada por las UJV sobre la variable de resultado Y. Se debe sealar, que el modelo establecido en la ecuacin (1) debe ser estimado tantas veces como variables de resultado se quiera analizar. En base a los indicadores de resultados finales establecidos en la Matriz de Marco Lgico (Anexo 3), el modelo se debera estimar, al menos, utilizando las siguientes variables dependientes (Y): Autoreporte de los individuos sobre la disponibilidad de los servicios de justicia cada vez que los ha necesitado Autoreporte de los individuos sobre la oportunidad de los servicios de justicia. Conflictos vecinales en los que se ha buscado solucin. Duracin de los conflictos vecinales Indicador de conflictos vecinales en que se ha buscado solucin Indicador de conflictos vecinales solucionados Indicador de casos que reinciden en el conflicto vecinal despus de 6 meses Indicador de casos que reinciden en el conflicto vecinal despus de 12 meses Nivel de satisfaccin con la solucin del conflicto vecinal Gasto desembolsado por las personas para la resolucin de sus conflictos Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
45
La estimacin del modelo de la ecuacin (1) es lo que se conoce como mtodo de doble diferencia, este es el mtodo tcnicamente ms robusto puesto que elimina el efecto de caractersticas no observables que afectan la seleccin de los beneficiarios y por lo tanto, es la mejor forma de tratar el sesgo de seleccin, dado que se puede comparar el cambio registrado en el grupo de tratamiento con el cambio exhibido por el grupo de control. Esto permite eliminar los efectos generados por factores exgenos (ej.: efectos de incremento en desempleo, crisis econmica, factores de la naturaleza) en la variable de resultado, que impactan en igual magnitud al grupo de control y tratamiento en el perodo evaluado. No obstante es el ms exigente en trminos de informacin puesto que los estudios de lnea base no son muy comunes y los estudios de seguimiento, por lo general, enfrentan el problema de que es difcil localizar a los individuos de la muestra original, especialmente en el caso de los no beneficiarios. La ventaja de la formulacin anterior es que se puede agregar un vector de variables explicativas que permite controlar por diferencias observables existente entre el grupo de tratamiento y el de control antes del programa, que an persistan 24 . Si bien los individuos en el grupo de tratamiento y control habrn sido seleccionados de contextos territoriales comparables, es probable que subsistan heterogeneidades en la muestra. Es por ello que, para controlar por las diferencias entre individuos en el modelo de estimacin de impacto, se debe introducir el vector X con caractersticas individuales y de entorno. Entre estas variables, se deberan considerar: Gnero Edad Estado Civil Indicador de Jefe de Hogar Actividad principal del jefe de hogar Escolaridad Ingreso per cpita del hogar Miembros en el hogar ndice de hacinamiento
24 Sin embargo, si el coeficiente de la variable interactiva vara enormemente una vez que se controla por nuevas variables puede ser indicativo de que se tiene un deficiente grupo de control. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
46
Caractersticas de la vivienda: casa en calle, casa en condominio, casa pareada, departamento, cit, etc. Bajo qu situacin ocupa el sitio 25 : Propio pagado, Propio pagndose, Propio compartida (pagado) con otras viviendas del sitio, Propio compartida (pagndose) con otras viviendas del sitio, Arrendado con contrato, Arrendado sin contrato, Cedido por servicios, Cedido por familiar u otro, Usufructo (slo uso y goce), Ocupacin irregular, Otro. Bajo qu situacin ocupa la vivienda 26 : Propia pagada, Propia pagndose, Propiedad compartida (pagada) con otros hogares de la vivienda, Propiedad compartida (pagndose) con otros hogares de la vivienda, Arrendada con contrato, Arrendada sin contrato, Cedida por servicio, Cedida por familiar y otro, Usufructo, Ocupacin irregular (de hecho). Caractersticas del entorno: accesibilidad a servicios sociales, accesibilidad a reas verdes, percepcin respecto a la seguridad del barrio, entre otras.
3.5.4. Potenciales ventajas y desventajas
La ventaja de esta estrategia, es que permite hacer evaluaciones una vez que el programa ya est aplicndose y usar informacin levantada durante la implementacin de ste. Otro aspecto beneficioso de esta estrategia, es que permite obtener informacin en diversos niveles o dimensiones. Esto es, facultar adquirir informacin a nivel de individuos, agregados por tipo de conflicto vecinal, as como tambin a nivel de zonas geogrficas. Lo cual genera una riqueza de informacin enorme para la evaluacin de impacto de las UJV. En cuanto a las desventajas que puede presentar esta estrategia, se encuentra el hecho de que an cuando las tendencias sean paralelas entre ambos grupos antes del inicio de la intervencin, puede aparecer sesgo en la estimacin. Esto es, si hay
25 Pregunta V1, Encuesta Casen 2009, MIDEPLAN. 26 Pregunta V18, Encuesta Casen 2009, MIDEPLAN. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
47
cualquier otro factor que afecte la diferencia de las tendencias entre los dos grupos, la estimacin ser sesgada. La desventaja relacionada con el diseo del programa, es que no se puede controlar la heterogeneidad que pudiera existir en el grado de implementacin en cada comuna. Lo cual perjudicara en parte la comparacin entre las comunas, debido a que los componentes del programa no estaran siendo ejecutados en un mismo nivel a travs del tiempo en las comunas que forman parte del grupo de tratamiento. Se debe sealar que, en versiones anteriores a este informe, se consider utilizar la metodologa de Regresin Discontinua a nivel comunal, aprovechando los criterios establecidos para la seleccin de comunas para la implementacin de las UJV, de acuerdo a la diversidad territorial (urbano-rural) y socioeconmica. Es as como un grupo de control natural sera, para cada piloto, el valor de la caracterstica de ruralidad pobreza segn corresponda que se encuentre por sobre o debajo del establecido en la seleccin de la comuna en este estudio prctico. As, la comparacin de tendencias diversas en los grupos en el margen del cumplimiento del requisito podra constituir evidencia para el impacto de la estudio. Esta estrategia fue descartada porque la estrategia deba aplicarse a nivel comunal y no a nivel de individuos. En ese sentido, con 4 comunas pilotos, no se cuenta con un nmero suficiente de observaciones para una correcta utilizacin de esta metodologa. En consecuencia, es recomendable utilizar la metodologa de matching para la seleccin de zonas geogrficas comparables, para luego, seleccionar individuos dentro de stas, tal que, permita la estimacin del impacto de las UJV a nivel de personas.
3.5.5. Adecuacin ante posible expansin de las UJV
Es de suma importancia destacar y valorar el hecho de que el Ministerio de Justicia en su preocupacin por la comunidad, especficamente en el tema de los conflictos vecinales, haya optado por la aplicacin de un proyecto piloto antes de un programa a nivel nacional, considerando adems la utilizacin temprana de una evaluacin de Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
48
impacto y la aplicacin de un sistema de seguimiento y monitoreo, lo cual es el escenario ideal para la aplicacin de cualquier programa. Lo anterior cobra relevancia, ya que dado que est la intencin de expandir este proyecto de Unidades de Justicia Vecinal en una escala nacional, esta primera etapa de estudio prctico aporta los elementos claves en la orientacin del diseo y su posible expansin (Rawiings, Rubio, 2003). Sin embargo, si bien es valorable esta situacin, se considera oportuno recomendar la aplicacin de las Unidades de Justicia Vecinal en otros sectores, por ejemplo considerar algunos casos en regiones, es decir, la instalacin de las Unidades de Justicia Vecinal en algunas comunas de otras regiones al norte y sur de la Regin Metropolitana, que posean caractersticas distintas a las comunas de este estudio prctico, para poder posteriormente realizar seguimiento, monitoreo y evaluar el impacto de este proyecto en otros sectores. Toda vez que el proyecto genere un proceso de expansin a otras comunas, se debiera realizar el sistema de seguimiento y monitoreo, en conjunto con la evaluacin de impacto propuestos, de tal manera de respaldar en base a evidencia slida las futuras expansiones, permitiendo aumentar el conocimiento en cuanto al diseo del programa y adems aportar nueva informacin que ayude en la aplicacin del programa a nivel nacional. Especficamente, si el ao siguiente, el estudio prctico se extiende a una comuna en el norte u otra en el sur del pas, probablemente, stas tengan caractersticas especficas. En consecuencia, resultara necesario evaluar la intervencin a travs de la identificacin de un grupo de control residente en una zona geogrfica comparable, tal como se ha propuesto para la evaluacin de las 4 UJV ya implementadas en la Regin Metropolitana. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
49
Es necesario mencionar que la recomendacin recin planteada es fundamental, ya que, la evaluacin tomara en consideracin aspectos especficos locales, muy necesarios para la toma diferenciada de decisiones. Esto permite, realizar adecuaciones especficas, segn las particularidades de cada zona geogrfica del pas. Sin embargo, cuando se tiene un programa con intervencin en escala nacional se limita ampliamente el espacio de la evaluacin, en muchos de los casos es imposible poder evaluar el impacto por no contar con un grupo de control. Por este motivo, una de las grandes ventajas de contar con este proceso de evaluacin, es que proporciona a los responsables de formular polticas pblicas pruebas empricas respecto de la eficiencia y la eficacia, lo que adems permite replicar los programas a escalas geogrficas mayores y expandirlos a nuevos grupos demogrficos, as como implementar ajustes necesarios para el diseo de polticas, (Rawiings, Rubio, 2003).
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
50
4. Implementacin del modelo de monitoreo, seguimiento y evaluacin
En este apartado se presentan todas las dimensiones que involucra el modelo de seguimiento, monitoreo y evaluacin propuesto para el Estudio Prctico de las Unidades de Justicia Vecinal. En la Figura 2 se presenta la organizacin del seguimiento, monitoreo y evaluacin para las UJV a lo largo del tiempo. En primera instancia, se debe considerar que las cuatro Unidades de Justicia Vecinal instaladas para el estudio prctico fueron inauguradas y abiertas al pblico a principios del mes de mayo del ao 2011. En consecuencia, la lnea de tiempo presentada en la Figura 2 comienza al mes siguiente de implementacin de las UJV, es decir en el mes de junio del ao 2011. Esta lnea de tiempo, a travs de intervalos mensuales, indica los hitos relevantes propuestos para el modelo de seguimiento, monitoreo y evaluacin. Especficamente, se propone la realizacin de reportes de seguimiento y monitoreo mensuales. Esto para aumentar, sistemticamente, el conocimiento sustantivo del estudio prctico de las Unidades de Justicia Vecinal, a travs de la medicin de los indicadores que se presentan en los Anexos 3 y 4. Estos reportes son una herramienta clave en la gestin presente y futura de las UJV, los cuales debieran comenzar a realizarse a partir del mes de junio del ao 2011, y durante cada mes de la implementacin. Paralelamente, a partir del mes de junio del ao 2011, se propone la preparacin de dos tipos de estudios que deben ser externalizados. Primero, aquellos que tienen como objetivo la evaluacin de los procesos que involucran las UJV, y segundo aquellos para la evaluacin de impacto de las UJV a nivel del propsito para el cual fue diseado, para lo cual se aplicar un instrumento cuantitativo. Por lo tanto, se ha considerado un perodo de 3 meses para la realizacin de todos los trmites administrativos que conlleva externalizar estudios. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin el Estudio Prctico de las Unidades de Justicia Vecinal
51
Figura 2: Modelo de monitoreo, seguimiento y evaluacin del estudio prctico de las UJV
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
52
Es as como, se podra proponer el levantamiento de informacin cuantitativa para la realizacin de una lnea base a partir del mes de septiembre de 2011. En base a la experiencia del Centro de Microdatos en la aplicacin de encuestas, trabajo en terreno y procesamiento de datos recogidos, se propone un levantamiento de duracin de tres meses. Por lo tanto, se podra contar con las bases de datos correspondientes hacia finales del mes de noviembre del ao 2011.
En conjunto, sera necesario realizar el primer estudio cualitativo a partir del mes de octubre del ao 2011. Esto, con el objeto de dar cuenta del funcionamiento de cada una de las cuatro UJV, su coordinacin con la red social del municipio, as como de la profundizacin en las percepciones de usuarios sobre el servicio otorgado por las UJV, por otra parte aportara enriqueciendo la informacin cuantitativa levantada para la lnea base,. Este estudio podra estar disponible durante el mes de noviembre del ao 2011.
Luego, entre diciembre del ao 2011 y enero del ao 2012, ser posible realizar un estudio que consolide la informacin levantada en la lnea base, en el primer estudio cualitativo, y en los reportes de monitoreo. Esto, para tener una visin general del funcionamiento del estudio prctico y la evolucin en el tiempo de los indicadores de inters, con el objetivo de tomar decisiones respecto a una posible expansin de las UJV durante el ao 2012, o tomar acciones correctivas en las cuatro UJV ya instaladas para la realizacin del estudio prctico.
Hacia mediados del ao 2012, se propone la realizacin de un segundo estudio cualitativo, para analizar el desarrollo y funcionamiento de los procesos de las UJV, despus de un ao de implementacin, as como el resultado de las acciones correctivas al diseo original de las UJV, que pudieran realizarse durante el primer ao.
Finalmente, en septiembre del ao 2012, transcurrido un ao del levantamiento de la lnea base, se propone la realizacin de la primera encuesta de seguimiento, la cual permitir realizar el primer estudio de impacto del estudio prctico de las Unidades de Justicia Vecinal y analizar si se ha cumplido el propsito de ste.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
53
Adicionalmente, se podra realizar una segunda encuesta de seguimiento despus del segundo ao de implementacin, lo cual permitira analizar el cumplimiento del propsito de las UJV una vez que stas se encuentran funcionando en rgimen, es decir, cuando los procesos se han consolidado y cuando debera existir un mayor conocimiento por parte de los usuarios, sobre los servicios entregados por las UJV.
Cumplir con este esquema es de suma relevancia y adems necesario para poder aplicar las tcnicas de evaluacin propuestas, ya que asegura cumplir con todos los aspectos metodolgicos que requiere la evaluacin de impacto de las UJV y aplicar las encuestas programadas segn los criterios necesarios. Esto es, contar con dos mediciones en el tiempo de variables de inters para un grupo de tratamiento y control.
Si lo anterior no se cumple, entonces, una alternativa es utilizar un instrumento con preguntas retrospectivas, el cual, levante informacin sobre el pasado de los encuestados, y segn esto, se pueda estimar el impacto sobre diferentes variables de resultado.
El problema es que las personas van olvidando parte de su historia y el dato levantado puede tener error de medicin. Esto se agrava mientras mayor es el perodo que transcurre entre el momento de la encuesta y el momento del pasado que se desea levantar la informacin. En sntesis, teniendo dos mediciones se asegura mayor veracidad en los datos levantados.
Por otro lado, resulta necesario levantar la lnea base en las fechas sealadas, ya que, la implementacin de las UJV llevara slo un par de meses. Se debe sealar que, como no se hizo una promocin formal de la intervencin, si no que slo una sensibilizacin a actores clave, sera razonable asumir que personas no residentes en las comunas con UJV tengan escaso o nulo conocimiento sobre el estudio prctico. An as, a pesar del poco tiempo que llevan en operacin las UJV, podran encontrarse personas que s tienen conocimiento de ellas, sin embargo, se asume que estos casos sern mnimos.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
54
Lo anterior toma relevancia porque, a medida que pasa el tiempo, es ms probable que ms personas conozcan los servicios otorgados por las UJV, y en ese caso, se pierde la oportunidad de levantar informacin previa a la implementacin, es decir, sobre el escenario sin intervencin.
En consecuencia, si se posterga la aplicacin de la lnea base, entonces, adems del instrumento con preguntas restrospectivas cuyos problemas ya han sido sealados, ser necesario recurrir a tcnicas economtricas adicionales para controlar por posibles problemas en el grupo de tratamiento y control establecidos para esta evaluacin, ya que, el grupo de comparacin eventualmente podra verse contaminado (Rawiings, Rubio, 2003), lo cual sera tremendamente perjudicial para los resultados y anlisis de esta evaluacin y no proporcionara una evidencia confiable para las autoridades que deben tomar la decisin de expandir a escala nacional este proyecto.
La descripcin de cada uno de los instrumentos necesarios para la recoleccin de la informacin, as como el objetivo, metodologa y costos de los estudios y reportes sealados se presentan en los siguientes apartados.
4.1. Instrumentos de recoleccin de informacin
Un aspecto relevante a considerar en el diseo del modelo de seguimiento, monitoreo y evaluacin de las Unidades de Justicia Vecinal, corresponde a los instrumentos de recoleccin de informacin. Esto porque, no existe una fuente con toda la informacin necesaria, y por lo tanto, sta debe ser recogida a partir de diferentes fuentes.
Especficamente, para monitorear y evaluar el estudio prctico de las UJV, se debe contar, al menos, con los siguientes cuatro instrumentos de recoleccin de informacin: Sistema informtico de las UJV: Corresponde a una herramienta fundamental de trabajo de cada UJV, ya que, los equipos de trabajo lo utilizan como el repositorio de informacin de los casos ingresados y las actividades relacionadas a cada uno de ellos. Es un sistema que permite contar con informacin en lnea, descargar bases de datos, y por lo tanto, contar con informacin de calidad y de Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
55
manera oportuna para los usuarios, pero tambin para el monitoreo del funcionamiento de las UJV.
Este sistema cuenta con un mdulo de recepcin, el cual est diseado para el registro de la informacin de los usuarios en su primera atencin en las UJV. Tambin incluye un mdulo de evaluacin, para que el equipo evaluador visualice los casos asignados a evaluar, en proceso de evaluacin o ya evaluados y derivados a la va de solucin de conflicto correspondiente. Luego, el mdulo de mecanismos de solucin, en trminos generales, contiene el historial de los casos, antecedentes, entrevistas individuales, grupales, sesiones, y cierre del caso. Adems, se encuentra el mdulo de seguimiento, el cual, contiene las actas de acuerdo, las sentencias judiciales, los fallos, y derivaciones, segn corresponda a cada caso, y permite registrar el cumplimiento de stos y las acciones de apoyo que se pudieran realizar por parte del equipo de las UJV.
Finalmente, se desarrollar un mdulo de control de gestin, el cual permitir contar con un cuadro de mando en lnea, segn perfil de usuario.
Este instrumento es fundamental para el desarrollo del seguimiento y monitoreo de las UJV, ya que, contiene toda la informacin administrativa que se genera producto del funcionamiento de cada UJV.
Encuestas de satisfaccin a usuarios de las UJV: El Ministerio de Justicia, a travs de la Direccin de Gestin y Modernizacin, ha contemplado la realizacin de tres instrumentos a los usuarios de las UJV.
En primera instancia, todas las personas que ingresan a una UJV, deben completar el indicador de atenciones, el cual identifica al usuario y registra la razn de la visita a la UJV. A travs de este instrumento, se cuenta con el nmero total de visitas a las UJV y motivos, incluso cuando algunas pudiesen no ser atendidas al momento de la visita. A este instrumento se le denomina Indicador de atenciones y es registrado en el Sistema Informtico de las UJV.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
56
Luego, existe la Encuesta O.I.R.S 27 que se aplica una vez que el conflicto corresponde a materia de UJV. Este instrumento slo evala la atencin recibida por los usuarios en el proceso de Recepcin del Caso. La informacin recogida es sistematizada por la O.I.R.S del Ministerio de Justicia.
Finalmente, una vez que concluye el servicio de la UJV, se aplica una Encuesta de Satisfaccin, auto aplicada y en papel, independiente de si el conflicto fue resuelto o no. El objetivo es analizar la satisfaccin de los usuarios respecto a todos los procesos por los que ha transcurrido a partir del ingreso de su caso a la UJV, hasta el cierre de ste. Esta informacin es sistematizada directamente por la Direccin de Gestin y Modernizacin del Ministerio de Justicia, y tiene gran riqueza al ser un instrumento aplicado a todos los usuarios cuyo caso se le ha puesto trmino.
Encuesta para la evaluacin de las Unidades de Justicia Vecinal: Este instrumento es cuantitativo, y debe aplicarse a una muestra de personas en comunas beneficiarias por las UJV, y a otra muestra de personas comparables, en comunas donde no se ha instalado el servicio de UJV, es decir, un grupo de control. As mismo, se debe considerar la aplicacin de este instrumento, al menos en dos momentos diferentes del tiempo. Primero, para el levantamiento de una lnea base, y luego, para el seguimiento a los mismos encuestados.
De esta manera ser posible comparar indicadores de resultados intermedios y finales entre grupo de tratamiento y control, mediante al menos dos momentos de la implementacin de las UJV, esto es al inicio (instrumento de lnea base) y luego de un periodo considerable (instrumento de seguimiento), con el objetivo de evaluar si el estudio prctico de las UJV ha cumplido con el propsito para el cual fue diseado.
Entre los contenidos o mdulos que debe considerar el cuestionario de esta encuesta se propone:
- Mdulo Hogar: Diseado para el levantamiento de informacin relacionada a los antecedentes socio-demogrficos del entrevistado y de su hogar.
27 Oficina de Informacin, Reclamos y Sugerencias. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
57
- Mdulo Conflictos Vecinales: Diseado para identificar a aquellas personas que efectivamente tienen conflictos vecinales, en qu materia, su gravedad, duracin del conflicto, externalidades producto de ellos, costos involucrados y mtodos de solucin.
- Mdulo Unidades de Justicia Vecinal: Diseado para capturar conocimiento y uso de los servicios de las UJV. Este mdulo se debera realizar slo a aquellos encuestados que compongan el grupo de tratamiento, es decir, se encuentren en comunas donde se implementa el proyecto.
En el Anexo 6 del presente informe se encuentra una propuesta con los contenidos mnimos con que debera contar este instrumento.
Pautas de entrevistas o de grupos focales: Corresponden a los instrumentos para la realizacin de los estudios cualitativos. stos estn dirigidos al equipo de trabajo de las UJV, actores relevantes del Ministerio de Justicia, personas externas relacionadas, como del municipio o de la red social asociada a ste, as como tambin, a los propios usuarios de las UJV.
El objetivo de estos instrumentos consiste en indagar sobre las percepciones que tienen los entrevistados respecto al funcionamiento de las UJV. En el Anexo 7 del presente informe se puede revisar una propuesta de estos instrumentos.
4.2. Evaluacin: estudios y reportes
En este apartado se describen los objetivos, metodologa, tiempo involucrado y costos asociados a los estudios propuestos para el Modelo de seguimiento, monitoreo y evaluacin del estudio prctico de las Unidades de Justicia Vecinal, presentados de acuerdo al tipo de evaluacin al cual se relacionan. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
58
4.2.1. Evaluacin de Procesos
Para la evaluacin de procesos de las Unidades de Justicia Vecinal, tal como ha sido sealado, se propone la realizacin de dos estudios de carcter cualitativo, los cuales tendrn espacio dentro del primer ao de implementacin.
Los estudios cualitativos permiten comprender de manera emptica, las miradas y perspectivas ms comunes y consensuadas, sobre lo que se desarrolla y sucede respecto de la temtica de estudio, en este caso, lo que ocurre en las diferentes Unidades de Justicia Vecinal.
La estrategia metodolgica de estos estudios consta de la realizacin de entrevistas en profundidad y grupos focales a informantes calificados y personas involucradas en dos momentos del tiempo. A continuacin se detallarn los estudios que comprende esta evaluacin.
Primer estudio cualitativo
Se propone un primer estudio cualitativo, para medir y evaluar la instalacin de las Unidades de Justicia Vecinal as como el proceso de implementacin.
La evaluacin del proceso de instalacin de las Unidades de Justicia Vecinal supone un momento relevante dentro de la implementacin del programa; ya que no slo implica evaluar aspectos formales y de infraestructura sino tambin involucra el momento de reclutamiento y capacitacin de las personas que van a ser parte de este equipo y proceso. Siendo este ltimo hecho fundamental para el buen desarrollo de todos los procesos que involucra una UJV.
Por su parte, el proceso de implementacin de las Unidades de Justicia Vecinal involucra los diferentes procedimientos que llevan a cabo, los cuales se presentan en la Figura 3. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
59
Figura 3: Procedimientos de las Unidades de Justicia Vecinal
De este modo, el primer estudio cualitativo debera pretender evaluar ambos procesos y conocer la percepcin de aquellos actores que participan de ellos. Objetivo general del Primer Estudio Cualitativo
Conocer la percepcin de los actores involucrados en el proceso de instalacin e implementacin en el Estudio Prctico de las Unidades de Justicia Vecinal en las comunas seleccionadas como beneficiarias.
Objetivos especficos del Primer Estudio Cualitativo
1. Indagar en la coordinacin realizada con los actores de la Municipalidad correspondiente y con las redes sociales asociadas y la motivacin que tienen estas instituciones respecto de la implementacin de las Unidades de Justicia Vecinal en la comuna. 2. Indagar en el proceso de instalacin de las Unidades de Justicia Vecinal respecto de los requerimientos necesarios que debe tener el local donde se implementa la UJV, su adaptacin y equipamiento de modo de poder cumplir con dichos requerimientos. 3. Conocer la satisfaccin de los equipos de trabajo que las conforman, respecto de la infraestructura y equipamiento de las Unidades. 4. Conocer la percepcin de los actores involucrados sobre las capacitaciones realizadas previas al inicio de la implementacin de las Unidades de Justicia Vecinal. 5. Determinar las responsabilidades y coordinacin de los distintos actores vinculados al proceso de implementacin de las Unidades de Justicia Vecinal. 6. Indagar en los diferentes procedimientos que se llevan a cabo en la implementacin de las Unidades de Justicia Vecinal: recepcin del caso, evaluacin Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
60
del caso y derivacin al mecanismo correspondiente, mecanismos de solucin de conflictos y el seguimiento, acuerdos y cumplimiento. 7. Identificar las principales deficiencias y problemticas detectadas en el proceso de implementacin general y en particular de cada uno de los procedimientos llevados a cabo, identificar las soluciones tomadas frente a las diferentes problemticas enfrentadas. Asimismo, los aspectos que presentan un adecuado funcionamiento. 8. Conocer la percepcin de los usuarios en cuanto a la atencin recibida en cada uno de los procesos de las Unidades de Justicia Vecinal y en la posterior resolucin -en caso de existir- de sus conflictos.
Segundo estudio cualitativo
Se propone un segundo estudio cualitativo para realizar una nueva evaluacin de la implementacin de las UJV, pero ya ms avanzada en el tiempo 28 con el fin de indagar en posibles cambios ocurridos en el transcurso de la implementacin y considerar las acciones correctivas que se tomarn despus de un ao de iniciado el proceso. De este modo se pretende conocer la percepcin de aquellos actores que participan de los diferentes procesos que involucran las UJV, respecto de los cambios realizados con el diseo original.
Objetivo General Conocer la percepcin de los actores involucrados en el proceso de implementacin del Estudio Prctico de las Unidades de Justicia Vecinal en las comunas seleccionadas como beneficiarias. Objetivos Especficos 1. Indagar en la coordinacin realizada con los actores de la Municipalidad correspondiente y con las redes sociales asociadas y la motivacin que tienen estas instituciones respecto de la implementacin de las Unidades de Justicia Vecinal en la comuna.
28 Ver cronograma donde se sugiere realizar el segundo estudio cualitativo. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
61
2. Conocer las responsabilidades y coordinacin de los distintos actores vinculados al proceso de implementacin de las Unidades de Justicia Vecinal. 3. Indagar en los diferentes procedimientos que se llevan a cabo en la implementacin de las Unidades de Justicia Vecinal: recepcin del caso, evaluacin del caso y derivacin al mecanismo correspondiente, mecanismos de solucin de conflictos y el seguimiento, acuerdos y cumplimiento. 4. Identificar los principales cambios realizados al diseo original de las UJV y la evaluacin de dichos cambios. 5. Identificar las principales deficiencias y problemticas detectadas en el proceso de implementacin general y en particular de cada uno de los procedimientos llevados a cabo, identificar las soluciones tomadas frente a las diferentes problemticas enfrentadas. Asimismo, los aspectos que presentan un adecuado funcionamiento. 6. Conocer la percepcin de los usuarios en cuanto a la atencin recibida en cada uno de los procesos de las Unidades de Justicia Vecinal y en la posterior resolucin -en caso de existir- de sus conflictos.
Diseo metodolgico del Primer y Segundo Estudio Cualitativo
Luego de definir ambos estudios cualitativos, se proceder a desarrollar el diseo metodolgico en el cual se lleva a cabo la evaluacin de procesos.
Para el desarrollo de los objetivos anteriores, se propone la realizacin de entrevistas en profundidad y grupos focales a informantes calificados y personas involucradas en las diferentes etapas del proceso del Estudio Prctico, de manera de abarcar todos los campos posibles y obtener la mayor informacin sobre la instalacin y la implementacin de las Unidades de Justicia Vecinal.
Mediante la tcnica de entrevistas en profundidad, es posible ahondar en las perspectivas de los actores participantes en el diseo e implementacin del Estudio Prctico de las Unidades de Justicia Vecinal comprendiendo los sentidos y significados que tiene dicha experiencia. As como acceder a las miradas y perspectivas ms comunes y consensuadas sobre el Estudio Prctico segn los diferentes actores y, a los aspectos crticos, debilidades y aspectos a atender y corregir.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
62
Se propone como estrategia, realizar las entrevistas de forma presencial y semi estructuradas. Esta metodologa incluye temticas predefinidas a profundizar, permitiendo tambin la incorporacin de aspectos no contemplados inicialmente y que sean de relevancia para los entrevistados.
Por su parte, los grupos focales tienen por objetivo discutir una temtica comn propuesta por el investigador y lograr la interaccin discusin y elaboracin de acuerdos dentro de dicho grupo. Los grupos focales es una participacin dirigida y consciente y las conclusiones son producto de esta interaccin. Un punto importante en los grupos focales es que los participantes tengan una experiencia especfica u opinin sobre la temtica o hecho de investigacin; requiere de un guin o pauta de funcionamiento que contenga los temas a desarrollar y que la experiencia subjetiva de los participantes sea explorada en dichas mesas.
El propsito fundamental de los grupos focales es registrar cmo los participantes elaboran grupalmente su realidad y experiencia. Reflejando que todo acto comunicativo tiene siempre su contexto, -cultural o social- y el moderador debe dar prioridad a la comprensin de dichos contextos comunicativos y a sus diferentes modalidades.
Grupo objetivo del Primer y Segundo Estudio Cualitativo
El grupo objetivo est delimitado por los actores involucrados en el proceso de instalacin e implementacin de las Unidades de Justicia Vecinal. De este modo se propone levantar la informacin a partir de la realizacin de entrevistas en profundidad a los siguientes actores: 1. Persona encargada desde el Ministerio de Justicia de la implementacin en terreno. 2. Alcalde de la Municipalidad en la que se est desarrollando el Estudio Prctico de Unidad de Justicia Vecinal. 3. Jefe de Unidad de cada UJV. 4. Ejecutivos de Atencin a usuarios de cada UJV. 5. Asistentes administrativos. 6. Evaluadores jurdicos de cada UJV. 7. Evaluadores sociales de cada UJV. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
63
8. Facilitadores de cada UJV. 9. Mediador de cada UJV. 10. Conciliador 29 . 11. rbitro de cada UJV. 12. Abogado de la Corporacin de Asistencia Judicial 13. Juez de Polica Local o persona involucrada en el tribunal.
Adems, se propone realizar grupos focales a los beneficiarios y usuarios de cada Unidad de Justicia Vecinal. Esto, con el objetivo de evaluar la satisfaccin de los usuarios en cuanto al funcionamiento de las UJV en cada uno de los procesos sealados anteriormente y del cual ellos fueron parte.
La seleccin de usuarios debe realizarse considerando la va de solucin de conflictos al cual son derivados (conciliacin, mediacin, juicio en Juzgado de Polica Local, arbitraje y derivacin a red local), poder indagar en los diferentes procesos por los que pasan y llegar a la mayor cantidad de informacin, siempre determinado por el criterio de saturacin de la informacin.
Instrumentos del Primer y Segundo Estudio Cualitativo
De este modo, los instrumentos a utilizar van a estar conformados de acuerdo a los objetivos estipulados de manera de evaluar todos los procesos involucrados en la instalacin e implementacin de las Unidades de Justicia Vecinal.
Se proponen pautas de entrevistas tipo, las que estn sujetas a modificacin, dependiendo de la institucin que realice el primer estudio cualitativo y que presentan mdulos de preguntas generales y mdulos con preguntas especficas, de acuerdo al tipo de participacin e informacin que maneja cada entrevistado.
Entonces, la Figura 4 resume la propuesta del primer estudio cualitativo del Estudio Prctico de las Unidades de Justicia Vecinal, sealando el total de entrevistas realizar.
29 Existe un Conciliador que va rotando entre las 4 UJV del Estudio Prctico. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
64
Figura 4: Entrevistas a realizar en Primer Estudio Cualitativo a UJV
Luego, las pautas que guiarn la conversacin en los grupos focales de usuarios de UJV deberan profundizar aspectos extrados a partir de lo observado en las encuestas de satisfaccin de usuarios realizadas en las UJV. Tambin, deberan considerar aquellos puntos crticos percibidos al recibir el servicio de las UJV y aquellos aspectos destacables. Con ello, se podra conocer a cabalidad la percepcin que tienen los usuarios respecto a todos los procesos de las UJV y del modelo de justicia vecinal que el estudio prctico supone. En la Figura 5 se visualiza el nmero de grupos focales que al menos se deberan realizar por Unidad de Justicia Vecinal.
Figura 5: Grupos Focales a realizar en Primer Estudio Cualitativo a UJV
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
65
La cantidad de grupos focales depender del nmero de casos que ingresen por va de solucin y por el criterio de saturacin de informacin. Esto quiere decir que en la medida que salga nueva informacin sobre lo que se est profundizando es necesario seguir aplicando el instrumento hasta que se sature la informacin. Por lo que se asume que al menos se debe realizar un grupo focal por va de solucin (considerando el nmero de casos ingresados) y si el nmero de casos lo permite el nmero ideal de grupos focales puede ser de al menos de 3 y en caso de ser necesario ir aumentado dicho nmero.
Es necesario tener en cuenta que el ideal de participantes de un grupo focal es de 6 a 10 personas, nmero que favorece la discusin y la pluralidad de ideas.
En el Anexo 7 del presente informe se presentan los instrumentos tipo, propuestos para levantar la informacin sealada, segn actor correspondiente.
Tiempo de ejecucin y personal requerido para el Primer y Segundo Estudio Cualitativo
La presente propuesta de estudio cualitativo, en virtud de lo que se plante anteriormente, se estima que requiere de al menos dos meses de ejecucin. El cual contempla los siguientes aspectos: 1. Diseo de los instrumentos a utilizar. 2. Aplicacin de los instrumentos. 3. Anlisis de la informacin. 4. Informe Final.
Para la aplicacin de los instrumentos se requiere personal con experiencia en el manejo y desarrollo de instrumentos cualitativos. Asimismo, para el anlisis de dichos instrumentos se requieren profesionales expertos en el anlisis de informacin cualitativa, provenientes del rea de las ciencias sociales como lo son socilogos, antroplogos y psiclogos.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
66
4.2.2. Evaluacin de Impacto
El primer estudio de impacto de las UJV se debe realizar una vez que se cuente con dos mediciones en el tiempo de los grupos de tratamiento y control seleccionados. En ese sentido, se aplica al inicio de la implementacin de las UJV un estudio de lnea base, luego de un ao, tal como se propone en la seccin anterior, se aplica la encuesta de seguimiento, este estudio es la continuacin natural del estudio de lnea base descrito anteriormente.
Por lo tanto, para la evaluacin de impacto de las UJV, se debe aplicar la misma encuesta tanto para el estudio de la lnea base como para el estudio de seguimiento, y a los mismos individuos. Es decir, de manera de generar una estructura de datos de panel y realizar estimaciones de diferencias en diferencias para evaluar el impacto de las UJV en las diferentes variables de resultado establecidas en la matriz de marco lgico. A continuacin se describen los dos estudios relacionados con la evaluacin de impacto de las UJV.
Lnea Base
Objetivo General
Construir una lnea base de las variables de resultados definidos para el Estudio Prctico de las Unidades de Justicia Vecinal, comprobando hiptesis extradas a partir del sistema de monitoreo y seguimiento, y el primer estudio cualitativo.
Objetivos Especficos:
1. Contar con un instrumento de recoleccin de informacin cuantitativa que permita el seguimiento de los mismos individuos en perodos posteriores. 2. Aplicar una encuesta presencial a una muestra de individuos, diferenciando entre grupo de tratamiento (puede acceder a los servicios de UJV) y control (no tiene acceso a los servicios de las UJV). 3. Cuantificar la prevalencia de conflictos vecinales en el grupo de tratamiento y control antes de la intervencin de las UJV. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
67
4. Identificar las materias declaradas como conflictos vecinales, su frecuencia, duracin y gravedad. 5. Cuantificar la disposicin de las personas para solucionar sus conflictos vecinales. 6. Medir el grado de conocimiento que tienen las personas respecto las UJV y los servicios entregados por stas, al inicio de la implementacin.
Encuesta Seguimiento
Objetivo general Analizar los resultados intermedios y finales o impactos atribuibles a las Unidades de Justicia Vecinal, y obtener juicios evaluativos sobre aspectos de diseo y resultados a nivel de productos de este estudio prctico. Objetivos especficos 1. Realizar un segundo levantamiento de informacin equivalente a los datos obtenidos en la lnea base, y de la misma muestra de individuos. 2. Realizar de manera independiente y objetiva un procesamiento y anlisis de informacin cuantitativa que permita conocer si las UJV han logrado sus resultados a nivel de producto. 3. Desarrollar y aplicar metodologas de evaluacin cuantitativas que permitan conocer si las UJV han logrado los resultados intermedios y resultados finales o impactos esperados, as como las externalidades asociadas a la operacin de las mismos. 4. Evaluar el uso de recursos en cada una de las UJV, y del estudio prctico en su completitud. 5. Entregar conclusiones precisas, identificando claramente las debilidades e insuficiencias en trminos de resultados del estudio prctico de las UJV, y realizar recomendaciones que permitan mejorar el desempeo de las UJV. 6. Realizar recomendaciones respecto a una posible expansin de las UJV a otras comunas del pas.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
68
Diseo Metodolgico de Encuesta de Lnea Base y de Seguimiento
Luego de definir el diseo muestral, en el apartado 3.5.2, estableciendo un tamao muestral de 1,000 para el grupo de tratamiento y 1,000 para el grupo de control, es fundamental contar con un instrumento adecuado para ser aplicado en el trabajo de campo, que permita obtener los datos necesarios para cumplir con los objetivos de la investigacin.
Se propone la aplicacin del Cuestionario de Lnea Base y Seguimiento presentado en el Anexo 6 del presente informe. Este instrumento se debe diagramar, tal que, se cuente con un diseo prctico para una buena lectura de las preguntas, saltos y filtros correspondientes, como tambin para contar con el espacio suficiente para el registro de la informacin por parte de los encuestadores.
De esta manera, el proceso del diseo de cuestionarios es esencial, ya que influye de forma directa en las respuestas que se obtendrn en la entrevista. Si las preguntas estn mal fraseadas o las escalas estn mal definidas o utilizadas, se puede generar no respuesta al tem, lo que podra eventualmente conllevar sesgo en las estimaciones realizadas. Para evitar que lo anterior suceda se debe seguir rigurosamente un proceso de validacin del cuestionario, para el cual se propone:
1. Primera revisin: El cuestionario preliminar debe ser revisado minuciosamente por el equipo a cargo del proyecto.
2. Entrevistas en profundidad: Esta tarea brindar un marco evaluativo de las preguntas del cuestionario de manera de acordar criterios, fijar las preguntas definitivas y su orden al incorporarlas en el cuestionario, en el sentido de complementar los resultados obtenidos en el pretest de esta encuesta.
3. Diagramacin grfica: El cuestionario resultante de la primera revisin ser diagramado grficamente de acuerdo a los cambios que se hubieren realizado en las distintas etapas de verificacin de la calidad del instrumento.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
69
4. Pretest: Se debe realizar un pretest para recoger informacin acerca de cmo los entrevistados perciben el cuestionario, para mejorar la redaccin y flujo del instrumento.
5. Segunda revisin: Luego de realizadas las entrevistas en profundidad se debe ajustar el cuestionario en base a los resultados obtenidos en estas entrevistas.
El objetivo de lo anterior es testear tanto el instrumento como las dificultades del trabajo de campo que traer el levantamiento real y definitivo. En efecto, con el objeto de que la encuesta experimental pueda entregar informacin sobre la dificultad del cuestionario sobre todo en el grupo de control. Los procesos de levantamiento de datos presenciales necesariamente deben incluir protocolos de contacto y de entrevista, ya que es la nica va por la que se puede asegurar, en cierto grado, que los encuestadores entreguen la misma informacin al entrevistado y no sesguen a priori sus respuestas. Una de las fuentes de error de las encuestas segn la literatura 30 , que no tiene que ver con la etapa de muestreo, es aquella que proviene del encuestador, en el sentido que un encuestador que no est debidamente capacitado o monitoreado puede inducir al entrevistado a error o bien codificar de mala manera las respuestas entregadas correctamente por el entrevistado; o, en el peor de los casos, puede incluso falsificar una encuesta. Por lo tanto, una parte fundamental del proceso de recoleccin de datos es la capacitacin detallada de los encuestadores, de tal manera que el personal a cargo de esta tarea quede al tanto de la importancia del rol que el encuestador tiene en el proceso de recoleccin de datos de una encuesta, los objetivos, alcances, contenidos y caractersticas de sta, el fraseo de preguntas y codificacin de las mismas, as como tambin detallar exactamente la razn por la que una entrevista no es realizada (cdigos de no respuesta) 31 incorporando adems tcnicas de acercamiento a los entrevistados, lo que se suma a los instrumentos que se utilizarn, enfatizando la
30 Biemer, P.P; Lyberg, L. E (2003). Introduction to Survey Quality. John Wiley and Sons, New Jersey.
31 Informacin que luego es utilizada para aplicar estrategias necesarias en el tema de la no respuesta. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
70
confidencialidad de las respuestas (secreto estadstico) en la que se enmarca todo este proceso. Luego, la aplicacin de la encuesta definitiva de lnea base y de seguimiento, debe realizarse bajo estrictos protocolos para la capacitacin de encuestadores, trabajo en terreno y reemplazos de individuos para el caso de las encuestas no logradas. Asimismo, se debe contar con mecanismos de control de calidad en las distintas fases de la recoleccin de informacin. Dado que el modo de aplicacin de la encuesta de lnea base ser en papel y lpiz, se deben realizar procesos de digitacin, validacin, codificacin y edicin de toda la informacin recogida durante el trabajo en terreno.
Una vez obtenida la base de datos tanto para el estudio de lnea base como de seguimiento se proceder a realizar la evaluacin de impacto de las UJV de acuerdo a la estrategia definida en la seccin 3.5. A travs de esta estrategia de evaluacin, ser posible estudiar el impacto de las Unidades de Justicia Vecinal sobre variables de resultados o de impacto, a travs de una comparacin entre individuos que enfrentan conflictos vecinales de las comunas beneficiarias respecto de otra zona geogrfica similar a stas, con datos provenientes de los dos estudios descritos.
Lo anterior permitir tener mediciones de las variables de resultados y las variables que caracterizan al individuo y su entorno en dos momentos del tiempo, por lo cual se podr cuantificar el impacto de las Unidades de Justicia Vecinal a travs de la estimacin economtrica del modelo Diferencias en Diferencias.
Grupo Objetivo de la Encuesta de Lnea Base y de Seguimiento
El grupo objetivo corresponde al grupo de tratamiento y control, y tal como se ha definido en secciones anterior, son personas que residen en comunas donde se implementan las UJV y personas que residen en zonas comparables, pero no cuentan con un servicio de UJV disponible, respectivamente
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
71
Tiempo de ejecucin y personal requerido para la Encuesta de Lnea Base y de Seguimiento
En cuanto al tiempo que demora el trabajo en terreno para cada levantamiento, tanto para la lnea base como la encuesta de seguimiento, se estima que en promedio tomar 2 meses en revisar el instrumento de medicin, realizar el piloto, aplicar la encuesta y digitalizar los datos Luego, es necesario considerar a lo menos, 2 meses ms para el procesamiento de los datos, armar el panel, y la realizacin de las estimaciones de impacto. Para el desarrollo de la lnea base y la encuesta de seguimiento, as como para el estudio de impacto de las UJV, se requiere una estructura de trabajo especial, el cual, combine tanto la experiencia en el levantamiento de encuestas de panel desde un punto de vista operacional, como profesionales expertos en el anlisis de informacin cuantitativa y desarrollo de metodologas de evaluacin de impacto, y experiencia en investigacin de justicia vecinal.
4.2.3. Reportes de monitoreo mensuales
A partir de la informacin proveniente del sistema informtico de las UJV, se propone realizar reportes mensuales de los indicadores relevantes definidos en la matriz de marco lgico de las UJV. Estos reportes pueden ser vistos como una funcin continua que se sirve de datos recolectados sistemticamente sobre indicadores especficos para informar sobre la operacin de las UJV, en relacin con sus logros y los resultados en el uso de los fondos asignados y de la entrega del servicio. En este caso, se propone que estos reportes mensuales sean realizados por actores internos del Ministerio de Justicia, y automatizarlo a travs del sistema informtico. Esto es, aprovechando la oportunidad de que el sistema informtico de las UJV an se encuentra en desarrollo, y se contempla la realizacin de un mdulo de control de gestin, se podra programas un informe tipo, el cual pueda ser impreso cada mes. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
72
En este caso, se debera considerar el costo de diseo del informe tipo, y el tiempo en programacin de ste en el sistema informtico.
4.2.4. Estudio consolidado lnea base y anlisis cualitativo
Se propone la realizacin de un estudio consolidado de lnea base, monitoreo y anlisis cualitativo. Contar con una lnea base, servir de punto de partida para la evaluacin de los resultados de las Unidades de Justicia Vecinal, adems de referencia para el seguimiento y la evaluacin de impacto del servicio proporcionado cuando se tenga una segunda medicin (y posteriores) de los indicadores de resultado propuestos, y adems considerarlo como el primer esfuerzo de sistematizacin para eventualmente implementar nuevos indicadores asociados a otras dimensiones de las Unidades de Justicia Vecinal no consideradas inicialmente.
Conjuntamente, se propone que todas las estadsticas descriptivas que se reporten en la lnea base, sean complementadas con los indicadores construidos por el Ministerio de Justicia para el sistema de monitoreo y seguimiento, y los resultados obtenidos en el primer estudio cualitativo. Lo anterior, permitira comprobar algunas hiptesis extradas a partir de los indicadores del sistema de monitoreo y seguimiento y del anlisis cualitativo, con datos cuantitativos y revisar si dichos resultados se replican al contar con una muestra de individuos a mayor escala. Es as como, se podra contar con un estudio consolidado, realizado por una institucin externa al Ministerio de Justicia, la cual tenga una mirada global de toda la informacin relacionada con las Unidades de Justicia Vecinal que hasta el momento haya sido recogida. Con ello, se podra contar con recomendaciones y conclusiones referidas a la implementacin de las UJV y uso por parte de la comunidad, las cuales tienen el valor de no tener ningn tipo de sesgos, al tratarse de una institucin independiente de todo el trabajo del diseo y ejecucin de las UJV. Aspecto muy recomendado en la literatura de evaluacin de programas.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
73
4.2.5. Primer estudio de impacto de las UJV
El primer estudio de impacto de las UJV se debe realizar una vez que se cuente con dos mediciones en el tiempo de los grupos de tratamiento y control seleccionados.
Por lo tanto, este estudio, consta del reporte de los anlisis de las estimaciones de diferencias en diferencias, en base a los datos con estructura de panel, y para evaluar el impacto de las UJV en las diferentes variables de resultado establecidas en la matriz de marco lgico.
Lo anterior permitir estudiar los resultados intermedios y finales o impactos atribuibles a las Unidades de Justicia Vecinal, adems de obtener juicios evaluativos sobre aspectos de diseo y resultados a nivel de productos de este estudio prctico. Por otra parte se debern identificar aquellos aspectos que constituyan debilidades e insuficiencias como as tambin las fortalezas de las UJV a nivel de resultados, y luego, poder realizar recomendaciones que ayuden a mejorar el desarrollo de las Unidades existentes, como as tambin una posible expansin a otras comunas del pas.
4.3. Costos aproximados de la estrategia propuesta
La propuesta anteriormente descrita considera, como costos adicionales a la plataforma informtica actualmente implementada por el Ministerio de Justicia, por ao, los de desarrollar un estudio cuantitativo y un estudio cualitativo, segn lo antes descrito. De esta manera, se estima que los costos totales (estudio cuantitativo ms cualitativo) podran ascender a $130 millones, aproximadamente. El monto anterior correspondera al costo para 2011 y otro monto equivalente debera ser considerado para 2012. Si se considera que el presupuesto del estudio prctico asciende a cerca de $1.500 millones, sin considerar el costo del equipo central en el Ministerio de Justicia, se estima que el costo asociado a evaluacin representa una proporcin apropiada al Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
74
presupuesto del programa en los dos primeros aos. Es an ms justificado, a nuestro juicio el costo de la recomendacin, si se estima que el programa desea incrementar significativamente su escala en los aos siguientes. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
75
Referencias Bravo, D. (2006), Hacia un sistema de monitoreo y evaluacin de impacto de los programas de alimentacin y nutricin en Ecuador. Informe Final de Consultora para el Programa Mundial de Alimentos. Bravo,D., Contreras, D. y Crespi, G. (2000), Evaluacin de Impacto en Formacin Empresarial, McGraw-Hill. Bravo, D., Domnguez, M., Pizarro, M., Weintraub, M. (2008), Diseo y planificacin de un sistema de monitoreo y evaluacin del nuevo sistema de responsabilidad penal adolescente. Informe Final de Consultora para el Ministerio de Justicia. Centro de Estudios de Justicia de las Amricas (CEJA), (2007). Reporte de la Justicia Tercera Edicin (2006-2007) Chile. 2007. DIPRES (2009). Metodologa para la elaboracin de Matriz de Marco Lgico, Divisin de Control de Gestin, Direccin de Presupuestos, Ministerio de Hacienda. Enero 2009. Frontaura, R., Leturia, F. (2008),Proyecto de Pertinencia y Posibilidad de Implementar Juzgados Vecinales en Chile, Justicia Civil: Perspectivas para una Reforma en Amrica Latina, Centro de Estudios de Justicia de las Amricas, 2008, pp. 434. Godoy, D. (2010). Justicia Vecinal: Mejorando el acceso a la justicia de todos los chilenos. Instituto Libertad. ISSN 0717-7933, Ao 2010. Hahn, Todd y Van derKlaauw (2001) Identification and Estimation of Treatment Effects with a Regression-Discontinuity Design.Econometrica, Vol 69, No. 1 , 201-209. Informe de la Comisin de Constitucin, Legislacin, Justicia y Reglamento del Senado respecto del proyecto de ley boletn N 869-07. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
76
Informe de la Comisin de Constitucin, Legislacin, Justicia y Reglamento del Senado respecto del proyecto de ley boletn N 869-07, pp. 4-7.
S.Khandker, G.Koolwal, H.Samad, Handbook on Impact Evaluation.Quantitative Methods and Practices. The World Bank, 2010. Ministerio de Justicia (2011a). Manual de Procedimientos, Estudio Prctico de Unidades de Justicia Vecinal, Direccin de Gestin y Modernizacin de la Justicia, Ministerio de Justicia, Santiago, Marzo de 2011. Ministerio de Justicia (2011b). Modelo de Unidades de Justicia Vecinal. Documento de Trabajo. Direccin de Gestin y Modernizacin de la Justicia, Ministerio de Justicia, Santiago, Marzo de 2011. Ministerio de Justicia (2010). Antecedentes para la preparacin del proyecto piloto de Unidades de Justicia Vecinal. Documento de Trabajo. Direccin de Gestin y Modernizacin de la Justicia, Ministerio de Justicia. Santiago, Julio de 2010. Ministerio de Justicia (2008). Comunicado de Prensa Mesa de Trabajo para Iniciar Proceso de Modernizacin de Justicia Local y Vecinal. 04 de julio de 2008. Organizacin de los Estados Americanos (2007). Acceso a la Justicia: llave para la gobernabilidad democrtica. Informe Final del Proyecto Lineamientos y Buenas Prcticas para un Adecuado Acceso a la Justicia en las Amricas. Ortegn E., Pacheco J., y Prieto A. (2005). Metodologa del marco lgico para la planificacin, el seguimiento y la evaluacin de proyectos y programas. Serie Manuales N 42. CEPAL 2005. Pedraz, E. (2006), Los Jueces De Proximidad. Revista jurdica de Castilla y Len. N 8. (2006). Pontificia Universidad Catlica de Chile. Presentacin Pertinencia y Posibilidad de Implementar Juzgados Vecinales en Chile. 2009. Proyecto de Ley Boletn N 869-07, que crea los juzgados vecinales. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
77
Rawlings, L., Rubio, G. (2003), "Evaluacin del impacto de los programas de transferencias condicionadas en efectivo", Secretara de Desarrollo Social, Serie Cuadernos de Desarrollo Humano, 10. Departamento de Desarrollo Social para Amrica Latina y el Caribe del Banco Mundial, 2003. Thistlewaite, D., Campbell, D.E. (1960), Regression discontinuity analysis: An alternative to the expostfactor experiment. Journal of Educational Psychology, 51, 309317. World Food Program, Monitoring and Evaluation Guidelines. Disponible en http://www.wfp.org/operations/evaluation/guidelines.asp. http://www.stepstoolkit.org/
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
78
Anexo 1: Poblacin potencial de las Unidades de Justicia Vecinal El Estudio Prctico de las Unidades de Justicia Vecinal se desarrolla a nivel comunal, en las siguientes comunas seleccionadas: Paine Cerrillos Macul Renca
Estas comunas cumplen con requisitos de diversidad territorial (urbano-rural) y socioeconmica existente en nuestro pas. Para esta seleccin de comunas se proceder la implementacin de Unidades de Justicia Vecinal, donde se espera que la poblacin que presente algn tipo de problema de ndole local o comunitario, acuda a estas unidades que promueven la solucin de este tipo de conflictos a travs de diversas vas, tanto autocompositivas como adjudicativas, ya sea, al interior de las Unidades de Justicia Vecinal o derivando el caso cuando corresponda. Dado que la implementacin de este estudio prctico se puede entender como un programa piloto, es que resulta pertinente realizar una descripcin de los potenciales demandantes de los servicios que otorgarn estas Unidades de Justicia Vecinal. Por este motivo, a continuacin se presentar una descripcin de la poblacin potencial relacionada a estas unidades para las 4 comunas seleccionadas. En el Cuadro NA1.1 se presenta la poblacin y su densidad para cada comuna participante de este proyecto piloto. Se observa que la comuna de Paine presenta la menor poblacin, correspondiente a 63 mil habitantes aproximadamente, con una densidad de poblacin de 92,82 habitantes por km 2 . Cerrillos cuenta con una poblacin similar, se indica en el cuadro que 67 mil habitantes pertenecen a esta comuna, la cual posee una densidad poblacional de 3.225,62 habitantes por km 2 . Siguiendo con esta descripcin, se aprecia que la comuna de Macul posee 67 mil habitantes con una densidad de poblacin de 7.884, 98 habitantes por km 2 . Renca en Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
79
tanto, posee un mayor nmero de habitantes y densidad poblacional por km 2 , con 132 mil y 5.481,28 habitantes respectivamente.
Cuadro NA1.1: Poblacin por Comuna Comuna N de personas Densidad Poblacional por km 2
Paine 63.242 92,82 Cerrillos 67.352 3.225,62 Macul 100.157 7.824,96 Renca 132.141 5.481,28 Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009 para primera columna-Ficha comunal SINIM 2009 para segunda columna.
Otra caracterstica relevante en la caracterizacin de las comunas para este proyecto piloto, es la composicin urbano-rural de las comunas. En el siguiente Cuadro NA1.2 se observa que la comuna de Paine es la nica comuna partcipe de este estudio que contiene poblacin rural. Se aprecia que el 66% de esta comuna corresponde a zona urbana, mientras que el 34% a zona rural. Tanto las comunas de Cerrillos, Macul y Renca se caracterizan en un 100% como zona urbana.
Cuadro NA1.2: Composicin Urbano-Rural Comuna Proporcin zona urbana por hogar Proporcin zona rural por hogar Paine 66% 34% Cerrillos 100% 0% Macul 100% 0% Renca 100% 0% Total Nacional 87% 13% Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009
Para seleccionar a estas 4 comunas, se incluyeron adems criterios de pobreza, para lo cual, es importante mencionar qu se entiende por condicin de pobreza e indigencia. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
80
De acuerdo a la definicin entregada por el Ministerio de Planificacin 32 se considera en situacin de pobreza a aquellos hogares cuyos ingresos son inferiores al mnimo establecido 33 para satisfacer las necesidades bsicas de sus miembros, y en situacin de indigencia a aquellos hogares cuyos ingresos son inferiores al mnimo establecido para satisfacer las necesidades alimentarias de sus miembros. Para la clasificacin de los hogares en estas categoras, el ingreso del hogar se define como la suma del ingreso autnomo del hogar, las transferencias monetarias que recibe el hogar del Estado y una imputacin por concepto de arriendo de la vivienda, cuando sta es habitada por sus propietarios. En el Cuadro NA1.3 se presenta una caracterizacin de las comunas segn su nivel de pobreza, donde se observa que en la comuna de Renca un 19,2% de la poblacin se encuentra en condicin de pobreza, asimismo, de esta proporcin un 16,2% se encuentra en condicin de pobre no indigente, mientras un 2,5% est en condicin de indigencia. En tanto, en Macul un 13,4% de la poblacin est en condiciones de pobreza, de este valor un 12,7% est en situacin de pobre no indigente y un 0,7% en condicin de pobre indigente. Continuando con la descripcin, Paine presenta un 13,0% de la poblacin en nivel de pobreza, donde un 10,24% corresponde a personas que se encuentran en condicin de pobre no indigente y un 2,8% en situacin de indigencia. Por ltimo la comuna de Cerrillos, es la que posee menor proporcin de su poblacin en condicin de pobreza con un 8,3%, de ellos un 5,6% est en condiciones de pobre no indigente y un 2,7% es pobre indigente.
32 http://www.mideplan.gob.cl/casen/definiciones/pobreza.html 33 Para el ao 2009, se consideran los siguientes mnimos establecidos: Lnea de la Pobreza: $64.134 para zonas urbanas y $43.242 para zonas rurales. Lnea de la Indigencia: $32.067 para zonas urbanas y $24.710 para zonas rurales. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
81
Cuadro NA1.3: Caracterizacin de pobreza segn comuna Fuente: SINIM Ficha Comunal 2009.
En relacin a las caractersticas de empleo para estas 4 comunas, se presenta en el cuadro N 4 tres indicadores relevantes en este contexto, construidos en con datos de la CASEN 2009 34 . Se define como poblacin ocupada a aquellas personas que se encuentra trabajando y en edad de trabajar (sobre 15 aos), donde para estas 4 comunas se aprecia que en promedio un 40% de las personas se encuentran ocupadas. La poblacin desocupada se entiende como las personas que no estn trabajando, pero buscan empleo y se encuentran en edad de trabajar. Frente a esta definicin se ve que en promedio un 4% de las personas se encuentra desocupada, condicin que se cumple para las 4 comunas. Por otra parte, poblacin inactiva es el concepto que se otorga a aquellas personas que estando en edad de trabajar no buscan empleo, se aprecia que un 35% de la poblacin de la comuna de Paine se encuentra inactiva, mientras que Cerrillos presenta un 36% de la poblacin en esta condicin, en tanto el porcentaje de poblacin inactiva para las comunas de Macul y Renca alcanza un 39% y 38% respectivamente.
34 Para la construccin de estos indicadores se utilizaron factores de expansin comunal con proyeccin ajustada a poblacin total. Pobreza Porcentaje de la poblacin que se encuentra en cada segmento Paine Cerrillos Macul Renca Nacional Porcentaje de Poblacin en Condiciones de Pobreza , Segn CASEN 13,0%
8,3%
13,4%
19,2%
- Poblacin Pobre No Indigente (Segn CASEN) sobre Poblacin Total de la Comuna
10,2% 5,6% 12,7% 16,6% 12,2% Poblacin Indigente Sobre Poblacin Total de la Comuna
2,8% 2,7% 0,7% 2,5% 4,2% Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
82
Cuadro NA1.4: Caractersticas de empleo sobre el total de la poblacin Comuna Porcentaje de personas ocupadas Porcentaje de personas desocupadas Porcentaje de personas inactivas Paine 40% 4% 35% Cerrillos 44% 5% 36% Macul 41% 4% 39% Renca 40% 3% 38% Total Nacional 39% 4% 40% Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009
En la lnea de una descripcin de la poblacin potencial a ser atendida en las Unidades de Justicia Vecinal, conviene realizar un anlisis descriptivo de los hogares de estas comunas, debido a que el hogar corresponde a una unidad relevante en el mbito vecinal. Por este motivo a continuacin se presentar una caracterizacin a nivel de hogar. De esta manera, analizando a las comunas segn su ingreso, resulta conveniente medirlas de acuerdo a la distribucin del ingreso en los hogares, tal como indica el Ministerio de Planificacin 35 , los hogares son clasificados en deciles, de acuerdo al ingreso autnomo per cpita percibido por el hogar; estimndose luego la participacin porcentual de los ingresos de los hogares de cada decil en el total de ingresos del total de hogares del pas. Bajo esta definicin, se observa en el Cuadro NA5.5 que en trminos generales la poblacin se encuentra mayoritariamente distribuida en los primeros 4 deciles de ingreso, lo cual se condice con el criterio usado en la seleccin de estas comunas para este estudio.
35 http://www.mideplan.gob.cl/casen/definiciones/ingresos.html#7 Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
83
Cuadro NA1.5: Distribucin de Ingreso por comuna Decil de Ingreso Porcentaje de la poblacin que se encuentra en cada segmento Paine Cerrillos Macul Renca Total Nacional 1 7,4% 6,4% 15,1% 7,6% 10% 2 11,4% 6,8% 7,1% 14,6% 10% 3 12,9% 8,8% 8,2% 11,4% 9,9% 4 12,8% 10,1% 9,5% 12,1% 10% 5 10,4% 8,1% 11,6% 9,0% 10% 6 11,2% 9,2% 11,0% 10,6% 9,9% 7 10,5% 12,0% 15,3% 9,5% 10% 8 14,4% 14,8% 11,2% 6,9% 10% 9 5,2% 14,8% 6,6% 10,2% 10% 10 3,8% 9,1% 4,5% 8,0% 10% Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009
Continuando con la descripcin de la poblacin potencial a nivel de hogares, es interesante observar la composicin del hogar, as en el cuadro N 6 se observa que en promedio para estas 4 comunas, los hogares se componen en un 10% por nios menores de 6 aos. Similar situacin se presenta con los nios mayores de 6 aos y menores de 14, destaca la comuna de Paine donde los hogares en promedio se encuentran constituidos con un 14% de nios en estas edades. Por otra parte, se aprecia que en promedio los hogares pertenecientes a las comunas de Paine y Cerrillos se integran en un 7% por jvenes entre 14 y 18 aos, mientras que en Macul y Renca este valor llega a un 8% y 9% respectivamente. Otro indicador relevante es observar la presencia de adultos mayores en el hogar, se ve que los hogares de las comunas de Macul y Cerrillos, en promedio, se constituyen en un 15% y 13%, respectivamente, por adultos mayores, mientras que en los hogares de Paine y Renca se evidencia una composicin de adultos mayores en el hogar que alcanza un 8% y 9%, respectivamente. Por ltimo se aprecia en el cuadro la caracterizacin del hogar en relacin a la presencia de personas discapacitadas, donde en la comuna de Cerrillos, los hogares en promedio se integran en un 8% por personas discapacitadas, seguida por la comuna de Macul con un 7%, Renca con 6% y finalmente Paine con el 4% en esta condicin.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
84
Cuadro NA1.6: Caracterizacin del hogar Comuna Proporcin de Hogares con Nios menores de 6 aos Nios entre 6 -14 aos Jvenes entre 14-18 aos Adultos mayores de 65 aos Discapacitados Paine 12% 14% 7% 8% 4% Cerrillos 8% 11% 7% 13% 8% Macul 8% 11% 8% 15% 7% Renca 10% 13% 9% 9% 6% Total Nacional 9% 12% 7% 11% 8% Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009 Cuando se realiza un anlisis por hogar, resulta til ampliar esta descripcin al jefe de hogar, en el cuadro NA1.7 aparece una caracterizacin al respecto. Se aprecia que la edad promedio de los jefes de hogar se encuentra en un rango de 50-53 aos. En relacin a la educacin de estas personas, se ve que flucta entre los 9 y 11 aos de educacin, dependiendo de la comuna. Se ve una gran heterogeneidad en cuanto a la proporcin de jefes de hogar que son mujeres, en la comuna de Paine existe un 18% de los hogares con esta condicin, mientras que en la comuna se Macul esta proporcin llega a ms del doble con un44%. Cuadro NA1.7: Caractersticas del Jefe de hogar Comuna Edad promedio Jefe de Hogar Aos de educacin promedio Jefe de Hogar Proporcin Jefe de Hogar que son mujeres Paine 50 9 18% Cerrillos 52 10 32% Macul 53 11 44% Renca 51 9 43% Total Nacional 51 10 30% Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009 Continuando con esta descripcin de los hogares en estas comunas, se presenta a continuacin, en el cuadro NA1.8, un anlisis a nivel de Vivienda, lo cual significa una variable muy relevante al momento de considerar potenciales problemas locales o comunitarios. Se aprecia que una gran proporcin de los hogares tiene vivienda propia, Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
85
destaca en este contexto la comuna de Paine donde un 74% de los hogares tiene vivienda propia. Adems se presenta en este cuadro un ndice de Hacinamiento, que corresponde al cuociente entre el nmero de personas que viven en el hogar, respecto al nmero de dormitorios que contiene la vivienda, se observa un ndice de 1,6 personas por dormitorio en promedio para estas comunas. Cuadro NA1.8: Caracterizacin del hogar segn la variable vivienda Comuna Porcentaje de hogares con vivienda propia ndice de Hacinamiento (N Personas por Hogar/N Dormitorios) Paine 74% 1,8 Cerrillos 67% 1,6 Macul 57% 1,5 Renca 71% 1,7 Total Nacional 68% 1,6 Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009 Luego de describir y caracterizar a los hogares que pertenecen a estas comunas, resulta conveniente observar el comportamiento de las personas que integran estas comunas. En el Cuadro NA1.9 se presenta la participacin de la poblacin en diversas organizaciones, donde resulta relevante observar por ejemplo que una gran proporcin de los habitantes no participa en ninguna institucin. Sin embargo, aquellas organizaciones con mayor inters de la poblacin son los clubes deportivos y las organizaciones vecinales, participacin que es interesante destacar debido a la relevancia que posee en este estudio relacionado con las Unidades de Justicia Vecinal, lo cual podra predecir un gran inters en estas entidades, especialmente en aquellas personas que participan en este tipo de organizaciones. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
86
Cuadro NA1.9: Participacin en organizaciones segn comuna Organizacin Porcentaje de la poblacin que se encuentra en cada segmento Paine Cerrillos Macul Renca Total Nacional Organizacin de vecinos (junta de vecinos, unin comunal) 3,8% 2,3% 1,8% 2,1% 5,3% Club deportivo recreativo 5,2% 3,1% 3,9% 3,8% 3,6% Centro de alumnos, centro de padres y apoderados 1,6% 0,7% 2,3% 0,1% 0,8% Organizacin voluntariado o beneficencia 0,0% 1,2% 0,3% 1,0% 0,6% Colegio profesional /asociacin gremial 0,3% 0,2% 1,0% 0,7% 0,3% Sindicato 0,3% 0,5% 0,2% 0,8% 0,9% Partidos Polticos 0,0% 0,9% 0,4% 0,0% 0,3% Asociacin de personas con discapacidad 0,0% 0,0% 0,1% 0,0% 0,1% Oganizacin de adultos mayores 1,1% 2,0% 2,4% 1,2% 1,2% Organizacin juvenil 0,1% 0,1% 0,5% 0,2% 0,4% Grupo religioso (mov. pastorales, grupo de iglesia) 1,3% 2,4% 6,4% 2,8% 5,7% Centro de madres, talleres de mujeres, grupo de mujeres 0,0% 0,8% 0,6% 0,3% 0.7% Agrupacin cultural o creacin artstica 1,0% 0,8% 1,5% 0,5% 1.1% No participa 85,6% 85,7% 81,0% 86,8% 80.5% Fuente: Elaboracin propia con datos de la Encuesta CASEN 2009
Un factor clave en el xito de este estudio prctico en cada comuna en estudio, es el inters del municipio por participar en l. Por este motivo es imprescindible observar caractersticas que den cuenta de la prioridad que dan los municipios a asuntos comunitarios y que podran eventualmente convertirse en problemas de inters de las Unidades de Justicia Vecinal.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
87
Es as como en el Cuadro NA1.10 se presenta informacin en cuanto al desarrollo y gestin territorial de los municipios durante el ao 2009. Se aprecia que las 4 comunas en estudio presentan un plan regulador comunal vigente y un plan de desarrollo comunal. Cuadro NA1.10: Caracterizacin de los municipios en cuanto a Desarrollo y Gestin Territorial. DESARROLLO Y GESTION TERRITORIAL 2009 Paine Cerrillos Macul Renca Existe un Plan Regulador Comunal Vigente en la Comuna? Si Si Si Si Ao de Aprobacin Legal del Plan Regulador Comunal Vigente 1.993 1.965 2.004 1.985 Nmero de Seccionales Aprobados Posteriormente al Plan Regulador 0 6 2 5 Su Municipio Posee Plan de Desarrollo Comunal (PLADECO)? Si Si Si Si Cul es el ao de formulacin o actualizacin del ltimo PLADECO? 2.004 2.007 2.009 2.009 Fuente: SINIM Ficha Comunal 2009
En el Cuadro NA1.11 se indica una serie de gastos municipales enfocados al orden y mantencin de la comuna. En este sentido, se observa que, en general, las 4 comunas destinan al menos un 10% de los ingresos a servicios de Mantencin de Aseo, Recoleccin de Basura y Vertederos, lo cual sigue la tendencia de este tem a nivel nacional. Por otro lado, se aprecia que los municipios asignan menores recursos a Servicios de alumbrado pblico, Servicios de Mantencin de Semforos y Servicios de Mantencin de Seales de Trnsito.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
88
Cuadro NA1.11: Caracterizacin de los municipios segn gastos en servicios ANTECEDENTES FINANCIEROS 2009 Paine Cerrillos Macul Renca Nacional Ingresos Municipales (Ingreso Total Percibido) 4.437.325 10.791.649 11.554.374 12.362.433 1.987.602.769 Disponibilidad Presupuestaria Municipal por Habitante (M$) 70,51 159,31 114,47 93,2 211,58 Servicios de Aseo, Recoleccin de Basura y Vertederos 429.405 1.085.046 1.309.955 1.580.374 156.015.060 Servicios de Mantencin de Alumbrado Pblico 19.934 123.354 231.799 278.576 13.933.982 Servicios de Mantencin de Semforos 0 28.885 75.100 25.758 4.529.531 Servicios de Mantencin de Sealizacin de Trnsito. 454 60.589 0 0 3.502.440 Fuente: SINIM Ficha Comunal 2009
La relevancia de presentar esta caracterizacin recin descrita de las comunas de Paine, Cerrillos, Macul y Renca a nivel de hogares, personas y municipios, se basa en la idea de producir un marco genrico que permita predecir la estructura de la demanda por servicios proporcionados en las Unidades de Justicia Vecinal. Realizado el anlisis de las variables ms pertinentes en este contexto, se permite vislumbrar que dadas las caractersticas comunales descritas, el Estudio Prctico de las Unidades de Justicia Vecinal resulta de gran relevancia e inters de ser examinado. En cuanto se encuentren disponibles los resultados del Estudio de anlisis cuantitativo y cualitativo de los conflictos vecinales y/o comunitarios y de las alternativas disponibles para su resolucin, encargado por el Ministerio de Justicia, se podrn realizar anlisis ms profundos, acerca de las caractersticas de la poblacin potencial usuaria de las Unidades de Justicia Vecinal. Sin embargo, mientras no se encuentren disponibles datos cuantitativos sobre conflictos vecinales, la informacin aqu expuesta sobre las cuatro comunas beneficiarias del Estudio Prctico de las UJV, corresponde al mejor esfuerzo de caracterizacin, basado en informacin secundaria que, actualmente, se encuentra disponible. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
89
Anexo 2: Metodologa de Marco Lgico El marco lgico, se debe entender como una herramienta de planificacin estratgica, adecuada para ser aplicada a programas diversos y que constituye una forma de ordenar el marco de anlisis de una determinada intervencin. Asimismo, esta herramienta puede ser utilizada para facilitar el proceso de diseo, implementacin y evaluacin de un programa determinado (Ortegn et. al (2005)). El marco lgico provee como producto la matriz de marco lgico, insumo fundamental para evaluar la consistencia del programa, distinguiendo el fin del propsito de ste, de sus componentes y, finalmente, de sus actividades. Asimismo, la matriz de marco lgico resume lo que el programa pretende hacer y cmo, cules son los supuestos claves y cmo los insumos y productos del proyecto sern monitoreados y evaluados. En la Figura A2.1 se muestra la estructura de la matriz de marco lgico, y luego se describen los componentes a definir para el modelo de Unidades de Justicia Vecinal. Figura A2.1: Estructura Matriz de Marco Lgico Enunciado de los Objetivos Indicadores Medios de Verificacin Supuestos Enunciado Forma clculo Fin
Propsito
Componentes
Actividades
Fuente: Metodologa para la elaboracin de matriz de marco lgico. DIPRES 2009.
Fin: Es la descripcin de cmo el programa contribuye, en el largo plazo, a la solucin del problema o satisfaccin de una necesidad que se ha diagnosticado. No implica que el programa, en s mismo, ser suficiente para lograr el Fin, pudiendo existir otros programas que tambin contribuyen a su logro.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
90
Propsito: Es el resultado directo a ser logrado en la poblacin objetivo, como consecuencia de la utilizacin de los componentes (bienes y/o servicios) producidos por el programa. Es una hiptesis sobre el beneficio que se desea lograr. Es la contribucin especfica a la solucin del problema (o problemas) diagnosticado(s).
Componentes: Son los bienes y/o servicios que produce o entrega el programa para cumplir su propsito. Deben expresarse como un producto logrado o un trabajo terminado (sistemas instalados, poblacin capacitada, etc). El conjunto de los componentes permite el logro del propsito.
Actividades: Son las principales tareas que se deben cumplir para el logro de cada uno de los componentes del programa. Corresponden a un listado de actividades en orden cronolgico y secuencial, para cada uno de los componentes.
Indicadores: Los indicadores de desempeo son una herramienta que entrega informacin cuantitativa respecto del nivel de logro alcanzado por un programa, pudiendo cubrir aspectos cuantitativos o cualitativos de este logro. Es una expresin que establece una relacin entre dos o ms variables, la que comparada con perodos anteriores, productos (bienes o servicios) similares o una meta o compromiso, permite evaluar desempeo.
Cada indicador se presenta a travs de un enunciado, esto es, la expresin verbal que identifica al indicador y que expresa lo que se desea medir con l, y la forma de clculo, vale decir, una expresin matemtica que establece una relacin entre dos o ms variables.
Adems, se debe identificar la dimensin o el foco de la gestin que mide el indicador 36 :
a) Eficacia: Se refiere al grado de cumplimiento de los objetivos planteados para el programa, es decir, en qu medida el rea, o la institucin como un
36 Evaluacin de Programas. Notas Tcnicas, Divisin de Control de Gestin, DIPRES, 2009; en www.dipres.cl, Publicaciones, Control de Gestin Pblica. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
91
todo, est cumpliendo con sus objetivos, sin considerar necesariamente los recursos asignados para ello. Es posible obtener medidas de eficacia en tanto exista claridad respecto de los objetivos del programa.
b) Eficiencia: Describe la relacin entre dos magnitudes: la produccin fsica de un producto (bien o servicio) y los insumos o recursos que se utilizan para alcanzar ese nivel de produccin.
c) Economa: Este concepto se relaciona con la capacidad para generar y movilizar adecuadamente los recursos financieros en pos de los objetivos definidos por el programa. En el marco de consecucin de los objetivos de un programa, la administracin de sus recursos exige siempre el mximo de disciplina y cuidado en el manejo de la caja, del presupuesto, de la preservacin del patrimonio y de la capacidad de generar ingresos.
d) Calidad: La calidad es una dimensin especfica del concepto de eficacia que se refiere a la capacidad para responder a las necesidades de los clientes, usuarios o beneficiarios de un programa. Se refiere a atributos de los productos (bienes o servicios) entregados, tales como: oportunidad, accesibilidad, precisin y continuidad en la entrega del servicio, comodidad y cortesa en la atencin.
Adicionalmente, la construccin de cada indicador debe establecer el mbito de control, que identifica la medicin en diferentes etapas o momentos del programa: a) Procesos: Se refieren a actividades vinculadas con la ejecucin o forma en que el trabajo es realizado para producir los productos (bienes y/o servicios), incluyen actividades o prcticas de trabajo tales como procedimientos de compra, procesos tecnolgicos y administracin financiera.
b) Productos: Se refieren a los bienes y/o servicios producidos o entregados y corresponden a un primer resultado de un programa o accin pblica. El Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
92
concepto no est restringido solo a niveles de produccin o provisin sino que se extiende a otras importantes caractersticas de estas acciones.
c) Resultados intermedios: Se refiere a los cambios en el comportamiento, estado, actitud o certificacin de los beneficiarios una vez que han recibido los bienes o servicios de un programa o accin pblica. Su importancia radica en que se espera que conduzcan a los resultados finales y en consecuencia constituyan una aproximacin a estos.
d) Resultados finales: Son resultados a nivel del propsito de los bienes o servicios entregados e implican un mejoramiento en las condiciones de la poblacin objetivo. Lo anterior es particularmente importante en el caso de programas que entregan bienes o servicios cuyos resultados son de mediano y largo plazo y, por tanto, si bien es posible identificar indicadores, stos no podrn ser medidos en lo inmediato.
Figura A2.2: Relacin entre dimensin y mbito de los indicadores
Fuente: Ortegn et. al (2005). Metodologa del marco lgico para la planificacin, el seguimiento y la evaluacin de proyectos y programas. CEPAL 2005. mbito de Control Procesos Productos Resultados Dimensin Eficacia Eficiencia Economa Calidad Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
93
La Figura A2.2 muestra la relacin entre la dimensin y el mbito de control de los indicadores de desempeo de un programa. En sta es posible apreciar que, los mbitos de control a travs de indicadores de desempeo son los procesos, productos y resultados, sean estos intermedios y/o finales. Las dimensiones o focos de la gestin son la eficacia, eficiencia, economa y calidad. Para los diferentes bienes y servicios que provea un programa, habr diferentes combinaciones entre mbitos y dimensiones que sern ms relevantes que otras para los respectivos procesos de monitoreo y/o evaluacin. Medios de Verificacin: sealan las fuentes de informacin de los indicadores. Incluyen material publicado, inspeccin visual, encuestas, registros de informacin, reportes estadsticos, etc.
Supuestos: Identifican las condiciones que deben ocurrir para que se logren los distintos niveles de objetivos y que estn fuera del control de la administracin de la institucin responsable del programa. No se consideran como supuestos aquellas condiciones que deben ser identificadas como elementos de diagnstico o que deben estar disponibles antes de iniciarse el programa. Por ejemplo: recursos aprobados, capacidad tcnica disponible, voluntad poltica, entre otros.
En base a lo anterior, se extrae que la construccin del marco lgico de un programa, explicita y concuerda los objetivos de ste, las metas establecidas, las estrategias implementadas, las actividades, desarrolla indicadores y define las fuentes de informacin correspondientes. No obstante, para que la matriz de marco lgico presente un diseo coherente, debe cumplir con una lgica vertical y horizontal. a) Lgica vertical: Segn DIPRES (2009), esta lgica se basa en relaciones de causa- efecto entre los distintos niveles de objetivo de la Matriz de Marco Lgico. La matriz de marco lgico, se construye de forma tal que se puedan examinar los vnculos causales de abajo hacia arriba entre los niveles de objetivos. Es decir, la Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
94
implementacin de las actividades deben generar los componentes, los cuales provocan el logro del propsito, y a su vez, ste contribuye al logro del fin.
Por lo tanto, empezando desde el nivel inferior de la matriz de marco lgico, el razonamiento vertical es el siguiente: Si se llevan a cabo las actividades indicadas y los supuestos establecidos se cumplen, entonces se producirn los componentes indicados. Luego, si se producen los componentes indicados y otros supuestos se cumplen, entonces se logra el propsito del programa. Si se logra el propsito, y se siguen cumpliendo los supuestos, entonces se contribuir al logro del fin.
Figura A2.3: Lgica vertical Matriz de Marco Lgico Enunciado de los Objetivos Indicadores Medios de Verificacin Supuestos Enunciado Forma clculo Fin
Propsito
Componentes
Actividades
Fuente: Metodologa para la elaboracin de matriz de marco lgico. DIPRES 2009.
b) Lgica horizontal: Segn DIPRES (2009), se basa en el principio de la correspondencia que vincula cada nivel de objetivo (fin, propsito, componentes y actividades) a la medicin del logro (indicadores y medios de verificacin) y a los factores externos que pueden afectar su ejecucin y posterior desempeo (supuestos).
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
95
Figura A2.4: Lgica horizontal Matriz de Marco Lgico Enunciado de los Objetivos Indicadores Medios de Verificacin Supuestos Enunciado Forma clculo Fin
Propsito
Componentes
Actividades
Fuente: Ortegn et. al (2005). Metodologa del marco lgico para la planificacin, el seguimiento y la evaluacin de proyectos y programas. CEPAL 2005.
Finalmente, se debe sealar que, el mtodo del marco lgico provee una cantidad de ventajas sobre enfoques menos estructurados: - Aporta una terminologa uniforme que facilita la comunicacin y que sirve para reducir ambigedades; - Aporta un formato para llegar a acuerdos precisos acerca de los objetivos, metas y riesgos del programa que comparten los diferentes actores relacionados con el programa; - Suministra un temario analtico comn que pueden utilizar los involucrados, los consultores y el equipo de programa para elaborar tanto el programa como el informe de programa, como tambin para la interpretacin de ste; - Enfoca el trabajo tcnico en los aspectos crticos y puede acortar documentos de programa en forma considerable; - Suministra informacin para organizar y preparar en forma lgica el plan de ejecucin del programa; - Suministra informacin necesaria para la ejecucin, monitoreo y evaluacin del programa; y - Proporciona una estructura para expresar, en un solo cuadro, la informacin ms importante sobre un programa. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
96
Anexo 3: Matriz de Marco Lgico de las Unidades de Justicia Vecinal
NOMBRE DEL PROGRAMA: Estudio Prctico de las Unidades de Justicia Vecinal AO DE INICIO DEL PROGRAMA: 2011 MINISTERIO RESPONSABLE: Ministerio de Justicia SERVICIO RESPONSABLE: Direccin de Gestin y Modernizacin de la Justicia
ENUNCIADO DEL OBJETIVO
INDICADORES
MEDIOS DE VERIFICACIN (Periodicidad de medicin) SUPUESTOS Enunciado
(Dimensin/mbito de Control) Frmula de Clculo FIN:
Contribuir al acceso a la justicia y a la igualdad de proteccin de la ley en el ejercicio de derechos, asesoramiento y defensa jurdica de todas las personas, mejorando su calidad de vida.
Porcentaje de la poblacin que percibe contar con servicios de justicia disponibles cada vez que lo ha necesitado, respecto al grupo de control. Segn quintil de ingreso. Estimador de diferencias en diferencias con variable dependiente la variable percibe justicia disponible, controlando por quintil de ingreso, entre otras variables. Resultado Final/Eficacia Las personas tienen problemas de orden judicial y desean que stos sean resueltos a travs de servicios pblicos. Porcentaje de la poblacin que percibe que los servicios de justicia son oportunos, respecto al grupo de control. Segn quintil de ingreso. Estimador de diferencias en diferencias con variable dependiente la variable percibe justicia oportuna, controlando por quintil de ingreso, entre otras variables. Resultado Final/Calidad
PROPSITO: Las personas resuelven sus problemas de orden vecinal a travs del servicio otorgado en las Unidades de Justicia Vecinal. Porcentaje de conflictos vecinales en los que se ha buscado solucin, comparado al grupo de control. Segn materia, gnero, tramos de edad, escolaridad y quintil de ingreso.
Calcular para el grupo de tratamiento y control, desagregando por materia, gnero, tramos de edad, escolaridad y quintil de ingreso, entre otras variables. Resultado Intermedio/Eficacia
Duracin en semanas de los conflictos vecinales, comparado al grupo de control. Segn materia, gnero, tramos de edad, escolaridad y quintil de ingreso.
Estimador de diferencias en diferencias, con variable dependiente la variable semanas de duracin del conflicto, controlando por materia, gnero, tramos de edad, escolaridad y quintil de ingreso, entre otras variables.
Resultado Intermedio/Eficacia Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
97
Porcentaje de conflictos vecinales terminados con xito (acuerdo/fallo/derivacin), comparado al grupo de control. Segn materia, gnero, tramos de edad, escolaridad y quintil de ingreso.
Estimador de diferencias en diferencias, con variable dependiente la variable conflicto terminado con xito, controlando por materia, gnero, tramos de edad, escolaridad y quintil de ingreso, entre otras variables.
Resultado Final/Eficacia Nivel de satisfaccin con la solucin del conflicto vecinal, comparado al grupo de control. Segn materia. Estimador de diferencias en diferencias, controlando por materia. Resultado Final Dinero desembolsado por las personas para la resolucin de sus conflictos, comparado al grupo de control (Promedio por semana que ha durado el conflicto). Estimador de diferencias en diferencias, controlando por materia Resultado Final COMPONENTE 1; Personas con conflictos vecinales reciben atencin en las UJV para la solucin de stos, mediante mecanismos alternativos de solucin de conflictos, mecanismos adjudicativos, o a travs del trabajo en red con programas y servicios sociales. Gasto pblico promedio por caso resuelto. Total y segn comuna.
Calcular total y desagregando por comuna Resultado/Eficiencia Las personas tienen problemas de orden vecinal y desean que stos sean resueltos a travs de servicios pblicos.
Los usuarios de las UJV aceptan resolver sus conflictos a travs de mecanismos alternativos, adjudicativos y/o derivacin a la red social. Porcentaje de usuarios atendidos en las UJV cada 100 habitantes mayores de 14 aos con conflicto vecinal, por comuna. (Indicador de uso interno)
Calcular desagregando por comuna Resultado/Eficiencia Porcentaje de casos solucionados respecto al total de casos ingresados. Total, segn materia, comuna y va de solucin.
Calcular total y desagregando por materia, comuna y va de solucin. Resultado/Eficacia Distribucin de casos solucionados segn tramos de tiempo que tom su solucin (1-5 das, 6-10 das, 11-15 das, 16-20 das, 21 das o ms). Total, segn materia, comuna, va de solucin y etapa del proceso.
Calcular porcentaje para los casos que fueron solucionados entre: 1-5 das, 6-10 das, 11-15 das, 16-20 das, 21 das o ms. Total y segn materia, comuna y va de solucin. Resultado/Calidad Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
98
Tasa de casos vigentes respecto al total de casos terminados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Tasa de casos vigentes respecto al total de casos ingresados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Tasa de resolucin respecto al total de casos ingresados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Tasa de congestin respecto al total de casos terminados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Tasa de desercin respecto al total de casos ingresados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna
Resultado/Eficacia Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
99
ACTIVIDAD 1 : Instalacin de las Unidades de Justicia Vecinal en todas las comunas seleccionadas para implementar el estudio prctico.
Existe un establecimiento en la comuna para instalar un servicio pblico.
Adaptacin de infraestructura del establecimiento para convertirlo en UJV es realizada en los tiempos programados.
Los recursos para la compra de materiales se obtienen en la fecha programada.
Existe oferta de trabajo con las caractersticas requeridas para desempearse en las UJV.
Existe inters de los Municipios por participar y coordinarse con las Unidades de Justicia Vecinal ACTIVIDAD 2 : Atencin oportuna de los usuarios de las Unidades de Justicia Vecinal, mediante la recepcin de sus requerimientos y el registro de sus antecedentes.
Las personas son receptivas a la promocin realizada sobre los servicios de la UJV.
Existe demanda por los servicios prestados por las UJV.
Usuarios de UJV estn dispuestos a entregar la informacin relevante del caso en la primera visita.
El mdulo de recepcin est protegido para el resguardo de la entrega de informacin confidencial.
Existe plataforma informtica de UJV funcionando correctamente. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
100
ACTIVIDAD 3 : Evaluacin y derivacin de los casos ingresados por parte del equipo de trabajo de las Unidades de Justicia Vecinal, a la o las vas de solucin de conflicto ms adecuadas para su solucin.
Los casos ingresados se pueden resolver a travs de las vas de solucin dispuestas, esto es, mediante mecanismos alternativos, adjudicativos o de derivacin a la red social presente en la comuna.
Usuarios logran decidir va de solucin a travs de la asesora del equipo evaluador.
Existe voluntad por parte de la red pblica local para coordinar con las UJV las derivaciones correspondientes. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
101
ACTIVIDAD 4 : Solucin de los casos ingresados a las Unidades de Justicia Vecinal a travs de las vas de solucin.
Los procedimientos de las vas de solucin estn diseados y definidos a travs de protocolos.
Las personas requeridas son receptivas y aceptan participar en las vas de solucin de conflictos ofrecidas.
Existe una participacin activa de requirentes y requeridos.
Existe coordinacin con la red pblica local y sta tiene la capacidad tcnica para recibir y tratar los casos derivados desde las UJV y/o las actividades contempladas son suficientes para promover el cumplimiento.
Los Juzgados de Polica Local estn comprometidos con el fin y el propsito definidos para las Unidades de Justicia Vecinal. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
102
ACTIVIDAD 5 : Monitoreo de los acuerdos, fallos y derivaciones de los casos ingresados a las Unidades de Justicia Vecinal y ejecucin de acciones de apoyo para su cumplimiento.
Existen casos con acuerdo, solucin o fallo.
Los datos de contacto de requeridos y requirentes a monitorear son vlidos y correctos.
Los equipos de monitoreo tienen capacidad tcnica disponible para realizar seguimientos . Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
103
Anexo 4: Indicadores de procesos y resultados de las UJV
Atenciones: son todas aquellas prestaciones que se entregan a los usuarios que asisten a las UJV. Estas se dividen en 2 tipos: 1. Generales: toda atencin que no genera el ingreso de un caso. Se subdividen en: a) Asociadas a un caso: comprende gestiones realizadas en el contexto de un caso (consultas/solicitudes/citaciones). b) Consultas generales: comprende las gestiones entregadas a los usuarios que no se relacionan con un caso.
2. Ingresos: todos los conflictos que son recepcionados por las UJV, y pueden corresponder a: a) Casos que no califican: son aquellos ingresos que no cumplen con alguno de los 3 requisitos del proyecto: materia/comuna/edad. En este tipo de casos, puede entregarse alguna de las siguientes prestaciones: a.1. Orientacin: usuarios a los cuales el equipo de recepcin entrega informacin, con el objetivo que pueda dirigirse al servicio competente. a.2. Asesora: usuarios a los cuales el abogado patrocinante entrega informacin legal, con el objetivo que pueda dirigirse al servicio competente. b) Casos que califican: son todos aquellos ingresos que cumplen los 3 requisitos del proyecto. Podemos diferenciarlos segn estn o no en tramitacin: b.1. Vigentes: son aquellos en los que se estn realizando gestiones. b.2. No vigentes: pueden clasificarse en: Cerrados: son aquellos casos que no se estn realizando gestiones, debido a que se interrumpi su tramitacin en alguna parte del proceso. De acuerdo a la razn de cierre, estos casos, se subclasifican en: o Acuerdo anticipado: caso cerrado en etapas previas a la tramitacin completa del proceso en que se lleg a un acuerdo en relacin al conflicto. o Abandono: caso cerrado en etapas previas antes de alcanzar el proceso completo, en el que no se lleg a acuerdo. Terminados: son aquellos casos que fueron tramitados completamente. De acuerdo al resultado alcanzado, se subclasifican en: o Solucionados: son todos aquellos casos que han terminado el proceso completo alcanzando el producto esperado. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
104
i. Resueltos: casos que han terminado el proceso completo, con un resultado exitoso en que fue corroborado en el seguimiento. ii. No resueltos: casos que han terminado el proceso completo, pero no hubo cumplimiento. o No solucionados: son todos aquellos casos que han terminado el proceso completo sin alcanzar el producto esperado. rbol de estado de casos:
Etapas: 1. Recepcin: Comienza desde que se atiende a un usuario hasta que queda ingresada la atencin en el sistema. 2. Evaluacin: Se aplica slo en los casos que califican y consiste en el anlisis de la informacin por parte del equipo evaluador y la asesora respecto a la va de solucin ms adecuada para la resolucin del conflicto. 3. Mecanismos de solucin: Corresponde a las distintas vas que contempla el proyecto: mediacin, conciliacin, arbitraje, derivacin a juzgado de polica local y trabajo con la red local. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
105
4. Seguimiento: Se aplica slo en los casos solucionados, hasta verificar si logran ser o no resueltos. Otros conceptos: Producto esperado: corresponde al resultado positivo que se alcanza en cada va de solucin: acuerdo, fallo , sentencia y derivacin. Proceso completo: corresponde a un caso que es tramitado ntegramente por las etapas de recepcin, evaluacin y mecanismo de solucin.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
106
Cuadro NA4.1: Indicadores de procesos y resultados de las UJV ENUNCIADO DEL OBJETIVO INDICADORES FORMA DE CLCULO DIMENSIN/MBITO INSTRUMENTO Fin
Contribuir al acceso a la justicia y a la igualdad de proteccin de la ley en el ejercicio de derechos, asesoramiento y defensa jurdica de todas las personas, mejorando su calidad de vida. Porcentaje de la poblacin que percibe contar con servicios de justicia disponibles cada vez que lo ha necesitado, respecto al grupo de control. Segn quintil de ingreso. Estimador de diferencias en diferencias con variable dependiente la variable percibe justicia disponible, controlando por quintil de ingreso, entre otras variables. Resultado Final/Eficacia Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Porcentaje de la poblacin que percibe que los servicios de justicia son oportunos, respecto al grupo de control. Segn quintil de ingreso. Estimador de diferencias en diferencias con variable dependiente la variable percibe justicia oportuna, controlando por quintil de ingreso, entre otras variables. Resultado Final/Calidad Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Propsito
Las personas resuelven sus problemas de orden vecinal a travs del servicio otorgado en las Unidades de Justicia Vecinal. Porcentaje de conflictos vecinales en los que se ha buscado solucin, comparado al grupo de control. Segn materia, gnero, tramos de edad, escolaridad y quintil de ingreso.
Calcular para el grupo de tratamiento y control, desagregando por materia, gnero, tramos de edad, escolaridad y quintil de ingreso, entre otras variables. Resultado Intermedio/Eficacia Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Duracin en semanas de los conflictos vecinales, comparado al grupo de control. Segn materia, gnero, tramos de edad, escolaridad y quintil de ingreso.
Estimador de diferencias en diferencias, con variable dependiente la variable semanas de duracin del conflicto, controlando por materia, gnero, tramos de edad, escolaridad y quintil de ingreso, entre otras variables.
Resultado Intermedio/Eficacia Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Porcentaje de conflictos vecinales terminados con xito (acuerdo/fallo/derivacin), comparado al grupo de control. Segn materia, gnero, tramos de edad, escolaridad y quintil de ingreso.
Estimador de diferencias en diferencias, con variable dependiente la variable conflicto terminado con xito, controlando por materia, gnero, tramos de edad, escolaridad y quintil de ingreso, entre otras variables.
Resultado Final/Eficacia Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Nivel de satisfaccin con la solucin del conflicto vecinal, comparado al grupo de control. Segn materia. Estimador de diferencias en diferencias, controlando por materia. Resultado Final Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Dinero desembolsado por las personas para la resolucin de sus conflictos, comparado al grupo de control (Promedio por semana que ha durado el conflicto). Estimador de diferencias en diferencias, controlando por materia Resultado Final Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
107
Componente 1
Personas con conflictos vecinales recibieron atencin en las UJV para la solucin de stos, mediante mecanismos alternativos de solucin de conflictos, mecanismos adjudicativos, o a travs del trabajo en red con programas y servicios sociales. Gasto pblico promedio por caso resuelto. Total y segn comuna.
Calcular total y desagregando por comuna Resultado/Eficiencia Ejecucin presupuestaria Sistema informtico UJV Porcentaje de usuarios atendidos en las UJV cada 100 habitantes mayores de 14 aos con conflicto vecinal, por comuna. (Indicador de uso interno)
Calcular desagregando por comuna Resultado/Eficiencia Sistema informtico UJV Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Porcentaje de casos solucionados respecto al total de casos ingresados. Total, segn materia, comuna y va de solucin.
Calcular total y desagregando por materia, comuna y va de solucin. Resultado/Eficacia Sistema informtico UJV Distribucin de casos solucionados segn tramos de tiempo que tom su solucin (1-5 das, 6-10 das, 11-15 das, 16-20 das, 21 das o ms). Total, segn materia, comuna, va de solucin y etapa del proceso.
Calcular porcentaje para los casos que fueron solucionados entre: 1-5 das, 6-10 das, 11-15 das, 16-20 das, 21 das o ms. Total y segn materia, comuna y va de solucin. Resultado/Calidad Sistema informtico UJV Tasa de casos vigentes respecto al total de casos terminados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Sistema informtico UJV Tasa de casos vigentes respecto al total de casos ingresados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Sistema informtico UJV Tasa de resolucin respecto al total de casos ingresados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Sistema informtico UJV Tasa de congestin respecto al total de casos terminados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna Resultado/Eficacia Sistema informtico UJV Tasa de desercin respecto al total de casos ingresados en un perodo t (semana, mes, ao). Total, segn materia y comuna.
Calcular total y desagregando por materia y comuna
Resultado/Eficacia Sistema informtico UJV Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
108
Actividad 1
Instalacin de las Unidades de Justicia Vecinal en todas las comunas seleccionadas para implementar el estudio prctico. Porcentaje de localidades seleccionadas para UJV que cumplen con criterios establecidos para ser una zona geogrfica factible.
Proceso/Calidad Informes internos Ministerio de Justicia Porcentaje de establecimientos seleccionados para UJV con infraestructura habilitada en la fecha programada.
Proceso/Calidad Pautas de entrevista
Informes internos Ministerio de Justicia Porcentaje del equipo de trabajo de UJV satisfecho con la capacitacin recibida. Total y segn comuna.
Calcular total y segn comuna.
Proceso/Calidad Pautas de entrevista Porcentaje del equipo de trabajo de UJV que considera suficiente el contenido de la capacitacin recibida. Total y segn comuna.
Calcular total y segn comuna.
Proceso/Calidad Pautas de entrevista Contenidos faltantes en la capacitacin mencionados por los equipos de trabajo de las UJV
Lista de contenidos
Proceso/Eficacia Pautas de entrevista
Capacitacin realizada segn protocolo o programacin previa.
Cumplimiento de protocolo
Proceso/Eficacia Pautas de entrevista Porcentaje de UJV con servicios funcionando a la fecha de inauguracin. Total y segn servicio (telfono, electricidad, agua, internet, plataforma informtica).
Proceso/Eficacia Pautas de entrevista
Informes internos Ministerio de Justicia Plataforma informtica en funcionamiento, segn mdulo: Primera atencin, evaluacin, derivacin, seguimiento y control de gestin.
Proceso/Eficacia Pautas de entrevista
Sistema informtico UJV Porcentaje de UJV que se encuentran abastecidas con materiales definidos como necesarios.
Proceso/Eficacia Pautas de entrevista
Informes internos Ministerio de Justicia Porcentaje de personas que sealan conocer las UJV respecto al total de encuestados.
Resultado/Eficacia Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
109
Porcentaje de personas que sealan conocer los servicios de las UJV respecto al total de encuestados.
Resultado/Eficacia Encuesta de lnea base y seguimiento Unidades de Justicia Vecinal. Porcentaje de usuarios de UJV que ingresaron su caso porque conocieron los servicios de UJV a travs de actores clave de la comunidad.
Calcular total, y por comuna. Proceso/Eficacia Sistema informtico UJV
Encuestas de satisfaccin Ministerio de Justicia Porcentaje de UJV inauguradas en fecha programada.
Proceso/Eficacia Pautas de entrevista
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
110
Actividad 2
Atencin oportuna de los usuarios de las Unidades de Justicia Vecinal, mediante la recepcin de sus requerimientos y el registro de sus antecedentes. Distribucin de usuarios registrados segn forma de ingreso (presencial, telfono, web). Total y segn materia, comuna y va de solucin u orientacin.
Calcular porcentaje para ingresos va telfono, web y presencial. Total y segn materia, comuna y va de solucin.
Proceso/Calidad Sistema informtico UJV Tiempo promedio (en das) de respuesta a usuarios que se contactan va web. Total y segn comuna.
Calcular total y segn comuna.
Proceso/Eficiencia Sistema informtico UJV Usuarios atendidos por ejecutiva de atencin promedio por semana. Total y por comuna.
Calcular total y segn comuna.
Proceso/Eficiencia Sistema informtico UJV Porcentaje de casos ingresados para evaluacin, respecto al total de usuarios de acuden a las UJV. Total, segn materia, y comuna.
Calcular total, segn materia, y comuna.
Proceso/Eficiencia Sistema informtico UJV Porcentaje de usuarios que se entrega orientacin jurdica, respecto al total de usuarios de acuden a las UJV. Total, segn materia, y comuna.
Calcular total, segn materia, y comuna.
Proceso/Eficiencia Sistema informtico UJV Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
111
Porcentaje de usuarios que se entrega orientacin social, respecto al total de usuarios de acuden a las UJV. Total, segn materia, y comuna.
Calcular total, segn materia, y comuna.
Proceso/Eficiencia Sistema informtico UJV Primera atencin realizada de acuerdo a protocolo.
Cumplimiento de protocolo
Proceso/Eficacia Entrevista en profundidad Conocimiento de los procesos siguientes (evaluacin, va de solucin, seguimiento) por parte de los usuarios, despus de la primera atencin. Conclusiones del anlisis en profundidad Proceso/Calidad Grupos focales a usuarios Entrega de la cartilla de atencin a los usuarios que acuden a UJV. Conclusiones del anlisis en profundidad Proceso/Calidad Grupos focales a usuarios Distribucin de usuarios segn tramos de tiempo (1-5 das; 6-10 das; 11 o ms das) utilizado para remitirlo al equipo de evaluacin, orientacin jurdica o social. Total y segn comuna.
Calcular porcentaje para los casos que fueron remitidos al equipo de evaluacin, orientacin jurdica o social, entre: 1-5 das; 6-10 das; 11 o ms das. Total y segn comuna.
Proceso/Eficiencia Sistema informtico UJV
Casos ingresados promedio en perodo t. Total y segn comuna y materia.
Calcular total y segn comuna.
Proceso/Eficacia Sistema informtico UJV
Distribucin de usuarios segn tramos de tiempo (1-5 das; 6-10 das; 11 o ms das) utilizado en orientacin jurdica o social. Total y por comuna.
Calcular porcentaje para los casos que fueron orientados o asesorados legalmente, entre: 1-5 das; 6-10 das; 11 o ms das. Total y segn comuna.
Proceso/Eficiencia Sistema informtico UJV
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
112
Porcentaje de casos enviados a orientacin jurdica o social que resultan ser materia de orden vecinal, y por lo tanto, se ingresan como caso. Total y segn comuna y materia por la que finalmente son ingresados.
Total y segn comuna y materia por la que finalmente son ingresados.
Proceso/Calidad Sistema informtico UJV
Otro indicador interesante de incluir en la medicin de esta actividad es aquel relacionado con la distribucin geogrfica de los usuarios registrados, de tal manera de poder analizar una medida de alcance de las UJV en las comunas donde aplica este Estudio Prctico, para esto se considera la medicin de la distancia entre el hogar del usuario y la UJV.
Distribucin de usuarios registrados, segn distancia del hogar a la UJV, edad, gnero, materia, si conflicto es colectivo (ej. Junta de vecinos), entre otras variables. Total y por comuna.
Calcular porcentaje para diferentes tramos de distancias, edad, gnero. Total y segn materia, comuna y va de solucin.
Proceso/Calidad Sistema informacin Geogrfica 37
37 Para la construccin del dato de distancia a la UJV, el Ministerio de Justicia est generando un sistema de informacin geogrfica. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
113
Actividad 3
Evaluacin y derivacin de los casos ingresados por parte del equipo de trabajo de las Unidades de Justicia Vecinal, a la o las vas de solucin de conflicto ms adecuadas para su solucin. Porcentaje de casos ingresados que resultan no ser materia de conflicto vecinal. Total y segn comuna, y materia por la que fue ingresado inicialmente. *100 Total y segn materia, comuna y va de solucin. Proceso/Eficiencia Plataforma Informtica Porcentaje de casos ingresados que son evaluados por el evaluador jurdico. Total, por comuna y materia. *100 Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados que son evaluados por el evaluador social. Total, por comuna y materia. *100 Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Tiempo promedio (en das) entre el ingreso del caso y la primera gestin del equipo evaluador. Total y segn materia, comuna.
Calcular total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Distribucin de casos segn el tiempo entre ingreso y la primera gestin del equipo evaluador. Total y segn materia, comuna.
Calcular porcentaje para los casos entre: 1-5 das; 6-10 das; 11 o ms das. Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados que se les propone una va de solucin por parte del equipo evaluador. Total y segn materia, comuna. *100 Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Tiempo promedio (en das) entre el ingreso del caso y la propuesta de va de solucin. Total y segn materia, comuna.
Calcular total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
114
Distribucin de casos segn el tiempo entre ingreso y la propuesta de va de solucin. Total y segn materia, comuna.
Calcular porcentaje para los casos entre: 1-5 das; 6-10 das; 11 o ms das. Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados que firman el consentimiento informado (decisin de ir a una va). Total y segn materia, comuna. *100 Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Porcentaje de casos donde el requirente no se logra contactar. Total, segn comuna y materia. *100 Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica
Para la medicin de la actividad 3, al igual que en el caso anterior, se consider incluir una medida relacionada con la distribucin geogrfica de los casos registrados, de tal manera de poder analizar una medida de alcance de las UJV en las comunas donde aplica este Estudio Prctico, para esto se considera la medicin de la distancia entre el hogar del usuario y l a UJV.
Porcentaje de contactos efectivos respecto al total de contactos realizados por la UJV con los requeridos de cada caso ingresado. Total, por comuna, barrio o distancia a la UJV, situacin ocupacional, gnero, y materia. *100 Total y segn materia, comuna y va de solucin. Proceso/Eficiencia Sistema de Informacin Geogrfica Porcentaje de contactos con requerido realizados por el asistente administrativo, respecto al total requeridos contactados para la primera entrevista. Total, por comuna, barrio o distancia a la UJV, situacin ocupacional, gnero, y materia. *100 Total y segn materia, comuna y va de solucin. Proceso/Eficiencia
Sistema de Informacin Geogrfica
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
115
Actividad 4
Solucin de los casos ingresados a las Unidades de Justicia Vecinal a travs de las vas de solucin. Porcentaje de casos ingresados que realizan una entrevista con el equipo de la va de solucin. Total, por comuna, por materia y va de solucin. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de conciliacin que realizan reunin introductoria. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de conciliacin que realizan reunin conjunta. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de conciliacin que suscriben acuerdo y remiten a seguimiento. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de conciliacin que no suscriben acuerdo y derivan al equipo evaluador. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de mediacin que realizan sesin conjunta con requirente y requerido. Total, por comuna y materia. *100
Proceso/Calidad Plataforma Informtica Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
116
Total y segn materia, comuna y va de solucin. Porcentaje de casos ingresados a la va de solucin de mediacin que realizan reunin individual con requerido y requirente. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de mediacin que firman acuerdo y cierran el caso, remitindolo a seguimiento. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de mediacin que no logra acuerdo remitindolo al equipo evaluador. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de juicio en juzgado de polica local que realizan audiencia de contestacin y prueba. Total, por comuna y materia. 38
*100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de juicio en juzgado de polica local que emiten fallo. Total, por comuna y materia. 39
*100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica
38 Se debe sealar que este indicador no depende de la atencin de las UJV o de sus procesos internos. Esto porque, corresponde a servicios prestados por otra institucin. 39 Se debe sealar que este indicador no depende de la atencin de las UJV o de sus procesos internos. Esto porque, corresponde a servicios prestados por otra institucin. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
117
Porcentaje de casos ingresados a la va de solucin de arbitraje con contacto a requirente y requerido. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de arbitraje que realizan la audiencia de compromiso y juramento. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de arbitraje que envan su demanda a travs de un formulario tipo. Total, por comuna y materia. *100 Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de arbitraje que reciben contestacin de demanda a travs de un formulario tipo. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de arbitraje que realizan juicio oral arbitral. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de arbitraje con sentencia dictaminada por el juez. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos ingresados a la va de solucin de arbitraje que se comunic la sentencia dictaminada. Total, por comuna y materia. *100 Proceso/Calidad Plataforma Informtica Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
118
Total y segn materia, comuna y va de solucin. Porcentaje de casos derivados a la red social existente en la comuna. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica
Porcentaje de casos que deben ser derivados a otros programas sociales, pero no existe oferta especfica en la comuna. Total, por comuna y materia. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
119
Actividad 5
Monitoreo de los acuerdos, fallos y derivaciones de los casos ingresados a las Unidades de Justicia Vecinal y ejecucin de acciones de apoyo para su cumplimiento. Porcentaje de casos solucionados por MASC con cumplimiento de acuerdo. Total, por comuna, materia. *100
Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Porcentaje de casos solucionados por MASC que tienen actividades de seguimiento agendadas. Total, por comuna, materia. *100
Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Distribucin de casos solucionados por MASC segn cumplimiento de actividades de seguimiento agendadas (0- 4%, 5-15%,16-30%, 30-50%, 50-70%, 71 %o ms). Total, por comuna, materia.
*100 Calcular porcentaje para los casos que cumplieron entre 0- 4%, 5-15%,16-30%, 30-50%, 50-70%, 71 %o ms. Total y segn materia. Proceso/Eficiencia Plataforma Informtica Porcentaje de casos solucionados por vas adjudicativas, que poseen fallos y se ha verificado el cumplimiento. Total, por comuna, materia. *100 Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Porcentaje de casos solucionados por vas adjudicativas que tienen actividades de seguimiento agendadas. Total, por comuna, materia. *100 Total y segn materia, comuna. Proceso/Calidad Plataforma Informtica Distribucin de casos solucionados que ingresan a vas adjudicativas segn cumplimiento de actividades de seguimiento agendadas (0-4%, 5-15%,16-30%, 30-50%, 50-70%, 71 %o ms). Total, por comuna, materia.
*100 Calcular porcentaje para los casos que cumplieron entre 0- 4%, 5-15%,16-30%, 30-50%, 50-70%, 71 %o ms. Total y segn materia, comuna. Proceso/Eficiencia Plataforma Informtica Porcentaje de casos derivados a vas de servicios sociales que cuentan con informacin de la institucin respecto a resultado positivo de la prestacin. Total, por comuna, materia. *100 Proceso/Calidad Plataforma Informtica Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
120
Total y segn materia, comuna. Porcentaje de casos derivados a vas de servicios sociales y que asisten a la institucin. Total, por comuna, materia y va de solucin. *100 Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Porcentaje de casos derivados a la red social en que los usuarios son beneficiarios de los programas sociales. Total, por comuna, materia y servicio social local. *100
Total y segn materia, comuna y va de solucin. Proceso/Calidad Plataforma Informtica Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
121
Anexo 5: Conceptos generales sobre evaluacin de impacto 40
La evaluacin de impacto de un programa o intervencin pblica requiere desarrollar un proceso de trabajo sistemtico e independiente orientado a responder preguntas tales como: Se ha contribuido significativamente a resolver el problema que dio origen al programa? Los receptores de los bienes y servicios que genera el programa han resultado realmente beneficiados? Los beneficios recibidos por los participantes son los que se haba propuesto lograr el programa o son otros no previstos? Los beneficios estn llegando a la poblacin que se pretende atender? Los usuarios del programa estn satisfechos con los bienes y servicios recibidos? Los beneficios han experimentado un mejoramiento significativo en su condicin-problema inicial, como consecuencia de su participacin en el programa? De las preguntas anteriores se desprende que la evaluacin de impacto comprende la efectividad 41 de las medidas tomadas o los servicios entregados por el programa. Por otra parte, si se considera que los recursos necesarios para la ejecucin de un programa son escasos y de uso alternativo, los mismos beneficios no pueden ser logrados a cualquier costo, entonces la eficiencia tambin es una dimensin a abordar en una evaluacin de impacto. Conceptos generales Una evaluacin de impacto debe identificar las relaciones de causalidad entre los componentes que integra el programa o el estudio prctico en este caso y los resultados esperados, pero adems tambin sobre aquellos resultados no contemplados, es decir sobre posibles externalidades que genere el programa. Otro factor relevante en la medicin de los resultados, es el horizonte de evaluacin, el cual depender exclusivamente del contexto asociado a cada evaluacin, en otras palabras el horizonte de evaluacin es particular a cada programa o estudio. Esto debido a que los resultados esperados pueden diferenciarse segn el momento en que sean examinados. De esta manera podemos definir resultados segn horizonte de
40 Metodologa Evaluacin de Impacto Aspectos Relevantes, realizado por la Divisin de Control de Gestin de la Direccin de Presupuestos del Ministerio de Hacienda. 41 En el sentido de la capacidad de lograr lo esperado. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
122
corto, mediano y largo plazo, donde ser fundamental que el diseo de evaluacin considere la medicin de estos resultados en el tiempo correspondiente en que deban ser analizados. Siguiendo la definicin de resultados y medicin propuesta por la Divisin de Control de Gestin de la Direccin de Presupuestos del Ministerio de Hacienda, se deben identificar al menos tres tipos de resultados esperados, a nivel de producto, intermedios y finales. Resultados a nivel de producto Los productos se refieren a resultados del programa a nivel de componentes y responden a preguntas como: Tuvieron las actividades realizadas los productos esperados, beneficiando al grupo objetivo predefinido? En qu magnitud? Es decir, en una lnea de tiempo corresponden el primer tipo de resultados que debe generar un programa y el efecto ms inmediato que tiene la produccin de los componentes sobre la poblacin beneficiaria. La calidad de los bienes y servicios entregados por el programa tambin puede considerarse como un resultado a nivel producto. En este punto conviene distinguir, para fines evaluativos, entre la calidad objetiva y la calidad subjetiva. La primera se refiere a la calidad tcnica de los bienes y servicios entregados, en tanto que, la segunda dice relacin con la percepcin que tienen los usuarios respecto al bien o servicio recibido. La medicin y evaluacin de los resultados a nivel de producto se lleva a cabo principalmente mediante tcnicas cuantitativas. Lo ms comn es el uso de indicadores de gestin o indicadores de desempeo, que miden la evolucin de los niveles de produccin y/o atributos o caractersticas ms relevantes de los bienes o servicios entregados por el programa. Para cada uno de los atributos o caractersticas del producto se debe generar informacin que permita construir los indicadores y evaluar los resultados a este nivel. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
123
Una vez que se cuenta con la base de indicadores existen varias posibilidades de anlisis. Resultados Intermedios Los resultados intermedios corresponden al segundo tipo de resultados que se producen en una secuencia de tiempo. Se refieren a cambios en el comportamiento o actitud de los beneficiarios o certificacin o cambio en el estado de stos, una vez que han recibido los bienes y servicios que entrega el programa. La medicin de resultados intermedios apunta a evaluar los cambios en el comportamiento de los beneficiarios que se producen una vez que estos han utilizado y asimilado los componentes del programa. No mide los beneficios finales alcanzados, puesto que stos requieren un periodo de tiempo mayor para ser logrados (resultados finales), sino que ms bien analiza la adquisicin de ciertas conductas, habilidades o capacidades que presumiblemente facilitarn la generacin de los beneficios de largo plazo. Implica necesariamente indagar, a nivel de los beneficiarios efectivos, si se han producido los cambios de comportamiento deseados, por esta razn generalmente se requiere utilizar tcnicas de investigacin de campo, tales como encuestas o inspecciones en terreno. Resultados Finales Los resultados finales (impacto) son resultados a nivel de propsito o fin del programa. Implican un mejoramiento significativo y, en algunos casos, perdurable o sustentable en el tiempo, en alguna de las condiciones o caractersticas de la poblacin objetivo que se plantearon como esenciales en la definicin del problema que dio origen al programa. Un resultado final suele expresarse como un beneficio de mediano y largo plazo obtenido por la poblacin atendida. La medicin de resultados finales o impacto debe establecer en primer lugar cuales son los efectos de mediano y largo plazo sobre la poblacin beneficiaria que espera obtener el programa. Cules son los beneficios con que quedar la poblacin beneficiaria una Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
124
vez que concluya su participacin en el programa? Lo anterior implica identificar y separar los beneficios logrados como consecuencia de la intervencin del programa, de aquellos que de todas maneras hubieran ocurrido sin la ejecucin de ste, por efecto de la evolucin normal de las condiciones del entorno o la accin de otros programas pblicos o privados. Para ello, en primer lugar, corresponder identificar la(s) variables(s) que deben ser medidas para determinar si el programa ha generado realmente los beneficios o resultados finales o impacto esperados. Cabe destacar que esta misma metodologa debe ser aplicada para evaluar los resultados intermedios y externalidades del programa en cuestin. Impacto de un programa o intervencin pblica El impacto de un programa o intervencin pblica corresponde a la diferencia en la variable resultado ( ) que registra el individuo i con y sin la intervencin. = resultado potencial del individuo i con tratamiento (resultado que el individuo i obtendra si se le expusiera al tratamiento). = resultado potencial del individuo i sin tratamiento (resultado que el individuo i obtendra si no se le expusiera al tratamiento). (1) Donde es el impacto del programa (tratamiento) sobre la persona i. Sin embargo, no es posible observar Y 0i e Y 1i para un mismo individuo en un momento del tiempo, es decir, un individuo i puede presentar slo uno de los dos estados posibles, intervencin en el programa (tratamiento) o no intervencin en el programa. Esto es conocido como el problema fundamental de identificacin. Una solucin a este problema sera medir el impacto esperado o promedio del programa sobre el conjunto de los individuos: Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
125
(2) Donde es el impacto promedio del programa (Average Treatment Effect (ATE)), es el resultado potencial, con posterioridad a la intervencin del programa, de los individuos que han participado en dicho programa; e es la variable resultado, con posterioridad a la intervencin del programa, de los individuos que no han participado en el programa, es decir: (3) Donde, D=1 si el individuo ha participado en el programa (es decir, recibe tratamiento) y D=0 de lo contrario. El ltimo trmino de la ecuacin anterior probablemente no ser igual a cero debido a la existencia de sesgo de seleccin, es decir, la seleccin de individuos que participan en el programa responde a ciertos criterios de focalizacin u otros. Por ejemplo, en general los beneficiarios de un programa de capacitacin poseen ingresos menores antes de la capacitacin que aquellos individuos que no participan del programa. Lo anterior posiblemente implica que, en ausencia del programa, los ingresos potenciales de los beneficiarios seran menores a los de los no beneficiarios en el mismo perodo, por lo tanto, en este ejemplo, si se utiliza la diferencia de medias como el impacto del programa este resultado estara sub estimado.
Para resolver el problema ocasionado por la existencia de sesgo de seleccin, y por ende, aislar los efectos que sobre la variable resultado ( ) tienen factores externos al programa, se requiere que la seleccin de individuos beneficiarios del programa sea independiente de sus resultados potenciales. El cumplimiento de esta condicin implica que , y por lo tanto, el resultado prometido o impacto esperado del programa (tratamiento) ser: Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
126
(4) Para que se cumpla la condicin de independencia, se requiere que el tratamiento sea asignado aleatoriamente, es decir, que los individuos que se beneficien del programa sean seleccionados de forma aleatoria, lo cual se conoce como diseo experimental o aleatorio. Sin embargo, muchas veces no es posible asignar el tratamiento aleatoriamente, lo cual implica que la seleccin de los beneficiarios se sustenta en criterios de elegibilidad y focalizacin, por ende el grupo de tratamiento y control presentaran diferencias, observables y no observables. No obstante lo anterior, puede utilizarse un nmero de mtodos diferentes en la teora de la evaluacin de impacto para abordar la cuestin fundamental de la falta contrafactual. Cada uno de estos mtodos tiene sus propias suposiciones sobre la naturaleza del potencial sesgo de seleccin, y los supuestos son cruciales para desarrollar el modelo apropiado para determinar el impacto del programa. Estos mtodos son 42 : Evaluaciones aleatorias Mtodos de Matching, especficamente propensity score matching (PSM) Mtodo de Dobles Diferencias Mtodo de Variables Instrumentales Mtodo de Regresin Discontinua Entre otros.
Estos mtodos varan segn su hiptesis en cuanto a cmo resolver el sesgo de seleccin en la estimacin del efecto del tratamiento del programa. Las evaluaciones aleatorias implican, como ya ha sido sealado en prrafos anteriores, una asignacin aleatoria a travs de una muestra de sujetos (comunidades o individuos, por ejemplo);
42 S.Khandker, G.Koolwal, H.Samad, Handbook on Impact Evaluation.Quantitative Methods and Practices. The World Bank, 2010.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
127
el progreso de los individuos tanto del grupo de tratamiento como de control exhiben similares caractersticas antes de aplicar el programa, luego, se realiza un seguimiento en el tiempo. Los experimentos aleatorios tienen la ventaja de evitar el sesgo de seleccin a nivel de la aleatorizacin.
En ausencia de un experimento, mtodos PSM comparan el efecto del tratamiento en pares de participantes y no participantes clones, esto es, se busca para cada individuo tratado su par coincidente, con una gama de caractersticas, en el grupo de control. Por lo tanto, los mtodos PSM asumen que el sesgo de seleccin se basa slo en caractersticas observadas, no se presentan factores que afectan la participacin.
El Mtodo de Dobles Diferencias (DD) asume que la seleccin no observada est presente pero es invariante en el tiempo-el efecto del tratamiento est determinado por tomar la diferencia en los resultados del grupo de tratamiento y control antes y despus de la intervencin del programa. El mtodo DD puede ser usado en ambos casos, experimentales y no experimentales. Los mtodos de Variables Instrumentales (VI), pueden ser usados con datos de corte transversal o de panel, en este ltimo caso permiten sesgo de seleccin sobre caractersticas no observadas que varan en el tiempo. En el enfoque de variables instrumentales, el sesgo de seleccin por caractersticas se corrige encontrado una variable (o instrumento) que est correlacionado con la participacin pero no correlacionado con caractersticas no observables que afectan los resultados, este instrumento se utiliza para predecir la participacin. Mtodos de Regresin Discontinua son extensiones del VI y mtodos experimentales; se explota la exogeneidad de las reglas del programa (tales como los requisitos de elegibilidad) para comparar los participantes y no participantes en un vecindad cercana al lmite de elegibilidad.
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
128
Anexo 6: Encuesta de lnea base y seguimiento
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
129
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
130
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
131
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
132
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
133
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
134
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
135
Anexo 7: Pautas de entrevistas estudios cualitativos
Pauta Tipo Coordinadores de implementacin en terreno y equipos de UJV 43
Aspectos generales 1. A nivel de diseo y ejecucin de lo que va del Estudio Prctico de Unidades de Justicia Vecinal, cules considera que son sus principales aciertos y cules las principales deficiencias? (Indagar sobre la existencia de actores especializados, aplicacin del Manual de Procedimientos y Protocolos, roles y responsabilidades de los actores e instituciones involucradas, etc.) 2. A nivel de ejecucin en estos meses, cmo evala a los distintos actores partcipes de las UJV en el desarrollo del proceso? (Recepcionistas, abogados, facilitadores, asistentes sociales, mediadores, conciliadores, rbitros, personas del JPL, etc) Coordinacin con la municipalidad y redes sociales asociadas 3. Cmo ha sido la motivacin por parte de la Municipalidad en la implementacin de este programa? 4. Qu tipo de participacin tuvo la Municipalidad en el proceso de instalacin? (Indagar en la participacin de ellos en el proceso de bsqueda de un local, de personal capacitado, de generar facilidades, etc.) 5. Cul es el rol de la Municipalidad en proceso de Implementacin de las UJV? Qu funciones cumple? 6. Con quin de la Municipalidad se relaciona y coordina el Equipo de implementacin de la UJV? Cmo evala la coordinacin con la Municipalidad y con las Redes Sociales de esta comuna? Cmo considera que ha sido la disposicin a trabajar con ustedes? Infraestructura y Equipamiento de las UJV 7. Cmo califica la infraestructura de la Unidad de Justicia Vecinal? 8. De acuerdo a la infraestructura con la que cuentan, cree que se lograron los estndares de calidad y pertinencia para el desarrollo de UJV?
43 Pauta tipo que va a cambiar su nivel de profundidad en la parte de Procedimientos, dependiendo de la persona a la que se est entrevistando. Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
136
9. Qu aspectos negativos encuentra a la Infraestructura y Equipamiento de las UJV? Qu aspectos cree que son posibles de mejorar, en trminos de infraestructura y equipamiento, para realizar mejor las labores que implica la UJV? Capacitacin del Personal 10. De acuerdo a la capacitacin recibida antes de iniciar el proceso, cmo califica dicha capacitacin? considera que fue suficiente y pertinente para realizar las funciones y responsabilidades que tienen las personas del equipo que se encuentra en las UJV? 11. Exactamente en qu reas se les capacit? cules fueron los puntos crticos de la capacitacin? 12. Cree que es necesario reforzar algn tpico dentro de la capacitacin? Existe algn tema que no fue abordado en la capacitacin y que hoy en da lo ve necesario de integrar? Coordinacin entre el Equipo UJV 13. Cules son las principales responsabilidades que le corresponden a Ud., en relacin a las UJV? 14. Con quin se relaciona directamente usted del Equipo de Unidad de Justicia Vecinal? Mantiene algn tipo de coordinacin con los otros miembros del equipo de la Unidad de Justicia Vecinal? Si mantiene en qu reas y con qu objetivos? 15. Cmo evala la coordinacin entre los diferentes actores desde la recepcin del caso hasta su eventual seguimiento? 16. Cules considera que son las principales falencias o debilidades de coordinacin entre el equipo de UJV? Procedimientos de Implementacin 17. Qu factores a su juicio son los ms relevantes para un adecuado funcionamiento de las Unidades de Justicia Vecinal? 18. Cmo evala los diferentes procedimientos implicados en la implementacin de las UJV? Se han desarrollado con normalidad? Cules son los aspectos que destaca? 19. Cules son las reas crticas o las principales dificultades y problemas detectados en los diferentes procedimientos involucrados en la implementacin de las UJV? (Indagar en cada uno de los procesos y de la participacin de cada uno de los involucrado y sus tareas)
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
137
20. Qu cambios han incorporado a los procedimientos ya establecidos en el Manual de Procedimientos? Cierre 21. Cul es su percepcin sobre cmo lo est recibiendo la gente y las autoridades locales este Estudio Prctico? 22. Cules son sus recomendaciones o propuestas de mejora para las Unidades de Justicia Vecinal? 23. Quisiera agregar algo ms que no se haya tocado en esta entrevista?
Pauta Tipo Alcalde de la municipalidad o persona encargada de la coordinacin con la UJV
Aspectos Generales 1. A modo general, cmo considera que es la situacin de su comuna respecto de los conflictos vecinales? Cmo se resolvan dichos conflictos en su comuna? qu rol tiene la Municipalidad en la resolucin de los conflictos vecinales? qu rol tena antes de que se instalara una Unidad de Justicia Vecinal? 2. A nivel de diseo y ejecucin de lo que va del Estudio Prctico de Unidades de Justicia Vecinal, cules considera que son sus principales aciertos y cules las principales deficiencias? 3. A nivel de ejecucin en estos meses, cmo evala a los distintos actores partcipes de las UJV en el desarrollo del proceso? Coordinacin con la Municipalidad y Redes Sociales asociadas 4. Cmo ha sido la motivacin por parte de la Municipalidad en la implementacin de este programa? 5. Qu tipo de participacin tuvo la Municipalidad en el proceso de instalacin? (Indagar en la participacin de ellos en el proceso de bsqueda de un local, de personal capacitado, de generar facilidades, etc.) 6. Cul es el rol de la Municipalidad en proceso de Implementacin de las UJV? Qu funciones cumple? Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
138
7. Con quin de la Municipalidad se relaciona y coordina el Equipo de implementacin de la UJV? Cmo evala la coordinacin con la UJV y con el Ministerio? Cmo considera que ha sido la disposicin a trabajar con ustedes? Infraestructura y Equipamiento de las UJV 8. Cmo califica la infraestructura de la Unidad de Justicia Vecinal? 9. De acuerdo a la infraestructura con la que cuentan, cree que se lograron los estndares de calidad y pertinencia para el desarrollo de UJV? 10. Qu aspectos negativos encuentra a la Infraestructura y Equipamiento de las UJV? Qu aspectos cree que son posibles de mejorar, en trminos de infraestructura y equipamiento, para realizar mejor las labores que implica la UJV?
Percepcin de la gente 11. Cul es su percepcin sobre cmo lo est recibiendo la gente de la comuna? 12. Cmo cree que es la difusin del Estudio Prctico a la poblacin de la Comuna? Cmo cree que es su cobertura? 13. Cules cree que son los puntos crticos o a mejorar por parte de las Unidades de Justicia Vecinal? 14. Cules son sus recomendaciones o propuestas de mejora para las Unidades de Justicia Vecinal? 15. Quisiera agregar algo ms que no se haya tocado en esta entrevista?
Pauta de Grupos Focales Usuarios de las UJV
Percepcin y Conocimiento de las UJV 1. Cmo se enteraron de la existencia de una Unidad de Justicia Vecinal? Cmo llegaron a ella? 2. Qu les pareci la difusin? Qu les pareci la propaganda? Qu fue lo primero que pensaron? 3. Qu pensaron o sintieron cuando supieron de las UJV? Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
139
Experiencia con las UJV 4. Por qu razn decidieron ir a la Unidad de Justicia Vecinal? Cul era la problemtica que les aquejaba?
5. Cmo considera que fue la atencin que recibi por parte del equipo de la Unidad de Justicia Vecinal? Cmo los recibi la recepcionista, los evaluadores, las personas a cargo de la solucin de los conflictos, los que realizaron el seguimiento? 6. Cmo considera que es la respuesta otorgada en cada uno de los procesos y en particular la situacin final de resolucin? Informacin entregada 7. Cmo consideran que es la informacin que le proporcionaron en las diferentes etapas del proceso? Cmo cree que es la informacin respecto a la eleccin de la va de solucin del conflicto? 8. Le surgieron dudas a lo largo del proceso? stas fueron respondidas por alguien de la Unidad? Tiempos 9. Cmo creen que fueron los tiempos del proceso desde que entra hasta que sale? Se cumplieron los tiempos comprometidos? Infraestructura 10. Cmo considera la infraestructura de la Unidad de Justicia Vecinal? Indagar en el fcil acceso, instalaciones, esttica, servicios de espera, servicios higinicos, etc.? Cierre 11. Qu recomendaciones le hara a la Unidad de Justicia Vecinal para mejorar su atencin a las personas? 12. Recomendaran este servicio a otras personas?
Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
140
Anexo 8: Operacionalizacin de las variables A continuacin se presenta una operacionalizacin de las variables de la Evaluacin de Procesos la cual est realizada a partir de los objetivos especficos sealados en dicho apartado del informe. sta est compuesta por los dos procesos a medir como grandes dimensiones: instalacin e implementacin, la cual se desglosa en subdimensiones o variables que son necesarias de medir en dicha evaluacin. Se encuentra el respectivo indicador y la pregunta asociada junto con el grupo objetivo al que se tiene que aplicar y el tipo de instrumento. Es necesario agregar que el Grupo Objetivo se seala en nmeros que se corresponden con los sealados en el informe en el apartado de Evaluacin de Procesos, estos se vuelven a sealar a modo de facilitar la lectura de la matriz de operacionalizacin, se agrega nmero 13, que corresponder a los usuarios del programa. 1. Persona encargada desde el Ministerio de Justicia de la implementacin en terreno. 2. Alcalde de la Municipalidad en la que se est desarrollando el Estudio Prctico de Unidad de Justicia Vecinal. 3. Jefe de Unidad de cada UJV. 4. Ejecutivos de Atencin a usuarios de cada UJV. 5. Evaluadores jurdicos de cada UJV. 6. Evaluadores sociales de cada UJV. 7. Facilitadores de cada UJV. 8. Mediador de cada UJV. 9. Conciliador. 10. rbitro de cada UJV. 11. Abogado de la Corporacin de Asistencia Judicial 12. Juez de Polica Local o persona involucrada en el JPL. 13. Usuarios Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
141
PROCESOS VARIABLES INDICADORES Pregunta Grupo Objetivo Instrumento Instalacin Infraestructura y equipamiento Evaluacin general Cmo califica la infraestructura de la Unidad de Justicia Vecinal? Todos los actores Entrevista y Grupo Focal Aspectos Negativos Qu aspectos negativos encuentra en la Infraestructura y Equipamiento de la UJV? Todos los actores Entrevista y Grupo Focal Aspectos Positivos Qu aspectos positivos destaca de la Infraestructura y Equipamiento de la UJV? Todos los actores Entrevista y Grupo Focal Aspectos a mejorar Qu aspectos cree que son posibles de mejorar, en trminos de infraestructura y equipamiento, para realizar mejor las labores que implica la UJV? Todos los actores Entrevista y Grupo Focal Estndares de Calidad Cree que se lograron los estndares de calidad y pertinencia para el desarrollo de la UJV? Todos los actores Entrevista y Grupo Focal Coordinacin municipio Apoyo de la municipalidad Se sintieron apoyados por la Municipalidad cuando llegaron a instalarse en la comuna? 1 Entrevista Participacin Qu tipo de participacin tuvo la Municipalidad en el proceso de instalacin? 1 y 2 Entrevista
Diseo del Estudio Aciertos del diseo
Cules considera que son sus principales aciertos? 1 a 9 Entrevista Aplicacin de protocolos /Manual de Procedimientos Cmo se han llevado a la prctica lo sealado en el Manual de Procedimientos? 1,3,4,5,6,7,8,9 Entrevista Deficiencias Cules considera que son sus principales deficiencias? 1,3,4,5,6,7,8,9 Entrevista Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
142
Implementacin
Capacitacin Calificacin de la capacitacin Cmo califica la capacitacin recibida antes de iniciar el proceso de implementacin? 1,3,4,5,6,7,8,10 Entrevista Pertinencia de la capacitacin para las funciones ejercidas Considera que la capacitacin fue suficiente para las funciones que ejerce actualmente? 1,3,4,5,6,7,8,9 Entrevista Pertinencia de la capacitacin para las responsabilidades ejercidas Considera que la capacitacin fue pertinente para las responsabilidades que tiene actualmente? 1,3,4,5,6,7,8,9 Entrevista Temas capacitados En qu temas o reas se le capacit? 1,3,4,5,6,7,8,9 Entrevista Puntos crticos de la capacitacin Cules fueron los puntos crticos de la capacitacin? 1,3,4,5,6,7,8,9 Entrevista Temticas a reforzar Qu temas o temticas considera necesario reforzar dentro de la capacitacin? 1,3,4,5,6,7,8,9 Entrevista Temticas a incluir Qu temas o temticas considera necesario incluir que no fue abordado en la capacitacin? 1,3,4,5,6,7,8,9 Entrevista
Coordinacin con el Municipio y Redes Sociales asociadas Motivacin del Municipio Cmo ha sido la motivacin por parte de la Municipalidad durante la implementacin del programa? 1,2,3, Entrevista Funciones asociadas del Municipio Qu funciones cumple la Municipalidad en el proceso de implementacin? 1,2,3, Entrevista Rol de la municipalidad en el proceso Cul es el rol de la Municipalidad en el proceso de Implementacin? 1,2,3, Entrevista Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
143
Vnculo con el Municipio Con quin de la Municipalidad se relaciona y coordina el Equipo de Implementacin de la UJV? 1,2,3, Entrevista Contacto con Redes Sociales Cundo hicieron el contacto con las Redes Sociales de la Comuna? 1,2,3, Entrevista Rol de las Redes Sociales Cul es el rol de las Redes Sociales en el proceso de implementacin? 1,2,3, Entrevista Vnculo con las Redes Sociales Con quin se relaciona y coordina el equipo de implementacin de las redes sociales? 1,2,3, Entrevista Evaluacin de la Coordinacin con el Municipio Cmo evala la coordinacin con la Municipalidad? 1,2,3, Entrevista Evaluacin de la Coordinacin con las Redes Sociales Cmo evala la coordinacin con las Redes Sociales de la Comuna? 1,2,3, Entrevista Disposicin a trabajo conjunto del Municipio Cmo considera que ha sido la disposicin a trabajar en conjunto del Municipio? 1,2,3, Entrevista Disposicin a trabajo conjunto de las Redes Sociales Cmo considera que ha sido la disposicin a trabajar en conjunto de las redes sociales asociadas? 1,2,3, Entrevista
Coordinacin entre el Equipo UJV Responsabilidades del cargo Cules son las principales responsabilidades que le corresponden a Ud. en relacin a las UJV? 1,3,4,5,6,7,8,9 Entrevista Personas con las que se relaciona directamente del equipo Con quin se relaciona directamente usted del Equipo de Unidad de Justicia Vecinal? 1,3,4,5,6,7,8,9 Entrevista Personas con las que se relaciona espordicamente del equipo Mantiene algn tipo de coordinacin con los otros miembros del equipo de la UJV? 1,3,4,5,6,7,8,9 Entrevista Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
144
En qu reas y con qu objetivos? Evaluacin de la coordinacin entre los diferentes miembros del equipo UJV Cmo evala la coordinacin entre los diferentes actores desde la recepcin del caso hasta su eventual seguimiento? 1,3,4,5,6,7,8,9 Entrevista Debilidades de la coordinacin Cules considera que son las principales falencias o debilidades de coordinacin entre el equipo de UJV? 1,3,4,5,6,7,8,9 Entrevista Factores relevantes para adecuado funcionamiento Cules son los principales factores que inciden en el buen funcionamiento de la UJV? 1,3,4,5,6,7,8,9 Entrevista Evaluacin de los actores en sus diferentes roles Cmo evala a los distintos actores partcipes de las UJV en el desarrollo del proceso? 1,3,4,5,6,7,8,9 Entrevista
Procedimientos de implementacin Recepcin e ingreso del caso Evaluacin Cmo evala los diferentes procedimientos implicados en la implementacin de las UJV? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Aspectos a destacar Cules son los aspectos que destaca en estos procedimientos? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Aspectos crticos Cules son las reas crticas detectadas en los diferentes procedimientos involucrados en la implementacin de las UJV? 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Principales dificultades Cules son las principales dificultades detectadas en los diferentes procedimientos 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
145
involucrados en la implantacin de las UJV? Aspectos a mejorar Qu aspectos cree que son necesarios mejorar de estos procedimientos? 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Informacin entregada Cmo considera que es la informacin entregada en las diferentes etapas del proceso? 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Cambios incorporados Qu cambios han incorporado a los procedimientos ya establecidos en el manual? 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal
Evaluacin del Caso y derivacin a va de solucin Evaluacin Cmo evala los diferentes procedimientos implicados en la implementacin de las UJV? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Aspectos a destacar Cules son los aspectos que destaca en estos procedimientos? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Aspectos crticos Cules son las reas crticas detectadas en los diferentes procedimientos involucrados en la implementacin de las UJV? 1,3,4,5,6,7,8,9, 10, 11 y usuarios Entrevista y Grupo Focal Principales dificultades Cules son las principales dificultades detectadas en los diferentes procedimientos involucrados en la implementacin de las UJV? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Aspectos a mejorar Qu aspectos cree que son necesarios mejorar de estos procedimientos? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
146
Informacin entregada Cmo considera que es la informacin entregada en las diferentes etapas del proceso? Cmo cree que es la informacin respecto a la eleccin de la va de solucin del conflicto? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Cambios incorporados Qu cambios han incorporado a los procedimientos ya establecidos en el manual? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal
Vas de solucin de Conflictos Evaluacin Cmo evala los diferentes procedimientos implicados en la implementacin de las UJV? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Aspectos a destacar Cules son los aspectos que destaca en estos procedimientos? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Aspectos crticos Cules son las reas crticas detectadas en los diferentes procedimientos involucrados en la implementacin de las UJV? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Principales dificultades Cules son las principales dificultades detectadas en los diferentes procedimientos involucrados en la implementacin de las UJV? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Aspectos a mejorar Qu aspectos cree que son necesarios mejorar de estos procedimientos? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Informacin entregada Cmo considera que es la informacin entregada en las diferentes etapas del proceso? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
147
Cmo cree que es la informacin respecto a la eleccin de la va de solucin del conflicto? Cambios incorporados Qu cambios han incorporado a los procedimientos ya establecidos en el manual? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal
Seguimiento, acuerdos, fallos y derivaciones Evaluacin Cmo evala los diferentes procedimientos implicados en la implementacin de las UJV? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Aspectos a destacar Cules son los aspectos que destaca en estos procedimientos? Indagar en este procedimiento en particular 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Aspectos crticos Cules son las reas crticas detectadas en los diferentes procedimientos involucrados en la implementacin de las UJV? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Principales dificultades Cules son las principales dificultades detectadas en los diferentes procedimientos involucrados en la implementacin de las UJV? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Aspectos a mejorar Qu aspectos cree que son necesarios mejorar de estos procedimientos? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Informacin entregada
1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Cambios incorporados Qu cambios han incorporado a los procedimientos ya establecidos en el manual? 1,3,4,5,6,7,8,9, 10, 11 y 13 Entrevista y Grupo Focal Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
148
Informacin general Le surgieron dudas a lo largo del proceso? Cules? stas fueron respondidas por alguien de la UJV de manera satisfactoria? 13 Grupo Focal Tiempos del proceso Evaluacin Cmo evala el cumplimiento de los tiempos dentro del proceso de implementacin? todos los actores Entrevista y Grupo Focal Evaluacin general del conjunto de procedimientos Cmo evala el conjunto de procedimientos que componen la implementacin de la UJV? todos los actores Entrevista y Grupo Focal Aspectos generales a mejorar Cules son los aspectos a mejorar del programa? Qu recomendaciones propone para mejorar las UJV? todos los actores Entrevista y Grupo Focal Debilidades del programa Cules son los puntos crticos o debilidades de las UJV? todos los actores Entrevista y Grupo Focal
Percepcin de la Comunidad Percepcin de las autoridades de la comuna situacin inicial comuna Cmo considera que es la situacin de su comuna respecto de los conflictos vecinales? 2 Entrevista solucin a conflictos previa implementacin Cmo se resolvan dichos conflictos en su comuna? 2 Entrevista Rol del municipio en los conflictos vecinales Qu rol cumple la Municipalidad en la resolucin de los conflictos vecinales? 2 Entrevista Evaluacin de la UJV Cmo evala a los distintos actores partcipes de las UJV en el desarrollo del proceso? 2 Entrevista Difusin de UJV Cmo cree que es la difusin del Estudio Prctico a la poblacin de la comuna? 2 y usuario Entrevista y Grupo Focal Diseo de un Modelo de Monitoreo, Seguimiento y Evaluacin del Estudio Prctico de las Unidades de Justicia Vecinal
149
Qu les pareci la propaganda/publicidad? Qu fue lo primero que se les vino a la cabeza? 2 y usuario Entrevista y Grupo Focal Cobertura de UJV Cmo cree que es su cobertura? 2 y usuario Entrevista y Grupo Focal Percepcin de la gente Cul es su percepcin sobre cmo lo est recibiendo la gente de la comuna? todos los actores Entrevista y Grupo Focal
Percepcin de los usuarios Conocimient o de la UJV Conocimiento de UJV Cmo se enteraron de la existencia de una unidad de justicia vecinal? Cmo llegaron a ella? 13 Entrevista y Grupo Focal Experiencia con la UJV motivo de visita Por qu razn decidieron ir a la UJV? Cul era la problemtica que los aquejaba? 13 Entrevista y Grupo Focal evaluacin atencin Cmo considera que fue la atencin que recibi por parte del equipo de la Unidad de Justicia Vecinal? 13 Entrevista y Grupo Focal