CAPTULO 5

Diseo de Regresin Discontinua

Los programas sociales a menudo utilizan un ndice para decidir quin es elegible para inscribirse en el programa y quin no. Por ejemplo, los programas de lucha contra la pobreza son tpicamente dirigidos a los hogares pobres, que son identificados por un puntaje de pobreza o ndice. La puntuacin de pobreza puede estar basada en una proxi mediante una frmula que mide un conjunto de activos bsicos del hogar. Los hogares con bajos puntajes se clasifican como pobres, y los hogares con las puntuaciones ms altas se consideran no pobres. Las autoridades del programa suelen determinar un umbral o puntuacin de corte, por debajo del cual los hogares son considerados pobres y son elegibles para el programa. Los ejemplos incluyen el programa Progresa de Mxico (Buddelmeyer y Skoufias en 2004) y el sistema de Colombia para la seleccin de beneficiarios del gasto social, el llamado SISBEN (Barrera-Osorio, Linden, y Usquiola 2007). Los programas de pensiones son otro ejemplo de un tipo de programa que se dirige a las unidades basadas en un ndice de elegibilidad, aunque uno de tipo diferente. La edad constituye un ndice continuo, y la edad de jubilacin constituye el de corte que determina la elegibilidad. En otras palabras, slo las personas mayores de cierta edad son elegibles para recibir la pensin. Un tercer ejemplo de un ndice de elegibilidad continua seran las calificaciones de las pruebas. Muchos pases ofrecen becas o premios a las mejores calificaciones en una prueba estandarizada, cuyos resultados se ordenan de menor a mayor calificacin. Si el nmero de becas es limitado, slo los estudiantes que obtienen una puntuacin por encima de un umbral de puntuacin determinada (por ejemplo, la parte superior del 15 por ciento de los estudiantes) sern elegibles para la beca. El diseo de discontinuidad de la regresin (RDD) es un mtodo de evaluacin de impacto que se puede utilizar para los programas que tienen un ndice de elegibilidad continua con una puntuacin de corte claramente definido para determinar quin es elegible y quin no. Para aplicar un diseo de regresin discontinua, dos condiciones son necesarias: 1. Un ndice de elegibilidad continua, en otras palabras, una medida continua en la que la poblacin de inters pueda ser clasificada, como un ndice de pobreza, el resultado de un examen, o la edad. 2. Un punto de corte claramente definido, es decir, un punto en el ndice por encima o por debajo de la cual la poblacin se clasifica como elegible para el programa. Por ejemplo, los hogares con un ndice de pobreza menor de 50 de cada 100 pueden ser clasificados como pobres, personas mayores de 67 aos o ms podran ser clasificados como jubilados, y estudiantes con una puntuacin de 90 o ms de cada 100 podra ser elegible para una beca. Los puntajes de corte en estos ejemplos son de 50, 67 y 90, respectivamente.

Caso 1: Los Subsidios para Fertilizantes en la Produccin de Arroz Considere la posibilidad de un programa de agricultura que subsidia la compra de arroz de los agricultores de los fertilizantes con el objetivo de mejorar el rendimiento total. El programa est dirigido a las explotaciones pequeas y medianas, el cual clasifica las explotaciones con menos de 50 acres de terreno total. Antes de iniciar el programa, podramos esperar que la relacin entre el tamao de la explotacin y la produccin total de arroz sea, como se muestra en la figura 5.1, en la que las explotaciones ms pequeas tienen una menor produccin total que las fincas ms grandes. El puntaje de elegibilidad, en este caso es el nmero de hectreas de la finca, y el punto de corte es de 50 acres. Bajo las reglas de elegibilidad para el programa, las explotaciones por debajo del umbral de 50 acres son elegibles para recibir subsidios a los fertilizantes, y las explotaciones con ms de 50 acres no lo son. En este caso, podramos esperar ver un nmero de fincas con 48, 49 o incluso 49,9 acres que participan en el programa. Otro grupo de granjas con 50, 50,1 y 50,2 acres no va a participar en el programa, ya que cay justo del lado equivocado del punto de corte. El grupo de fincas con 49,9 acres es probable que sea muy similar a la del grupo de las explotaciones con 50,1 acres en todos los aspectos, excepto que un grupo recibi el subsidio a los fertilizantes y el otro grupo no lo hizo. A medida que nos alejamos del punto de corte de elegibilidad, las unidades elegibles y no elegibles sern ms diferentes por construccin, pero tenemos una medida de cuan diferentes son, basados en los criterios de elegibilidad y por lo tanto, podemos controlar por esas diferencias. Una vez que el programa se lanza y subsidia el costo de los fertilizantes de las granjas pequeas y medianas, los evaluadores del programa podran utilizar un mtodo de regresin discontinua para evaluar su impacto.

La regresin discontinua mide la diferencia en los resultados despus de la intervencin, tales como la produccin total de arroz, entre las unidades cerca del corte de elegibilidad, que en nuestro ejemplo es una granja de 50 acres. Las granjas que eran demasiado grandes para inscribirse en el programa constituyen el grupo de comparacin y generan una estimacin de los resultados de contrafactual para las explotaciones en el grupo de tratamiento que fueron lo suficientemente pequeas como para inscribirse. Dado que estos dos grupos de explotaciones eran muy similares en la lnea de base y son expuestos a la misma serie de factores externos en el tiempo (como el clima, los shocks de precios, las polticas agrcolas nacionales y locales, y as sucesivamente), la nica razn plausible para los diferentes resultados en el perodo posterior a la intervencin deben ser el propio programa. El mtodo de la regresin discontinua nos permite estimar correctamente el impacto de un programa sin excluir ninguna poblacin elegible. Sin embargo, tenga en cuenta que el impacto estimado es vlido slo en la vecindad de la puntuacin de corte de elegibilidad. En nuestro ejemplo, tenemos una estimacin vlida del impacto del programa de subsidio a los fertilizantes para la mayor de las

granjas de tamao medio, es decir, aquellos con menos de 50 acres de tierra. La evaluacin de impacto no necesariamente ser capaz de identificar directamente el impacto del programa en las explotaciones pequeas, por ejemplo, aquellos con una o dos acres de terreno, donde los efectos de un subsidio a los fertilizantes pueden diferir de forma importante de los efectos observados en granjas de tamao medio, con 48 49 acres. No existe grupo de comparacin para las pequeas explotaciones, ya que todos ellos son elegibles para inscribirse en el programa. La nica comparacin vlida es para las granjas cercanas a la puntuacin de corte de 50. Caso 2: Las Transferencias en Efectivo Supongamos que estamos tratando de evaluar el impacto de un programa de transferencia de dinero en efectivo en el gasto diario de alimentos de los hogares pobres. Tambin se supone que se puede utilizar un ndice de pobreza, una que tiene observaciones de los activos de un hogar y los resume en una puntuacin entre 0 y 100 que se utiliza para clasificar los hogares desde los ms pobres a los ms ricos. En la lnea de base, se esperara que los hogares ms pobres gastan menos en alimentos, en promedio, que los ms ricos. La Figura 5.2 presenta una posible relacin entre el ndice de pobreza y los gastos diarios del hogar en los alimentos (el resultado). Supongamos ahora que el programa se centra slo en los hogares pobres, los cuales son determinados por ser aquellos con un puntaje inferior a 50. En otras palabras, el ndice de pobreza se puede utilizar para determinar la elegibilidad: El tratamiento slo se ofrecer a los hogares con un puntaje de 50 o menos. Los hogares con una puntuacin superior a 50 son no elegibles.

En este ejemplo, el ndice de elegibilidad continua no es ms que el ndice de pobreza, y la puntuacin de corte es de 50. La relacin continua entre el ndice de elegibilidad y la variable de resultado (gasto diario de alimentos) se ilustra en la figura 5.3. Los hogares justo debajo de la puntuacin de corte son elegibles para el programa, mientras que justo por encima del punto de corte no son elegibles, a pesar de que los dos tipos de hogares son muy similares. La estrategia de RDD explota la discontinuidad alrededor del punto de corte para estimar el contrafactual. Intuitivamente, los hogares elegibles con puntuaciones por debajo del punto de corte (50 y justo por debajo) sern muy similares a los hogares con un puntaje por encima del punto de corte (por ejemplo, los de puntuacin 51). Sobre el ndice de pobreza continuo el programa tiene decidido en un punto particular (50) en el que hay un cambio repentino, o discontinuidad, en la elegibilidad para el programa. Ya que los hogares justo por encima del punto de corte de 50 son similares a los que estn justo por debajo de l, excepto que no reciben las transferencias monetarias, los hogares justo por encima se pueden utilizar como un grupo de comparacin para los hogares justo por debajo. En otras palabras, los hogares no elegibles para el programa, pero lo suficientemente cerca del punto de corte se utilizan como grupo de comparacin para estimar el contrafactual (lo que habra pasado al grupo de los hogares elegibles en ausencia del programa).

La Figura 5.4 presenta una situacin posterior a la intervencin, es posible transmitir la intuicin detrs de la estrategia de identificacin de RDD. Los resultados promedio de los hogares (elegibles) con puntajes de lnea de base de pobreza por debajo del punto de corte, son ahora ms elevadas que en los resultados promedio de los hogares (no elegibles) con las puntuaciones de lnea de base justo por encima del punto de corte. Dada la relacin continua entre las puntuaciones en el ndice de pobreza y los gastos diarios de comida antes del programa, la nica explicacin plausible de la discontinuidad que se observa despus de la intervencin debe ser la existencia del programa de transferencia de dinero en efectivo. En otras palabras, ya que los hogares en la vecindad (derecha e izquierda) del punto de corte tenan caractersticas iniciales similares en lnea de base, la diferencia en el gasto promedio de alimentos entre los dos grupos es una estimacin vlida del impacto del programa. Utilizando el Diseo de Regresin Discontinua como Mtodo para evaluar el Programa de Subsidio al Seguro de Salud Apliquemos RDD a nuestro programa de subsidio al seguro de salud (HISP). Despus de hacer un poco ms de investigacin en el diseo de la HISP, se encuentra que en la prctica las autoridades dirigen el programa a los hogares de bajos ingresos usando la lnea de pobreza nacional. La lnea de pobreza se basa en un ndice de pobreza que se asigna a cada hogar en el pas, una puntuacin entre 20 y 100 sobre la base de sus activos, condiciones de vivienda y estructura socio demogrfica.

La lnea de pobreza ha sido oficialmente fijada en 58. Esto significa que todos los hogares con una puntuacin de menos de 58 estn clasificadas como pobres, y todas las casas con una puntuacin de ms de 58 son considerados como no pobres. Incluso en los pueblos de tratamiento, slo los hogares pobres eran elegibles para inscribirse en la HISP, sin embargo, la muestra incluye datos sobre los hogares pobres y no pobres en las comunidades de tratamiento. Utilizando los hogares de la muestra de comunidades de tratamiento, un colega le ayuda a realizar una regresin multivariada y traza la relacin entre el ndice de pobreza y predijo los gastos del hogar en salud antes de que el HISP inicie (figura 5.5). La figura muestra claramente que, los puntajes de los hogares sobre la lnea de pobreza aumenta, la regresin predice un mayor nivel de gastos en salud, lo que refleja el hecho de que los hogares ms acomodados tienden a tener mayores gastos, en el consumo de medicamentos y servicios de atencin primaria en salud. Tenga en cuenta que la relacin entre el ndice de pobreza y el gasto en salud es

continua, es decir, no hay evidencia de un cambio en la relacin en torno a la lnea de pobreza.

Dos aos despus del inicio de la prueba piloto, se observa que slo los hogares con una puntuacin inferior a 58 (es decir, a la izquierda de la lnea de pobreza) han sido autorizados a inscribirse en el HISP. Utilizando los datos de seguimiento, de nuevo se traza la relacin entre las puntuaciones en el ndice de pobreza y predijo que el gasto en salud y encontr la relacin ilustrada en la figura 5.6. Esta vez, la relacin entre el ndice de pobreza y el gasto en salud previsto ya no es continua, existe una clara ruptura, o "discontinuidad", en la lnea de pobreza.

La discontinuidad refleja una disminucin del gasto en salud para los hogares elegibles que reciben el programa. Dado que las familias de ambos lados del punto de corte de 58 son muy similares, la nica explicacin plausible para los diferentes niveles de gasto en salud es que un grupo de los hogares era elegible para inscribirse en el programa y el otro no lo era. Al calcular la diferencia a travs de una regresin con los resultados mostrados en la tabla 5.1. PREGUNTA 5 A. Es el resultado que se muestra en la tabla 5.1 vlido para todos los hogares elegibles? B. En comparacin con el impacto estimado con asignacin al azar, qu significa este resultado acerca de aquellos hogares con un ndice de pobreza de menos de 58? C. Con base en el resultado del caso 5, debera ser la HISP ampliado a nivel nacional? El mtodo RDD en la prctica El Diseo de Regresin Discontinua se ha utilizado en varios contextos. Lemieux y Milligan (2005) analizaron los efectos de la asistencia social en la oferta laboral en Quebec. Martnez (2004) estudi el efecto de la vejez en las pensiones sobre el consumo en Bolivia. Filmer y Schady (2009) evaluaron el impacto de un programa que proporciona becas a estudiantes pobres para fomentar la escolarizacin e incrementar los resultados de las pruebas en Camboya. Buddelmeyer y Skoufias (2004) han estudiado el comportamiento de la regresin discontinua en relacin con el experimento aleatorio en el caso de Progresa y se encontr que los impactos estimados utilizando los dos mtodos son similares para una gran mayora de las variables analizadas. Algunos de estos ejemplos se describen en detalle en los cuadros 5.1, 5.2 y 5.3.

_________________________________________________________________ Recuadro 5.1: Asistencia Social y la oferta de trabajo en Canad Uno de los estudios clsicos utilizando el mtodo RDD es el que tomo ventaja de una discontinuidad fuerte (sharp) en un programa de asistencia social en Quebec, Canad, para entender los efectos del programa sobre los resultados del mercado laboral. El programa de asistencia social, financiado a travs del Plan de Asistencia de Canad, ofrece ayuda a los desempleados. Durante muchos aos, el programa ofrece pagos significativamente inferiores a los individuos con edad inferior a los 30 aos sin hijos, en comparacin con las personas mayores de 30 aos $185 dlares al mes en comparacin con $507 dlares. Para evaluar rigurosamente este programa, Lemieux y Milligan (2005) limita la muestra a los hombres sin hijos y sin un diploma de escuela secundaria registrado en los datos obtenidos del Censo de Canad y de la Encuesta de la Fuerza Laboral. Para justificar el uso del mtodo RDD, ellos mostraron que los hombres cercan de la discontinuidad (entre las edades de 25 y 39) son muy similares en caractersticas observables. Comparando a hombres de ambos lados del umbral de elegibilidad, los autores encontraron que el acceso a mayores beneficios de asistencia social realmente redujo el empleo un 4,5 por ciento para los hombres en este rango de edad sin hijos. Fuente: Lemieux y Milligan 2005. __________________________________________________________________ __________________________________________________________________ Recuadro 5.2: Las Cuotas Escolares y las Tasas de Matrcula en Colombia En Colombia, Barrera-Osorio, Linden, y Urquiola (2007) utilizaron un diseo de regresin discontinua para evaluar el impacto de un programa de reduccin de cuotas escolares (Gratuitas) sobre las tasas de matriculacin en la escuela en la ciudad de Bogot. Ese programa est dirigido sobre la base de un ndice denominado SISBEN, que es un ndice de pobreza que es continua cuyo valor est determinado por las caractersticas del hogar, tales como la ubicacin, los materiales de construccin de la vivienda, los servicios que estn disponibles all, la demografa, la salud, educacin, ingresos, y la ocupacin de los miembros del hogar. El gobierno estableci dos puntuaciones de corte a lo largo del ndice SISBEN: los nios de hogares con puntuaciones por debajo del punto de corte N1 son elegibles para la educacin gratuita desde los grados 1 a 11; los nios de hogares con puntajes entre los puntajes de corte N1 y N2. son elegibles para un subsidio del 50 por ciento en las cuotas para los grados 10 y 11, y los nios de

hogares con puntajes por encima de punto de corte N2 no son elegibles para recibir educacin gratuita o subvenciones. Los autores utilizaron el diseo de regresin discontinua por cuatro razones. En primer lugar, las caractersticas del hogar, tales como los ingresos o el nivel educativo del jefe de hogar son continuas a lo largo de la puntuacin del SISBEN en la lnea de base; en otras palabras, no hay "saltos" en las caractersticas a lo largo de la puntuacin del SISBEN. En segundo lugar, los hogares en ambos lados de las puntuaciones de corte tienen caractersticas similares, lo que sugiere que el diseo ha producido grupos crebles de comparacin. En tercer lugar, una amplia muestra de los hogares estaba disponible. Finalmente, el gobierno mantuvo la frmula utilizada para calcular el ndice secreto SISBEN, por lo que los hogares no seran capaces de manipular sus resultados. Utilizando el mtodo RDD, los investigadores encontraron que el programa tuvo un impacto positivo significativo en las tasas de matriculacin en la escuela. En concreto, la matrcula fue de tres puntos porcentuales ms alta para estudiantes de primaria provenientes de hogares por debajo del punto de corte No. 1 y 6 por ciento mayores para estudiantes de secundaria de los hogares entre los puntajes de corte No 1 y No 2. Este estudio proporciona evidencia sobre los beneficios de la reduccin de los costos directos de la educacin, especialmente para los estudiantes en riesgo. Sin embargo, los autores tambin demandan ms investigacin sobre la elasticidad de los precios para recomendar mejor al diseo de los programas de subsidio como ste. __________________________________________________________________ __________________________________________________________________ Recuadro 5.3: Red de Proteccin Social Basado en el ndice de Pobreza en Jamaica El mtodo RDD tambin se utiliz para evaluar el impacto de una iniciativa de la red de proteccin social en Jamaica. En 2001, el gobierno de Jamaica puso en marcha el Programa de Avance mediante la Salud y la Educacin (PATH) para aumentar las inversiones en capital humano y mejorar la focalizacin de los beneficios sociales a los pobres. El programa proporcion becas de salud y educacin a los nios elegibles en los hogares pobres, condicionados a la asistencia escolar y las visitas regulares al mdico. El beneficio promedio mensual por cada nio fue de alrededor de $6.50, adems de la exencin gubernamental de ciertos cargos en la salud y la educacin. Debido a que la elegibilidad para el programa fue determinado por una frmula de calificacin, Levy y Ohls (2007) fueron capaces de comparar los hogares justo por debajo del umbral de elegibilidad con los hogares justo por encima (entre 2 y 15 puntos desde el punto de corte). Los investigadores justificaron el uso del mtodo RDD, con los datos de lnea de base mostraron que los hogares de tratamiento y de comparacin tenan niveles similares de pobreza, medida por puntuaciones

promedio proxi, y niveles similares de motivacin, en la que todos los hogares de la muestra haban aplicado al programa. Los investigadores tambin utilizaron el puntaje de elegibilidad del programa en el anlisis de regresin para ayudar a controlar las posibles diferencias entre los dos grupos. Levy y Ohls (2007) encontr que el programa PATH aumento la asistencia escolar de nios de 6 a 17 aos por un promedio de 0,5 das por mes, lo cual es significativo dado una tasa de asistencia ya bastante alto de 85 por ciento. Adems, las visitas de atencin de salud por nios de 0 a 6 aos, aument aproximadamente el 38 por ciento. Si bien los investigadores no pudieron encontrar ningn impacto a largo plazo en el rendimiento escolar o la atencin de salud, llegaron a la conclusin que la magnitud de los impactos que se encontr fueron ampliamente consistentes con programas de transferencias condicionadas implementados en otros pases. Un ltimo aspecto interesante de esta evaluacin es que se reunieron datos tanto cuantitativos como cualitativos, utilizando los sistemas de informacin, entrevistas, grupos focales y encuestas de hogares. Fuente: Levy y Ohls 2007. __________________________________________________________________ Limitaciones e Interpretacin del Mtodo de Diseo Discontinua de Regresin

El Diseo de Regresin Discontinua hace estimaciones promedio locales de impacto alrededor del punto de corte de elegibilidad en el punto donde las unidades de tratamiento y de comparacin son ms similares. A medida que nos acercamos al punto de corte, las unidades que estn a la izquierda y a la derecha se vern ms similares. De hecho, cuando llegamos muy cerca de la puntuacin de corte, las unidades a la izquierda ya la derecha de la lnea son tan similares que la comparacin ser tan buena como si hubiramos elegido aleatoriamiente a los grupos de tratamiento y de comparacin. Debido a que el mtodo RDD estima que el impacto del programa al rededor del punto de corte, o localmente, la estimacin no necesariamente puede generalizarse a las unidades cuyos resultados estn ms lejos de la puntuacin de corte, esto es, donde los individuos elegibles y no elegibles no pueden ser tan similares. El hecho de que el mtodo RDD no sea capaz de calcular el efecto promedio del tratamiento para todos los participantes en el programa puede ser visto como una restriccin o una limitacin del mtodo, dependiendo de la pregunta de evaluacin de inters. Si la evaluacin busca principalmente responder a la pregunta: Si el programa debera existir o no?, Entonces el efecto promedio de tratamiento para toda la poblacin elegible puede ser el parmetro ms relevante, y claramente el RDD no llegar a ser perfecto. Sin embargo, si la cuestin de poltica de inters, es si el programa debiera ser cortado o ampliado en el margen?, el RDD produce precisamente el clculo de inters para informar a esta decisin importante de poltica.

El hecho de que el mtodo RDD produzca efecto promedio local en el tratamiento tambin plantea desafos en trminos del anlisis de poder estadstico. Puesto que los efectos se estiman slo en torno al punto de corte, menos observaciones pueden ser usados que otros mtodos que incluyen todas las unidades. Muestras de evaluacin relativamente grandes estn obligadas a obtener suficiente poder estadstico al aplicar RDD. En la prctica, se determina un ancho de banda alrededor del punto de corte que se incluir en el clculo teniendo en cuenta el equilibrio en las caractersticas observadas de la poblacin por encima y por debajo del corte. A continuacin, puede hacerse la estimacin de nuevo con anchos de banda diferentes para comprobar si las estimaciones son sensibles al ancho de banda seleccionado. Como regla general, cuanto mayor sea el ancho de banda, mayor ser el poder estadstico del anlisis, ya que ms observaciones se incluyen. Sin embargo, alejndose de la corte tambin puede requerir ms supuestos en la forma funcional para obtener una estimacin fiable del impacto. Una advertencia adicional cuando se utiliza el mtodo RDD es que la especificacin puede ser sensible a la forma funcional utilizada en el modelado de la relacin entre la puntuacin de la elegibilidad y el resultado de inters. En el ejemplo del programa de transferencia de dinero en efectivo, se asumi que en la lnea de base la relacin entre el ndice de pobreza del hogar y su gasto diario en alimentos fue simple y lineal. En realidad, la relacin entre el ndice de elegibilidad y el resultado de inters (Y) en la lnea de base podra ser mucho ms compleja y podra implicar relaciones no lineales y las interacciones entre las variables. Si no se tienen en cuenta estas relaciones complejas en la estimacin, podran confundirse con una discontinuidad en los resultados post-intervencin. En la prctica, se puede estimar el impacto del programa usando diferentes formas funcionales (lineal, cuadrtica, cbica, etc) para determinar si, de hecho, las estimaciones de impacto son sensibles a la forma funcional. Aun con estas limitaciones, el diseo de regresin discontinua produce estimaciones objetivas de impacto en la vecindad del punto de corte de elegibilidad. La estrategia de la discontinuidad de regresin se aprovecha de las reglas de asignacin del programa, el uso de ndices de elegibilidad continuos, los cuales son comunes en muchos programas sociales. Cuando el ndice basado en las reglas de focalizacin se aplican, no es necesario excluir a un grupo de familias o individuos elegibles para recibir el tratamiento por el bien de la evaluacin ya que el diseo de regresin discontinua se puede utilizar en su lugar.