Un estudio de la DG Empresa e Industria

INNOVACIÓN INTELIGENTE:
Guía práctica para la evaluación de
Programas de Innovación
Los coordinadores del estudio:
Louis Lengrand y
Associés
Socios del estudio:
PREST
Universidad de
Manchester
ANRT (Asociación
Nacional de la
técnica de recherche)
Reidev Ltd
Reidev Ltd
01 2006
________________________________________
Página 2
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
2
Esta guía ha sido compilada en nombre del equipo del proyecto y bajo la inspiración de las ideas desarrollado en las
reuniones HLWG, por el equipo de PREST. Los principales contribuyentes son Ian Miles y Paul Cunningham, con
aportaciones de Deborah Cox, Christina Crowe y Khaleel Malik. Edición contó con el apoyo de Marco Jaso.

© CECA-CE-CEEA Bruselas-Luxemburgo, 2006
"Ni la Comisión Europea ni ninguna persona que actúe en nombre de la Comisión, es
el responsable del uso que pueda hacerse de la información contenida en este informe.
Las opiniones expresadas en este informe son las de los autores y no reflejan necesariamente la
políticas de la Comisión Europea ".
________________________________________
Página 3
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas

RESUMEN EJECUTIVO
Esta Guía es en efecto un Manual para los interesados en la puesta en marcha,
implementación o uso de la evaluación y el seguimiento en el contexto de la innovación
programas. Como tal, comprende una gran colección de pregunta-y-
Conteste las formulaciones que se ocupan de los problemas que surgen cuando se lleva evaluación
enfoques que soportar aquí.
Esto significa que un Ejecutivo convencional
Resumen no es realmente viable, por lo que aquí nos centraremos en la explicación del
estructura principal de la Guía y los elementos críticos de la filosofía que hay detrás
ella.
La estructura de la Guía es sencillo. En primer lugar la naturaleza de la innovación
la evaluación del programa se introduce, y las razones para llevar a cabo lo establecido
cabo. Se abordan argumentos en contra de dicha evaluación. Diferentes enfoques
a la evaluación se puso en camino y el alcance de los estudios de evaluación examinó. La
gama de métodos que pueden ser llevados a soportar se establecen brevemente, junto con
una discusión de las cuestiones que se plantean en términos de evaluación de impacto. Finalmente
la guía concluye con una discusión de la que se informa, el uso, y la incrustación
de evaluación de los programas de innovación.
La principal filosofía que subyace en la Guía se cristalizó en el curso de
el estudio actual, y se basa en gran medida en las aportaciones que recibimos de
entrevistados y nuestro Grupo de Trabajo de Alto Nivel. Esto se puede resumir en
términos de una serie de puntos clave:
♦ La cultura de la evaluación se desarrolla de forma muy desigual en
Europa, y si bien esto sugiere que hay países y regiones que
se underutilising el enfoque, al menos que significa que hay una buena
practicamos podemos recurrir.
♦ En las culturas más avanzadas, la evaluación se ha movido más allá de ser un
sencilla auditoría de rendimiento, y se está convirtiendo en una parte integral de un
enfoque basado en el aprendizaje para la formulación de políticas y la formación de los programas.
♦ Las evaluaciones pueden proporcionar acumulativamente creciente comprensión de la operación
de los sistemas de innovación dentro de la cual los programas de innovación se buscan
para operar.
♦ evaluación del programa La innovación puede aprender mucho de la experiencia
en la evaluación de programas de investigación, pero esta zona de poses de evaluación
desafíos propios que deben ser abordados.
♦ No existe ninguna "varita mágica" en la evaluación: hay un método único que puede responder a
todas las cuestiones principales de un estudio de evaluación, y se aplicará en todos los tipos
de estudio. Por lo general, las evaluaciones tendrán que usar una mezcla de métodos
elegido para adaptarse a las necesidades del estudio en particular.
♦ uso efectivo de la evaluación requiere que los usuarios informados, que aprecian la
limitaciones necesarias de cualquier estudio de evaluación individual.
Los usuarios informados mencionados en el último punto se valorará la
contribuciones de la evaluación en el proceso de la política, y es probable que voluntariamente
servir como embajadores de la evaluación de programas de innovación. Se espera que
esta Guía será útil a tales responsables políticos, se para los profesionales de evaluación real y potencial.
________________________________________
Página 5
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas

________________________________________
Página 9
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
Prefacio
El proyecto SMEIP - SMEIP significa apoyar el seguimiento y la
Evaluación de Programas de Innovación - ha sido financiado por la DG Empresa.



El proyecto ha incluido estudios de caso de los sistemas de evaluación, entrevistas y
una encuesta en línea de profesionales de evaluación y las partes interesadas, y, sobre todo, un
serie de reuniones del Grupo de Trabajo de Alto Nivel. Una conferencia muy concurrida
También se celebró en Bruselas a principios del verano de 2005. Todas ellas han demostrado ser de vital importancia
recursos en forjar la idea de esta guía - la creación de un recurso utilizable en
Además de nuestros informes de los proyectos convencionales.
para fomentar la futura práctica de la evaluación en el
campo del programa Uno de los principales objetivos del proyecto era identificar las oportunidades para la
Comisión Europea de innovación. Mientras que el proyecto alcanza numerosas conclusiones
en cuanto a las estrategias para la mejora de la cultura de la evaluación, uno de los principales
compromiso era entregar un plan para una iniciativa piloto que promueva esta
situacion.
Esta Guía, inteligente Innovación, pretende ser de uso generalizado, pero su inmediata
aplicación, con suerte, estar en la iniciativa piloto (en caso de llevarse a cabo).
En este contexto, la Guía debe ser visto como una entidad dinámica, algo que
será perfeccionado y mejorado a través de la experiencia adquirida en su aplicación. Más
prosaica y convencionalmente, podríamos decir que esta versión de la Guía es un
primer borrador, y que estamos esperando comentarios sobre su estructura y contenido
lo que permitirá ediciones mejoradas y aumentadas en el futuro.
Una dirección obvia para un mayor desarrollo de la Guía es configurarlo como
un hipertexto - una herramienta electrónica que se accede a través de Internet o en un CD-
ROM. Esta versión podría estar relacionado con los demás materiales de la SMEIP
proyecto a medida que se ponen en línea, y al rico corpus de materiales pertinentes
generados en otros lugares. (Una de las recomendaciones de SMEIP es que más
esfuerzo que se pone en la documentación y difusión de información sobre la
la práctica y el uso de la evaluación del programa de innovación y sistemas de evaluación
más en general). En el poco tiempo del presente proyecto, no hemos sido
capaz de hacer este documento como un hipertexto, pero esperamos que la estructura
será lo suficientemente clara y fácil de usar para los usuarios aplicar de manera eficaz en
formato papel o PDF.
________________________________________
Página 10
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
________________________________________
Página 11
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
11
Agradecimientos
En primer lugar, gracias a nuestro oficial del proyecto, el Sr. Alberto Licciardello (Innovación
Unidad, DG Empresa).
Especial agradecimiento a nuestros miembros del Grupo de Trabajo de Alto Nivel, que ayudaron
definir las tareas de esta guía y nos proporcionó ideas y mucho
valioso material:
♦ Sra. Agnes ARCIER, Jefe de Unidad, la Innovación y la Competitividad
Políticas, Ministerio de Economía, Finanzas e Industria - Francia
♦ Sra. Ullrike Blankenfeld, Unidad VIII D 1, Ministerio Federal de Economía
y laboral - Alemania
♦ Sr. Lennart NORGREN, Analista, Vinnova, en representación del Sr. Kjell-Håkan
NÄRFELT, Miembro del Consejo Asesor y, Vinnova - Suecia
♦ Sr. Arjan WOLTERS, fabricante Política / experto en evaluación en el Ministerio de
Asuntos Económicos, en representación de D. Theo ROELANDT, Director de la
Departamento de Estrategia, Investigación y Cooperación Internacional de la Dirección General de
Innovación, del Ministerio de Asuntos Económicos - Países Bajos
♦ Sr. Paolo GUARNIERI, Unidad Operativa, las regiones europeas del conocimiento
Red de Innovación y Simone SORBI, Director de Innovación y
Oficina de Políticas de Investigación, Región Toscana - Italia
♦ Sr. Janis Stabulnieks, Director Gerente del letón Tecnológico
Centro - Letonia
♦ Sr. Peter Stanovnik, Vice-Presidente, Consejo Nacional para la Tecnología -
Eslovenia
♦ Sr. Neil MACCALLUM, Jefe de Evaluación y Evaluación, Scottish
Empresa - Reino Unido, en representación de Charlie MADERAS, Tercera
Director de Gestión del Conocimiento, Scottish Enterprise - Reino Unido
El otro estudio Miembros del equipo contribuyeron material y la motivación: gracias
al Sr. Louis LENGRAND, coordinador y la Sra. Julie Koeltz, (Louis Lengrand
et Associés); Sr. Alain QUEVREUX, y el Sr. Jean-Marc Levy, (Asociación
Nationale de la Recherche Technique), y el Sr. Reinhold Enqvist, (REIDEV
Ltd).
Por último, los entrevistados, encuestados y participantes Estudio de caso
se agradeció por sus valiosos aportes e información. Son demasiado numerosos para
nombramos individualmente, pero les agradecemos sinceramente.
________________________________________
Página 12
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
12
________________________________________
Página 13
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
13
Definiciones
La innovación en la industria es una cuestión de hacer cosas nuevas, o la búsqueda de nuevas formas de
hacer cosas conocidas. Gran parte de la discusión de la innovación gira en torno a
la innovación de productos (la creación de bienes y servicios nuevos o mejorados)
y la innovación de procesos (nuevas formas de producción de bienes y servicios).
Sin embargo, también hay innovaciones en términos de las interfaces entre los
organizaciones y entre los proveedores y usuarios de los productos (marketing, e-
el comercio, los nuevos sistemas para la prestación de bienes y servicios, después de las ventas
los servicios, las interacciones entre los proveedores y usuarios acerca de diseño de producto
y especificación, etc) Las innovaciones organizativas son a veces
diferenciada de los tecnológicos (aunque a menudo van de la mano).
Otra distinción importante es entre innovaciones incrementales (menores
modificaciones en los productos y procesos) y las innovaciones más radicales (mayor
cambios en cómo los procesos se organizan y cómo los productos funcionan).
Las innovaciones incrementales a menudo surgen de la experiencia de hacer y
la entrega de productos; innovaciones radicales a menudo requieren de investigación y
Desarrollo o esfuerzos similares para traer nuevos conocimientos para influir en el producto
o proceso. Una idea o proyecto no es una innovación si no se aplica en
procesos puestos en el mercado, o se utilizan en el sector público. (En el negocio
mundo, es común para restringir el uso de la palabra sólo para aplicaciones de éxito:
pero creemos que no puede haber mucho que aprender de las innovaciones que son
éxito en cuanto a la consecución de los mercados que se espera, o incluso en términos de
no cumplir con las especificaciones técnicas.)
Programas de Innovación (PI) son las medidas, planes, iniciativas, etc
Financiado por (cualquier nivel) de gobierno, cuyo objetivo es la promoción, apoyo o
fomento de la innovación y las actividades relacionadas con la innovación. Pueden operar
ya sea directamente, a través de la provisión de fondos, información u otro tipo de apoyo;
o indirectamente, a través de la facilitación del proceso de innovación (es decir, a través de fiscal o
reforma de la reglamentación). Tenga en cuenta que algunos programas de innovación puede tener
la innovación como un objetivo secundario, o como un medio para un fin, como una mayor
la eficiencia energética o el desarrollo regional.
Visión general del programa encapsulan en unas pocas páginas o en un relativamente simple
Diagrama de lo que un programa es, y lo que está tratando de lograr. Incluyen
planteamientos como los modelos de programas o marcos lógicos. Un tipo de
Visión general del programa es conocido como la declaración Roame. Preparado en el
etapa de planificación inicial del Programa, tal declaración se establece la
Programa de:
♦ Razones - ¿cuál es su objetivo general, ¿qué política tiene como objetivo que se trata de apoyar.
♦ Objetivos - ¿cuáles son los logros específicos del Programa es
destinada a estar haciendo en apoyo de este Fundamento?
♦ Evaluación - ¿Cuáles son las actividades que realizarán estos logros a
ser seleccionado?
________________________________________
Página 14
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
14
♦ Monitoreo - ¿cuáles son los medios para examinar el progreso de la
diferentes actividades, en términos de cumplimiento de los hitos y la realización de la
tareas asignadas.
♦ Evaluación - ¿qué enfoque se adoptará para examinar en qué medida
que el programa ha logrado sus objetivos con eficacia y
eficiente?
Ya sea puesto en un marco Roame
1
o alguna otra disposición, un Programa
Información general que se establece en el inicio de un programa para la innovación debe
que el Programa sea más fácil de manejar y, en definitiva, de evaluar. Se puede
así también ser una forma útil de la comunicación sobre el Programa a los servicios financieros
y otras autoridades políticas, y para otras partes interesadas.
La evaluación en este contexto se refiere a la evaluación del programa. Este es el
evaluación sistemática de un programa para determinar (1) hasta dónde se está cumpliendo
objetivos (y, tal vez, el logro de otros efectos), (2) si está cumpliendo
estos objetivos con eficiencia y eficacia), y (3) cómo la gestión
estructuras (y otros factores) han dado forma a estos resultados. La evaluación puede ser
ex ante, supervisión, ex post, etc; y puede centrarse en un solo proyecto o
programa, o extender de manera más amplia para abarcar el marco político
en el que estos se encuentran.
Evaluabilidad se refiere a lo fácil que es para evaluar algo - esto dependerá,
por ejemplo, en los objetivos de hasta qué punto existe se definen claramente en contra de la cual
logros pueden ser evaluados, lo extendida y difunden estos efectos
puede ser, durante qué período de tiempo que se puede esperar a emerger, y así sucesivamente. Lo
normalmente es más fácil de evaluar las consecuencias inmediatas de un programa
que sus resultados a largo plazo - aunque estos últimos son probablemente lo que motiva
el programa en primer lugar, en particular en el caso de la innovación
programas.
Evaluación del Programa de Innovación (IPE) es la evaluación de la Innovación
Programas - cada uno de estos términos de componentes se ha definido anteriormente.
Mientras que muchas de las herramientas y técnicas que se utilizan aquí se derivan de los
empleado en la evaluación de los programas de I + D, los objetivos de la Innovación
Los programas suelen ser más amplias que las de los programas de I + D, y hay
son menos indicadores estándar que se pueden utilizar para fines de evaluación. Para
, programas de I + D de instancia se pueden evaluar en términos de contribuciones a
conocimiento como publicaciones y patentes; pero IPs requieren que sus impactos sobre,
por ejemplo, las prácticas comerciales y el desempeño, se evalúan.
Una cultura de la evaluación es un término que se utiliza para referirse a lo lejos la evaluación
prácticas están integrados en la política de la institución y el diseño de programas y
aplicación. En una cultura avanzada de evaluación, la evaluación se considera como un
natural y característica inherente de los programas, y se prevé que en el inicio de
programas. No es sólo algo que se añade simplemente en al final de la
ejercicio - aunque para llevar a cabo una evaluación en todo es un poco superiores a un
1
Más detalles sobre Roame y enfoques análogos se proporciona a continuación en el capítulo 5.
________________________________________
Página 15
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
15
marco institucional en el que simplemente no hay evaluación en absoluto. En más
culturas avanzadas de evaluación, por otra parte, la evaluación no es sólo una forma de
la evaluación del rendimiento de un IP en particular. Se ha convertido en una herramienta para
informar el diseño de IPs, y de hecho informar la política de innovación, más
en general.
La adicionalidad es un elemento importante en la consideración de los efectos de una
Programa. Adicionalidad es el cambio debido a la actividad, en comparación con los
lo que habría ocurrido si no la actividad ha llevado a cabo en absoluto. Más
discusión de la adicionalidad se proporciona en el texto a continuación (capítulo 7).
El modelo lineal de innovación se basa en la idea de que en su mayor parte,
las innovaciones surgen de la elaboración de aplicaciones cada vez más prácticos
de nuevo conocimiento fundamental.
La innovación normalmente es provocada por descubrimientos realizados en los laboratorios de investigación que se
encuentran que tienen uso potencial
en la creación de nuevos productos y procesos. Estimular la innovación es entonces,
en gran medida una cuestión de la bomba de cebado de I + D: el nuevo conocimiento se convertirá
en la innovación de los empresarios. Muchos estudios sobre la innovación - y evaluaciones
de los programas de I + D - han puesto en duda esta cuenta, y una serie de
Se han propuesto modelos más complejos. Estos incorporan, por ejemplo,
todo tipo de circuitos de retroalimentación, y la probabilidad de que la innovación puede ser iniciado
en cualquier punto en lo se ha visto anteriormente como una secuencia o cadena de actividades -
incluso por los usuarios. Pero mientras que el modo lineal es habitualmente criticado en el
literatura de investigación, e incluso ha sido rechazado en los documentos oficiales, sigue siendo
implícita en gran parte de la formulación de políticas.
________________________________________
Página 16
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
16
________________________________________
Página 17
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
17
SIGLAS
ATP
Programa de Tecnologías Avanzadas
DTI
Departamento de Comercio e Industria (UK)
CE
Comisión Europea (también conocido como CCA)
EPEC
Consorcio Evaluación de la Política Europea
ePUB
Una red financiada por la CE en el conocimiento acumulado en el
área de la evaluación socio-económica de las políticas públicas de IDT
ESPRIT
Tecnologías de la Información de la Comisión Europea
programa, que abarca proyectos industriales de I + D y tecnología
medidas de asimilación
EUREKA
Una red europea de mercado orientado a la investigación industrial
y el desarrollo
HEI
Institución de Educación Superior (por ejemplo, una universidad)
IKED
Organización Internacional para la Economía del Conocimiento y
Desarrollo de la Empresa
IP
Programa para la Innovación
IPE
Evaluación del Programa Innovación
Informática
nueva tecnología de la información (también denominado a veces como
TIC, IST)
NSF
Fundación Nacional de Ciencias (EE.UU.)
De I + D
Investigación y Desarrollo (también denominado a veces como
RTD)
Roame
Justificación, Objetivos, Evaluación, Monitoreo, Evaluación
SMEIP
Apoyo al Monitoreo y Evaluación de la Innovación
Programas - el nombre del proyecto a partir del cual esta Guía
deriva.
TEKES
La Agencia Nacional de Tecnología de Finlandia
VINNOVA
La Agencia Sueca para Sistemas de Innovación
________________________________________
Página 18
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
18
________________________________________
Página 19
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
19
Capítulo 1 INTRODUCCIÓN
1.1 ¿Por qué se ha producido esta guía?
En los últimos años la política de innovación se ha elevado a un primer plano. Ahora es ampliamente
reconocieron que la competitividad y otros objetivos socioeconómicos son muy
depende de la innovación industrial. Las iniciativas gubernamentales al apoyo
innovación han proliferado. Otra cosa que es ahora ampliamente reconocido es
que estas iniciativas van mucho más allá de Investigación y Desarrollo (I + D)
apoyo. Programas de Innovación toman muchas formas, tratando de influir en
varias partes (lo que se ha dado a conocer como) los sistemas de innovación, con una
amplia gama de objetivos e instrumentos.
Evaluación, a lo mejor, es un proceso de aprendizaje que ayuda a diseñar mejores programas
en el futuro, y como consecuencia ahorrar dinero a los contribuyentes, mientras que el logro de
importantes objetivos socioeconómicos. La necesidad de evaluar la Innovación
Los programas se está convirtiendo en ampliamente reconocidos, aunque todavía hay muchos
entornos en los que esto no es el caso. Aún más frecuente es una muy
visión estrecha de lo que la evaluación podría ser y lo que debe contribuir. Hay
son relativamente pocos entornos en los que una "cultura de evaluación" ha sido bien
establecida.
El objetivo de esta guía es ayudar a construir más de una cultura de evaluación de
Programas de Innovación. Se analizan las razones para llevar a cabo dicha
evaluaciones, y cómo los argumentos que pueden ser montados en contra de ellos puede
ser contrarrestado. En él se establecen las diferentes funciones que se puede utilizar la evaluación
para, y sugiere cómo pueden sustentar una cultura de evaluación. En él se establecen
los métodos que se pueden utilizar en las evaluaciones, señalando que la innovación
La evaluación del programa es, inevitablemente, un asunto complejo. (Programas de I + D son
relativamente simple para evaluar, ya que los resultados clave son la acumulación de
el conocimiento y el prestigio científico. El tipo de impacto en la innovación
rendimiento que están destinadas a los Programas de Innovación son múltiples
y relativamente difícil de rastrear.) Discute el diseño y la gestión de
evaluaciones, y cómo pueden ser utilizados con eficacia en la formación de los programas y
políticas.
Esta Guía pretende cristalizar el conocimiento disponible acerca de los problemas
hacer frente a la evaluación de los Programas de Innovación, extrayendo el
implicaciones prácticas que se derivan de este conocimiento. Se basa en los resultados de
revisiones de literatura, una encuesta, entrevistas y estudios de casos llevados a cabo en el
curso del presente estudio, y la experiencia del equipo del proyecto en
prácticas de evaluación. Por cristalización de conocimiento práctico adquirida durante muchos
los estudios y las actividades de evaluación, la Guía tiene como objetivo reducir algunas de las barreras
para los ejercicios de evaluación, y para contribuir a la construcción más sofisticada
culturas de evaluación.
Por último, pero no menos importante , esta guía no habría visto la luz del día a menos que haya
la opinión generalizada entre los expertos de la CE y de fuera de ella que más
la evaluación es necesaria en el campo de la innovación para que Europa sea competitiva
suficiente para garantizar su bienestar habitantes en los próximos años.
________________________________________
Página 20
INNOVACIÓN INTELIGENT

E - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
20
1.2 ¿Quién es esta guía?
"Smart Innovation" pretende ser una "guía práctica" que servirá como un
punto de referencia para todos aquellos interesados en la realización, utilización y / o la creación de
Las evaluaciones del programa Innovación. Los lectores podrían tener interés en
la organización de una evaluación de un programa en particular, o por la realización de una
sistema de evaluación en una organización en particular. Usted podría estar preocupado con
la mejora de la calidad o el uso de las evaluaciones que su institución se compromete,
o con la utilización de los resultados de una serie de evaluaciones realizadas por tercera
partes. Usted podría ser un político para las políticas de innovación, un programa
gerente, un evaluador (o aspirantes a evaluador) usted mismo. Usted podría basarse
en los planos nacional, regional, o incluso transnacionales.
Nos hemos dirigido a hacer la guía atractiva y útil para una variedad de tales
diferentes lectores. Por lo tanto, se ha diseñado de manera que se puede utilizar en varios
diferentes maneras. El formato de pregunta y respuesta modular, debe hacerlo
fácil para que usted pueda echar mano de diferentes partes de la Guía. Se puede leer
secuencialmente, de principio a fin, o usted puede dar vuelta a las secciones y
preguntas que más le interesan. Las referencias cruzadas se incluyen a lo largo de
indicar donde otros capítulos y secciones tratan aspectos complementarios de
dado problemas.
Si usted no tiene mucho conocimiento sobre la evaluación y la forma en que se puede utilizar,
la Guía presenta y explica, ilustra y ejemplifica, evaluación
la práctica y en el caso de la evaluación (capítulos 2 y 3, en especial).
Capítulo 4 presenta algunos de los diferentes enfoques de evaluación que pueden
adoptarse con respecto a los programas de innovación.
Si sus intereses son más inmediatamente instrumental, y desea utilizar la
Guía para explicar los principales problemas que se enfrentan en el diseño del programa y
gestión, podría considerar centrándose inicialmente en el capítulo 5. Los métodos
utilizado en los estudios de evaluación se analizan en los capítulos 6 y 7, mientras que la forma en la
presentación de informes y uso de los resultados de la evaluación, de manera que sus contribuciones a la política puede
maximizarse, se recoge en los capítulos 8 y 9.
________________________________________
Página 21
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
21
Capítulo 2 ¿QUÉ ES LA EVALUACIÓN DE LA INNOVACIÓN
PROGRAMAS?
2.1 ¿Por qué es la innovación una cuestión crítica ahora?
La innovación se ha elevado a un primer plano en la reflexión sobre la futura prosperidad y
calidad de vida de los países y regiones de Europa y, de hecho, en todo el mundo.
Ahora es ampliamente aceptado que el rendimiento económico no es sólo una cuestión de
acceso a los recursos naturales y los grandes mercados, o incluso de tener un experto
fuerza de trabajo de barril. Estas cosas son importantes, pero la mayor parte del
logros que se han hecho en términos de crecimiento económico y social
bienestar están relacionados con la innovación. Nuevos procesos han hecho posible
crear mercados de masas para los productos que antes estaban reservadas a las élites;
nuevos productos han permitido a las personas para lograr mejores niveles de vida.
Las empresas innovadoras tienen más probabilidades de crecer y prosperar: países y
regiones con ambientes más innovadores son más dinámicos y exitosos.
Estos puntos de vista son ahora tan ampliamente aceptadas que puede venir como una sorpresa para
dan cuenta de que hace sólo unas décadas eran considerados como bastante peculiar
queridos. Han sido necesarios muchos estudios económicos e industriales, y mucho práctico
experiencia, para cambiar nuestra visión del mundo.
La innovación es cada vez más destacado como un problema debido a la
advenimiento de las nuevas tecnologías, en torno al cual los nuevos productos y procesos son
proliferantes. Puede parecer algo trillado para hablar de la "Información
Revolución de la tecnología ", pero el continuo aumento en la energía y las reducciones
en el costo de las tecnologías subyacentes son tan dramáticos como en el sentido de que podemos
esperar ver grandes cambios continuos aquí en las próximas décadas. La
nuevas biotecnologías (derivados de la genómica y el trabajo posterior) son
empezando a encontrar aplicaciones en la salud, la agricultura, los servicios ambientales,
y en otros lugares - que son tal vez en la misma situación aquí como estábamos
con la tecnología de la información en la década de 1970. La nanotecnología - que cubre un
gran variedad de cosas muy pequeñas, de nuevos materiales a través miniaturizado
electrónica a nanomáquinas - está en una fase temprana de desarrollo, pero
aplicaciones de cremas solares en las herramientas de corte extremadamente afilados ya están en
el mercado. Las economías exitosas tendrán que ser capaces de hacer un buen uso de
estas tecnologías, y en su caso que se dedican a la oferta y la
configuración de los productos basados en ellos, y los bienes complementarios y
servicios de apoyo y la mejora de su uso.
________________________________________
Página 22
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
22
2.2 ¿Por qué son los Programas de Innovación una cuestión crítica ahora?
Los gobiernos de todos los colores políticos y las dimensiones regionales han reconocido
la importancia de la innovación. En consecuencia, han tratado de fomentar
la innovación en sus territorios.
Dado que la innovación se ha convertido en un objetivo fundamental de la política, por lo que los Programas de
Innovación
se han convertido en importantes herramientas para la realización de las políticas de innovación. Hay una
problema aquí, sin embargo. La formulación de políticas está compartimentada tradicionalmente en un
conjunto de los ministerios o departamentos del gobierno - la educación, la ciencia, la industria,
energía, medio ambiente, etc. La innovación se extiende por todo esto y más. Hay
son raramente Ministros para la Innovación en un puesto de alto nivel en los gobiernos. Hacemos
no suelen escuchar las políticas y programas de innovación siendo defendidos por
líderes políticos. Los programas que más a menudo se conocen explícitamente como
Los programas de innovación serán más a menudo se derivan de los ministerios de industria o
de los gobiernos regionales (que son jugadores cada vez más importantes en este
área). Sin embargo, otros sectores del gobierno también pueden ser activos aquí. Innovación
la política es a menudo una bastante complicada, y no siempre coherente, un conjunto de actividades
realizado a través de varias ramas del gobierno. A veces, la promoción de la
la innovación es un objetivo consciente de las políticas. A veces las políticas de forma inadvertida
afectar a la innovación, positiva o negativamente. Una cosa que las evaluaciones son responsables
de descubrir es que los Programas de Innovación prometedores puede quedar comprometido por
las acciones llevadas a cabo por otros ámbitos políticos.
________________________________________
Página 23
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
23
2.3 ¿Por qué son las políticas de innovación tan diversa?
La respuesta simple es que la innovación en sí es una cosa multifacética. En diferentes
países, puede haber diferentes herencias de la ciencia y la tecnología,
diferentes supuestos culturales sobre el papel del Estado, las diferentes actitudes que
el espíritu empresarial, y así sucesivamente. El entorno internacional ha cambiado; nuevo
tecnologías han surgido; y los investigadores y los políticos han aprendido
Más información sobre los procesos de innovación. No es de extrañar que la política de innovación tiene
tomado muchas formas diferentes.
Un enfoque tradicional era simplemente para apoyar a los "campeones nacionales". La
idea era que los más grandes, las empresas de alta tecnología en el país de uno solo
es necesario un poco más de aliento (subsidios, mercados preferenciales) para ser
capaz de mantenerse al día con la frontera global. Este enfoque fue desacreditado en gran parte
como los campeones nacionales a menudo tomaban las dádivas, y en varias ocasiones llegaron
a por más - mientras no adoptar nuevas prácticas. (O, en muchos casos, si se
probamos cosas realmente nuevas, que apostó por las normas y los diseños que eran
incapaz de abrirse paso en los mercados mundiales.) Se convirtió en políticamente difícil
apoyar estas grandes firmas en forma abierta, como las regulaciones comerciales y de adquisición
fueron adoptados que reduce las posibilidades de este tipo de favoritismo.
La doctrina de los campeones nacionales también sufrió como la política dominante
posiciones desplazadas hacia el reconocimiento de los límites del poder del Estado en la liberal
democracias. Se convirtió en la sabiduría aceptada de que el Estado no estaba en condiciones de
de adivinar el mercado como para que las empresas, qué productos prosperar. El apoyo a los campeones nacionales aún
continuó - las grandes empresas aún
poseer influencia política y económica. Muchos gobiernos han querido
evitar el ligero al orgullo nacional que supuestamente sería ocasionado por el
las empresas que se fusionan en las empresas transnacionales más grandes, o los despidos
que se vería amenazada por la captación de contratos lucrativos. Pero su
apoyo se ha convertido en menos abierta y menos legitimada por una afirmación de que todo es
acerca de la innovación.
El consenso en torno a los límites del poder estatal también asestó un duro golpe a la idea
de los "ganadores" - la noción de que los gobiernos estaban en una buena posición para
decidir qué tecnologías son las que deben ser invertidos en otro lado
la economía. Puede haber razones más allá de la economía para apoyar en particular
tecnologías - por ejemplo, para cumplir objetivos ambientales, para proporcionar más amplio
acceso a las tecnologías clave a través de las escuelas y bibliotecas, y así sucesivamente. Pero en
en general, el gobierno no estaba en condiciones de decir que tecnológica
promesas eran los que tenían más probabilidades de satisfacer los requerimientos del mercado.
Los políticos habían tenido sus dedos quemados con la suficiente frecuencia por los empresarios y
visionarios, y los gerentes de los campeones nacionales, asegurándoles que este
o que el producto era la solución. Los procesos de selección del mercado fueron
va a tener que salirse con la suya, elegir entre una gama de productos que
de los que ofrecen. Lo más que los gobiernos podían hacer era identificar el amplio
áreas de la tecnología, donde eran propensos a desarrollar importantes oportunidades.
Otro factor que afecta el sistema en el que la innovación se encuentra.
La innovación no reside en las manos de un grupo limitado de clave industrial
________________________________________
Página 24
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
24
jugadores, pero es un "juego de equipo", que se basa en las actividades de las PYME,
universidades, el sector público, competidores y colaboradores, por nombrar sólo
pocos. Las políticas de innovación deben tener en cuenta estos actores, las interfaces
entre ellos y las condiciones marco más generales que influyen en su
comportamientos.
________________________________________
Página 25
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
25
2.4 ¿En qué difiere la Política de Innovación de Investigación de Políticas?
La desilusión con "escoger ganadores" - campeones nacionales o específicas
productos que el país debe centrarse en - ha sido ampliamente sentida. Cuando este
punto de vista fue articulado junto con el "modelo lineal" de la innovación, que
dado lugar a un enfoque en la investigación y la política de desarrollo (a veces sólo visto
como Policy Research). El Estado, a través de esta política, podría crear nacional
fuerza en las áreas del conocimiento científico a partir del cual, el modelo lineal
sugerido, innovaciones comerciales eventualmente fluir. Ha habido
varios problemas con este enfoque, sobre todo la tendencia de alta-
ciencia de calidad (si es que esto se logró) que no se pueda conectar bien con los locales
el espíritu empresarial. A veces la ciencia no mostraría ninguna ruta evidente para
aplicaciones tecnológicas; esto no es un argumento en contra de la financiación científica
descubrimiento, pero no quiere decir que no toda la investigación debe ser justificada como
contribuir a los objetivos de innovación, o ser visto como parte de la política de innovación.
A veces los grandes logros científicos - por ejemplo en biotecnología -
se ve que tiene considerables sobornos tecnológicos, pero estos lo haría
no interesar a las empresas locales, y el conocimiento se adquiere y se aplica por
los de otros países. El modelo lineal estaba fallando así en la práctica -
además de ser sometidos a un bombardeo incesante de críticas por parte de la innovación
investigadores.
Una comprensión más sofisticada de los procesos de innovación comenzó a construirse
en la política de innovación, aunque todavía podemos encontrar a menudo restos de la lineal
modelo de pensamiento político apuntalamiento. En lugar de un flujo lineal de conocimiento
a lo largo de una serie de etapas, desde la ciencia a la comercialización, se ve la innovación
como la participación de muchos ciclos de retroalimentación entre estos diferentes "etapas". Uno de los objetivos
de la política es mejorar la comunicación a través de estos puntos de acción. Vista
la innovación como un proceso que tiene lugar en un sistema, más el reconocimiento es también
dada a la difusión de las innovaciones, no sólo a su invención. Innovación
política no ha hecho más que tiene que ver con la investigación, entonces, sino también con cuestiones como la
comercialización de las invenciones, con la transferencia de tecnología, la adopción y
aplicación, y así sucesivamente. En la medida en que es todavía sobre la investigación,
la política de innovación se centra en el apoyo a programas de I + D que son mucho
más estrechamente relacionados con las necesidades del mercado y de los usuarios, y las acciones necesarias
para relacionar las innovaciones a estos. Los programas de innovación abarcan una mucho más amplia
serie de mecanismos e instrumentos que sólo el apoyo de la I + D.
________________________________________
Página 26
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
26
2.5 ¿Cuáles son los orígenes de la Evaluación del Programa de Innovación?
La política de innovación en sí surgió a la prominencia en un momento en que los presupuestos públicos
se que son objeto de escrutinio. El gasto público se ve como la disminución de la
los fondos disponibles para la reinversión en el sector privado, y como la sustitución de
elección de los consumidores con las decisiones del gobierno. Tenía que ser justificado, como
lograr lo que se propuso hacer y en realidad no socavar la privada
economía. Una justificación importante para la intervención del Estado en los asuntos económicos era
el de la "falla del mercado". Los gobiernos sólo deben estar activos en que los mercados
manifiestamente no estaban operando en la forma en que la ortodoxia económica cree
que deberían.
Por ejemplo, los gobiernos podrían tener que desempeñar un papel regulador donde hay
fueron oligopólica o oligopsónico
2
jugadores en el trabajo en un mercado, que podrían utilizar
su capacidad de fijar los precios, etc que tenga que proporcionar información para
los agentes económicos cuando había un conocimiento insuficiente sobre los asuntos de mercado
(Recordemos que comenzaron los modelos económicos ortodoxos asumiendo que
las partes tienen acceso a la información prefecto que puedan procesar sin costo).
Los gobiernos podrían tener que actuar para suministrar diversos bienes públicos donde el
ingresos de los productores del mercado por sí solo no sería suficiente para motivar
actividad adecuada - éstas podrían ser cosas como el cuidado de los pobres
, la estabilización económica ancianos, o el establecimiento de normas. Uno de los público
bienes más relevantes para la innovación es la educación general y especializada y
entrenamiento. (Por ejemplo, se ha argumentado que en algunos países que los negocios
carecen del incentivo para la formación avanzada para su personal debido a que estos
personal capacitado puede pasar a beneficiar a otra empresa que no ha invertido en
entrenamiento. Gobierno se ve a continuación, que tienen un papel en la prestación de un adecuado
oferta de calificaciones.) La financiación de la producción de conocimiento que no tiene
valor económico inmediato forma otro bien público de gran relevancia para
innovación. La financiación de la investigación básica de largo se ha visto, en gran parte, como una
importa para el gobierno,
La política de investigación fue objeto de presiones sobre el erario público, y fue
cada vez más evidente en los años 1970 y 80 que necesitarían las prioridades que establezcan
entre las diferentes líneas de investigación. Los gobiernos no pueden seguir
aumentar los fondos a través de todos los campos de estudio. Pero los gobiernos no eran expertos en
la investigación ni en la toma de decisiones en cuanto a si los fondos se estaban utilizando bien,
y las decisiones acerca de la promesa de las áreas de investigación a fondo tenían tradicionalmente
sido tomada por los propios científicos. Sin embargo, se temía que los científicos
resistiría el establecimiento de prioridades, o favorecer sus propios campos y colegas. Por lo tanto,
era necesario traer evidencia externa para ayudar a evaluar si los fondos
estaban siendo bien gastado, y para establecer prioridades. La evaluación fue uno de los principales
herramientas aquí, especialmente con respecto a la determinación de cómo de manera eficiente y
efectivamente se utilizaron los fondos de investigación. (Como veremos, la evaluación también se alimenta
a informar a la fijación de prioridades, aunque otras herramientas - como la planeacion - tienen
también llegado a ser frecuentes para sustentar este tipo de decisiones.)
2
El funcionamiento de los mercados puede afectar seriamente cuando están dominados por unos pocos
proveedores o clientes. Estos pueden crear presiones sobre los precios, estándares y contractual
acuerdos que no serían viables en los mercados donde hay más competencia entre los
numerosos jugadores.
________________________________________
Página 27
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
27
Principios de evaluación han sido elaboradas a través de muchas áreas de la pública
política - un estímulo importante aquí era los programas de "Gran Sociedad" de la década de 1960
Latina, especialmente aquellos programas cuyo objetivo era impulsar la
rendimiento de los niños de bajo rendimiento de las comunidades desfavorecidas.
Herramientas de evaluación para el examen de la política de investigación se inició en la década de 1980, como
gobiernos estaban iniciando nuevos programas de I + D para afrontar los retos
planteado por las nuevas Tecnologías de la Información (TI).
________________________________________
Página 28
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
28
2.6 ¿Evaluación del Programa Innovación dibujar sobre Investigación
Evaluación?
Los programas de I + D a gran escala en TI que se impuso en la década de 1980
ocupado de temas que no podían fácilmente ser clasificados en el tradicional
dicotomía entre investigación pura y aplicada. Los avances en las nuevas TI involucrado
nuevo conocimiento fundamental sobre una serie de temas - el rendimiento de
semiconductores y fibras ópticas, las formas en que el software podría ser
estructurados y procesados, la naturaleza de las interfaces de usuario, y una serie de nuevos
campos como la mecatrónica, chematronics, optrónica, y similares. Este nuevo
el conocimiento se genera a menudo en respuesta a las necesidades de los proveedores de TI
y los usuarios, no sólo de los caprichos de la curiosidad científica. Requería básica
la investigación científica, sin embargo, se vio impulsado por y encontró una rápida aplicación en la práctica
propósitos. El término investigación estratégica se hizo popular como una manera de describir
este tipo de trabajo, y las actividades paralelas que se han puesto de manifiesto en
la biotecnología y la nanotecnología trabajo.
La investigación estratégica que plantea un reto interesante para los estudios de evaluación. En
Por un lado, fue posible evaluar el gasto de los fondos en términos de
su contribución al conocimiento científico. Se están publicando artículos en revistas
y citó, fue la obra que tiene un efecto sobre las comunidades científicas? Por
Por otra parte, ¿era tener los efectos prácticos que se buscan - fue la obra
pueden ser recogidos y aplicados por la industria en tecnologías comerciales? Cómo
significativos fueron estos? La cuestión de la excelencia en la investigación sólo había una
cuestión a evaluar: financiadores también debían tener en cuenta más amplio
consecuencias socioeconómicas de la investigación.
La investigación estratégica estaba siendo financiado por los gobiernos más con el fin de
alcanzar los objetivos de innovación que las de la ciencia pura - aunque a menudo éstos
objetivos se expresan en términos tales como "cresta de la ola de la TI
revolución "o" a la par con las oportunidades de la nueva tecnología. "
Esto refleja el hecho de que el esfuerzo se concentró en ser innovadores en torno a una
un conjunto particular de las tecnologías - no ser más innovadores en general. Algunos
Programas de innovación se centran en esta forma, mientras que otros son mucho más
genéricamente orientada a la innovación.
La política de innovación puede incluir tanto la política de investigación - a pesar de que tiene sentido continuar
financiando la investigación básica, sin justificación económica inmediata.
Gran parte de la experiencia y conocimientos, muchas de las herramientas y técnicas, de
La evaluación del programa Innovación habrá descendido de investigación
evaluación. Pero como es necesario para hacer frente a una gama más amplia de programas,
y una gama más amplia de impactos, por lo que ha sido necesario desarrollar nuevas
enfoques de la evaluación. La evaluación de los impactos en el comportamiento de
los agentes económicos es un foco importante de la actividad de evaluación.
________________________________________
Página 29
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
29
2.7 ¿Por qué es la Evaluación del Programa de Innovación una cuestión crítica ahora?
La evaluación sigue siendo muy significativa en el ámbito de las políticas de innovación. En
parte, esto refleja el creciente protagonismo de la evaluación en toda la práctica totalidad
ámbitos de la política. Esto tiene algo que ver con el surgimiento del "saber-
sociedad basada en el "- se supone que las decisiones deben basarse en el conocimiento más
que el prejuicio o la casualidad. "La política basada en la evidencia" se ha convertido en una convocatoria de reunión
para la modernización de los políticos. Los gobiernos están bajo presión para justificar su
las decisiones de gasto a unos medios de comunicación informados y población. Su rendimiento
está regida por una serie de organismos públicos y privados, informando al
las decisiones de inversión de las corporaciones globales, por ejemplo.
La evaluación también es importante porque diferentes partes del gobierno se encuentran en
efectuar competencia por una parte limitada de los fondos públicos. Tienen que justificar su
los gastos previstos a las autoridades políticas - no sólo a un primer ministro o
presidente, sino también para el Ministerio de Hacienda, y cualquiera que sea "perro guardián"
organizaciones escudriñan las finanzas públicas y las cuentas.
La siguiente figura muestra cómo la opinión pública percibe la importancia de
Innovación Evaluación de programas en el marco de la formulación de
la política de innovación. Una gran mayoría de los interesados entrevistados dentro del
encuesta realizada para el estudio están de acuerdo con la siguiente declaración:
"Las evaluaciones de los programas de innovación son importantes en la formulación de
la política de innovación en mi país ".
Figura 2.1 Las evaluaciones de los programas de innovación son importantes en la
formulación de la política de innovación en mi país
________________________________________
Página 30
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
Pero quizás el principal problema es que los programas de innovación a menudo trabajan
en un territorio inexplorado y mal entendido. Mientras que la importancia de
la innovación en general se reconoció, la naturaleza del proceso de innovación es
en proceso de cambio casi continuo.
(Por ejemplo: los sectores que estaban
considerado previamente como no innovadoras - como muchos de los servicios - se ve que
sean de gran actividad (y nuevos países se están uniendo en el proceso, también); la
ubicación de conocimiento crítico, y el tipo de redes que se forman a
aplicar esto en las innovaciones, está evolucionando hacia nuevas direcciones; nuevas herramientas para la gestión
la innovación se están haciendo disponibles.) Las políticas de innovación abarcan una amplia gama de
acciones y metas, y hay mucho aprendizaje necesario sobre cómo actuar
efectivamente en condiciones diversas y cambiantes.
Las evaluaciones de los
las intervenciones que se han hecho es, pues, una herramienta vital.
________________________________________
Página 31
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
31
2.8 Así, ¿qué significa la evaluación?
La evaluación es, en el fondo, una cuestión de ver qué tan bien una política o programa tiene
alcanzado los objetivos fijados para este último. Hay, sin embargo, un poco más que
esto. Algunos autores (por ejemplo, de parcela 1998) distinguen entre tres aspectos de la
Evaluación - Evaluación de la eficacia, de eficiencia y de eficacia. La
características de la evaluación, entonces, son:
♦ La evaluación puede examinar la forma eficiente el programa de manejo,
la exploración de la gestión de las actividades para ver si había una buena
comunicación de los objetivos y progresos, evitar la redundancia y
capacidad para detectar y abordar los problemas que iban surgiendo.
♦ La evaluación puede examinar la eficacia del programa, cómo ahora la
Se han cumplido los objetivos. Esto es más fácil si los objetivos se han puesto en
términos cuantitativos o verificables, y / o si hay programas relacionados
contra la cual puede ser punto de referencia. En la evaluación del programa
eficacia, es común el uso de indicadores de desempeño . Aquí el
preocupación es, como ha sido bien explicado por el United Way of America
(2002) con los resultados: "no cuántos gusanos el pájaro alimenta a sus crías, pero
lo bien que el novato vuela ".
♦ La evaluación puede ir más allá y considerar la eficacia del programa:
lo relevante es que los grandes objetivos políticos a los que fue diseñado para
contribuir.
♦ Más allá de estos objetivos muy pragmáticos, la evaluación también puede implicar
explicación . Se puede arrojar luz sobre cómo y por qué el programa logró
el grado de efecto que se realizó. Se puede iluminar los temas de
gestión de los programas, y, más profundamente, elevar el entendimiento
del sistema de innovación más amplio dentro del cual el programa tiene
operado.
♦ La evaluación puede ser utilizado en lo que parece ser una manera simplista, pero
puede llegar a ser técnicamente muy exigente para poner en funcionamiento, para intentar
examinar el valor preciso para el dinero que se ha conseguido (en términos de
una estimación de la tasa de rentabilidad del gasto público).
♦ La evaluación también puede ser utilizado para examinar las consecuencias no deseadas de la
intervención del programa: beneficios y costos de las actividades que no estaban
esperado por los diseñadores del programa, o no estableció explícitamente como
ser uno de los objet
ivos del programa.
________________________________________
Página 32
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
32
2.9 ¿Podemos realmente esperar para evaluar algo tan complejo como
Innovación?
Muchas áreas de la política se han convertido en objeto de evaluación y para más rutinario
seguimiento de los resultados de una serie de indicadores pertinentes - la escuela
logro, la reincidencia de prisioneros, la ocupación de camas de hospital, los niveles de pobreza
y el desempleo, y así sucesivamente. La política de innovación está sujeta a la misma
presiones. Pero la innovación es un gran reto en términos de rendimiento
indicadores. ¿Cómo podemos saber si hemos aumentado la capacidad de innovación de la
economía?
Los programas específicos de innovación por lo general tienen objetivos más modestos que son
destinada a contribuir a este gran objetivo. Por ejemplo, los programas podrían
establecido para dar a conocer las oportunidades tecnológicas particulares o del
beneficios potenciales para las empresas y universidades que colaboren en el desarrollo de nuevos
aplicaciones de los nuevos conocimientos en un área en particular. Pueden proporcionar
apoyo a las pequeñas empresas que operan en un área para proteger su propiedad intelectual,
para productos derivados que se generan a partir de los laboratorios del gobierno, para consultorías
ayudar a las agrupaciones industriales utilizan nuevos enfoques en sus cadenas de suministro y otros
relaciones. Los programas pueden ser vistos como la transferencia de tecnología
políticas, las políticas de propiedad intelectual, las políticas de formación, políticas de clúster y así
en. Pero si - como en los ejemplos mencionados - la innovación es uno de los principales
objetivos, entonces también pueden ser vistos como los Programas de Innovación. Y como tal,
que pueden ser evaluados en términos de las metas más modestas que tienen - es el
cambio deseado cabo, y tampoco parecen tener el deseado
consecuencias?
Tabla 2.1 sugiere formas en que los más modestos objetivos de la innovación
programas podrían ser evaluadas, y cómo éstas se pueden vincular a más largo plazo,
más ambiciosos, los impactos.
________________________________________
Página 33
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
33
Tabla 2.1 Ejemplos de Programas de Innovación y Asociados
Cuestiones de Evaluación
Objetivos
Objetos de Evaluación
Programa
Objetivos
Inmediato
Impactos
Mediano Plazo
Impactos
Largo Plazo
consecuencias
Aumentar
conciencia de un
juego de nuevo
tecnologías
La asistencia a las
reuniones, la captación
de la literatura, las visitas
en los sitios web
Adopción de
tecnologías
Mejorado
negocios
rendimiento;
continuo
conciencia y
adopción de
conexo
tecnologías.
Mejorar las habilidades
la base de un conjunto de
industrias
Las sesiones de entrenamiento,
intercambios de personal
Mejorado
técnico
competencias de
el personal, el aumento de
eficacia de
in-house de I + D
Mejorado
innovación
rendimiento,
aumentado
tecnológico
absorbente
capacidad, mayor
técnico
conciencia
Para aumentar HEI-
Enlaces de la industria
Estudiante
colocaciones,
aumentado
académico-
el diálogo de la industria
Introducción de
nuevos conocimientos
y las habilidades
Habilidades mejoradas,
técnico
competencia y
base de conocimientos
Estimular la
puesta en marcha de nuevo-
tecnología basada
empresas
Hacienda y
información para
empresa de nueva creación
para los aspirantes a
empresarios
Creación de nuevo
de alta tecnología
empresas
El crecimiento a largo plazo
y sostenida
desarrollo de
nueva de alta tecnología
sectores industriales
(Hay muchos otros objetivos posibles: la lista anterior es ilustrativo.)
________________________________________
Página 34
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
34
Capítulo 3 ¿POR QUÉ EVALUAR LOS PROGRAMAS DE INNOVACIÓN?
Argumentos en contra de Evaluación
3.1 ¿Por qué la gente podría oponerse a la evaluación?
Para los que vienen de una cultura bien desarrollada de la evaluación, puede parecer
extraño, o incluso sospechoso, que hay países y gobiernos
departamentos en los que la evaluación es tratada con cierto recelo. Los evaluadores
podría admiten que hay cuestiones sobre la cantidad de evaluaciones son
emprendido, con qué frecuencia ya qué costo - pero el principio de la evaluación es
bien desarrollada y ampliamente aceptada en algunas culturas.
Pero este no es el caso universal. La evaluación podrá ser impugnada en un número
de los suelos. Antes de considerar el caso intelectual contra la evaluación, que
tenga que admitir que esto puede ser utilizado sólo una cortina de humo. La restricción del uso de
evaluación puede reducir las posibilidades de exposición de los inadecuadamente diseñado o
programas aplicados, de las políticas arbitrarias que no aprenden de las anteriores
éxitos y fracasos, de muy estrechas relaciones entre los responsables políticos y
aquellos que se beneficiarán de los programas.
(Del mismo modo, la evaluación en sí puede ponerse en marcha como parte de una política de punto
ejercicio de puntuación, y no como un esfuerzo para aprender a hacer las cosas mejor. La
gobierno o el gobierno nuevo designado podrá solicitar una evaluación para
demostrar la incompetencia o peor que su predecesora. Este puede ser el
oportunidad de instituir un poco de práctica seria evaluación, pero será
importante en estos casos, para evitar dejar la evaluación se convierten en sólo un
instrumento político - la evaluación es ante todo una herramienta de aprendizaje. Se tendrá que estar
llevado a cabo sistemáticamente y con la mayor precisión posible, y los que
Comisión se requerirá que estar preparado para la posibilidad de que se van a plantear con
resultados que no sirven a sus fines políticos inmediatos. Si este no es el caso,
luego tenemos otro posible argumento en contra de evaluación - que es responsable
que se limita a atacar a aquellos en el poder en el pasado y / o legitimación de los de
poder ahora.)
________________________________________
Página 35
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
35
3.2 ¿Cuáles son los argumentos detallados en contra de la evaluación?
Algunos de los argumentos "de sentido común" en contra de la evaluación preocupación
dificultades técnicas y prácticas . Por ejemplo, se puede argumentar en contra
evaluación que:
♦ Es susceptible de ser demasiado caro, y de tomar fondos fuera de la importante
programas que son necesarios. Se trata de una desviación del esfuerzo real de un
Programa para la Innovación.
♦ Es muy difícil llevar a cabo de una manera seria y sistemática.
♦ Se enfrenta a demasiados obstáculos en cuanto a la renuencia de la gente a ser
evaluado, lo que puede significar su ser encontrado culpable y criticados.
Otra línea de preguntas de argumentos si la evaluación es realmente necesario,
lo que sugiere que se trata simplemente de una distracción de los esfuerzos. No sólo contribuye
pocas cosas de valor, que roba el tiempo y recursos que podrían ser mejor utilizados en la
programa en sí. Así, escuchamos las sugerencias de que:
♦ Los políticos y los diseñadores del programa han adquirido un buen sentido del
lo que funciona y lo que no, y hay poco nuevo una evaluación puede decir
ellos.
♦ Los evaluados - directores de los programas, los participantes en el programa,
y así sucesivamente, están demasiado ocupados para ser desviados a pasar tiempo involucrado en un
evaluación.
♦ Las personas que ya han participado en evaluaciones anteriores (o anterior
etapas de una evaluación en tiempo real) pueden estar sufriendo de "Evaluación
fatiga ", lo que significa que están dispuestos a responder preguntas y proporcionar
información se erosiona.
♦ "fatiga de Evaluación" también puede afectar a los usuarios previstos de las evaluaciones, que
pueden verse bombardeados con las evaluaciones si un número están siendo
generado al mismo tiempo. Sin visión sintética de las evaluaciones,
no son susceptibles de ser utilizados en realidad como se pretende.
________________________________________
Página 36
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
36
3.3 ¿Cómo se puede contrarrestar los argumentos en contra de la evaluación?
La mejor manera de contrarrestar los argumentos en contra de la evaluación es para ser capaz de
demuestran que las evaluaciones pueden llevarse a cabo y se utilizan también. Esto puede
hacer referencia a la experiencia exitosa y útil de la evaluación en
otros ámbitos políticos. Pero estamos acostumbrados a oír que la política de innovación es
particularmente difícil y de largo plazo, lo que puede significar que la relevancia de
evaluaciones de las políticas diseñadas para tener efectos más inmediatos es bastante
dudosa.
¿Qué se puede hacer cuando no hay evaluaciones de largo plazo relevante
políticas, por no hablar de los programas de innovación (o incluso de la investigación
programas), que pueden ser llamados a hacer caso? En tales casos, se
puede ser una cuestión de aprovechar la experiencia de otros países. Estudios piloto y
trabajo de evaluación llevado a cabo por las universidades u otras partes sin
fondos del gobierno también se puede llamar en juego.
Pero hay algunos argumentos en contra genéricos que pueden aplicarse cuando el
se está haciendo caso en contra de la evaluación. Esta guía debe proporcionar gran parte de la
sustancia para sustentar estos argumentos en contra.
________________________________________
Página 37
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
37
3.4 ¿Cómo pueden los argumentos acerca de la dificultad de la evaluación será
contrarrestado?
La evaluación es susceptible de ser demasiado caro, y de tomar fondos fuera de la
programas importantes que se necesitan. Se trata de una desviación del esfuerzo real de
un programa para la innovación.
Un programa que no puede alcanzar sus objetivos, o los alcanza en un
forma ineficiente es una pérdida de las finanzas públicas. Sin ningún tipo de evaluación, el
eficacia y la eficiencia de un programa no se pueden evaluar. Los costes
de una evaluación del programa son rara vez más de un pequeño porcentaje del total
los costos del programa. Las evaluaciones deben ser capaces de proporcionar la información que se
permitir una asignación más eficiente de los recursos en el futuro, lo que significa más
fondos para las actividades que son más eficaces. Por otra parte, bien realizado
evaluaciones son municiones importante utilizar en el esfuerzo para obtener recursos
de las autoridades financieras. Las evaluaciones deben dar a los diseñadores de programas y
gerentes la oportunidad de mirar hacia arriba de su trabajo inmediato a adoptar un enfoque más
visión estratégica de lo que sea que ellos están tratando de hacer - la oportunidad de hacer
Asegúrese de que las preocupaciones a corto plazo no están dando lugar a una desviación de los esfuerzos que se
ser problemático para los objetivos a largo plazo.
La evaluación es muy difícil llevar a cabo de una manera seria y sistemática.
Esta Guía contiene mucha información acerca de cómo hacer evaluaciones serias
y asuntos sistemáticos. Pero la evaluación se trata de mejorar nuestro conocimiento,
perfeccionamiento no es posible. Incluso una evaluación incompleta puede producir útil
inteligencia, aunque hay que reconocer explícitamente que es incompleta, por lo
que las decisiones no son exclusivamente fundada en un subconjunto particular de rendimiento
indicadores, por ejemplo. Las evaluaciones pueden ser fácilmente integrados en los programas y
desarrollo de políticas y puede ser desarrollado de forma incremental desde un simple conjunto de
herramientas y metodologías. Gran experiencia y asesoramiento sobre la forma de llevar a cabo
evaluación está disponible fuera de esta Guía.
La evaluación se enfrenta a demasiados obstáculos en cuanto a la renuencia de la gente a ser
evaluado, cuando temen ser encontrado culpable y criticado.
Estas preocupaciones se expresan a menudo cuando las evaluaciones están siendo primero
introducido en un país o área política. En general, las evaluaciones no son un
cuestión de buscar fallas individuales, pero el intento de llamar la sistemática
lecciones sobre cómo llevar a cabo bien. La evaluación no es un "palo" o un medio para
juzgar a los implicados, se pretende lograr un beneficio para todos los programas
interesados, para asegurar que los beneficios se maximizan y que nadie está
desfavorecidos, por ejemplo, por gastos administrativos indebidos. Por supuesto, puede
emergen de que los programas fueron mal diseñados y que las actividades particulares
no se aplica de manera adecuada, lo que puede tener consecuencias negativas para los individuos
involucrados. El conocimiento de que la evaluación se va a celebrar en su momento y luego
puede constituir la motivación para un mejor rendimiento! Metodológicamente, la cuestión
se plantea que las personas con algo que ocultar no pueden ser informantes precisos para
el equipo de evaluación. La implicación de esto es que siempre que sea posible
la información debe ser "triangulado", que se confirma por medio de varios
fuentes independientes de que no es probable que sufrir de la misma sistémica
"Parcialidad".
________________________________________
Página 38
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
38
3.5 ¿Cómo pueden los argumentos de que los políticos no necesitan evaluación
contrarrestarse?
El argumento es:
Los políticos y los diseñadores del programa han adquirido un buen sentido de lo que
obras y lo que no, y hay poca nueva evaluación puede decirles.
Es muy posible que los que se han asociado con muchos programas
tienen un profundo conocimiento de las cuestiones en juego, y una "corazonada" para
si un programa está bien diseñado y está funcionando de manera eficiente.
No todos los programas de innovación son tan afortunados como para tener estos sabios
tomadores de decisiones. Incluso cuando lo hacen, es útil contar con la validación externa de
las percepciones y las sospechas - uno de los principales beneficios de la evaluación es
que ofrece una oportunidad para un fresco, lo ideal sería independiente, habida cuenta de los efectos
de la implementación de programas. Y la evaluación deja un registro de cómo la
se llevó a cabo el programa, y para el efecto, que puede ayudar a informar y
mejorar la comprensión de los futuros responsables políticos, que carecen de esta
experiencia. Las evaluaciones pueden beneficiarse considerablemente de tener los puntos de vista de
gerentes bien informadas sobre qué temas y efectos pueden ser especialmente
vale la pena examinar. En la práctica, a menudo encontramos que los gerentes son en sí mismas no
completamente seguro acerca de todas las características de un programa, y de hecho la bienvenida a la
puntos de vista que una buena evaluación puede proporcionar. Las evaluaciones también proporcionan un medio
para poner a prueba las suposiciones subyacentes (sobre el sistema de innovación) en los que
el programa fue diseñado originalmente y ofrecer los responsables políticos y
directores de programas la oportunidad de reflexionar sobre el diseño del pasado
programas y lecciones de dibujo para el diseño de futuros programas. Por último,
programas pueden generalmente durar varios años y pueden ver una serie de
directores de programas van y vienen. Las evaluaciones por lo tanto proporcionan un medio para
evitar esta pérdida de "memoria corporativa".
________________________________________
Página 39
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
39
3.6 ¿Cómo pueden los argumentos que la evaluación es un mal uso de esencial
contrarrestarse recursos?
El argumento es:
Esos evaluados - administradores de programas, los participantes en el programa, y
etc, están demasiado ocupados para ser desviados a pasar tiempo involucrado en un
evaluación.
Ciertamente, se requiere un tiempo de los participantes. En una evaluación bien diseñado,
este no es el tiempo que normalmente excesivo, y ofrece una oportunidad, como se mencionó
anteriormente, para que los interesados a reflexionar sobre su práctica, y para pensar en el
más amplio programa que se encuentran dentro. Esto es a menudo realmente
dio la bienvenida. De hecho, las personas entrevistadas también lo desea, puede utilizar el
procesos como la oportunidad de conocer los avances y problemas en otros
áreas del programa. Las entrevistas y cuestionarios sobre todo son menos
onerosa cuando bien diseñado (véase más adelante) y permitir respuestas fáciles, y
no exigen que la gente simplemente reiteran material que está en el público
ya de dominio. Una evaluación también confiere un nivel mucho mayor de
programa de transparencia a todos sus grupos de interés. Además, la participación o
la ejecución de un programa de sub-óptima de realizar también puede ser una pérdida importante de
recursos.
La carga de una evaluación también depende de cómo se llevan a cabo evaluaciones:
idealmente, los datos y la información de rutina deberán obtenerse por medio de bajo costo y
monitoreo de bajo perfil o procedimientos "evaluación continua", que permiten la
evaluación para centrarse en cuestiones clave de interés para los participantes. Como los resultados,
Se esperaría que los efectos e impactos de los programas para cambiar y desarrollar
con el tiempo, las diferentes partes interesadas deben participar en las diferentes etapas de la
evaluación.
________________________________________
Página 40
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
40
3.7 ¿Cómo pueden los argumentos sobre la (falta de) la necesidad de la evaluación
contrarrestarse?
El argumento es:
Las principales partes interesadas que ya han participado en evaluaciones anteriores son
susceptibles de sufrir de "fatiga de evaluación" - que también puede afectar a la prevista
usuarios de las evaluaciones, lo que significa que no se utilizan realmente como se pretende.
Fatiga La evaluación puede ser un verdadero problema cuando hay numerosas evaluaciones
de numerosos programas que se llevan a cabo de forma rutinaria. Puede ser especialmente
problemático para los directores de programas que resultan ser a cargo de un
número de programas siguiendo más o menos el mismo horario. Puede haber una
caso para limitar el número de evaluaciones o simplificar el proceso (de modo que,
Por ejemplo, el material puede ser adquirida en varios programas simultáneamente).
Por lo tanto, las evaluaciones deben ser programados para maximizar su impacto, tal vez uno o
dos ejemplos de una serie de programas relacionados, se podrían utilizar en lugar de
un conjunto completo de evaluaciones de todos los programas. Diferentes aspectos de la similares
programas también pueden ser evaluados en diferentes momentos. Los políticos también pueden
considerar evaluaciones de la cartera, que se parecen a los efectos de una serie de ligado
programas en lugar de examinar cada uno de ellos individualmente. Esto permite una más
visión holística y puede identificar los cuellos de botella o sinergias entre la
componentes del sistema de evaluación.
Este problema (y los mencionados anteriormente) no hace caso de los
abandonar evaluación. Lo que nos dice es no sobrecargar a las personas con demasiado
muchas evaluaciones no integrados. Esta última conclusión es uno que tiene
resonancias en todas las críticas de la evaluación discutidos anteriormente. Ninguno de los
ellos hacen un muy fuerte caso contra la evaluación. Lo que constituyen es una
conjunto de argumentos que refuerzan los mensajes de forma acumulativa:
♦ Las evaluaciones deben llevarse a cabo con seriedad y de manera sistemática: pobre
evaluaciones ofrecen pocas oportunidades para el aprendizaje, no logran demostrar su
beneficios y harán poco para ayudar a construir una cultura de la evaluación
♦ Las evaluaciones no son la panacea para todo lo que es malo en la innovación
políticas (o, de hecho, el sistema nacional de innovación). Proporcionan una
oportunidad para el aprendizaje y, como tal, son herramientas importantes en el esfuerzo por
alcanzar el progreso aquí. Pero puede haber razones políticas y de otro tipo para que
ser difícil de implementar evaluaciones satisfactorias, o para ver sus resultados
adecuadamente.
Habiendo examinado algunas razones por las cuales la evaluación puede ser considerada como
innecesaria o contraproducente, vamos a considerar los argumentos de manera positiva para
la evaluación de los Programas de Innovación.
________________________________________
Página 41
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
41
Argumentos para la evaluación
3.8 ¿Cómo podemos argumentar a favor de la evaluación?
La innovación es un fenómeno multifacético, que los políticos son
aproximándose desde muchos ángulos. Así pues, hay muchos papeles diferentes que
evaluación puede desempeñar en relación con los Programas de Innovación. Hay varios
diferentes puntos de vista sobre estas funciones, también. Ninguno es necesariamente el punto de vista correcto -
todo dependerá del contexto en el que se está utilizando la evaluación y qué lecciones
los responsables políticos desean obtener de su uso.
Cuando se ve en el caso de los programas de innovación simplemente como una cuestión de
fracaso del mercado, por ejemplo, la tarea principal de la evaluación es principalmente para
ver hasta qué punto se ha abordado esta falla del mercado - son información o
carencias formativas están superando, por ejemplo? Cuando el problema se ve más
en términos de los sistemas de innovación y su rendimiento (la noción de sistemas
fracaso, por ejemplo), entonces la evaluación tiene que abordar el cambio sistémico en qué medida
que se ha logrado, es decir, a través de la eliminación de los cuellos de botella, oa través de la
mejora de las condiciones marco, etc Esto puede implicar cuestiones de la
cambio en el comportamiento de los agentes económicos en el largo plazo.
Los argumentos a favor de la evaluación son, pues, igualmente multifacético. Es posible
identificar algunas de las principales razones que se dan para la realización de la Innovación
Las evaluaciones del programa (y evaluaciones de forma más general)
3
, Y también un número
de más de menor importancia o incidentales. Vamos a considerar cada una de las siguientes opciones en
encender las próximas páginas:
♦ el argumento basado en la evaluación de valor por dinero
♦ el argumento basado en la mejora del diseño de los futuros programas
♦ el argumento basado en información para el proceso de establecimiento de prioridades
♦ el argumento basado en la mejora de la formulación de políticas
♦ otras razones y beneficios - por ejemplo, el uso de las evaluaciones a más
difundir los resultados del programa.
3
EPEC (2005) presenta una gama similar de fundamentos para la evaluación, la evaluación de hasta qué punto cada uno
tipo de impacto se logró a través de una serie de evaluaciones.
________________________________________
Página 42
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
42
3.9 ¿Cuáles son los argumentos en torno 'Evaluación de valor por dinero'?
Simplemente, la evaluación de la relación calidad-precio es una cuestión de hacer la pregunta
de lo bien que se está gastando el dinero público. Esta es una pregunta fundamental -
el gasto público no es un pozo sin fondo. El dinero tiene que ser extraído
de tasas y otros ingresos, y se aplica a través de una serie de objetivos políticos. Es
sólo éticas para asegurarse de que se está utilizando, así: de otro modo, ¿qué derecho tiene el
Estado tiene que este dinero en el primer lugar? Los ministerios de finanzas y pública
perros guardianes de gasto / auditores son las instituciones que tienen que estar convencidos de
que el dinero se gasta bien, y los medios de comunicación y la oposición política puede ser
interesados en saber si este es el caso, también. Evidencia de relación calidad-precio es
importante si el caso se va a construir para los programas posteriores de este tipo. Y,
cuando se lleva a cabo como parte de una evaluación en tiempo real puede ayudar a tomar decisiones acerca de
ya sea para cambiar las prácticas de gestión en el programa e incluso
si se debe modificar la asignación de los recursos a través de actividades.
El tipo de preguntas que se derivan de esta "relación calidad-precio" justificación son:
♦ ¿Hasta dónde han hecho las actividades propuestas han llevado a cabo?
♦ Si no han sido llevadas a cabo, son las razones de esta adecuada
los que no se podían prever en la etapa de diseño del programa?
♦ ¿Las actividades llevadas a cabo de manera eficiente, es decir, con el mínimo de
los gastos administrativos y los costos de administración?
♦ ¿Los procedimientos para la reasignación de los recursos en caso de descubrimiento de
problemas con una u otra parte del programa adecuado? Eran
llevado a cabo de manera eficiente?
♦ ¿Hasta qué punto las actividades logran sus beneficios previstos y cuál es el
relación beneficios-costos, en la medida de lo posible se expresa en términos financieros?
Algunos de estos son esencialmente de auditoría preguntas que deberían ser valiosa sobre
la base de la información recopilada de forma rutinaria durante la gestión del programa. En
este sentido, es útil para administradores de programas para recopilar datos sobre si
hitos se están alcanzando, en la captación de fondos, y si los informes
y otros productos que se hayan recibido a tiempo. Puede ser que no sea de rutina
información también ha sido recogido y tratado - por ejemplo, que un
particular, los gastos que no se hayan efectuado debido a que la empresa involucrada cerrado
hacia abajo o las operaciones se movió, porque pilotaje inicial indica que la intención
actividad no era en absoluto eficaz, y así sucesivamente. A menudo, esta información no está escrito
abajo, o si es que tendrá que ser revisado y ampliado. Del mismo modo, la
procedimientos para la reasignación de los recursos en caso de que tales contingencias se
necesita ser explicado, y la forma en que se llevaron a cabo es probablemente un tema
para la investigación.
________________________________________
Página 43
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
43
3.10 ¿Cuáles son las implicaciones de las venidas de evaluación más allá de Auditoría
y Seguimiento de los argumentos sobre "Evaluación de valor por dinero '?
Los procedimientos de auditoría son formas de comprobar si los programas han sido
llevado a cabo según lo previsto, y que el dinero se ha gastado en planeado
asignaciones con la debida diligencia. La auditoría es esencialmente un proceso de verificación.
Sin embargo, como es el camino con muchos términos y prácticas, el alcance de la "auditoría"
ha crecido a lo largo de los años. Por un lado, es posible que tengamos "performance
auditorías ", que ver hasta qué punto se han alcanzado los objetivos en términos de determinado
indicadores de rendimiento. Por otra parte, los auditores pueden tener en
teniendo en cuenta el nivel de conocimiento que estaba disponible en el momento de un programa
fue planeado y ejecutado, para establecer si las decisiones fueron tomadas en
la base de (aparentemente) la inteligencia bien fundada. Estas actividades traen
auditoría más cerca de la evaluación, pero todavía tiende a mantenerse un estrecho y más
proceso descriptiva. En esencia, la auditoría se centra generalmente en los insumos y su
asignación y puede extenderse a un examen del proceso de utilización de entrada.
Lo que no lo hace es examinar los productos y resultados, así como los procesos y
razones que los generan. Las evaluaciones suelen ir más allá de las auditorías en el ser
más analítico, con el objetivo de extraer lecciones sobre la planificación y realización de
Innovación Programas más general. Esto no quiere decir que las evaluaciones
ignorar los insumos, sino que tratan de examinar los vínculos entre el programa
razones fundamentales, insumos, actividades y resultados.
Un argumento similar puede hacerse respecto de la vigilancia . El monitoreo es el
proceso de examen de las actividades del programa durante el curso de la
programa en sí, y por lo tanto puede aparecer para asemejarse a la evaluación "en tiempo real". Pero
monitoreo es más o una actividad de gestión de rutina. Se trata de una cuestión de comprobar
para ver que las actividades están avanzando, y los fondos que se asignan y utilizan, como
planeado. Esto no significa, por sí mismo, frente a las cuestiones de evaluación más amplios relativos a
los objetivos y los efectos generales del programa. Sin embargo, esto no es a
denigrar la función de la vigilancia que se puede utilizar para acumular, en un
rutina (y posiblemente de bajo costo) base, la información esencial para la realización de
la evaluación final. Es frecuente que se requieren evaluadores
para llevar a cabo ejercicios de recolección de datos que consumen muchos recursos para adquirir información
que podría haber sido recogidos de manera sistemática durante el curso de la
programa. Como veremos, la provisión temprana para la identificación y
recopilación de esta información debería formar parte del diseño del programa
proceso.
El "valor por dinero" justificación tiene un fuerte enfoque en los gastos: la forma en que
se gestionan, cómo se relacionan con los resultados. Los procesos son examinados
los relativos a los gastos y las principales cuestiones en juego son tanto
los fondos públicos se utilicen de forma eficiente - y si no es así, ¿cuáles son las deficiencias
en el diseño o la gestión del programa. Hay pocas razones para reflexionar sobre
si los objetivos del programa eran realmente los más adecuados, o
cómo las actividades encajan en el sistema de innovación más amplio.
La evaluación en este caso es en gran parte un proceso de auditoría, basándose en la rutina
información de gestión, y la necesidad de entrar en detalles solamente en el entendimiento
desviación de los planes y la evaluación de los beneficios del programa. Con una
________________________________________
Página 44
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
44
presión para expresar los beneficios en términos financieros, el tipo de indicadores de
rendimiento que son elegidos tenderá a ser aquellos que pueden ser más fácilmente
representado en términos de dinero: por ejemplo, el volumen de negocios relacionado con el nuevo
productos, el valor económico de los nuevos puestos de trabajo creados.
Preguntas acerca de los logros y las relaciones costo-beneficio asociados a un
programa son, típicamente, más exigente. En la evaluación de la investigación, los de
recepción de los fondos se requieren habitualmente para proporcionar informes de fin de proyecto
que contienen evidencia de publicaciones derivadas del trabajo. La
los resultados y los efectos y, por lo tanto, los impactos de la innovación más amplia
Los programas no suelen ser tan fáciles de capturar.
4
4
No es que una lista de publicaciones es siempre tan sencillo. Incluso si los compiladores de las listas
utilizar un formato estándar para la presentación de ellos, a menudo hay problemas tales como: la dificultad de
atribuyendo trabajos específicos a un proyecto específico; la probabilidad de que algunos previsto publicaciones
será abandonado mientras aparecen otros; y el largo retraso en la preparación de publicaciones.
________________________________________
Página 45
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
45
3.11 ¿Qué
son
la
argumentos sobre la "Mejora de programa
gestión '?
Los programas no se limitan a gestionar ellos mismos. Es bien sabido que el calibre
de los directores de programas pueden desempeñar un papel vital para garantizar el éxito de
un programa - como alerta son las señales acerca de su progreso, la forma enérgica
ellos están en la exploración de soluciones a los problemas, qué tan efectivos son en
comunicar la conciencia y el entusiasmo a los participantes en el programa.
Obviamente, la selección de los directores de programas que tienen altas capacidades, así
como se ha comprometido con los objetivos del programa, es de gran
importancia.
Las estructuras de gestión también pueden variar en cuanto a su eficacia. La
mejores gestores pueden tener dificultades para progresar en ausencia de tales
estructuras, mientras que los gerentes más pobres serán capaces de hacer un mejor trabajo - y
incluso mejorar sus capacidades - esas estructuras están en su lugar. Este
Guía analiza la gestión de los procesos de evaluación, y algunos de los
puntos aquí se aplican a la gestión del programa más general; la más amplia
literatura de gestión (especialmente - aunque no exclusivamente - la gestión del sector público
materiales) también proporciona una gran cantidad de orientación útil a las herramientas y
técnicas de buena gestión. Las evaluaciones pueden aportar en términos de
la evaluación de las prácticas de gestión que participan en un programa para la innovación.
Por ejemplo, una evaluación puede examinar cómo diversos procedimientos fueron
implementadas, dibujo lecciones sobre cómo deben ser diseñados con el fin de
lograr mejores resultados. Por ejemplo:
♦ ¿Cómo fueron los socios de los programas seleccionados y movilizados?
♦ ¿Cómo pueden los objetivos del programa se comunicará adecuadamente a la
actores involucrados, especialmente a los participantes del programa (y otros
objetivos)?
♦ ¿Las actividades especificadas y un seguimiento adecuado? ¿Hubo
intervalos adecuados de información y directrices sobre la información requerida,
y fueron los procedimientos de gestión para procesar esta información y
para la detección de problemas adecuada? ¿Cómo puede el progreso de las actividades
supervisar y compara con los planes y objetivos de manera eficiente?
♦ ¿Hubo un conocimiento adecuado dentro del programa en el ámbito de su
razón de ser y objetivos, las formas en que las actividades estaban destinados a relacionarse,
etc?
♦ ¿Qué procedimientos se encontraban en el lugar para una más amplia difusión de los resultados de la
programa?
♦ ¿Cómo surgió la gestión del programa responde a las contingencias que puedan
han surgido, por ejemplo, cómo se reasignan los recursos en caso de
diferencial progreso hacia los objetivos?
♦ ¿Cómo debe el proceso de evaluación en sí se logró? ¿Qué procedimientos
estaban en el lugar para preparar y facilitar el proceso de evaluación, lo que
procedimientos deben estar en su lugar para asegurar un seguimiento adecuado de la
conclusiones y recomendaciones del proceso de evaluación?
________________________________________
Página 46
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
46
3.12 ¿Cuál es el papel de la evaluación del «Programa de Mejora
gestión '?
Principios generales de gestión, aunque aprendido de la experiencia en otros
tipos de programas públicos, siempre va a necesitar un cierto grado de refinamiento para ajustarse
las especificidades de áreas concretas. Programas de Innovación tienen
características que los hacen diferentes a la mayoría de otros programas públicos. Estos
involucrar a los tipos de:
♦ cambios de comportamiento que se están buscando
♦ impacto que estos cambios pueden generar (durante períodos de tiempo prolongados y
amplias esferas de la vida económica)
♦ agentes económicos cuyo comportamiento está destinado a ser afectados, y
♦ redes socioeconómicas en que se encuentran estos actores.
Los procedimientos de gestión y procesos involucrados en la innovación
Los programas son por lo tanto de ninguna manera las estándar. La evaluación puede desempeñar un
papel importante para ayudar a identificar y explicar la gestión principal
estructuras y capacidades que se requieren en relación con determinados tipos de
programa.
Cada evaluación realizada por una institución hará una nueva contribución a la
base de conocimientos de la institución, en términos de su comprensión de la
del sistema de innovación, los actores y los procesos dentro de ella y de las instituciones
Capacidad para planificar, ejecutar y evaluar las políticas de intervención que realiza. .
Los pioneros, evaluaciones iniciales, si se dirigen a la gestión de programas
procesos, contribuirán a establecer un conocimiento básico acerca de la
principios de la gestión eficaz de los programas de innovación. A medida que estos
principios vienen a ser bien entendido, estas lecciones tienden a ser
repetitivo, aunque esto puede ser precisamente lo que se requiere para las lecciones para ser
aprendidas y la comprensión de los principios que se incrusta en el
las empresas de explotación de que se trate. Puede haber cierta tendencia a que más tarde
evaluaciones de ser más de una evaluación de si la mejor práctica es
ser seguido en términos de gestión, con menor contribución de las nuevas ideas
en los principios de gestión.
Sin embargo, las disciplinas de gestión están en continua evolución, lo que significa que
siempre hay margen para la actualización de los principios y procesos que son
siendo aplicado. Modelos y métodos pueden ser importados desde el sector privado
(Por ejemplo, "lean management") u otros organismos públicos ("nueva gestión pública"
enfoques, por ejemplo), nuevas herramientas técnicas pueden permitir que los enfoques
no eran viables antes (en particular, la nueva tecnología de la información se puede utilizar
ampliamente para la gestión de proyectos, coordinación de actividades, la difusión de
resultados, etc.) Como la evaluación es una poderosa herramienta de aprendizaje, por lo tanto, debe
esperan que las prácticas de gestión del Programa de Innovación para estar continuamente
evolucionando, por lo tanto la evaluación de la gestión del programa se puede esperar que
mantenerse en movimiento también.
________________________________________
Página 47
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
47
Dicha evaluación es, de nuevo, algo más que una cuestión de marcar casillas para
determinar si las mejores prácticas se está siguiendo en diversos elementos de
gestión del programa. Debe orientarse a las lecciones de aprendizaje a partir de
la gestión del programa, que se puede utilizar para informar el diseño de
estructuras y procesos de gestión de los programas futuros. El objetivo
debe ser para lograr una mejora continua en el Programa de Innovación
gestión, lo que aumentará los resultados positivos de los programas de
y ayudar a construir los casos que los fondos públicos se gasten de vital importancia
objetivos.
________________________________________
Página 48
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
48
3.13 ¿Cuáles son los argumentos sobre "Mejorar el diseño de los programas '?
La evaluación en términos de "valor por dinero" nos puede decir si un programa
demostrado ser digno de los fondos gastados en ella. Evaluación de la gestión
procedimientos nos dice mucho acerca de la eficiencia con que se utilizan los fondos,
y si el valor agregado más podría lograrse mediante la mejora de la gestión
procesos. Una buena evaluación de este tipo debe ser también capaz de identificar las razones
detrás de las deficiencias, y así ayudar a informar el diseño futuro programa.
Pero el diseño de futuros programas pueden y deben ser una parte clave de la
Justificación de la evaluación. Por tanto, la evaluación se convierte en una herramienta para mejorar el aprendizaje
acerca de qué intervenciones tienen qué consecuencias, y por qué, y cómo
efectivamente diseñar futuras intervenciones que realmente contribuyan a la mayor
objetivos de política que se persiguen.
Por lo tanto, la evaluación es mucho más que algo que es sólo "atornillada" en la
el final de un programa, para satisfacer a sus patrocinadores que los fondos han sido bien
gastado. En cambio, la evaluación debe ser vista como una parte integral de un individuo
programa. Por otra parte, es una parte integral de la política de innovación más amplio
proceso , que puede y debe desempeñar un papel en el diseño de programas más
en general.
El diseño del programa está estrechamente relacionado con el establecimiento de metas. El diseño de cualquier
programa será sólo uno de una amplia gama de diseños alternativos de programas
a disposición de los responsables políticos, algunos de los cuales pueden haber sido explícitamente
investigado y considerado, algunos de los cuales no se han articulado.
Los programas pueden ser diferentes en términos de sus objetivos finales . Esto es especialmente
cierto de los programas de innovación. Ejemplos de diferentes objetivos finales podrían ser,
por ejemplo, los siguientes: mejorar la capacidad de innovación en toda la economía; apalancamiento
desarrollo regional racimos aunque más innovadoras en desventaja
regiones; alentar a la industria a explorar más líneas de bajo consumo de
la adopción de tecnología; y así sucesivamente. Y, por supuesto, hay políticas de orden superior
elecciones entre la asignación de recursos a las metas como nacional
la seguridad, la salud pública inmediata, la sostenibilidad ambiental, económica
estabilidad y otras características críticas de una sociedad que funcione bien. En este
discusión nos centraremos en los principales objetivos detrás de los Programas de Innovación.
Dentro de un objetivo final común, hay una posibilidad de elegir entre diferentes tipos de
actividad que pueda contribuir a este objetivo. Ejemplos de diferentes tipos de
actividad podría ser, por ejemplo, los esfuerzos para: crear conciencia; tecnología de apoyo
adopción (por ejemplo, a través de apoyo de consultoría de financiación para las empresas o clusters);
fomentar mejores relaciones entre los desarrolladores de los investigadores, la tecnología y
los usuarios de tecnología; aumentar la calidad y cantidad de la formación para el uso de tecnología;
y así sucesivamente. Dentro de las actividades de este tipo también puede haber sub-actividades :
qué tan lejos para apoyar cada uno de una serie de tecnologías relevantes, tipos de formación
programa, y así sucesivamente.
________________________________________
Página 49
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
49
Diferentes diseños de programas reflejan opciones que se han hecho entre
estas alternativas. Hacer este tipo de decisiones es una cuestión de establecer prioridades, que
puede llevarse a cabo de forma explícita o más o menos de forma implícita.
El papel de la evaluación en este contexto es evaluar qué metas son alcanzables,
y por lo que significa que más eficazmente pueden llevar a cabo. En resumen,
Las evaluaciones se utilizan para evaluar las consecuencias de la acción política. Pero el
forma en la que la evaluación se va a utilizar tiene que ser considerado desde el principio
del proceso de diseño de políticas. Esto facilitará la medición de estos
metas y evaluación de hasta qué punto el programa ha contribuido a la consecución de
ellos.
________________________________________
Página 50
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
50
3.14 ¿Cuál es el papel de establecer objetivos en la «Mejora de diseño de
programas '?
Las opciones en cuanto a los objetivos finales se hacen típicamente en los altos niveles políticos,
y es difícil para una sola evaluación de contribuir mucho a ellos. Sin embargo,
algunas evaluaciones a gran escala de programas a gran escala han demostrado ser muy
influyente. Además, una serie de evaluaciones puede ser utilizado como un conocimiento
base desde la cual se puede derivar asesoramiento en cuanto a que los objetivos de política pueden ser
logrado con bastante facilidad, y que son más difíciles de resolver, al menos en términos de la
instrumentos que hasta ahora han sido ejercidas sobre ellos. Este ideal es
por lo general sólo imperfectamente comprendida, en todo caso, debido al desarrollo desigual de
cultura de la evaluación en los distintos ámbitos de la política, y por lo tanto la calidad desigual
y el enfoque de las evaluaciones que están disponibles. Basada en el Conocimiento
la formulación de políticas aún tiene un largo camino por recorrer! Sin embargo, la disponibilidad de un
"Biblioteca" de evaluaciones de las políticas de innovación puede servir para informar a los responsables políticos y
directores de programas por igual sobre las grandes áreas de intervención que son
más probabilidades de éxito - e, igualmente importante, sobre los principales problemas que
son probable que se encuentren con su uso.
Las opciones en cuanto a los objetivos de un programa, y especialmente las opciones
sobre las actividades y sub-actividades que se instituyeron como formas de lograr
estos objetivos, es por lo general menos de un asunto de alta política y la política. Aquí,
trabajo de evaluación puede contribuir a deletrear la eficiencia relativa y
efectividad de las diferentes actividades y sub-actividades para contribuir a la
los objetivos del programa. El Resumen del Programa debería haber explicado no
justo lo que estos objetivos son, y cómo las actividades específicas están destinadas a
contribuir a ellos, sino que también han ido de alguna manera de explicar los opciones
que se hicieron acerca de los objetivos y actividades específicas. La evaluación puede
revisar estas decisiones a la luz de la experiencia, y proporcionar inteligencia para el
decisiones necesarias en los programas futuros.
La pregunta para cada evaluación individual es, en este sentido, una cuestión de lo que el
experiencia del programa en particular (o conjunto de programas) que es
Evaluado nos dice acerca de cómo diseñar programas futuros. El diseño de la
programa abarca dos dimensiones. Primera es la dimensión de
el contenido del programa - que las evaluaciones pueden contribuir al aprendizaje sobre
establecer y especificar los objetivos, relacionarlos con las actividades, y así sucesivamente.
En segundo lugar está la dimensión de la estructura del programa - que las evaluaciones pueden
contribuir a aprender acerca de la supervisión efectiva de un programa de este tipo, sobre
las capacidades y prácticas de gestión necesarios para llevarlo a cabo
con éxito. Esta segunda dimensión se comenta más arriba, bajo la rúbrica de
"Mejorar la gestión del programa." Evaluación aquí debe ayudar con la
diseño de los procesos de gestión del programa una vez que las decisiones estratégicas
asociado con la primera dimensión se han tomado. La primera dimensión
implica la selección y diseño de los programas que son actividades apropiadas
y usos de los recursos a la luz de los objetivos de política. Las evaluaciones también pueden contribuir
la inteligencia que debe ayudar con estos procesos de selección y de diseño. En lo
haciendo, estarán mejorando la comprensión de las instituciones políticas "del
sistemas de innovación que sus políticas están tratando de afectar.
________________________________________
Página 51
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
51
3.15 ¿Cuál es el papel de la evaluación en la 'Mejora de diseño
programas '?
Como se señaló anteriormente, las contribuciones más fáciles para la evaluación de hacer que son los
objetivos del programa preocupación, actividades y sub-actividades. La
evaluación puede hacer frente a estos temas al preguntar, por ejemplo:
♦ ¿Qué lecciones se pueden aprender acerca de la justificación y los objetivos de
programas? ¿La razón de ser concebida correctamente? ¿Es pertinente hacer la
los objetivos del programa parecen estar ahora en términos de contribución a la
objetivos generales de la política de innovación? ¿Hubo superfluo, realista o
objetivos que falta?
♦ Se ha sugerido que la evaluación de determinados objetivos son particularmente fáciles
o difícil de conseguir? Son algunos objetivos demasiado ambiciosos, ahora que tenemos
comprender mejor cuáles son los efectos de las intervenciones son? Haga particular,
objetivos requieren diferentes o complementarios enfoques? ¿Puede el
logro de los objetivos en realidad se evaluará?
♦ ¿En qué medida determinadas actividades y sub-actividades contribuyen a la
objetivos con los que están asociados? ¿Se emerge que hay
actividades que son menos efectivos que otros; tener otras actividades potenciales
sido identificados que no estaban en el programa original?
♦ ¿Qué implica esto acerca de los programas futuros? ¿Cómo debe el saldo
de los objetivos y de las actividades y subactividades, modificar? ¿Hay
direcciones prometedoras para futuros trabajos que deben ser exploradas?
A pesar de que es poco probable que los programas sucesivos tendrán exactamente el
mismos objetivos, la evaluación de un programa puede ser una oportunidad para
considerar dónde las prioridades deben estar en el siguiente programa. Sucesivo
programas pueden variar en formas más o menos graduales, por ejemplo, la colocación de
más énfasis en llegar a determinados tipos de empresas, de promover la adopción
de determinados tipos de tecnología o técnica, etc La evaluación puede
sugieren que el diseño del programa necesita un nuevo enfoque, para dibujar en los insumos
a partir de una gama más amplia de conocimientos especializados o de otros estudios y revisiones, o para ser
constituida de modo que no puede haber un mejor aprendizaje de los resultados de antes y
evaluaciones en curso.
¿Qué implica esto acerca de la evaluación?
Este razonamiento implica que la evaluación debe examinar el programa
son hechos objetivos, y cómo los esfuerzos para llevarlas a cabo, a la luz de la
políticas de innovación más amplios a los que están destinados a contribuir. Aunque
puede ser difícil hacer un cálculo cuantitativo sencillo aquí, el subyacente
cuestión es si los objetivos (y las actividades que se derivan de ellos)
en realidad no constituyen el tipo de operacionalización de los objetivos de política general
que se habían previsto inicialmente. A la luz de la experiencia, tener cualquier
se encontraron diferencias entre la traducción de los objetivos de política en
los objetivos del programa?
________________________________________
Página 52
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
52
Esto también implica que los participantes en el programa se les debe pedir a
reflexionar sobre el programa de manera más general, además de las actividades con
los que han estado involucrados, y para pensar en cómo los objetivos del programa
podrían ser modificados y / o mejor abordados en los programas sucesores.
Así, por ejemplo, durante el curso de la evaluación, los evaluadores pueden
pida a los participantes del programa lo que ellos consideran que es potencialmente fructífera
direcciones para futuros programas a tomar, y por qué. Estas opiniones pueden informar
asesoramiento sobre las prioridades futuras de las actividades dentro de los programas relacionados.
________________________________________
Página 53
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
53
3.16 ¿Cómo podemos discutir sobre "Mejora de diseño de la política '?
El papel más ambicioso para la evaluación es contribuir a la combinación de políticas
que son ejercidas sobre la mejora de la innovación. Esta es una función
que por lo general va a requerir más de un estudio de evaluación, aunque ni un solo
estudio puede proporcionar información valiosa.
Aquí, el objetivo de las evaluaciones es aprender las lecciones más profundas sobre cómo y
por qué los programas han logrado su patrón particular de resultados -
la comprensión de cómo las actividades del programa han operado en e impactado
en los elementos particulares del sistema nacional de innovación. Ello, las evaluaciones utilizan
Los programas de innovación como una forma de "investigación-acción" en la innovación
sistema, utilizando los programas para determinar características de este sistema.
Las evaluaciones, a través de programas de innovación por lo tanto plantean preguntas tales como dónde
son los puntos débiles, en qué áreas pueden aprovechar obtenerse, por qué es
que algunas intervenciones parecen ser mucho más eficaces que otros, y así sucesivamente?
De ahí que las evaluaciones están integrados en un proceso de aprendizaje político, en el que
los tomadores de decisiones a evaluar la combinación de políticas que están poniendo en su lugar. Como
resultado de la acumulación de una comprensión más profunda de cómo el sistema de innovación es
funcionan los políticos son capaces de diseñar nuevas políticas y cambiar la
el énfasis dado a los tipos específicos de la política. Uno de los principales beneficios de tal
enfoque de la evaluación es que puede ayudar a identificar a los que las políticas no logran
complementan entre sí, e incluso cuando existen desajustes graves. Para
políticas de ejemplo, de educación o de competencia pueden operar de manera que tienden a
militar contra las políticas para, digamos, pequeña innovación empresarial.
¿Qué implica esto acerca de la evaluación?
Esta lógica requiere buenas evaluaciones, por supuesto, pero más significativamente se
implica que una cultura sistemática de la evaluación se está construyendo. Múltiple
Las evaluaciones se llevan a cabo, y los resultados de las evaluaciones están siendo
ampliamente examinado y utilizado. Los usuarios son capaces de evaluar estos resultados, y
integrar los resultados de diferentes evaluaciones. Puede haber un cambio hacia
complementar las evaluaciones de los programas individuales (que seguirá siendo
necesario, sobre todo cuando los nuevos tipos de programas están involucrados), a más
de un "enfoque integral" (parcela, 1998), que se propone examinar y dibujar
conclusiones de una serie de programas. La implicación es también que una serie
de los métodos se deben aplicar porque esto es necesario para establecer el rango
de conocimiento sobre el sistema de innovación. En particular, puede ser necesario
para investigar elementos "más blandos" de este sistema, tales como las redes que existen
entre sus actores constituyentes.
________________________________________
Página 54
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
54
3.17 ¿Qué otros argumentos existen para la evaluación?
Puede haber varias razones adicionales para llevar a cabo una evaluación, para
instituir prácticas de evaluación y la construcción de una cultura de evaluación más
en general.
Una evaluación individual puede desempeñar varias funciones, además de las identificadas
en las razones discutidas anteriormente. Se puede:
♦ Documento del programa y sus logros en formas que son útiles para
una mayor difusión de los resultados. El informe de evaluación se puede publicar
por el programa en sí o por los patrocinadores del programa como un registro de la
actividades y resultados. La evaluación puede incluso participar en
"Difusión" como un subproducto de las actividades de evaluación - por ejemplo,
pidiendo las partes interesadas sobre los efectos de las actividades puede requerir informar
acerca de toda la gama de actividades que forman parte del programa.
♦ Ayuda en la promoción de los objetivos fundamentales del programa. La
evaluación debe proporcionar una oportunidad para volver a examinar el programa
razón de ser y objetivos, reiterando estos en función de la experiencia y
pruebas concretas. Esto puede ser una entrada oportuna para debatir sobre el futuro
los objetivos del programa. Las evaluaciones no son lo mismo que "historia de éxito"
enfoques (ver más abajo), que están diseñados de forma explícita con la promoción de
el programa y sus objetivos, y la difusión de algunos de los
programa de resultados a un público más amplio - aunque pueden ayudar en la
identificación de ejemplos y casos de "buenas prácticas". El relato de la
programa desde la perspectiva de otro fabricante que ofrece una evaluación
puede ser un producto útil en su propio derecho para estimular la discusión de la
las intervenciones que se realizaron.
♦ Promover la evaluación misma. El estudio puede ayudar a construir una cultura de la evaluación,
mediante la exposición de las distintas partes de las prácticas y los resultados de la evaluación en
este ámbito de actuación.
♦ Beneficio posteriores evaluaciones, proporcionando un buen ejemplo de lo que puede ser
hecho, mediante el desarrollo de plantillas para las entrevistas y cuestionarios, por
el establecimiento de un registro de los logros y las condiciones que se pueden utilizar como
una línea de base en el trabajo futuro.
En términos más generales, los esfuerzos para construir una cultura institucionalizada de evaluación tienen
se discute en términos de los aportes que esto puede hacer a la mejora de
la política de innovación. Puede también:
♦ Ayudar a tomar el caso de la formulación de políticas basadas en la evidencia en otras esferas de la
gobierno, y dar lugar a una mejor apreciación de las competencias y los procedimientos
que sean necesarios para apoyar esta
♦ Ayuda a estimular la evaluación y las actividades conexas entre las partes interesadas y
actores del sistema de innovación de manera más general, es de esperar que ayuda a
________________________________________
Página 55
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
55
desplazarse a más puntos de vista y enfoques estratégicos en sus esfuerzos, y poniendo
la propia innovación más en el orden del día.
5
¿Qué implica esto acerca de la evaluación?
Estas diversas características son más bien el carácter de daños incidentales y adicionales
beneficios que una justificación completa para llevar a cabo una evaluación. La mayoría de estos
beneficios sólo se pueden realizar si se lleva a cabo la evaluación
transparente, con métodos y resultados bien documentados; y el
enfoque adoptado y sus conclusiones deben hacerse públicamente
disponible. necesitará El trabajo a realizarse y presentarse de tal manera
que - y su importancia - puede ser entendido por los numerosos grupos de interés
y las partes interesadas participen en el sistema.
5
Eiffinger (1997) describe cómo se creó deliberadamente el sistema de evaluación de la investigación holandesa
hasta alienta a los interesados, tales como las universidades para llevar a cabo sus propias evaluaciones.
________________________________________
Página 56
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
56
3.18 ¿Cuál es, entonces, es el caso en general para la evaluación?
Las razones discutidas anteriormente cubren una amplia gama de objetivos para el
ejercicio de evaluación. Los diversos objetivos son bastante complementarias - ejercido
un objetivo no tiene por qué descartar la búsqueda de otros. Pero, en cualquier evaluación en particular,
no está obligado a ser un poco de énfasis en uno u otro enfoque. De hecho, es
probable que el régimen de evaluación de una institución tiende a orientarse hacia una
justificación específica, en lugar de permitir que cada evaluación para tomar una completamente
diferente forma. Discutimos más adelante algunos de los principales tipos de cultura de la evaluación
que se pueden encontrar.
Cualesquiera que sean las circunstancias específicas, varios puntos generales surgen de la
anterior discusión. En primer lugar, hay casos fuertes para la evaluación sea un
elemento regular y rutinaria de los Programas de Innovación. El más que este es
una parte aceptada del diseño del programa, más que el diseño puede facilitar
actividades de evaluación por ya especificando, por ejemplo, los datos que se generen
en el curso de las actividades del programa, los objetivos y las metas en contra
que la evaluación puede llevarse a cabo, etc
En segundo lugar, existen beneficios potenciales de la evaluación que van mucho más allá de la
importante función de asegurar que los fondos públicos están siendo bien gastado. Evaluación
puede contribuir a un proceso más informado sobre el diseño del programa, y es posible
ser un elemento esencial de un proceso de aprendizaje de las políticas. En última instancia, las evaluaciones son un
camino para los políticos a tener un mejor entendimiento del sistema - en este caso,
el sistema de innovación - que están tratando de influir, y las formas en
que las intervenciones de los diferentes tipos, en diferentes momentos, pueden efectuar este sistema.
Ninguno de estos argumentos tratan de elevar la evaluación a un papel primordial en la
proceso político. Es un elemento vital de este proceso, sino un elemento entre
otros. No es un fin en sí mismo. No puede haber demasiadas evaluaciones que se
asimilado a fondo. No puede haber énfasis en la evaluación a expensas
de las actividades que en realidad están siendo evaluados. No puede haber más de elaborada
esfuerzos para entender la gama "completa" de los resultados de un programa en el
expensas de proporcionar información oportuna para la (aún los más relevantes o)
la formulación de políticas. Sobre todo si se lleva a cabo de una manera rígida, con estricto apego
a un conjunto limitado de metas e indicadores, el proceso de evaluación puede llegar a
limitar la realización de programas. Los argumentos en contra de la evaluación discutidos
antes plantear cuestiones serias que deben ser abordados de manera adecuada en persona
estudios de evaluación y en la construcción de sistemas de evaluación institucionales y una
cultura general de evaluación. Hay trampas de demasiado y demasiado rígida
evaluación, y hay limitaciones inherentes al enfoque de evaluación (es decir
los riesgos de evaluación demasiado ambicioso). Reconociendo esto no disminuye
el caso para la evaluación. Simplemente nos dice más acerca de cómo debemos enmarcar
y llevar a cabo las evaluaciones.
________________________________________
Página 57
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
57
________________________________________
Página 58
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
58
Capítulo 4 ENFOQUES DE EVALUACIÓN
4.1 ¿Cómo se diferencian de Evaluación de Seguimiento?
Monitoreo es un proceso de suministro de información de gestión a través de la vida
de un programa. Puede ser asistido por la gestión de proyectos y herramientas similares.
Se compone de los sistemas de obtención de señales en cuanto a si las actividades están tomando
colocar de acuerdo a lo programado, se cumplen si los hitos, si los fondos son
que se utiliza para los fines previstos, y similares. El enfoque tiende a estar en
insumos y actividades, y menos en los productos y los resultados, aunque inmediata
salidas como informes de proyectos y otras prestaciones son abarcados.
El monitoreo se lleva a cabo habitualmente por el equipo de gestión del programa, que
reaccionará a cualquier información que las cosas no van según lo previsto. Las evaluaciones son
generalmente realizada por partes independientes, que tratan de extraer lecciones más amplias
desde el programa.
Sin embargo, el monitoreo puede constituir un elemento importante dentro de una evaluación y
en el diseño del programa / política global y el ciclo de implementación. Como tiene
ha señalado, los evaluadores, en particular los de fuera del programa, a menudo
tienen que familiarizarse con las características de funcionamiento de la
programa. Por otra parte, con frecuencia desean obtener lo que puede ser visto como
información mundana en los insumos del programa (por ejemplo, los recursos asignados por
participante) y salidas, tales como publicaciones, informes, patentes, etc Tal
necesidades de información deben preverse en la fase de diseño del programa
y mecanismos adecuados ponen en marcha para garantizar su captura por la rutina
administración del programa. Si tal información es entonces disponible en el inicio de
una evaluación, tiempo y recursos valiosos pueden salvarse que de otro modo
se habría gastado en la captura de estos datos. Además, existe el peligro
que si los directores de programas no captan esta información o si los participantes
no son conscientes de la necesidad de recopilar esta información, se puede perder, ya sea
parcial o totalmente. A lo sumo, los participantes tendrán que gastar sus recursos en
la búsqueda de dicha información en respuesta a las preguntas de los evaluadores. La
recursos así ahorrados pueden entonces ser canalizados en más líneas luminosas de
investigación.
Por esta razón, los procedimientos de control también deben tenerse en cuenta al
el diseño de los elementos de evaluación de un programa. Por supuesto, también hay una
trade off que debe hacerse entre el tipo y la cantidad de información recogida
durante el proceso de seguimiento y el esfuerzo requerido. El monitoreo debe tener
una carga administrativa bajo y el valor potencial de la información seleccionada
(Para el proceso de evaluación) debe ser considerado cuidadosamente.
________________________________________
Página 59
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
59
4.2 ¿Cómo se diferencian de Auditoría de Evaluación?
Auditoría es un proceso de la comprobación de que un proyecto se ha gestionado como
planificadas, sobre todo de que los recursos se han asignado y gastado correctamente,
que las actividades se han llevado a cabo según lo previsto, que los resultados han sido
próxima. Por lo general, realiza una comprobación de estas cosas después de programa
terminación y se lleva a cabo por terceros ajenos a los directores de programas.
Puede haber procesos anuales o de mitad de período de auditoría, sin embargo, y
a veces estos serán requeridos para que el resto de los fondos para ser
proporcionado. La auditoría es menos centrado en la explicación y el análisis del sistema
de la innovación (en este ámbito político) que son las evaluaciones. Auditoría tiende a ser
más centrado en los insumos que el monitoreo.
________________________________________
Página 60
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
60
4.3 ¿Cómo se diferencian de Evaluación Análisis de Historias de Éxito?
Historias de éxito pueden ser más o menos estrechamente relacionados con los estudios de evaluación.
El documento se centra en la identificación de casos de actividades particularmente exitosas,
proyectos o participantes en un programa, y explicar el curso de los acontecimientos
que llevó a este éxito. Cuando la historia de éxito es simplemente una demostración de
las virtudes de un programa o de la importancia de sus objetivos, que es susceptible de
ser más descriptivo. Cuando se incluye más análisis de cómo fue que la
caso fue tan exitoso, ¿cuáles fueron las condiciones para ello, y así sucesivamente, se
se mueve más cerca de la evaluación. Pero a diferencia de la evaluación no intenta una
visión general y sistemática de todo el programa, ni va a explicar lo que pasó
mal, y por qué, en los casos fallidos - evaluación también nos ayuda a aprender
de los errores o fracasos. El enfoque se asemeja a la historia de éxito
enfoque de muchos estudios de gestión en el sector privado, que
hacer hincapié en la identificación de las mejores prácticas y aprender de la excelencia.
La evaluación tiene más en común con los enfoques de las ciencias sociales convencionales,
de salir a conseguir el cuadro general en el que los casos individuales pueden ser
entendido. Los enfoques pueden ser complementarios - Las evaluaciones pueden
sugerir casos para elaborar en historias de éxito (y algún elemento de éxito
la narración se puede construir en una evaluación); el enfoque de historia de éxito puede
sugerir variables clave para la evaluación de examinar. No es inherente
conflicto entre los enfoques, ya que sirven ligeramente diferentes propósitos.
Sin embargo, no deben confundirse con la otra.
________________________________________
Página 61
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
61
4.4 ¿Cuáles son los principales tipos de Evaluación del Programa de Innovación?
Las evaluaciones difieren en todo tipo de formas - en los métodos utilizados, en su escala,
su ámbito de aplicación, y en la medida en que los resultados se difunden y utilizan. Pero
existen tres tipos fundamentales de evaluación, que difieren en cuanto a su
de temporización, y que es particularmente importante para diferenciar:
♦ Evaluación ex-ante , realizada antes de la ejecución de un programa,
y se centra en cuáles son sus objetivos y cómo (y cuánto) que deberían
pueden lograrse.
♦ Evaluación Intermedia , la revisión de los avances del programa, o su
logros en algún momento en el programa - por lo general reservadas para
programas de larga duración.
♦ evaluación en tiempo real, siguiendo el programa en detalle a través de su
operación.
♦ La evaluación ex-post , el examen de los resultados del programa después de que se tiene
ha completado (y posiblemente más de una vez).
________________________________________
Página 62
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de Programas de Innovación
62
Figura 4.1 Tipos de evaluación
Período
antes
programa
Duración del programa
Período programa después de ...
Programa:
Formulación
Etapa 1
Etapa 2
Etapa 3
Conclusión
Seguimiento
Ex Ante
Evaluación
Ex Post
Evaluación
Interino
Evaluaciones
Tipos de
evaluación
Evaluación en tiempo real
________________________________________
Página 63
4.5 ¿Qué es ex ante La evaluación?
Existen algunas dudas acerca de si ex ante las evaluaciones deben ser realmente
referido como evaluaciones, en lugar de ser descrito por algunos plazo, tales como
"Evaluación". Esto, sin duda, reducir las posibilidades de confusión.
6
Pero ya que
se ha establecido la práctica de referirse a estas actividades como evaluaciones, que deberán
continuar haciéndolo aquí - aunque toma nota de que el tiempo real y ex post
evaluaciones que se describen a continuación son capaces de proporcionar más evidencia basada en
experiencia real del programa en sí.
Como la frase indica, ex ante Las evaluaciones se llevan a cabo antes de la
programa es implementado. De hecho, por lo general informan al Programa
Información general y cualquier declaración Roame que se ha preparado. En términos de la
objetivos del programa, la ex ante de evaluación reúne la evidencia
y argumentos sobre las probables consecuencias del programa
actividades. Dado que esto implicará un proceso de adecuación de las actividades con
objetivos, esta evaluación podrá impugnar la claridad con la que el
los objetivos del programa se han establecido, así como la credibilidad de la
propios objetivos. Esto puede incluso extenderse a examinar si el
objetivos son realistas y si representan contribuciones adecuadas para
los grandes objetivos políticos que sustentan el programa. EPEC (2005) señala,
sin embargo, que ex ante evaluaciones tendían a tener mayor influencia sobre los detalles de
el diseño del programa, y por las consecuencias sean las más incrementales.
La realización de este tipo de evaluaciones es una parte clave de la incorporación de la evaluación
procesos en el diseño del programa. Es un elemento importante de una evaluación
la cultura de otra manera, también. priori evaluación proporciona una valiosa aportación a la
más tarde - en tiempo real y ex post - evaluaciones. Debe haber creado un
base de conocimientos ("referencia virtual") contra el que estas evaluaciones pueden
llevarse a cabo. A menudo se dice que la buena previas evaluaciones son importantes
contribuciones también el logro de buenos ex post evaluaciones.
6
Reduciría la confusión sobre lo que significa la "evaluación", pero "la evaluación" lleva su propio conjunto
de significados. ex ante de evaluación puede ser confundida con la "evaluación de proyectos", por ejemplo, que
es la dosis usual para referirse específicamente al proceso de selección a través de una gama de diferentes
proyectos que se están considerando.
________________________________________
Página 64
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
64
4.6 ¿Cómo puede el Ex Ante Trabajo de Evaluación?
En ausencia de cualquier resultados reales de las actividades del programa (que,
Obviamente, aún no se han llevado a cabo), ex ante evaluaciones deben trabajar a través de
la justificación del programa, objetivos y actividades, y explicar los casos
primero, por la intervención pública en términos de mercado y / o fallas del sistema son
se enfrentan, y en segundo lugar, por los objetivos y actividades específicas en materia de
los beneficios previstos que deben ser alcanzados por el programa. Esto puede
involucrar a dos componentes:
♦ Modelización: Se trata de un enfoque formal para la estimación de la probabilidad
magnitud de los impactos y muy posiblemente la cuantificación de estos en términos de
beneficios económicos. Por ejemplo, los modelos pueden ser utilizados en la construcción
cuentas sobre el número de empresas que pueden ser alcanzados por un programa
y la cantidad o el tipo de cambio en su comportamiento que podría ser
esperado. Ellos se pueden utilizar para examinar la aguas arriba y aguas abajo
implicaciones de estos cambios de comportamiento en los proveedores y clientes
de las empresas dirigidas (estos son a menudo más importantes que los impactos sobre
las mismas, en términos de creación de empleo, por ejemplo.) las empresas Los modelos pueden ser
muy simple o altamente sofisticado. En el caso de los programas operados
por una agencia u organismo que lleva a cabo una serie de programas en cualquier
una vez, es muy posible que hay modelos establecidos (por ejemplo, sobre la base de
costo-beneficio, de entrada-salida o enfoques econométricos) que se puede utilizar.
♦ Análisis de escenarios: Esto puede tener dos funciones. La primera es para contrastar la
probables impactos del programa con la situación "hipotética" donde
el programa no sucede. Esto constituye parte de la justificación
para el programa y puede proporcionar una base para la estimación de la
programas de "adicionalidad". La segunda es considerar alternativas
ambientes que puedan surgir durante el transcurso del programa de
operación, y que podrían influir en sus resultados (o incluso afectar a la necesidad de
intervención). Esto contribuye a la planificación de contingencia y para el desarrollo de
procedimientos para hacer frente a problemas inesperados. También puede dar lugar a algunas
reevaluación de las expectativas de costo-beneficio, con base en el reconocimiento de que la
Escenario "más probable" puede no ser todo lo que es probable, y que los elementos de otra
escenarios también son posibles características del futuro del programa.
Se discuten los métodos para ex ante Evaluación con más detalle en el capítulo 6, a continuación.
Ex ante evaluación implica un grado de previsión, y por lo general está obligado a
conseguir algunas cosas mal. Esto es parte del proceso de aprendizaje, por supuesto. Podemos
llegar a entender por qué y cómo las expectativas lejanos eran los realistas,
procedimientos necesarios no eran considerados de antemano, y así sucesivamente. Esta lata
ayudar a informar el diseño de programas que le sucedan. Sin embargo, sirve para
cuestionar la razón de ser y desarrollar una comprensión más profunda de la posible
implicaciones de un programa que se pueden obtener a través de la
comparativamente más simple proceso de formulación de una respuesta política directa a una
problema específico.
________________________________________
Página 65
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
65
4.7 ¿Cuáles son interino, periódica y en Tiempo Real evaluaciones?
Se trata de dos términos que a veces se confunden. Por "interino" o
evaluaciones "intermedios" nos referimos a las evaluaciones que se llevan a cabo algunas
camino en un programa, en un punto donde los primeros resultados deben ser
aparente. Este tipo de evaluación se llevó a cabo con más frecuencia cuando un programa
se ha establecido para ejecutarse en un período de varios años - cuatro o cinco o
incluso más tiempo - y cuando hay una sucesión de actividades del programa o
fases distintas. La evaluación puede informar a la aplicación de las etapas posteriores
del programa, la selección de actividades y sub-actividades, y así sucesivamente. Lo
puede desempeñar un papel político importante en la prestación de la legitimidad de curso largo
financiación a largo plazo. evaluaciones "periódicas" normalmente se planifican como una serie de
evaluaciones que se llevan a cabo en puntos específicos en el tiempo de vida del programa.
Pueden llevarse a cabo de forma regular (por ejemplo, cada cinco años) o
coincidiendo con los acontecimientos en el ciclo de políticas más amplio (por ejemplo, a gran
escalar revisiones de financiación, los ciclos presupuestarios, etc.) Comparten muchas de las
características de ex post evaluaciones en cuanto a las metodologías empleadas y
siendo esencialmente retrógrado y se centró en la evidencia histórica,
aunque el programa aún está en curso.
Evaluación "en tiempo real" se refiere a algo bastante diferente y más raro. Esta es una
proceso de evaluación que se construye en y junto a la rodadura de la
programa. Aquí, los evaluadores son típicamente interactuando con el programa
los participantes a medida que se están llevando a cabo las actividades, a la que asisten
eventos del programa, y son capaces de observar lo que está sucediendo (en lugar de
necesidad de reconstruirlo posteriormente a partir de registros y recuerdos).
El proceso de evaluación en tiempo real es extenso - por lo general se trata de una
proceso que continúa a través de la vida del programa. Es en consecuencia
mano de obra intensiva y potencialmente bastante costoso. Por lo tanto, tiende a ser empleado
sólo cuando hay programas muy grandes en marcha - y la asocian
riesgos de fracaso son mayores. Los evaluadores pueden ser vistos como agentes de
gestión o de las fuerzas políticas externas, y su presencia se resentían por
los participantes del programa. Por otra parte, un peligro con tales evaluaciones es
que los evaluadores pueden ellos mismos llegan a ser demasiado estrecha para el programa,
para ser "capturado" y así encontrar difícil hacer una valoración independiente.
Sin embargo, en los grandes programas por lo general hay suficientes puntos en competencia de
ver que esto es un problema menor.
La principal ventaja de la evaluación en tiempo real (compartido en cierta medida con
evaluaciones intermedias) es que puede proporcionar alertas tempranas y oportunas
información que puede alertar e informar a los directores de programas de la necesidad de
acción. Yendo más allá de la vigilancia rutinaria que puede, por ejemplo, destacar dónde
participantes están experimentando
dificultades, indican
donde
futuro
podría esperarse bajo rendimiento, iluminar consecuencias inesperadas
de actividades, identificar dónde existen deficiencias en la comunicación o
desafíos a la moral, y así sucesivamente.
Los tres de los enfoques anteriores son bastante diferente de la otra en tiempo real
proceso de monitoreo que debe llevarse a cabo de forma rutinaria durante la
________________________________________
Página 66
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
66
curso de un programa. El seguimiento es más cercano a un proceso de gestión de
la comprobación de que los fondos se están gastando, actividades realizadas en función del tiempo
y que la información sobre ciertos resultados inmediatos o salidas está siendo
capturado. Mientras que su principal preocupación es la eficiencia, no obstante, forma un
elemento importante de la evaluación, sobre todo ex post evaluación. Evaluaciones
dirección, con mayor profundidad, los temas de los impactos y resultados, y buscan ganar
visión más clara de lo que está ocurriendo. Sus preocupaciones van más allá de la eficiencia de
incluir efectividad, eficacia, y la explicación, pero todavía pueden beneficiarse de
prácticas de supervisión bien formulados.
Se discuten los métodos de tiempo real y las evaluaciones intermedias en el capítulo 6, a continuación.
________________________________________
Página 67
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
67
4.8
¿Qué es ex post evaluación?
Ex post evaluaciones se llevan a cabo después de que se ha completado un programa, o al
menos lo suficientemente cerca para el final del programa que la mayoría de las actividades pueden ser
examinados y los resultados más inmediatos evaluados. Puede ser que el
evaluación se inicia antes de que el programa se completa formalmente, pero sigue
durante algún tiempo después de que otras actividades se enrollan. A veces la evaluación
es, junto con la información sobre el programa, la última actividad en el
horario de programa.
Ex post evaluación constituye probablemente la mayor parte de los trabajos de evaluación que es
llevado a cabo hoy en día. Permite las intenciones de un programa que se va
confrontado con la realidad de que las actividades del programa se han enfrentado
y para las preguntas sobre la eficacia, la eficiencia y la eficacia de la
programa que debe abordarse.
Se discuten los métodos para ex post evaluación en el capítulo 6, a continuación.
La
ventajas metodológicas de ex post evaluación son evidentes: sólo después de un
se completa el programa (o por lo menos en sus últimas etapas) es posible hacer una
contabilidad razonablemente exhaustiva de sus impactos y resultados. Sin embargo, hay
algunas desventajas de este enfoque:
♦ En primer lugar, la inteligencia que se produjo se obtiene demasiado tarde para ser utilizado para
informar a la dirección o administración de programa en sí, para ser utilizado
para hacer cambios que podrían hacer el programa más eficaz.
♦ En segundo lugar, existen problemas similares en cuanto a su posible contribución a la
programas que le sucedan. El tiempo necesario para completar la evaluación puede ser
problemático en términos del ciclo político, donde un programa puede ser
espera que siga otra inmediatamente. También puede ser problemático en términos
de la necesidad de mantener actividades, energizar las redes, y similares, cuando
un programa es aceptado para ser sólo uno de una serie de necesariamente
sucesivas iniciativas.
7
Resultados de la evaluación o bien puede llegar demasiado lentamente para
informar completamente el diseño del próximo programa, o puede haber una brecha
establecido antes de realizar este diseño de los programas, lo que para un
hiato en las actividades.
Por estas razones, algunos evaluación en tiempo real a menudo se dan la bienvenida como un medio de
obtención de alerta temprana sobre las principales lecciones y conclusiones de programa
evaluación. Por tanto, es necesario asegurarse de que el diseño de la en tiempo real y
ex post evaluaciones está bien integrados, por lo que la recogida de datos y otros
trabajo del antiguo puede ser utilizado por este último - y no se interpone en su camino (por ejemplo,
mediante la creación de la "fatiga de evaluación" entre los participantes del programa). Un papel similar
puede ser interpretado por las prácticas eficientes de control en el que la recopilación de datos puede, a
En cierta medida, se hará un procedimiento de rutina y una carga menor en
los participantes del programa.
7
A veces una evaluación concluirá que existe una urgente necesidad de seguir trabajando para
construir rápidamente sobre los logros de un programa. Por ejemplo, se puede determinar que
nuevas redes se han establecido que son muy prometedores, pero que están expuestos a caer
aparte y necesitan reconstruir desde cero, si no hay entrada rápida de más recursos para
motivar a continuar la actividad conjunta.
________________________________________
Página 68
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
68
4.9 ¿Qué significa para la evaluación es una parte integral de la política
hacer?
La innovación ha sido reconocida como un fenómeno que va más allá del
adopción de innovaciones individuales por parte de empresas individuales, y va más allá del
capacidad de innovación de las empresas individuales para abarcar las cosas tales como los sistemas de
y las redes en que se enmarcan estas empresas. Por lo tanto el alcance de
evaluación de programas ha crecido. Los programas de innovación son los intentos de
afectar a estos sistemas, y para permitir una mejor distribución y el intercambio de
conocimiento. Hay ahora más rápida conciencia de las posibilidades innovadoras y
cómo se relacionan con demandas de los usuarios, y así sucesivamente. A medida que la capacidad de penetración de
la innovación y el alcance de los sistemas de innovación se han ampliado, la
oportunidades para la intervención de la política se han incrementado y una serie de innovaciones
programas son posibles. La evaluación de estas diversas intervenciones de este modo
se convierte en una manera de averiguar acerca del sistema de innovación, así como sobre
el efecto de que el programa tiene en el sistema. Por lo tanto, las evaluaciones
debe proporcionar el conocimiento acumulado, y no sólo puntos de vista de una sola vez en
programas específicos. Este conocimiento debe estar disponible no sólo para
formuladores de políticas - aunque ciertamente debería informar a la política - pero más generalmente
dentro del sistema de innovación.
Una implicación de este enfoque de sistemas es la necesidad de múltiples enfoques
a la evaluación. Cada evaluación es susceptible de tener características diferentes, que reflejan la
especificidades de los programas que se evalúan. Además, cualquiera
Evaluación es responsable de utilizar más de un método y fuente de datos. La
gama de impactos que se busca en la mayoría de los programas de innovación suele ser
lo suficientemente diversa como para requerir varias herramientas metodológicas; y a menudo un
único objetivo será necesario "triangulación" a través de varios indicadores, ya que
indicadores, por su naturaleza sólo proporcionan la inteligencia parcial sobre los temas de
interés,
Las evaluaciones temáticas también son relevantes aquí. Estos son evaluaciones donde
muchos programas (o todos los llevados a cabo durante un período de tiempo) son
evaluado al mismo tiempo. Puede haber un enfoque en un tema - para
ejemplo de cómo los programas ayudaron a las empresas a encontrar socios internacionales para
mejorar la innovación - o en un amplio espectro de impactos de los programas.
Las evaluaciones temáticas están creciendo en número en cultivos avanzados de evaluación.
________________________________________
Página 69
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
69
4.10 ¿Cómo se diferencia la evaluación del programa de Innovación de Investigación
Evaluación del Programa?
Como se ha señalado antes, los programas de investigación tienen como objetivo la promoción de la investigación (y
) las actividades de desarrollo, en general, de una manera bastante directa a través de
la prestación de apoyo financiero, ya sea por las propias actividades, la
instalaciones e instrumentación necesaria para la investigación, o para el personal de investigación
o su movilidad. Los resultados esperados de los programas de investigación son
generalmente cuantificables y fácilmente caracterizado (publicaciones, calificaciones,
personal capacitado, etc.)
Por el contrario, los programas de innovación tienen que ver con una gama más amplia de
actores, lugares y condiciones marco que afectan la innovación
formas de I + D, pero un elemento limitado (pero importante): proceso
dentro del sistema de innovación y su papel en la innovación está sujeta a una diversidad
de factores tales como la transferencia de tecnología y conocimiento flujos, la capacidad de
actores para generar y absorber estos flujos, las condiciones que influyen en la
el comportamiento de los responsables de la generación de conocimiento y la aceptación, etc
En consecuencia, al tratar de influir en estos factores, los resultados de
programas de innovación son inherentemente más complejo y sus efectos y
impactos pueden ser más sutiles o intangibles, pueden tardar más en manifestarse
sí mismos y se difunda a través del sistema de innovación. En resumen,
programas de innovación tienen que ver con los impactos y efectos en lugar de
salidas. La Figura 4.2 ilustra la diferencia en la madurez de la evaluación
entre los programas de investigación e innovación.
Es el reto de la evaluación de impacto que realmente diferencia a la innovación
programa de evaluación de los programas de investigación. Este tema se tratará con
más adelante, en el capítulo 7.
________________________________________
Página 70
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
70
Figura 4.1 Vistas de expertos sobre dos declaraciones sobre el estado de
Los estudios de evaluación en este campo
Nota: como parte de SMEIP, más de 150 expertos en la investigación y la innovación
evaluación de programas completaron una encuesta sobre los distintos problemas que surgen.
El cuadro anterior indica que la opinión mayoritaria no está de acuerdo con la idea de que
esta es un área madura de trabajo, y está de acuerdo con la idea de que la política de innovación
evaluación es desarrollado menos que el de los programas de investigación.
0
5
10
15
20
25
30
35
40
45
50
Porcentaje o
F
R
e
sp
ond
en
ts
1
2
3
4
5
6
Respuesta a la Declaración
(1 = totalmente en desacuerdo, 5 = totalmente de acuerdo, 3 = neutral)
Innovación
política
evaluación es un
área madura de
trabajar a través
Europa (media
respuesta =
2,45)
Innovación
política
evaluación es
mucho menos
desarrollado
que es la
Evaluación de
investigación
programas
(Media
respuesta =
3,64)
________________________________________
Página 71
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
71
4.11 ¿Hasta dónde podemos utilizar los métodos y mensajes de Investigación
Evaluación del Programa de Evaluación del Programa de Innovación?
Hay una extensa literatura sobre la evaluación de la investigación - el campo par
tiene su propia revista! Ha habido una gran discusión de práctica y
cuestiones técnicas, y un poco de atención a los políticos y de gestión. La
parte importante de esto es relevante para la evaluación de programas de innovación, incluso
aunque el tipo de instrumento y los impactos que participan en los programas de investigación
son bastante más sencillo (aunque pueden ser bastante complejo!). Muchos
de los temas y conceptos clave de esta guía - el tema de la adicionalidad, por
ejemplo - se planteó por primera vez en la evaluación de la investigación.
Lecciones más generales también se derivan de la experiencia de evaluación de la investigación.
Citemos dos aquí. La primera es que el proceso de evaluación es más
eficiente y eficaz si ha sido diseñado en el programa de la
comenzar - por lo que los objetivos son bien especificado, los datos se generan y se capturaron
de una manera que puede alimentar el proceso de evaluación, una estrategia para el uso de
informes de evaluación está en su lugar, y así sucesivamente.
En segundo lugar, la importancia de contar con patrocinadores y usuarios bien informados de
evaluaciones es crítica. Incluso los programas de investigación pueden tener complejos y
múltiples objetivos, y los usuarios deben estar preparados para comprometerse con el
cuestiona que ello crea para el diseño de políticas - y para su evaluación. Evaluaciones
son susceptibles de tener que lidiar con diferentes objetivos utilizando diferentes fuentes de datos
y metodologías, y es muy probable que tenga que explicar claramente los resultados en
el contexto de un complejo conjunto de circunstancias en lugar de contar una sencilla negro-
and-white historia. De hecho, la historia es susceptible de ir más allá de la contabilidad para la
programa en sí mismo, y tendrán que explicar varias características de la investigación
o sistema de innovación de la que es un componente. Los usuarios tendrán que tener en cuenta
que tendrán que participar en el entendimiento de estos sistemas que el
evaluación les proporciona. Tal comprensión es un insumo vital para la política
formación y es más exigente que simplemente evaluar si una determinada
parte de un programa ha sido eficaz en un grado en particular. No hay
"Bala mágica", es decir, una metodología única que es aplicable a todos los programas,
y que produce información sobre el desempeño del programa, sin necesidad de
(Y seguramente a) acerca del sistema más amplio en el que la
intervención opera. Tales expectativas falsa podrá limitar el alcance y la utilidad de
Evaluación en programas de innovación, en mayor medida que en el caso de
los programas de investigación.
________________________________________
Página 72
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
72
Capítulo 5 ALCANCE DE LA EVALUACIÓN DE LA INNOVACIÓN
PROGRAMAS
5.1 ¿Qué es la evaluación de?
Como se ha dicho anteriormente, las evaluaciones pueden llevarse a cabo para una variedad de propósitos,
bajo una variedad de razones. Pero puede ser útil tener en cuenta que,
Cuantas fines específicos son parte superior de la agenda de cualquier evaluación debe primero
y ante todo ser una herramienta de aprendizaje. Se lleva a cabo con el fin de generar lecciones
para la práctica futura, por lo que las cosas se pueden hacer mejor en el futuro.
VINNOVA ha sugerido una manera fructífera de pensar acerca de los diferentes tipos de
contribución al aprendizaje que puede efectuarse. El proceso de evaluación puede
de ese modo ayudar al aprendizaje de tres maneras principales:
♦ aprendizaje operativo: En este caso, la evaluación se utiliza como una gestión
herramienta de retroalimentación para mejorar la eficacia, la eficiencia y la calidad de la política
la intervención de la organización responsable de la aplicación de la
programa. En esencia, la evaluación proporciona lecciones sobre cómo las organizaciones
(ministerios, agencias, etc) se pueden hacer las cosas mejor, en términos de diseño,
gestión y ejecución de los programas. Lecciones también pueden ser aprendidas
de la propia evaluación con el fin de mejorar la evaluación de futuro
programas.
♦ retroalimentación Política: Aquí evaluación se utiliza en su sentido "tradicional"
determinar el resultado y los impactos de las medidas y programas de política.
Este tipo de uso está dirigido a comprobar si, y en qué medida,
programas han alcanzado sus objetivos. Además de contribuir a
el diseño de futuros programas, la evaluación en este contexto también ofrece un
método para los responsables políticos a evaluar si los supuestos que hicieron
acerca de los cuellos de botella y de mercado identificadas o fallos del sistema que
llevado a la intervención de la política en el primer lugar fueron, de hecho precisa.
♦ impacto del sistema: En este nivel, las evaluaciones sirven para mejorar la eficiencia
y la eficacia de los sistemas nacionales de innovación a través de la guía
diseño y la formulación de políticas y programas de intervención.
Las evaluaciones se utilizan para proporcionar respuestas a las preguntas de nivel más amplias
sobre el sistema de innovación, como cuando ciertas intervenciones son
apropiada, que se deben utilizar programas complementarios y
cuándo, qué es la combinación adecuada de políticas necesario para lograr el deseado
efectos, y así sucesivamente.
(Fuente: adaptado de VINNOVA, 2004)
Si se ve de una manera muy simplista, estos tres niveles de enfoque
encapsular la evolución de una cultura de la evaluación, de la restricción
vista de la gestión de la administración del programa orientado, a través de la evaluación
como un proceso de justificación a un medio para obtener una visión holística y sistémica de
intervención política de innovación.
________________________________________
Página 73
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
73
Recuadro 5.1 Visión Estratégica de VINNOVA
o En el nivel de políticas: Hacer evaluaciones y estudios de impacto de una integral
parte del proceso de planificación y ejecución de políticas estratégicas.
o En el nivel del programa: Incluir los planes de evaluación e impacto
evaluaciones en el diseño, planificación e implementación de la innovación
programas.
o En el nivel del proyecto: Incluya las colecciones de datos relevantes que implica la
niveles de políticas y programas a fin de que los requisitos de supervisión,
evaluaciones de evaluación y de impacto se cumplen.
Fuente: VINNOVA 2004
________________________________________
Página 74
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
74
5.2 ¿Cuál es el alcance de una evaluación?
En el contexto de la evaluación "tradicional", el alcance se refiere a una variedad de parámetros
tales como el tipo de programa a ser evaluado, el nivel de la evaluación
y el marco de tiempo para ser considerado. Cuando se trata de la evaluación de
programas de apoyo a la innovación, el carácter sistémico de la innovación agrega un
mayor nivel de complejidad al proceso de toma de decisiones por parte del evaluador.
Nuestro objetivo final es alejarse de la realización de las evaluaciones como aislado
eventos, hacia el establecimiento de su uso como un mecanismo de retroalimentación en un amplio
proceso de aprendizaje de las políticas. Por lo tanto, las preguntas que debemos hacernos no son simplemente "tiene
el programa funcionó ", sino" ¿cómo ha contribuido este programa a nuestra
objetivos socio-económicos más amplios ". Si queremos evaluar los impactos sistémicos de
programas de apoyo a la innovación, esto exige que el alcance de la
evaluación debe ser extendido para incluir una gama más amplia de partes interesadas, a
examinar los impactos y efectos más amplios, y que debemos tener en cuenta múltiples
metodologías de evaluación, etc
Sin embargo, mientras un alcance amplio, es deseable que los responsables políticos, pragmático
consideraciones, como el momento de la evaluación en el ciclo de las políticas, la
los recursos disponibles para la evaluación y la existencia de adecuada
metodologías tenderá a limitar el alcance de un conjunto más restringido de
objetivos prioritarios. Idealmente, uno debe buscar para equilibrar el coste de la
evaluación contra el valor de la información que recopila. En general, tendemos
encontrar una ley de los rendimientos decrecientes; más allá de un umbral mínimo de
información esencial, a medida que más recursos se ponen en una evaluación, la utilidad
de la información adquirida tiende a disminuir. Consideramos los costos de evaluación
en la siguiente subsección. En cuanto a la utilidad de la información que se genera,
hay varias maneras en que esto puede ser el aumento de:
♦ Lo ideal sería que las evaluaciones deben generar datos que tengan relación con la
amplio programa de innovación y el proceso de diseño de políticas, en lugar de datos
que es altamente específico del contexto.
♦ Las metodologías deben ser seleccionados que generan información y datos
que son fáciles de interpretar y comprender. Idealmente, estos resultados deberían
también ser fácilmente traducible en las respuestas políticas.
♦ A veces la falta de un programa es obvio y no necesita un
evaluación extensa. Sin embargo, el fracaso puede ser igualmente informativo
éxito. Aprender acerca de las razones del fracaso puede ayudar en el diseño de
programas exitosos en el futuro. Por otra parte, es importante
distinguir entre las causas del fracaso: es decir, era todo debido a la calidad o
nivel de los insumos, el proceso, los resultados o a lagunas o mal identificados
cuellos de botella en el sistema de innovación o incluso a suposiciones erróneas
acerca de la naturaleza o el comportamiento del sistema de innovación?
♦ Si los programas comparten un objetivo común, sino adoptar una política diferente
enfoques, a continuación, una serie de evaluaciones contribuirán más a la
comprensión de la combinación de políticas y posibles lagunas, complementariedades y
desajustes.
________________________________________
Página 75
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
75
♦ Garantizar la difusión de la información se maximiza con el fin de que todos
actores del sistema de innovación en beneficio de los resultados de la evaluación.
En contexto similar, la estructura institucional o el diseño del programa debe
ser tal que la capacidad de hacer un uso eficaz de los resultados de la
evaluación se maximiza y que los resultados de la evaluación pueden ser alimentados fácilmente
en el proceso de formulación de políticas.
________________________________________
Página 76
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
76
5.3 ¿Qué se debe hacer antes de realizar una evaluación?
Un paso clave en el desarrollo de una cultura de evaluación es pasar de la vista
de las evaluaciones como único o eventos aislados y reconocerlos como parte de un
proceso cíclico de diseño de la política - la aplicación de políticas - el aprendizaje político.
Esto implica un cambio en los recursos disponibles para la evaluación, lejos de un
énfasis únicamente en ex post evaluación, y hacia una más equilibrada
distribución de los esfuerzos a través de ex ante planificación y el diseño, el seguimiento y la ex
Publicación de la evaluación.
Un útil, si no esencial, el ejercicio en esta etapa es el diseño de un Programa de
Información general - también conocida como modelo del programa. Una definición de un
modelo del programa es "una descripción consecuente del diseño de un
programa, así como el impacto esperado sobre la eficacia de la
sistema de innovación "(IKED / VINNOVA 2004).
Existen varias formas de modelo de programa, que van desde los marcos lógicos para
Declaraciones Roame (ver abajo) y "cuadros de mando". Todo efectiva
tratar de mapear las conexiones sistemáticas entre el problema de la política (amplio
AIMS), los objetivos del programa, las actividades o procesos necesarios para cumplir
los objetivos y los resultados esperados, los resultados, los efectos y de más largo plazo
impactos, junto con las disposiciones necesarias para el seguimiento, evaluación y
retroalimentación en el proceso de formulación de políticas.
Figura 5.1 modelo de programa estilizada
Fuente: IKED / VINNOVA 2004
________________________________________
Página 77
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
77
5.4 ¿Por qué es un general del Programa es importante?
Una visión del Programa de algún tipo normalmente se han desarrollado cuando
un programa se formuló y presentó para su financiación inicial. Lo hará en una
mínimo especifica qué instrumentos del programa está utilizando, que tipo de
actores van a participar, y lo que los objetivos son que debe ser
logrado. En la práctica, vistas generales del programa puede variar de ser extremadamente
concisa (a pocos párrafos o páginas) a ser muy largo (que puede ser
una cuestión de la inclusión de detalles considerables acerca de los requisitos legales, o la profundidad en
explicar los propósitos y principios que sustentan el programa). La
lógica subyacente de un programa puede ser bastante confuso - quizás es
piensa que es tan evidente que no necesita detallar, o tal vez no
Ha habido poca reflexión sobre los grandes objetivos políticos implicados - que alguien está
convencido de que se requieren políticas en esta área, tal vez después de haber sido
persuadido por la experiencia en el extranjero o por grupos de presión influyentes en lugar de
través de la argumentación articulada y razonada. Tener un programa adecuado
Información general y un asociado ex ante de evaluación, deben inculcar mayor rigor
en este proceso, y la selección de los programas en general.
Asimismo, es común para los objetivos incorporados en un programa que se establezcan
cabo sólo en términos muy generales, con poca cuantificación de los objetivos (por lo que
se hace difícil juzgar si lo que estaba destinado a y lo que ha sido
logrado eran razonables y realistas). El concepto de objetivos verificables
se ha introducido para indicar que la fijación de objetivos debe estar en
términos que permiten a los juicios que se hagan sobre el alcance de los logros.
Mientras que la estimación de la magnitud de los logros de antemano, por supuesto, difícil
(Y debemos evitar los esfuerzos de precisión espuria), la participación en este puede ser un
proceso de aprendizaje importante. (No menos importante, podemos aprender que diferentes partidos son
hablando de cosas muy diferentes cuando se están especificando un "realista"
aumento de la innovación, un crecimiento "considerable" en el empleo, por ejemplo). La
ilustración en la página opuesta representa una forma de pensar acerca de la tecla
objetivos.
Se enumeran los objetivos también debe informar el caso para el programa
global - ¿por qué se cree que una intervención política para que sea necesario en esta área. Lo
También deben indicar cómo diversos componentes del programa son
supone que contribuirá a la totalidad, a los objetivos de política general. Una clara
Reseña del programa de este tipo hace que el proceso de evaluación considerablemente
más fácil - en la práctica, ha habido demasiadas ocasiones en las que
evaluadores han tenido que construir retroactivamente lo que el general del Programa
debería haber sido, con el fin de proceder con la evaluación.
Mientras Programa Contornos puede prepararse y presentarse de varias formas,
un enfoque formal que ha recibido una gran atención es el Roame
marco, ampliamente utilizado por el Departamento de Comercio e Industria del Reino Unido.
Dado que esta captura los principales elementos que deben estar en una adecuada
Programa general bastante concisa, vamos a explicar brevemente cómo funciona esto
en un poco más detalle a continuación.
________________________________________
Página 78
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
78
Recuadro 5.2 El enfoque inteligente para la mejor salida, Resultado y indicadora
Declaraciones
Trate de enmarcar estas declaraciones en términos que son:
S
Específico
M
Medibles (cantidad, velocidad, cambio, euros), y con sentido
(Que tienen "validez aparente", obviamente relacionada con observable
fenómenos)
La
Agresivo, pero alcanzable
R
Relevante (relacionado con lo que usted está tratando de medir)
T
Tiempo atado (se espera objetivo a alcanzar en un determinado
cantidad de tiempo)
Fuente: basado en, y desarrollado a partir de, Smith (1999)
Una explicación más detallada de esto se da en la sección 5.10
________________________________________
Página 79
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
79
5.5 ¿Qué es una declaración Roame?
Roame es el acrónimo de un enfoque desarrollado por el Departamento del Reino Unido
de Comercio e Industria (DTI) en la década de 1980, como resultado de los requisitos del Tesoro
para mejorar la gestión de los programas. Desde su creación, ha sido
utilizado ampliamente en los diferentes departamentos del gobierno (Bradbury y Davies,
1996). Una declaración es que se elaborará al principio - o incluso antes de la
adopción - de un programa (no necesariamente un programa para la innovación, la
método es ampliamente utilizado para programas de investigación). La declaración debe
comprenderá los siguientes elementos:
♦ Justificación
Esto justifica el programa, que fijará el objetivo (s) política
a las que se pretende contribuir, y explicar por qué el
programa es necesario (en términos de mercado o sistema
fracasos).
♦ Objetivos
Esto establece objetivos específicos (e idealmente medibles) que
debe lograrse - una declaración "operacionalizada" de
contribuciones al objetivo general de la política. La declaración de
objetivos deben incluir la especificación de rendimiento
indicadores que proporcionan información sobre el éxito de la
programa.
♦ Evaluación
Esto determina la elección de las actividades que se han seleccionado en
Para alcanzar los objetivos del programa, explicando por qué
estas actividades particulares se eligieron y justificando su
selección.
♦ Monitoreo
Esta explicates los procedimientos que se utilizan habitualmente en
el curso del programa para comprobar que su progreso es
proceder según lo planeado. La vigilancia requiere flujos de
información relacionada con la gestión (como las actividades ahora son
que tendrá lugar como estaba previsto) y los resultados (lo que es el progreso en
la consecución de los objetivos, por ejemplo, tal como se especifica por el
indicadores de desempeño).
♦ Evaluación
Como se discutió en esta Guía, se trata de examinar la
eficiencia con la que el programa se ha llevado a cabo,
y su eficacia en términos de lograr la intención
objetivos. Un intento se hace también para tener en cuenta (positivo
y) más amplios efectos negativos de la política o de los efectos secundarios que los
No se había previsto inicialmente. Podrá también examinar cuestiones que
ver con la justificación del programa y los objetivos, y con la
consecuencias inesperadas de, y las lecciones aprendidas durante,
el programa.
A veces el acrónimo se ha extendido a Roame-F, con la adicional
carta que connota:
♦ Feedback
Esta es una declaración de cómo los resultados de la evaluación son
destinada a informar a la estrategia y el diseño de la posterior
programas: por ejemplo, los procedimientos para la publicación,
difusión, y la obtención de respuestas a la evaluación.
________________________________________
Página 80
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
80
5.6 Cuando se debe utilizar Roame?
Los procedimientos como Roame tienen la considerable virtud de hacer
los diseñadores de programas sean muy explícitos acerca de lo que están haciendo, y el establecimiento de
por qué esta línea de acción se justifica y se ha seleccionado contra
alternativas. Al hacer que los objetivos generales del programa claro y concreto,
hacen que la tarea de evaluación cognisably más fácil, ya que el actual
logros del programa pueden ser comparadas con las que estaban
previsto. La especificación de los indicadores de rendimiento debe significar que gran parte
información que es muy relevante para la evaluación se han generado
en el transcurso del programa (y capturado a través de un eficiente monitoreo
sistema). Así, es importante menos requisitos para los nuevos datos sean
generado, y más posibilidades de que la información que de otro modo podría haber sido
perdido en el curso de los proyectos se han mantenido (aunque el
los evaluadores pueden querer definir indicadores adicionales, si la experiencia de la
programa indicado para su impresión de que los primeros indicadores de desempeño
son insuficientes en una u otra forma).
Roame establece diversos elementos que, si se especifica en el principio de un
programa, permitirá una mayor claridad acerca de lo que está destinado el programa
hacer; definirá muchos de los procedimientos que se utilizarán en el curso de la
programa; y hará que la tarea de evaluación mucho más simple. Será
evidente que siguiendo un enfoque de tipo Roame implica que ex ante
evaluación se llevará a cabo antes del inicio real de un programa
(Durante su diseño, de hecho), y que las instrucciones serán al exponer su lugar (en
términos generales) la forma ex-post evaluación se va a emplear en el extremo de un
programa. Por lo tanto, la evaluación se basa en el diseño del programa. Esto facilita
la evaluación de fin de programa, y hace que sea más probable que será
exitosa en términos de lograr una alta calidad e impacto.
Pero Roame como un enfoque de gestión hace más que contribuir a
evaluación. Se debe impulsar a los tomadores de decisiones a pensar sistemáticamente
lo que están haciendo cuando lanzan un programa, y para el instituto
procedimientos que pueden mejorar la gestión del programa. Antes de que haya cualquier
retroalimentación de los resultados de evaluación, no debería haber votaciones de información sobre
cómo las actividades del programa están avanzando. Esto permitirá que las acciones correctivas
a realizar si surgen problemas - de hecho, se debe tener en cuenta la mayor
la detección rápida de problemas. También permite una mejor comunicación con la
partes interesadas que participan en el programa - la declaración proporcionará clara
información a todas las partes acerca de lo que el programa está destinado a hacer, cómo
actividades específicas están contribuyendo a esto, y los procedimientos de gestión de lo
se pondrán en marcha para su aplicación.
________________________________________
Página 81
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
81
5.7 ¿Cuál es el enfoque "caso de negocio"?
Muy recientemente el uso de Roame-F en el Departamento de Comercio del Reino Unido y
La industria ha sido reemplazado por el uso de los "documentos del caso de negocio". Cualquier
propuestas (internas) para las medidas de innovación y de apoyo a las empresas y
programas (y que cuestan más de £ 10.000.000 / 14 M €) son
con el apoyo de un caso de negocio. Casos de negocios deben ser aprobados por el
Comité de Inversiones, y el Secretario de Estado de Comercio e Industria,
antes de liberar los fondos para su realización. Al igual que en RAOME-F, durante
el tiempo de vida de un producto o programa, que será objeto de un seguimiento continuo
y el análisis y la evaluación de impacto periódica.
Los documentos del caso de negocios toman el lugar de las declaraciones "Roame". Ellos
seguir exponerse las razones y objetivos para un nuevo producto, con
especial atención a la evidencia de apoyo, y también proporcionan una
descripción de la forma propuesta de intervención y cómo va a ser entregado.
Sin embargo, los casos de negocios también incluyen una serie de nuevas características que
proporcionar información útil para los evaluadores y ayudar a apoyar la mejora
monitoreo y evaluación:
♦ Opción de evaluación y el costo beneficio analiza: Se proporciona un registro de
las políticas alternativas que se han considerado, y también de llave
supuestos sobre los costes previstos y los beneficios asociados con
la opción propuesta;
♦ Modelo lógico: Este describe los insumos y las actividades, y su
productos y resultados previstos. El modelo lógico tiene un papel clave
en la identificación de medidas e indicadores de seguimiento y evaluación;
♦ Cuadro de mando integral: El cuadro de mando integral traduce la
modelo lógico de producto en un resumen de un conjunto de objetivos y
medidas de control asociados que se utilizarán para el seguimiento
el progreso en contra de estos objetivos. El cuadro de mandos se centra en
medidas para las que se pueden obtener datos de monitoreo significativas
dentro de los períodos de presentación de informes trimestrales y anuales, y tiene en cuenta
el período de tiempo durante el cual se espera que el producto para generar
resultados económicos.
(Malik, K y Cunningham, P, 2005)
Además de informar cuadro de mando integral, el DTI también hace uso de
encuestas de seguimiento de los usuarios de negocios, intermediarios y socios de entrega,
-linking de datos y los estudios econométricos y evaluación de impacto.
________________________________________
Página 82
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
82
5.8 ¿Cuál es el papel de la general del programa?
Desde la perspectiva de la evaluación, explicando la lógica de un programa es un
componente clave del diseño de la política - que alienta a los participantes a definir
metas y objetivos claros desde el principio del proceso de políticas. Del mismo modo, por
mapear el sistema de innovación en el que la política se introdujo un
comprensión más profunda se obtiene del proceso de innovación y de la deseada
y los resultados potenciales, efectos, resultados e impactos de la política misma.
Este es un importante paso de distancia de la llamada perspectiva de "recuadro negro" en
que las evaluaciones tratan de establecer correlaciones entre los insumos (recursos,
políticas, etc) y salidas hacia una comprensión más transparente de la
consecuencias reales de la aplicación de una política.
La construcción de un modelo de programa es en sí mismo un ejercicio de gran valor
ya que obliga a los directores de programas y los responsables políticos para formar un enfoque holístico
visión general del programa u otra intervención política y para cuestionar la
aspectos sistémicos más amplios de su introducción, por ejemplo a través de la vinculación
proceso y la acción sobre los motivos, y mediante la identificación de toda la gama de
grupos de interés. Una vez que las partes interesadas se han identificado, es igualmente
importante tratar de involucrarlos en el proceso de diseño de la evaluación. La
VINNOVA manual sugiere que una manera de involucrar a los actores de la
la planificación del proceso de evaluación es hacer que la formulación de un programa de
modelar una parte obligatoria de todas las solicitudes de subvenciones públicas. Esto es similar a la
enfoque adoptado por el Departamento de Comercio y de negocios de la industria del Reino Unido
casos modelo (véase la discusión anterior sección 5.7).
La construcción de un modelo de programa obliga a los actores que establecen claramente la
objetivos del programa y para identificar las relaciones causales entre las actividades y los
efectos esperados. Este enfoque en las metas y los objetivos le pide al
examen de preguntas de evaluación al comienzo de la elaboración de políticas
proceso. La participación temprana de los actores también aumenta su influencia en el
la selección de indicadores y métodos apropiados para medir el impacto. A su vez,
esto cambia la relación entre los evaluadores y los que están siendo
evaluado y aumenta el abandono de la evaluación como un control
medir hacia el reconocimiento de la evaluación como un proceso de aprendizaje. En
algunos casos, los evaluadores pueden actuar como consultores de proceso, con lo que la energía
y se centran en el proceso del programa. (Esto puede ser particularmente cierto para los bienes-
evaluación del tiempo.)
Por último, la construcción de un modelo de programa también sirve para presentar una
concisa, una o dos páginas de visualización del proceso de políticas a otra política
decisiones, los políticos, los accionistas y otras partes interesadas.
________________________________________
Página 83
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
83
5.9 ¿Cuál es el cuadro de mando integral?
Departamento de Comercio e Industria del Reino Unido (DTI) han tenido una cultura de hacer
Evaluación de la década de 1980 y que ha evolucionado y la última etapa en el
la evolución es que para los productos de apoyo empresarial del DTI están utilizando la
Enfoque 'Balanced Scorecard'. El cuadro de mando integral se introdujo en
1992 por Robert Kaplan y David Norton, como un conjunto de medidas que permitan
una visión holística e integrada de los resultados empresariales. El cuadro de mando era
Originalmente creado como complemento a las "medidas financieras tradicionales con criterios
que el rendimiento medido desde tres perspectivas adicionales - los de
clientes, procesos internos de negocios, y el aprendizaje y el crecimiento "(ver
Kaplan y Norton 1996).
Clave para considerar el uso de una metodología de cuadro de mando integral para cualquier
tipos de programa de innovación son los pasos que enlazan los objetivos más amplios de la
programa a problemas más específicos que tienen que ser resuelto, decisiones sean
hecho, y de recursos de asignación de opciones que se presentan. Mientras que el
cuadro de mando integral no puede garantizar una receta para las decisiones correctas, se
ofrece una perspectiva integrada sobre los objetivos, las metas y las medidas de
progreso. Se une la información de una variedad de perspectivas para que
compensaciones pueden ser pesados.
________________________________________
Página 84
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
84
Recuadro 5.3 El cuadro de mando integral en el Reino Unido
El DTI (en el Reino Unido) han comenzado recientemente a utilizar el cuadro de mando integral
enfoque. Un líder del equipo de evaluación en el DTI, que fue entrevistado para este
proyecto resume este enfoque de la siguiente manera:
"El cuadro de mando integral es una metodología que mira a una determinada
programa desde las cuatro perspectivas siguientes:
• Rendimiento
• Relación dentro del programa entre los beneficiarios y los
intermediarios
• Las personas que están proporcionando apoyo
• Los procesos utilizados
Para cada uno de estos 4 perspectivas, los conjuntos de mando integral
medidas, tanto en el medio y largo plazo, y puede
medir los insumos, los productos, los efectos y los resultados. La puntuación
tarjeta está diseñada para identificar decidida comprobable y mensurable
objetivos, con el objetivo de centrarse en relativamente pocos, pero clave
medidas. Los datos de estas medidas se reunieron regularmente - en
trimestralmente y también en un punto anual. Los datos son luego
alimentado en una herramienta de software que se basa la metodología. Es
entonces
posible
a
interrogar al
base de datos, lo que permite
evaluadores / investigadores para producir informes y registrar puntos de vista, en
cómo un programa determinado está haciendo en un momento determinado ".
Experto en Evaluación (UK)
________________________________________
Página 85
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
85
5.10 ¿Cómo podemos hacer declaraciones de objetivos más útiles para
evaluación y seguimiento?
Una consideración importante en la selección de los objetivos es que su logro debe
ser al menos verificable y, a ser posible, mensurables. Es decir, debe ser
claro que los objetivos seleccionados han o no han sido alcanzados y también
el grado en que se han alcanzado debe ser cuantificable o
determinable de una manera cualitativa robusta.
El establecimiento de objetivos verificables o cuantificables es una tarea útil, ya que:
♦ Aclara y hace explícito el vínculo entre el programa o actividad-
objetivos de nivel y los objetivos de política de alto nivel y objetivos.
♦ Crea un vínculo directo entre el problema a abordar y la
análisis de lo que hay que hacer.
♦ Puede ayudar a proporcionar un entendimiento común de lo que son los importantes
objetivos y las actividades que pueden contribuir a la aplicación de la
programa.
♦ Proporciona una base clara para la definición de indicadores que pueden ser
utilizado para medir el progreso y evaluar los logros.
♦ Establece la base para la evaluación del programa y ayuda al
evaluadores para determinar el grado de éxito del programa tiene
alcanzado.
Un conjunto de propiedades deseables para los objetivos es proporcionado por la Comisión Europea
Comisión (2002). Esta recomienda que, si los objetivos han de ser útil que
debe ser:
♦ Específicos : Los objetivos deben ser lo suficientemente precisas y concretas para evitar
estar abierto a diversas interpretaciones.
♦ mensurables : Los objetivos deben referirse a un estado futuro deseado (como
en comparación con la situación inicial). Así que es posible en algún más tarde
fecha para ver si el objetivo se ha logrado o no.
♦ Aceptado : Si los objetivos y los niveles objetivo se pretende que la influencia
comportamiento, que debe ser aceptado, entendido e interpretado de manera similar
por todos los que deben asumir la responsabilidad de lograr
ellos.
♦ Realista : Objetivos y niveles objetivos deben ser ambiciosos - el establecimiento de un
objetivo que sólo refleja el nivel actual de logro no es útil
- Pero también deben ser realistas para que los responsables verlos
como algo significativo.
________________________________________
Página 86
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
86
♦ En función del tiempo : Objetivos y niveles objetivo siguen siendo vagos si son
no relacionada con una fecha fija o periodo de tiempo. En este contexto, el ajuste de
hitos para el logro parcial de los objetivos es útil.
8
Otras consideraciones para el establecimiento de objetivos son que deben ser
limitadas en número y debería ocuparse únicamente de los elementos clave del programa.
Es probable que cuando se está hablando de un gran número de objetivos sobre, la
las actividades del programa no han sido debidamente aclarado, el programa
sigue siendo demasiado fuera de foco (y que muy posiblemente contribuir mínimamente a muchos
metas, más que sustancialmente a cualquiera de ellos). Del mismo modo, un gran número de
objetivos requerirán la identificación de una amplia gama de indicadores y
será difícil de medir sus logros con eficacia, sobre todo si el tiempo,
el personal y los recursos financieros son limitados.
8
Comisión Europea (2002) Manual para la Evaluación del Impacto en la Comisión: ¿Cómo
hacer una evaluación de impacto.
________________________________________
Página 87
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
87
5.11 ¿Qué criterios deben utilizarse para la evaluación?
Los criterios para la evaluación de una medida de apoyo a la innovación depende
de la naturaleza específica de la intervención. Sin embargo, en términos generales
programas de innovación son propensos a exhibir un número de características en el
efectos están diseñadas para tener. Estos pueden abarcar:

Efectos sobre la firma u otro participante

Efectos sobre la industria de la manera más amplia

Efectos de Colaboración

Efectos sobre la cartera más amplia de apoyo a la innovación
proyectos / programas

Las sinergias

La coherencia y la sostenibilidad efectos
IKED / VINNOVA 2005
Cualesquiera que sean los detalles de un enfoque de evaluación, el objetivo final es
medir la eficacia de la intervención en el contexto de sus efectos reales.
Por lo tanto, las medidas de apoyo a la innovación deben ser evaluados sobre la base de un conjunto
criterios de integrales. Estos pueden incluir:

Adecuación: abordan los programas de un objetivo que
pueden ser claramente relacionados con la base de la política en términos de mercado,
fracaso de la política, el sistema o el gobierno?

Superioridad: ¿Los programas más efectivos que otros conjuntos
de instrumentos que podrían haber alcanzado los mismos objetivos?

Eficacia sistémica: ¿Cómo interactúa la política con otros
políticas? ¿Existe la eficiencia o la sub-optimalidad en el conjunto más amplio-
arriba?

Eficiencia: ¿Los programas costo-efectivos para lograr su
objetivos específicos?

Eficacia de adaptación: ¿En qué medida los resultados de la
evaluaciones utilizarán en la elaboración y aplicación de políticas?
¿El diseño de políticas de asegurar un grado suficiente de flexibilidad
lo que le permite responder a la necesidad de cambio?
IKED / VINNOVA 2005
________________________________________
Página 88
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
88
5.12 ¿Qué pasa con los costos financieros de la evaluación?
Los costos de una evaluación, obviamente, no deben ser desproporcionadas con la
costos del programa se pretende evaluar. Una regla empírica tiene
sido que los costos de evaluación son el 1-5% de los costos totales del programa. Es
teórico, ya que algunos de los trabajos de evaluación deben ser embebido en
las rutinas del programa, por ejemplo los datos que se producen para
monitoreo de rutina.
Hay varias formas en las que los costes de las evaluaciones se pueden reducir,
entre ellos:
♦ Tener una clara jerarquía de las necesidades de información a fin de que el
recogida de datos se prioriza en estricta conformidad con su utilidad.
♦ Desarrollo de conjuntos de indicadores comunes, que pueden ser recogidos de forma rutinaria
por los participantes en una serie de programas relacionados o similares. Este proceso
también prueba la viabilidad del uso de indicadores particulares y aumenta la
eficacia de su uso. La posibilidad de utilizar conjuntos de indicadores a
comparar los programas relacionados con la forma otro beneficio.
♦ Indicadores, claramente vinculado con los objetivos del programa, deben ser definidos antes
a la iniciación de programas y debe ser recogido, donde
apropiarse, desde el inicio de un programa. Esto no sólo permite en curso
seguimiento y mejora la gestión de los programas, sino que también construye un
base de datos de indicadores coherentes que pueden ser utilizados por los evaluadores (ya sea
interno o externo) sin tener que recurrir a un costoso post hoc de datos
ejercicio de recopilación.
♦ Dar prioridad a la utilización de metodologías que tienen un impacto mínimo sobre los
evaluado y maximizar la tasa de retorno de información (encuestas telefónicas
durante las entrevistas cara a cara, encuestas por correo electrónico en lugar de las encuestas por correo).
♦ Ganar la confianza y el cumplimiento de todos los interesados, a través de
demostración de la utilidad del proceso de evaluación, a fin de minimizar
resistencia implícita o explícita al proceso de evaluación.
♦ Asegurarse de que los evaluadores tengan las competencias requeridas y muestran una
un seguimiento de registro en la gama de metodologías necesarios para la evaluación.
♦ Si la evaluación se reconoce explícitamente como parte de un proceso de aprendizaje,
a continuación, algunos de los costos de la evaluación puede ser visto como los costes de formación, y para
la medida en que reducen los costes de formación propiamente dicho en el
organización, algunos fondos pueden ser adquiridos a partir de esta fuente.
________________________________________
Página 89
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
89
5.13 ¿Cuál debería ser el momento de una evaluación ex ante?
Como ya se ha comentado, una evaluación puede tener lugar a tres posibles
casos - antes de que se puso en marcha el programa ( ex ante de evaluación), mientras que
está en curso (en tiempo real, la evaluación continua o un control) o después de la
la finalización del programa ( a posteriori ). Al llevar a cabo una evaluación tiene
siempre ha sido un tema importante para los administradores de programas - demasiado temprano y la
los resultados pueden no ser evidentes, mientras que los impactos y efectos a largo plazo se
Ciertamente que no. Por otra parte, los productores de programas y políticas deben
información sobre el éxito o fracaso de un programa tan pronto como sea posible
con el fin de maximizar su eficacia y eficiencia.
Es evidente que sería imposible evaluar los resultados reales y los impactos de una
programa de apoyo a la innovación antes de su lanzamiento. Sin embargo, ya que estamos
defendiendo que la evaluación debe ser un componente integrado de
gestión del programa y el proceso de formulación de políticas, la esperada
efectos y resultados del programa ya deben entenderse claramente
ya que proporcionan la justificación para el programa en sí. De hecho, el diseño de
una medida de la política de innovación o programa no (y no deberían) tener
otro sin una minuciosa ex ante de evaluación en la que el (mercado o sistema)
fracasos son claramente identificados y los medios para hacer frente a estas fallas son
formulado. Sin embargo, esto no quiere decir que un programa puede no ser
evaluado con anterioridad a su iniciación. Hay dos opciones disponibles:
♦ Los resultados esperados y el impacto del programa previsto puede ser
modelado , en el contexto del conjunto de supuestos implícitos sobre la
sistema de innovación en el que está destinado a intervenir. Aunque relativamente
sofisticado, este enfoque puede contribuir a la construcción de los fundamentos de la
programa y, a partir de una comparación del resultado esperado con la real
los resultados, pueden proporcionar información útil sobre la validez del subyacente
suposiciones sobre el sistema de innovación, y también ayudan a identificar cualquier
involuntaria efectos indirectos y externalidades.
♦ El programa podrá ponerse en marcha, a escala reducida, como un piloto que
pueden estar sujetos a una evaluación antes de despliegue de una versión a gran escala. La
resultados de la evaluación pueden entonces ser utilizados para informar a cualquier necesario
modificación al programa a gran escala, reduciendo así el riesgo de
fracaso o el uso ineficiente de los recursos.
________________________________________
Página 90
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
90
5.14 ¿Cuál debería ser el momento de una evaluación en tiempo real?
Es a menudo deseable, particularmente con programas que no se espera que
generar resultados e impactos durante un período considerable de tiempo, para medir, en
menos en parte, algunos aspectos de su desempeño. Hay varias razones
para esto: los programas mal desempeño pueden ser modificados o incluso terminados,
las condiciones marco o entorno pueden alterar significativamente de la
que existían cuando se inició el programa, o la inversión en el largo
programas a largo plazo exige que continuaron justificación para su prolongación
existe.
El seguimiento y la evaluación en tiempo real ofrecen dos métodos para evaluar la
desempeño de los programas, mientras que todavía están operando. En sentido estricto,
monitoreo representa un proceso que consume muchos recursos relativamente de bajo nivel, baja de
recopilación de datos y la información que permite la gestión de programas de
hacer evaluaciones periódicas de los avances. El proceso requiere la definición
de un número de tipos claramente especificadas de información, datos o indicadores que
pueden ser capturados de forma rutinaria, sin esfuerzo intensivo y estudiada en un
base de datos de programa. Tal como se desprende de la recopilación de un conjunto útil de
información básica sobre los procesos y resultados de los programas, la supervisión
tiene la ventaja adicional de que puede reducir la carga de la recopilación de datos a menudo
implicado en mayor escala, evaluaciones 'one-off'.
Evaluación en tiempo real es un término que se utiliza para distinguir a posteriori evaluaciones de
las llevadas a cabo mientras el programa todavía está en funcionamiento. Se diferencia de la
monitoreo, ya que trata de proporcionar una comprensión más profunda de los resultados
y los resultados de un programa y mira más allá recogidos de manera sistemática,
seguimiento, información (aunque esto puede alimentar a la evaluación en tiempo real)
a otros tipos de indicadores. También se basa en una gama más amplia de metodologías
y puede incluir un conjunto más amplio de interesados. El objetivo de tiempo real
evaluación es proporcionar un aporte a la gestión del programa
a través de la obtención de una visión más amplia del desempeño del programa. Se puede
ser utilizados para influir en la toma de decisiones sobre la continuación del programa
y sobre las modificaciones y ajustes necesarios.
________________________________________
Página 91
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
91
5.15 ¿Cuál debería ser el calendario de evaluaciones periódicas?
Las evaluaciones periódicas a menudo se utilizan para evaluar el desempeño de largo plazo
programas de apoyo a la innovación. Por lo general se han previsto una serie de pre-
evaluaciones determinado - es decir, se sabe que cada uno de ellos se llevará a cabo después de
un período de tiempo específico. Pueden llevarse a cabo de forma regular (por
ejemplo, cada cinco años) o coincidiendo con los acontecimientos en la política más amplia
ciclo (por ejemplo, las revisiones de financiación a gran escala, los ciclos presupuestarios, etc.) Ellos
comparten muchas de las características de ex post evaluaciones en términos de la
metodologías empleadas y el hecho de que son esencialmente hacia atrás
buscando y se centró en la evidencia histórica, aunque el programa aún está
en curso. Evaluaciones periódicas ofrecen una serie de ventajas:
♦ A través de la utilización de indicadores estandarizados, o indicadores utilizados en el anterior
evaluaciones de los programas, que producen un valioso tiempo de la serie comparable
datos sobre el rendimiento a largo plazo del programa que puede proporcionar
ideas contra el contexto de variaciones en el sistema de innovación más amplio
marco y las condiciones económicas.
♦ Por otra parte, cada evaluación puede centrarse en diferentes aspectos de la
rendimiento del programa, quizás a través de la utilización de diferentes
metodologías, con el fin de proporcionar una visión más amplia del programa de
resultados e impactos. Los resultados de las evaluaciones periódicas anteriores también pueden
generar líneas adicionales o imprevistos de investigación de interés para la formulación de políticas
los responsables que pueden ser seguidas por las evaluaciones posteriores.
♦ A menos que el programa está diseñado para responder a un problema a corto plazo,
hueco o cuello de botella, es probable que un programa de ayuda a la innovación
tienen una vida útil sustancial, en particular si se forma un componente de una mezcla de
políticas. En este caso, la información para ayudar a la gestión de programas y
información para la toma de decisiones políticas de alto nivel será requerida antes
que tarde. Como se ha señalado en el punto anterior, adaptar el enfoque de la
evaluaciones periódicas, de las cuestiones de proceso en la vida temprana de la
programa para la medición de los resultados y los impactos en el
etapas posteriores de la vida del programa pueden ser una práctica útil.
________________________________________
Página 92
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
92
5.16 ¿Cuál debería ser el momento de una evaluación ex post?
Como su nombre sugiere, estas evaluaciones se llevan a cabo después de un "plazo fijo"
programa se ha completado, o se ha alcanzado una fase específica de su
curso de la vida. En general, a posteriori evaluaciones tienden a ser de una sola vez en la naturaleza y
proporcionar información sobre el grado de éxito que un programa ha logrado.
Por supuesto, a pesar del hecho de que el programa puede ser una política de "una sola vez"
intervención, al igual que en todas las evaluaciones es fundamental que los resultados y las lecciones
de la evaluación aportará material para la elaboración de políticas y la formulación
y el diseño de programas futuros potencialmente similares.
La cuestión de la oportunidad es tal vez en su forma más sensible en el contexto de ex post
evaluaciones, aunque se conocen casos en que una inmediata ex post
evaluación se ha centrado en el proceso y los resultados relacionados con temas-, y una más tarde
evaluación se ha centrado en los efectos e impactos a más largo plazo. Por supuesto, una
número de evaluaciones de diferentes tipos también puede llevarse a cabo en un
programa; un ejemplo es el de la "Evaluación de Noruega de usuario
amigable Investigación en Noruega "(véase el recuadro 5.4).
________________________________________
Página 93
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
93
Recuadro 5.4 El sistema de evaluación económica modular
Evaluaciones
Tiempo de evaluación
Evaluación ex-post
A corto plazo económico y
efectos externos
Justo después del programa
terminación
Evaluación a largo plazo
Impactos económicos y
efectos externos
Unos diez años después
proyecto de puesta en marcha
Infraestructura
evaluación
Red y externa
efectos
Justo después, y luego de diez
años más tarde
Econométrico
evaluación
Análisis de series temporales
empresa combinando y
información del proyecto a
tasa de rendimiento de estimar
Series de tiempo
Evaluación ex-ante
Expectativas de puesta en marcha de
económica y externa
efectos
Año después del arranque
Fuente: "Evaluación de la Investigación de fácil uso en Noruega"
________________________________________
Página 94
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
94
5.17 ¿Cómo se puede especificar los objetivos de las evaluaciones individuales?
Una de las "reglas de oro" en la evaluación es definir claramente los objetivos de la política
que han de ser abordados por el programa. Esto es por qué tanto estrés tiene
hayan sido incluidos en el Programa general en la discusión anterior.
En el pasado, la cuestión, planteada por los evaluadores, "cuáles eran los objetivos de
el programa? "a menudo no ha recibido ninguna respuesta o en el mejor de un conjunto vago de
apunta. En el desarrollo de una cultura de la evaluación, es conveniente que los objetivos son
establecido durante el proceso de formulación de los programas; de hecho, el vínculo entre la
políticas, objetivos y logros del programa es un elemento clave de la
programa de lógica de diseño. Los objetivos se definen mejor como el esperado o
efectos deseados del programa sobre la situación que se ha diseñado para
influencia. Como tales, encarnan una idea de un cambio de una situación de partida
y están claramente vinculados al problema, obstáculo o hueco que va a ser
abordada por el programa. Obviamente, los objetivos de una vez han sido
especificada, es posible definir indicadores que pueden utilizarse para medir o
seguimiento de los resultados del programa.
Sin embargo, antes de mirar a los objetivos específicos de una innovación
programa, alguna discusión sobre el nivel real de los objetivos es
necesario. Es claro que un programa bien diseñado debería afectar una
número de niveles de política; por ejemplo, una voluntad política de aumentar el empleo
en industrias de alta tecnología se puede lograr a través de un programa dirigido a la
creación de empresas basadas en nueva tecnología - por lo tanto, una serie de objetivos puede
También pueden anticipar. Estos se pueden clasificar como:
♦ Programa o los objetivos operativos: el conjunto de los productos o deseados
entregables de la ejecución del programa. Generalmente, la
consecución de dichos objetivos se puede verificar fácilmente.
♦ objetivos políticos más amplios del mercado: cuenta con objetivos como el aumento de
el empleo, el crecimiento económico, el crecimiento regional, la promoción de exportaciones,
mejora de la competitividad, etc El logro del programa
objetivos deben influir en esos objetivos más amplios, al menos parcialmente.
♦ Impacto en las condiciones marco: programas de apoyo a la innovación pueden
(Y cada vez lo hacen) tener efectos indirectos sobre los componentes de la
ambiente para la innovación, como el sistema de impuestos, los marcos regulatorios,
políticas de competencia, los sistemas de propiedad intelectual, etc.)
La justificación para el programa de innovación o intervención debe indicar claramente
delinear los distintos objetivos que se desean.
________________________________________
Página 95
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
95
5.18 ¿Qué tipos de indicadores deben seleccionarse?
Los indicadores son los resultados medibles que muestren si el programa
se están logrando los objetivos.
Directrices generales para la selección de los indicadores son que deben ser:
♦ Relevante: Debe haber un vínculo intuitiva clara entre el indicador y
el objetivo que se quiere alcanzar. Los interesados obtendrán una mejor imagen
de rendimiento del programa si los indicadores reflejan la salida o
extremo impacto del espectro en lugar de ser de entrada orientada. Salida
indicadores también se pueden combinar con indicadores de entrada para proporcionar una
evaluación del desempeño relativo del programa, por ejemplo,
con respecto a otros programas.
♦ Limitado e integral: La información facilitada por el
indicadores deben centrarse en un pequeño número de los más significativos
indicadores y también debe ser integral, es decir, este conjunto de seleccionados
indicadores deben abarcar todos los principales aspectos de la ejecución de los programas.
♦ aceptadas: Los indicadores deben ser discutidos con todos los programas
interesados y las partes interesadas para garantizar que ese acuerdo tiene
alcanzado sobre su interpretación y aceptación.
♦ Creíble: Son los indicadores fáciles de interpretar? ¿Son creíbles para
la elaboración de informes? ¿Son inequívoca a una variedad de grupos de interés?
♦ Fácil: ¿Los datos son accesibles y fácilmente obtenidos. ¿Pueden ser fácilmente
medido sin un esfuerzo excesivo o desproporcionado (es decir, hace que su valor
como información de justificar los costos de su captura?). Idealmente, indicadores debe
ser capturados fácilmente y eficientemente a través de la monitorización durante la vida de la
programa en lugar de a través de más caros post hoc ejercicios. En
Además, los indicadores también deben ser capaces de verificación independiente.
♦ Fiable y robusto: La información debe mostrar un nivel adecuado de
precisión y fiabilidad contra los fines para los que ha sido
recogido. Son la prueba de indicadores contra la manipulación por los
responsables de su producción? ¿Podría establecer dichos indicadores conducir
a la distorsión no deseada del comportamiento de los responsables?
♦ consistente y comparable: En una situación ideal, los indicadores deben ser
constante de un año a pesar de que también deben ser refinados y
modificada cuando sea necesario para reflejar importantes cambios contextuales. Donde
posible, los indicadores también deben ser comparables por lo que al igual que puede ser
en comparación con igual, ya sea dentro o entre programas.
9,10
9
Comisión Europea (2002) Manual para la Evaluación del Impacto en la Comisión: ¿Cómo
hacer una evaluación de impacto.
10
Oficina Nacional de Auditoría, Física de Partículas y Astronomía del Consejo de Investigación: Performance
Medición , documento de debate, NAO diciembre de 1995.
________________________________________
Página 96
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
96
5.19 ¿Cuáles son las ventajas de un enfoque cuantitativo?
Alguna medida de cuantificación es necesaria en la planificación de programas y
evaluación, aunque sólo sea porque los fondos se asignan, y el dinero es intrínsecamente
una cuantificación de los esfuerzos y recursos específicos.
Los indicadores cuantitativos tienen varias ventajas:
♦ La comparabilidad entre los proyectos: permiten establecer una comparación con
los resultados de varios proyectos o programas que comparten el mismo
atribuye amplio.
♦ La comparabilidad a través del tiempo: Del mismo modo, permiten la comparación entre
distintos marcos temporales y permiten análisis longitudinales.
♦ Son fácilmente presentan en una variedad de formatos y por lo tanto son más
fácil de interpretar por las audiencias internas y externas.
♦ Son intrínsecamente atractivo para los encargados de formular políticas y los políticos, ya que son
(Aparentemente) sin datos contextuales y advertencias asociadas acerca de su
utilizar. Esta pérdida de contexto y detalle explicativo lamentablemente los abre
a la posibilidad de una mala interpretación.
________________________________________
Página 97
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
97
5.20 ¿Cuáles son las ventajas y desventajas de una cuantitativa
centrarse?
Alguna medida de cuantificación es necesaria en la planificación de programas y
evaluación, aunque sólo sea porque los fondos se asignan, y el dinero es intrínsecamente
una cuantificación de los esfuerzos y recursos específicos. Las preguntas empiezan a surgir
donde llegamos a la cuantificación de los (previstos o logrados) los resultados de
evaluaciones.
11
Aquí nos encontramos con varios tipos de problemas:
♦ problemas prácticos - algunos temas son inherentemente difíciles de cuantificar. Incluso
cuando esto no es evidentemente el caso, algunos temas se han tenido cuantitativa
indicadores (incluso estadísticas regulares) establecido para ellos, mientras que otros lo harán
no se han abordado de esta manera (y por lo tanto los evaluadores pueden tener que
construir nuevos indicadores).
♦ Los problemas psicológicos - es evidente que los datos cuantitativos son
particularmente atractivo, sobre todo para las personas con ciertos estilos cognitivos.
A menudo son las tablas en un informe que las personas de origen en el, en lugar del texto
que acompaña a la mesa. Varios problemas surgen. (1) hacer excesivo hincapié en
aquellas cosas que pueden ser o han sido cuantificadas, y dejar de lado o incluso
desestimando (por ejemplo, como "no científica") los que están mejor expresadas
cualitativamente. (2) No reconocer que incluso el mejor cuantitativa
indicadores serán los parciales - como todos los indicadores que captan sólo
algunas dimensiones de la cuestión que estamos tratando de iluminar - y ligero
variaciones en el diseño indicador puede significar que estamos capturando bastante
diferentes características de algo, a pesar de que esto no sea inmediatamente
aparente (y el indicador todavía se puede denominar con el mismo nombre). (3)
Más prosaicamente, dejando de lado las calificaciones que a menudo acompañan
datos cuantitativos, por ejemplo, sobre los problemas de inferencias
a partir de muestras de un tamaño determinado, sobre los posibles márgenes de error para
estimaciones, sobre los casos de datos faltantes, y similares.
♦ problemas culturales - parece que hay variaciones en la medida en que los
enfoques cuantitativos están estresados o no confiaban en diferentes entornos.
Esto puede tener algo que ver con los sistemas educativos de los diferentes
países (o los procesos de contratación de los funcionarios públicos), pero lo hace
significa que en la práctica no siempre podemos esperar para copiar directamente un conjunto de
procedimientos desarrollados en un entorno, en otro. Algunos
ambientes son muy receptivos a la información cuantitativa, de alguna
casos en la medida en que hay una aceptación de la "precisión espuria". Algunos
entornos son mucho menos, con los participantes lo que sugiere que los números
se puede hacer que decir nada, y las narrativas e historias como un exigente
manera de aprehender la situación subyacente en profundidad. (Del mismo modo, el uso de
figuras e ilustraciones es algo que funciona mucho mejor en algunos
circunstancias que en otras.)
Sin embargo, no son virtudes muy claras en el uso de datos cuantitativos donde estos
están disponibles y el más adecuado para el problema en cuestión. Tales datos pueden
proporcionar una base para un rico análisis cualitativo; que pueden ser más fácilmente
11
Véase OCDE (1997b) para una discusión de estos temas.
________________________________________
Página 98
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
98
y transparente procesado (resumido, en promedio, tabulación cruzada, etc) y
transformado en visualizaciones, como los gráficos. Es posible aplicar estadística
herramientas para poner a prueba para la significación,
12
para el control de los efectos de diferentes variables
(Por ejemplo, si los impactos del programa varían entre las empresas de diferentes tamaños, en
diferentes sectores).
12
Pero tenga en cuenta que los textos de significación se utilizan ampliamente en los que no estén técnicamente
justificadas -
que fueron diseñados para proporcionar pruebas sobre la generalización de los resultados de las muestras a un
más amplio universo de los casos, y tienen estrictos supuestos acerca de la naturaleza de la muestra, la
propiedades paramétricas de los datos, y así sucesivamente. A menudo, las pruebas son, en la práctica se utiliza con
poca
preocupación por estos supuestos, y sin ningún esfuerzo real para especificar qué universo los resultados
podría generalizar a - el texto se utiliza como un significante de la "importancia estadística" de la
resultados. (Lo cual no es lo mismo que importancia práctica.) Esta práctica puede ser defendible, pero
que tiene que ser entendido que esto es lo que se está haciendo, no sólo aceptado como no problemática
práctica.
________________________________________
Página 99
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
99
________________________________________
Página 100
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
100
Capítulo 6 Selección y uso de metodologías para
EVALUACIÓN
6.1 ¿Por qué es importante metodología?
Evaluación métodos son herramientas y técnicas que se aplican con el fin de
obtener respuestas a preguntas específicas.
Los métodos utilizados en la evaluación
la investigación se encuentran en las principales que se utilizan ampliamente en otra social y
investigación de las empresas - a pocos enfoques (como el análisis de costo-beneficio y
evaluación de impacto) son realmente distintivo.
Metodología implica la comprensión de los principios en los que determinada
métodos se basan, y por lo tanto ser capaz de comprender la relevancia de
diversos métodos para responder a las preguntas que tenemos. A menudo nos encontraremos
que cualquier método dado nos dará sólo una respuesta parcial a las principales preguntas
que tenemos. Esto se debe a que nuestras preguntas son típicamente bastante complicado
queridos, que no se pueden contestar de ninguna forma sencilla.
En los estudios de evaluación, vamos a utilizar típicamente un número de métodos específicos. Para
ejemplo, es común para un estudio para incluir algunas entrevistas junto a un
encuesta más amplia, y un poco de uso de los datos existentes (secundario). Junto a este
puede haber casos de estudio de empresas o proyectos particulares, y una gama de otros
enfoques. Ha habido cuentas de las evaluaciones "método mixto", como si
éstas eran bastante novedosa, pero en el campo de la evaluación del programa de innovación, en
menos, son la norma.
Este capítulo se centra en los métodos utilizados en la evaluación, y proporciona una
amplia introducción a la metodología y métodos, relacionarlos con diferentes
tipos de evaluación y pregunta de evaluación. Se inicia con la discusión de cómo
metodología se refiere a la finalidad de la evaluación.
________________________________________
Página 101
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
101
Recuadro 6.1 Una selección de las guías pertinentes para la Evaluación e Investigación
Metodología
William M. Trochim (2002, revisada en 2005) Métodos de investigación en Knowledge Base, disponible
en línea en: http://www.socialresearchmethods.net/kb/
Esta es una guía de hipertexto muy legible a métodos de investigación social, que abarca una amplia gama de
los temas de manera lúcida. Sus secciones sobre la fiabilidad y la validez de los indicadores son particularmente
recomendada. Una copia en papel y versión ampliada también está disponible, desde Atomic Dog
La publicación en http://www.atomicdog.com/trochim
Carter McNamara (nd) Métodos básicos de investigación de negocios, disponible en línea en:
http://www.managementhelp.org/research/research.htm
Amplia revisión de los métodos de investigación, con buenos consejos sobre la planificación de un estudio.
Rosalie Ruegg y Irwin Feller (eds.) (2003) un juego de herramientas para la evaluación de la I + D pública
Inversión: Modelos, métodos y hallazgos de Primera Década del ATP de Washington, EE.UU.
Departamento de Comercio, Administración de Tecnología, informan no. NIST GCR 03-857,
disponible en línea en:
http://www.atp.nist.gov/eao/gcr03-857/contents.htm
Informe detallado de la amplia gama de métodos utilizados en la evaluación del programa de investigación de EE.UU.,
con un poco de resumen y síntesis relativo a las lecciones para la investigación de evaluación más
en general.
Comisión Europea (2002), RTD Evaluación Toolbox - Evaluación de la Socio-
Impacto económico de la RTD-Políticas , IPTS Serie de Informes Técnicos, EUR 20382 EN,
. publicado agosto 2002 Disponible en: http://epub.jrc.es/docs/EUR-20382-EN.pdf
Este es el "ePUB RTD Evaluación Toolbox" preparado por la Investigación Joanneum
Instituto de Tecnología y Política Regional (Viena) y el Instituto de Prospectiva
Estudios de Tecnología (Sevilla), con contribuciones de muchos equipos de evaluación. Así como
la introducción de la gama de técnicas en uso, este informe examina algunas de las cuestiones más amplias
en torno al uso de la evaluación en la formulación de políticas. Una versión abreviada nosotros disponibles como
INTEREG
Research Report 02-2002 del Instituto Joanneum.
Alegría Frechtling y Laure de Sharp (1997) User-Friendly Handbook for método mixto
Evaluaciones
Dirección de Educación y Recursos Humanos, División de Investigación,
La evaluación y la Fundación Nacional de Ciencias de la Comunicación está disponible en:
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm
Visión general útil de los temas en los estudios de evaluación, en especial los relacionados con la necesidad de
utilizar tanto cualitativa y métodos cuantitativos en el curso de un estudio.
Americorps (nd) Guía del usuario para los Programas de Servicios Nacionales
Burlingame,
California: Corporación para el Servicio Nacional, Proyecto STAR, disponible en:
http://www.projectstar.org/star/Library/toolkit.html
Aunque el tipo de programa que se evalúa aquí están lejos de los programas de innovación,
esta es una muy clara introducción a la variedad de métodos utilizados en la práctica de la evaluación, con
especial énfasis en el uso de la evaluación para el empoderamiento de las personas que participan en los programas.
Las actividades se presentan en términos de secuencias lógicas de pasos, de manera que puedan ser de
emulado en la evaluación de programas de innovación. El sitio web indica que "el empoderamiento
enfoques de evaluación "se están minimizados en AmeriCorps.
D'Arcy Davis Case (1990) Herramientas para la comunidad: conceptos, métodos y herramientas para
evaluación participativa, el seguimiento y la evaluación en la silvicultura comunitaria, la FAO
Comunidad Campo Forestal Organización de los Estados Manual 2, Roma, Agricultura y la Alimentación
Naciones, disponible en:
http://www.fao.org/documents/show_cdr.asp?url_file=/docrep/x5307e/x5307e00.htm
A pesar de los programas para los que se preparó esta caja de herramientas son muy lejos de la innovación
programas, esto es a la vez una guía de lectura para practicar y una buena introducción a la
filosofía de la supervisión y la evaluación participativa.
Dirección General de la CE para el Presupuesto (julio de 2004) Evaluación de las actividades de la UE: una práctica
guía para los servicios de la Comisión
http://europa.eu.int/comm/budget/evaluation/pdf/pub_eval_activities_full_en.PDF
Esta guía debería ayudar a los profesionales de la evaluación de la Comisión de la UE, que necesitan para planificar,
coordinar, llevar a cabo, o utilizar las evaluaciones. También ayudará a los que tienen la responsabilidad de
la organización de la estructura de evaluación dentro de los servicios
________________________________________
Página 102
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
102
6.2 ¿Cómo la misión de evaluación se relacionan con la metodología?
La cuestión clave para la metodología es: ¿Cómo podemos acceder y utilizar pruebas
que va por lo menos de alguna manera a responder a la pregunta de que somos
posando? Hay varios puntos planteados por esto.
En primer lugar , " mejor ". La pregunta no es acerca de la inteligencia perfecta: que nunca puede haber
alcanzado. El " mejor "las pruebas será la prueba más adecuada que puede
ser obtenido dentro de los límites de los recursos disponibles - incluyendo el tiempo
restricciones (conocimiento imperfecto cuando se necesita puede ser mucho mejor
que el conocimiento más completo que llega demasiado tarde). A menudo tenemos que utilizar
más de un método para proporcionar una respuesta adecuada a nuestra partida
cuestión. Triangulación es el término utilizado para describir la aplicación de varios
métodos y observaciones para hacer frente a la misma pregunta - si los resultados
coinciden, esto les valida, si difieren, entonces demuestra que tenemos
más trabajo por hacer para llevar a cabo para entender esta divergencia.
En segundo lugar , " el acceso ". La evidencia puede estar ya disponible - hablamos de
secundaria de datos cuando estamos haciendo uso de, por ejemplo, las estadísticas ya
producido para un propósito diferente. Alternativamente, es posible que tengamos que salir a
generar nuestras propias primarias de datos.
En tercer lugar , " por lo menos de alguna manera a responder ". Esto refleja la realidad de que
a menudo la respuesta completa va a ser difícil de determinar. En el caso de la evaluación de la
la eficacia de un nuevo medicamento o tratamiento médico puede ser relativamente fácil
evaluar los impactos sobre la condición de que se tiene la intención de tratar (aunque los efectos secundarios
puede ser más difícil de determinar). En el caso de los programas de innovación, muchos de los
los efectos serán a largo plazo, y las formas que tenemos de saber si el
efectos están teniendo lugar puede ser parcial y limitada. Es por esto que es tan
importante ser explícito acerca de lo que pregunta que nos planteamos . La siguiente
sección se ocupa de la cuestión fundamental de las definiciones operacionales.
La literatura sobre la metodología de evaluación nos proporciona mucha información sobre
la aplicabilidad de los diferentes métodos, y nos basamos en este (así como en la
experiencia de las personas que hemos entrevistado y encuestados) en el resto
de este capítulo.
________________________________________
Página 103
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
103
6.3 ¿Cuál es el significado de las definiciones operacionales?
El lenguaje cotidiano utiliza muchos términos en formas más bien flojos. Si bien esto significa
que no estamos comprometidos para siempre en los debates pedantes o técnicas,
son inconvenientes. A menudo, no estamos del todo seguro de lo que cada uno de nosotros se hace referencia a
cuando hablamos de cosas como "inteligencia", "competitividad", o "económica
rendimiento ". Esto incluso - algunos dirían sobre todo - se aplica a los políticos
debatir. Se convierte en un verdadero problema cuando hablamos de políticas específicas,
Sin embargo, donde puede haber malentendidos que pueden tener gran
consecuencias para el mundo real.
Una "definición operativa" está destinado a añadir precisión, proporcionando un
definición de (elementos de) un concepto en términos de cómo los estamos midiendo.
Las ventajas de las definiciones operacionales son sencillos:
♦ Se aseguran de que estamos hablando de la misma cosa
♦ Se especifican los métodos utilizados para evaluar los elementos del concepto de que son
en estudio, y esto permite que el debate sobre el contenido del concepto
♦ Se refieren a que el trabajo debe ser replicable, ya que es posible seguir
los mismos métodos para obtener nuevos resultados - tal vez para comprobar el original
estudiar, tal vez para actualizar la información
Los principales inconvenientes de las definiciones operacionales son una cuestión de cómo se
se utilizan:
♦ A menudo hay una tendencia a asumir que las características de fácil medición
de un concepto son los más importantes, o incluso los únicos, las características de la
concepto. (Por lo tanto, como es sabido, la "inteligencia" se convierte en lo que los tests de inteligencia
medir, no el uso diario más rico de la palabra.)
♦ A menudo existe demasiado énfasis en los datos que fácilmente se pueden mostrar en un
forma cuantitativa (que permiten a muchas definiciones operativas), en contraposición a
resultados más cualitativos.
________________________________________
Página 104
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
104
6.4 Por qué no hay una metodología única para la evaluación?
Por lo general, la medición sólo nos dirá acerca de ciertos aspectos de la cuestión en
cuestión. Por ejemplo, puede parecer una cuestión sencilla para determinar si una
automóvil o computadora es relación calidad-precio. Pero consideran que el número de aspectos que hay
para el rendimiento de un coche o un ordenador (dejar solos aspectos tales como el diseño
y la "sensación" del producto). Del mismo modo, las autoridades pueden pedir a un simple sonido
pero complicada pregunta como "¿cuáles son los beneficios económicos de esta
inversión ". Los evaluadores tendrán que especificar una pregunta investigable en
términos de medidas operativas, tales como "¿cómo este programa de influencia
el rendimiento de X [un determinado conjunto de actores económicos] en términos de Y [a
conjunto particular de parámetros de actividad y salidas]? "
En los estudios de evaluación, el impacto y los resultados de las intervenciones son por lo general
muy complicado, con diferentes tipos de destino que sufren los impactos sobre
varias dimensiones. Algunos de los impactos pueden ser capturados en las estadísticas oficiales,
informes de la compañía, y otros documentos; algunos pueden requerir directa
investigación. Algunos de ellos pueden ser una cuestión de contar observables
fenómenos, algunos pueden ser más una cuestión de juicio subjetivo. Algunos pueden
ser una cuestión de la experiencia individual, algunos de comportamiento organizacional, y
algunos pueden incluso cruzar fronteras organizacionales (por ejemplo, redes).
La diversidad de los métodos disponibles para la realización de una evaluación es un
reconocimiento de las múltiples dimensiones en las que los impactos de la política
intervención podría manifestarse. Por esta razón, ningún mejor
existe metodología de evaluación, a todos los efectos y estudios. Cada
metodología será más adecuado para el análisis de las dimensiones particulares de los
impactos. En general, un estudio de evaluación se requerirá una combinación de varios
métodos de evaluación. Así, por ejemplo, diferentes métodos se pueden utilizar en
diferentes niveles de agregación de datos, o para capturar inmediato ya más largo plazo
impactos. El uso de más de un método tiene ventajas ya que permite
por contraste de la solidez de las conclusiones acerca de los efectos observados
de la intervención - es decir, que permite la triangulación.
________________________________________
Página 105
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
105
6.5 ¿Cuáles son los principales métodos utilizados en la evaluación?
Si bien los efectos precisos abordados pueden ser diferentes, en general
métodos aplicados en los estudios de evaluación de la investigación suelen ser aplicables a
evaluaciones de los programas de innovación. Como ya se mencionó, la mayoría de estos
métodos también se comparten con una gran cantidad de otros asuntos sociales y
investigación.
Algunos "métodos" son técnicas muy específicas, mientras que otros son más generales
enfoques para responder a las preguntas. Encuestas Así cuestionario son específicos
técnicas (y dentro de éstas hay otras técnicas específicas que son
empleado, por ejemplo, en el muestreo, en el diseño de las escalas de medición y
preguntas, etc.) Los estudios de casos, por el contrario, para más de un enfoque de la
el desarrollo de las pruebas y argumentos, que pueden utilizar diferentes tipos de
técnica dentro de ellos - encuestas, entrevistas, talleres, etc.
En este capítulo nos centraremos en algunas de las técnicas y métodos específicos que
se utilizan ampliamente, agrupándolos según las funciones que desempeñan, la
información específica que contribuyen:
♦ Métodos para el acceso y la generación de datos - Técnicas de datos
producción que se utilizan en la investigación primaria y secundaria. Aquí, la
tipo de indicador de que somos capaces de usar es una cuestión importante.
♦ Los métodos para la estructuración y las intervenciones que exploran - que van desde
enfoques "tradicionales" que utilizan los experimentos y los grupos de control a más
acción y enfoques participativos.
♦ Métodos para el análisis de los datos - formas de procesamiento y dibujo
conclusiones de las estadísticas y material cualitativo, y más elaborado
modelado y simulación enfoques.
♦ Los métodos para extraer conclusiones, incluidas las evaluaciones de impacto y la
similares.
Además de ofrecer una vista panorámica de las diferentes técnicas utilizadas aquí,
también vamos a discutir algunos enfoques temáticos - el uso de múltiples
métodos, el estudio de casos, la previsión, y similares.
Hay varias guías a la metodología de la investigación social, a la evaluación
metodología, y para la investigación la metodología de evaluación, que podemos dibujar
a aquí. La zona más cercana a la que tratan en esta guía es el de I + D (o
Fuentes RTD) de evaluación, y por lo tanto, como la Evaluación ePUB RTD
Caja de herramientas (2002) son particularmente útiles - véase la ilustración.
________________________________________
Página 106
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
106
Recuadro 6.2 La "ePUB RTD Evaluación Toolbox" (2002)
Esta "caja de herramientas" de los métodos de evaluación proporciona un buen punto de partida para encontrar
conocer los principales instrumentos aplicados en la política de ciencia y tecnología
evaluación y los métodos y las prácticas actuales utilizadas en la evaluación de
las políticas de IDT públicas. Sobre la base de los esfuerzos de una red de expertos en evaluación,
se analizan algunas de las cuestiones políticas relacionadas con las metodologías, así como
los más prácticos.
La mayoría de los métodos ePUB Toolbox se centran en la captura de datos correspondiente a la IDT
programas. En el nivel micro-econométrico, esto incluye métodos para
la evaluación de la existencia de un efecto de adicionalidad en el apoyo del público en privado
I + D y la estimación de la tasa de retorno privada en I + D. Más macroeconómica
métodos son más aptos para captar los efectos indirectos de I + D generados ya más largo
plazo y los efectos más amplios de la política de intervención en la productividad y económica
bienestar. Herramientas específicas discutidas incluyen análisis coste-beneficio, la red
análisis, estudios de caso, y similares. Los grupos ePUB Herramientas métodos
de acuerdo a su uso en ex ante , en tiempo real y post hoc evaluaciones. Métodos
empleado en la evaluación ex ante de los programas y las políticas son:
• Los estudios de prospectiva
• Modelado y simulación
• técnicas de costo-eficiencia
• técnicas de costo-beneficio
Métodos cuantitativos empleados en Seguimiento y evaluación ex post incluyen:
• análisis de datos estadísticos: Encuestas de Innovación y Benchmarking
• metodologías de modelado: modelado y simulación macroeconómica
enfoques ; modelado microeconométricas ; Análisis de productividad ; y
Enfoques del grupo de control
Metodologías cualitativas y semi-cuantitativos empleados en Seguimiento y
evaluación ex-post son:
• Las entrevistas y estudios de caso
• El análisis de costo-beneficio
• Revisión Paneles de Expertos / Peer
• Análisis de Redes
• Prospectiva / Tecnología
________________________________________
Página 107
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
107
6.6 ¿Qué tipo de medida estamos viendo en la Innovación
Evaluación del Programa?
La última razón de un programa de innovación es probable que sea una cuestión de
contribuir a objetivos como el aumento de la competitividad de una región,
un conglomerado industrial, o una economía nacional; la creación de más (o mejores) puestos de trabajo y
oportunidades de empleo; ayudar a la industria a moverse de una manera más ambientalmente
dirección sostenible, y así sucesivamente. Como se señaló anteriormente, la búsqueda de operaciones
las definiciones de algunos de estos términos, que pueden traducirse en medible
indicadores, pueden ser nada fácil. Conceptos como la "competitividad" y
"Sostenibilidad" son los contenciosos, por ejemplo.
Cuando tenemos un concepto bastante indiscutible, la búsqueda de indicadores apropiados
puede no ser difícil. Aunque puede haber debates acerca de cómo hacer frente a
empleo a tiempo parcial y los empleos temporales, por ejemplo, el empleo es bastante
fácilmente evaluados y los niveles de empleo son efectivamente capturadas en muchas rutina
Consultar estadísticas. Incluso en este caso, puede ser útil para proporcionar datos sobre completa-
y el empleo a tiempo parcial - o ser clara cuando los indicadores "de tiempo completo equivalentes"
siendo utilizado. ¿Dónde se están abordando conceptos polémicos, es mucho
más importante la utilización de múltiples indicadores. Cada uno es único responsable para hacer frente a parte
del tema en cuestión, y los diferentes indicadores pueden ser más relevantes para diferentes
formulaciones del concepto.
Múltiples indicadores también permiten más
"Triangulación" de las pruebas, en la que podemos examinar cómo las tendencias ahora son
similares a través de diferentes aspectos de la cuestión que nos ocupa.
Además, (a) muchos de los acontecimientos que nos preocupan en la innovación
programas son inherentemente los de largo plazo - el impacto puede no ser totalmente
visible durante años. Por otra parte, (b) estamos más preocupados con duración
impactos - no con una mejora de corta duración en el rendimiento.
La primera consideración (a) significa que a menudo será necesario trabajar con
indicadores de "impactos intermedios", que razonablemente cabe presumir que
indican que las cosas se están moviendo en la dirección del cambio a largo plazo. Esta voluntad
a menudo el caso, por ejemplo, para el desempeño económico de las empresas o industrias.
Es frecuente que los beneficios de la introducción de una innovación son lentos
a aparecer - el producto necesita tiempo para obtener un mercado considerable, hay un
periodo de aprendizaje necesario para el nuevo proceso a implementar más
efectivamente.
(I + D puede tardar más tiempo para tener visibles sobornos.) Incluso después de
un programa de innovación se ha llegado a la conclusión, puede ser necesario recurrir a
estimaciones de los efectos probables de una innovación que ha introducido. (Esta
a efectos de elaborar inferencias a partir de innovaciones anteriores de estadística
modelado, de examinar la experiencia de los innovadores de vanguardia, desde
agrimensura participantes del programa en cuanto a sus expectativas - todos los cuales las formas
de pruebas y argumentos tienen sus inconvenientes.) Los indicadores en los que nos
puede tener más confianza - la difusión y captación de los niveles observados de la
la innovación, por ejemplo - son todavía bastante retirado de los impactos finales
con la que nos ocupa.
Lo mismo es cierto en relación con la letra (b). ¿Cuánto "adicionalidad comportamental"
(Véase el Capítulo 7 para más información sobre este término) realmente se ha logrado es una de las principales
________________________________________
Página 108
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
108
cuestión. Por ejemplo, ¿el programa sólo como resultado la adopción de un
particular, la innovación, o ha dado lugar a un cambio de orientación entre los
los participantes? Un solo cambio en, digamos, CO
2
las emisiones, puede ser una valiosa
logro, pero son las organizaciones siguen realizando mejoras en
su año de emisiones en el año? ¿Han acaba de aprobar una innovación y
supone que esto era suficiente para la competitividad, la sostenibilidad, o
cualquier otro objetivo está dirigido a? Para determinar dicha duración, a más largo plazo
impactos, que típicamente será necesario examinar los cambios en las capacidades de los
las organizaciones - ya sea que están dedicando recursos para explorar más a fondo
innovaciones, por ejemplo.
Capítulo 7 ofertas en más detalle con cuestiones de evaluación del impacto y
adicionalidad.
________________________________________
Página 109
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
109
6.7 ¿Cuáles son los tipos de datos secundarios que se puede acceder?
Algunos datos pueden estar disponibles a partir de fuentes existentes: los datos secundarios que pueden
ser utilizados para fines de evaluación. Por ejemplo, las estadísticas oficiales de rutina llevan
una gran cantidad de material sobre la actividad económica - el volumen de negocios, el empleo,
la productividad, y similares. Estos a menudo proporcionan información básica por la
la cual podemos evaluar cambios, o un fondo estadístico general para el
estudiar su uso. Idealmente, dicho material será ya montado en el principio de
un programa de innovación, pero el tiempo se queda involucrado en la preparación y
publicación de estadísticas que significa que a menudo los que están disponibles en cualquier momento reflejan
circunstancias de varios años anteriores.
Además de los datos presentados en el Panorama general del Programa, podemos esperar que los datos de
ser producido en el curso de la supervisión del programa. Algunos de estos
debe ser de datos sobre los proyectos, los gastos y las actividades; algunos pueden cubrir
impactos inmediatos del programa. Puede haber información cuantitativa,
o más de las actividades de documentación de archivo (listas de nombres, por ejemplo).
Los proyectos individuales también son susceptibles de generar datos que pueden ser útiles para
fines de evaluación, que a su vez pueden ser más o menos discursiva o
cuantitativa. En la medida en que este material se ha organizado y
ya procesada, puede ser de datos secundarios para el estudio de evaluación. Si tiene
a codificar, clasificar, o muy reelaborado, puede ser mejor vista como principal
datos.
Los datos pueden ser producidos por fuentes externas que pueden ser útiles para la evaluación
de los impactos del programa, aunque esto no suele ser lo suficientemente oportuna o en sintonía con
temas del programa para tener una gran relevancia. No es imposible que un
industria o grupo de estudio se llevará a cabo que nos diga algo de
importancia para el programa, sin embargo. En el Reino Unido a mediados de la década de 1990, por
ejemplo, una encuesta de innovación llevado a cabo por la Confederación de British
Industria preguntó sobre el grado de conocimiento y la participación en el
Tecnología Programa Foresight que estaba entonces en marcha. Esto proporcionó
la información que nos permitió evaluar hasta qué punto estaba comprometido el Programa
con diferentes sectores de la industria. (Los resultados sugirieron que era encontrar
menor respuesta de los sectores de servicios de la economía - ver Miles, 1999) En
Alemania, más recientemente, la Encuesta sobre la innovación comunitaria se utilizó para
determinar hasta qué punto se produjo un impacto de la financiación de I + D del gobierno y en
la I + D.
Un problema que puede enfrentar a los usuarios de datos secundaria está ganando acceso a
material en una forma que es útil para la evaluación. Las estadísticas pueden ser
se presenta en una forma muy agregada - es posible que tengamos datos desglosados por
industria, tamaño de la empresa, y así sucesivamente. Los datos pueden ser retenidos por motivos de
confidencialidad - con estadísticas pueden existir normas que prohíben el acceso a
información que concebiblemente podría permitir respuestas individuales a ser identificados,
y con material de archivo que puede haber problemas para hacer con denominación de
individuos, off-the-record comentarios, y similares. Los consultores pueden ser
dispuestos a compartir los datos que han producido, para una variedad de razones.
(Por ejemplo: estos datos se consideran como económicamente valiosa; métodos sospechosos de
de elaborar los datos están siendo ocultados; existe la preocupación de que los analistas pueden
dibujar resultados distintos de los que le ofrecía por el consultor; etc)
________________________________________
Página 110
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
110
6.8 ¿Cuáles son los métodos para generar datos a través de la investigación primaria?
Los datos secundarios se han producido como datos primarios por alguna otra
partido: en los estudios de evaluación también estamos por lo general en el negocio de producir
algunos datos primarios, también. Diferentes técnicas se caracterizan por producir diferentes tipos
de los datos, pero no hay una asignación uno a uno. Cuestionarios son
normalmente se utiliza para crear datos cuantitativos a gran escala, pero también se puede llevar
a cabo utilizando bastante pequeñas muestras, y puede ser utilizado para provocar abierta,
insumos cualitativos. Las entrevistas dan generalmente una gran cantidad de datos cualitativos,
pero al menos algunos de los materiales pueden tomar una forma cuantitativa (y cualitativa
cuentas pueden ser codificados en medidas cuantitativas).
En la discusión siguiente, cuando hablamos de "nuevos datos", nos referimos a los materiales
generados por fenómenos de observación en el mundo material - estos fenómenos
puede ser una conducta que podemos ver a través de la observación participante de las reuniones, para
ejemplo, o de la existencia de registros en archivadores o electrónica
almacenamiento. Pueden ser declaraciones (de opinión, creencia, etc) suscitó desde
entrevistados, encuestados, los participantes del taller. Esta bastante obvio
punto se trabajó con el fin de distinguir tales datos de la información
que puede ser generada a partir de, por ejemplo, modelos de simulación de eventos. La
estado de la información sobre el comportamiento real de las personas o de sus opiniones declarados
es bastante diferente de la de la información acerca de lo que dice un modelo de computadora.
Esto último nos está diciendo acerca de cómo los procesa datos modelo (que ha sido
derivada de la investigación empírica o dictamen de expertos). Consideramos esto un
forma de análisis de datos y elaboración de conclusiones, en lugar de la generación de
nuevos datos con fines de evaluación.
Entre las principales herramientas para la generación de nuevos datos, entonces, son:
♦ Encuestas Cuestionario
♦ Entrevistas
♦ Talleres y Grupos de Enfoque
♦ Observación
♦ Análisis de Archivo.
La ilustración describe una evaluación de las ventajas y los desafíos globales
de cada técnica. Proporcionamos un poco más de detalle en cada uno a continuación. Sin embargo, dos
puntos generales se pueden hacer de inmediato. En primer lugar, es prácticamente siempre es vital para
participar en algún piloto de trabajo antes de lanzarse a la generación de datos a gran escala.
Hay muchas historias tristes de estudios de encuestas en ruinas por errores en el cuestionario
programas de diseño, o entrevistar a los arrojados por el (normalmente) la falta de dirección
cuestiones clave de forma adecuada. Talleres necesitan una cuidadosa preparación, e incluso si un
"En seco" no se puede lograr, algunos juegos de rol puede dar una idea de lo que va a
y no va a trabajar con eficacia. Es una buena idea observar algunos eventos en un proceso abierto-
manera de mente antes de salir a grabar y actividades específicas de código.
Del mismo modo, el análisis de archivos normalmente requiere un poco de experimentación con
clasificaciones y categorías antes de lanzarnos a una codificación masiva
ejercicio.
________________________________________
Página 111
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
111
En segundo lugar, el problema de la toma de muestras se elevó muy a menudo. A menudo, no podemos esperar a
hablar con todo el mundo que era un participante o de las partes interesadas en un proyecto, o estudiar
todos los documentos que se produjo en el transcurso de la obra. La cuestión
a continuación, se convierte en uno de saber hasta qué punto los datos que utilizamos son representativos
- Representativa de toda la población o de algún subconjunto con el que estamos
particularmente preocupado. Por lo tanto necesitaremos una estrategia para decidir dónde nos
tendrá que ir a por los datos que queremos, y esta estrategia tendrá que ser
justificable en términos de las preguntas de evaluación que estamos pidiendo.
________________________________________
Página 112
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
112
Cuadro 6.1 Comparación sucinta de los métodos de generación de datos
Método
Propósito general
Ventajas
Desafíos
Cuestionarios,
Encuestas,
Las listas de verificación
Cuando tenga que rápidamente
y conseguir fácilmente una gran cantidad de
Información
personas en un no
forma amenazante
Puede completar
de forma anónima,
barata de
administrar, fácil
comparar y analizar,
administrar a muchos
personas, pueden obtener gran cantidad de
de datos, muchos muestra
cuestionarios ya
existir
No puede ser que consiga cuidado
retroalimentación, redacción puede
las respuestas del cliente sesgo,
son impersonales
encuestas, puede ser necesario
muestreo, experto
no conseguir la historia completa
Entrevistas
Cuando desee totalmente
entender que hay alguien
impresiones o
experiencias, o aprender
más acerca de su
respuestas a
cuestionarios
Obtén toda la gama y
profundidad de la información
desarrolla la relación
con el cliente, puede ser
flexibles con el cliente
Puede tomar mucho tiempo,
puede ser difícil de analizar
y comparar, puede ser
costoso, entrevistador puede
las respuestas del cliente sesgo
Documentación
Revisión
Cuando quiera una
impresión de cómo
programa opera
sin interrumpir el
programa; es de un
examen de las solicitudes,
finanzas, memos,
acta
Obtenga integral
e histórico
información, no
programa de interrupción o
la rutina del cliente en
programa, información
ya existe, pocos
prejuicios sobre
información
A menudo toma mucho
tiempo, información puede ser
incompleta, que tenga que ser
claro acerca de lo
buscando, no una
forma flexible para obtener
de datos, los datos restringido a los
lo que ya existe
Observación
Reúna exacta
información acerca de cómo
un programa en realidad
opera, en particular
acerca de los procesos
Ver operaciones de un
programa, ya que son
en realidad ocurre lata
adaptarse a los acontecimientos a medida que
ocurrir
Puede ser difícil de
interpretar, visto
comportamientos pueden ser
complejo de categorizar,
Las observaciones pueden
comportamientos de influencia de
participantes del programa,
puede ser costoso
Los grupos de enfoque
Explora un tema en
profundidad a través del grupo
discusión, por ejemplo, acerca
reacciones a una
experiencia o
sugerencia,
comprensión
quejas comunes,
etc, útiles en
evaluación y
mercadeo
Rápido y fiable, obtener
impresiones comunes,
puede ser manera eficiente de
obtener una amplia gama y
profundidad de la información en
un corto período de tiempo, puede
transmitir información clave
acerca de los programas
Puede ser difícil de analizar
respuestas, necesitan una buena
facilitador para la seguridad y
cierre, difícil
programar 6-8 personas
juntos
Estudios de caso
Para entender completamente o
representar clientes de
experiencias en un
programa, y la conducta
exhaustivo
examen a través
comparación transversal de
casos
Totalmente representa clientes de
experiencia en el programa
insumos, procesos y
resultados, de gran alcance
significa para retratar
programa a los forasteros
Por lo general, bastante tiempo
consumir para recopilar,
organizar y describir;
representa la profundidad de
información, en lugar de
amplitud
Fuente: Carter McNamara (nd) Métodos Básicos de Investigación de Empresas
________________________________________
Página 113
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
113
6.9 ¿Cuál es el uso de los métodos basados en la entrevista para la generación de datos en
Las evaluaciones?
Las entrevistas han sido descritos como "conversaciones estructuradas". Son la cara-
a cara o por vía telefónica, se encuentra, en la que el evaluador hace una serie
de preguntas. Por lo general hay un informante, pero puede haber más de una
persona contribuyendo de esta manera. (Esto puede ser especialmente útil cuando el
entrevistados tienen información complementaria a presentar; donde hay
razones para evitar la presentación de la misma orientación Observaciones preliminares sobre
más veces que sea absolutamente necesario; donde hay ventajas en
facilitar el aprendizaje de los entrevistados de la otra en el transcurso de la
entrevista. La desventaja correspondiente es que los entrevistados pueden ser menos
dispuesto a dar respuestas completas y abiertas en presencia de los otros entrevistados -
esto puede ser particularmente el caso de que existan diferencias de estatus, para
. ejemplo) Por lo general hay un entrevistado principal - a veces una pareja toma
notas, a veces los entrevistadores se especializan en determinadas líneas de cuestionamiento.
Las entrevistas pueden ser más o menos estructurado: más común en la evaluación
investigación es la entrevista semi-estructurada. Aquí hay una lista de preguntas de ajuste
que se plantea, pero existe una considerable flexibilidad para cambiar la secuencia de
preguntas si (como sucede a menudo) el entrevistado se mueve en el curso de
responder a una pregunta, a la provisión de insumos que influyen en una pregunta posterior. Es
más importante para mantener el flujo conversacional que seguir un
fin preordenado de temas. También hay flexibilidad en la forma de ser capaz
para introducir nuevas líneas de investigación si surgen problemas imprevistos interesantes - y
dejar caer las líneas de investigación que están dando unos rendimientos.
Entrevistas no estructuradas Completamente son raras, pero las entrevistas donde hay
sólo una estructura flexible se utiliza con mayor frecuencia en el inicio de un estudio, en el que el
evaluador está tratando de obtener un panorama general de cómo el programa es
estructurado y operativo.
Esto puede ser especialmente relevante en el que el
Programa general está ausente o es insuficiente.
Entrevistas altamente estructuradas son esencialmente cuestionario encuestas realizadas
verbalmente, con el entrevistado relevado de la tarea de escribir las respuestas.
La ventaja aquí es que a menudo los informantes no están dispuestos a consagrarse
tiempo y energía por escrito los comentarios de lo que están dispuestos a dar en una cara
a cara encuentro. La mayoría de la gente a encontrar el habla menos gravar de escribir (y,
ya que es menos formal, les resulta menos categórica y definitiva).
Las entrevistas son más valiosos cuando se están utilizando para generar detallada
cuentas cualitativas. Es posible incluir preguntas en una entrevista que
pedir a la gente para proporcionar estimaciones cuantitativas, para hacer juicios sobre Likert-
escalas, y similares. Entrevistas telefónicas a gran escala se utiliza a menudo en este
manera, con encuesta de opinión profesional o personal de investigación de mercado la administración de un
cuestionario sobre cuyo contenido y tema que conocen poco. Pero el
compromiso de recursos evaluador a las entrevistas, sobre todo cara a cara
queridos, significa que tales entrevistas son más eficaces cuando la captura de la
amplitud y profundidad del material cualitativo que las encuestas se perderá gran parte.
________________________________________
Página 114
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
114
La entrevista se obtiene más de un conjunto de puntos de datos que sólo puede ser relacionada
junto estadísticamente. Se puede obtener la cuenta del entrevistado del programa,
un proyecto, o al menos la parte del programa o proyecto con el que él / ella
estuvo involucrado.
Así como los procesos que describen y los resultados, la
entrevistado nos puede ofrecer una comprensión de por qué los procesos y resultados
estaban relacionados juntos en formas particulares; lo que explica las anomalías y
regularidades; lo que el valor de los indicadores específicos puede ser; dónde ir para
una prueba más; y así sucesivamente.
La gente es naturalmente cuentistas, construyendo
relatos de sus experiencias. Un informe de evaluación será una narrativa de
tipo, sí. Las entrevistas son una técnica excelente para descubrir lo que el
narrativas de los participantes y las partes interesadas son.
El gran reto que esto plantea para los evaluadores es menos una de darle sentido
de los datos - los relatos son ricos en significado. El desafío es uno de
la validación y la integración de estas narraciones, y la información cualitativa detallada
que está articulado dentro de ellos. Esto se discutirá más adelante en el
preguntas sobre el análisis de los datos que se tratarán más adelante en este capítulo.
________________________________________
Página 115
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
115
6.10 ¿Cómo y cuándo debería centrarse Grupos y Talleres se utilizarán para
la generación de datos?
Los estudios de evaluación más amplio y de mayor duración suelen tener una dirección
Comité que ayuda en la especificación del estudio de evaluación, los comentarios
el diseño y los resultados provisionales, se hacen sugerencias en cuanto a presentación de informes, y así
sucesivamente.
El Comité de Dirección es probable que se compone de las partes interesadas y
representantes sobre todo de los usuarios finales, administradores de programas, la gente de la
comunidad de evaluación, y así sucesivamente. Sin embargo, es posible y algunas veces así
que vale la pena para crear grupos de trabajo de dibujo principal o exclusivamente en los participantes
y tal vez algún otro altamente involucrados interesados. Estos grupos se
por lo general sólo satisfacer en una ocasión (aunque, en principio, podrían satisfacer más
a menudo).
Se pueden utilizar temprano en el curso de una evaluación, donde se pueden probar
utilidad para plantear cuestiones sobre el programa que la evaluación tendrá que
tratar, donde los participantes pueden comentar (por ejemplo) propuesto
indicadores de impacto, y así sucesivamente. El principal problema con la creación de estos grupos
temprano en el curso de la evaluación es que los evaluadores pueden tener poco
la información de su cuenta para compartir con los participantes del programa, puede ser
difícil de definir exactamente cómo el taller debe operar, y puede haber
tanto menos para atraer la participación de los informantes deseados. Más tarde
en el curso de una evaluación, un taller puede ser un escenario ideal en el que
presentar y poner a prueba los resultados y conclusiones preliminares. También puede proporcionar
oportunidades para explorar los desacuerdos aparentes y cuentas divergentes.
Hay circunstancias en las que los informantes se procederá a mucha mayor profundidad
en el curso de un diálogo con los demás de lo que son propensos a hacer en caso de
escenario de la entrevista. Los talleres pueden generar intercambios entre los participantes
que les presione para justificar y explicar sus puntos de vista en detalle. Taller
enfoques, por último, suelen ser útiles cuando los enfoques más participativos
a la evaluación se están intentando, y son un elemento básico en la previsión
estudios (ver más abajo).
Existen numerosas variantes de grupo focal y el taller, a partir de un
gama de técnicas específicas (incluyendo la lluvia de ideas, juegos de rol, simulación
juegos, análisis de escenarios, y varias técnicas de creatividad). Mientras que el
herramientas tradicionales fueron rotafolios y pizarras, estamos viendo el aumento de
uso de soporte informático dentro de las reuniones cara a cara. (Estos últimos tienen la
ventaja de "capturar" una gran cantidad de información por vía electrónica, y
permitiendo que varios de los participantes en las vistas de entrada al mismo tiempo.) En cualquier caso,
la cuestión fundamental es planificar el proceso del taller con mucha antelación, y hacer
Asegúrese de que facilitador (s) son capaces de mantener el proceso en movimiento a lo largo, el regreso
discusión para el tema en cuestión, si se desvía fuera de tema, la resolución de conflictos, ya que
Levántate y mantener el interés y la participación de los participantes. Material
generada en el taller debe ser grabada y transcrita como fondo
posible - aunque esto no significa que en lugar de una gran cantidad de datos cualitativos puede
requerir procesamiento posteriormente.
________________________________________
Página 116
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
116
Cuadro 6.2 Factores a considerar en la elección entre los grupos de discusión y
entrevistas en profundidad
Factores a tener en cuenta
Utilice los grupos de enfoque
cuando ...
Utilice la entrevista en profundidad
cuando ...
La interacción del grupo
la interacción de los encuestados puede
estimular una respuesta más rico o
nuevo y valioso pensamiento.
la interacción del grupo es probable que sea
limitada o no productiva.
Grupo / presión de los compañeros
/ grupo de presión de los compañeros será
valiosa en impugnar la
pensando en los encuestados y
iluminando opiniones encontradas.
la presión del grupo / pares haría
inhibir las respuestas y enturbiar el
significado de los resultados. Color
Sensibilidad de sujetos
materia
tema no es tan
sensibles que los encuestados se
moderar las respuestas o retener
información.
tema es tan sensible
que los encuestados estarían
dispuestos a hablar abiertamente en un
grupo.
Profundidad del individuo
respuestas
el tema es tal que la mayoría
encuestados pueden decir todo lo que es
pertinente o todo lo que saben en
menos de 10 minutos.
el tema es tal que un mayor
profundidad de la respuesta por
individuo es deseable, como con
materia y tema complejo
muy bien informado
encuestados.
Fatiga colector de datos
es deseable tener uno
la conducta individual de los datos
recolección; algunos grupos no lo hará
crear fatiga o aburrimiento para
una sola persona.
es posible utilizar numerosos
individuos en el proyecto; uno
entrevistador se convertiría
cansado o aburrido realización de todo
entrevistas.
Alcance de las cuestiones que
cubierto
el volumen de asuntos a cubrir es
no muy abundante.
un mayor volumen de cuestiones
deben ser cubiertos.
La continuidad de la información
un solo tema está siendo
examinado en profundidad y cuerdas
de comportamientos son menos relevantes.
es necesario entender
cómo las actitudes y comportamientos
vincular de forma individual
base.
La experimentación con
guía de entrevista
se sabe lo suficiente para establecer un
guía de temas significativos.
puede ser necesario desarrollar
la guía de entrevista mediante la alteración que
después de cada una de la primera
entrevistas.
Observación por
las partes interesadas
es deseable que las partes interesadas
para escuchar lo que los participantes tienen
para decir.
Los interesados no necesitan
escuchar de primera mano las opiniones de los
participantes.
Logística
geográficamente una aceptables
número de encuestados de destino
se puede montar en una
ubicación.
encuestados se dispersan o
sin ensamblar fácilmente para otros
razones.
Costo y la formación
respuesta rápida es crítica, y
los fondos son limitados.
respuesta rápida no es crítica,
y el presupuesto permitirá mayor
costo.
Disponibilidad de personal cualificado
personal
facilitadores de los grupos de enfoque deben
ser capaz de controlar y gestionar
grupos
entrevistadores necesitan estar
oyentes y de apoyo especializados.
Nota:
"entrevistas en profundidad" en el texto original se refiere a las entrevistas de un-o semi-estructuradas.
Fuente: Anexo 7 del capítulo 3 en Alegría Frechtling y Laure de Sharp (1997) por el usuario
Manual friendly para Mezclado Método Evaluaciones Washington, National Science
Fundación.
________________________________________
Página 117
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
117
6.11 ¿Cómo y cuándo debería métodos observacionales pueden utilizar para
la generación de datos?
Las observaciones se emplean a menudo en el curso de evaluaciones en tiempo real, y
a veces en las evaluaciones intermedias y evaluaciones ex post donde hay una
oportunidad de participar en actividades que están siguiendo desde la
programa. Las formas típicas en las que los evaluadores sean aptos para ser dedicadas a la
evaluaciones implican la participación en las actividades del programa, tales como reuniones,
conferencias, eventos de difusión, o actividades similares en las que los programas de
pueden haber incidido, como ferias o eventos de la industria.
(De esta manera el
la observación de programas de innovación es probable que difiera de la de, digamos,
programas educativos - en este último caso los evaluadores pueden encontrarse
sentado en aulas o salas comunes de los profesores. Hay una mayor
problemas de los observadores que influyen en lo que se está evaluando en estos casos;
pero proporcionalmente se estarán examinando de manera más directa el trabajo que se está
influenciado por el programa. No es desconocido para los evaluadores que deben tomarse en
un recorrido por las fábricas, las oficinas o talleres, o para dar una demostración de
software o la oportunidad de escuchar en la línea de ayuda a las llamadas telefónicas, sin embargo.
Por lo general, a menos que haya problemas éticos involucrados, esas oportunidades son
bien vale la pena tomar el - que pueden proporcionar información muy valiosa sobre lo que el programa
se está tratando de lograr, y lo que ha ocurrido en el curso
de eventos.)
La investigación por observación proporciona al evaluador la oportunidad de ver cómo
el programa está en funcionamiento y / o que se responde, en la vida real
circunstancias. Normalmente, estos ajustes serán bastante naturalista, con limitada
influencia en el comportamiento de los participantes de la presencia de los evaluadores.
En reuniones más pequeñas, es posible observar una proporción bastante alta de lo que es
sucediendo. El reto puede ser una de la grabación de este, cuando muchas personas
están presentes e interactuar. En reuniones más grandes, será necesario ser
altamente selectivo sobre lo que observan y registran, y las decisiones tendrán que
hacerse acerca de cómo asignar el tiempo a través de diferentes partes del medio ambiente.
(Por ejemplo, un evaluador que está cumpliendo con la asistencia a un conjunto particular de
puestos de venta en una feria no podrán entrevistar a la vez a los transeúntes
por, o visitar otros puestos para ver si muestran alguna influencia de la
programa.)
Es importante esforzarse para validar el impresionista
conclusiones que se pueden sacar de más observación casual - por ejemplo,
un recuento del número de personas que asisten a una reunión o de pérdida es mucho más útil
de la opinión de que "no muchas" personas estaban en pruebas. El tipo de cosa que uno
es tratar de observar, y el tipo de datos que serán necesarios, requieren
atención en una etapa temprana.
Enfoques observacionales pueden ser de gran valor como fuente de
información de referencia para los evaluadores, incluso si la información que se genera hace
no formar los datos que se pueden extraer directamente en y citan. La participación en eventos
puede dar una buena impresión de lo que están llevando a cabo actividades y de cómo son
están llevando a cabo y recibidos, y también, quizás, cómo encajan en el más amplio
escena de la innovación.
Información sistemática puede ser desarrollado a partir de
la observación de eventos. La observación informal de un evento puede dar una idea
en cuanto a las cuestiones clave y posibles indicadores para elaborar en los acontecimientos futuros.
________________________________________
Página 118
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
118
6.12 ¿Cómo y cuándo se deben usar encuestas para generar datos?
Cuestionarios permiten una amplia muestra de informantes a alcanzar en
una manera relativamente rentable.
Mientras que las entrevistas cualitativas típicamente
proporcionar información en profundidad sobre unos pocos casos, las encuestas cuantitativas típicamente
proporcionar información estructurada más básica acerca de un número relativamente grande de
casos. (Al igual que con la mayoría de las declaraciones acerca de los métodos, hay muchas excepciones
a estas reglas.)
Las encuestas para estudios de evaluación fueron hasta hace poco llevó a cabo principalmente por postal
significa: informantes destinados se les envió una copia de un cuestionario por correo y
invitados o instrucciones para completarlo. Este método se encuentra con el problema de la baja
las tasas de respuesta, a menos que existan fuertes incentivos para dar respuestas;
Una forma de aumentar las tasas de respuesta ha sido la de dar seguimiento a la inicial
cuestionario con recordatorios frecuentes, incluidas las llamadas telefónicas. Telefónicos -
entrevistas basadas ha convertido en una profesión por derecho propio, y personal capacitado
utilizando sistemas informáticos de apoyo se emplea a menudo en las entrevistas
informantes industriales y de formulación de políticas. (Estas capacidades son ahora a menudo
proporcionado por empresas especializadas de investigación de la encuesta.)
Las encuestas son también a menudo
realizado utilizando correo electrónico cuestionarios y en línea cuestionarios. Estos
tienen la ventaja de ser fácil de distribuir a un gran número de destino
informantes, y el suministro de material en formato electrónico que está inmediatamente lista
para procesar. Sin embargo, los problemas de la baja tasa de respuesta se aplican a estos como a
cuestionarios postales.
Por lo general, un cuestionario de un estudio de evaluación se abordarán temas tales como:
las características del informante y la organización a la que representan; la
la implicación de la organización en el programa en cuestión (y en cualquier otro
programas pertinentes); lo que el rendimiento de la organización ha sido
y si se cree que son los impactos de diversa índole relacionados con
el programa (especialmente los que sugieren adicionalidad conductual);
si existen puntos de vista en cuanto a los impactos más amplios del programa (por ejemplo, en
redes que pertenecen a).
El diseño de los cuestionarios se ha discutido en profundidad en muchos
textos metodológicos, y este no es el lugar para discutir, por ejemplo,
diferentes tipos de escala, o incluso las reglas generales para la formulación de preguntas
que tales textos explican. El diseño de un cuestionario nos obliga a confrontar la
pregunta de qué indicadores estamos empleando de manera muy cruda. Para
mantener el cuestionario a un plazo razonable, las decisiones difíciles pueden necesitar
hacerse para determinar cuál de los diferentes líneas de investigación tienen que ser perseguido.
El otro gran problema al que nos enfrentamos en la investigación de la encuesta es el de
de muestreo . Puede ser posible enviar una encuesta o abordar un teléfono
entrevista a cada participante en un programa pequeño, pero con mayor
programas de los números de los participantes y los interesados pueden ser
inmanejable. El muestreo al azar no siempre es el mejor método para
tomar, ya que es posible que necesitemos para estratificar la muestra con el fin de estar seguros de capturar
las experiencias de algunos tipos clave de participante que se representan en los pequeños
números. Las estrategias de muestreo se discuten exhaustivamente en muchos de los
guías y textos que hemos mencionado anteriormente.
________________________________________
Página 119
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
119
Figura 6.1 Aspectos clave en el muestreo
Término clave
Definición
Significado
"Universo",
Teorético
Población
Todo el conjunto de casos
(Éstos son susceptibles de ser
organizaciones o
individuos) a los que el
los resultados son para ser
generalizada.
En gran parte de la investigación social
investigación se intenta
hacer una generalización en cuanto a
lo que el valor de un parámetro
o la fuerza de una relación
podría ser. En la evaluación
la investigación, estamos más a menudo
pidiendo lo que el efecto de un
intervención fue en específico
casos - pero a menudo somos
interesado en saber si tales
efectos pueden ser generalizados.
Estudio
Población
El conjunto de casos de
que los investigadores en
principio podría tener
acceso.
Una lista de programa
los participantes serán normalmente
disponibles, aunque algunos
individuos, organizaciones y
direcciones ya no
operar. La gama de personas
probable que sea indirectamente
influenciado por un programa
puede ser mucho más difícil de
establecer, y puede ser
hay que ir a un directorio
de negocios o otra
organizaciones.
Muestreo
Marco
El conjunto de casos que
los investigadores intentan
acceder.
Este marco se basa en
decisiones de los investigadores
tomar en cuántas
miembros de la estudio
población para intentar
contacto, y sobre qué base
(Por ejemplo, aleatorio o estratificado
muestra) estos serán seleccionados.
Muestra
Los casos en los que el
investigador es en realidad
capaz de generar útil
datos.
Los datos pueden ser más o menos
completar para diferentes casos.
Se requieren decisiones en cuanto a
lo completa una respuesta es
requerida para el caso de ser
considerado como un eficaz
miembro de la muestra, en lugar
que una falta de respuesta?
Fuente: Inspirado por Trochim (2005).
________________________________________
Página 120
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
120
6.13 ¿Cuáles son los métodos para la estructuración e intervenciones que exploran en
el curso de la generación de datos?
En las ciencias naturales y de algunos tipos de investigación social (como la psicología),
el "estándar de oro" en la producción de datos se controla experimentos. Para una
programa de innovación, esto significaría que actúa en el diseño de la
programa en sí mismo, no sólo en la evaluación. El diseño debe al azar
decidir quién debe y quién no debe participar en el programa, y
a continuación, los evaluadores pudieron comparar las experiencias de los dos grupos con el fin de
evaluar el impacto del programa sobre ellos. Ah, y no debe haber
necesitaría la comunicación entre los dos grupos, y los esfuerzos a realizar
para asegurar que no había influencias indirectas que tienen lugar a través de redes
o las cadenas de suministro .... Está claro que el ideal (izado) experimentos controlados se
no ser un lugar común en el diseño y evaluación de programas de innovación.
Producción y análisis de datos en los estudios de evaluación pueden tener oportunidades para
hacer algunos tipos de comparaciones, sin embargo. Las encuestas, por ejemplo, puede
construyen deliberadamente en los grupos de comparación. Los grupos de comparación no son ciertas
grupos de control , en los que un experimentador ha seleccionado quién y quién debe
No caigas en el grupo que recibió el tratamiento. Son grupos que no tienen
estado directamente involucrado en el programa que estamos evaluando, y que son tan
más cerca posible de los que estuvieron involucrados en el programa. No puede
ser un proceso de formación de "pares" que corresponden a las diferentes
participantes de la muestra para la atención, o la creación de un grupo de comparación en la
base del tratamiento estadístico de una gran base de datos de las organizaciones en las cuales
se dispone de datos pertinentes. En la fabricación de los Servicios de Extensión de la de Estados Unidos '
Tales encuestas grupo de comparación Programa se utilizaron en las evaluaciones de (inter
otras cosas) la importancia del programa en comparación con otros fondos para la investigación
programas, y algunos de los principales impactos del Programa. Shapira y
Kuhlmann (2003) informan que se utilizaron cuando las encuestas del grupo de comparación, el
resultados fueron más mixtos que cuando se utilizaron las encuestas de los participantes solamente.
Métodos estadísticos - Análisis multivariante - permiten el tratamiento de datos
en muestras de los cuerpos que difieren en muchas características, "control" para el
efectos de los parámetros (por lo que la suya es posible dado el tamaño de la muestra y
correlación entre los parámetros). Un método más ad hoc a menudo empleado por
investigadores es establecer "pares" para comparar, los casos que son tan parecidos
como sea posible excepto en términos de la variable crítica de interés (y su
correlatos o consecuencias - tales como los efectos de un programa
intervención).
En el curso de la investigación y los enfoques participativos de acción, la
intervenciones realizadas son bastante diferentes, lo que refleja los investigadores '
acoplamiento con los objetos de estudio.
________________________________________
Página 121
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
121
Recuadro 6.3 El Programa de Servicios de Extensión de Manufactura
El Manufacturing Extension Partnership (MEP) proporciona la fabricación
servicios para fabricantes de pequeñas y medianas empresas, al hacerlo, tiene como objetivo
mejorar el rendimiento y la competitividad de estas empresas. Los tipos de
servicios ofrecidos incluyen la difusión de información, la evaluación, la solución de
resolución, remisión, y la formación. El MEP es una iniciativa de colaboración entre
los gobiernos federal y estatales de Estados Unidos, que también involucra sin ánimo de lucro
organizaciones, instituciones académicas y grupos de la industria. Federal del MEP
patrocinador es el Instituto Nacional de Estándares y Tecnología (NIST), en el plazo
el Departamento de Comercio de EE.UU.. Mientras el patrocinador federal, NIST, realiza
una función de financiación y de coordinación en curso, los estados son también importantes proveedores de fondos
de la fabricación de los servicios de extensión. Una de las características interesantes de los EE.UU.
sistema de extensión de fabricación es el considerable esfuerzo puesto en
la medición del desempeño y la evaluación.
Los resultados de los estudios de evaluación MEP
Alrededor de 30 estudios de evaluación del programa han sido producidos por una variedad
de los autores de los últimos cinco años más o menos. Una variedad de métodos se han utilizado
en estos estudios, con algunos utilizando más de un método. Mientras que la mayoría
método común consistió en encuestar a los clientes, vale la pena señalar que la próxima
método más común fue una encuesta que también utilizó un grupo de comparación .
Los estudios de caso fueron el tercer método más utilizado. Cuando el control
encuestas de grupos se implementan, los resultados que se desprenden de la cartera de
estos estudios muestran resultados más variados que las encuestas sin comparación
grupos.
Perspectivas de evaluación de MEP
El caso MEP ilustra que la evaluación implica mucho más que 'la recogida de
información ". Los recursos deben ser asignados para analizar los datos de manera que
son útiles para los administradores de programas, personal, patrocinadores y las partes interesadas externas.
Resultados (ya sea bueno o malo) es necesario explorar para comprender lo que
causada qué y por qué y cuánto es atribuible al programa. Bueno
estudios de casos son a menudo vale la pena aquí. El caso MEP subraya que
la evaluación debe ser la tarea no sólo de justificar el programa de financiación
patrocinadores, sino también con la promoción del aprendizaje y la mejora del programa . Si este
es para tener éxito, también es importante que una comunidad de evaluación puede estimular
y con el apoyo (a través de capacitación, talleres y la interacción electrónica) para
permitir el desarrollo de la capacidad de evaluación, la aplicación de robusta y
métodos innovadores y la difusión activa de los resultados. Esta comunidad
tener oportunidades y requisitos para participar en el diálogo sobre
resultados, las necesidades y las implicaciones con directores de programas, patrocinadores, la industria
representantes y legisladores.
Fuente: "Evaluación de Manufactura Servicios de Extensión en Estados Unidos:
Experiencias y Perspectivas " , por Philip Shapira en P. Shapira y S, Kuhlmann (eds.
2003)
________________________________________
Página 122
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
122
6.14 ¿Cuáles son los métodos para el análisis de datos?
El análisis de datos debe planificarse en una etapa temprana, porque las ideas acerca
qué tipo de análisis deben llevarse a cabo son muy importantes en
diciéndole al investigador qué tipo de datos para generar y cómo codificar y
procesarla. Muchas personas se han establecido para amasar enormes volúmenes de datos con
sin pensar en la precisión con que se puede utilizar, y luego se vieron
tener que subir una empinada curva de aprendizaje con el fin de extraer el sentido de la misma. Hay
son también a menudo muchos remordimientos sobre cómo fue diseñado el cuestionario, el
los datos fueron codificados, cómo el material fue o no introduce en un ordenador
sistema. Pensando en el análisis de datos en una temprana etapa de la obra puede ayudar a
(A) asegurarse de que usted está haciendo las preguntas correctas, con el derecho
instrumentos y (b) asegurarse de que está capturando la información de una manera
que se puede utilizar de manera eficiente.
Análisis de datos cuantitativos es una cuestión de métodos estadísticos y los medios para
la visualización de datos. Hay muchas guías útiles aquí, y un número de bien-
programas informáticos conocidos para la generación de resultados usando rutinas que van desde
lo más básico hasta el más sofisticado. Lo que estos programas no hacen
así es para advertir al usuario acerca de los errores básicos que se pueden hacer - como el uso
de las pruebas de significación en circunstancias inapropiadas (muy común en aplicada
investigación social).
Análisis de Datos Cualitativos es otra cosa - hasta hace muy poco no había
numerosas guías sobre cómo llevar a cabo las entrevistas, pero muy poco acerca de cómo utilizar
las masas de texto que puede ser generado a partir de ellos. Saber si el
conclusiones extraídas de un conjunto de entrevistas son los sólidos fue en gran medida un
cuestión de la fe en el investigador. Más recientemente se han convertido en disponibles
paquetes de software para la codificación y el análisis de la entrevista y otra basada en texto
datos, y varios textos de gran utilidad revisar la gama de métodos y
buenas prácticas aquí.
Técnicas tales como "meta-análisis" son cada vez más ampliamente utilizado como formas
de extraer conclusiones a partir de una serie de estudios individuales. (Por ejemplo,
Kingsley y Klein (1998) utilizaron una metodología de meta-análisis para analizar 123
estudios de caso de las redes industriales, concluyendo que la membresía de la red puede
se construirá con el patrocinio de las organizaciones de padres y con financiación pública -
pero las redes que generan nuevos negocios están asociados con la privada
el liderazgo del sector y por lo menos algún tipo de financiación del sector privado.)
Un buen lugar para comenzar a las herramientas de análisis de datos es examinar los distintos
manuales que están disponibles - muchos publicada por las publicaciones de Sage, que tiene
sido muy sistemática en la zona. Un sitio web útil en la evaluación de muchos
enlaces a análisis de datos y otras cuestiones metodológicas se localiza en:
http://www.edc.org/hec/eval/links.html
________________________________________
Página 123
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
123
Las fuentes para el análisis de datos cuantitativos :
Guía útil canadiense
a presentar
y el análisis de las estadísticas:
http://www.statcan.ca/english/edu/power/toc/contents.htm
La versión en línea de una guía de introducción (de la GAO EE.UU., que también ofrece
otros recursos de evaluación correspondiente):
http://www.gao.gov/special.pubs/pe10111.pdf
Las fuentes para el análisis de datos cualitativos:
Un diario en línea se encuentra en: http://www.qualitative-research.net/
Las fuentes de software: http://www.uwm.edu/People/brodg/CQDAbib.html
La guía clásica para el tema es: Miles, MB, y Huberman, AM (1994).
El análisis de datos cualitativos: Un libro de expansión (2 ª ed.) London: Sage
Patton, MQ (1990) Evaluación Cualitativa y Métodos de Investigación (2 ª ed.)
Beverly Hills, Sage,
________________________________________
Página 124
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
124
6.15 ¿Cuáles son las ventajas de combinar cualitativa y cuantitativa
enfoques?
Los datos cuantitativos son poderosos medios de expresar el alcance y la escala de
problemas e impactos, y se convierten más fácilmente en los valores monetarios como
requerido en el análisis de costo-beneficio y esfuerzos para calcular las tasas de retorno sobre
inversiones. Los datos cualitativos pueden proporcionar una idea de los procesos, ya que tienen
han experimentado. Algunos políticos exigen resultados cuantificados, prefiriendo
cifras y gráficos; otros prefieren narrativas y estudios de caso. Uno de nuestra
entrevistados, con sede en Suiza, señalaron que:
"Hay una cierta tensión entre los evaluadores prefieren un
cualitativa enfoque y los que prefieren una cuantitativa uno.
Esta tensión lleva a una incertidumbre para los responsables políticos como a la
estrategia de evaluación adecuado que debe seguir. Una más
intenso debate entre los diferentes "escuelas" de la evaluación
pensamiento ayudaría a que todos los involucrados se dan cuenta de que los métodos podrían
ser utilizado complementariamente entre sí ".
En algunos casos, existen fuertes presiones institucionales en favor de uno u
otro enfoque. Por lo tanto, la necesidad en los EE.UU., el papel de la evaluación es muy
mucho más orientada a la justificación del gasto público y de utilizar la evaluación como
proporcionar evidencia de la repercusión de los programas. En los EE.UU. esto ha llevado a
énfasis en una más cuantitativa enfoque de medición del desempeño en
términos de objetivos: la Ley de Desempeño del Gobierno EE.UU. se describe a continuación tiene
impuesto esta en las agencias en cada ámbito de actuación, por ejemplo. (Ver Cuadro 6.3)
Análisis puramente cuantitativo no es apropiado para algunos tipos de innovación
programa, sin embargo. Por ejemplo, la promoción de la formación de agrupaciones es una
importante objetivo político en muchos países. Con el fin de evaluar cualquier cambio
en el volumen y la calidad de los vínculos entre las partes interesadas en un clúster,
evaluadores pueden necesitar para examinar las interacciones con una mezcla de enfoques
(Incluyendo encuestas, entrevistas y algunos intentos de mapeo de red).
Frechtling y Sharpe (1997) se centraron en los "métodos mixtos", en referencia a un
combinación de métodos cualitativos y cuantitativos en los estudios de evaluación.
13
A la revisión de los argumentos a favor y en contra de cada enfoque, y consideran que la
argumentos a favor de la combinación de los dos, como ser:
♦ Mejora de la triangulación de los resultados, ya que los diferentes tipos de técnica
se están utilizando para obtener una visión de los mismos fenómenos (o diferente
aspectos de un mismo fenómeno), proporcionando así mejores perspectivas sobre la
situación compleja.
13
El manual se refiere a la evaluación de los programas de enseñanza y la educación, pero gran parte de
la discusión es más genérico.
________________________________________
Página 125
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
125
♦ Mejora de la medición y los indicadores (por ejemplo, mediante el uso de enfoque
grupos para identificar las posibles preguntas para una encuesta, o hacer comentarios sobre los borradores
de tales preguntas).
♦ Identificar los puntos donde puede ser necesario el marco de evaluación para ser
extendida - temas que deben ser cubiertos, inconsistencias en los resultados que
deben ser abordados, y similares.
A estos agregaríamos:
♦ Capacidad de combinar una visión en profundidad y la comprensión de los procesos con un sentido
del amplio paisaje y la medida en que los casos individuales pueden ser
generalizada.
♦ Capacidad de generar diferentes tipos de cuenta de tal manera que diferentes
las audiencias se pueden abordar.
________________________________________
Página 126
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
126
Recuadro 6.4 El Desempeño y Resultados del Gobierno Act (GPRA)
En 1993, el gobierno federal de EE.UU. aprobó el desempeño del gobierno
and Results Act (GPRA). Esta Ley se inspira en la legislación similar ya
en su lugar en los estados, y en varios otros países. La ley requiere que cada
agencia para hacer un plan estratégico cada tres años; traducirla en específico
rendimiento de los planes anuales de objetivos cuantificados sobre los indicadores de desempeño;
e informar cada año sobre si se cumplieron los objetivos.
Debido a que los programas de IDT orientadas a la industria ya estaban fuertemente evaluados,
la mayoría de las agencias federales han sido capaces de utilizar indicadores de rendimiento existentes
para responder a los requisitos de GPRA. NIST, por ejemplo, se ha basado en la
Caso ATP estudia en su informe sobre la ejecución. La necesidad de rendimiento
indicadores a nivel federal ha dado forma también lo que sucede en los estados.
Programa de extensión de la fabricación del NIST ha dado forma a la lista de los datos de seguimiento
e indicadores de desempeño utilizados en muchos programas de extensión del estado.
Siguiendo el patrón en el sistema de los EE.UU. en general, sin embargo, ha sido GPRA
implementado altamente desigual. Muchos de los programas enumerados anteriormente son demasiado
pequeña para que aparezca en su cuenta en GPRA planes estratégicos o informes de rendimiento.
Incluso los programas federales en esta categoría pasan por diferentes sectores de la
El presidente de la Oficina de Administración y Presupuesto, ya través de diferentes
Los comités del Congreso. Cada una de estas oficinas y comités ha tendido
para desarrollar sus propias expectativas, que varían considerablemente. Elementos de la industria
esquemas orientados IDT que no toman la forma de programas con presupuestos
(por ejemplo, créditos fiscales) no están sujetos a examen GPRA en absoluto. En términos de
impacto, la evidencia hasta la fecha no indica que el rendimiento GPRA
medida está teniendo un impacto significativo en la asignación de recursos por
legislaturas. A nivel estatal, los indicadores de rendimiento parecen ser reportados en lugar
superficialmente, y anécdotas de éxito tienen más efecto. A nivel federal, un
nuevo informe sobre la aplicación GPRA identifica la falta de uso de los indicadores como
un factor de-motivador para muchos organismos. La falta de conexión a los recursos
asignación no quiere decir que la Ley en su conjunto no está teniendo un impacto.
Muchos observadores señalan que la planificación y el desempeño estratégico de evaluación es
agencias obligando a pensar a través de sus misiones con mayor cuidado y asegurarse de que
lo que están haciendo en una base día a día apoya esas misiones. Así
los cambios en la asignación de recursos internos puede ser un mejor indicador del impacto de
la ley de los cambios en el Congreso. Asimismo, el desarrollo de indicador
los sistemas, en lugar de los niveles reales de los propios indicadores, pueden tener
el mayor impacto en las operaciones de la agencia.
Fuente: Una revisión internacional de los métodos para medir la eficacia relativa
de los instrumentos de política tecnológica (julio de 2001), Informe de Tecnópolis
(Países Bajos), el Instituto de Tecnología de Georgia (EE.UU.) y la Universidad de
Sydney (Australia).
________________________________________
Página 127
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
127
Recuadro 6.5 Mixed-Método de evaluación: el caso de EUREKA
La primera evaluación de la EUREKA iniciativa (Ormala et al., 1993) proporciona un
útil ejemplo de la combinación metodológica cualitativa y cuantitativa
enfoques. Creado como una iniciativa intergubernamental en 1985, EUREKA
tiene como objetivo mejorar la competitividad europea a través de su apoyo a los
empresas, centros de investigación y universidades que llevan a cabo paneuropeo
proyectos para el desarrollo de productos innovadores, procesos y servicios. EUREKA
ofrece a los socios del proyecto un acceso rápido a una gran cantidad de conocimientos, habilidades y
experiencia en toda Europa. A través de un proyecto EUREKA, los socios desarrollan nueva
tecnologías para las que están de acuerdo los Derechos de Propiedad Intelectual y construyen
asociaciones para penetrar en nuevos mercados.
El análisis de la evaluación se basa en tres niveles de información que utilizan
diferentes tanto cualitativos como cuantitativos enfoques metodológicos.
Nivel 1 fue la compilación de datos sobre las características básicas de los proyectos
y los participantes, realizadas a través de una recopilación de datos en poder de nacionales
administraciones y otras fuentes documentales.
Análisis de Nivel 2 consistió en la identificación de directa e indirecta económica
efectos de los proyectos. Esto implicó el envío de cuestionarios distintos a los consumidores industriales
y los participantes no industriales en el marco de la muestra. Las tasas de respuesta parecen
muy bueno, con un promedio de alrededor del 57%.
Nivel 3 información se recogió a través de un análisis en profundidad de un
muestra representativa de los proyectos. Una muestra representativa de 73 proyectos
(17,5% del total) fue seleccionado para ser entrevistado en profundidad de los cuales 70 eran
finalmente completado. Estos problemas sólo pueden abordarse a través de la
combinación de ambos enfoques cualitativos y cuantitativos, como se indica
anteriormente.
________________________________________
Página 128
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
128
6.16 ¿Qué es el Análisis Costo-Beneficio?
El análisis de costo-beneficio (ACB) se basa en la simple idea de que un proyecto o
programa puede ser evaluado en términos de las clases de beneficios y costos
que están asociadas con ella. Estos beneficios y costos se ponen en una común
marco contable mediante la asignación de valores monetarios a los mismos. Entonces el
méritos relativos de los diferentes proyectos o programas, o la eficiencia global del
una sola opción, se puede evaluar aritméticamente. Esta simple idea requiere un
número de bastante complejas - y con frecuencia polémicos - pasos para ponerlo
en práctica:
♦ (Ex post) de medición o (ex ante) la estimación de los costos y beneficios -
este se encuentra con el conocido problema de limitaciones en ser capaz de cuenta
para el rango completo de costos y beneficios (incluyendo inesperado
resultados).
♦ Asignación de valores monetarios a estos - en particular controversia ha surgido
alrededor de (a) la valoración de la salud humana y la vida (adjuntando un valor monetario a
una vida individual puede causar un profundo malestar) y (b) la valoración de
sitios ambientales y artefactos históricos (donde puede haber
modificación o destrucción de bienes cuyo valor a futuro irremediablemente
generaciones es impredecible).
♦ Decidir cómo hacer frente a las incertidumbres - los análisis de costo-beneficio a menudo han
se llevó a cabo en el supuesto de que un futuro "más probable" es el único
futuro que podemos o debemos planificar.
♦ Decidir cómo hacer frente a las cuestiones de la equidad y la distribución desigual de los costos
y beneficios que son susceptibles de surgir - ha habido controversias en cuanto a
el trato desigual de personas diferentes, por ejemplo en el supuesto
análisis de costo-beneficio de los programas de transporte que el tiempo de los ejecutivos
se debe asignar un valor mayor que el de las amas de casa. Generalmente,
CBA no trata de evaluar los impactos en los diferentes grupos, en el supuesto
que las valoraciones del mercado proporcionarán información suficiente para abarcar
impacto en la sociedad en general. Podría, sin embargo, que permitan evaluar el
impactos diferenciales integradas, aunque otros enfoques son más a menudo
aplicado a tales cuestiones.
♦ Determinar la forma de descontar los costos y beneficios futuros - , mientras que el estándar
las tasas de descuento económicos se pueden aplicar, estas pueden conducir a muy pequeña
importancia que se adjunta a los costos o beneficios a largo plazo .
Costo-beneficio se acerca las necesidades de toma de decisiones de ajuste y rutinas tan bien que
están profundamente arraigados en la práctica institucional. Con tal de que no son
visto como la respuesta completa (más bien son uno de un número de enfoques
para evaluación), y siempre y cuando no es un reconocimiento apropiado de
incertidumbres y
discutible
supuestos
(Especialmente
como
saludos
monetización), pueden ser útiles en la evaluación. La cuestión principal es
si podemos y de hecho debemos tratar de reducir los objetivos de política y
decisiones en los parámetros monetarios.
________________________________________
Página 129
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
129
Tabla 6.3 Tipos de costos y beneficios privados y sociales
Individual
Partners
Programa
Patrocinador
(Gobierno)
Sociedad
Beneficios
• En utilidad neta
Lucro
• Adicional
Los beneficios de la
Traslados
• no económicos
Beneficios
• Costo de oportunidad
de Participación
• Los ingresos tributarios
• Disminución de la
Otras subvenciones
• Costos de Impuestos
• Aumento de la
Ingreso Nacional
(Efecto directo)
• efectos indirectos
(Efecto indirecto)
• Oportunidad
Costos (Cruz
Ganancias del
Otro Potencial
Programas)
Costos
• Directo
Participación
Costo
• Pérdida de
Las subvenciones del
Otro
Programas
• Project &
Administración
Costos
• Programa
Costos
Fuente: Cuadro 12, en Wolfgang parcela y Birgit Woitech "Costo Beneficio
Análisis "de la sección 4.7 del informe ePUB (Comisión Europea, 2002).
Se recomienda utilizar esta fuente para una evaluación detallada y prudente de ACB como
aplicado a los programas de investigación, con una bibliografía útil de los enfoques de
CBA.
________________________________________
Página 130
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
130
6.17 ¿Cómo puede el análisis coste-beneficio se utiliza?
De parcela y Woitech (2002, p.144) resumen útilmente los pasos de costo-beneficio
Análisis de la siguiente manera:
" Paso 1: Identificación y separación de los costos y beneficios pertinentes
[...] los costos y los beneficios pueden ser directos o indirectos, materiales o inmateriales,
interno o externo. Los problemas pueden surgir de los costos o beneficios que no son
asignado a un determinado proyecto o programa.
Paso 2: Estimación del valor monetario de los costos y beneficios
Todos los costos y beneficios pertinentes deben ser cuantificados en términos monetarios. Donde
existen mercados suficientemente perfectos precios de mercado pueden ser utilizados para determinar la
impactos. Las dificultades surgen cuando los precios de mercado no reflejan el verdadero
costos o beneficios marginales. Esto es a menudo el caso de los intangibles y externa
efecto. Como se describe en la sección I SOMBRA precios deben calcularse al valor de
estos efectos.
Paso 3: Descontando
Dado que los costos y beneficios que ocurren en diferentes momentos que deben ser descontados a
una tasa apropiada para hacerlos comparables. La elección de la tasa de descuento adecuada es
una tarea importante. Por lo tanto, los análisis de sensibilidad se recomiendan con el fin de
variar sistemáticamente parámetros inciertos para ver qué efecto tienen sobre la
resultados.
Paso 4: La agregación
Después de descontar los diversos efectos de un proyecto o de valores presentes netos del programa,
relaciones beneficio-costo o tasa interna de retorno se pueden calcular ".
En términos de contribución a la evaluación de manera más amplia, ex ante CBA debe ser un
herramienta útil para el desarrollo de políticas y programas exitosos. Es
más importante que la precisión con la que se prevé a posteriori los costes y
beneficios. Del mismo modo, a posteriori CBA no es principalmente una cuestión de la evaluación de la
la precisión de las estimaciones ex ante, sino una fuente de conocimiento para la política futura.
La realización de un ACB no es sólo una cuestión de rutina de la creación de una hoja de cálculo para
informarnos sobre el "resultado final"; puede ayudar a las organizaciones a entender la clave
fuentes de incertidumbre, ¿qué riesgos existen, y así sucesivamente.
NERA (2004), la revisión de las lecciones aprendidas sobre el enfoque en un gran riesgo
configuración de directiva propensos
14
, Concluyó que: "donde existe una incertidumbre significativa,
análisis de escenarios debe ser utilizado para probar la política bajo una gama de posibles
resultados; y en la publicación de la ACB, [patrocinador] debería identificar cualquier
importantes áreas de incertidumbre o riesgos para el éxito de la política, incluyendo
algún ejemplo de la gama y las probabilidades informó ... "(p21). Ex post CBA
debe llevarse a cabo cuando: "había una incertidumbre significativa sobre el
impacto de una política antes de la aplicación; Se proponen intervenciones similares en
otras áreas; y costes en curso son altos en relación con los costos hundidos ". NERA
recomienda "que el ex foco puesto CBA en investigar los impactos de políticas específicas
en lugar de intentar necesariamente una evaluación del impacto neto total (es decir,
intentando reproducir un ante CBA ex en forma ex post) "(p24-25).
Aunque estas conclusiones provienen de una arena política diferente, que parecen
ampliamente aplicable a la evaluación de programas de innovación.
14
El estudio de evaluación del impacto normativo ocupa principalmente en relación con las normas alimentarias,
aunque se prestó atención a los ejemplos de otras circunstancias.
________________________________________
Página 131
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
131
Recuadro 6.6 El análisis de costo-beneficio social para la evaluación de la I + D
programas: un ejemplo de Australia
"La metodología básica es uno de un marco de costo-beneficio social, basándose en la
importante (pero descuidado) obra de Fölster (1991). Gran parte de la utilidad de la
marco se deriva de la forma en la que se obliga al evaluador que ser específico acerca de dónde
y cómo es probable que se manifiesta, así como la enumeración de los beneficios o los costos, aunque
bastante crudamente, las probables magnitudes.
El marco de costo-beneficio da una apariencia de precisión y una base científica
que es sólo de forma incompleta fundada. Muchos de los parámetros esenciales para la realidad
la enumeración de los beneficios de los subsidios de innovación no están disponibles con una gran precisión, si
en absoluto. Esto implica que un cierto grado de análisis de sensibilidad debe ser parte de cualquier
evaluación, y, en el apartado de "resultados de costo / beneficio", se explora cómo los resultados varían
como cambiamos los parámetros "
NSB MARGEN PROPAGACIÓN DE FUGAS MEB ADMIN CUMPLIMIENTO RENTSEEK
=
+
-
-
-
-
-
, En donde
MARGEN
PB
PB
i ER r
r
subsidio
mercado
subsidio
mercado
=
-
= ×
-
(
)
(
)
es la diferencia (si los hay) entre
la tasa privada subsidio puesto de retorno (r
subsidio
) En I + D (inducido
yo
ER
×
) En comparación con
usos alternativos de esos recursos (r
mercado
). ER es elegible de I + D e i es el incentivo
tasa (igual a 0 si no hay ningún aliciente y en 1 si la totalidad de la I + D llevada a cabo por una empresa de
que es nuevo);
PROPAGACIÓN = θ × i × ER son beneficios indirectos de R + D inducida (a una velocidad de θ por
dólar de I + D inducida). Retornos indirectos son aquellos beneficios derivados de la I + D el gasto
que no son capturados por el inversor privado;
MEB ms ER m R
=
× ×
=.
es la carga excesiva marginal de impuestos, es decir, los costos sociales
asociado con aumento de los impuestos con el fin de financiar reducciones en ingresos debido a los negocios
el gasto en I + D. elegibles MEB es igual a mR donde m es el exceso marginal
carga por cada dólar de los ingresos fiscales sacrificados y R es la condonación de ingresos fiscales.
FUGA es la fuga de los beneficios fiscales a los accionistas extranjeros. Tales fugas ocurren solamente en
el elemento de transferencia de la I + D. ADMIN son los costos administrativos del Gobierno de la
programa, incluyendo los gastos puramente administrativos de la crianza de los ingresos fiscales (que son
no incluido en el MEB). CUMPLIMIENTO mide los costos de cumplimiento empresarial
asociado con el programa. Por último, RENTSEEK representa los recursos gastados por
las empresas y sus representantes en el cabildeo para disposiciones más generosas o en tratar de
resistir la erosión de los beneficios ".
Fuente: Tomado de Lattimore 1998
________________________________________
Página 132
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
132
6.18 ¿Los métodos que utilizamos varían según el tipo de evaluación?
Principios metodológicos siguen siendo de la misma cualquier clase de evaluación
estamos adoptando, aunque surgen algunas cuestiones específicas cuando, por ejemplo, estamos
la adopción de enfoques más participativos. (Por ejemplo, puede haber algunos
trade-off entre el rigor y la participación, aunque este conflicto aparente es
probablemente algo exagerada.) La atención también debe ser abordado a
si nos dedicamos a la ex ante, en tiempo real, o la evaluación ex post, ya que el
diferentes circunstancias involucradas en estos diferentes puntos de tiempo son susceptibles de
afectamos a qué tipo de datos podemos emplear y qué métodos son, por tanto,
disponible.
Vamos a considerar estos tres tipos de evaluación a su vez, a continuación, pero puede
ya compararlas y contrastarlas en términos generales:
♦ evaluación ex ante no puede tener datos sobre el impacto real de trabajar, a menos que
se basará en los resultados de los estudios piloto.
♦ evaluación en tiempo real se puede utilizar observaciones y examinar los procesos como
que se están desarrollando.
♦ Evaluación intermedia puede ser capaz de hacer algunas de estas cosas que en tiempo real
evaluación puede,
♦ Evaluación Ex Post puede examinar los impactos, aunque estos por lo general tienden a
ser a corto plazo y los inmediatos.
Muchos de los mismos métodos pueden ser aplicados en los diferentes tipos de evaluación,
en la medida en que tipos similares de datos están disponibles.
________________________________________
Página 133
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
133
6.19 ¿Qué métodos son útiles para ex ante La evaluación?
Típicamente, ex ante las evaluaciones se utilizan para proporcionar respuestas a las preguntas de
incertidumbre y riesgo - ¿Cuáles son los posibles efectos e impactos de esta política
intervención? ¿Qué hay para esta inversión del programa - es que vale la pena en
términos de valor por dinero, en términos de lograr la deseada (social,
resultados ambientales, económicos)? En el momento de una evaluación ex ante, que
no tenemos datos sobre los impactos - que es una de las razones por los autores de este
Guía a regañadientes el uso del término "evaluación" para estas actividades - a menos
se han realizado ensayos piloto para aprovechar, o el programa es muy de cerca
sobre la base de un programa anterior. Incluso si hay datos como de piloto
ensayos o programas anteriores, es poco probable que los resultados pueden ser simplemente
generalizado al caso actual. (Pilotos, en particular, a menudo dan lugar a una alta
Las expectativas de que posteriormente se deprimen: parece que la energía inicial y
entusiasmo rinde dividendos, pero que esto es difícil de mantener en el transcurso
de un programa más grande. Además, a menudo los reclutas a los pilotos - y esto también puede
aplicar a precursor programas - son los "fruta madura", los casos en los que
éxito es más probable.)
Dada la falta de datos sobre el impacto del programa en sí, evaluaciones ex ante se
suelen implicar algún más o menos sofisticado enfoque de modelado. En
la práctica, esto ha sido a veces una cuestión de la aplicación de la relación costo-beneficio
análisis y técnicas afines, como el intento de estimar los efectos directos e
impactos indirectos de un programa a través de las tablas input-output. Más a menudo,
métodos bastante menos formales (y restrictivas) se utilizan a menudo. La innovación
proceso es conocido por ser un complejo, con diferentes innovaciones siguiente
patrones que varían considerablemente en detalle, aunque podemos emplear con frecuencia S-
curvas para representar las velocidades de difusión, y así sucesivamente. Si bien gran parte de análisis de políticas
se basa implícitamente en un modelo lineal de innovación, que ha sido ampliamente
descontado por los investigadores en el campo, más complejo análisis de la innovación
sistemas y clusters industriales están informando el desarrollo del programa - y
análisis ex ante - en las instituciones con una cultura más avanzada de
evaluación. A menudo, la complejidad de las relaciones siendo examinado - y
intervenido en - es tal que los métodos de juicio de expertos se emplean, por ejemplo,
el uso de paneles y grupos de trabajo en los estudios de prospectiva.
________________________________________
Página 134
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
134
Recuadro 6.7 Los métodos utilizados en la evaluación ex ante
El ex ante evaluación de programas y políticas puede emplear una serie de
metodologías, que incluyen:
♦ Los estudios de prospectiva: Estos utilizan una búsqueda de consenso estructurado
metodología basada en los juicios de expertos. En pocas palabras,
proporcionar una visión más social, evidente, económico y
oportunidades y los resultados disponibles para desarrollo tecnológico
planificadores de políticas.
♦ Modelización y simulación: Estos utilizan modelos cuantitativos
enfoques para derivar una única o una serie de escenarios posibles
(A través de la modificación de variables clave) a fin de estimar la
impactos socio-económicos de las intervenciones políticas.
♦ técnicas de costo-eficiencia: Una vez más, éstos utilizan cuantitativa o semi-
enfoques cuantitativos para evaluar los costos y beneficios
asociado con la intervención de la política.
♦ técnicas de costo-beneficio: Como indica su nombre, este enfoque es
utiliza para comparar, en términos monetarios, la gama de social y privado
costos y beneficios de un programa a fin de comprobar que la
equilibrio entre los costos y beneficios es positiva. La
técnica también se puede adaptar para incorporar incertidumbre y el riesgo.
Fuente: parcela y Rojo, 2002 - RTD Evaluación Herramientas
________________________________________
Página 135
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
135
6.20 ¿Qué métodos son útiles en la supervisión?
En esta Guía, tomamos "seguimiento" a ser el proceso del programa de examen
actividades durante el transcurso del programa. Es más de una rutina
actividad de gestión de una evaluación en tiempo real. Esencialmente, se trata
el examen de las actividades y gastos para determinar si éstos son
proceder de acuerdo al plan, si se tropieza con problemas, y
así sucesivamente. En algunos casos, el monitoreo puede tomar los amplios objetivos y actividades
del programa por sentado, y no se ocupa de sondear el
efectos e impactos del programa, excepto la medida en que están afectando
progreso previsto. Sin embargo, el monitoreo ofrece una valiosa oportunidad para
captura, de forma rutinaria y cerca del momento en que se genera, información de
relevancia a las salidas, los objetivos, el rendimiento y el progreso de la
programa. De esta manera se evita o, al menos, facilita la frecuencia de recursos-
intenso proceso de recopilación de datos necesaria por muchos ex post evaluaciones.
Como tal, el monitoreo puede emplear una variedad de cualitativo, cuantitativo y
métodos econométricos, similares a las empleadas en ex post evaluación, a
la consecución de sus objetivos primarios de recogida de información. Por ejemplo, aparte
desde la recogida sistemática de información de salida de la rutina y los datos de actividad
(Por ejemplo, publicaciones, proyectos realizados, la utilización de los recursos, la formación
de las conexiones de red, etc), las tareas más analíticas se pueden realizar, tales
como entrevistas o encuestas a los participantes del programa para revisar no identificado
los resultados del proceso, las encuestas de los beneficiarios del programa para comprobar el
beneficios no anticipados, etc
________________________________________
Página 136
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
136
Recuadro 6.8 Métodos para el Monitoreo
El kit de herramientas de AmeriCorps (2003) hizo la siguiente evaluación de
ventajas y limitaciones de algunos de la monitorización más frecuente
métodos:
Método
Características
Ventajas
Restricciones
"Entrevistas"
Se recogen datos
por vía oral. El entrevistador
pide claramente definido,
preguntas sistemáticas.
Por lo general, las preguntas son
predeterminado y
limitada a una determinada
tema. A veces
existen adicional
preguntas formuladas a
provocar una más detallada
respuesta.
Los datos
demostrar específica
ejemplos de la
resultado observado de
los programas.
Entrevistas permiten
flexibilidad.
El entrevistador debe
ser experto en el
proceso de
entrevistas y
llevar a cabo la
entrevistas en un
de manera sistemática para
garantizar imparcial
resultados.
«encuestas»
Se recogen los datos
en un formato escrito.
Cada encuestado
proporciona datos sobre un conjunto
de claramente definido
preguntas.
Los datos pueden ser utilizados
para demostrar
ejemplos específicos de
el observado
resultado de
programas.
Es difícil
equilibrar específico y
preguntas generales
y asegurarse de que
grande o inesperado
cuestiones que no son
fallado. Estudio
instrumentos deben estar
terminado
constantemente para evitar
resultados sesgados.
'Enfoque
Grupos '
Un moderador guía una
discusión en grupo
participación de seis a diez
personas
en representación específica
grupos de interés.
Los grupos focales proporcionan
específica, pertinente
datos. Grupo
interacción puede
producir más
información de la que
entrevistas individuales.
Un conjunto específico de habilidades
se requiere de la
grupo de enfoque
moderador. Los datos son
difícil resumir
sucinta.
________________________________________
Página 137
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
137
6.21 ¿Qué métodos son útiles en tiempo real y evaluaciones intermedias?
En esencia, la evaluación en tiempo real se extiende el nivel y detalle de la evaluación
más allá de la acumulación de más rutinizada de los datos y la información inherente a
monitoreo (véase más arriba). Un tratamiento detallado de evaluación en tiempo real es
presentada en el capítulo 4.
Evaluación en tiempo real se puede utilizar muchos de los métodos utilizados en ex post
evaluaciones (véase más adelante), aunque es, por supuesto, no puede utilizar datos que pueden
sólo se genere después de la terminación del programa.
En tiempo real
evaluaciones tienen la gran ventaja, sin embargo, de ser capaz de utilizar
técnicas de observación. Los evaluadores pueden participar en una amplia gama de
las actividades del programa, la grabación y actividades que documentan, conseguir un control sobre
los procesos que están en marcha. El proceso de participación es susceptible de
hacer de la evaluación un pedazo de la investigación-acción , en la que los evaluadores
sí puede intervenir en los procesos. Normalmente los términos de referencia
se les da, será necesario que lo hacen, a pesar de que es posible especificar que
se adopta una posición más independiente (al menos por un periodo de tiempo). Típicamente,
los evaluadores informarán sobre sus conclusiones, ya que se alcanzan, y
esto se utiliza para mejorar el rendimiento del programa de una manera continua.
El principal peligro con tal postura es que los evaluadores se convertirán en
"Capturado" por el programa, sintiendo como la lealtad a ella que no son capaces de
hacer juicios objetivos. La exposición de sus puntos de vista y la base de pruebas para
externos pueden ayudar a evitar esto. El peligro de haber "separado" y
evaluadores uncommunicative mirando un programa de innovación es que
los participantes pueden llegar a ser cada vez más sospechoso de las ideas e intenciones
observadores de silenciosos.
Las evaluaciones intermedias generalmente se encargaron donde se encuentran algunos
impactos que pueden ser evaluados, y por lo tanto tendrán más de las cualidades de la ex
Publicación de las evaluaciones.
________________________________________
Página 138
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
138
6.22 ¿Qué métodos son útiles para Ex Post de Evaluación?
El ePUB RTD Evaluación Toolbox ofrece un panorama útil de la gama de
métodos y enfoques que pueden emplearse para ex post y en tiempo real
evaluación de los programas. (Vea la ilustración de abajo, Recuadro 6.7.) Abarcan la
toda la gama de métodos discutidos más arriba, aunque la terminología empleada
es bastante diferente de la utilizada aquí.
La característica principal de ex post evaluación es que podemos esperar para detectar y
evaluar el impacto del programa, aunque a veces puede que tengamos que
examinar intermedia en lugar de impactos a largo plazo.
________________________________________
Página 139
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
139
Recuadro 6.9 Los métodos empleados en el ex-post evaluación
Métodos Cuantitativos
• análisis de los datos estadísticos
o Encuestas de Innovación : proporcionan datos básicos para describir el proceso de innovación,
que se resumen utilizando estadística descriptiva.
o Evaluación comparativa de los estudios: Estas comparaciones de permisos entre los conjuntos de entidades,
basado en un conjunto relevante de indicadores y acompañado de una razonada
explicación de sus valores.
• enfoques de modelado
o Modelización macroeconómica y simulación de enfoques : Se utilizan para proporcionar
una evaluación del impacto socio-económico más amplio de intervenciones políticas.
O modelado microeconométricas : Estos rangos de enfoques permiten el estudio de la
efecto de la intervención política en una variedad de niveles (particulares, institutos, empresas,
etc.) Mecanismos permiten el control de los acontecimientos hipotéticos, a través de la
especificación de modelos que permiten la estimación de los efectos sobre el resultado de
los participantes tuvieron el programa no hubiera tenido lugar.
o Análisis de productividad se acerca : Estos permiten evaluar el impacto de
De I + D sobre el crecimiento de la productividad en los diferentes niveles de agregación de datos. Este conjunto de
enfoques es particularmente relevante para el análisis de los efectos más amplios de la I + D
en la economía.
o grupo de control se acerca : Estos evaluadores de permisos para capturar el efecto de
programas en los diferentes participantes (y, en ciertos casos, los no participantes)
utilizando técnicas estadísticamente sofisticados.
Los métodos cualitativos y semi-cuantitativos:

Las entrevistas y estudios de caso : Estos enfoques se basan en la observación directa de
eventos de origen natural, generalmente desde la perspectiva de programa
participantes y las partes interesadas, para investigar las conductas, estimulados por el
programa de innovación, en su entorno social indígena.

El análisis de costo-beneficio : A través de la evaluación de todos los aspectos económicos y sociales
efectos de un programa, estos planteamientos permiten a los evaluadores a verificar si las
un programa (o proyecto) es económicamente eficiente

Paneles de Expertos / Peer Review : Este tipo de enfoque se utiliza frecuentemente para medir
producción científica, en el que confían en los científicos tienen la percepción de la comunidad científica
contribuciones de otros compañeros. Como tal, la revisión por pares es el más ampliamente utilizado
método para la evaluación de la salida de la investigación científica. Sin embargo, la
enfoque también se ha usado para la evaluación de la colaboración en I + D
programas, tales como Eureka.

Análisis de Redes : Acercamientos de este tipo permiten el análisis de la estructura de co-
las relaciones de explotación y las consecuencias de las decisiones de los participantes sobre
acciones. Proporcionan explicaciones de los comportamientos observados mediante el análisis de
sus conexiones sociales en redes.

Foresight Evaluación / Tecnología : aunque más típicamente utilizado para ex ante
evaluación, estos enfoques pueden ser utilizados para identificar posibles desajustes en el
eficacia estratégica de los proyectos y programas.
Fuente: parcela y Rojo, 2002 - RTD Evaluación Herramientas
________________________________________
Página 140
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
140
Recuadro 6.10 Métodos en El Programa de Tecnología Avanzada
La ATP tiene, desde 1990, a condición de financiación de I + D a las empresas estadounidenses que han hecho
propuestas para proseguir las tecnologías innovadoras, en respuesta al anuncio de un concurso
para su financiación. Las propuestas son evaluadas en términos técnicos y económicos, con la selección de ATP
tecnologías que pueden ser tanto de alto riesgo y alta rentabilidad, para muchas industrias y
aplicaciones. ATP ha utilizado una variedad de métodos de evaluación para medir contra la misión, como
se representa a continuación.
Método
Breve Descripción
Ejemplo de Uso
Analítica /
Conceptual
Modelado
La investigación de los conceptos subyacentes
y el desarrollo de modelos para una mejor
entender un programa, proyecto o
fenómeno
Para describir conceptualmente el
caminos por los que desbordamiento
Pueden aparecer efectos
Estudio
Preguntando a varias partes de un uniforme
un conjunto de preguntas para estadística
análisis
Para averiguar cómo muchas empresas
han licenciado sus recién
La tecnología desarrollada para los demás
Estudio de caso -
descriptivo
La investigación en profundidad un programa,
proyecto, la tecnología, o la instalación
Para contar cómo una empresa particular,
se formó en participación, como el
colaboración funcionó, y las razones
para el éxito - o falta de ella.
Estudio de caso -
económico
estimación
Adición de la cuantificación de los derechos económicos
efectos a un estudio de caso descriptivo,
utilizando, por ejemplo, de costo-beneficio
análisis
Para estimar si, y en qué
tanto, los beneficios de un proyecto superan
su coste
Económico y
estadístico
análisis
El uso de la estadística y la econometría
para analizar los vínculos entre
económico y social
fenómeno, y prever
efectos económicos
Para determinar la financiación pública
afecta a la financiación privada de la investigación
Sociométrico y
red social
análisis
La identificación y el estudio de la
estructura de las relaciones de
aumentar la comprensión de los sociales /
comportamiento organizacional y
resultados económicos relacionados
Para saber cómo pueden ser los proyectos
estructurado de manera que la difusión de
conocimiento resultante puede ser
aumentado
Bibliometría
Seguimiento de la cantidad de la investigación
resultados y la evaluación de la
frecuencia con la que otros citan
publicaciones o patentes y tomando nota
quien está haciendo la cita.
Para encontrar el número de publicaciones por
dólar de investigación de un programa
generada y para aprender medida y
tendencia de la propagación de un
publicaciones y patentes de los proyectos.
Rastreo histórico Seguimiento prospectivo de la investigación a un
resultado futuro, o hacia atrás desde
un resultado de contribuir
desarrollos
Para identificar los vínculos entre un
proyecto de investigación pública y
acontecimientos posteriores significativos
El juicio de expertos Usando juicios informados a
hacer evaluaciones
Para plantear la hipótesis más probable es la primera
uso de una nueva tecnología
Fuente: Ruegg y Feller (2003)
________________________________________
Página 141
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
141
6.23 ¿Cuál es el enfoque Estudio de caso?
Un estudio de caso es un examen más o menos detallado de un caso particular
del fenómeno que estamos investigando. A menudo, esto significa examinar cómo
un programa ha afectado a una empresa u organización en particular. (Más de las veces,
habría varios casos de estudio, la exploración de varios tipos diferentes de
participante, o el destino de, el programa.) Si un programa tiene muchas específica
proyectos o líneas de actividad, el estudio de caso puede ser uno de estos.
Los estudios de casos se realizan normalmente para proporcionar un análisis en profundidad de la
procesos y resultados. Encuestas y otras consultas a través de un gran número
de los casos son buenos para el establecimiento de la amplia distribución de los impactos y la
correlaciones estadísticas que puedan existir entre las variables (por ejemplo, tamaño de la empresa o
tipo de proyecto, por una parte, y el grado de impacto en el otro). Pero estamos
no se da información directa sobre los procesos que dan lugar a estos patrones,
y una virtud del estudio de casos es que puede ayudarnos a examinar los procesos.
A menudo se trata de reconstruir lo que sucedió en el tiempo en el
organización y su entorno, y mirando cuáles eran las decisiones estratégicas
tomada. (Estas decisiones suelen ser fundamentales para el alcance del impacto que
la participación en un programa de rendimiento.)
Esta metodología se utiliza en la evaluación de programas de innovación para proporcionar in-
investigación a fondo de un aspecto particular del programa de innovación y su
razones del éxito o el fracaso. Aquí hay que señalar que estudio de caso basado
evaluaciones implican mucho más de una actividad que sólo la recopilación y el análisis
de la información de los casos. Los recursos deben ser asignados para analizar los datos
e informar de ello de manera que sean útiles para los directores de programas, personal, patrocinadores
y cualesquiera partes interesadas externas. Los resultados deben ser explorados para comprender
qué causó qué y por qué y cuánto es atribuible al programa.
Los resultados deben ser discutidos y puestos a disposición fuera del programa, a
organismos políticos, los consejos de la industria y los grupos de asesoramiento. La revisión por pares, incluyendo
publicación en revistas también podría alentar a una mayor difusión
propósitos. Trabajo de estudio de casos es a menudo una cuestión de la evaluación participativa.
Con el enfoque de estudio de casos hay una cierta evidencia de un fuerte énfasis
en el aspecto de "aprendizaje" de la evaluación de los programas de innovación (es decir, lecciones
dibujado, formación y cuestiones de intercambio de conocimientos). Consulte la ilustración que
acompaña a esta sección.
________________________________________
Página 142
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
142
Recuadro 6.11 en estudios de casos
Varios de nuestros entrevistados proyecto comentado en este aspecto con respecto
al uso de un enfoque de estudio de caso que inicie el usuario del grupo ya que estos son
a menudo las personas con más probabilidades de hacer un uso limitado o prolongado de la
resultados de la evaluación. Este aspecto se refleja en los siguientes dos comentarios de
Entrevistados con sede en Europa:
"La mejor manera de ver el trabajo de evaluación es mediante la interacción con los
eso sería utilizar los resultados de un proyecto de innovación en beneficio de su
organizaciones. Esto puede dar lugar a algunas observaciones muy claras. En una
manera personal, probablemente la habilidad (si esa es la palabra correcta) más
necesaria en la evaluación es la capacidad de escuchar bien y ver puntos de
ver a la opinión diferente y divergente ".
"Las evaluaciones deben ser comisionados a los grupos que llevan a cabo
el trabajo de la ejecución de un programa de innovación. En mi opinión trayendo
junto a un panel de expertos para llevar a cabo la evaluación no es siempre
la herramienta adecuada para las actividades de evaluación, ya que no tiene en-
vistas en profundidad acerca de los programas y la situación general de la
programas han estado operando bajo ". Por lo tanto, debe haber
más margen para las evaluaciones en caso de profundidad tipo de análisis del estudio de
programas de innovación ".
________________________________________
Página 143
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
143
6.24 ¿Qué tipo de enfoques son Monitoreo Participativo y
Evaluación?
"Participativa" aquí se refiere a la participación de aquellos que son los participantes en
un programa, en el seguimiento y la evaluación del programa en sí.
Prácticamente todas las evaluaciones son susceptibles de implicar una cierta participación de
participantes, por supuesto, como informantes, que proporcionan información sobre el
funcionamiento del programa. También es una buena práctica de evaluación de buscar
los comentarios de los participantes sobre las conclusiones que se desprenden de la evaluación.
Mediante el intercambio de información y estimular el diálogo, la evaluación puede contribuir
con la mejora continua - no sólo en la gestión de programas de arriba hacia abajo,
sino más ampliamente en la comunidad de interesados. Es posible involucrar
participantes mucho más completa que es común en la evaluación y el seguimiento.
Los enfoques participativos se adaptan a las necesidades de información de la
participantes en los programas, y los utiliza como principales recursos para determinar
la eficacia del programa.
Los enfoques participativos han llegado a
protagonismo especialmente en circunstancias en que el empoderamiento de la comunidad es de
importancia - sobre todo en los programas de desarrollo y las destinadas a
las comunidades desfavorecidas.
Aquí la situación ha sido por lo general uno de
programas que se impongan por los forasteros mal informados, y por no
lograr beneficios duraderos.
A veces, las metas del programa han sido
inadecuada a las condiciones locales; a menudo las actividades se han esfumado de distancia una vez
se retira la financiación inicial.
Los enfoques participativos deben permitir
programas para estar más estrechamente relacionados con las circunstancias empíricas, a
involucrar a las comunidades de destino con más detalle, y disponer que la comunidad con
una mejor información sobre la cual la gente puede basar sus decisiones.
El principal problema con estos enfoques en el entorno de la innovación es
que los participantes en los programas de innovación suelen estar recibiendo
insumos sustanciales de recursos financieros, de consultoría o de otro tipo. Ellos pueden estar
inclinado a minimizar los problemas y fallas en los programas si sienten que
para ello es amenazar el futuro generosidad.
Pueden ver participativa
enfoques como ofrecer la oportunidad de promover sus propias agendas específicas - a
conseguir sus visiones de las tecnologías del futuro y las actividades industriales priorizados. Es
consideran a menudo que los enfoques participativos son susceptibles de poner en peligro la
la objetividad del proceso de evaluación. Esto no ha impedido que los investigadores y
planificadores de programas de desarrollo de formas de desarrollo de manera simultánea
involucrar a los participantes en el programa de diseño, monitoreo y evaluación,
mientras que la búsqueda de hacer uso de indicadores verificables y evaluaciones.
Es
probable que algunos tipos de programa de innovación podrían beneficiarse de un mayor uso
de los enfoques participativos.
________________________________________
Página 144
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
144
Recuadro 6.12 sobre Evaluación Participativa
Aunque los enfoques de evaluación participativa plena soplado se usan muy poco en innovación
la evaluación del programa, hay una cierta conciencia de los beneficios de la participación en
el campo. Así, uno de los entrevistados en este estudio comentó que:
"El argumento más convincente para el uso de programa de innovación
evaluación es que si usted hace un proceso participativo, entonces debería
conseguir un aprendizaje más en todo el sistema, en lugar de lo que se limita a la
patrocinadores inmediatos. Todas las partes interesadas deben tener alguna participación si
es posible " (De la entrevista con el Reino Unido de Expertos).
El principio de la "evaluación participativa" puede distinguirse de la más
convencional, "tradicional" enfoques de evaluación, ya que tiene un mayor énfasis en
participación de los interesados. Puede haber múltiples grupos de interés que están o deberían estar
los participantes en la evaluación, ya que están directa o indirectamente involucrados en la decisión de lo que
un proyecto o programa debe lograr y cómo debe lograrse. Pueden
incluir a los beneficiarios, el proyecto o el personal y la gestión de programas, investigadores,
agencias gubernamentales y cualquier otro donante financieros. Según Estrella y
Gaventa (1998), hay dos formas principales para caracterizar la participación en el monitoreo
y evaluación: por quien se inició y llevó a cabo, y cuyas perspectivas son
particularmente enfatizado. Los primeros distingue entre el seguimiento y la evaluación
que es dirigido externamente, condujo internamente, o LED conjunta. La segunda distinción entre
que se enfatizan las partes interesadas - los principales interesados, beneficiarios o
grupos marginados. El concepto de aprendizaje es un principio clave de
evaluación participativa. Se hace hincapié en el aprendizaje o el 'orientado a la acción' "práctico".
Por ejemplo, la evaluación participativa también puede caracterizarse como un proceso de
aprendizaje individual y colectivo, como una experiencia educativa para los distintos
partes involucradas en el desarrollo del programa. Las personas se vuelven más conscientes
y consciente de sus fortalezas y debilidades, sus realidades sociales más amplias, y
sus visiones y perspectivas de los resultados del programa. Es este proceso de aprendizaje
que crea las condiciones propicias para cambiar y la acción (Estrella y Gaventa,
1998).
Algunos de los recursos en línea útiles sobre métodos de participación son:
Americorps (nd) Guía del usuario para los Programas de Servicio Nacional de Burlingame,
California: Corporación para el Servicio Nacional, Proyecto STAR, disponible en:
http://www.projectstar.org/star/Library/toolkit.html
D'Arcy Davis Case (1990) Herramientas para la comunidad: La idea, métodos y
herramientas para la evaluación participativa, el seguimiento y la evaluación en la comunidad
la silvicultura, la Comunidad FAO Campo Forestal Manual 2, Roma, Agricultura y la Alimentación
Organización de las Naciones Unidas, disponible en
http://www.fao.org/documents/show_cdr.asp?url_file=/docrep/x5307e/x5307e00.htm
(1996) Donna Denham y Joan Gillespie, A: Guía para la Evaluación de Proyectos
Enfoque Participativo, Ottawa: Dirección de Salud de la Población, Health Canada
________________________________________
Página 145
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
145
disponible en:
http://www.phac-aspc.gc.ca/ncfv-cnivf/familyviolence/html/fvprojevaluation_e.html
Instituto de Estudios del Desarrollo, Universidad de Sussex, cuenta con varios recursos en
participativa
enfoques en los sitios web
http://www.ids.ac.uk/ids/particip
y
http://www.ids.ac.uk/ids/eldis, incluyendo el panorama útil por Marisol Estrella y
Jihn Gaventa (1998)
¿Quién cuenta la realidad?
Monitoreo Participativo y
Evaluación: Una Revisión de la Literatura (Documento de trabajo IDS no 70) - contiene un
bibliografía de otras guías de recursos y manuales.
________________________________________
Página 146
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
146
6.25 ¿Podemos evaluar múltiples programas? El papel de la corte de la Cruz
evaluaciones
Práctica de la evaluación en las culturas de evaluación más avanzadas parece ser
moviendo menos hacia un enfoque en las evaluaciones individuales de examinar individuo
programas, y más preocupación por la imagen que se puede derivar de una
serie de evaluaciones, o incluso de las evaluaciones de una serie de programas.
Esto está empezando a ser documentado en el estudio de los "sistemas de evaluación".
No hemos podido encontrar mucha evidencia documental, sin embargo,
relativa a las evaluaciones transversales, la comparación de la eficacia relativa de los
políticas. Una excepción a esto es el ejemplo de la Oficina Nacional de Auditoría
(Reino Unido). Al otro lado de la política de innovación de manera más general, la Oficina Nacional de Auditoría del
Reino Unido
y el Departamento de Comercio e Industria ha desarrollado una metodología para
la comparación de la rentabilidad comparativa de la innovación del Departamento
esquemas en la entrega de su objetivo de estimular la innovación industrial y
el aumento de la competitividad de la industria del Reino Unido (NAO, 1995).
"Grounded en teoría de la decisión, la base de este enfoque fue el de
identifican 14 indicadores que representan los efectos sobre la innovación y la
competitividad y cinco costos que representan. Estos eran una mezcla
de indicadores de proceso (por ejemplo, el procesamiento promedio de aplicaciones
tiempo) y salida de los indicadores (por ejemplo, número de licencias
adquirida). Los valores en cada indicador se transformaron en
'escalas de preferencia ", que anotaron cada sistema en una escala de 100 a 0
en términos relativos, es el mejor esquema de rendimiento en ese
indicador se le asignó una puntuación de 100 y el menor rendimiento
cero, con el resto interpolada. El proceso se repitió
para los indicadores sí mismos, para producir preferencia finalmente ponderada
puntajes basados en la igualdad de pesos en concepto de gastos y objetivos. Por este
metodología, el programa Teaching Company Scheme (una tecnología
esquema de transferencia basada en la supervisión conjunta de los jóvenes titulados
por la academia y la industria) emergieron como el esquema más preferido,
y el programa D ENLACE colaboración de I + los menos preferidos.
Claramente, los resultados son sensibles a los indicadores seleccionados y
las ponderaciones asignadas a los mismos. La puntuación baja de ENLACE fue
fuertemente influenciado por los malos resultados en administrativo
indicadores " (Georghiou, 1998).
________________________________________
Página 147
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
147
________________________________________
Página 148
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
148
Capítulo 7 IMPACTOS EVALUACIÓN
7.1 ¿Qué es la Evaluación de Impacto?
La demanda de evaluación de impacto se puede considerar como uno de los elementos de la mudanza
a una sociedad basada en el conocimiento. Los políticos tienen que saber lo que los resultados de
sus políticas anteriores han sido, y para tener una mejor idea de lo que el probable
resultados de las políticas futuras serán. La idea de la evaluación de impacto es una obvia
respuesta a esta demanda.
Figura 7.1 Mejora de los métodos de evaluación de impacto es vital para la
el éxito de la evaluación de programas de innovación
0
10
20
30
40
50
60
70
80
90
1
2
3
4
5
Respuesta a la Declaración
1 = en desacuerdo completamente, 5 = totalmente de acuerdo, 3 = neutral
Nu
mbre o
F
Resp
en
guarida
t
s
Fuente: Apoyo al Monitoreo y Evaluación de Programas de Innovación datos de la encuesta
Hay muchos tipos de evaluación de impacto, con varias formas de ex ante
evaluación que se utiliza mucho - de hecho haber adquirido carácter obligatorio en
muchas instituciones, el más destacado a nivel mundial, al parecer, es el medio ambiente
evaluación de impacto, por lo que muchas de las decisiones de planificación están sujetas a revisión
a la luz de sus posibles efectos sobre, por ejemplo, la biodiversidad, amenazada
especies, las emisiones de carbono, y así sucesivamente.
15
Evaluación del impacto normativo es
común en las instituciones de la Unión Europea y los Estados miembros, en los que la
se está haciendo un esfuerzo para revisar las políticas antes y después de la implementación - no
menos de limitar la carga de las regulaciones (especialmente en las empresas).
16
15
La Asociación Internacional para la Evaluación del Impacto - http://www.iaia.org - Actualmente es
particularmente buen punto de partida para el trabajo sobre la evaluación de impacto ambiental, y también cubre
algunos trabajan en la evaluación del impacto social.
16
La Comunicación de la Comisión de Evaluación de Impacto Bruselas, 5.6.2002 COM
(2002) describe el proceso de evaluación de impacto que se aplicará en la Comisión para la
todas las grandes iniciativas. Esto señala que la evaluación de impacto es impulsado políticas, centrándose en
examinando "si el impacto de las principales propuestas políticas es sostenible y se ajusta a la
principios de legislar mejor ".
________________________________________
Página 149
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
149
Hay muchas tradiciones diferentes de evaluación de impacto, con la innovación
la evaluación del programa es sólo uno de éstos. Mientras que algunos temas pueden ser
abordado de una manera bastante experimental - por ejemplo, la salud y la educación
intervenciones pueden ser pilotados en una muestra de hospitales o escuelas, respectivamente -
muchos no pueden. Una serie de retos tienen que enfrentarse, y por debajo de nosotros
discutir los siguientes desafíos principales para la evaluación del impacto en la innovación
programas:
♦ Complejidad y Causalidad: la dificultad de acercarse científica estándar y
práctica de la ingeniería en relación causas y efectos y la aplicación de
métodos experimentales.
♦ retrasos de tiempo: el largo tiempo que puede ser requerida antes de que los impactos deseados
puede ser aparente.
♦ Efectos indirectos: la probabilidad de que los impactos serán multiplicativo (pero
más difíciles de identificar) a medida que avanzamos desde los directamente involucrados en un
programa para aquellos que están en una u otra manera afectados por la
el comportamiento de los participantes.
♦ objetivos múltiples y complejos: está considerando la gama de impactos
puede ser una amplia uno, con muchos de los objetivos de ser difusa y difícil de
especifique.
________________________________________
Página 150
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
150
Recuadro 7.1 Acta de la evaluación preliminar de las consecuencias para el Europeo
Iniciativas
"La evaluación preliminar aporta una primera visión general del problema detectado,
posibles opciones y los sectores afectados. Servirá como un filtro para ayudar a identificar ...
las propuestas que se someterán a una evaluación de impacto ampliada "
1. IDENTIFICACIÓN DE LOS PROBLEMAS
Describir el problema que prevé la política / propuesta para hacer frente a:
Indicar las tendencias potencialmente insostenibles asociadas con el problema,
- Económicamente:
- Socialmente:
- El medio ambiente:
Indicar las incoherencias potenciales entre estas tres dimensiones o con
otras políticas
2. OBJETIVO DE LA PROPUESTA
¿Cuál es el objetivo de política general en términos de impacto previsto?
3. OPCIONES POLÍTICAS
¿Cuál es el planteamiento básico sugerido para alcanzar el objetivo?
¿Qué instrumentos de política se han considerado?
¿De qué manera las opciones identificadas respetan la filial y
principios de proporcionalidad?
Opciones que pueden ser excluidas en esta primera etapa?
. 4 IMPACTOS - POSITIVO Y NEGATIVO
Sobre una base preliminar indique el positivo esperado y negativos
impactos de las opciones seleccionadas, en particular en términos de desarrollo económico, social
y consecuencias ambientales
Por favor, indique a quién afecta y los posibles impactos graves para un
determinado grupo social, un sector económico o región (dentro o fuera del
UE), a corto plazo; en el mediano y largo plazo
5. SEGUIMIENTO
¿Qué pasos preparatorios ya han sido realizadas (consultas, estudios)?
Se recomienda una evaluación ampliada? Sí / No
¿Está prevista una consulta? Sí / No
Fuente: Comisión de las Comunidades Europeas (2002), Comunicación
de la Comisión de Evaluación de Impacto Bruselas, 5.6.2002 COM (2002)
276 final
________________________________________
Página 151
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
151
7.2 ¿Qué desafíos enfrenta la Evaluación de Impacto en términos de
Los problemas de la complejidad y la causalidad?
Asuntos sociales de cualquier tipo son susceptibles de ser complejo, y los efectos de
intervenciones difíciles de evaluar. Vamos a considerar aquí una serie de facetas de
complejidad, incluyendo la causalidad múltiple, rezagos de tiempo, los impactos indirectos y
múltiples objetivos.
Rara vez es posible llevar a cabo experimentos verdaderos, o para controlar todos los principales
Variables - incluso si estos son bien entendidos. En algunos campos en los que hay
muchos individuos cuyas experiencias se pueden comparar, y donde los resultados
son relativamente fáciles de contraste, los problemas pueden ser menos. El campo de la salud
evaluación de la tecnología es un ejemplo donde puede ser posible establecer robusta
conclusiones acerca de la eficacia relativa de los diferentes tratamientos, e incluso a
estimar el valor-precio relativo (si podemos poner un valor monetario a tratamiento
resultados). Pero los programas de innovación tratan con empresas y otros
organizaciones, y no sólo con los individuos. Varían en maneras que los individuos hacen
no, y el número de casos involucrados pueden ser mucho más bajo.
En cualquier caso, es bastante raro para nosotros para ser confrontados con la innovación
programas que ofrecen los grupos de control de confianza, que nos permitan igualaremos
casos de organizaciones que estaban o no estaban involucrados en el programa en el
conocimiento de que fueron asignados de forma aleatoria. Más generalmente, los
que son o no están asociados con un programa diferir de alguna manera - que
puede ser auto-seleccionados (tal vez más interesados en temas de innovación) o mejor-
en red y por lo tanto más al tanto del programa (tal vez más conscientes de
perspectivas innovadoras en general), y así sucesivamente. Las comparaciones entre
tendrá que ser hecho con los participantes del programa y no participantes
advertencia - por ejemplo, emparejarlos en tantas variables como sea posible.
Así que es difícil emplear técnicas estadísticas sólidas para evaluar
los impactos del programa. Pero hay otras dificultades, también. Uno de ellos es el problema de la
"Sobredeterminación". Con esto queremos decir que los cambios que observamos en
resultados de la innovación no puede, o no sólo, estar relacionado con el programa
en sí. Pueden ser parte de un complejo más amplio de cambios - dicen que un creciente enfoque
en aspectos particulares de la innovación - que ha ayudado a engendrar la
programa y que habrían dado lugar a algunos de los resultados que
podría interpretar como los impactos del programa. Además, un programa rara vez es una
completamente aislado fenómeno: hay políticas a menudo complementarias y
las intervenciones de la misma parte del gobierno y de otras instituciones.
La conclusión más importante es que este conjunto de problemas tiene que ser
reconocidos como lo que es: no hay soluciones completas y evaluación
resultados tendrán que ser interpretados con esto en mente. Podemos hacer cosas como
pide a los informantes que estimar lo que podría haber sucedido si un programa era
no instituido, o qué efecto el programa podría haber tenido sin
cambios complementarios. Podemos preguntar cómo llegó a tener los efectos que
lo hicieron. Podemos desarrollar hipótesis acerca de la causalidad de algunos estudios de caso, y
prueba de ellos en cuanto a los demás casos. Podemos ver hasta dónde llegaron las cuentas
en la evaluación de un solo programa son consistentes con los alcanzados por
________________________________________
Página 152
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
152
otros tipos de la investigación social (por ejemplo, análisis independientes de la innovación
sistema, la evaluación de otros programas
17
). Estos son todos los estándares
enfoques en la investigación social en general, que a menudo tiene que luchar
los retos de la sobredeterminación.
Finalmente, como con los otros problemas discutidos aquí, el reto es también un
oportunidad. Por lo que los problemas no nos está obligan a examinar más de cerca
¿Qué se entiende por innovación y cuáles son los objetivos previstos de
Los programas de innovación; y para comprender mejor el sistema de innovación
dentro del cual se están realizando las intervenciones. Esta comprensión es vital para
la construcción de una lógica basada en el conocimiento de las intervenciones.
17
Puede ser particularmente útil para ver si hay una doble contabilidad de los impactos, es decir, si
los mismos cambios se atribuyen a más de una intervención.
________________________________________
Página 153
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
153
7.3 ¿Qué desafíos enfrenta la Evaluación de Impacto en términos de tiempo
Retrasos?
Otra cuestión se refiere a la problemática de largo desfases que pueda ser necesaria
por los impactos que se manifiestan. Los objetivos de la política de innovación son a largo plazo
queridos, los sobornos económicos de las innovaciones individuales suelen requerir la
desarrollo de los mercados y sólo acumular lentamente ingresos considerables (tal vez
sobre tanto como 10-15 años). Y, por supuesto, muchas innovaciones no lo hacen
éxito, no siempre es porque están juzgaron mal - a veces inesperado
productos, normas, prácticas de otros sectores tienen un impacto negativo.
A menudo, no podemos evaluar la gama completa de los impactos en el corto y mediano
plazo - de hecho, esto rara vez va a ser el caso, a causa de los impactos indirectos
(Ver más abajo).
Por lo tanto, lo mejor que se puede esperar en una evaluación será examinar
algunos indicadores adelantados, o algunos de los impactos tempranos y posiblemente intermedios que
sugieren que los impactos a largo plazo son más y no menos probable. Para
ejemplo, la intención última puede ser la creación de una innovación más eficaz
sistema, en el que los socios comparten el conocimiento y la colaboración amplia y
rutinariamente para generar innovaciones exitosas. Este logro a largo plazo es
claramente más probable que surja si el programa actual ha logrado
conseguir las partes a trabajar juntos y establecer vínculos permanentes que son
previsible que persista más allá de la vida del programa. Este tipo de producto intermedio
logro tanto, es importante examinar.
Impactos intermedios suelen ser las que más claramente atribuible a un
programa en particular, por lo que en cualquier caso, es importante recopilar evidencia sobre
estos si es a más largo plazo y más indirectos "impactos" son para ser verosímil en relación con
las actividades del programa.
________________________________________
Página 154
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
154
7.4 ¿Qué desafíos enfrenta la Evaluación de Impacto en términos de Indirectos
Efectos?
Los efectos indirectos plantean un problema relacionado. Con frecuencia real de una innovación
importancia no es para los productores iniciales, pero para sus usuarios: el económico
logros obtenidos por el productor por la venta de un nuevo producto son una fracción de los
que los usuarios hacen en el empleo de este producto para mejorar la eficiencia del proceso o de la
la calidad de sus propios productos. Hay efectos aguas arriba y aguas abajo de
innovación: una empresa puede exigir cambios en la cantidad y la calidad de su
proveedores; puede abrir nuevos mercados; o puede cambiar las prácticas en su
clientes. Estos cambios pueden a su vez prontas otras partes con las que éstos
proveedores y clientes interactúan para modificar sus actividades y comportamiento.
Rastreo tales impactos puede ser muy difícil.
La respuesta más común es el uso de modelos econométricos o de entrada-salida,
que permitir cierta estimación de la ronda sobre los efectos del cambio en uno
punto de un sistema, y en donde los conceptos de "encarnada en I + D", por ejemplo, puede
ser empleado. Tales modelos a menudo muestran, por ejemplo, que los efectos generales de los
innovaciones, por ejemplo, el empleo, son muy diferentes de las registradas en
el nivel de los adoptantes individuales de una innovación. Las empresas individuales pueden arrojar
trabajos a medida que se vuelven más eficientes. Pero la expansión del mercado en general puede resultar
en una creación neta de puestos de trabajo, en este caso. Estos modelos son herramientas de gran alcance, pero son
normalmente restringido sólo a los flujos bastante simples de los productos y los cambios en
rendimientos alcanzados en términos financieros. Mejora de la colaboración y la
la creación de redes, los cambios en las prácticas innovadoras, etc son más difíciles de evaluar en estos
maneras, aunque el modelado puede ser empujado hacia adelante para tener más en cuenta
factores menos tangibles.
También es posible rastrear los impactos a través de un sistema por medios empíricos - para
ejemplo, mirando a la difusión de una innovación específica o la práctica a través
técnicas de encuesta, preguntando informantes en lugares específicos de su
conocimientos y prácticas. Una cuestión que se plantea aquí es que las personas son a menudo
muy mal informados acerca de (y, a menudo, no preocupa en particular) la
fuentes últimas de una idea innovadora. Así, mientras que muchas de las innovaciones tienen
sus raíces en la investigación básica, pocas empresas consideran instituciones que desempeñan básica
la investigación para ser de mucho interés para ellos. Si bien este caso específico es más de un
problema en el contexto de la evaluación de programas de I + D que en la innovación más amplia
La evaluación del programa, el punto es una similar. Preguntar directamente a la gente sobre
si un programa ha influido en su comportamiento puede ser una mala guía para
la comprensión de los efectos indirectos de un programa, porque la gente es más
consciente de las influencias directas sobre su propia práctica. El programa puede ser
mediada a través de varios pasos antes de que afecte una organización en particular, y
rastreo de estos pasos es un proceso laborioso, uno que es sin duda vale la pena
examinar, pero que está fuera del alcance de muchos estudios de evaluación.
________________________________________
Página 155
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
155
7.5 ¿Qué desafíos enfrenta la Evaluación de Impacto en términos de múltiple
Objetivos y complejos?
Los múltiples objetivos que caracterizan a la mayoría de los programas de innovación -
especialmente en lo que nos fijamos en toda la gama de actividades que comprenden - También planteamos
un desafío para la evaluación de impacto. De alguna manera esto es "simplemente" una práctica
emisión - los más impactos que se han buscado, mayor será el número de
indicadores que serán requeridos. Así, puede haber problemas de evaluación
fatiga (si se espera que los mismos informantes para proporcionar información sobre
numerosos indicadores), de la sobrecarga de información (si los datos no pueden ser fácilmente
sintetizado y agregados para formar una cuenta sin complicaciones), y de
carga de trabajo por parte de los evaluadores.
Las soluciones a estos problemas son una cuestión táctica. Entre los enfoques
que pueden ser adoptados son:
♦ la determinación de los impactos clave en los que centrar;
♦ determinar si algunos de los impactos se pueden evaluar en algunos casos
y otros en evaluaciones separadas, ya sea más tarde en el tiempo o de similares
programas;
♦ determinar si es posible examinar ciertos indicadores de profundidad en
una muestra limitada de casos, y de forma más indirecta o parcialmente en otros;
♦ preparan informes sobre diferentes subprogramas o en clases particulares de
impacto.
Los objetivos también pueden ser complejos , en el sentido de que mientras que puede ser fácil de
indicar cuál es la meta, cuando se examina en detalle, el logro específico
deseado es más difícil de dilucidar. También puede haber desacuerdo acerca de lo que
términos y conceptos clave en realidad significan. Esto es de esperar cuando objetivos
tales como "la mejora de la calidad de vida" se refiere, pero también se aplica a los objetivos como
"Competitividad". En la literatura de gestión y economía existen
diferentes ideas de lo que significa este término, en la práctica, y qué factores sustentan
ella. Estos puntos de vista diferentes son susceptibles de implicar una divergencia de puntos de vista con
respecto a los indicadores de impacto y la medición del desempeño. El evaluador
debe ser claro acerca de cómo se están utilizando los conceptos, ¿qué enfoques son
están elaborando sobre - y cómo éstas pueden diferir de los utilizados por
patrocinadores y usuarios! En última instancia, esto se deriva del hecho de que estamos
inevitablemente el uso de uno u otro conjunto de teorías al tratar de estudiar - y para
influencia - algo así como otro sistema de innovación. Mejorado
comprensión del sistema y puede requerir confrontar diferentes conceptos
de justo lo que constituye un sistema eficaz.
________________________________________
Página 156
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
156
7.6 ¿Qué tipo de impactos se pueden evaluar, en qué medida?
Dado que la gama de programas de innovación se ha ampliado - por ejemplo, en términos
tanto de los tipos de intervención cubiertos (fiscal, la transferencia de conocimientos, la red
construcción, desarrollo del marco, los regímenes de derechos de propiedad intelectual) y de los objetivos de este tipo
de
programas (PYME, empresas de nueva creación, los establecimientos de educación superior del sector público
institutos de investigación, etc) - por lo que el rango de impactos que podrían ser evaluada tiene
crecido. Prácticamente cualquier cosa que se pueda expresar con claridad y medir o
verificado, se puede convertir en un indicador de funcionamiento - el problema es que
la obtención de información sobre algunos indicadores puede ser muy laborioso, y
que algunos indicadores son necesariamente altamente parcial (es decir, sólo proporcionando evidencia
en una parte del fenómeno que se investiga - al igual que las pruebas de inteligencia
sólo medir ciertos aspectos de lo que se entiende como "inteligencia" en
discurso cotidiano).
Un ejemplo de las formas en que un objetivo general se puede traducir en
impactos que se pueden examinar con mayor precisión es proporcionado por un estudio que establece
salir a explorar los impactos del programa ESPRIT en la competitividad de
empresas participantes (IFO et al , 2000). La evaluación puso los activos intangibles al
el núcleo de la competitividad. El estudio utilizó encuestas a los participantes a
examinar cómo la participación en el programa afectó a las formas en que
participantes crearon dichos activos intangibles como el conocimiento, las patentes, marcas
nombres, la reputación, las redes y las rutinas de innovación. Los evaluadores
considerada como la participación en el programa afectó a las formas en que
participantes utilizaron recursos críticos intangibles tales como la inversión en I + D,
adquisición de tecnología. Examinaron los impactos en los procesos de negocio:
si las nuevas formas de organización estaban surgiendo en torno a las innovaciones en
cuestión. Por último, los aspectos más tradicionales de la competitividad fueron
considerado, en términos de las dimensiones "reveladas" de las salidas en términos de
desarrollo de productos y servicios competitivos.
Existe la necesidad de ejercer un juicio cuidadoso en términos de los impactos que son
seleccionado como parte del proceso de evaluación. Un número de criterios puede ser
aplicada con el fin de ayudar a priorizar la selección de estos impactos. Estos son:
♦ ¿Cuáles son los impactos de mayor relevancia a los fines y objetivos de
el programa?
♦ ¿Qué impactos del programa son de mayor importancia para la política general
cartera?
♦ ¿Están impactos similares deseadas en otros programas en los que pueden ser más
indicaciones parciales fácilmente medidos o donde de sus logros pueden ser
combinado con los resultados de la evaluación actual?
♦ ¿Cuáles son los costos relativos de la evaluación de los diversos impactos deseados - son
algunas más fáciles de evaluar que otros en términos de recursos o
complejidad metodológica?
♦ ¿Pueden algunos impactos pueden sustituir por indicadores indirectos o impactos parciales?
________________________________________
Página 157
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
157
Recuadro 7.2 La evaluación socio-económica de los impactos de EUREKA
Este estudio utiliza una amplia gama de indicadores para evaluar los impactos potenciales de EUREKA
sobre la competitividad de los participantes. Citamos aquí para sugerir el tipo de impacto
que puedan ser evaluados. Aunque el programa fue principalmente un programa de investigación,
estaba destinada a tener impactos industriales, y por lo tanto las medidas desarrolladas relevante a
programas de innovación más amplia. Se preguntó a los participantes sobre cuestiones
impactos directos e indirectos, como se indica en el siguiente cuadro, donde las cifras se refieren a
la proporción de participantes que informaron de un "moderado" o "grande" / "muy significativo"
impacto.
Los efectos directos
% De informes moderada o
gran efecto
- La calidad del producto
46
- Cooperación con otras empresas
45
- Las ventas de productos
42
- Cuota de mercado
38
- La internacionalización de los mercados
32
- Cooperación con las organizaciones del sector público de I + D
32
- Las ventas de Know how o licencias
22
- Número de empleados
12
- Los costes de producción
26
- Puesta en marcha de nuevas empresas
3
Los efectos indirectos
% De informes moderada o
efecto muy significativo
- Mejora de la base de conocimientos de la empresa
76
- La fuga del Conocimiento a colaboradores
24
- Fortalecimiento al personal
59
- Reclutamiento de Personal
23
- Know-how en la gestión de la colaboración
53
- Una mejor integración entre la I + D y otras funciones
36
Fuente: Ormala (et al) (1993).
________________________________________
Página 158
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
158
Recuadro 7.3 La creación de empresas desde las universidades como un impacto a ser evaluado
La creación de empresas de nueva creación de la universidad es un tipo particular de
objetivo del programa de innovación . Aquí los indicadores de metodología de evaluación
de interés es probable que sean parámetros tales como el número de nuevas empresas
y de puestos de trabajo creados. Alemania ofrece un ejemplo útil de una de esas
programa de innovación, existe, financiado por el Ministerio Federal de Educación
e Investigación desde 1997.
EXIST tiene la intención de mejorar el clima para las empresas de nueva creación en las universidades, lo que aumenta
el número de empresas de nueva creación de instituciones académicas y mejorar la transferencia
de conocimiento y tecnología desde las universidades. Modelos para motivar, capacitar
y de apoyo a las personalidades empresariales se han creado en la región
redes en las que las universidades trabajan junto con los socios externos,
(Extra-universitario) instituciones de investigación, las empresas, los donantes de capital, la tecnología
y los centros de nueva creación, empresas de consultoría de gestión, cámaras de comercio,
asociaciones y autoridades locales. Juntos desarrollan una oferta acordada para
estudiantes, empleados y graduados.
Los resultados clave
Ha habido un gran número de actividades en las redes regionales como
concursos de planes de negocio, concursos de ideas, seminarios, conferencias, eventos,
de evaluación de los centros, incubadoras, escuelas de verano, talleres internacionales
etc Con EXIST 1.076 nuevas empresas fueron apoyados y más de 2.600 puestos de trabajo
creado.
Evaluación del programa
El programa EXIST es supervisada por el Instituto Fraunhofer de Sistemas
Investigación y la Innovación (Fraunhofer ISI). El objetivo es apoyar el patrocinador
y las iniciativas individuales al aplicar EXISTEN. El apoyo a los proyectos
comprende en la actualidad tres estrechamente relacionados entre sí (trabajo) focos:
• Supervisión y asistencia del 5 EXIST y 10 EXIST-T ransfer
iniciativas
• apoyarlas en cuestiones generales, así como en el intercambio de
experiencias
• los trabajos preparatorios para el patrocinador (BMBF) y el organismo responsable del proyecto Jülich como
así como el análisis de otros aspectos de la labor de las iniciativas.
La asistencia científica se basa en un proceso de intercambio mutuo y
aprendizaje y se lleva a cabo en estrecha colaboración entre Fraunhofer ISI, la
Ministerio Federal Alemán de Educación e Investigación (BMBF), el proyecto
agencia de Jülich y las iniciativas individuales. Fraunhofer ISI considera que su papel
observador, asesor y socio de discusión.
Fuente: Sitio web Fraunhofer ISI (2005), EXISTE Programa.
http://www.isi.fraunhofer.de/r/pb_html/exist-e.htm
________________________________________
Página 159
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
159
7.7 ¿Qué es la adicionalidad?
Como práctica de la evaluación se ha desarrollado, y se preocupan más con
resultados e impactos de los programas y no sólo con los insumos que implican,
por lo que el concepto de adicionalidad se ha elevado a un primer plano. La adicionalidad es un
idea aparentemente simple. Se refiere al cambio que se puede atribuir a la
existencia del programa - lo que el efecto adicional del programa es,
en comparación con lo que habría ocurrido en ausencia de la
programa ..
18
¿Las tecnologías se han difundido de todos modos, sería la
Se han adoptado las prácticas de gestión de innovación, eran Universidades y
empresas que ya están en el camino hacia el establecimiento de vínculos más estrechos? Hay una
tendencia comprensible para los defensores de un programa para reclamar el crédito por
cambios positivos que son parte de un cambio más general, en lugar de directamente
que fluye de las intervenciones.
Un problema adicional surge del hecho de que, debido a la naturaleza sistémica de
la innovación y el deseo de tener intervenciones que tienen complementaria
efectos, los efectos medidos como parte de una evaluación de un programa puede de hecho
ser atribuible, en parte o en su totalidad, en paralelo programas. Aún más difícil de
de control son los efectos generales a nivel de los cambios macroeconómicos y económica
ciclos que, por ejemplo, puede, en caso de una recesión económica,
militar contra inversiones de las empresas en I + D, o reducir las tasas de empleo
al mismo tiempo, se está ejecutando un programa para inducir una mayor industriales
inversión en I + D o la creación de empleo a través de la estimulación de la creación de empresas
ups. En este último caso, sin embargo, tales efectos macro-económicos son a menudo
manifiestan claramente y los indicadores e impactos alternativos pueden buscarse a
proporcionar evidencia de la adicionalidad del programa.
El problema general con demostrar la adicionalidad es que, a diferencia de en la vida social o
experimentación científica a menudo es difícil o incluso imposible de operar un
conjunto independiente de las condiciones de control de la que los efectos de la intervención
son aislados y comparar posteriormente los dos resultados.
Al igual que con otros aspectos de la evaluación, hay enfoques de adicionalidad que
se conciben más o menos estricta. Podemos tratar de cuantificar el valor añadido
del programa en términos de indicadores tales como los niveles de adopción de tecnología
y los impactos económicos como el aumento de las ventas y el empleo, un mayor
parte de los beneficios procedentes de nuevos productos, la reducción de costes de proceso o
veces, y así sucesivamente. Tales efectos relacionados con el mercado forman una justificación tradicional para
programas, y por lo tanto están muy presentes en las evaluaciones. Los programas con mayor
adicionalidad son más propensos a estar contribuyendo a los objetivos de política (aunque es
señalado por parcela (1998?) de que esto no es suficiente - la adicionalidad en el sentido
de rendimientos positivos para las empresas como resultado de los programas pueden ser una condición previa
para el éxito, pero la rentabilidad privada no son suficientes: los beneficios sociales netos de un
programa debe ser positivo).
18
Ver Buisseret, Cameron y Georghiou (1995) para una discusión relevante. Ver Georghiou de
capítulo de la OCDE (1997b) para una cuenta detallada de los temas de la adicionalidad del comportamiento,
que sacamos de aquí.
________________________________________
Página 160
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
160
7.8 ¿Qué es la adicionalidad conductual?
Una de las lecciones de los estudios de evaluación de la investigación es que los impactos a largo plazo son
mucho más que un aumento inmediato en las ventas de un nuevo producto o
los recursos dedicados a la I + D o de protección de los DPI. La cuestión en juego no es sólo una
cuestión de más o menos actividad en un punto en el tiempo. Las actividades han sido
reformado, ha habido un proceso de aprendizaje en los individuos y
organizaciones interesadas. La verdadera cuestión es si un programa ha efectuado
un cambio duradero en las prácticas de innovación?
En otras palabras, no es que la innovación no se habría producido de todos modos,
aunque en menor medida. Es esa la forma en que el proceso de innovación es
que tiene lugar se han transformado que son más significativas. Las innovaciones
están llegando más rápidamente. Ellos se basan más, por ejemplo, en la inteligencia
acerca de las tecnologías emergentes y / o las necesidades del mercado, y no sólo
siendo una elaboración gradual de lo que las empresas que ya estaban haciendo. Ellos
implicar el trabajo más colaborativo y relacionarse juntos más miembros de una
cluster industrial. Noticias habilidades han sido adquiridas, nuevos procedimientos y
las normas están en su lugar.
El término "adicionalidad comportamental" ha entrado en uso para describir el -
esperemos duraderos - cambios en las prácticas que la participación en la innovación
Programas ha inducido. Los estudios de evaluación tienen que ser capaces de abordar
adicionalidad conductual si van a examinar cómo los programas de ahora son
contribuir a una reforma del sistema de innovación.
Aunque hemos señalado anteriormente que a menudo no es posible proporcionar un control
ejemplos contra los que los efectos de los programas de innovación pueden ser
evaluados, existen algunas oportunidades limitadas. Estos incluyen:
♦ El uso de los no participantes en un programa como grupo de control. El cuidado debe
ejercerse aquí para asegurar que prevalezcan condiciones idénticas para el control
y el grupo participante - es decir, que el grupo de control no se compone de fallido
los solicitantes, o que eligen no participar por razones que sería
efectuar su comportamiento vis a vis los objetivos deseados del programa.
♦ En el caso de los programas de innovación que están restringidos geográficamente o
sectorialmente, grupos de comparación se pueden extraer de regiones similares o
sectores. Una vez más se debe tener cuidado para asegurarse de que los dos grupos comparten
características similares y que los efectos indirectos del programa hacen
no producirse.
________________________________________
Página 161
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
161
Recuadro 7.4 Algunos ejemplos de adicionalidad comportamental
Georghiou y Claryss (2005) han elaborado recientemente un documento de trabajo de la OCDE. Este
presenta una introducción preliminar y síntesis del trabajo realizado hasta la fecha en el marco del
auspicios del Grupo de Trabajo de la OCDE sobre Política de Innovación y Tecnología (TIP) para desarrollar
enfoques eficaces para medir la adicionalidad comportamental . Los autores revisan la evidencia
sobre este tema, que ha surgido a partir de una serie de estudios nacionales llevados a cabo en el contexto de
TIP grupo de trabajo durante 2004-05.
"Adicionalidad del comportamiento general ha sido ignorada por los estudios econométricos de
los efectos del apoyo de I + D que se centran en la adicionalidad de entrada, donde las estimaciones
se hacen de los gastos o la salida de I + D adicionalidad adicional, mediante el cual la empresa
rendimiento se compara entre los receptores y no receptores de público
apoyo. Estas son dos preguntas interesantes, pero en ninguno de los casos es la causalidad
examinó, ni existe un modelo explícito o implícito de cómo la empresa utiliza pública
apoyo. Este modelo es parte integral del concepto de adicionalidad comportamental.
Adicionalidad del comportamiento está directamente relacionado con una visión en profundidad sobre la dinámica
capacidades que hacen que una empresa diferente de sus competidores ".
(Georghiou y Claryss, 2005, p.9)
Estudios austriacos e irlandeses son ejemplos de métodos de adicionalidad de comportamiento:
Austria: Austria ha combinado un enfoque basado en encuestas con un análisis econométrico para
cuantificar los cambios de comportamiento inducidos por la financiación de la FFF (Federal I + D de Austria
régimen de ayuda, su mayor programa de financiación de la I + D). La encuesta incluyó
beneficiarios y no beneficiarios de los premios de la FFF y respuestas en comparación con respecto a
escenarios hipotéticos (por ejemplo, se le han cancelado el proyecto si no lo hubieras recibido FFF
apoyo? ) con los de los escenarios reales (p. ej . qué usted cancela el proyecto después de no recibir una
premio? ). El análisis econométrico, incluyendo alrededor de 1.100 actores de I + D en el periodo de tiempo
1995-2002, estima la medida en que las acciones de I + D del personal se vio afectada por público
dinero para I + D (Falk, 2002). Los datos del estudio revelaron que FFF-financiación estaba generando
diversas dimensiones de la adicionalidad del comportamiento:
Alrededor del 80-85% de las empresas de la muestra experimentó cierto grado de adicionalidad del proyecto, es decir,
un
adicional del proyecto se llevó a cabo debido a la subvención.
Adicionalidades Aceleración surgieron de dos de cada tres empresas, es decir, el proyecto fue llevado a
conclusión más rápido debido a los recursos adicionales que le han presentado.
La proporción de empresas que aprecian adicionalidades escala osciló entre 60-74%.
Irlanda: En evaluaciones Irlanda de dos programas, los "I + D Capacidad de Subvenciones y de la
"Esquemas de IDTI Competitivas 'incorporaron preguntas sobre la adicionalidad comportamental. La
enfoque era crear una base de datos de información de la compañía, los archivos, y las formas que cubre 700
empresas. Entrevistas a la encuesta experiencia de la empresa y las vistas se llevaron a cabo con 70
empresas, entre ellas 10 no participantes en los esquemas. Las entrevistas fueron a nivel de CEO
y Director de I + D. En cuanto a la adicionalidad, el 82% informó de que el proyecto tendría
posible sin el apoyo (aunque sólo el 22% lo habría hecho en su totalidad, mientras que el 40% tendría
progresado a un ritmo más lento y el 14% en una escala más pequeña. Un nuevo tema en términos de
adicionalidad que fue explorado en este estudio en cuestión las decisiones de localización , específicamente
si la empresa ha permitido localizar o mantener instalaciones de I + D en Irlanda. Las dos terceras partes
(65%) estuvo de acuerdo con esta proposición. Las empresas coincidieron en que fueron capaces de reclutar más alto
personal calificado y para desarrollar habilidades del personal existente. También acordaron que habían tomado en
mayor inversión en I + D y el riesgo en torno a la mitad opina que los proyectos habían hecho a cambiar su
estrategia de negocio o de su largo plazo de fabricación y procesos de negocio.
________________________________________
Página 162
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
162
7.9 ¿Cómo puede la evaluación dan una idea de un proceso sistémico?
Los "sistemas de innovación" concepto ha ganado rápidamente la moneda, tanto en el
campo académico y en la formulación de políticas círculos. Históricamente, sin embargo, la evaluación
ha tendido a operar en un programa de base por programa, en el aislamiento a
la cartera de la política de innovación más amplio. Es importante reconocer que, por
intentar modificar una parte del sistema de innovación, políticas de intervención
iniciará los cambios en otras partes del sistema, que puede ser beneficioso o
perjudicial, pero rara vez neutrales en los impactos a largo plazo. Por lo tanto, la innovación
programas pueden servir para mover aún más la innovación "cuello de botella" identificado
aguas abajo en el proceso de innovación, o perturbar el comportamiento de los actores en
el sistema de innovación, o incluso crear nuevos cuellos de botella.
No hay respuestas duras y rápidas a esta pregunta.
El VINNOVA
Manual identifica una serie de desafíos que enfrentan al tratar de
evaluar los efectos sistémicos de la aplicación de las políticas: (IKED / VINNOVA, p.
42-42)
♦ Política de desajuste y de política sinergias : aquí la cuestión se centra en
las externalidades de la parte del sistema que está siendo evaluado. ¿Qué otros
las partes interesadas, los factores conductuales y estructurales entran en juego, ya sea
positiva o negativamente? Igualmente, ¿cómo pueden los beneficios procedentes de la
programa puede mejorar mediante la ampliación de su ámbito de aplicación o mediante el fortalecimiento
ciertos elementos? Se necesitan metodologías para estimar el impacto de
otros actores e instituciones para aumentar la eficacia general de la
sistema de innovación.
♦ Nivel de agregación: Es importante tener en cuenta que el impacto de una
programa de innovación puede ocurrir en varios niveles a través de la
sistema de innovación. Por lo tanto, si la evaluación es capturar estos impactos, la
elección del nivel de agregación para la evaluación (o, de hecho,
evaluaciones) se convierte en crítico. De hecho, puede ser el caso que el mayor
impacto no es sentida por los participantes en el programa. Del mismo modo,
los impactos del programa se pueden sentir en varias partes de una cadena de valor fuera de
la industria destine efectivamente, debido a las formas de la competencia o de otro tipo
interacción. Tales adicionalidades deben ser capturados y esto se puede hacer
a través de la agregación de los análisis y mediante la investigación de un número mayor de
actores o partes adicionales de la cadena de valor, o mediante la combinación de una serie de
evaluaciones complementarias.
♦ Riesgo: El riesgo inherente asociado con las actividades de innovación significa que
algunos de los proyectos apoyados por el programa son altamente propensos a fallar.
Ciertamente, el nivel de éxito varía entre los participantes al igual que su
expectativas del programa. Por esta razón, un gran número de
los proyectos deben ser revisados como parte de una cartera y las tasas generales de
el éxito y el impacto examinados. Aquí es esencial que la composición de
los proyectos examinados es apropiada para los objetivos especificados.
♦ Efectos dinámicos: Como ya se ha dicho el carácter sistémico de la innovación
implica que una intervención en una parte va a causar reacciones en otras partes de
el sistema. No sólo estas reacciones pueden separar estructuralmente, como
en otras partes de la cadena de valor, sino que también pueden variar en el tiempo que
________________________________________
Página 163
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
163
llevará a ocurrir. Algunos serán a corto plazo, mientras que otros tardarán más tiempo en
hecho evidente (por ejemplo, los cambios en los regímenes fiscales y regulatorios).
La política de innovación Mucho tiene como objetivo lograr cambios a largo plazo en la innovación
sistemas. Sin embargo, los responsables políticos se enfrentan a la presión para determinar el impacto de la
sus políticas en el corto plazo, lo que induce una demanda para desarrollar a corto
indicadores coyunturales de los efectos a más largo plazo.
________________________________________
Página 164
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
164
7.10 ¿Qué hemos aprendido acerca de la evaluación de programas de innovación y
la cultura de la evaluación?
Esta Guía, y la investigación en el proyecto SMIEP, han sugerido que
evaluación de los programas de innovación es un campo importante y dinámico de
actividad, pero que todavía está poco desarrollada en gran parte de la UE y otros
países.
Figura 7.1 Pocos países tienen una cultura bien establecida de evaluación
en el campo de la política de innovación
0
10
20
30
40
50
60
1
2
3
4
5
Respuesta a la Declaración
1 = en desacuerdo completamente, 5 = totalmente de acuerdo, 3 = neutral
Nu
mbre o
F
Resp
en
guarida
t
s
Fuente: Apoyo al Monitoreo y Evaluación de Programas de Innovación datos de la encuesta
Han demostrado que la evaluación de programas de innovación no es sencillo
la materia, sino que puede aprender de la experiencia de otros tipos de evaluación.
No hay una "bala mágica", sino que es necesario extraer de una gama de
métodos para obtener una comprensión de los fenómenos necesariamente complicado.
Una cuestión importante que se ha planteado en varias ocasiones es la necesidad de superar la
vista de la evaluación como una actividad puramente crítico, más que como un
oportunidad para el aprendizaje. El punto de vista que ha surgido a través de esta Guía
refleja los principios de la cultura de evaluación avanzados:
♦ programas están diseñados dentro de un conjunto de supuestos - evaluaciones pueden
probar estos.
♦ Planificación para la evaluación ayuda a mejorar la comprensión general de la
problemas, los resultados esperados y las posibles soluciones, y marcas
evaluación en sí más eficiente y eficaz.
________________________________________
Página 165
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
165
♦ programas siempre se pueden mejorar (y la evaluación es una de las fuentes de
visión de los directores de programas sobre cómo lograr esto).
♦ "fracaso" contiene importantes lecciones - evaluación deberá proporcionar estos
lecciones en lugar de simplemente poner de relieve deficiencias.
♦ igualmente, el "éxito" no se puede demostrar de forma fiable sin una evaluación.
♦ modos alternativos de intervención pueden estar disponibles y posiblemente deseable -
evaluaciones pueden identificar estos, y también identificar dónde existen
contradicciones y desajustes entre los diferentes instrumentos de política.
Se requiere apoyo ♦ arriba hacia abajo para su evaluación y aceptación de los resultados -
lo que significa que los usuarios informados en los niveles superiores.
♦ Evaluación proporciona transparencia en el funcionamiento de los programas a un
más amplia audiencia y puede ayudar a atraer a los interesados.
♦ evaluación ofrece una oportunidad a los programas de referencia en contra de cada
sí y sus precursores / sucesores, y puede permitir el aprendizaje de políticas
a través de diferentes organismos y gobiernos.
________________________________________
Página 166
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
166
Capítulo 8 DE NOTIFICACIÓN DE RESULTADOS DE LA EVALUACIÓN
8.1 ¿Por qué es importante pensar en la presentación de informes?
Referencia podrá ser el último paso en una evaluación - antes de que se actuaron sus resultados
upon - pero ciertamente no es el menor paso. De hecho, la calidad de los informes
pueden tener una influencia considerable en lo lejos que se presta atención a los resultados.
Y los informes pueden ser necesarios durante el proceso de evaluación, no sólo en
el final del proceso. Por último, es importante subrayar que la preparación del informe
no debe ser dejado para el final de la evaluación (vea la ilustración).
Informes presenta los resultados del estudio de evaluación, junto con la
información necesaria para que los lectores evaluar la validez y la importancia de
estos resultados - que típicamente involucrarán material descriptivo sobre la
programa y su contexto, y la explicación de los métodos empleados. Claramente
estas discusiones pueden ir desde la escueta y mínima a lo discursivo y
larga. El punto exacto para apuntar a entre estos extremos dependerá de la
audiencia y el propósito de la informe en particular. Algunos tipos diferentes de
informes que podemos tener en cuenta son:
Informes al patrocinador de la evaluación
♦ Los informes provisionales durante el transcurso de la evaluación - típicas en el caso
de las evaluaciones extensas.
♦ informes finales por escrito al final del proceso de evaluación - prácticamente
todos los estudios de evaluación dará lugar a dicho informe. Esto será a menudo
a disposición del público después de un proceso de consulta (por ejemplo,
los participantes del programa se les da la oportunidad de corregir los errores)
♦ informes y presentaciones para acompañar lo anterior escrito verbales
informes. Es común para proporcionar una presentación sucinta sobre la final
informe; a menudo habrá sesiones informativas sobre la marcha de la evaluación
para acompañar a los informes provisionales
Informes a otros grupos de interés
♦ Los informes escritos para un público más amplio - a veces una versión abreviada es
requerida cuando el informe final completo es visto como demasiado largo o complejo para
amplia distribución.
♦ Los informes y presentaciones a los participantes del programa - a menudo todo un
cuestión de presentaciones adaptadas basadas en el informe final.
♦ Los informes y presentaciones a los otros partidos - por ejemplo, para
formuladores de políticas y los políticos, a otros investigadores de la evaluación, a
investigadores de innovación.
♦ Los evaluadores pueden preparar comunicados de prensa ready made que proceda
las partes interesadas pueden dar a los medios de comunicación.
________________________________________
Página 167
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
167
El contenido del informe - cuáles son los elementos de la evaluación se centran en,
lo que el estilo de presentación es - debe basarse en los intereses y
capacidades de la audiencia. Sus intereses pueden implicar, por ejemplo, el
preocupaciones de un público específico con tipos específicos de proyecto u objetivo, o
con determinados sectores industriales, universidades, etc Sus capacidades tienen que
debe tenerse en cuenta - por ejemplo, la familiaridad del público con la jerga y
técnicas, si el programa ya ha recibido una gran cantidad de exposición o
si el público debe ser informado al respecto a partir de cero.
________________________________________
Página 168
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
168
Recuadro 8.1 NSF Orientación sobre Buenas Informes de Evaluaciones
"Comience temprano. Aunque generalmente pensamos en la redacción del informe como el paso final en el
la evaluación, una buena parte de la obra se puede (ya menudo lo hace) llevará a cabo antes de
se recogen los datos. Por ejemplo, una sección de fondo puede ser a menudo
desarrollado utilizando materiales de la propuesta original. Si bien algunos aspectos de
la metodología puede desviarse de la propuesta original como el estudio
progresa, la mayor parte de la información de fondo (por ejemplo, la naturaleza del problema,
las metas del proyecto) seguirán siendo los mismos a lo largo de la evaluación. Además, la
sección de preguntas de estudio de evaluación a menudo se puede escribir utilizando material que
fue desarrollado para el diseño de la evaluación. Los resultados de la evaluación,
conclusiones y recomendaciones en general tienen que esperar a que el fin de la
evaluación.
Debido al volumen de datos escritos que se recogen en el hotel, por lo general
una buena idea para organizar notas de estudio tan pronto después de una visita sobre el terreno o la entrevista como
posible. Estas notas se suele servir como punto de partida para cualquier individuo
estudios de casos que se podrían incluir en el informe. Además ... preparar
texto escrito poco después de la actividad de recolección de datos ayudará a clasificar y
mostrar los datos y reducir el volumen general de los datos narrativa que se
eventualmente necesitar ser resumida y reportada al final del estudio.
Por último, las secciones de preparación del capítulo de conclusiones durante la recolección de datos
fase permite a los investigadores generar conclusiones preliminares o identificar
posibles tendencias que pueden ser confirmadas o refutadas por la recolección de datos adicionales
actividades. "
Fuente: capítulo 7 "Informe de los Resultados de las Evaluaciones de método mixto" por
Gary Silverstein y Laure agudo en Frechtling y Sharp (1997)
________________________________________
Página 169
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
169
8.2 ¿Cómo debe decidirse requisitos de información?
La información necesaria para la evaluación debe determinarse desde el principio en la
proceso. De hecho, los principios de este bien se pueden establecer en el
Declaración Roame u otro Programa General. En este punto debe ser
aceptó que la evaluación no es sólo el control de un cuadro de decir que el
programa se llevó a cabo correctamente, pero se lleva a cabo para asegurar que las lecciones
del programa se pueden identificar y difundido. Planes de difusión
debe ser parte de la licitación y la contratación de la evaluación.
Sobre esta base, podemos esperar que el patrocinador de la evaluación tendrá un
Se requerirá un considerable papel en la determinación de qué tipo de información
- Si se debe exigir un informe provisional, o, simplemente, un informe al final de la
evaluación; ya sea para pedir verbal, así como presentaciones por escrito; si
pedir informes especializados o resumen para públicos específicos; y así sucesivamente.
El patrocinador también puede de alguna manera a la especificación de la estructura del informe (s) -
por ejemplo, las cuestiones que deben tenerse en cuenta, los datos que se debe proporcionar. ¿Qué
el patrocinador no puede hacer es especificar lo que las conclusiones deben ser!
Bien puede haber margen para la negociación entre el patrocinador y el evaluador
con respecto a lo de informes precisa que hay que hacer, y / o qué informes se
ser similar. Si el estudio de evaluación ha sido sacada a licitación entre los que compiten
evaluadores, se les puede pedir que presente propuestas sobre la forma de presentación de informes,
por ejemplo.
Siempre debe haber una expectativa mínima de lo que serán los informes
siempre, y cómo éstos deben ser estructurados. Dos asuntos más difíciles
pueda surgir. En primer lugar, puede ponerse de manifiesto que la información adicional debe ser
interés, por ejemplo, política o los medios de comunicación en un programa o el: comprometido
cuestiones que aborda pueden haber crecido rápidamente. En tal caso, habrá la
que considerar quién paga los gastos de producción y difusión
informes, organizar o asistir a las reuniones. Es razonable esperar que el
evaluadores para llevar a cabo una gran cantidad de actividad exclusivamente con cargo a los fondos de comercio (o en
el
esperanza de obtener una buena publicidad de sus servicios). Fondos de contingencia puede
necesario movilizar, posiblemente del presupuesto asignado a la promoción de la
programa en sí.
En segundo lugar, el evaluador podría formular resultados - u otros aspectos de la
estudiar, tales como la metodología - más disponible que el patrocinador
originalmente previó. Mayor difusión de información sobre los métodos y resultados
es generalmente beneficiosa. Los principales problemas que pueden surgir son: el mantenimiento de la
anonimato de los informantes (véase más adelante); tratar con selectiva e incluso
atención de los medios maliciosos; y asegurar que las distintas partes en el
programa han tenido la oportunidad de corregir los errores y responder a específicas
críticas. En general, las evaluaciones deben ser comisionados y realizaron
con la expectativa de que los resultados se harán públicos.
________________________________________
Página 170
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
170
8.3 ¿Cómo podemos presentar los resultados de una evaluación a un particular,
audiencia?
Mientras que un informe de evaluación puede ser dirigida principalmente a un público, es muy probable
para ser leído por un grupo más amplio.
El tipo de público va a influir en la cantidad que ya se sabe acerca de la
programa y su contexto, ¿cómo los resultados de la evaluación se van a utilizar,
y la cantidad de esfuerzo que el lector es capaz de poner en la asimilación de la información.
Algunos puntos generales a tener en cuenta son:
♦ El patrocinador de la evaluación y / o fuente de financiamiento para el programa se
quiero información acerca de temas como la relación calidad-precio y programa
eficiencia y eficacia. Problemas similares también pueden ser de primaria
preocupación a otros legisladores y políticos.
♦ Los financiadores y patrocinadores estarán más familiarizados con el programa
estructura y objetivos, y esto puede necesitar menos reiteración por ellos.
Sin embargo, pueden estar más interesados en una comparación de la
eficacia de este programa con otros, y con el dibujo hacia fuera
de lecciones acerca de los futuros programas.
♦ Los participantes en el programa, y los que podrían participar en el futuro
programas, pueden ser los más interesados en los beneficios reportados por
personas y organizaciones similares a ellos.
♦ Incluso los que participan en el programa pueden no estar familiarizados con el
jerga especializada usada por los directores de programas o en algunas otras partes
del programa.
♦ Los ejemplos, estudios de casos y anécdotas pueden ser particularmente eficaz en
comunicando con el público laicos - pero en general son de gran utilidad
herramientas.
♦ Gráficos y tablas son también formas convincentes de presentar la información,
siempre y cuando no hay tantos de ellos, o son de forma individual para
compleja, ya que se sobrecargue el lector.
♦ Sólo los otros evaluadores suelen estar interesados en los detalles técnicos
del informe de evaluación, que no sea para evaluar la validez general de la
resultados. Los detalles completos de los métodos se pueden presentar en un anexo.
♦ A menudo será útil preparar un informe completo de evaluación para los patrocinadores
de la evaluación, y para proporcionar mucho más cortos informes para otros usuarios.
♦ De hecho, una estrategia de difusión de resultados de la evaluación es parte y
parcela de asegurar que se utilizarán los resultados. Sin embargo, la
los evaluadores deberán ponerse de acuerdo esto con los patrocinadores de la evaluación,
y el acuerdo en principio (y por escrito) sobre una estrategia a muy
etapa temprana es deseable.
________________________________________
Página 171
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
171
8.4 ¿Qué contiene un informe?
Un breve informe puede centrarse casi exclusivamente en los resultados de la evaluación,
proporcionar indicaciones acerca de dónde los antecedentes del estudio puede ser
examinado. Los elementos típicos de un informe más extenso son:
♦ Resumen Ejecutivo - que, como el breve informe se ha mencionado anteriormente,
típicamente se centran en conclusiones básicas, relacionándolas con relevante
secciones del texto principal.
♦ Introducción : la puesta en escena de la evaluación (por lo general esto implica
explicando quien encargó y llevó a cabo la evaluación, cuándo y
por qué).
♦ Antecedentes para el programa que se está evaluando, descripción del
justificación, objetivos y actividades están evaluando.
♦ Las preguntas de evaluación - es decir, los tipos de impactos a ser
investigados, y los problemas que estos vomitar.
♦ Breve reseña de la metodología - la información que se generó, por
qué técnicas.
♦ Principales resultados - por lo general ilustrada con gráficos y tablas.
♦ Conclusiones - Resumen de los principales resultados y las implicaciones que
deriven de las mismas; recomendaciones para futuros programas y políticas
(y evaluaciones).
♦ Anexos : notas más detalladas sobre la metodología y los resultados.
Si bien estos elementos serán parte de casi todos los informes de evaluación, pueden ser
dispuestos en diferentes maneras. Los informes pueden ser organizados a lo largo de diferentes líneas.
Por ejemplo, un informe puede ser organizada temáticamente, en términos de diferentes
elementos del programa - o incluso en cuanto a los temas específicos que se están
abordado. Por ejemplo, la evaluación de un programa de apoyo a la investigación
colaboración (COST) llevó a cabo a finales de 1990 tenía por objeto informar a
las decisiones sobre el futuro del programa, incluyendo cómo sería
supervisar y evaluar de forma continua.
Después introductoria
explicación, el informe de evaluación se estructura en torno a cinco temas especificados
por un grupo director de evaluación (calidad, estructuras, mecanismos y
procedimientos; cuestiones relacionadas con la ampliación del marco de la incorporación de
los países de Europa central y oriental; el programa como un catalizador para
a largo plazo la colaboración internacional; y la evaluación de la inversión en el
las actividades de los participantes), y luego discutieron una serie de cuestiones relativas a
el seguimiento y la evaluación.
(Aquí,
Se hicieron recomendaciones
relativa a una mejor documentación para propósitos de monitoreo; mejora de los vínculos
entre los diferentes niveles del programa; mejoras en la selección de propuestas
proceso; procedimientos para los períodos de puesta a punto y las evaluaciones intermedias; para
prórroga y terminación de las acciones; para los comités, y para regular de
auditoría independiente de las finanzas de costes, etc) Por último, un conjunto de escenarios eran
construido, explicando los efectos probables de los diferentes grados de cambio en
estructuras de los programas. (PREST et al, 1997)
________________________________________
Página 172
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
172
Recuadro 8.2 Presentación de los Resultados de la Evaluación: La discusión de la mejor
Prácticas del Programa de Tecnologías Avanzadas EE.UU.
"La presentación de Estratégicamente Resultados.
Resultados tienen más efecto si se presentan de modo que una persona no técnica
puede entender la ciencia y la comercialización. Los resultados se presentan en
múltiples maneras-un breve resumen que permite a alguien para captar rápidamente la tecla
hallazgos, un resumen ejecutivo para alguien que quiere una visión general de la llave
pone de relieve, y el informe completo. Resultados cuantitativos se presentan en forma de tabla
formar, con los gráficos, y con el acompañamiento de los análisis cualitativos. Liberamos
muchos de nuestros hallazgos en las hojas de datos y ponerlos a disposición en el ATP de
sitio web. También hemos publicado tres folletos de temas especiales que resaltan
proyectos en los sectores de atención de la salud, la energía, y de fabricación ...
Otra forma en que se resumen los resultados y datos es un "resumen estadístico, 'un
idea de que la tomamos prestada de Estadística de la Oficina del Censo de EE.UU. del anual
Resumen. Hay planes para publicar el resumen estadístico ATP cada dos años-
el primero fue lanzado en septiembre de 2004, en un informe titulado Midiendo ATP
Impacto, 2004 Informe sobre Progreso Económico. El informe describe la ATP
utilización de los resultados y datos de los informes y las estadísticas recientes. También proporciona
resúmenes de los estudios recientes y diez cuadros estadísticos detallados que ofrecen
datos sobre el número y tipos de premios, las áreas de tecnología, regiones geográficas,
participación de las universidades, el número de patentes, comercialización y post-premio
atracción de fondos externos. Los datos se presentan para todos los proyectos y por
característica del proyecto, por:

Tamaño del líder del proyecto,

Tipo de proyecto (empresa individual o negocio conjunto),

Tipo de proyecto,

Área de Tecnología,

Área de Tecnología por tipo de proyecto.
... "
Fuente: Shipp et al (2005)
disponible en:
http://www.atp.nist.gov/eao/ir05-7174/nistir05-7174.pdf
________________________________________
Página 173
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
173
8.5 ¿Cómo se puede presentar resultados?
Un informe tiene que encontrar el equilibrio adecuado entre la precisión y la
legibilidad. Tiene que ser preciso y detallado, sin ser demasiado largo o
técnica. Es importante para atraer y mantener la atención del lector.
Algunos de
las cuestiones fundamentales que se plantean son:
♦ La concisión. estudios Evaluaciones suelen generar grandes volúmenes de
notas de la entrevista, las declaraciones de la encuesta, las tabulaciones, y similares. Es necesario
ser muy selectivo en el uso de este material (sobre todo en el informe principal:
más detalle se puede presentar en los anexos.) El resultado final es que
deberá incluir la información que se dirige directamente a la evaluación
preguntas, y que contribuya a establecer los argumentos generales y
conclusiones alcanzadas. (Esto incluye pruebas que no admite estas
conclusiones: esas pruebas ha de ser tratados y contabilizados, no
suprimida.)
♦ La legibilidad . Los informes son a menudo asuntos secos y técnicos. El uso de
citas y narraciones de estudios de caso pueden hacer la cuenta más legible
y memorable. Existe el peligro de un exceso de la narrativa y la cita:
la regla clave aquí es que los utilicen para ilustrar los puntos (por ejemplo, poniendo un
cotización relevante en un cuadro de texto junto a un argumento que se está realizando.
Listas de puntos de bala son igualmente buenas formas de cristalización de los puntos importantes y
rompiendo análisis densos: una y otra vez que pueden ser usado en exceso, dejando
lectores con una larga serie de puntos pobremente conectados a poner de alguna manera
juntos.
♦ Ilustraciones . Estos por lo general serán tablas, gráficos y tablas de derivadas de
los resultados de encuestas o análisis de archivo. (Incluso la información cualitativa
a menudo se pueden presentar en forma de tabla. Temas como "los casos en que
informantes reportaron que un determinado resultado se logró "; "vistas
informantes en cuanto a qué resultados se lograron con mayor facilidad ", y similares,
prestan a la enumeración o cita de ejemplos.) Una vez más, hay una
peligro de sobrecargar el texto con ilustraciones: siempre hay un límite
las tablas y gráficos que pueden ser absorbidos por los lectores, por lo que las decisiones deben
debe ser tomada como a los que son casos más relevantes. Otras ilustraciones
También pueden emplearse - diagramas para representar la estructura organizativa o
flujo de tareas, posiblemente, las fotografías de personas en el trabajo en la configuración del programa
o de los tipos de tecnología están abordando, etc El uso de ilustraciones
tiene que ser adecuada a la audiencia: el lector no deberá sentir hablado
a, pero el diseño visual puede ser muy importante en el fomento
número de lectores
________________________________________
Página 174
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
174
8.6 ¿Qué se debe hacer por medio de consultas y comentarios?
Es una práctica común para un primer borrador de un informe de evaluación que se distribuirá a
informantes y los que participan en el programa - que puede recibir un proyecto de
todo el informe o (a menudo más útil) sólo aquellas partes que se ocupan de su
propios campos de actividad, retroalimentación de dichos lectores es útil para corregir
errores de hecho y errores de interpretación. Aquellos cuyas opiniones han sido
citado, o que han contado relatos que se están elaborando en adelante, puede ser
capaz de señalar y ayudar a superar los malentendidos y las omisiones en la
cuenta. (También pueden señalar si sienten que su anonimato está siendo
comprometida.) Las personas que pueden sentir que su rendimiento no ha sido
adecuadamente representados se les da una oportunidad de responder a las implícitas y explícitas
críticas.
Si bien siempre es posible que una mayor retroalimentación se enviará en breve después de la
informe aparece, es probable que permita a los evaluadores a la consulta previa
determinar donde hay descontento con el informe, y tomar medidas para hacer frente
con este.
El principal peligro es que los resultados de la evaluación se "filtre" en
esta primera etapa, y que las conclusiones de un proyecto se pueden representar como la
última palabra. Por lo tanto, cuando se hace circular un borrador de informe, esto se debe hacer en
confianza, con los que la reciben se pide no distribuir aún más.
________________________________________
Página 175
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
175
8.7 ¿Qué se debe hacer sobre la confidencialidad?
Mantener la confidencialidad es susceptible de ser un problema importante. Es común
practicar para obtener puntos de vista y comentarios de personas que han sido
entrevistados y encuestados de forma anónima. Esto les permite hablar
de una manera directa, sin preocuparse que sus comentarios a los evaluadores
dará lugar a su ser en el extremo receptor de las llamadas telefónicas airadas (o peor).
Por supuesto, el anonimato no debe ser un pretexto para rumores y verdades a medias para
entrar en la evaluación. Afirmaciones de hecho deben ser verificados en cuanto a
posibles, y presentados como se presenta por una (o más) si informantes
que no se pueden determinar. Las opiniones y las creencias pueden declararse como tales.
La cuestión es, ¿hasta qué éstos tienen que estar vinculados a determinadas personas?
A veces, la gente estará feliz de tener sus entradas que se les atribuyen. Pero
a veces van a querer que las cosas específicas que decir en el anonimato, y
a veces esto será la condición de una entrevista. Puesto que es difícil
negociar los niveles de confidencialidad en el caso de las encuestas, estos son a menudo
llevaron a cabo en régimen de todo-o-nada, y más a menudo los encuestados son
informó que las respuestas serán anónimas.
Por lo general, la tarea se convierte entonces en uno de (a) el reconocimiento de la ayuda proporcionada por
informantes; (B) que representa con exactitud la información que tienen
suministrado, que a menudo requiere alguna indicación de qué tipo de encuestado
involucrada era (porque esto puede afectar la manera en que un lector interpretará
la entrada); y (c) por lo que es difícil de asociar una cita en particular o
juicio con un informante llamado específico. Puede ser que el informante tiene
mostró dispuesta a renunciar anonimato (punto (c)), pero esto no siempre será el
caso, y los investigadores tienen que tener cuidado para evitar romper cualquier anterior
compromisos. (Por supuesto, esto implica que los evaluadores tendrán que ser muy
muy consciente de los compromisos que se han hecho en el primer lugar.) Es
menudo posible preservar un cierto grado de anonimato, al atribuir las entradas a un
encuestado de un fondo en el trabajo o de organización en particular, sino
donde hay muy pocas personas de este tipo, esto puede ser muy problemática también.
Si las personas reconocidas como haber colaborado en la evaluación sólo contiene
a un individuo de un fondo, el anonimato como se ve comprometida.
Un problema relacionado surge de "off the record" o "en confianza", comenta.
Estos a veces son proporcionados por los informantes en el entendimiento de que
no se informarán directamente, sino con el fin de proporcionar al evaluador
es necesario comprender el fondo de algo que se discute. (A menudo
esto va a ser una cuestión de crítica de una persona o institución determinada.) Tal
la información puede ser muy valiosa, y por lo general no necesitan ser reportados en
de manera directa con el fin de ser utilizado para informar del informe de evaluación. Si más
uso explícito necesita ser hecho, puede ser posible anonimizar el objetivo de
la crítica o la instancia específica de la práctica que se está discutiendo. Si esto no es
el caso, el evaluador puede tener que negociar con el informante en relación con
cómo se puede representar la información.
________________________________________
Página 176
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
176
Capítulo 9 HACIENDO EL PAPEL DE LA EVALUACIÓN
9.1 ¿Cómo podemos lidiar con argumentos en contra de la evaluación?
Capítulo 3 examina una serie de argumentos montados comúnmente contra
evaluación, y sugirieron cómo podrían ser contrarrestadas intelectualmente, y
a través de medidas prácticas que aborden los problemas que se plantean. Nosotros
También expuso los argumentos a favor de la evaluación, y han procedido a discutir
cómo deben ser gestionados y aplicado efectivamente las evaluaciones.
En última instancia, nada es tan convincente como ejemplos de buenas prácticas de evaluación,
y de los resultados de los estudios de evaluación que hacen una diferencia real en la política
práctica.
Sin embargo, esto es sólo parte de la historia. Es una cosa que ensayar argumentos
y documentar las experiencias, y otra cosa es que la gente los escucha. Hay
son pocos o ninguno los atajos aquí. Va a ser muy valiosa para ganar el oído de una persona mayor
toma de decisiones, que pueden influir en sus colegas y subordinados.
(Incluso entonces, puede haber un acuse de recibo de contadores de la evaluación de estos
partes, sin ningún compromiso serio con las cuestiones planteadas. La
terminología puede ser adoptado y aplicado incorrectamente, elevando el peligro de que un
noción empobrecida de la evaluación se convierte en actual.)
La exposición de los principios de evaluación y demostración de su utilidad es muy
importante - sobre todo en circunstancias en las que los políticos influyentes son
presente. Ellos pueden demostrar su aprobación, y los subordinados de alerta deberían
ser capaz de sacar sus propias conclusiones a partir de esto. Influencia de los amigos es también una
disparador importante para el desarrollo de actitudes favorables - las cuentas de
lo que se está haciendo en otros países, por lo tanto puede tener un efecto considerable.
Sin embargo, de nuevo, no puede haber problemas. Uno de los - por lo general sin especificar -
fuentes de oposición a la evaluación de los enfoques - especialmente específico
técnicas - es el "no inventado aquí" fenómeno. Si una determinada política
enfoque se considera que está estrechamente vinculada con un país en particular,
la filosofía política, o incluso uno de los lados de un argumento político local, puede ser
rechazada únicamente por razones de asociación, sin consideración seria de su
fundamentos y potencial utilidad en otros contextos. Igualmente, como se
discute más adelante, hay peligros en copiar acríticamente enfoques
desarrollado en un contexto de toma de decisiones en un contexto muy diferente -
cuándo permanecer fiel a los principios que sustentan el enfoque haría realidad
necesitar ser modificada para adaptarse a la nueva contexto. Esto se discute en más detalle
a continuación.
________________________________________
Página 177
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
177
9.2 ¿Quién tiene que ser convencido? (1) campeones
Dos de las conclusiones más sobresalientes y duraderos de la innovación
investigación son:
. 1 Las innovaciones necesitan campeones de productos - figuras importantes que lucharán por
recursos que se dedican a la innovación, incluso si todavía está en las primeras etapas
y una manera de mostrar ningún buenos rendimientos, y especialmente cuando el
organización se enfrenta a problemas que llevan otras figuras de alto nivel para sugerir
que sólo las actividades inmediatas deben ser priorizadas.
. 2 Las innovaciones exitosas están íntimamente ligados a los requerimientos del usuario: la
innovador tiene cierta forma de entender estos requisitos (tal vez
de ser un usuario primordial de él o ella, tal vez por el continuo
implicación con las comunidades de usuarios - incluso a través de la investigación de mercado en
ocasión).
Problemas bastante similares surgen cuando lo que tenemos que hacer frente a una política
la innovación, tales como la introducción de la evaluación en un marco institucional, o
la introducción de una nueva forma de papel o para las actividades de evaluación.
Un campeón se requiere que presentará el caso a los altos directivos y
los responsables políticos, y lucha contra la esquina de la evaluación cuando se enfrenta a
oposición. El campeón, por lo general un alto directivo o figura política, voluntad
necesita ser armado con los argumentos en apoyo de la evaluación. Ayuda
considerablemente si él o ella tiene una apreciación de las dificultades que las evaluaciones
puede encontrar, de la escala de tiempo involucrado en el establecimiento y utilización de los resultados, de
los desafíos que enfrentan utilizando evaluaciones de manera eficaz. Un sensible
gerente de "vender" los principios de evaluación de sus subordinados,
motivándolos a comprometerse plenamente con ellos, en lugar de emitir una
instrucciones para implementar el proceso. Implementación satisfactoria es susceptible de
exigir comprensión y compromiso con el proceso de la línea.
________________________________________
Página 178
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
178
9.3 ¿Quién tiene que ser convencido? (2) las partes interesadas
El campeón del producto se habrá convertido en una de las partes interesadas, en el sentido de que su
o su reputación puede estar vinculada con el proceso de evaluación. Otro
los interesados también tienen que ser ganados para el proceso. Por grupos de interés que
referirse a todos aquellos que tienen un interés en la evaluación. Esto puede incluir,
por ejemplo:
♦ Los que están siendo evaluados (los participantes y los directores de los programas), y
aquellos que podrían esperar ser evaluada en futuros ejercicios.
♦ Los posibles usuarios de estos resultados en relación con la eficiencia y valor por dinero
- Por ejemplo, los auditores y los reguladores financieros.
♦ Los posibles usuarios de los resultados relativos a las direcciones particulares para
gestión de la innovación y la innovación, por ejemplo la investigación y
comunidades tecnológicas que pueden ser influenciados por, la generación y / o
utilizando las innovaciones en cuestión.
♦ Los posibles usuarios de los resultados más generales acerca de la innovación - sus condiciones
y sus consecuencias - incluyendo gerentes en empresas que son o tienen la intención de
participar activamente en la innovación o en la financiación de innovaciones.
♦ Las figuras políticas y los políticos que buscan informarse sobre
la orientación futura de la política y los programas de innovación.
♦ Los medios pueden convertirse en una de las partes interesadas (cuando las evaluaciones son relevantes para
historias en curso o campañas), y será importante para proporcionar clara
exposición de la naturaleza de las evaluaciones para limitar la medida en que resulta
puede ser tergiversado.
Al igual que en el caso de las innovaciones, la buena vinculación con los usuarios no es sólo una cuestión de
informar a los usuarios sobre los beneficios de la innovación (en este caso la política
la innovación en relación con la evaluación). También consiste en escuchar a los usuarios y
escuchar lo que quieren. Esto no significa necesariamente que dan a los usuarios exactamente
lo que ellos creen que quieren. Los usuarios no siempre son muy buenos para ver cómo se
se podría emplear una innovación que aún no lo han encontrado, y
que pueden ser reacios a cambiar algunas o muchas de sus prácticas. Para
ejemplo, los auditores aún tendrán que seguir realizando la auditoría de base
funciones, aun cuando puedan ser persuadidos del valor de tomar una mirada más amplia
las cosas. Pero sí requiere tener en cuenta las capacidades de lo que el usuario de
resultados de la evaluación de comprensión son, y cuáles son sus necesidades para este tipo de resultados
podría ser.
Por estas razones, las prácticas de evaluación deben estar en un mínimo diseñado de manera
que los resultados pueden ser presentados en términos que son clara y concisa
explicable a los usuarios no expertos. En este contexto, algunos de vanguardia cuantitativa
los resultados pueden ser bastante ineficaz y si bien es importante seguir
experimentar con metodologías de evaluación frescas, esto no debe ponerse en el camino
de presentar los resultados básicos. Se debe tratar en lo posible de comprometerse con
los tipos de impactos de los programas con los que los usuarios clave tienen que ver - este
puede ser un foco en la competitividad de los clusters regionales, en materia de empleo
generación, sobre los impactos ambientales, o una serie de otros temas. La
los objetivos del programa ya se especificarán los factores clave que el programa es
destinado a influir, pero estos también tienen que estar relacionados con la forma en la que
estas preocupaciones se entienden y expresan los usuarios clave.
________________________________________
Página 179
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
179
9.4 ¿Cuáles son los principales retos que tienen que superar para ganar
Apoyo a la utilización de las evaluaciones?
Es evidente que el grado en que la entidad cuente con una cultura bien desarrollada de
evaluación será un determinante importante de la utilización, y probablemente la
calidad de las evaluaciones individuales. Pero hay factores que pueden hacer que un
evaluación individual menos eficaz, incluso cuando está en una generalmente favorable
medio ambiente.
19
Entre los retos que tienen con mayor frecuencia que hay que superar son:
♦ Problemas de sincronización
♦ Los recursos asignados a la evaluación
♦ herramientas e instrumentos inapropiados
♦ cuestiones de control de calidad
♦ cuestiones de la Independencia
Las entrevistas de proyectos SMEIP indicaron que los dos primeros retos eran
más comúnmente experimentados. Las restricciones presupuestarias y las limitaciones de tiempo fueron
repetidamente citado (a veces dentro de la misma observación, tal como un escocés
dicho entrevistado "En última instancia, nuestros presupuestos son limitados y la escala de tiempo
dentro de la cual las cosas tienen que hacerse conducir nuestras decisiones ").
Otros temas mencionados incluyen:
♦ regulaciones excesivamente complicada para la puesta en marcha de la evaluación (esta
afecta a las decisiones de los funcionarios públicos acerca de cuáles serían los programas
evaluado).
♦ La escasez de evaluadores competentes que sean capaces de llevar a cabo imparcial
evaluación, trascender los modelos de negocio y el uso de nuevos enfoques. Este
se mencionó incluso en países con una cultura de evaluación más fuerte.
19
EPEC (2005) discute útilmente factores que fomentan o desalientan las evaluaciones y su uso
a nivel de las evaluaciones individuales, a nivel de la institución de forma más general, y en la política
procesos.
________________________________________
Página 180
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
180
9.5 ¿Cómo podemos abordar los problemas de sincronización?
Tal vez el problema más común es que las evaluaciones no se ajustan bien a la
ciclo de las políticas. Se necesita tiempo para llevar a cabo una evaluación adecuada, pero las decisiones
puede necesitar ser hecha rápidamente. De hecho, las decisiones sobre el sucesor
programas, o sobre la reestructuración de todo el sistema de la política de innovación, puede
deben tomarse antes de que un programa se ha completado. Esperemos que los resultados de
evaluaciones anteriores pueden informar a estas decisiones, pero puede haber presión para
compartir algunas conclusiones iniciales y provisionales de un estudio de evaluación con el fin
para proporcionar la inteligencia específica que está diseñado para producir. A continuación, será el
la responsabilidad de los evaluadores para determinar qué conclusiones pueden ser
salir temprano, y cómo las calificaciones necesarias puedan ser adecuadamente
reflejada.
A menudo es difícil predecir qué momento surgirán problemas, porque el cambio de
circunstancias políticas pueden conducir a las demandas que surgen de los resultados de evaluación a
momentos inesperados. Del mismo modo, pueden significar que el momento ha pasado a
resultados de la evaluación que se podrían utilizar más eficazmente. Pueden surgir problemas,
por ejemplo, donde hay una reorganización del liderazgo político de alto nivel, cuando un
crisis de financiación sucede, cuando hay conciencia repentina de la necesidad de
apoyar intensamente una tecnología o grupo determinado, y así sucesivamente.
Sin embargo, los contornos generales del ciclo de políticas generalmente se pueden predecir con
precisión razonable. Rondas de financiamiento comienzan y terminan con cierta regularidad;
revisiones importantes de los ámbitos políticos se anuncian con mucha antelación (como lo son
elecciones); incluso es posible determinar los tiempos en los que los tomadores de decisiones son
obligado a preocuparse por otros asuntos urgentes (aunque es más difícil de
predecir cuándo van a tener unos momentos libres). Tales cuestiones de programación, puede
deben tenerse en cuenta en el diseño y puesta en marcha de las evaluaciones. Ellos
puede significar, por ejemplo, que la evaluación debe comenzar más temprano
que tarde, que debería estar diseñado para producir intermedio clave
resultados en una etapa temprana, que los evaluadores deben ser informados de la probabilidad
que se buscará su asesoramiento durante el transcurso de la evaluación, que
mecanismos de seguimiento deben estar bien desarrollados y dirigidos a deseado
resultados previstos, o que en tiempo real o medio plazo las evaluaciones se llevan a cabo.
Igualmente, será necesario que patrocinan esas evaluaciones para informar claramente su política
maestros en cuanto a qué es realista esperar y cuándo. Es importante que no se
despertar falsas expectativas sobre lo que una evaluación determinada puede contribuir en el
curso de un ciclo político en particular. Puede ser necesario aumentar la parcial
resultados de una evaluación continua con la información, pruebas y conclusiones
extraída de evaluaciones anteriores, las actividades de vigilancia y otras fuentes.
También debe tenerse en cuenta que, en un cultivo completamente desarrollado de la evaluación, la
contribución de cada evaluación sucesiva programa debe agregar más
evidencia que el panorama general del sistema nacional de innovación en un
forma incremental. Por lo tanto, a nivel de política mayor (y políticos) una
comparativamente al día la evaluación del entorno de la innovación es siempre
________________________________________
Página 181
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
181
, disponibles proporcionadas programas se han puesto en marcha en etapas sucesivas
durante todo el ciclo de la política en general.
________________________________________
Página 182
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
182
9.6 ¿Cómo podemos hacer frente a los problemas de los recursos?
Es común encontrar declaraciones a lo largo de las líneas de "evaluaciones típicamente
costar 1 a 5% de la cantidad consumida por el programa que se está evaluando ",
pero esto parece ser impresionista en vez de sobre la base de la encuesta sistemática.
(No se corresponde con la experiencia de los autores, sin embargo.)
Las evaluaciones deben ser lo suficientemente bien financiado para llevar a cabo su misión.
Mientras que los evaluadores pueden estar motivadas por razones no financieras - como
curiosidad en relación con la política, las tecnologías involucradas, la innovación
redes en juego - éstos no siempre será principales factores, y hay
los costos inevitables de la producción de datos, entrevistas, administración, informe
preparación y así sucesivamente.
Guy (1998) sugirió que los recursos son
encontrado como un problema en muchos estudios de evaluación debido a que no tienen
mantenido a la par con el creciente alcance de dichos estudios. Aunque, en general, más
los fondos se asignan actualmente a la evaluación, los de los estudios de evaluación individual
no han crecido; pero se espera que los estudios que lidiar con una amplia
y más desafiante gama de temas, para proporcionar asesoramiento estratégico y no sólo
rendición de cuentas, etc Teniendo en cuenta que las evaluaciones pueden contribuir a la formación del personal y
desarrollo, puede ser posible pensar en la financiación de algunos elementos de la
trabajar desde esas fuentes poco ortodoxas.
Propios evaluadores pueden tener poco que decir sobre el nivel apropiado de
la financiación de un estudio debe ser, pero tienen que ser realistas en la comunicación
a los patrocinadores sobre lo que pueden lograr con los recursos disponibles, y
no debe prometer demasiado. De lo contrario, la calidad puede estar en peligro.
Diseñadores de programas y los administradores deben tomar regularmente sondeos para
qué recursos pueden ser necesarios para llevar a cabo el tipo de evaluación que
quieren, y no asumen que los costos estarán en línea con los de antes
evaluaciones.
Al igual que con muchos otros tipos de estudio de políticas, estudios de evaluación a menudo sufren de una
especie de "ampliación de la misión", los evaluadores se espera que haga más que antes
previsto, para proporcionar insumos y asesoramiento sobre una gama más amplia de temas, y así sucesivamente.
Se requiere honestidad en el examen de las implicaciones financieras de la acumulación de
demandas, y al decir sólo lo que se puede y no se puede hacer de manera adecuada dentro
límites de recursos específicos. Sin embargo, si un modelo de programa ha sido
construido, este debe definir los tipos de resultados que la evaluación
debe investigar y también proporcionar una evaluación del nivel adecuado de
recursos para hacer esto.
Claramente, hay un caso fuerte para establecer un buen nivel de diálogo entre
la gestión del programa y los evaluadores, si estos últimos son
interno o externo a la institución u organismo responsable del programa.
Una comprensión clara y compartida del foco principal de la evaluación debe ser
logrados y de las expectativas relativas de todos los grupos de interés.
________________________________________
Página 183
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
183
9.7 ¿Cómo podemos hacer frente a los problemas asociados con herramientas inadecuadas
y los instrumentos?
Varias cuestiones se plantean aquí. No puede ser un enfoque engañosa en particular,
clases de datos - por ejemplo, sobre tipos cuantificados financieros o de otro tipo
información, a la exclusión de otros. Mientras que esto puede aumentar la probabilidad
de algunos tomadores de decisión de aceptar el estudio de evaluación y que relatan su
conclusiones, lo más probable es que esto no va a generar una apreciación del
los resultados completos y, a menudo complejas que el estudio proporciona. Las decisiones basadas
en una apreciación parcial tales son susceptibles de enfatizar ciertos criterios bastante
que otros, por lo general la traducción de un objetivo político amplio en estrecha y parcial
objetivos.
Otro problema se refiere a la copia no apropiado de las técnicas de evaluación
de un país (o políticas) a otro. Si bien la evaluación general de
principios pueden ser transferidos sensiblemente, la forma en que estos principios necesitan
llevarse a la práctica en diferentes contextos será muy dependiente de la
especificidades de estos contextos. Así como un programa para la innovación originalmente
desarrollado para impulsar la innovación entre una red de empresas y otros
organizaciones en un país o sector económico o clúster no pueden ser
esperado para operar precisamente de la misma manera en los diferentes tipos de red
que se aplican en otro país, sector o grupo, por lo que las herramientas de evaluación y
instrumentos se puede esperar que variar.
Continuando con el ejemplo, un programa para la innovación diseñada para una
sistema de innovación en los que existen vínculos débiles entre los proveedores de tecnología
y las empresas de otro tipo pueden tener que contener actividades diseñadas explícitamente
para fomentar tales vínculos, mientras que otro programa podría esperar para llevarlos
por sentado y esperar que funcionen con el fin de difundir las prácticas
plasmado en el programa. Las evaluaciones en ambos casos pueden ser
se ocupa de los flujos de información y los cambios en el comportamiento mediadas
por las redes, pero en el primer caso es posible que el estudio de evaluación de
abordar la cuestión de si los nuevos vínculos de la red se han forjado en
todo. Y en términos prácticos, en el segundo caso, los evaluadores pueden encontrar que
los participantes del programa están bien informados acerca de las redes dentro de la cual
funcionan, y pueden identificar fácilmente las fuentes y colaboradores de información, mientras que
el establecimiento de esta información de referencia podría ser mucho más difícil en el primer caso.
La lección es que los evaluadores no se puede esperar que simplemente copia anterior
estudios y toman sus herramientas y técnicas fuera de la plataforma, por así decirlo. Esto puede
a veces puede ser posible - pero la presunción cuando estamos tratando de aprender
a partir de experiencias de evaluación en otros países (especialmente, pero también de otras
sectores y clusters) es que gran rediseño de los métodos de evaluación será
requerida.
________________________________________
Página 184
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
184
9.8 ¿Cómo podemos hacer frente a los problemas de control de calidad?
No hace falta decir que las evaluaciones de buena calidad son más susceptibles de ser
utilizado con eficacia que los de baja calidad. Pero en realidad, esto sólo puede darse por
otorgada en cultivos bien desarrollados de evaluación. En situaciones en las que
Evaluación está menos establecida, puede haber una menor capacidad para evaluar
si la evaluación se ha encargado de manera adecuada, diseñado y
implementado, y si se están utilizando eficazmente sus resultados.
Los directores de programas y otras personas que encargan evaluaciones deben ser
clientes informados. Esto significa que deben ellos mismos han recibido
más informativa mínima sobre la utilidad y las demandas de la evaluación
proceso. Lo ideal es que se han tenido algún tipo de formación en la puesta en marcha e incluso
en las evaluaciones de empresa. De este modo, deben estar equipados no solo para especificar
características del proceso de evaluación, sino también para actuar como clientes informados que pueden
evaluar la calidad y el significado de cualquier notificación que reciban.
Tener evaluadores independientes (ver más abajo), el uso de la competencia entre
evaluadores como una forma de evaluar la calidad de las propuestas de evaluación, y
ser capaz de comparar los resultados de diferentes evaluaciones es importante.
Estimular el diálogo y la discusión sobre los enfoques de evaluación (por
ejemplo a través de seminarios y conferencias, a través del intercambio de experiencias
entre los departamentos gubernamentales y con sus pares en otros países) puede
contribuir en gran medida. La publicación de las evaluaciones, a fin de que otras partes pueden
comentario sobre su enfoque y resultados es vital.
Recientemente se han realizado esfuerzos para desarrollar normas de calidad de las evaluaciones,
lo que significaría que los evaluadores que tratan de seguir estas normas sería
ser proporcionar alguna medida de garantía de calidad para sus usuarios. Ejemplos de
tales enfoques se ilustran a continuación. Aunque tal vez no sea necesario que
cualquier evaluador se comprometen a un enfoque particular a la calidad, la conciencia
de los problemas de calidad y compromiso con las normas profesionales por parte de
evaluadores, es claramente esencial.
________________________________________
Página 185
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
185
9.9 ¿Existen normas para evaluadores de seguir?
Los evaluadores han sido muy conscientes de que su trabajo plantea muchas ético
preguntas. Los resultados de los estudios de evaluación no siempre son del agrado de
todas las partes interesadas - las políticas, programas, proyectos individuales pueden ser
considerará que ha cumplido con las expectativas, por ejemplo. Los resultados de
Se espera que los estudios de evaluación de influir en las decisiones futuras, por lo que
tener una importancia práctica mucho más allá de la de la mayoría de la investigación social. Se puede
ser tentador pretender demasiado de un estudio de evaluación, o para calificar crítico
observaciones tan fuertemente que su importancia es oscurecida. Los evaluadores pueden encontrar
difícil permanecer desinteresada cuando su propia financiación en el futuro está en cuestión,
cuando sean susceptibles de ser criticado por una u otra parte.
Por esta razón, ha habido mucho interés en el desarrollo de normas éticas
para el trabajo de evaluación. La ilustración representa a un conjunto muy elaborado de
directrices para los evaluadores, que figuran en los Estados Unidos. Algunos Europea
las normas de las sociedades de evaluación 'están disponibles en línea, en los siguientes lugares:
Francia

Versión Inglés
http://www.sfe.asso.fr/pdf/Charter-English.pdf

Versión en francés
http://www.sfe.asso.fr/pdf/charte.pdf

Versión alemana
http://www.sfe.asso.fr/pdf/Charte-Allemand.pdf
Alemania

Versión Inglés
http://www.degeval.de/standards/Standards_engl.pdf

Versión alemana
http://www.degeval.de/standards/Standards.pdf

Versión rusa
http://www.degeval.de/standards/Standards_russisch.pdf
Italia

Versión italiana
http://www.valutazioneitaliana.it/deontologico.php
Suiza

Versión Inglés
http://www.seval.ch/en/documents/SEVAL_Standards_2000_en.pdf

Versión alemana
http://www.seval.ch/de/documents/seval_Standards_2001_dt.pdf

Versión en francés
http://www.seval.ch/en/documents/SEVAL_Standards_2000_fr.pdf
Reino Unido

Versión Inglés
http://www.evaluation.org.uk/Pub_library/PRO2907 - UKE. A5
Guideline.pdf
Fuente: Sociedad Europea de Evaluación, en
http://www.europeanevaluation.org/library/evaluation_standards/national_and_region
al_evaluation_societies / europe / index.html
________________________________________
Página 186
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
186
Recuadro 9.1 PRINCIPIOS RECTORES de la Asociación Americana de Evaluación
PARA EVALUADORES, julio de 2004
A. sistemáticas Encuesta: Los evaluadores llevan a cabo investigaciones sistemáticas, basadas en datos.
1. A fin de garantizar la exactitud y la credibilidad de la información evaluativa que producen,
los evaluadores deben observar los más altos estándares técnicos adaptados a los métodos
que utilizan.
2. Los evaluadores deberían explorar con el cliente las deficiencias y fortalezas tanto de la
varias preguntas de evaluación y los diversos enfoques que podrían ser utilizados para
responder a estas preguntas.
3. Los evaluadores deben comunicar sus métodos y enfoques con precisión y en
suficiente detalle para permitir a otros a comprender, interpretar y criticar su trabajo. Ellos
debe dejar claro las limitaciones de una evaluación y de sus resultados. Los evaluadores deberían
discutir de una forma apropiada para el contexto de esos valores, supuestos, teorías,
métodos, resultados y análisis afectar significativamente la interpretación de la evaluación
hallazgos. Estas declaraciones se aplican a todos los aspectos de la evaluación, a partir de su inicial
conceptualización a la eventual utilización de los hallazgos.
B. Competencia: Los evaluadores proporcionan un rendimiento competente a los interesados.
1. Los evaluadores deben poseer (o asegurarse de que el equipo de evaluación posee) la
educación, habilidades, destrezas y experiencia adecuada para llevar a cabo las tareas propuestas
en la evaluación.
2. Para garantizar el reconocimiento, la interpretación precisa y respeto a la diversidad, los evaluadores
deben asegurarse de que los miembros del equipo de evaluación demuestran colectivamente
competencia cultural. La competencia cultural se refleja en los evaluadores que buscan
conciencia de sus propios supuestos basados en la cultura, su comprensión de la
visiones del mundo de la cultura-los diferentes participantes y partes interesadas en la evaluación, y
el uso de estrategias y técnicas de evaluación apropiadas para trabajar con la cultura diferente
grupos. La diversidad puede ser en términos de raza, etnia, género, religión, socio-economía,
u otros factores pertinentes para el contexto de evaluación.
3. Los evaluadores debe ejercer dentro de los límites de su formación profesional y
competencia, y debe abstenerse de realizar evaluaciones que no entran dentro
esos límites. Cuando la disminución de la comisión o la solicitud no es viable o adecuado,
los evaluadores deben dejar en claro la existencia de limitaciones significativas en la evaluación que podría
resultado. Los evaluadores deben hacer todo lo posible para ganar la competencia directamente oa través de
la ayuda de otras personas que posean la experiencia requerida.
4. Los evaluadores deben buscar continuamente para mantener y mejorar sus competencias, en
a fin de proporcionar el más alto nivel de rendimiento en sus evaluaciones. Esta continua
desarrollo profesional puede incluir cursos y talleres formal, el auto-estudio,
evaluaciones de la propia práctica, y trabajar con otros evaluadores para aprender de su
habilidades y experiencia.
C. Integridad / Honestidad: Los evaluadores pantalla honestidad e integridad en su propio
comportamiento, y el intento de garantizar la honestidad y la integridad de toda la
proceso de evaluación.
1.
Los evaluadores deben negociar honestamente con los clientes y las partes interesadas pertinentes
en relación con los costos, las tareas que se realizarán, las limitaciones de la metodología, el alcance de
resultados que puedan obtenerse, y los usos de los datos resultantes de una evaluación específica. Es
principalmente la responsabilidad del evaluador para iniciar la discusión y aclaración de estos
las cosas, no del cliente.
2. Antes de aceptar una misión de evaluación, los evaluadores deben revelar todas las funciones o
relaciones que tienen que pudieran representar un conflicto de intereses (o la apariencia de un
conflicto) con su rol como evaluador. Si se procede con la evaluación, el
conflicto (s) debe estar claramente articulado en los informes de los resultados de la evaluación.
/ Contador.
________________________________________
Página 187
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
187
Recuadro 9.1 continúa
3. Los evaluadores deben registrar todos los cambios realizados en los planes del proyecto originalmente contratadas,
y las razones por las cuales se hicieron los cambios. Si esos cambios sería significativamente
afectar el alcance y posibles resultados de la evaluación, el evaluador debe informar al
clientes y otras partes interesadas importantes en el momento oportuno (salvo una buena razón para la
contrario, antes de continuar con la labor futura) de los cambios y su probable impacto.
4. Los evaluadores debe ser explícito acerca de sí mismos, a sus clientes ", y otros grupos de interés '
intereses y valores referentes a la realización y los resultados de una evaluación.
5. Los evaluadores no deben tergiversar sus procedimientos, datos o conclusiones. Dentro
límites razonables, deberían tratar de evitar o corregir el mal uso de su trabajo por
otros.
6. Si los evaluadores determinan que ciertos procedimientos o actividades son susceptibles de producir
información engañosa evaluativos o conclusiones, que tienen la responsabilidad de
comunicar sus preocupaciones y las razones de las mismas. Si las conversaciones con el cliente hacen
no resolver estas preocupaciones, el evaluador debe negarse a realizar la evaluación. Si
disminución de la asignación es inviable o inadecuado, el evaluador debe consultar
compañeros de trabajo o los interesados directos pertinentes sobre otras formas adecuadas para proceder. (Opciones
podría incluir discusiones en un nivel más alto, una carta de presentación que disientan o apéndice, o
negativa a firmar el documento final.)
7. Los evaluadores debe revelar todas las fuentes de apoyo financiero para la evaluación y el
fuente de la solicitud de la evaluación.
D. Respeto por las personas: Los evaluadores respetan la seguridad, la dignidad y la autoestima
de los encuestados, los participantes del programa, los clientes, y otra evaluación
grupos de interés.
1. Los evaluadores deben buscar una cabal comprensión de la importancia del contexto
elementos de la evaluación. Los factores contextuales que pueden influir en los resultados de un estudio
incluir la ubicación geográfica, el tiempo, el clima político y social, las condiciones económicas,
y otras actividades pertinentes en curso al mismo tiempo.
2. Los evaluadores deben respetar la ética profesional, las normas actuales, y regulaciones
con respecto a los riesgos, los daños y las cargas que pudieron acontecer los que participan en la
evaluación; En relación con el consentimiento informado para la participación en la evaluación; y con respecto
informar a los participantes y clientes sobre el alcance y los límites de la confidencialidad.
3. Porque negativa justificada o conclusiones críticas de la evaluación deben ser
indique expresamente, las evaluaciones a veces producen resultados que dañan cliente o grupos de interés
intereses. Bajo esta circunstancia, los evaluadores deben tratar de maximizar los beneficios y
reducir los daños innecesarios que pudieran ocurrir, siempre que ello no comprometa la
la integridad de los resultados de la evaluación. Los evaluadores deben juzgar con cuidado cuando los beneficios
de hacer la evaluación o en la realización de ciertos procedimientos de evaluación deben ser
inevitable debido a los riesgos o daños. En la medida de lo posible, estas cuestiones deberían ser
anticipado durante la negociación de la evaluación.
4. Sabiendo que las evaluaciones pueden afectar negativamente a los intereses de algunos grupos de interés,
los evaluadores deben realizar la evaluación y comunicar sus resultados de una manera que
respeta claramente la partes interesadas "dignidad y la autoestima.
5. Cuando sea posible, los evaluadores deben tratar de fomentar la equidad social en la evaluación, por lo que
que los que dan a la evaluación pueden beneficiarse a cambio. Por ejemplo, los evaluadores
deben tratar de asegurar que los que llevan las cargas de datos de contribuyentes y
ni peligros no tan buena voluntad, y que tienen pleno conocimiento de y la oportunidad
para obtener los beneficios de la evaluación. Los participantes del programa deben ser informados de que
su elegibilidad para recibir servicios no depende de su participación en la evaluación.
6. Los evaluadores tienen la responsabilidad de entender y respetar las diferencias entre los
participantes, como las diferencias en su cultura, religión, género, discapacidad, edad, orientación sexual
orientación y el origen étnico, y para dar cuenta de las posibles consecuencias de estas diferencias
la hora de planificar, realizar, analizar y reportar las evaluaciones.
/ Contador.
________________________________________
Página 188
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
188
Recuadro 9.1 continúa
E. Responsabilidades en General y Bienestar Público: Los evaluadores articulado y
tener en cuenta la diversidad de intereses y valores generales y públicas que
puede estar relacionado con la evaluación.
1.
Al planificar y reportar las evaluaciones, los evaluadores deben incluir relevante
perspectivas e intereses de toda la gama de partes interesadas.
2. Los evaluadores deben tener en cuenta no sólo las operaciones inmediatas y resultados de
lo está siendo evaluado, sino también sus amplias suposiciones, implicaciones y potencial
efectos secundarios.
3. La libertad de información es esencial en una democracia. Los evaluadores deben permitir a todos
partes interesadas el acceso a la información evaluativa en formas que respeten la gente y
honrar la promesa de confidencialidad. Los evaluadores deben divulgar activamente información a
partes interesadas como los recursos lo permiten. Comunicaciones que se adaptan a un determinado
los interesados deben incluir todos los resultados que puedan estar vinculados con los intereses de las partes
interesadas y que
referirse a cualquier otra comunicación a la medida a otros grupos de interés. En todos los casos,
evaluadores deben tratar de presentar los resultados de forma clara y simple para que los clientes y otros
los interesados pueden entender fácilmente el proceso de evaluación y los resultados.
4. Los evaluadores deben mantener un equilibrio entre las necesidades de los clientes y otras necesidades.
Los evaluadores tienen necesariamente una relación especial con el cliente que financia proyectos o las solicitudes
la evaluación. En virtud de esa relación, los evaluadores deben luchar por alcanzar legítima
necesidades de los clientes, siempre que sea factible y apropiado hacerlo. Sin embargo, esa relación
También puede colocar los evaluadores en dilemas difíciles cuando los intereses del cliente en conflicto con otros
intereses, o cuando los intereses del cliente en conflicto con la obligación de evaluadores para la sistemática
investigación, la competencia, la integridad y el respeto a las personas. En estos casos, los evaluadores
debe identificar de forma explícita y discutir los conflictos con el cliente y relevante
las partes interesadas, se resuelven cuando sea posible, determinar si el trabajo continuo en el
evaluación es recomendable si los conflictos no se pueden resolver, y aclara cualquier
limitaciones importantes en la evaluación que podría resultar si el conflicto no se resuelve.
5. Los evaluadores tienen obligaciones que abarcan el interés público y el bien. Estos
obligaciones son especialmente importantes cuando los evaluadores son apoyados por públicos
fondos generados; pero las amenazas claras al bien público no debe ser ignorada en ningún
evaluación. Debido a que el interés público y el buen rara vez son los mismos que los intereses de
cualquier grupo particular (incluidos los del cliente o proveedor de fondos), los evaluadores por lo general tienen
para ir más allá del análisis de los intereses particulares de las partes interesadas y tener en cuenta el bienestar de los
la sociedad como un todo
.
Fuente: http://www.eval.org/Guiding% 20Principles.htm
________________________________________
Página 189
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
189
9.10 ¿Cómo podemos abordar los problemas de la Independencia?
Hay dos facetas de este tema. En primer lugar, es importante que hay una piscina de
evaluadores independientes que se puede confiar para lograr alta calidad
evaluaciones de manera imparcial. En segundo lugar, es necesario encontrar un equilibrio
entre especificar qué tipo de evaluación que los usuarios creen que de manera óptima
requerir, y el tipo de práctica metodológica que los evaluadores pueden considerar
sobre todo vale la pena.
Los evaluadores independientes pueden venir de otra parte del patrocinador
departamento de ministerio o el sistema de gobierno, desde consultoras, desde
Universidades, y de otros países en conjunto (que proporciona el lenguaje y
barreras culturales son superables, y no es demasiado empinada curva de aprendizaje
necesaria para apreciar las particularidades de los sistemas de innovación). Evaluación
habilidades son cada vez más disponibles que los gobiernos cambian a más pruebas-
políticas basadas, aunque no es necesariamente el caso de que los equipados
para hacer frente a la evaluación en un ámbito político apreciará la específica
retos de la evaluación en un campo diferente. Los gobiernos pueden desempeñar un papel en la
estimular el desarrollo de los recursos humanos adecuados, y para garantizar
que existe un diálogo entre los profesionales de evaluación en diversos campos.
Otro peligro es que incluso los evaluadores institucionalmente independientes podrán,
particularmente si descansa en una base limitada de conocimientos (nacional), no ser realmente
independiente. Es posible que haya una presión inferida o implícita para entregar
resultados "positivos" en cuanto a la ejecución de un programa con el fin de
mejorar o mantener las posibilidades de que se conservan los servicios de los evaluadores
en evaluaciones futuras. Aquí hay dos cuestiones. La primera se refiere a los
"Honestidad" de los directores de programas en relación con la evaluación como un verdadero
oportunidad para el aprendizaje - y esto constituye otro de los elementos de una verdadera cultura de la
evaluación. La segunda es que la responsabilidad recae en los directores de los programas a
establece explícitamente que no hay tal cosa como un "negativo" o "positivo"
Evaluación - simplemente una buena evaluación que presenta una imagen clara de la
programa, sus resultados y los efectos y contiene valiosas lecciones para el futuro
formulación de políticas.
La calidad de las evaluaciones depende en parte de cómo equipado el patrocinador es
para especificar lo que se esperaba de una evaluación. Pero no puede haber una tendencia a que
patrocinadores para overspecify el enfoque que se debe tomar en una evaluación.
Si bien no están obligados a ser objetivos concretos e indicadores de desempeño
que son esenciales para tener en cuenta, ya que fue construido en el programa
desde el principio, también es importante no atar las manos de los evaluadores. Al
menos deberían ser capaces de sugerir temas e indicadores adicionales que
pueden necesitar ser tomado; a menudo la posibilidad de elegir entre los evaluadores será cuestión
del grado en que sus propuestas, lo que sugiere la novela o interesante
enfoques o temas para su examen, un llamamiento a los patrocinadores. Los evaluadores pueden
desee utilizar metodologías particulares, a veces por razones pobres (por
instancia, esto sólo pasa a ser el enfoque en el que se especializan y
no sienten la necesidad de desarrollar otras capacidades), a veces por otras mejores
________________________________________
Página 190
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
190
(Por ejemplo, desean poner a prueba nuevos métodos que prometen dar una mejor idea
en el problema que nos ocupa).
La conclusión de esta discusión es que los evaluadores tienen que ser:
♦ institucionalmente independiente de los evaluados (los directores de programas
y los participantes),
20
♦ prácticamente independientes - por lo que la evaluación puede llevarse a cabo
sin obstáculos, una vez que se ha llegado a un acuerdo en cuanto a lo que la adecuada
enfoque debe ser.
20
En el caso de que una parte de una organización está evaluando las actividades realizadas por otro
parte de la misma organización, es necesario asegurarse de que "murallas chinas" se erigen
entre las partes involucradas, para evitar la influencia indebida que se ejerce sobre la evaluación.
________________________________________
Página 191
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
191
9.11 ¿Qué problemas pueden surgir en cuanto a las expectativas poco realistas de
evaluación?
Un importante problema para los estudios de evaluación (y de muchos otros análisis de políticas)
es la necesidad de expectativas realistas, para aquellos patrocinio y compromiso
evaluaciones a "manejar las expectativas" de exactamente lo que va a ser alcanzado.
Como esta guía ha aclarado, lo que la evaluación del programa de innovación pueden
contribuir es a la vez más y menos que a menudo se anticipó por los usuarios finales.
Menos , en que las evaluaciones rara vez será condensable a un solo indicador o
incluso un conjunto de indicadores, lo que da una respuesta a la cuestión del valor de un
programa en una sola figura o frase. Incluso cuando hay un
frase contundente desde el principio del informe de evaluación sobre si el
programa estaba bien justificada o no, esto a menudo se elaborará y matizada
como leemos en! Menos, porque la evaluación requerirá la aplicación de
conocimiento y juicio para su uso efectivo, incluso si lo hace satisfacen una
objetivo inmediato de tener una legitimación de los gastos del programa con
que para hacer frente a los altos funcionarios. Las expectativas de lo que se logrará de este modo
deberán gestionar con cuidado, si la evaluación no debe ser descontado, por escrito
fuera como sobre-sofisticado, o simplemente no se utiliza tan eficazmente como sea posible.
Más , debido a que una evaluación seria y sistemática debe proporcionar una
visión refrescante y ojalá oportuna del campo en cuestión, poniendo el
programa en el contexto de la evolución del sistema que se está tratando de
influencia. Se debe informar el diseño de futuros programas y políticas más
en general, proporcionando explicaciones y descripciones. Estos
explicaciones, sobre todo, deben ser no nos dicen casi lo que ha trabajado o
No funcionó en el pasado, pero ¿por qué esto es así. Esto debería dar una visión de la
generalización de enfoques, sobre los posibles impactos de bastante nuevo
enfoques o combinaciones de los enfoques, y así sucesivamente.
________________________________________
Página 192
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
192
9.12 ¿Cómo podemos contribuir a la construcción de una cultura de la evaluación?
En una cultura de evaluación avanzada, el proceso de evaluación se aprecia como
una fuente importante de evidencia para informar las políticas. Así, las evaluaciones
ellos mismos deben ser realizadas y presentadas de manera efectiva. Ellos pueden estar
enmarcado en términos del objetivo de apoyar la mejora de los programas, y
el logro de una mayor relación calidad-precio. (Al hacer esto, se necesita una mejor
la comprensión de la relación entre las actividades, los resultados y los efectos.) Por
trazar los éxitos y fracasos de los programas, programa de innovación
evaluación ayuda a crear una mejor comprensión de los problemas que
abordado y los medios para hacerles frente. Arroja luz sobre la naturaleza de
el sistema de innovación, las formas en que los programas de innovación son
intervenir en ella, y puede ayudar a construir la apreciación realista de lo que tal
programas pueden lograr. Esa conciencia puede ser útil no sólo para
los responsables políticos, ya que también puede lograr una mayor transparencia de la innovación
programas a todas las partes interesadas - y amplia comprensión de la
programas y el papel de la evaluación es también parte de la construcción de una evaluación
cultura.
Es importante llevar a cabo las evaluaciones y presentes de manera efectiva, y para explicar
por la que se están realizando y cómo pueden ser utilizados. La evaluación
la cultura es uno de los usuarios informados , y la comunidad de evaluación tiene un papel que
desempeñar para ayudar a los usuarios que se informen. Para estar seguros, la evaluación es más de
un arte que una ciencia - pero no es un arte oculto que sólo los sabios sabio puede
emprender. Esperamos que esta guía puede contribuir a la desmitificación de la evaluación,
y proporcionar a los usuarios con algunas de las herramientas con la que pueden informar
a sí mismos.
En una cultura de evaluación avanzada, los usuarios informados no son sólo pasiva
destinatarios del informe de evaluación. Se deben tomar las oportunidades para involucrar a
los usuarios en todas las fases de la actividad - desde el diseño del Programa y de la especificación
el trabajo de evaluación, para proporcionar información sobre el producto mismo de evaluación.
A la vez que la tarea de evaluación más eficaces, lo que permitirá por mucho
mayor aprendizaje y el impacto de las políticas.
________________________________________
Página 193
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
193
9.13 ¿Tiene sentido para evaluar los programas de forma aislada, o
debería institucionalizarse una función de evaluación?
Se gana mucho de tener un sistema para poner en funcionamiento, uso y visión general
evaluaciones individuales.
1.
Incluso en países en los que las evaluaciones se llevan a cabo con regularidad, hay
muy a menudo una "brecha de implementación" en la que los resultados de las evaluaciones no están
tomado en absoluto o sólo en una "forma localizada" (es decir, su aplicación sólo si
la institución evaluada podría poner en práctica las recomendaciones sobre su propia).
Esta falta de mecanismo de retroalimentación es probablemente el factor individual más importante
limitando el valor de las evaluaciones. En muchos países, hay una necesidad apremiante
para asegurar el seguimiento en el nivel apropiado de formulación de políticas. Esto puede ser
conseguirse de varias formas. Algunos países han establecido la obligación formal de
los responsables de la formulación de políticas para responder a los resultados de las evaluaciones (ver
Recuadro 6.6 para el ejemplo del Reino Unido Roame procedimiento (F)). Otros tienen un
política para exponer los resultados de las evaluaciones a un debate público. La
presunción a favor de la publicación de los informes de evaluación - aunque demasiado
publicidad podría tener sus propios inconvenientes - es generalmente favorable tanto para la
desarrollo de una cultura de la evaluación, así como para el fomento de políticas
aplicación. La cuestión de la perspectiva también es útil aquí - evaluaciones
de los programas de escala pequeña rutina o probablemente no justifican demasiado
exposición (que estaría interesado?), mientras que los de la insignia nacional
programas se suscitan mayor interés (y estar abiertos a un mayor grado de
riesgo).
2.
Cuando se trata de cuestiones de la ejecución material de las evaluaciones,
experiencias de varios países muestran que las evaluaciones se diseñan mejor
junto con el programa o la política que han de evaluarse. Sólo uno de los primeros tales
preparación puede garantizar la obtención y la difusión de los datos necesarios en el
curso de la evaluación - especialmente cuando el uso de los datos a nivel micro es
esencial para la estimación de los impactos. Ejemplos de mejores prácticas incluyen la
la acumulación de bases de datos que se pueden utilizar para diversas evaluaciones de los programas
y las políticas que abordan el comportamiento innovador de un gran número de empresas como
en los Estados Unidos. Un "diseño concurrente 'Tal tanto de los programas y
procedimiento de evaluación también se plantearía la aceptación común de la
procedimientos y criterios entre las personas e instituciones involucradas.
3.
En lugar de ser llevado a cabo sobre una base ad-hoc, las evaluaciones deben ser
llevado a cabo con frecuencia. Hay efectos de aprendizaje sustanciales de frecuente
evaluaciones, tanto en el lado de la demanda de los responsables políticos, administradores de programas
y los proveedores, así como en el lado de la oferta de los profesionales que llevan a cabo
evaluaciones. El conocimiento acumulado de las evaluaciones podría ser una valiosa
fuente de la formulación de políticas, como la práctica en los países nórdicos ejemplifica.
Evaluaciones frecuentes también se demuestra que tienen un efecto duradero en el comportamiento
de las instituciones evaluadas y en muchos casos contribuyeron per se para la
mejora de las rutinas y el rendimiento.
________________________________________
Página 194
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
194
9.14 ¿Cómo podemos afectar hasta qué punto los resultados del Programa para la Innovación
Las evaluaciones se aplican?
Obtención de los resultados de las evaluaciones aplicadas es más que una cuestión de puesta a punto
programas.
La evaluación puede ayudar a mejorar el aprendizaje dentro de la
entorno de políticas. Una serie de consecuencias fluyen de esto. Aunque
amplia difusión es importante (con tal de que no es demasiado intensivo en recursos),
es importante para obtener los (grandes) los resultados de la evaluación para la gente que importa.
Los informes de evaluación deben hacer recomendaciones específicas en cuanto a las acciones que
deben seguir el informe. Diseño de informes de manera que este se lleva a cabo en un
lúcida, la moda fácil de leer, es vital. El establecimiento de una comprensión de la
el análisis que sustenta las recomendaciones - es decir, precisamente, lo que se traduce que
se construye sobre - es también vital. Las recomendaciones tienen que ser defendido y
claramente sobre la base de las pruebas obtenidas, por lo que los usuarios pueden, a su vez argumentar a favor de
ellos (con gerentes de línea, los responsables políticos, las autoridades financieras, los políticos,
etc), y no tener que simplemente llevarlos a la fe como derivada de expertos sabios.
Pero para garantizar el uso de las evaluaciones implica más que sólo escribir bien
informes, ayudando a difundirlos, y hacer presentaciones persuasivas,
importante, aunque todos estos son. Se trata de la preparación antes de la presentación de informes
etapa, y el seguimiento después de ella.
Aquellos patrocinar la evaluación debería haber establecido un calendario y establecer
de procedimientos para regir la presentación de informes y la difusión de la evaluación
resultados y un medio para evaluar el uso que se haga de ellas. Idealmente,
esto va a estar integrada en el Programa General: es fundamental en la solicitud de
propuestas de evaluación.
Durante el proceso de evaluación, cada oportunidad que se debe tomar para informar
los contactados sobre el alcance y los objetivos de la evaluación, las formas en
que sus resultados finales podrían ser utilizados por las distintas partes interesadas,
y cómo pueden hacerse con los informes. El interés en estos asuntos debe ser
grabada para que las partes más comprometidas pueden ser invitados a la difusión
eventos, y tal vez hacer comentarios sobre los borradores de los informes. (Estas actividades pueden ser
caros, y los costes serán un factor limitante.)
Un plan de implementación permite la comprobación del progreso contra
recomendaciones. Incluso si ese plan no se ha elaborado formalmente,
debería ser posible determinar que las agencias deben ser responsables de
el seguimiento de las recomendaciones que, y qué partes (además de la
director del programa y / o el patrocinador de la evaluación) deben ser responsables
para comprobar el progreso. Si bien puede parecer oneroso para explicar estas cuestiones a cabo
en detalle, contar con un marco para examinar la implementación es mucho más de una
base para el progreso de lo que es simplemente "salir del paso". Por un lado, tal
marco puede identificar las acciones que no fueron claramente pensado antes, y
indicar dónde podrían ser necesarias medidas más temprano que tarde.
________________________________________
Página 195
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
195
________________________________________
Página 196
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
196
BIBLIOGRAFÍA
(Textos que son particularmente útiles, pero no se discuten en detalle en la principal
texto, se describen brevemente en las notas al pie.)
Buisseret Tim, Cameron Hugh y Georghiou Lucas (1995), "¿Qué diferencia
Qué más da? La adicionalidad en el apoyo público a la I + D en las grandes empresas "
Revista Internacional de Gestión de la Tecnología, vol.10 (nn. 4-6) pp.587-
600
Corporación para el Servicio Nacional, (2002?) Guía del usuario para el Servicio Nacional
Programas (Proyecto STAR - Toolkit). 555 Airport Blvd., Suite 400, Burlingame,
CA 94010 disponible en
http://www.projectstar.org/star/Library/toolkit.html
Bradbury, M y M Davies La evaluación de los programas de apoyo: la
Ejemplo del Reino Unido, la OCDE STI Revisión N º 21 1998
Davenport, Sally et al (1998) "La colaboración de investigación y del Comportamiento
Adicionalidad: Un estudio de caso de Nueva Zelanda "Análisis Estratégico de Tecnología y
Gestión, marzo de 1998, 55-67
Eiffinger MAM (1997) "Evaluación de la Investigación Científica En El
Países Bajos "en el capítulo 2 de la OCDE (1997b) op cit.
21
Comisión Europea (2002), Manual para la Evaluación del Impacto en el
comisión: ¿Cómo hacer una evaluación de impacto disponible en
http://europa.eu.int/comm/secretariat_general/impact/key.htm
Comisión Europea (2002), RTD Evaluación Toolbox - Evaluación de la
Impacto Socio-Económico de RTD-Políticas, IPTS Serie de Informes Técnicos, EUR
20382 EN, publicada en agosto de 2002, el Sevilla, IPTS (Instituto de Prospectiva
Estudios Tecnológicos) y de Viena, Instituto de Investigación Joanneum de
Tecnología y Política Regional.
Disponible en: http://epub.jrc.es/docs/EUR-20382-EN.pdf
Evaluación Consorcio Europeo de Política (EPEC) de 2005, Estudio sobre el uso de
Resultados de la evaluación de la Comisión Informe final Expediente n ° 1: Síntesis
informe y de los anexos EPEC 31 de mayo 2005 (París: Tecnópolis Francia, Bastiaan
de Laat (Director))
22
Frechtling, Alegría y Laure de Sharp (eds.) (1997) User-Friendly Manual para
Método Mixto evaluaciones, Washington: Fundación Nacional para la Ciencia
21
Esto describe cómo el gobierno holandés decidió no realizar sus propias evaluaciones de
institutos y grupos de investigación; sino que pretendía estimular estas organizaciones para llevar a cabo o
encargar sus propios "evaluaciones y que los utilicen para formular estrategias.
22
Esta revisión de la utilización de la evaluación en las políticas y programas de la CE cubre una amplia gama de
ámbitos de la política, y sólo toca de paso en las políticas de innovación. Sin embargo, lleva a una
gran cantidad de evidencia sobre el uso de las evaluaciones en el proceso político de la CE, y
dibuja valiosas lecciones - sobre la base de un estudio cuidadoso de los diversos usuarios de las evaluaciones - que son
relevante para el ámbito de la política de innovación.
________________________________________
Página 197
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
197
(Dirección de Educación y Recursos Humanos, División de Investigación,
Evaluación y Comunicación), disponible en:
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm
Georghiou, L. (1998) ", suscita en la evaluación de la innovación y la tecnología
política ", Evaluación, vol. 4 (1), pp 37-51.
Guy, K. (1998) Opciones Estratégicas para la Evaluación de la I + D Programas
de la Unión Europea Informe preparado para STOA por Ken El individuo con la
ayuda de John Clark, Katalin Balazs, James Stroyan, Erik Arnold;
Brighton: Tecnópolis
IFO, RCSCONSEIL, PREST (2000) ¿Cómo ESPRIT contribuye a la construcción
Activos intangibles de volumen de la industria europea 1 INFORME FINAL Múnich
Instituto Ifo de Investigación Económica; informar a LA COMISIÓN EUROPEA
DG Sociedad de la Información (ESPRIT Tarea 09: Análisis de posibles Socio-
Consecuencias Económicas - Investigación sobre Estrategias Competitivas, ESPRIT
Ventaja competitiva, ESPRITCOMP; 15 de junio 2000)
Kaplan, R. y Norton, D. (1996) ", utilizando el Cuadro de Mando Integral como
Sistema de Gestión Estratégica ", Harvard Business Review (enero -
Febrero): 75-85.
Kingsley, G. y Klein, H. (1998), "las colaboraciones entre empresas como una modernización
estrategia: Un estudio de casos prácticos ', Revista de la Transferencia de Tecnología , 23 (1),
pp 65-74.
Luukkonen, Terttu (2000) "La adicionalidad en los Programas Marco de la UE"
Investigaciones sobre Políticas vol.29 711-724
Malik, K. y Cunningham, P. Tendencia europea Gráfico de la Innovación: Anual
Tendencias de la Innovación y Política de Informe de evaluación - Reino Unido (2004 -
2005), Comisión Europea, 2005
McNamara, C. (sf) Métodos básicos de investigación de negocios, disponible en línea en:
http://www.managementhelp.org/research/research.htm
Miles, Ian (1999) y "Servicios de Previsión" Industrias de Servicios Diario vol 19
hay 2 pp 1 a 27 abril
Miles, Matthew B. y Huberman, A Michael. El análisis de datos cualitativos: Una
libro de consulta ampliado (2
nd
Edición) London Sage 1994
, "Metodología de evaluación en tiempo real de Molina, Alfonso y Gregson, G. (2002)
como instrumento de aprendizaje en la alta tecnología de redes de apoyo de las PYME »,
Revista Internacional de Emprendimiento e Innovación , vol. 2
(1), pp 69-99.
________________________________________
Página 198
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
198
Oficina Nacional de Auditoría (1995) Informe del Contralor y Auditor General,
El Apoyo del Departamento de Comercio e Industria para la Innovación, HC715
. Sesión 1994-95 4 de agosto 1995 London: HMSO.
Oficina Nacional de Auditoría, Física de Partículas y Astronomía del Consejo de Investigación:
Medición del Desempeño, documento de debate, NAO diciembre 1995
NERA (2004) Metodología de la FSA para el Análisis Costo-Beneficio de Londres:
NERA Consulting, Marsh & McLennan
OCDE (1997a), Evaluación de Políticas de Innovación y Tecnología: Hacia
Mejores prácticas de París, Organización para la Cooperación y el
Desarrollo
OCDE (1997b) La evaluación de la investigación científica: Experiencias Seleccionadas
París, Organización para la Cooperación y el Desarrollo
Sin clasificación OCDE / GD (97) 194
23
Ormala, H. et al. (1993), Evaluación de EUREKA Industrial y Económica
Efectos de la Secretaría de EUREKA, Bruselas
Patton, M Q. Evaluación Cualitativa y Métodos de Investigación (2
nd
ed) Beverly
Hill, Sage 1990
De parcela, W, Evaluación de Tecnología e Innovación en miembro de la OCDE
Países - Una introducción, alemán Evaluación de la Conferencia de la Sociedad, Colonia,
09 1998
PREST, CSIC / IESA,
ESSOR-Europe, ISI, y NUTEK / TEKPOL (1997),
COSTO informe de evaluación al Gobierno sueco, Manchester: PREST
(Marzo de 1997)
Ruegg, Rosalie y Feller, Irwin (eds.) (2003) un juego de herramientas para la evaluación pública
Inversión en I + D - Modelos, métodos y hallazgos de una década después de la ATP
Washington: NIST; 07 2003 disponible en:
http://www.atp.nist.gov/eao/gcr03-857/contents.htm
Shapira, P. y Kuhlmann, S. (eds. 2003), Aprendiendo de Ciencia y
Technology Evaluation Política: Experiencias de los Estados Unidos y
Europa , Edward Elgar: Cheltenham, Reino Unido.
Stephanie Shipp, Connie Chang, y Lorel Wisniewski, (2005) Evaluación Mejor
Prácticas y Resultados: El Programa de Tecnología Avanzada, Económicas
Oficina de Evaluación (EAO), Programa de Tecnología Avanzada (ATP), EE.UU.
Instituto Nacional de Estándares y Tecnología informe NISTIR 05-7174, mayo
2005 disponible en línea en:
23
Informe overviewing experiencias de los países en la evaluación de la investigación básica, pero que contiene
mucho conocimiento de las culturas de evaluación en los diferentes países, los problemas de cuantitativo y
enfoques cualitativos, y otros temas pertinentes.
________________________________________
Página 199
INNOVACIÓN INTELIGENTE - Apoyo al Monitoreo y Evaluación de la Innovación
Programas
199
http://www.atp.nist.gov/eao/ir05-7174/nistir05-7174.pdf
Smith, Douglas K. (1999) Hacer un éxito mensurable: A Mindbook-Workbook
para establecer metas y tomar acción de Nueva York: John Wiley and Sons, Inc.
TAFTIE (1997), ed Jari Directrices TAFTIE Romanainen sobre la ejecución del
Indicadores para la Evaluación y Seguimiento de la Red de Evaluación TAFTIE
1997, publicado en la reunión anual 20 de Madrid
ª
11 1997
Technopolis, Análisis Vinnova VA 2004:03 - Impactos de la sueca
Programa de Centros de Competencia 1995-2003 Arnold E, J Clark, Bussellit S -
Informe publicado 2004
Tecnópolis, el Instituto de Tecnología de Georgia y la Universidad de Sydney
(2001), una revisión internacional de los métodos para medir la eficacia relativa
de los instrumentos de política tecnológica , Informe publicado en julio de 2001.
Trochim, WM (2002, revisada en 2005), Métodos de Investigación de Knowledge Base ,
disponible en línea en: http://www.socialresearchmethods.net/kb/
United Way of America (2002) Medición Resultado: ¿Qué y por qué? un
visión general disponible en
http://national.unitedway.org/outcomes/files/TPsOMWhatandWhy.pd