Evaluación de Proyectos de C&T

Análisis del Documento ³Metodología de Evaluación de Proyectos de C&T´ por INVERTEC

Evaluación de Proyectos de C&T 

¿Porqué evaluar? 
 

  

Apoyo a la definición de prioridades y políticas Gran demanda por ³accountability´ y eficiencia de los recursos Justificar costos elevados en C&T Necesidad de retroalimentación Ex ante Análisis de cumplimiento de metas Exigencias de OI y nacionales para otorgar financiamiento

Evaluación de Proyectos de C&T 

Problemática de la evaluación de PC&T 


Basada en la estratificación y gestión de un análisis subjetivo Métodos complicados, 
+ Tiempo en su implementación  Precisión depende de supuestos  El Desarrollo es difícil de anticipar  Resultados, difícilies de predecir y de medir 

Controversia 
Resultados ³generalmente´ productos intermedios  La priorización es crucial  Gasto es discrecional

Evaluación de Proyectos de C&T  Principios Fundamentales (2)           Evaluación como componente del proceso de gestión Científico y Tecnológico Importancia del seguimiento de proyectos Propósitos relevantes de la evaluación Evaluación y tipos de proyectos El buen proyecto Tipos de Mecanismos Dificultades caracteristicas en la gestión de la evaluación Proyectos en la interfase Ciencia ± Tecnología Claves de éxito de los procesos de evaluación Evaluación como contructor de valor real .

selección. etc.cerrado  Fase del ciclo CTI  Nivel de incertidumbre ± factores controlantes  Requerimientos Principales  Permanencia ± Credibilidad ± Confiabilidad etc.  Caracteristicas Relevantes  Define políticas. orienta..... asigna recursos  Dinámicas Diferentes  Sistema abierto . evaluación.Evaluación de Proyectos de C&T  Evaluación como componente del proceso de gestión Científico y Tecnológico  Proceso de gestión  Convocatorio. .

Evaluación de Proyectos de C&T  Importancia del seguimiento de proyectos  Mejoran los proyectos  Aumenta los niveles de exigencia  Crea medios para analizar situaciones criticas  Adaptación a las condiciones cambiantes     Aumenta el flujo de conocimiento Retroalimenta Posibilita anticipar Permite identificar los efectos inesperados .

social. ruptura y creación de nuevos paradigmas  Impacto  Económico.Evaluación de Proyectos de C&T  Propósitos relevantes de la evaluación  Calidad  Potencial y viabilidad de ideas  Pertinencia  Prioridades del país  Relevancia  Apliación. ambiental  Apropiabilidad . institucional.

 Desarrollo de infraestructura  Formación de personal  Investigación y Desarrollo  Innovación tecnológica  Tranferencia de tecnología  Divualgación y valoración de la C&T  Desafío:  Superar el ³sindrome de la simulación´ que efectuan los actores .Evaluación de Proyectos de C&T  Evaluación y tipos de proyectos  Debe tener presente la naturaleza de lo evaluado.

alianzas  Apalancamientos  Efectos Inesperados  Estas imágenes ayudan a orientar ya sea adhiriendo a ellas o a discrepando de ellas. aportes. sirviendoles de referente .Evaluación de Proyectos de C&T  El buen proyecto  La imagen de un ³buen´ proyecto puede ser definida a través de la constitución de algunos componente significativos. tales como:  Creación de Valor  Formación de Equipos de Trabajo  Ambito de impacto: vinculación y tranferencia  Capacidades: equipamiento e infraestructura  Metodologías y Herramientas  Actores: forma de participación.

permite recibir en cualquier momento   Negociación Directa Concursos de programas .Evaluación de Proyectos de C&T  Tipos de Mecanismos   Concurso Horizontal (o transversal) Concurso Vertical ( o selectivos)  Necesarios cuando la demanda supera a la oferta  Mayor transparencia al sistema  Licitaciones  Para aquellos proyectos que el Estado le interesa impulsar en forma particular.  Estimular trabajos en temas considerados estratégicos  Ventanilla  Flexible.

Evaluación de Proyectos de C&T  Dificultades caracteristicas en la gestión de la evaluación         Temor frente al cambio Insuficiente compresión Complejidad Recursos insuficientes Efectos de falsas autoridades intelectuales Riesgo de burocratización Riesgo de desgobierno Riesgo de ³clientización´ .

 Potenciación de la actividad científica. tecnológica y económico . ³Cientificos no les interesa el dinero´. acción tecnológica  Espacio de integración  Gran creación de Valor  Circulación de talentos  Ruptura de mitos: ³científicos no les interesan los problemas de la industria´ ³empresarios no les interesa la ciencia´.social . revisten características peculiares que es necesario tener presente en los procesos de evaluación:  Naturaleza diferente: razón científica. institutos tecnológicos y empresas.Evaluación de Proyectos de C&T  Proyectos en la interfase Ciencia ± Tecnología  Son proyectos que vinculan a universidades.

transparencia.Evaluación de Proyectos de C&T  Claves de éxito de los procesos de evaluación       Valoración positiva a priori Gradiente de competencia favorables a sistemas de evaluación Atributos notables de la gestión  Independencia. respeto Logros efectivos Generación y difusion de proyectos ³estrella´ Desarrollo de cultura de valoración y evaluación entre los actores . eficiencia.

produciendo beneficios para una comunidad  Gradiente de valor con respecto a activos sociales existentes  Desencadenador de ideas-fuerza y nuevos paradigmas  Articulador de eslabones aislados en cadenas y redes de valor  Precipitador y dinamizador de cambios .Evaluación de Proyectos de C&T  Evaluación como contructor de valor real  La evaluación trasciende y supera lo evaluado.

 Bien promocionado  Diseño Técnico .Evaluación de Proyectos de C&T  Bases de diseño de la metodología (3)      Integridad y transparencia Sinergia Diversidad y pluralismo Confidencialidad Diseño Operacional  Simple y riguroso.  flexible y ágil.

Evaluación de Proyectos de C&T  Diseño Técnico = Metodología de Evaluación     Permita evaluar con flexibilidad una gama amplia de proyectos Que acepte la existencia de ³fronteras difusas´ Sea adaptable a las orientaciones y tendencias de los ³policy makers´ Que contemple como criterios críticos de evaluación conceptos de:  Impacto y Relevancia  Pertinencia  Rentabilidad Social  Viabilidad de lograr los resultados propuestos .

.P  Tecnología Competitiva  Generar y aplicar tecnologías de alta apropiabilidad para uso competitivo por una empresa o un grupo reducido de ellas.Evaluación de Proyectos de C&T  Naturaleza de los proyectos  Ciencia Básica  Contribuir al conocimiento de la naturaleza y sociedad  Ciencia Aplicada  Generar conocimiento con una aplicabilidad eventual a la realidad del pais en m y l plazo  Investigación Precompetitiva  Desarrollar y aplicar en el c.p. Tecnologías de baja apropiabilidad y de amplio espectro en el S.

Evaluación de Proyectos de C&T Tipos de Metodologías Naturaleza del proyecto Evaluación por Pares Evaluación Complementaria Consejo y Comité Evaluación Económica Ciencia básica o pura Tradicional Ciencia con aplicaciones potenciales relevantes Investigación precompetitiva de baja apropiabilidad Tecnología de mercado de alta apropiabilidad Participación de ³no académicos´ Conocedores mundo empresarial Complemento con bibliometría y otros datos relevantes Científico Tecnológico No aplica Análisis estratégico Académico. privado y gobierno Evaluación económica social Evaluación económica privada Evaluación integral interna o restringida (confidencial) Empresarial .

VAN/I. productivas  Evaluación Económica-social  análisis costo-beneficios  Basada en supuestos razonables y realistas  TIR. metodológicas.Evaluación de Proyectos de C&T  Diferente tipos de metodología  Priorización de los proyectos (lógica difusa)  Descomponerlos en sus elementos constitutivos para darles una estructura jerárquica  Evaluación por Pares  Pertinencia (alineamiento con un planteamiento estratégico)  Impacto y Relevancia (efectos directos e indirectos)  Rentabilidad Social (beneficos)  Viabilidad (probabilidad de éxito)  Del Entorno. VAN. VAN/I&D. Probabilidad de éxito . de postulantes.

Evaluación de Proyectos de C&T Evaluación por pares (ejemplo algoritmo) Proyectos a aprobar Evaluación económica-social (ejemplo TIR) .

Evaluación de Proyectos de C&T  Procesos Sustantivos (4)  Actores del proceso  Postulantes  Comités Técnicos  Consejos de Evaluación  CONACYT  Ejecutivos de cuenta  Proceso Global de los Proyectos  Convocatoria  Ingreso  Evaluación  Análisis  La formalización  El Seguimiento  La evaluación del impacto .

Evaluación de Proyectos de C&T Perfil (optativo) Flujograma Ingreso Proyecto Elegibilidad Sí Evaluación No A reformular Sale del Proceso Informe al Comité No Reunión del Comité Informe final y evaluación impacto Ejecución y seguimiento Contrato y línea de base Aprobado .

Evaluación de Proyectos de C&T  Principales Etapas del proceso de evaluación de proyectos              Clasificación Definición de los parámetros de Elegibilidad (1er filtro) Calibración del algoritmos de evaluación (relevancia) Bases y Formatos (presentación) Apoyo a la formulación (evaluación fluida e informada) Recepción de perfiles (2do filtro) Proceso de elegibilidad de proyectos Aplicación de evaluación ³por pares´ (3er filtro) Evaluaciones complementarias Análisis de los resultados y selección de proyectos Resultados Línea de base Firma de Convenios .

Evaluación de Proyectos de C&T  Criterios y algoritmo de evaluación de proyectos (5)   Asignación de valores en función a su Naturaleza Asignación de criterios por la calidad  Muy alto /muy bueno  Alto / bueno  Regular  Bajo/malo  Muy bajo / muy malo  No aplica 5 4 3 2 1 N .

Evaluación de Proyectos de C&T CRITERIOS DE EVALUACIÓN DE PERTINENCIA *En anexos se presenta una descripción del ³Fondo Sectorial o Mixto´ SUB-CRITERIOS MANDATORIOS DE CUMPLIMIENTO NECESARIO C CONCLUSIONES Y RECOMENDACIONE S Pertinencia en relación a los objetivos del Fondo Pertinencia en relación a las políticas del Fondo (incluir descentralización y creación de nuevos grupos) Pertinencia en relación a las demandas específicas SUB-CRITERIOS CUYO CUMPLIMIENTO ADICIONA VALOR A LA PERTINENCIA El proyecto se acerca al criterio de política "D" definido por el Fondo El proyecto se acerca al criterio de política "E" definido por el Fondo El proyecto se acerca al criterio de política "F" definido por el Fondo El proyecto se acerca al criterio de política "G" definido por el Fondo C CONCLUSIONES Y RECOMENDACIONE S .

vivienda. seguridad u otros Aporte al acervo cultural del país. Sustitución de exportaciones. las ventas. Oportunidades que se aprovechan o potencian en el país. cultura. productos o tecnologías competitivas.CRITERIOS DE EVALUACIÓN DE IMPACTO Y RELEVANCIA SUB-CRITERIOS DE IMPACTO CIENTÍFICO-TECNOLÓGICOS Potencial contribución a la creación de nuevo conocimiento significativo Originalidad de la propuesta en relación con el estado del arte actual Atención a la solución del problema o necesidad u oportunidad Ventajas comparativas de los resultados C&T esperados en comparación con resultados. C CONCLUSIONES Y RECOMENDACIONE S . Desarrollo de nuevos productos o procesos. Conservación del medio ambiente. competitividad o eficiencia. las exportaciones y la generación de empleo en el sector productivo. utilización óptimo de recursos naturales (rescate de especies en extinción) C CONCLUSIONES Y RECOMENDACIONE S SUB-CRITERIOS DE IMPACTO ECONÓMICO Potencial Contribución al mejoramiento efectivo de la producción. educación. C CONCLUSIONES Y RECOMENDACIONE S SUB-CRITERIOS DE IMPATO EN FORTALECIMIENTO DE CAPACIDADES Contribución a la creación de nuevos RRHH para la C&T (considere nivel y cantidad) Contribución a la creación de nueva infraestructura para la C&T (sin duplicar) Contribución a la creación de redes y alianzas estratégicas valiosas nacionales o internacionales C CONCLUSIONES Y RECOMENDACIONE S SUB-CRITERIOS DE IMPACTO SOCIAL Potencial Contribución al mejoramiento efectivo de la calidad de vida en salud. Mejoras en calidad. las utilidades.

. Potencialización de recursos ofrecidos en especie Vs los recursos solicitados al Fondo Potencialización de recursos ofrecidos en efectivo Vs los recursos solicitados al Fondo Costos de la instrumentalización de los productos obtenidos Vs los recursos solicitados al Fondo.CRITERIOS DE EVALUACIÓN DE RENTABILIDAD ECONÓNIMA SOCIAL SUB-CRITERIOS DE RENTABILIDAD ECONÓMICA-SOCIAL C CONCLUSIONES Y RECOMENDACIONE S Los impactos directos previstos para el proyecto. comparados con los recursos solicitados. comparados con los recursos solicitados. Nivel de cuantificación de los resultados del proyecto Los impactos indirectos y externalidades del proyecto.

. técnica y de gestión del responsable del proyecto y de otros participantes asegura el cumplimiento de los objetivos. evitar duplicaciones y optimizar sinergias.) La organización y gestión del proyecto es adecuada.. es significativa y capaz de internalizar el cambio tecnológico (probablidad de adopción). productos. técnicas... ambientales. metas medibles. y es factible de lograr.CRITERIOS DE EVALUACIÓN DE VIABILIDAD SUB-CRITERIOS DE VIABILIDAD DEL ENTORNO Probablidad que el proyecto se desarrolle sin restricciones económicas. Las articulaciones interinstitucionales y/o empresariales requeridas por el proyecto están claramente establecidas y son viables. infraestrctura y capacidad de cumplir con los compromisos económicos C CONCLUSIONES Y RECOMENDACIONES SUB-CRITERIOS DE VIABILIDAD DE LA METODOLOGÍA La metodología y el plan de trabajo/plan de negocios para la ejecución del proyecto permiten asegurar adecuadamente el logro de los objetivos. empresas e instituciones) está adecuadamente prevista y diseñada. Solvencia financiera. Se han considerado todos los esfuerzos del entorno que pueden complementar la iniciativa. jurídicas o regulatorias que permitan predecir . Calidad de la propuesta (formulación del estado del arte. etc. Claridad en términos de manejo de la propiedad intelectual.. C CONCLUSIONES Y RECOMENDACIONES SUB-CRITERIOS DE VIABILIDAD DE PRODUCTIVIDAD La transferencia tecnológica y difusión del proyecto entre sus usuarios potenciales (personas. Capacidad emprendedora C CONCLUSIONES Y RECOMENDACIONES . La demanda por el producto o servicio está identificada. C CONCLUSIONES Y RECOMENDACIONES SUB-CRITERIOS DE VIABILIDAD DE LOS POSTULANTES La experiencia y trayectoria de la o las instituciones/empresas solicitantes asegura el cumplimiento de los objetivos. La experiencia y trayectoria académica. objetivos. Los factores de riesgo del proyecto están adecuadamente previstos y son manejables.

Evaluación de Proyectos de C&T EVALUACIÓN GLOBAL MARQUE CON UNA X EXCELENTE PROYECTO BUEN PROYECTO PROYECTO REGULAR MAL PROYECTO CONCLUSIONES Y RECOMENDACIONES PROPOSICIÓN TÉCNICA MARQUE CON UNA X APROBAR APROBAR CON MODIFICACIONES NO APROBAR EXIGENCIAS. AMBIENTALES. ORGANIZACIONALES. MODIFICACIONES C&T. DE GESTIÓN. OTRAS . MERCADO.

Evaluación de Proyectos de C&T  Elementos para la guía de apoyo a evaluadores        Definición de objetivos Definición de la Política Específica Marco Concpetual y metodológico Introducir criterios que permitan con facilidad sopesar de diferente manera los proyectos de acuerdo a su naturaleza Introducir criterios de pertinencia Introducir criterios de Impacto Introducir criterios de Viabilidad .

impactos esperados. etc. naturaleza. metodologia. justificación. escalamiento. Pauta de Presentación  Sintesis del proyecto  Antecedentes de la organización  Proyectos de Innovación  Objetivo. análisis de mercado.Evaluación de Proyectos de C&T  Formato Para Empresas (6)   Presentacion General  Titulo proyecto. plan de trabajo. análisis de viabilidad. razon social. merito innovador. personal relevante.       Formación de RRHH Fortalecimiento de Capacidades C&T Presupuesto analítico Apoyos Públicos Curucula del personal relevante Anexos .

tranferencia tecnológica.        Formación de RRHH Fortalecimiento de Postgrados Fortalecimiento de Capacidades C&T Presupuesto analítico Apoyos Públicos Curucula del personal relevante Anexos . metodologia. naturaleza. beneficiarios. costos. escalamiento. estado de arte y merito C&T. duración. justificación. entorno. antecedentes personal relevante. análisis de viabilidad. impactos esperados. plan de trabajo. responsables.Evaluación de Proyectos de C&T  Formato Para IES o C de IyD   Presentacion General  Titulo. Pauta de Presentación  Sintesis del proyecto  Antecedentes de la organización  Proyectos de IyD  Objetivo.

baja calidad  Contraparte y recorte  No se infle los recursos solicitados  Propiedad intelectual  Definición de cómo apoyar a los beneficiarios  Definición de a quien le corresponden la propiedad . documentación. incompleta. comunicados  Causales de reformulación  No reunir los requisitos.Evaluación de Proyectos de C&T  Elementos Generales  Administración de proyectos  Contabilidad.

congruentes con los criterios de evaluación. de manera que. ajustar los parámetros del algoritmo. . es fundamental que la adopción de este nuevo modelo de evaluación vaya acompañado de     a) una fuerte campaña de difusión y explicación. se eliminen algunos términos ³ofensivos´. no hay modelo posible de evaluación que vaya a ser aceptado por la comunidad. con los ponderadores ya definidos por el Comité. de ³customizar´ las formatos y pautas. cuando hayan concursos muy ³científicos´. Debe haber un cuidadoso trabajo en el Comité de cada Fondo. Debe analizarse la posibilidad. para definir su política.  Si hay tardanzas y deficiencias de gestión en el proceso.Evaluación de Proyectos de C&T     Prueba Piloto (7) (Conclusion) Se requerirán instructivos y formularios muy claros y explícitos. con buena anticipación y b) de un proceso rápido y expedito de tramitación de solicitudes. El evaluador debe disponer del algoritmo completo de evaluación. respetando la metodología y el concepto general. y diseñar convocatorias nítidas y precisas. Dado el ambiente general.

Calidad intrínseca  Uruguay (Potenciar la innovación)  Pertinencia. viabilidad del proyecto . el uso eficiente de los recursos  Chile  Pertinencia.Evaluación de Proyectos de C&T  Casos Internacionales (8)  Argentina  Pertinencia. Probabilidades de transferencia de resultados  Colombia  Pertinencia.

Sign up to vote on this title
UsefulNot useful