La auditoria operativa de los proyectos de investigacion cientifica Introduccién Los trabajos dedicados a la auditoria operativa 0 estudio de la eficacia, eficiencia y economia con las que se desarrolla una actividad, deberian limitarse, segun la doctiina, a veriicar que los datos generados por el siste- ma de informacién del gestor son razonables y conformes con la inforracién que los ha generaco, asi como su veracidad, dando por sentado que los sistemas de informacion necesarios han sido creados en las entidades audita- das. Esta situacion, sin embargo, no se produce normaimente, por lo que algunos autores desiacan que los aucitores se encuentran a menudo en la necesidad de involucrarse en la elaboracion y seleccién de indicadores de ges- tion para poder llevar a cabo algun tipo de estudio operatvo. En el ambito de la investiga cién desarrolada por institucio- nes universitarias se han realiza do numerosos trabajos de auditoria operativa. Es interesan- te constatar la existencia de inai- cadores especialmente aplica- bles @ estas entidades, que sin ‘embarga no pueden considera 80 en los trabajos con entes cuya actividad fundamental es la in: vestigacion @ con proyectos con- cretos (como ejemplo de estos Indicadores pueden mencionar- se las relaciones numero de alumnos por profesor de doctora: do, duracién de los programas, clasificacién de la institucién en los rankings, relacion entre nu: mero de estudiantes que inician estudios de tercer grado y los que los terminan 0 duracién me: dia de los programas de tercer grado), Por otra parte, atin cuando los indicadores sean aplicables no es infrecuente que el auditor se encuentre limitado por requeri- mientos de tiempo y de medios ue ponen de manifiesto la nece- sidad de encontrar otros meca- nnismos para alcanzar los objet vyos que se han fijado en la plani- ficacién de la aucitoria (por ejom- plo, la influencia de la existencia de la institucién en el entorno en aspectos como la ocupacién labora de la poblaci6n o el nivel M" Guadalupe Fez. Espinosa ‘Audra del Tribunal de Cuentas del CERN Leboratore Europeo de Fisica de Porticalas) de formacién de la misma, 0 el estudio de los niveles de satis- faccién de los alumnos de tercer grado con relacién a los progra: mas de investigacion, que reque- Tirian para su evaluacion de estu- dios sociolagicos que se realizan con medios no siempre disponi bles), En los apartados siguientes se exponen, en primer lugar, los requisitos minimos que deben cumplir los indicadores de ges: tién de un proyecto de investiga: On, distinguiendo entre los que son inherentes a cualquier indi- cador y los particulares de los aplicables a este campo. A cont nuacién, tras mostrar los tres grandes tipos en los que los tra- bbajos de auditoria operativa pue- den englobarse, nos situamos en el supuesto central de este traba- Jo, aquel que viene condicionado por las limitaciones temporalos y materiales asi como la falta de informacién procedente de insti- tuciones 0 proyectos similares. Finalmente, se recoge de for- ma somera lo que puede ser el contenido de un programa de AUDITORtrabajo que, por una parte, per- mita al auditor en las condiciones anleriormente establecidas al- canzar sus abjetivos de una ma~ era razonable y adecuada. Por otra parle, describe las lineas maestras de los sistemas de pla- nificacién y control que deben aplicarse en los organismos de investigacion, Instrumentos para la De una manera somera y esquematica se exponen en pri mer lugar en este apartado las lineas basioas de los indicado- res, instrumentos necesarios para la realizacion de auditorias ‘operativas. A continuacion se realizan unas. precisiones en cuanto a los mismos en el ambito que nos ocupa, Aspectos generales Los indicadores deben reunir una serie de caracteristicas para ser operatives. Esias caracterist- cas necesarias son Relevancia: utildad para el gestor en el proceso de toma de decisiones: Verificabilidad: la interpreta- cién del indicador debe ser la misma para todos los usuarios. Insesgado: el célculo det indi- cador debe carecer de sesgos tanto estadisticos como deriva- dos de apreciaciones subjetivas. Cuantificable Rentable: el beneticio deriva- do de su empleo es superior al coste de su calculo. Acepiado por los destinata- fos. Existen muchos tipos de inai- cadores, que ademds se clasifi- can segiin aiversos criterios, si ee 9? 20 ¢ marzo + 2 bien en términos generales se puede hablar de: Indicadores estadisticos, que informan sobre la actividad reali- zada en un periodo de tiempo en términos de imputs y outputs. Como imputs se encuentran los costes totales de construc- cin de infraestructuras, costes operatives anuales en unidades: monetarias constantes y costes unitarios incurridos en un periodo de tiempo para cada actividad Entre los outputs en el area que nos ocupa destacan los datos oblenidos en los experi- mentos, publicaciones, doctora- dos, conferencias y patentes. Indicadores de rendimiento 0 de performance que comparan el logro conseguido con un abje- tivo previamente marcado. Particularidades de los indi- cadores en la investigacién cien- tifica, Un proyecto de investigacién no puede medirse en términos de éxito 0 fracaso, ya que no esta garantizado que se alcancen los resultados perseguidos. Sin ‘embargo, debe realizarse un tra- bajo continuo que implica una planificacién, la fjacion de hitos y el control periodico de logros. Por lo tanto, los indicadores de gestion deben considerarse en el Ambito de la investigacién desde dos perspectivas: Como un plan de trabajo con- tinuo y metodico que no deja los resultados a merced de la “inspi- racion del investigador’, evitando ociosidades que suponen infrauti- lizacion de los equipos e instala- ciones. La infrautilzacién es una medida de ineficiencia en este ti po de trabajos. Por otra parte, ‘cuando hay contribuciones de ter- eros ligadas a los experimentos, es la manera de justiicar a los aportantes de fondos el empleo de sus recursos (en algunos tra- bajos precisamente la falta de jus tficacién suficionte puede dar lu- gar al cese de las contribuciones). Como una ayuda que no sus tituye el juicio de los gestores. Los indicadores na deben con- vertirse en un fin en si mismos, ya que plantear su seguimiento y consecucion a cualquier coste podria distorsionar y desincenti- var la Innovacion y el cambio. Los indicadores deben por tanto ser evaluativos antes que prescriptivos y las aiferencias 0 desviaciones que se detecten no indican en principio una inefi- cisncia, sino precisamente un objeto de reflexién y estudio, que tiene la importancia de poder cambiar el curso del proyecto cuando indica que la linea de investigacion no marcha por el camino correcto, Por otra parte, es importante que el propio investigador se involucre desde el principio en el proceso de pianificacién, sobre todo por dos razonesEs el que mejor puede deter- minar las tareas a realizar para aleanzar las objetivos previstos, asi como estimar las necesida- des materiales y humanas. Part cipar en la planificacién contribu- ye a incentivar su sentido de responsabilidad en la ejecucion. Es quien debe efectuar el se- guimiento de la ejecucién, infor- mando periédicamente de la mis- ma, Conociendo perfectamente a donde se pretende llegar pocré dirigir mejor fos trabajos de in- vestigacion e inlormar sobre su curso correctamente. En definitiva, se debe implan- tar un ciclo planificacién-ejecu- cién-control en el que se impli quen los verdaderos protagonis- tas, lo que en definitive significa la aplicacion de los principios de la gestion de calidad total a la investigacién. Procedimientos de Auditorfa Operativa Los estudios que se pueden realizar con indicadores, en tér- minos generales se pueden cla- sificar en los siguientes tres gran: des grupos: Analisis de tendencias y de series temporales Resulta cit para un periodo de tiempo deter minado y consiste en realidad en hacer un estudio evolutivo de algunos indicadores y ratios que los relacionen a Io largo del perodo. Andlisis cross-sectional, que consiste en comparar can las re- sultados de otra entidad similar, Analisis de variaciones. Se trata de efectuar comperaciones de los resultados reales con fac- lores relacionados Los dos primeros tipos de analisis parecen mas adecuados para los indicadores estadisticos, mientras que el tercero parece mas ajustado a los indicadores de rendimiento Cuando el andiisis tipo a), se descarta como consecuencia de que la elaboracion y/o prepara ci6n de los datos supondria para la institucion auditada y/o para los auditores el empleo de unos medios humanos, materiales y temporales de los que no se dis- pone, y cuando ademas el tipo b) resulta evidentemente inapiica: ble porque no hay entidades similares (algo no relativamente infrecuente cuando se trata de campos de investigacion muy especificos que requieren una concentracién singular de recur S08, como puede ser la fisioa de altas energias o la investigacién espacial), debe plantearse la realizacion de algiin tipo de ané- lisis del tipo o). Bajo la anterior premisa, es decir, descartando a priori los lipos a) y b), y considerando la préctica frecuentemente seguida ‘en instituciones de investigacion de nuestro pais y del extranjero para un adecuado seguimiento y control de sus experimentos, un programa de trabajo para la auditoria operativa de una activ dad de investigacion puede ser el que se recoge en el apartado siguiente El programa de trabajo de la Auditorfa Operativa de trabajos de investigacién El primer objetivo de la audi- torla serd verificar si se realize una gestion por objetivos de los trabajos de Investigacion en los experimentos, con indicacién del alcance temporal (desde cuando se realiza) y material (para qué experimentos) mediante la deter- minacion de si Se realiza una planificacién do los experimentos para un de- terminado periodo de tiempo, identificando: a.1) Objetivos para el periodo considerado, efectuando una distincién entre el obje- tivo final y los subobjetives hitos para cada periodo de informacion de progreso. a.2) Paquetes de trabajo bien definidos, a realizar por los equips de investigacién con la finalidad de cumplir los objetivos. 4.3) Tareas en que se coneretan los paquetes de trabajo. a4) Personas responsables de Ja realizacion de los pague- tes de trabajo 4.5) Participantes en los paque- tes de trabajo a6) Recursos estimados en horas de trabajo y en térmi fos financieros, &.7) Distripucion en el tiempo de las distintas tareas a realizar AUDIONA Dion(Graficos de Gantt 0 crono. gramas) a8) Fechas en las que deben presentarse los informes de progreso. Se realizan, en los periodos de tiempo previstos, informes de pro: {greso con una estructura estanda- fizada en lo posible y homogenet: ada, con el siguiente contenido: b.1) Identificacion de! equipo encargado de la realizacion del paquete de trabajo b2 Objetivos para el periodo sobre 0! que se informa b3 Progresos realizados duran- te el periodo sobre eo! que se informa y dificultades po: tenciales, b.4) Tareas realizadas y logros alcanzados durante el pe- iodo (distinguiendo entre los planificados y los sub- productos que se hayan po- dido generar) b5) Situacion del paguete de trabajo (grafico de Gantt 0 cronograma a la fecha del informe) Tareas planificadas que no se han realizado (desviacio: nes) asi como su justiica: cion. b7) Empleo de recursos realiza do, comparando con los previstos (horas de trabajo coste y gastos de inventa- riableffungible). Andisis de desviaciones 8) Publicaciones 5.9) Valoracion del trabajo reali zado ofectuada por el pro pio investigador. Se realizan auditorias cientif cas: revision de los informes de situacion por personal cientifico independiente de los responsa: bles del trabajo que evalde el contenido de los informes. Existen archives correspon: dientes a cada uno de los experi- mentos en jos que se conserven todas los informes senalados en la letra b) anterior, que permitan seguir toda la vida del experi- mento, Entre las pruebas a realizar para alcanzar este objetivo se encuentra la remisién de un cuestionario al director del pro- yecte de investigacién gue verse sobre los contenidos sefialados anteriormente, cuestionario eu yas tespuestas deben ser objeto de minucioso analiss. Si el resultado de! cuestiona rio determinara la existencia de una planificacion por objetivos y e| seguimiento de los mismos (bien bajo el modelo indicado en e.cuestionario bien bajo otro que se concluya adecuade y suficien- te), se pasaria a verificar su ap: cacion. Si ol resultado fuera negative, entonces ademas de la observa: ion en el informe de auditoria se eberia proponer que se implan- tara para los experimentos. ‘Supongamos que nos encon: tramps en la primera de las situa: ciones desctitas tras el analisis del cuestionario, es decir, hemos concluido que existe una planifi- cacién bien disenada y un siste- ma de seguimiento de su ejecu-ci6n suficiente, Nuestro siguiente obje- tivo consistiré en verificar que el men- cionado sistema funciona de conformi- dad con las especificaciones. En este caso la prueba consistiré en seleccionar una muestra de infor- mes de progreso y analizar su conteni- do y consecuencias, haciendo espe- cial hincapié en los aspectos economi- os y financieros y sus repercusiones sobre la marcha del experimento. En caso de que no exista un siste- ma de planificacion y control del desa- rrollo de los experiments, e| abjetivo consistira en efectuar una propuesia de implantacion, que debe incluir la presentacion de un modelo, Bajo este segundo supuesto, resul tara util determinar si para alguno de los otros experimentos que se realizan en la institucion auditada existe algin tipo de planificacion que cumpla con Jos requisitos y contenidos que se han especificado en el objetivo primera, si ng al cien por cien en una medida que se considere aceptable por los audito- res. En caso de que asi sea, se podra proponer, en su caso, una extension del sistema (tal cual o con modifica~ ciones detalladas) al expermento o estudio aucitado, En caso de no existir precedentes en la Organizacién considerados sufi- cientes por los auditores, el trabajo consistira en disefiar y proponer la implantacién del mencionado sistema Bibliografia Conclusiones La investigacién cientiica es una actividad que requiere cada ‘vez més de Ia aplicacién de volimenes importantes de recursos, lanto materiales como humanos, a la vez que los resultados de la misma, por sey inciertos, no pueden garantizarse. Esto no obstan- le no debe evilar que se procure el mejor empleo posible de los recursos, en términos econémicos, asi como el control tanto inter- no come externo de esta actividad La veriicacion del funcionamiento correcta del sistema de ‘seguimiento y contro! de los proyectos de investigacién constituye: Un objetivo primordial para la aucitoria operativa de los mismos, especialmente cuando el tiempo los recursos disponibles son. limitados. En la fase de planificacion del trabajo se deben deter- rminar los contenicos que se han sealado en la letra a) de! apar- taco anterior, para proceder a continuacién a su veriicacién, Cuando estos sistemias no se han disenado en la organizacion, el objetivo pasa a ser el concienciar a los gestores de la necesi- dad de los mismos, algo que puede no resulta facil puesto que implica una participacién relevante del investigador, que al quedar colocado en situacién también de gestor de su trabajo, ademas de paricipar en su diserio e implantacion, se ve sometido a una pia- hificacion sobre cuya realizaci6n debera informar periddicamente, justificando las desviaciones en que se haya podido incur La existencia de estos mecanismos de control permite ademas dar a conocer a la sociedad los resultados de fos periodos de Investigacion. Como ejemplo, cabe mencionar la Memoria Anual del Consejo de Seguridad Nuciear 0 los Informes generales de actividades, que ademas de los planes pluranuales que desarro- lla, ncorpora la relacién de los informes realizados a lo largo de un ejercicio por areas de Investigacion, junto con la mencién a los documentos, como las Propuestas de Dictamen Técnico, a los ‘que, en su caso, han dado lugar En dofinitiva, se persigue dar al administrador de os progra- ‘mas de investigacion los incentivos y los medios para mejorar la eficiencia, creando si es necesario un cambio en la cultura de la organizacion i (CONSEJO DE SEGURIDAD NUCLEAR, Informes del CSN al Congreso de los Diputados y al Senado, CONSEJO DE SEGURIDAD NUCLEAR, Memorias Anueles. FERNANDEZ DIAZ, Andrés, "Puede hablarse de una economia de contro! Revista Espatiola de Control Ex- temo. Nam, 1 Vol 1, Enero 1989. GARCIA VALDERRAMA, Teresa, ‘La medida y el control de la eficientcia en jas inslituciones universitarias’. Sin- digatura de Comptes de Valencia. Valencia, 1996. GONZALEZ BRAVO, M* isabel, EI control de la actuacion de los departamentos universitarios a traves de in- dicadores’. Revista Auditorla Publica, num, 16/1989. MINGUILLON ROY, Antonio, “La auditoria operativa de las Universidades”. Revista Espanola de Auditrla Pu- blica, nim, 3/1995, AUDITOR