Anlisis y revisin de la literatura en el contexto de proyectos de fin de carrera: Una propuesta.

Coral Calero Eduardo Fernndez-Medina Mario Piattini

Universidad Castilla-La Mancha, Departamento de Informtica, Paseo de la Universidad 4, Ciudad Real, Espaa
{Coral.Calero Eduardo.FdezMedina,Mario.Piattini}@uclm.es

Mara Anglica Caro Gutirrez Alfonso Rodrguez Ros

Universidad del Bio Bio, Departamento de Auditora e Informtica, La Castilla S/N, Chilln,Chile
{mcaro, alfonso}@ubiobio.cl

Resumen
La investigacin en las disciplinas de computacin puede ser comenzada desde tempranas etapas en la preparacin de los profesionales en el rea. Creemos que existe un potencial nmero de alumnos de ingeniera que pueden optar por un proyecto de fin de carrera relacionado con la investigacin. Por su parte, los docentes universitarios dedicados a la investigacin pueden aprovechar estos esfuerzos de investigacin en sus propios proyectos. Nuestra propuesta considera una de las formas de hacer investigacin denominada anlisis y revisin de la literatura. Hemos elaborado un mtodo que puede ser utilizado como gua para la realizacin de este tipo estudios de investigacin en el contexto de proyectos de fin de carrera y que puede ser extendido a estudios de post-grado.

Palabras clave : investigacin, proyecto de fin de carrera, docente universitario, revisin de la literatura, post-grado.

1.- Introduccin
La investigacin cientfica en muchas ciencias, por ejemplo fsica, biologa o medicina, cuenta con un conjunto de descripciones de sus estrategias de investigacin que no slo incluyen una gua detallada para los investigadores sino tambin una vista simplificada para el pblico y otros observadores (Shaw, 2002). En las disciplinas de computacin, Ciencias de la Computacin, Ingeniera de Software y Sistemas de Informacin (Glass et al., 2004) , el desarrollo de la investigacin, por ejemplo en Ingeniera de Software, data slo de cuatro dcadas (Glass et al. , 2002) lo que las transforma en un campo sin demasiados antecedentes histricos (Lzaro y Marcos, 2005) al respecto. No obstante, existe un esfuerzo por mejorar dicha situacin. La aplicacin de diversos mtodos de investigacin entre las que se incluyen anlisis conceptual, casos de estudio, anlisis de datos, experimentacin de campo, experimentacin de laboratorio y simulacin (Glass et al. , 2004) da cuenta de ello. En un estudio acerca del desarrollo de la investigacin en computacin, Glass et al, clasifican la Revisin de la Literatura como un enfoque de investigacin y al Anlisis y Revisin de la Literatura como un mtodo de investigacin. Como resultado del anlisis de un considerable nmero de artculos se detect que tanto el enfoque como el mtodo de investigacin representan una minora respecto del total de trabajos analizados y que, han sido usados de manera un tanto uniforme en las tres disciplinas de computacin (Glass et al. , 2004). Nosotros creemos que la gran mayora de las investigaciones que se emprenden, deben considerar una revisin de la literatura, aunque este no sea el objetivo final sino slo una manera de imponerse acerca del estado del arte del tema que se desea abordar. En el caso de los proyectos de fin de carrera una revisin de la literatura puede ser el objetivo central, principalmente por los tiempos asignados a este tipo de trabajo y por la falta de experiencia de los alumnos. Por otro lado, un estado del arte puede ser la base para otro proyect o de carrera o bien parte de un proyecto de investigacin mayor. Nues tra propuesta consiste en proveer un mtodo para el desarrollo de este tipo de trabajos, abordando especficamente la revisin de la literatura. Hemos utilizado como principal referente la propuesta de Kitchenham para hacer revisiones sistemticas (Kitchenham, 2004), que previamente hemos adaptado y aplicado. Creemos que la utilizacin de un mtodo como el que proponemos por parte de alumnos, de ltimos aos de carrera o post-grado, constituye una buena herramienta para mejorar, incentivar y obtener resultados concretos en los temas de investigacin que sean abordados. Por otra parte, permite incorporar una modalidad, con cierto grado de sistematizacin, a las alternativas ya existente para proyectos de fin de carrera, contribuyendo adems a la construccin de equipos de investigacin considerando el trabajo que pueden aportar estos alumnos. El resto de este artculo se encuentra organizado de la siguiente manera: en la seccin 2 se muestra el mtodo para el desarrollo de una revisin sistemtica considerando un solo investigador en el contexto de un proyecto de fin de carrera o de estudios de postgrado, en la seccin 3, presentamos un estudio en que se us dicha propuesta, y la seccin 4 comentamos nuestras conclusiones .

2.- Anlisis y revisin de la literatura: una propuesta para trabajos de fin de carrera
Dado que las disciplinas de computacin tienen una trayectoria reciente respecto de otras disciplinas de la ciencia, no existen metodologas que guen el desarrollo de revisiones sistemticas en stas. Consecuentemente con esto, Kitchenham propone un mtodo para realizar revisiones sistemticas 1 (Kitchenham, 2004) que se basa en pautas desarrolladas para la investigacin mdica y que fueron adaptadas para ser usadas por un equipo de investigadores en el mbito de la ingeniera de software. Una revisin sistemtica se define como una manera de evaluar e interpretar toda la investigacin disponible relevante respecto de u na interrogante de investigacin particular, en un rea temtica o fenmeno de inters (Kitchenham, 2004) . Los estudios individuales que contribuyen a una revisin sistemtica se denominan estudios primarios, una revisin sistemtica se considera un estudio secundario. En particular este mtodo propone tres etapas fundamentales que son (i) planificacin de la revisin, (ii) desarrollo de la revisin y (iii) publicacin de los resultados de la revisin, las que a su vez se encuentran dividas en otras etapas que detallan la forma en que se deben desarrollar.
1

El trmino revisin sistemtica es incorporado por Kitchenham y se enmarca en el contexto del m todo de investigacin denominado anlisis y revisin de la literatura por lo que lo usaremos indistintamente a lo largo de este trabajo.

En el caso particular de un proyecto de fin de carrera consideraremos que el trabajo ser realizado por un solo investigador-alumno (a lo ms dos) , en que la supervisin est a cargo de un tutor o gua y que tiene un tiempo lmite para su realizacin, estipulado en el plan de estudios de cada caso en particular. Estas condiciones han sido consideradas en la propuesta que realizamos y que modifica la propuesta original, manteniendo la esencia, de sta. A continuacin, en el lado izquierdo la Tabla 1 muestra la metodologa de Kitchenham y al lado derecho la Tabla 2 muestra nuestra propuesta. Etapa 1: Planificacin de la revisin
Identificar la necesidad de revisin Definir un protocolo de revisin

Etapa 1: Planificacin de la revisin

Identificacin de la necesidad de revisin Definicin de un protocolo de bsqueda Definicin de un protocolo de revisin Evaluacin de la planificacin

Etapa 2: Desarrollo de la revisin

Identificacin de la Investigacin Seleccin de los estudios primarios Evaluacin de la calidad del estudio Extraccin y monitoreo de datos Sntesis de datos

Etapa 2: Desarrollo de la revisin

Bsqueda de estudios primarios Seleccin de los estudios primarios Extraccin y gestin de datos Sntesis de datos

Etapa 3: Publicacin de los resultados

Tabla 1: Metodologa de Kitchenham(2004) para hacer una revisin sistemtica.

Etapa 3: Publicacin de los res ultados

Tabla 2 : Adaptacin para proyectos de fin de carrera.

Las etapas del mtodo propuesto en la Tabla 2, se describen a continuacin en forma detallada. 2.1 Etapa 1: Planificacin de la revisin Esta etapa tiene como propsito especfico definir los parmetros ms importantes que sern tomados en cuenta cuando se lleve a cabo la revisin. Se debe establecer las razones que justifican llevarla a cabo, la manera en que se har la bsqueda de trabajos y la forma en que stos sern revisados, finalmente, se evaluar la planificacin realizada. Hemos considerando para esto las siguientes sub-etapas: 2.1.1 Identificacin de la necesidad de la revisin. La necesidad de una revisin sistemtica surge del requerimiento de un investigador de resumir toda la informacin existente sobre algn fenmeno inters de manera rigurosa e imparcial, con el objeto de iniciar otras actividades de investigacin futuras. Antes de emprender una revisin sistemtica, el investigador debe asegurarse de que sta es necesaria. En particular, es recomendable identificar y analizar cualquier revisin sistemtica existente acerca del fenmeno de inters con un criterio de evaluacin apropiado. Para este fin, se sugiere usar listas de verificacin como la siguiente: Cules son los objetivos de la revisin? Qu fuentes fueron buscadas para identificar estudios primarios? Haba alguna restriccin? Qu criterios se incluyeron o excluyeron y cmo fueron aplicados? Qu criterios fueron usados para evaluar la calidad de los estudios primarios y cmo fueron aplicados? Cmo fueron extrados los datos de los estudios preliminares? Cmo fueron sintetizados los datos? Cmo se diferencian los estudios investigados? Cmo fueron combinados los datos? Era razonable combinar los estudios? Las razones ms frecuentes que justifican la necesidad de una revisin sistemtica son (Kitchenham, 2004): Resumir la evidencia existente concerniente a una tecnologa. Identificar algn un vaco en la investigacin actual con el objeto de sugerir reas para investigaciones futuras. Proveer un marco de trabajo y/o los antecedentes necesarios con el objeto de posicionar nuevas actividades de investigacin.

Junto con lo anterior, tambin se deben identificar claramente los recursos con que inicialmente se cuenta para llevar a cabo la revisin (por ejemplo: Internet, revistas electrnicas de acceso pblico o restringido, actas de congresos, etc.). Esta planificacin puede variar conforme se avance en la investigacin ya que pueden aparecer nuevos recursos, como por ejemplo: acceso a investigaciones recientes , una nueva suscripcin o la adquisicin de libros. 2.1.2 Definicin de un protocolo de bsqueda. En esta sub-etapa se deben definir las normas que seguir la investigacin res pecto del proceso de bsqueda en las fuentes de informacin definidas en la sub-etapa anterior. Deben ser definidos los trminos que se buscarn, las combinaciones de stos, la estrategia de bsqueda empleada segn cada fuente y la manera en que se registrarn los resultados. Respecto de la estrategia de bsqueda, es importante establecer la manera en que se va a proceder respecto de cada fuente empleada. Un caso particular es Internet, que est jugando un rol gravitante en cuanto a la accesibilidad de la literatura cientfica (Lawrence, 2001) y que por lo profuso de la informacin que all es posible encontrar, es necesario hacer un filtrado adecuad o que permita acceder slo a aquella informacin que sea realmente til. Se recomienda hacer un registro de los resultados de las bsquedas ya que pueden servir posteriormente para justificar la necesidad de investigar en algn rea espec fica, o para demostrar cuantitativamente que el nmero de trabajos en un rea en particular es muy reducido, o que los trabajos son muy heterogneos, o simplemente para demostrar la rigurosidad de nuestro proceso de bsqueda. Es importante tener en cuenta que el proceso de bsqueda es perfectible, por lo que el protocolo puede y debe ser mejorado durante el desarrollo de la bsqueda, p or ejemplo, se pueden incorporar otros trminos de bsqueda o realizar otras combinaciones de los trminos usados. En la Tabla 3 se muestra los puntos que hay que t ener en cuenta cuando se define un protocolo de bsqueda. Protocolo de Bsqueda de estudios primarios
T rminos Identificacin de los trminos que sern usado s en la bsqueda. Se recomienda identificar sinnimos y palabras con significados afines, ya que pueden haber variaciones en el idioma que dependen de la regin en que se use. Por ejemplo, requisitos y requerimientos o modellingy modeling. Combinaciones Identificacin de las posibles combinaciones significativas entre los trminos que fueron identificados en forma individual. Estrategias de bsqueda Recursos con herramientas de bsqueda : En algunos casos se pueden ingresar en forma escalada los trminos de bsqueda, restringiendo la bsqueda a los resultados de una bsqueda anterior. CDs de actas de congresos: Revisar los ndices donde aparecen los ttulos de cada artculo y el resumen, los cuales deberan ser ledos en busca de los trminos y sus combinaciones. En algunos casos los artculos estn en un formato que permite acceder a alguna funcin de bsqueda, por ejemplo Adobe Acrobat, que posee una funcin que permite hacer una bsqueda exacta en un texto. Texto no electrnico: Una revisin manual de: ttulo, ndice, ndice de trminos, etc. Internet: Cuando los resultados de una bsqueda nos llevan a sitios donde el documento que deseamos obtener est restringido, una estrategia a emplear es buscar en las pginas personales de los autores ya que hay algunos de ellos que publican libremente en sus pginas los trabajos en que han participado. Conviene utilizar buscadores dedicados para simplificar y mejorar el tiempo que se emplea en la bsqueda. Recomendamos, por ejemplo, Google Scholar, versin Beta en http://scholar.google.com/, DOCIS : Documents in Computing and Information Science en http://wotan.liu.edu/docis/, CiteSeer: Scientific Literature Digital Library en http://citeseer.ist.psu.edu/, entre otros. Autores: Si se conocen acceder directamente a sus pginas personales o bien realizar bsqueda por sus nombres combinando con los trminos definidos o bien dejar la combinacin para un filtrado posterior. Artculos : En este caso tambin es recomendable revisar las referencias bibliogrficas que incluyen. Se puede buscar directamente el documento citado usando los antecedentes que aparecen en la citacin. Otros : Se debera considerar la posibilidad de la aparicin de nuevos trminos o conceptos que nos ayuden a encontrar trabajos de nuestro inters. Registro de resultados Los resultados de las bsquedas y el origen de los mismos, deben ser registrados por escrito.

Tabla 3 : Protocolo de bsqueda.

2.1.3

Definicin de un protocolo de revisin.

El protocolo de revisin especifica los mtodos que sern usados para emprender la revisin sistemtica. El disponer de un protocolo predefinido contribuye a evitar los prejuicios del investigador. La idea es impedir, en la m edida de lo posible, que la seleccin de los estudios individuales pueda estar guiada por las expectativas del investigador. Durante esta etapa se realiza la revisin de cada uno de los estudios encontrados y que potencialmente pueden ser incluidos en la revisin. Se deben definir las normas de revisin a seguir, los criterios de exclusin e inclusin que sern empleados, la estrategia de extraccin de datos y finalmente la estrategia de sntesis. La revisin de manuscritos , como cualquier habilidad, mejora con la prctica (Benos et al., 2003) . Por otra parte , es probable que un alumno de ltimo ao no posea esta habilidad o no la tenga lo suficientemente desarrollada, por lo cual es importante contar con una gua para hacerlo. Dado que un alto nmero de los estudios que sern revisados se encuentran en formato de artculo cientfico, y dada la necesidad de detallar un procedimiento de revisin, se consider como referencia para este protocolo la estructura de artculo cientfico presentada en la figura 1.

Resumen Introduccin Trabajos Relacionados Preliminares

Cuerpo del Artculo

Conclusin Referencias

Figura 1: Estructura de artculo cientfico (Srba, 2004)

Al igual que en el protocolo anterior, ste puede ser perfeccionado durante el desarrollo de la revisin. En la tabla 4 se muestra el protocolo de revisin propuesto. 2.1.4 Evaluacin de la planificacin.

Esta etapa consiste en hacer una valoracin objetiva de la planificacin. Ya que esta propuesta se enmarca en el contexto de proyectos de fin de carrera la evaluacin de la planificacin tendr que hacerla el tutor o gua del proyecto.

2.2 Etapa 2: Desarrollo de la revisin En esta etapa se lleva a cabo la revisin propiamente tal. Su desarrollo est guiado por la planificacin de la revisin. Sin embargo, y ya que es un proceso flexible, es posible incluir cambios que mejoren su desempeo. A continuacin se definen las sub-etapas que contempla el desarrollo de la revisin. 2.2.1 Bsqueda de estudios primarios La bsqueda de estudios primarios se debe realizar en base al protocolo de bsqueda que fue definido para ello y que se encontrar en un formato como el sugerido en la etapa 1. Los estudios que se consideren potencialmente tiles se debern dejar accesibles para la siguiente etapa, ya sea en formato electrnico y/o impreso, o bien dejar registrado dnde ubicarlos una vez que se proceda a la seleccin. 2.2.2 Seleccin de estudios primarios La seleccin de los estudios debe hacerse en base al protocolo de revisin definido. Este proceso ser guiado por los criterios de inclusin y exclusin, dependiendo de los intereses del proyecto es recomendable registrar los motivos de exclusin.

2.2.3 Extraccin y gestin de datos En esta sub-etapa se extrae la informacin de inters en los estudios, ya sean resmenes, ideas o partes de los documentos. Esta extraccin se debe realizar en base al protocolo de revisin definido. Adems, se debe registrar la informacin necesaria para gestin, como la relativa a la bibliografa, ubicacin fsica del documento u otra informacin que los investigadores consideren pertinente. Se recomienda usar herramientas, como por ejemplo EndNote, para mantener los datos ms relevantes de cada estudio revisado. Este tipo de herramientas, junto con el registro de la informacin de los documentos, permite realizar bsquedas, ordenamientos, en general, hacer una adecuada gestin de la informacin. 2.2.4 Sntesis de datos En esta sub-etapa, al igual que en las anteriores, se debe aplicar el protocolo definido en la revisin , y consiste en registrar la informacin extrada de los estudios primarios siguiendo alguna estrategia. Los datos pueden ser sintetizados considerando por ejemplo, el enfoque que se le desea dar a la presentacin del estado del arte o la identificacin del o los fenmenos de inters. Protocolo de Revisin de Estudios Primarios
Normas de Revisin Cada estudio encontrado ser revisado y registrado de acuerdo a las preferencias del investigador. Si no se dispone del trabajo completo, este es el momento para conseguirlo, ya que debemos asegurarnos de su relevancia para nuestra revisin. Se debe leer al menos el resumen e introduccin y con ello se decidir la inclusin o exclusin del estudio, basndose en los criterios de este protocolo. Se sugiere registrar comentarios acerca del estudio, que en una etapa posterior nos permita por ejemplo, recordar su relevancia para nuestra investigacin, el motivo de su exclusin, o cualquier otro antecedente que creamos nos pueda ser til. Criterios de Inclusin Corresponden a la identificacin de aquellos tpicos relevantes a nuestra investigacin y que nos interesa rescatar de los estudios primarios. Conviene detallarlos de tal manera que al momento de la revisin podamos identificarlos claramente. Por ejemplo, si nuestro inters de investigacin fuera Mantenibilidad del software, por cierto un tema muy amplio, un criterio de inclusin podra ser mtricas para evaluar la mantenibilidad. Criterios de Exclusin Aqu se detallar cuando estudios que, a pesar de contener los trminos de bsqueda o combinacin de ellos, no contienen informacin de nuestro inters. En el ejemplo sobre Mantenibilidad del software, podra ser que no nos interesan aquellos trabajos que proponen mtricas no validadas formalmente. Estrategia de extraccin de datos Cada estudio seleccionado, debe ser ledo c on el objeto de extraer datos para nuestro trabajo, considerando dos etapas: Etapa 1: Consiste en leer el resumen, introduccin, trabajos relacionados, conclusin y referencias. Con ello ser posible obtener la siguiente informacin: La comunidad a la que est orientado el artculo. [Introduccin, Trabajos relacionados, Referencias] Las principales contribuciones (segn los autores). [Resumen, Introduccin, Conclusin] Posibles consecuencias de las contribuciones (Aplicaciones directas, nuevas tcnicas, nuevas reas de investigacin, etc.).[Introduccin] Etapa 2: Consiste en leer los preliminares y el cuerpo del artculo, lo que nos permitir: Incluir en forma detallada la informacin que es necesaria para la revisin. Comprender un experimento o los fundamentos de un marco de trabajo, identificar las caractersticas de un modelo, etc. Estrategia de sntesis de datos Aqu debe definirse cmo se sintetizarn los datos al momento de registrar los resultados de la revisin.

Tabla 4 : Protocolo de revisin 2.3 Etapa 3: Publicacin de los resultados Esta etapa corresponde a la utilizacin de los resultados una vez que disponemos de ellos. Es muy importante la difusin de los resultados obtenidos producto de una revisin sistemtica. En este caso, junto con la obtencin del documento exigido en cada currculo en particular, sera conveniente comunicar los resultados a travs de la participacin en conferencias, publicacin de un artculo o de un informe tcnico.

3.- Aplicacin de la propuesta.

La propuesta presentada anteriormente, fue utilizada para realizar una revisin sistemtica de la literatura relacionada con la Calidad de Datos (en siglas inglesas, DQ, Data Quality) o Calidad de Informacin (IQ), en Portales Corporativos (PC), lo anterior como parte del desarrollo de una tesis de postgrado. A continuacin se presenta una sntesis de la propuesta aplicada a este caso particular y siguiendo el mismo orden en que sta fue descrita. 3.1.- Etapa1. Planificacin de la revisin. Identificacin de la necesidad de revisin.
OBJETIVO Resumir la evidencia existente en relacin a cmo se ha abordado la calidad de datos en aplicaciones web. Considerando las siguientes interrogantes de investigacin: Cules son los problemas asociados a la DQ en PC y/o aplicaciones web? Cules son las dimensiones de calidad asociadas a los datos en la web? Cmo se puede medir la DQ en la web? Cmo se puede mejorar la DQ en la web? Qu herramientas existen para evaluar y/o mejorar la DQ en la web? RECURSOS Actas de la Conferencia Internacional en Calidad de Datos (ICIQ) desde 1996-2004. Revistas electrnicas y libros disponibles en la biblioteca de la U niversidad Castilla-La Mancha (UCLM), incluidos los de formato electrnico. Bibliotecas Digitales, como por ejemplo: Citeseer. Trabajos de investigacin y Tesis relacionadas con el tema de investigacin. Textos y revistas disponibles en e l laboratorio del grupo de investigacin Alarcos de la UCLM. Internet, a travs del uso de motores de bsqueda como, por ejemplo, Google Scholar.

3.2.- Etapa1. Planificacin de la revisin. Definicin de un protocolo de bsqueda.

PROTOCOLO DE BUSQUEDA Data, Information, Web, www, Internet, Quality, Portal, Corporate Data Quality, Information Quality, Data Quality" + Web/Internet/www, Information Quality+Web/Internet/www En recursos con herramientas de bsqueda : Ingresar en forma escalada los trminos y/o combinaciones de ellos. En CD's de actas de congresos: Buscar sobre los ttulos en los ndices, y luego sobre los resmenes y palabras claves. Conjuntamente usar la funcin de bsqueda de la aplicacin. En textos no electrnicos : Revisin manual de: ttulo, resumen, palabras clave. En Internet: Acceso a documentos mediante motores de bsqueda, cuando los documentos no estn accesibles, buscar en las pginas, o en sitios de publicacin alternativos. Autores: Identificar a los autores relevantes, acceder directamente a sus pginas personales, para la bsqueda de material. En artculos: Detectar referencias bibliogrficas de utilidad, en base a ellas buscar directamente el documento citado usando los antecedentes que aparecen en la citacin (autor, ttulo, conferencia, etc.). Otros: En un comienzo se restringi la bsqueda a la DQ/IQ en Portales, sin embargo dado que no existen muchos trabajos al respecto se extendi a DQ/IQ en la web, reacondicionando las definiciones de las sub- etapas involucradas. Registrar los resultados de las bsquedas mediante tablas.

Trminos Combinaciones Estrategias de bsqueda

Registro de los resultados

3.3.- Etapa1. Planificacin de la revisin. Definicin de un protocolo de revisin.

PROTOCOLO DE REVISION Si no se dispone del trabajo completo este es el momento para conseguirlo, para asegurarnos de su relevancia para nuestra investigacin. Leer al menos el resumen e introduccin y decidir si incluimos o no el estudio, en base a los criterios de este protocolo. En la copia completa del trabajo, adjuntar comentarios sobre el mismo documento en un lugar visible. Se llevar un control acerca de los estudios primarios aceptados y rechazados, registrando el motivo de exclusin. Se incluirn todos aquellos trabajos o estudios que aborden el tema de DQ/IQ en Portales y/o en la web y que se enmarquen en algunos de los siguientes tpicos: Planteamiento/Anlisis del problema DQ/IQ en Portales y/o en la web. Propuesta un marco de trabajo de DQ/IQ en Portales y/o en la web.

Normas de Revisin

Criterios de Inclusin

 Criterios de Exclusin

Estrategia de extraccin de datos

Estrategia de sntesis de datos

Propuesta para evaluacin y/o mejora de DQ/IQ en Portales y/o en la web. Herramientas para evaluar y/o mejorar DQ/IQ en Portales y/o en la web . PROTOCOLO DE REVISION (continuacin) Se excluirn aquellos estudios que a pesar de contener los trminos de bsqueda o combinacin de ellos, no contienen informacin relevante sobre el tema y/o no abordan los tpicos de nuestro inters. Por cada estudio seleccionado, se r ealizar una lectura con el objeto de extraer datos para nuestro trabajo, en 2 etapas: Etapa 1: En esta deber leer el resumen, introduccin, trabajos relacionados, conclusin y referencias. Donde podremos obtener la informacin siguiente: A qu comunidad est orientado el artculo. [Introduccin, Trabajos relacionados, Referencias] Cules son sus contribuciones (segn los autores). [Resumen, Introduccin, Conclusin] Cules son las posibles consecuencias de las contribuciones (Aplicaciones directas, nuevas tcnicas, nuevas reas de investigacin, etc.).[Introduccin] Etapa 2: Se leern los preliminares y el cuerpo del artculo, esto nos permitir: Incluir en forma detallada la informacin que necesitemos para nuestra revisin. Comprender un experimento, los fundamentos de un marco de trabajo, las caractersticas de un modelo, etc. Los datos sern sintetizados de acuerdo a los siguientes temas: Problemas de DQ/IQ en Portales y/o la web Propuestas de marcos de trabajo Propuestas para evaluacin y/o mejora Herramientas de evaluacin y/o mejora

3.3.- Etapa1. Planificacin de la revisin. Evaluacin de la planificacin. Dado que esta investigacin se enmarcaba en el desarrollo de una tesis, la evaluacin de la planificacin fue realizada por los directores de la misma. 3.4.- Desarrollo de la revisin. Bsqueda de estudios primarios. Esta se realiz en base al protocolo de bsqueda definido y sobre los recursos de informacin disponibles. Es importante sealar aqu que los prot ocolos pueden ser mejorados a medida que avanza la revisin, ya que podemos encontrarnos con que la definicin inicial no sea suficiente. Por ejemplo en este caso se tuvo que extender la bsqueda a aplicaciones web, ya que la bsqueda exclusiva sobre PC no fue exitosa. A modo de ejemplo las tablas 5 y 6, muestran los resultados de una bsqueda en Internet.

N 1 2 3

Fuente Google Scholar Google Scholar Google Home

Clave de Bsqueda Corporate Portal Portal Corporativo Corporate Portal

Resultados 210 29 175.000

Tabla 4. Bsquedas Primarias

Bsqueda Primaria 1 1 1 1 2 3 3 3 3

Clave de Bsqueda Quality Data Quality Information Quality Quality of the Information Calidad Quality Data Quality Information Quality Quality of the Information

Resultados 123 4 4 4 3 23.400 1.380 251 22

Tabla 5. Sub-bsquedas en los resultados de las bsquedas primarias.

3.5.- Desarrollo de la revisin. Seleccin de estudios primarios. La selecci n de los estudios se hizo en base al protocolo de revisin definido, con los estudios seleccionados se procedi a la extraccin de datos y en los no seleccionados se registr la informacin relativa al motivo del rechazo. Este registro se hizo directamente en el artculo/documento impreso. 3.6.- Desarrollo de la revisin. Extraccin de datos. En esta etapa se extrajo la informaci n de inters en los estudios siguiendo el procedimiento del protocolo de revisin. Se escribi un resumen de cada estudio. Adems se registr la informacin necesaria para la gestin, como la relativa a la bibliografa usando EndNote para mantener los datos ms relevantes de cada estudio revisado . En cada artculo se registr sobre su impreso, su contenido ms relevante a la investigacin. 3.7.- Desarrollo de la revisin. Sntesis de datos. La sntesis correspondi al estado del arte , abordado desde los siguientes puntos de vista: Planteamientos sobre problemas de DQ/IQ en PC y/o en la w eb, Propuestas de marcos de trabajo, Propuest as de m todos de evaluacin y/o mejora y Herramientas de evaluacin y/o mejora. 3.8.- Publicacin de los resultados. Los resultados de la revisin sistemtica fueron utilizados, primeramente, para el desarrollo del estado del arte como un captulo de una tesis y luego para la preparacin de un artculo para una revista del rea y otro para congresos relacionados con el tema.

4.- Conclusiones
En nuestro trabajo hemos introducido la idea de usar un mtodo para orientar proyectos de fin de carrera relacionados con la investigacin. Especficamente, utilizando el mtodo de investigacin denominado anlisis y revisin de la literatura. Pensamos que contar con un mtodo como ste favorece el desarrollo de proyectos que aborden la investigacin usando este enfoque, ya que resulta altamente beneficioso para el trabajo conjunto entre alumnos y docentes/investigadores. Creemos que trabajos de este tipo constituyen un buen punto de partida para desarrollar trabajos futuros tendientes sistematizar las tareas relacionadas con la investigacin y que permitan utilizarla en forma acotada en el contexto de proyectos finales de estudiantes de ingeniera y/o post-grado.

5.- Agradecimientos
Este trabajo forma parte de los proyectos de investigacin que promueve y desarrolla el Grupo Alarcos (http://alarcos.inf-cr.uclm.es/) de la Escuela Superior de Informtica de la Universidad Castilla-La Mancha, Ciudad Real, Espaa.

6.- Referencias
Benos, D. J., Kirk, K. L. y Hall, J. E.; How to Review a Paper , Advances in Physiology Education. Vol 27 (2). (2003). pp. 47 -52. Glass, R. L., Ramesh, V. y Vessey, I.; An analysis of research in computing disciplines , Communications of the ACM,. Vol. 47 (6). (2004). pp. 89-94. Glass, R. L., Vessey, I. y Ramesh, V.; Research in software engineering: an analysis of the literature, Information & Software Technology. Vol. 44 (8). (2002). pp. 491-506. Kitchenham, B., Procedures for Performing Systematic Reviews, Keele University Technical Report TR/SE-0401, (2004). 33 p. Lawrence, S.; Online or Invisible? , Nature. Vol. 411, Number 6837. (2001). pp. 521 -523. Lzaro, M. y Marcos, E.; Research in Software Engineering: Paradigms and Methods, Aceptado en 1st Workshop on Philosophical Foundations of Information Systems Engineering junto a 17th Conference on Advanced Information System Engineering (CAiSE'05) Porto, Portugal. (2005). pp. Shaw, M.; What makes good research in software engineering? , International Journal on Software Tools for Technology Transfer (STTT). Vol 4 (1). (2002). pp. 1-7. Srba, J.; How to Read and Present a Scientific Paper. In http://www.cs.auc.dk/~hans/Dat5/slides.pdf . (2004).