You are on page 1of 12

 

 
 
Editorial
Una Guía Corta para Escribir Revisiones Sistemáticas de Literatura
Parte 1
Las revisiones de literatura son una componente diferentes formas [6]: mini- vs. completas; descriptivas vs.
fundamental del método científico, y es por ello que nuestra integradoras; y narrativas vs. sistemáticas. Mientras que la
revista invita a todos nuestros autores a someter esta clase preparación de una revisión completa requiere un gran esfuerzo
de manuscritos. Sin embargo, las revisiones pueden ser y tiempo de preparación, la preparación de mini-revisiones
difíciles de escribir y publicar, y es por ello, que ofrecemos requiere comparativamente pocos recursos; las mini-revisiones
a nuestros lectores una guía sobre como elaborarlas y son fomentadas y preferidas por algunas revistas debido a que
escribirlas, con el fin de facilitar este proceso, y, en última el tópico de investigación es muy preciso y focalizado y puede
instancia, aumentar su potencial de citación. Esta guía se atraer más lectores ocupados que no tienen tiempo para leer
concentra en la metodología conocida como revisión una revisión completa en busca de un aspecto específico de
sistemática de literatura, la cual es prácticamente interés. No obstante, las mini-revisiones parecen ser
desconocida en ingeniería. Esta editorial no pretende desconocidas en toda la literatura de ingeniería; una simple
establecer una normativa para nuestros autores, ni sentar la búsqueda —realizada en abril de 2014— en la librería digital
última palabra sobre el tema, sino presentar elementos que IEEE Xplorer permitió recuperar únicamente 15 documentos
puedan ayudar en la preparación de este tipo de que en sus títulos contenían las palabras “minireview” o “mini-
documentos. review”. Otra búsqueda similar fue realizada en la librería
Las revisiones de literatura tienen como fin resumir, digital ScienceDirect especificando como cadena de búsqueda:
compilar, criticar y sintetizar la investigación existente sobre un minireview OR “mini-review”, y que la búsqueda fuera
área temática o fenómeno de interés [1,2] usando un proceso de realizada únicamente en el título, palabras clave o resumen;
búsqueda, catalogación, ordenamiento, análisis, crítica y esta búsqueda retornó más de 1300 documentos, pero ninguno
síntesis; las revisiones de literatura son contribuciones al perteneciente a revistas científicas en ingeniería. Las mini-
conocimiento actual ya que sus hallazgos son únicamente revisiones son más cortas que las revisiones completas: una
obtenidos cuando la literatura más relevante es analizada como rápida inspección visual a los resultados obtenidos en
un todo y no como la simple lectura de documentos aislados; ScienceDirect reveló que la longitud de un artículo de mini-
en este sentido, las revisiones de literatura pueden clarificar el revisión es de aproximadamente seis páginas, por lo que es
estado del arte [1], identificar tendencias de investigación [1] equivalente a los llamados artículos cortos.
[3], dar soporte para nuevas investigaciones [3], identificar Las revisiones de literatura son descriptivas cuando ellas
variables importantes [4], establecer la importancia de un están focalizadas en la metodología, los hallazgos y las
problema de investigación o fenómeno de interés [4], conclusiones de cada estudio; en oposición, las revisiones
identificar puntos de controversia [2], recopilar evidencias que integradoras buscan encontrar patrones comunes y puntos de
apoyen o contradigan las hipótesis actuales sobre un fenómeno divergencia en los estudios analizados [6]. Revisión narrativa
de interés [3] y generar nuevas hipótesis [3]. Una revisión de es el término utilizado para describir revisiones de literatura
literatura bien realizada en la clave fundamental para justificar focalizadas en elementos individuales de estudios cualitativos,
el uso de métodos y prácticas actuales [1,13], para definir mientras que las revisiones sistemáticas se encuentran
objetivos adecuados en muchas actividades de investigación concentradas en estudios cuantitativos y se caracterizan por el
como aplicaciones a becas, proyectos de investigación, tesis de uso de herramientas estadísticas como el meta-análisis, la
maestría, disertaciones de doctorado, y para demostrar un búsqueda exhaustiva de documentos, el pensamiento crítico y
conocimiento profundo sobre un tópico específico [5]. Los un alto nivel de agregación de los hallazgos [4,6,7]; sin
artículos de revisión de literatura son ampliamente leídos [6] y embargo, esta última definición parece ser imprecisa ya que es
permiten que el investigador aumente su reputación e posible realizar revisiones sistemáticas cualitativas [3,7]. Las
incremente su lista de publicaciones [1]. Sin embargo, los revisiones sistemáticas son consideradas como el más alto
autores prefieren escribir artículos sobre investigación primaria estándar de calidad en muchos campos de investigación y los
que revisiones de literatura [2]. editores de revistas científicas prefieren las revisiones
Las revisiones de literatura pueden ser clasificadas de sistemáticas a las narrativas [7].

© The author; licensee Universidad Nacional de Colombia.


DYNA 81 (187), pp. 9-10. October, 2014 Medellín. ISSN 0012-7353 Printed, ISSN 2346-2183 Online
Velásquez / DYNA 81 (187), pp. 9-10. October, 2014.

Jaidka et al [4] sugieren que la mayor parte de la ingeniería del software; por Sorrel [10] en el análisis de
información usada para escribir revisiones de literatura es políticas energéticas, y por Tranfield et al [12] en el campo de
extraída del resumen, la introducción y las conclusiones; y la la gestión. La SLR es una forma para evitar muchos obstáculos
forma en cómo las contribuciones y las ideas principales son encontrados cuando se realiza una revisión tradicional de
integradas en la revisión (copiar y pegar, parafraseo, resumen o literatura.
referencia crítica) es dependiente del tipo de revisión En la próxima editorial se presentará una discusión detallada
(descriptiva vs. integradora). sobre la revisión sistemática de literatura.
A pesar de su importancia, muchas revisiones de literatura
son pobremente escritas y poco útiles [5]; esta situación ocurre Juan D. Velásquez, MSc, PhD
principalmente porque los autores son estudiantes de postgrado Profesor Titular
Universidad Nacional de Colombia
novicios [8]. Hay varios problemas comunes en la preparación
E-mail: jdvelasq@unal.edu.co
de una revisión de literatura: búsqueda sin fin de artículos http://orcid.org/0000-0003-3043-3037
relevantes, reportes basados en lo que se leyó pero no sobre los
hallazgos y las limitaciones de la literatura como un todo [9],
inhabilidad para encontrar artículos relevantes, desviación Referencias
hacia artículos interesantes pero irrelevantes para la
investigación, falta de foco en la búsqueda, falta de método [1] Suter II, G.W., Review papers are important and worth writing,
Environmental Toxicology and Chemistry, 32 (9), pp. 1929-1930,
para realizar la revisión, ausencia de preguntas de
2013.
investigación, formulación deficiente de preguntas de [2] Bolderston, A.,Writing an effective literature review, Journal of
investigación [10], incapacidad para explicar de una manera no Medical Imaging and Radiation Sciences, 39 (2), pp. 86-92, 2008.
sesgada como los estudios para la revisión fueron [3] Kitchenham, B.A. and Charters, S., Guidelines for Performing
Systematic Literature Reviews in Software Engineering. Technical
seleccionados o descartados [10], dificultad para distinguir la Report EBSE-2007-01, 2007.
literatura más relevante [9]. Adicionalmente, los investigadores [4] Jaidka, K., Khoo, C. and Na, J.-C., Literature review writing: A
experimentados pueden estar sesgados a favor de sus propios study of information selection from cited papers, Asia Pacific
Conference Library & Information Education & Practice, 2011.
resultados cuando escriben una revisión de literatura [1]. Tal [5] Randolph, J.J., A guide to writing the dissertation literature review,
como es discutido en [5], diferentes revisores pueden presentar Practical Assessment, Research & Evaluation, 4 (13), pp. 1-13,
diferentes conclusiones al analizar el mismo grupo de 2009.
[6] Pautasso. M., Ten simple rules for writing a literature review, PLoS
documentos. Otro problema latente es que las revisiones son Computational Biology, 9 (7), pp. 1-4, 2013.
confundidas y mezcladas con la justificación de problemas de [7] Murphy, C.M., Writing an effective review article, Journal of
investigación primaria: el escritor no presenta claramente como Medical Toxicology, 8 (2), pp. 89-90, 2012.
[8] Carver, J.C., Hassler, E., Hernandes, E. and Kraft, N.A., Identifying
las preguntas emergentes de investigación (un juicio personal barriers to the systematic literature review process. Proceedings of
sobre lo que necesita hacerse) son justificadas por la literatura the 2013 ACM / IEEE International Symposium on Empirical
actual como un vacío de conocimiento sobre cierto fenómeno Knowledge Engineering and Measurement, pp. 203-213, 2013.
[9] Chen, Y., The writing questions in literature review--frequently
de interés o área temática.
aroused in college students' opening report, Asian Social Science, 8
Varias recomendaciones para realizar revisiones de (11), pp. 96-101, 2012.
literatura ya han sido publicadas [6,7]; por ejemplo: se debe [10] Sorrell, S., Improving the evidence base for energy policy: The role
asegurar que otros puedan repetir la búsqueda, se deben definir of systematic reviews, Energy Policy, 35 (3), pp. 1858-1871, 2007.
[11] Velasquez, J.D., Factores de éxito en la comunicación oral científica,
criterios de exclusión, se deben buscar revisiones previas, se Facultad de Minas, Universidad Nacional de Colombia, 2011. No
debe incluir el material más relevante publicado después de la publicado.
última revisión, se debe presentar una evaluación crítica; pero [12] Tranfield, D., Denyer, D. and Smart, P., Towards a methodology for
developing evidence-informed management knowledge by means of
en cualquier caso, siempre se enfatiza que es muy importante systematic review, British Journal of Management, 14, pp. 207-222,
definir lineamientos detallados para ejecutar revisiones de 2003.
literatura y presentar ejemplos de aspectos críticos. No [13] Kostoff, R.N. and Cummings. R.M.. Highly cited literature of high-
speed compressible flow research, Aerospace Science and
obstante, muchos de los problemas ya mencionados a la hora Technology, 26 (1), pp. 216-234, 2013.
de realizar una revisión continúan presentes.
La revisión sistemática de literatura (SLR, por su sigla en
inglés) es una metodología reproducible, auditable y
sistemática para formular preguntas de investigación relevantes
sobre un área temática o fenómeno de interés y para buscar,
seleccionar, analizar y sintetizar toda la investigación relevante,
empírica o teórica, necesaria para responder dichas preguntas
de investigación [3,11]. La metodología de SLR fue
originalmente desarrollada en medicina y ciencias de la salud,
de donde evolucionó hacia las ciencias sociales; posteriormente
fue adaptada por Kitchenham y Charters [3] para su uso en la

10
 
 
Editorial
Una guía corta para escribir Revisiones Sistemáticas de Literatura
Parte 2
En esta editorial se discuten los orígenes de la revisión funciona) o para sugerir nuevas direcciones de investigación.
sistemática de literatura (SLR) y sus principales aplicaciones en Pero para ello, la revisión de literatura debe cumplir con los
gestión e ingeniería. mismos estándares de calidad con que se realizan los estudios
primarios de la más alta calidad. Es así como emerge la
1 Orígenes de la Revisión Sistemática de Literatura metodología de SLR en respuesta a dicha necesidad. Ya que la
EBM se sustenta fundamentalmente en estudios cuantitativos y
La metodología de revisión sistemática de literatura (SLR) métodos estadísticos de análisis, el desarrollo de guías para
surge originalmente a partir del concepto de evidence-based realizar SLRs ha estado fundamentalmente orientado hacia
medicine (EBM), que se refiere al hecho de que el individuo en estos fines, y particularmente a la utilización del meta-análisis,
su práctica profesional debe tomar decisiones soportadas en su que es un procedimiento estadístico para la agregación de los
experiencia, juicio profesional y en la evidencia objetiva más resultados cuantitativos provenientes de varios estudios
rigurosa que este disponible [1]; de ahí que el énfasis de la empíricos, con el fin de inferir estadísticamente resultados más
actividad investigativa este orientada a demostrar objetiva y confiables de los que se pueden obtener por la realización de
transparentemente qué es lo que realmente funciona y que el estudios individuales [1][3].
énfasis de la práctica profesional este orientado a usar dicha
información para tomar mejores decisiones. La EBM nace 2 Aplicaciones de SLR en Gestión e Ingeniería
como respuesta a que la mayoría de estudios primarios en
medicina y ciencias de la salud carecían de un rigor apropiado, Claramente el concepto de la EBPP puede ser aplicado
o presentaban resultados contradictorios; y a la dificultad de en todas la disciplinas profesionales, pero particularmente la
poder sintetizar adecuadamente grandes volúmenes de ingeniería puede obtener grandes beneficios; esto es
evidencia cuestionable [2]; en consecuencia, muchas revisiones especialmente importante en aquellas áreas de rápido
de literatura presentaban conclusiones deficientes, inapropiadas desarrollo, tales la computación, la energía y la electrónica,
o sesgadas [3]. Estas situaciones causaron que la evidencia en las cuales los desarrollos conceptuales pueden provenir
tomara un rol central en la investigación y el ejercicio de forma independiente desde diferentes áreas; esto puede
profesional [3]. El concepto de EBM fue posteriormente dificultar la búsqueda y recopilación de evidencias. Así
extendido en UK (y otros países), desde la década de los 80s, a mismo, las revisiones de literatura en la ingeniería son
la política pública y la práctica profesional (evidence-based tradicionalmente narrativas —excepto en la ingeniería de
policy and practice —EBPP—) pero particularmente se software y la política energética— y adolecen de todas las
difundió en las ciencias sociales, la educación y la justicia limitantes que ya se han discutido.
criminal [2]; como consecuencia, se desarrollaron muchas Dados los beneficios de la EBPP, no resulta extraño que
guías y manuales de buenas prácticas [3]. Tanto el concepto y dichas prácticas se hayan extendido a otras disciplinas.
práctica de la EBM como de la EBPP implican la realización Tranfield et al [3] propone el uso de la metodología de SLR
de estudios primarios que provean evidencias con altos en el área de la gestión, discute sus beneficios, y como las
estándares de rigurosidad, transparencia, calidad y objetividad; diferencias entre dicha área y la medicina pueden afectar el
recursos para almacenar y hacer disponible la evidencia proceso para realizar SLRs. Kitchenham y Charters [1]
recolectada a la comunidad científica y profesional; y prepararon unos lineamientos con base en las guías
mecanismos para su sintetización y análisis. existentes para el desarrollo de SLR en medicina y ciencias
En este contexto, la revisión sistemática de literatura (SLR) sociales, y particularmente en los preparados por el Centre
entra a jugar un papel fundamental como un mecanismo para for Reviews and Dissemination (CRD) [4], para que fueran
recolectar, organizar, evaluar y sintetizar toda la evidencia usados por investigadores, profesionales y estudiantes de
disponible respecto a un fenómeno de interés, ya sea para postgrado en el área de la ingeniería de software en la
mejorar la práctica actual (mostrar que es lo que realmente preparación de revisiones de literatura rigurosas.

© The author; licensee Universidad Nacional de Colombia.


DYNA 81 (187), pp. 9-10. October, 2014 Medellín. ISSN 0012-7353 Printed, ISSN 2346-2183 Online
DOI:
Velásquez / DYNA 81 (187), pp. 9-10. October, 2014. 

Mientras que en las ciencias de la vida y la salud existen Referencias


abundantes estudios que usan la metodología de SLR, existen
muy pocos ejemplos en ingeniería –excepto en el campo de la [1] Kitchenham, B.A.; Charters, S. (2007). Guidelines for Performing
Systematic Literature Reviews in Software Engineering. Technical
ingeniería de software–. La metodología de SLR ha sido usada Report EBSE-2007-01.
para: analizar las herramientas para medir desempeño de [2] S. Sorrell. “Improving the evidence base for energy policy: The role
construcciones en Nigeria [5]; identificar temáticas en la of systematic reviews”, Energy Policy, vol. 35, no. 3, pp. 1858-
1871, 2007.
enseñanza de estructuras de datos y matemáticas discretas en [3] D. Tranfield, D. Denyer and P. Smart. “Towards a Methodology for
currículos de ciencias de la computación [6]; analizar los Developing Evidence-Informed Management Knowledge by Means
problemas de adopción y difusión en sistemas de información, of Systematic Review,” British Journal of Management, vol. 14, pp.
207-222, 2003.
tecnologías de la información y tecnologías de la comunicación [4] K. S. Khan, G. ter Riet, Gerben. J. Glanville, A. Sowden, and J.
[7]; realizar un análisis de las técnicas para dar accesibilidad a la Kleijnen (eds). “Undertaking Systematic Review of Research on
Web [8]; discutir las técnicas no lineales usadas en el pronóstico Effectiveness. CRD’s Guidance for those Carrying Out or
Commissioning Reviews,” CRD Report Number 4 (2nd Edition),
de la demanda de electricidad [9]; analizar el pronóstico de NHS Centre for Reviews and Dissemination, University of York,
índices de mercado usando lógica difusa [10]; analizar y discutir March 2001.
los factores críticos de éxito en la presentación oral científica [5] H. Koleoso, M. Omirin, Y. Adewunmi and G. Babawale.
“Application of existing performance evaluation tools and concepts
[11]; discutir la aplicación de técnicas de decisión para la
to Nigerian facilities management practice,” International Journal of
construcción de modelos para la selección de proveedores [12]; Strategic Property Management, vol. 17, no. 4, pp. 361-376, 2013.
analizar como el concepto de ‘leagility’ ha evolucionado en la [6] T. Whelan, S. bergin and J. F. Power. “Teaching Discrete Structures:
literatura científica actual sobre administración [13]; integrar el A systematic review of the literature,” SIGCSE '11 Proceedings of
the 42nd ACM technical symposium on Computer science
extenso cuerpo de literatura sobre ventas y planeamiento de la education, pp. 275-280, 2011.
operación [14]; determinar las tendencias actuales, autores más [7] Y. K. Dwivedi, M. D. Williams, B. Lai and N. Mustafee. “An
importantes y problemas de investigación, así como sintetizar el Analysis of Literature on Consumer Adoption and Diffusion of
Information System/Information Technology/Information and
conocimiento existente sobre la identificación de Communication Technology,” International Journal of Electronic
radiofrecuencias [15]; para analizar los métodos de ensamble de Government Research, vol. 6, no. 4, pp. 58-73, 2010.
redes neuronales artificiales en el pronóstico de series de tiempo [8] A. P. Freire, R. Goularte and R. P. de M. Fortes. “Techniques for
developing more accessible web applications: a survey towards a
económicas o financieras [16]. process classification”. SIGDOC '07 Proceedings of the 25th annual
En general, las ingenierías modernas son disciplinas jóvenes ACM international conference on Design of communication, pp.
en comparación con la medicina, y al igual a como ocurre en la 162-169, 2007.
[9] V. M. Rueda, J. D. Velásquez and C. J. Franco. “Recent advances in
gestión [3], los estudios en estas áreas difícilmente comparten load forecasting using nonlinear models”. DYNA, vol. 78, no. 167,
los mismos objetivos o investigan los mismos interrogantes. Es pp. 7-16, 2011.
así como para cada tópico particular existe un número [10] A. Arango, J. D. Velásquez, C. J. Franco. “Técnicas de Lógica
Difusa en la Predicción de Índices de Mercados de Valores: Una
relativamente bajo de estudios, posiblemente realizados desde
Revisión de Literatura”. Revista Ingenierías, vol. 11, no. 22, pp.
diferentes ópticas; pero más aún, en el caso de estudios 115-123. 2013.
cuantitativos, difícilmente se usan los mismos datos [11] J. D. Velasquez. “Factores de Éxito en la Comunicación Oral
experimentales, de tal forma que se hace imposible la Científica,” Facultad de Minas, Universidad Nacional de Colombia,
2011. No publicado.
agregación de estudios para aumentar la confiabilidad de los [12] J. Chai, J. N. K. Liu, E. W. T. Ngai. “Application of decision-
resultados. Existen contadas excepciones, en las que se ha making techniques in supplier selection: A systematic review of
recopilado y puesto a disposición de la comunidad científica literatura,” Expert Systems with Applications, vol. 40, no. 10, pp.
3872-3885, 2013.
bases de datos de problemas con el fin de que los resultados de [13] M. M. Naim and J. Grosling. “On leanness, agility and leagile
diferentes investigaciones sean comparables; un ejemplo es el supply chains,” International Journal of Production Economics, vol.
UCI Machine Learning Repository en el que se pone a 131, no. 1, pp. 342-354, 2011.
[14] A. M. T. Thomé, L. F. Scavarda, N. S. Fernandez, A. J. Scavarda.
disposición de la comunidad más de 280 conjuntos de datos “Sales and operations planning: A research synthesis,” International
para la experimentación con técnicas de aprendizaje de Journal of Production Economics, vol. 138, no. 1, pp. 1-13, 2012.
máquinas; sin embargo, los investigadores no tiene la [15] Z. Irani, A. Gunasekaran and Y. K. Dwivedi. “Radio frequency
identification (RFID): research trends and framework,” International
obligación de usar estos conjuntos de datos. Sin embargo, y a Journal of Production Research, vol. 48, no. 9, pp. 2485-2511, 2010.
diferencia de muchas de las guías existentes, los lineamientos [16] L. F. Rodríguez, J. D. Velásquez and C. J. Franco. “Una
de Kitchenham y Charters [1] y de Tranfield et al [3] no investigación científica acerca del progreso de métodos de ensamble
basados en inteligencia computacional para predicción de series de
enfatizan el meta-análisis como una herramienta fundamental
tiempo económicas y financieras” in Modelos no Lineales en Series
debido a que existe poca evidencia empírica cuantitativa en Económicas y/o Financieras. Universidad de Guadalajar, 2012.
comparación con otras áreas de investigación [1].

Juan D. Velásquez, MSc, PhD


Profesor Titular
Universidad Nacional de Colombia
E-mail: jdvelasq@unal.edu.co
http://orcid.org/0000-0003-3043-3037

10 
 

 
Editorial
Una Guía Corta para Escribir Revisiones Sistemáticas de Literatura
Parte 3
En esta editorial se discuten: el proceso de revisión de los estudios, la extracción de datos y la evaluación de la
sistemática de literatura (SLR) y el método de selección del calidad; sin embargo, esto no quiere decir que los demás
tema. Adicionalmente, se presentan y ejemplifican las aspectos son fáciles, especialmente para estudiantes de
razones para realizar revisiones de literatura, y se postgrado novatos [6].
caracterizan los tipos de preguntas comúnmente usados en Los resultados pueden ser reportados en conferencias,
una revisión sistemática de literatura. Desde lo práctico, la páginas Web, como artículos en revistas, o como capítulos
justificación de la necesidad de revisión y la formulación de de tesis de maestría o disertaciones de doctorado [1]. Un
las preguntas de investigación parecen ser tópicos bastante reporte típico está dividido en las siguientes partes [1]:
complejos para muchos autores. Espero que la síntesis y los
ejemplos presentados sirvan de orientación para nuestros  Introducción.
autores para escribir mejores revisiones de literatura. * Justificación de la revisión.
* Formulación de las preguntas de
1 El Proceso de Revisión Sistemática investigación.
 Definiciones y conceptos básicos (opcional).
El proceso de revisión propuesto en [1] —que es muy  Descripción del protocolo de investigación.
similar a los presentados en [2] y [3]—está dividido en las  Proceso de búsqueda de documentos.
siguientes fases: * Proceso de selección de documentos.
* Proceso de evaluación de la calidad.
 Paso 1. Planeamiento * Proceso de extracción de datos.
* Justificación de la revisión.  Resultados
* Formulación de las preguntas de * Resultados del proceso de búsqueda.
investigación. * Resultados del proceso de selección.
* Diseño del protocolo de búsqueda. * Resultados de la evaluación de la
 Paso 2. Ejecución. calidad.
* Búsqueda de documentos. * Análisis de los estudios seleccionados
* Selección de documentos. como un todo.
* Evaluación de la calidad.  Discusión (respuesta a cada una de las
* Extracción de datos. preguntas de investigación).
* Síntesis de datos.  Conclusiones.
 Paso 3. Reporte
Una introducción típica motiva la revisión, presenta las
El diseño del protocolo de investigación corresponde a la preguntas de investigación y las justifica [7]. La sección de
creación de un documento donde la justificación de la definiciones y conceptos básicos puede ser usada para [8]:
revisión, las preguntas de investigación y su motivación, y el describir conceptos claves, discutir revisiones de literatura
proceso de ejecución es descrito; el diseño es realizado y previas al estudio actual, presentar explicaciones teóricas,
revisado antes de la ejecución [4][2][5]. La síntesis de los discutir hallazgos pasados, o presentar ejemplos, entre otros.
datos es el proceso de responder las preguntas de La sección del descripción del protocolo de investigación
investigación. Todo el proceso es no lineal y usualmente es describe como se realiza la búsqueda pero no habla de los
necesario regresar a pasos anteriores a medida que el estudios seleccionados. La sección de resultados es usada
entendimiento del problema de investigación incrementa [5]. para describir cuántos y cuáles fueron los estudios
En la revisión realizada por Carver et al [6], se encontró seleccionados, así como también extraer información
que los aspectos más difíciles de una SLR son la selección

© The author; licensee Universidad Nacional de Colombia.


DYNA 82 (189), pp. 9-12. February, 2014 Medellín. ISSN 0012-7353 Printed, ISSN 2346-2183 Online
http://dx.doi.org/10.15446/dyna.v82n189.48931
Velásquez / DYNA 82 (189), pp. 9-12. February, 2014. 

importante del grupo de estudios como un todo. En la posture and scientific evidence.
sección de discusión se resuelven todas y cada una de las Así como también en la ref. [11]:
preguntas de investigación planteadas en el estudio.
In this article, we report on a systematic review of
2 Selección del Tema empirical studies of knowledge management in software
engineering. Our goal is to provide an overview of
empirical studies within this field, what kinds of concepts
Se pueden usar varias fuentes para seleccionar el tema de have been explored, what the main findings are, and what
investigación abordado en la revisión: opinión experta, research methods are used.
conclusiones presentada en revisiones de literatura previas,
Pero la justificación anterior no aplica para todos los
y conocimiento personal, entre otros. En cualquier caso, una
casos, tal que en la literatura se presentan otras razones para
búsqueda superficial es usualmente realizada con el objetivo
justificar el realizar una revisión de literatura. A
de obtener un estimado de la cantidad de estudios
continuación se presentan varios casos.
potenciales en el área o para refinar el tópico de
investigación [5]. Un peligro mayor en la selección del tema
es una gran cantidad de estudios; una revisión de literatura  Para resumir y organizar de alguna forma un
crítica y profunda puede ser únicamente posible cuando el volumen extenso y disperso de literatura [12]:
número de estudios es limitado; una revisión de 200 o 300 The aim of this paper is to help to identify,
estudios primarios pueden tomar varios meses de lectura y classify and characterize the somewhat
toma de notas. En estos casos, el investigador debe confusing diversity of approaches that have
been found in the technical literature on the
reflexionar sobre el alcance de la revisión con el ánimo de
subject.
focalizar el trabajo en un objetivo más estrecho y específico.
 Para proporcionar una guía selectiva e
3 Justificación de la Necesidad de Revisión iluminadora de un volumen vasto de literatura
que es imposible de analizar en su totalidad [13]:
Dependiendo de la madurez del campo y el volumen de This paper provides a selective guide to the
trabajos publicados, diferentes tipos de revisiones pueden literature on time series forecasting, covering
ser requeridos: los estudios de mapeo son adecuados por the period 1982–2005 and summarizing over
nuevos campos de investigación con rápido desarrollo y 940 papers including about 340 papers
literatura dispersa; las revisiones de literatura son published under the IIF. The proportion of
apropiadas para campos con un volumen importante de papers that concern time series forecasting has
been fairly stable over time. We also review
investigación primaria y en los que no existen revisiones o key papers and books published elsewhere
las existentes son obsoletas. Los estudios terciarios (revisión that have been highly influential to various
de literatura de revisiones de literatura) son necesarios developments in the field. The works
cando hay un número importante de revisiones de literatura referenced comprise 380 journal papers and
y la madurez del campo es alta [9]. 20 books and monographs
La justificación de la revisión implica que no hay Otro ejemplo de este tipo es presentado en [14]:
revisiones de literatura recientes que respondan las
preguntas de investigación seleccionadas [1], de tal forma Despite the growing body of literature on
S&OP, efforts to synthesise the overall state
que la primera tarea antes de realizar una SLR es determinar of the art of research in this area are limited.
si ya existen revisiones de literatura sobre el tópico de As an attempt to fill this gap, this paper aims
interés. En la justificación de la revisión que se está to go beyond the highly dispersed work on
realizando se deben discutir los hallazgos, limitaciones y S&OP by providing a systematic review of
conclusiones de las revisiones de literatura previas [9]. the literature and key findings on the topic.
En la práctica, varias razones son usadas comúnmente The purpose of this review is twofold: (i) to
gather and integrate findings on S&OP as a
para justificar la necesidad de una revisión de literatura, business process and (ii) to assemble
pero en general [1]: quantitative evidence of its impact on the
The need for a systematic review arises from the performance of the firm.
requirement of researchers to summarise all existing  Para resumir los principales hallazgos cuando
information about some phenomenon in a thorough and
unbiased manner.
la investigación ha sido realizada por largo
tiempo y las contribuciones tempranas parecen
En la ref. [10], un ejemplo de la justificación anterior es haberse olvidado [15]:
presentado:
One of the objectives of this review and
The main aim of this work is to show which bibliography is to point out some of these
recommendations exist on optimum and preferred sitting early contributions. … This review is not

10 
Velásquez / DYNA 82 (189), pp. 9-12. February, 2014. 

intended to be a critical review of the field, lectura de estudios de investigación primaria; las preguntas de
but rather a catalog of research, focusing on investigación en estudios primarios son llamadas preguntas de
early papers, seminal papers, contributions investigación empíricas y usualmente resultan como un juicio
from other disciplines, and forecasting theory
and applications personal informado sobre lo que no es conocido; pero, las
preguntas de investigación también pueden ser el resultado de
Otro caso similar es presentado en [16]: una revisión de la literatura previa. En este trabajo se
The primary purpose of this work is to outline adaptaron las preguntas de investigación sugeridas en [1] y [2]
the critical and highly-cited literature for a un contexto más general para que puedan ser empleadas en
high-speed flow research, going back over a ingeniería, y también se adaptaron otras preguntas que
century in time. aparecen en estudios de revisión sistemática de literatura,
 Para resumir la investigación realizada en como por ejemplo las que aparecen en las referencias
campos de investigación que tiene un desarrollo [17][20][21]. En las preguntas que se presentan a
rápido y se están expandiendo constantemente, continuación, se usa la letra X para indicar metodología,
tal que las revisiones previas se hacen obsoletas proceso o tecnología, y la letra P para indicar problema. Las
rápidamente [17]: siguientes preguntas de investigación son típicas en las
revisiones sistemáticas de literatura:
Therefore, we believe that a new and
systematic survey is useful for consolidating
the most recent research efforts on this area.  ¿Cuáles son l@s X actualmente aplicad@s P?
 ¿Cuáles son las relaciones/categorías entre l@s
 Para analizar el impacto de un trabajo particular X aplicados a P?
en el cuerpo de literatura [18]:  ¿Cuáles son los efectos de X en la práctica
This paper therefore aims to systematically actual?
review the citations to Naylor et al. (1999)  ¿Cuáles son los beneficios/limitaciones de X?
and to determine the extent to which the 1999  ¿Cuál es la confiabilidad/rendimiento/costo de
paper has informed further research.
aplicar X?
En otros casos simplemente se asume que la revisión es  ¿Cuáles son las barreras para usar X?
necesaria y no se presenta una justificación explicita para su  ¿Cuáles son las tendencias recientes en l@s X
realización. Una justificación muy importante es la usadas para resolver P?
necesidad de identificar vacíos de investigación con el fin  ¿Cuáles son las razones que explican las
de proponer nuevas áreas de desarrollo o nuevos proyectos tendencias recientes para resolver P?
de investigación [1][2][3]; sin embargo, parece ser que esta  ¿Cuáles son/no son las causas de P?
cuestión está más relacionada con las conclusiones de las  ¿Cuales son los principales conceptos que están
revisiones más que con su justificación: un vacío de siendo investigados?
investigación resulta cuando la evidencia encontrada para  ¿Cuáles son los mayores hallazgos recientes
responder una pregunta de investigación es inconclusiva o sobre P?
contradictora [2].  ¿Cuáles son los métodos de investigación que
han sido usados en P?
4 Formulación de las Preguntas de Investigación
 ¿Cuáles son las características de P?
 ¿Cuáles son los desafíos que han sido
Una de las principales falencias en las revisiones de
identificados?
literatura es la falta de una declaración explicita de las
 ¿Cuáles son los principales objetivos de
preguntas de investigación sobre las que se desea indagar.
investigación?
Una formulación adecuada de las preguntas de investigación
facilita la revisión de los pares evaluadores y por tanto
Para los mapeos sistemáticos, son comunes las siguientes
contribuye a la aceptación del manuscrito. Si bien la
preguntas (véase por ejemplo [20][22]):
caracterización presentada aquí no es exhaustiva, espero que
 ¿Qué tan fácil es encontrar artículos relevantes?
ella sirva como guía para que nuestros autores formulen sus
 ¿Cuáles son los artículos más citados en el
propias preguntas de investigación.
área?
Una pregunta de investigación es una pregunta, casual o  ¿Cuáles son los artículos recientes más
descriptiva, de interés para la comunidad científica y/o importantes (usualmente los más citados en los
profesional que permite focalizar la investigación en un tema o últimos años)?
fenómeno específico y concreto. Tal como es enfatizado en  ¿Cuáles revisiones de literatura han sido
[19], las preguntas de investigación en una revisión de publicadas?
literatura pueden ser únicamente respondidas mediante la  ¿Cuáles son las revistas y conferencias más

11 
Velásquez / DYNA 82 (189), pp. 9-12. February, 2014. 

importantes en el área? [9] Pautasso, M. Ten simple rules for writing a literature review, PLoS
Computational Biology, 9 (7), pp. 1-4, 2013.
 ¿Quiénes son los autores más citados en el http://dx.doi.org/10.1371/journal.pcbi.1003149
área? [10] Schmidt, S., Amereller, M., Franz, M., Kaiser, R. and Schwirtz. A.,
 ¿Cuáles son los principales temas de A literature review on optimum and preferred joint angles
inautomotive sitting posture, Applied Ergonomics, 45 (2). Part B.
investigación? pp. 247-260.
Las siguientes preguntas de investigación fueron usadas [11] Bjornson, F.O. and Dingsor, T., Knowledge management in software
en estudios terciarios [23][24]: engineering: A systematic review of studied concepts, findings and
research methods used, Information and Software Technology, 50
 ¿Cuántas revisiones de literatura fueron (11), pp. 1055-1068, 2008.
publicadas? http://dx.doi.org/10.1016/j.infsof.2008.03.006
 ¿Cuáles temas de investigación han sido [12] Ventosa, M., Baíllo, A., Ramos, A. and Rivier, M., Electricity
market modeling trends, Energy Policy, 33 (7), pp. 897-913. 2005.
considerados? http://dx.doi.org/10.1016/j.enpol.2003.10.013
 ¿Quién (persona, organización) lidera la [13] De Gooijer, J.G. and Hydman, R.J., 25 years of time series
investigación en revisiones de literatura? forecasting, International Journal of Forecasting, 22, pp. 443-473,
2006. http://dx.doi.org/10.1016/j.ijforecast.2006.01.001
 ¿Se ha mejorado la calidad de las revisiones de [14] Thomé, A.M.T., Scavarda, L.F., Fernandez, N.S. and Scavarda, A.J.,
literatura? Sales and operations planning: A research synthesis, International
Journal of Production Economics, 138 (1), pp. 1-13, 2012.
 ¿Cuáles son las limitaciones de la investigación
http://dx.doi.org/10.1016/j.ijpe.2011.11.027
actual? [15] Clement, R.T., Combining forecasts: A review and annotated
bibliography, International Journal of Forecasting, 5, pp. 559-583,
1989. http://dx.doi.org/10.1016/0169-2070(89)90012-5
En todos los casos, cada pregunta de investigación es [16] Kostoff, R.N. and Cummings, R.M., Highly cited literature of high-
speed compressible flow research, Aerospace Science and
acompañada de una motivación que explica su significado Technology, 26 (1,) pp. 216-234, 2013.
[25][26]. El número apropiado de preguntas de http://dx.doi.org/10.1016/j.ast.2012.04.006
[17] Chai, J., Liu, J.N.K. and Ngai, E.W.T., Application of decision-
investigación depende de las particularidades de cada making techniques in supplier selection: A systematic review of
estudio, y hay estudios con una sola pregunta de literatura, Expert Systems with Applications, 40 (10), pp. 3872-
investigación [27]. 3885, 2013. http://dx.doi.org/10.1016/j.eswa.2012.12.040
[18] Naim, M.M. and Grosling, J., On leanness, agility and leagile supply
chains, International Journal of Production Economics, 131 (1), pp.
342-354, 2011. http://dx.doi.org/10.1016/j.ijpe.2010.04.045
[19] Randolph, J.J., A guide to writing the dissertation literature review,
Practical Assessment, Research & Evaluation, 4 (13), pp. 1-13, 2009.
Juan D. Velásquez, MSc, PhD [20] Yuan, H. and Shen, L., Trend of the research on construction and
Profesor Titular demolition waste management, Waste Management, 31 (4), pp. 670-
679, 2011. http://dx.doi.org/10.1016/j.wasman.2010.10.030
Universidad Nacional de Colombia
[21] Abelein, U. and Paech, B., Understanding the influence of user
E-mail: jdvelasq@unal.edu.co
participation and involvement on system success – A systematic
http://orcid.org/0000-0003-3043-3037 mapping study, Empirical Software Engineering, pp. 1-54. 2013.
[22] Irani, Z., Gunasekaran, A. and Dwivedi, Y.K., Radio frequency
Referencias identification (RFID): Research trends and framework, International
Journal of Production Research, 48 (9), pp. 2485-2511, 2010.
http://dx.doi.org/10.1080/00207540903564900
[1] Kitchenham, B.A. and Charters, S., Guidelines for performing
[23] Kitchenham, B., Brereton, O.P., Budgen, D., Turner, M., Bailey, J.
systematic literature reviews in software engineering. Technical
and Linkman, S., Systematic literature reviews in software
Report EBSE-2007-01, 2007.
engineering – A systematic literature review. Information and
[2] Sorrell, S., Improving the evidence base for energy policy: The role
Software Technology, 51 (1), pp. 7-15, 2009.
of systematic reviews, Energy Policy, 35 (3), pp. 1858-1871, 2007.
http://dx.doi.org/10.1016/j.infsof.2008.09.009
http://dx.doi.org/10.1016/j.enpol.2006.06.008
[24] Kitchenham, B., Pretorius, R., Budgen, D., Brereton, O.P., Turner,
[3] Tranfield, D., Denyer, D. and Smart P., Towards a methodology for
M., Niazi, M. and Linkman, S. Systematic literature reviews in
developing evidence-informed management knowledge by means of
software engineering – A tertiary study, Information and Software
systematic review, British Journal of Management, 14, pp. 207-222,
Technology, 52 (8), pp. 792-805, 2010.
2003. http://dx.doi.org/10.1111/1467-8551.00375
http://dx.doi.org/10.1016/j.infsof.2010.03.006
[4] Kitchenham, B., Procedures for performing systematic reviews,
[25] Khurum, M. and Gorschek, T., A systematic review of domain
Keele University Technical Report TR/SE-0401. 2004.
analysis solutions for product lines, The Journal of Systems and
[5] Bolderston, A., Writing an effective literature review, Journal of
Software, 82 (12), pp. 1982-2003, 2009.
Medical Imaging and Radiation Sciences, 39 (2), pp. 86-92, 2008.
http://dx.doi.org/10.1016/j.jss.2009.06.048
http://dx.doi.org/10.1016/j.jmir.2008.04.009
[26] Williams, B.J. and Carver, J.C., Characterizing software architecture
[6] Carver, J.C., Hassler, E., Hernandes, E. and Kraft, N.A., Identifying
changes: A systematic review, Information and Software
barriers to the systematic literature review process. Proceedings of
Technology, 52, (1), pp. 31-51, 2010.
the 2013 ACM / IEEE International Symposium on Empirical
http://dx.doi.org/10.1016/j.infsof.2009.07.002
Knowledge Engineering and Measurement. pp. 203-213. 2013.
[27] Prikladnicki, R. and Audy, J.L.N., Process models in the practice of
[7] Murphy, C.M., Writing an effective review article, Journal of
distributed software development: A systematic review of the
Medical Toxicology, 8 (2), pp. 89-90, 2012.
literature, Information and Software Technology, 52 (8), pp. 779-
http://dx.doi.org/10.1007/s13181-012-0234-2
791, 2010. http://dx.doi.org/10.1016/j.infsof.2010.03.009
[8] Webster, J. and Watson, R.T., Editorial. Analyzing the past to
prepare for the future: Writing a literature review, MIS Quarterly, 26
(2), pp. xiii-xxiii, 2002.

12 
 
Editorial
Una Guía Corta para Escribir Revisiones Sistemáticas de Literatura
Parte 4
Esta es la última editorial de la serie dedicada al proceso es la selección adecuada de palabras clave, términos
de Revisión Sistemática de Literatura. En ella se aborda el alternativos y posibles sinónimos [4], ya que de estos
proceso de documentación de la búsqueda, la selección de depende cuales documentos serán recuperados
estudios, el análisis de los documentos seleccionados, el automáticamente. En algunos casos, cuando el Inglés no es
análisis de calidad la extracción de información y, la lengua materna, la selección de términos en un área nueva
finalmente, la síntesis de datos que corresponde a la para el investigador puede ser especialmente difícil.
respuesta de las preguntas de investigación a la luz de la Otro aspecto importante es el dominio de la herramienta
información recopilada. Al leer estas cuatro editoriales de búsqueda, y particularmente como estructurar la cadena
como un todo, espero que los autores y lectores de la revista de búsqueda para poder obtener el plural de los términos,
DYNA obtengan una visión global de la metodología que facilite
considerar palabras cercanas, usar comodines y poder
el proceso de revisión de literatura y su posterior publicación.
buscar frases exactas.
1 Documentación del Proceso de Búsqueda
De acuerdo con [5], dos métricas pueden ser usadas para
analizar la estrategia automática de búsqueda: la precisión,
Una de las principales características de la revisión definida como el número de estudios relevantes recuperados
sistemática es que el proceso de búsqueda es repetible y sus sobre el total de estudios recuperados; y la sensibilidad, que
resultados son auditables. Por ello, es requerido que se es el número de estudios relevantes recuperados sobre el
documente el proceso de búsqueda reportando la siguiente total de estudios relevantes existentes. Una estrategia
información en el documento final [1][2]: óptima de búsqueda tiene usualmente una precisión entre el
 Bases bibliográficas, libros, bibliografías y contactos 20% y el 30% y una sensibilidad entre el 80% y el 99% [5].
usados. Esto significa que para un total de cien estudios finalmente
seleccionados, el investigador tuvo que revisar, al menos,
 Palabras clave y cadenas de búsqueda.
entre 400 y 500 estudios recuperados automáticamente; esto
 Periodo cubierto en la revisión.
significa también, que cuando la búsqueda no esta bien
Hay diferentes opciones disponibles al seleccionar la
estructura, se deben analizar mucho más de 500 estudios
libraría digital dependiendo del área de conocimiento y es
para seleccionar los mismos 100 estudios.
por ello que la selección debe realizarse con sumo cuidado;
Una de las herramientas preferidas para realizar la
por ejemplo, en el caso de energía, electrónica y
búsqueda es Scopus (www.scopus.com) porque incluye más
comunicaciones resulta obligatorio consultar la librería
de 219.000 títulos de aproximadamente 5.000 editoriales
digital IEEE Xplorer; no obstante, otras selecciones
científicas, incluyendo las mayores editoriales en el mundo,
comunes incluyen: ScienceDirect, SpringerLink, Wiley
tales como IEEE, Elsevier, Emerald, Springer y Wiley;
online library, Emerald, ACM, Kluwer, JStor e ISI Web of
adicionalmente, Scopus tiene un importante conjunto de
Science. En adición, Google Scholar, Pubmed, Ebsco,
herramientas para el análisis de literatura. Algunos consejos
Academic Search Premier, World Scientific Net, Scopus,
para crear búsquedas útiles en Scopus son los siguientes:
Compendex e Inspec también pueden ser de utilidad,
 Se pueden usar los operadores booleanos AND, OR y
dependiendo del tema particular que se este abordando.
AND NOT en la cadena de búsqueda.
En algunas ocasiones los investigadores restringen la
búsqueda a las revistas más representativas del área, tal como  La expresión w1 W/n w2 indica que los términos w1 y
en [3]; sin embargo, debe recalcarse que no deben olvidarse las w2 no pueden estar separados por más de n términos.
bibliotecas tradicionales localizadas en universidades y centros  La expresión w1 PRE/n w2 especifica que el término w1
de investigación, ya que ellas pueden contener documentos precede el término w2 por no más de n términos.
muy importantes para el proceso de revisión.  El asterisco es un comodín; por ejemplo, la cadena forecast*
Otro aspecto fundamental en la búsqueda de documentos encuentra las palabras forecasts, forecasting y forecasted.

© The author; licensee Universidad Nacional de Colombia.


DYNA 82 (190), pp. 9-12. April, 2015 Medellín. ISSN 0012-7353 Printed, ISSN 2346-2183 Online
DOI: http://dx.doi.org/10.15446/dyna.v82n190.49511
Velásquez / DYNA 82 (190), pp. 9-12. April, 2015. 

 Sólo es necesario utilizar el singular de una palabra keywords((engineer* OR developer* OR


ya que el plural y el posesivo son automáticamente professional* OR programmer* OR personnel OR
considerados. people OR analyst* OR team leader* OR project
manager* OR practitioner* OR maintainer* OR
 Use las llaves (“{” y “}”) para indicar frases exactas. designer* OR coder* OR tester*) AND
 Use las comillas dobles para indicar búsqueda characteristic* OR types OR personality OR human
aproximada. En este caso se puede usar el ‘*’ como factors OR different OR difference* OR
comodín. psychology OR psychological factors OR
En Scopus también es posible ejecutar varias búsquedas motivator* OR prefer* OR behavio*r*)
y luego combinarlas usando los operadores lógicos OR,
AND y AND NOT. Adicionalmente, Scopus presenta 2 Selección de los Estudios
opciones para excluir o limitar la búsqueda por autores,
años, instituciones, áreas temáticas, tipos de documento, Es el proceso de selección de los estudios que serán
palabras clave, afiliaciones, etc. También es posible utilizados finalmente en la revisión. Cuando la búsqueda es
exportar información bibliográfica a administradores de ejecutada usando las cadenas de búsquedas diseñadas en el
referencias. Recientemente, Elsevier incorporó el paso anterior, una gran cantidad de documentos es
administrador bibliográfico Mendeley a ScienceDirect tal recuperada automáticamente, pero únicamente unos pocos
que es posible importar directamente a Mendeley documentos serán relevantes para la revisión. Una búsqueda
documentos en formato pdf e información bibliográfica. bien diseñada permite recuperar la literatura más relevante
En el caso de la librería digital IEEE Xplorer, algunos relacionada con el área de investigación; pero también
consejos para realizar búsquedas avanzadas son los muchos documentos irrelevantes o por fuera del foco del
siguientes: estudio; de esta forma, es obligatorio el realizar una
 Se pueden usar los operadores booleanos AND, OR depuración manual de los documentos recuperados
y NOT en la cadena de búsqueda. automáticamente.
 Los signos de puntuación son ignorados en las De esta forma, cuando el protocolo de investigación es
cadenas de búsqueda. escrito, se deben definir dos listas en la sección donde se
 Sólo es necesario utilizar el singular de una palabra describe el protocolo de selección, una para los criterios de
ya que el plural y el posesivo son automáticamente inclusión y otra para los criterios de exclusión [1][2]. La
considerados. También se consideran claridad es obligatoria en la definición de los criterios para
automáticamente las palabras en inglés americano e que el proceso pueda ser auditado o reproducido [7]. Los
inglés británico. documentos son comúnmente descartados mediante la
lectura de sus títulos, resúmenes o conclusiones [7]; pero en
 Las comillas dobles se usan para indicar frases
caso de duda, se requiere una lectura más profunda. Es muy
exactas.
común que se realice la exclusión basándose en el idioma
 El ‘*’ es usado como comodín.
del documento o cuando los documentos son opiniones,
Frecuentemente, el uso de librerías digitales y bases de
puntos de vista o anécdotas [6]. El filtrado manual de los
datos no es suficiente para localizar la literatura más
documentos es realizado por la aplicación de los criterios de
relevante y se hace necesario consultar en las librerías de
inclusión y exclusión con el fin de poder determinar cuales
las universidades y centros de investigación en busca de
serán los documentos finalmente usados en la revisión [1][2].
libros, reportes de investigación, tesis de maestría,
Cuando hay documentos traslapados en su contenido o
disertaciones de doctorado y cualquier otro tipo de literatura
duplicados, se debe seleccionar únicamente el más completo
que pueda ser útil en su investigación. Se deben utilizar las
de ellos y el resto de documentos debe ser descartado; véase
referencias relevantes ya localizadas para poder extender la
por ejemplo [8]. Los directores de tesis, compañeros, expertos
lista de palabras clave y refinar la cadena de búsqueda.
y contactos son una fuente muy valiosa para determinar si se
Cuando el reporte es escrito, es común presentar la cadena
han omitido documentos importantes [7].
de búsqueda que fue usada en la librerías digitales con el fin
Otro aspecto muy importante es el uso apropiado de
de hacer la búsqueda reproducible, verificable y explícita y
herramientas de software para el manejo de las referencias
para poder actualizarla después [4]. Por ejemplo, en [6] se
[9][4], tales como Zotero, Mendeley, Papers, Sente, Qiqqa,
reporta el proceso de búsqueda de la siguiente forma:
EndNote, Reference Manaer o ProCite, ya que el número
Our five research questions contain the following key
words: final de documentos puede ser muy grande. Algunos
“Software Engineer, Software Engineering, Motivation, gestores de referencias bibliográficas como Papers o
De-Motivation, Productive, Characteristics, outcome, Mendeley, permiten que el usuario pueda administrar los
Model”. A list of synonyms was constructed for each of documentos, agregar notas y resaltar o subrayar textos
these words, as in the example for research question 1 directamente en los documentos.
which contains keywords ‘Software Engineer’ and
‘Characteristics’:

10 
Velásquez / DYNA 82 (190), pp. 9-12. April, 2015. 

3 Análisis de los Documentos Seleccionados Tabla 1.


Tablas comúnmente usadas para analizar los documentos seleccionados en
revisiones sistemáticas de literatura y mapeos sistemáticos
En la sección de resultados de los informes de SLR, se
Tabla Columnas Típicas
describe el proceso de recuperación de documentos y se Número de documentos Librería Digital
analizan los documentos finalmente seleccionados como un seleccionados por libreria Número Total de Documentos
todo; en esta sección del reporte y para el caso de las digital Número de Documentos Incluidos
Numero de Documentos Excluidos
revisiones sistemáticas de literatura, muchas de las
preguntas de investigación comúnmente usadas en los Estudios Seleccionados Autores
estudios de mapeo sistemático son indirectamente Librería Digital
respondidas; esto es, las preguntas como tal no son Título
Año
formuladas pero si se reporta el resultado de su análisis. En Fuente
la Tabla I se describen los tipos comunes de tablas usada Número de Citaciones
para analizar los documentos, así como también las Tipo de Documento
Tipo de Estudio
columnas típicas de dichas tablas. Tema del Estudio
Para mediar la contribución de un autor, es posible Objetivo del Estudio
calcular el puntaje S que depende del número de autores del Método de Investigación
[Otras columnas…]
estudio (n) y de la posición ordinal (i) del nombre del autor
en la lista de autores del documento analizado, tal como se Número de Artículos Nombre de la Revista
muestra en [10]: Publicados por Revista Numero de Artículos
Porcentaje (%)

1.5 Número de Artículos Editorial


∑ 1.5 Publicados por Editorial Número de Artículos
Porcentaje (%)

Tenga en cuenta que un puntaje de 1,0 es obtenido Artículos más Citados Autores
cuando el documento tiene un solo autor; se obtienen Año
Fuente
puntajes de 0,60 (primer autor) y de 0,40 (segundo autor) Número de Citaciones
cuando el documento tiene dos autores, y así sucesivamente.
También se pueden usar otros indicadores bibliométricos Número de Artículos por Autor
Autor Filiación
para analizar la literatura, tal como el factor de impacto o el Número de Citas por Autor
índice de colaboración. Numero de Artículos
La mayoría de artículos reportando resultados de SLR, Puntaje S
indican el número de artículos recuperados Número de Artículos por País País
automáticamente, seleccionados usando los criterios de Número de Filiaciones Diferentes
inclusión, descartados usando los criterios de exclusión, y Número de Autores
Número de Artículos
finalmente seleccionados usando el análisis de calidad; Porcentaje de Artículos (%)
véase por ejemplo [11]. Puntaje Total S por País

4 Realización del Análisis de Calidad Número de artículos por Continente


Continente Número de Filiaciones Diferentes
Número de Autores
Los resultados del análisis de calidad de los estudios Número de Artículos
seleccionados pueden ser usados como [1][2]: Porcentaje de Artículos (%)
Puntaje Total S por Continente
 Un indicador de la calidad para determinar cómo ha
progresado el campo de investigación; este es un Número de Artículos Año
indicador de la madurez de la investigación. Publicados por Año Número de Artículos
Porcentaje de Artículos (%)
 Un criterio para determinar que estudios deben ser Porcentaje Acumulado (%)
excluídos cuando no cumplen con un nivel mínimo de
calidad. Nota: Algunas de estas tablas pueden ser presentadas alternativamente
 Un criterio para medir la importancia que debe tener como gráficas.

cada estudio en la respuesta de las preguntas de


investigación. El análisis de calidad es dependiente de los objetivos de
la revisión seleccionada. Las Tablas 5 y 6 de la ref. [1]
 Un mecanismo para explicar la diferencia entre los
contienen una recopilación de preguntas usadas en el
resultados de estudios similares.
análisis de calidad de diferentes estudios.
 Un criterio para sugerir nueva investigación.
Una forma de realizar el análisis de la calidad es
considerar en que proporción cada estudio seleccionado

11 
Velásquez / DYNA 82 (190), pp. 9-12. April, 2015. 

permite responder las preguntas de investigación [3]; Referencias


comúnmente se usa una escala nominal: Y (si), N (no) y P
(parcialmente). Para obtener un puntaje final para cada [1] Kitchenham, B.A. and Charters, S., Guidelines for performing
estudio, se asignan valores a la escala nominal, por ejemplo, systematic literature reviews in software engineering. Technical
Report EBSE-2007-01, 2007.
se asigna 1,0 a Y, 0,5 a P y 0,0 a N, y luego se suman los [2] S. Sorrell, Improving the evidence base for energy policy: The role
puntos asignados a cada estudio. Los resultados de la of systematic reviews, Energy Policy, 35 (3), pp. 1858-1871, 2007.
evaluación de la calidad son comúnmente presentados en http://dx.doi.org/10.1016/j.enpol.2006.06.008
[3] Kitchenham, B., Brereton, O.P., Budgen, D., Turner, M., Bailey, J.
forma de una tabla detallada. and Linkman, S., Systematic literature reviews in software
engineering – A systematic literature review, Information and
5 Extracción de los Datos Software Technology, 51 (1), pp. 7-15, 2009.
http://dx.doi.org/10.1016/j.infsof.2008.09.009
[4] Bolderston, A.,Writing an Effective Literature Review, Journal of
La información para responder las preguntas de Medical Imaging and Radiation Sciences, 39 (2), pp. 86-92, 2008.
investigación y realizar la evaluación de la calidad es http://dx.doi.org/10.1016/j.jmir.2008.04.009
recolectada en forma de tablas o cualquier otro tipo de [5] Zhang, H., Babar, M.A. and Tell, P., Identifying relevant studies in
software engineering, Information and Software Technology, 53 (6),
sistema de toma de notas [1][7]. Las tablas son diseñadas en pp. 625-637, 2011. http://dx.doi.org/10.1016/j.infsof.2010.12.010
una manera consistente con las preguntas de investigación y [6] Beecham, S., Baddoo, N., Hall, T., Robinson, H. and Sharp, H.,
permiten enfatizar las similitudes y diferencias entre los Motivation in software engineering: A systematic literature review,
estudios [1]. Information and Software Technology, 50 (9-10), pp. 860-878,
2008. http://dx.doi.org/10.1016/j.infsof.2007.09.004
Cuando un gestor de referencias como Mendeley o Paper [7] Randolph, J.J., A guide to writing the dissertation literature review,
es usado, es posible resaltar texto con diferentes colores, Practical Assessment, Research & Evaluation, 4 (13), pp. 1-13,
subrayar y agregar anotaciones y comentarios en los 2009.
[8] Khurum, M. and Gorschek, T., A systematic review of domain
documentos con el fin de facilitar la extracción de datos y su analysis solutions for product lines, The Journal of Systems and
posterior revisión. Una selección común es usar diferentes Software, 82 (12) pp. 1982-2003, 2009.
colores para marcar las partes donde cada respuesta a una http://dx.doi.org/10.1016/j.jss.2009.06.048
[9] Pautasso, M., Ten simple rules for writing a literature review, PLoS
pregunta de investigación específica aparece en el Computational Biology, 9 (7), pp. 1-4, 2013.
documento. http://dx.doi.org/10.1371/journal.pcbi.1003149
[10] Yuan, H. and Shen, L., Trend of the research on construction and
demolition waste management, Waste Management, 31 (4), pp. 670-
6 Síntesis de los Datos
679, 2011. http://dx.doi.org/10.1016/j.wasman.2010.10.030
[11] Hauge, Ø., Ayala, C. and Conradi, R., Adoption of open source
En este paso [2], las preguntas de investigación son software in software-intensive organizations – A systematic
respondidas usando la información recolectada. Cuando los literature review, Information and Software Technology, 52 (11), pp.
1133-1154, 2010. http://dx.doi.org/10.1016/j.infsof.2010.05.008
estudios primarios son cuantitativos, la síntesis puede ser [12] Webster, J. and Watson, R.T., Editorial. Analyzing the past to
realizada usando técnicas estadísticas, tales como el meta- prepare for the future: Writing a literature review, MIS Quarterly, 26
análisis; pero cuando los estudios son cualitativos, la (2), pp. xiii-xxiii, 2002.
síntesis es narrativa (descriptiva) resumiendo los principales
hechos. En la síntesis descriptiva, es usual preparar tablas y
gráficos que resuman la información relevante respecto a la
pregunta o preguntas de investigación consideradas. Dos
aproximaciones pueden ser usadas para responder estudios
cualitativos [12]: centradas en los conceptos o centradas en
los autores.

Juan D. Velásquez, MSc, PhD


Profesor Titular
Universidad Nacional de Colombia
E-mail: jdvelasq@unal.edu.co
http://orcid.org/0000-0003-3043-3037

12