You are on page 1of 4

Editorial

Una Gua Corta para Escribir Revisiones Sistemticas de Literatura


Parte 3
En esta editorial se discuten: el proceso de revisin de los estudios, la extraccin de datos y la evaluacin de la
sistemtica de literatura (SLR) y el mtodo de seleccin del calidad; sin embargo, esto no quiere decir que los dems
tema. Adicionalmente, se presentan y ejemplifican las aspectos son fciles, especialmente para estudiantes de
razones para realizar revisiones de literatura, y se postgrado novatos [6].
caracterizan los tipos de preguntas comnmente usados en Los resultados pueden ser reportados en conferencias,
una revisin sistemtica de literatura. Desde lo prctico, la pginas Web, como artculos en revistas, o como captulos
justificacin de la necesidad de revisin y la formulacin de de tesis de maestra o disertaciones de doctorado [1]. Un
las preguntas de investigacin parecen ser tpicos bastante reporte tpico est dividido en las siguientes partes [1]:
complejos para muchos autores. Espero que la sntesis y los
ejemplos presentados sirvan de orientacin para nuestros Introduccin.
autores para escribir mejores revisiones de literatura. * Justificacin de la revisin.
* Formulacin de las preguntas de
1 El Proceso de Revisin Sistemtica investigacin.
Definiciones y conceptos bsicos (opcional).
El proceso de revisin propuesto en [1] que es muy Descripcin del protocolo de investigacin.
similar a los presentados en [2] y [3]est dividido en las Proceso de bsqueda de documentos.
siguientes fases: * Proceso de seleccin de documentos.
* Proceso de evaluacin de la calidad.
Paso 1. Planeamiento * Proceso de extraccin de datos.
* Justificacin de la revisin. Resultados
* Formulacin de las preguntas de * Resultados del proceso de bsqueda.
investigacin. * Resultados del proceso de seleccin.
* Diseo del protocolo de bsqueda. * Resultados de la evaluacin de la
Paso 2. Ejecucin. calidad.
* Bsqueda de documentos. * Anlisis de los estudios seleccionados
* Seleccin de documentos. como un todo.
* Evaluacin de la calidad. Discusin (respuesta a cada una de las
* Extraccin de datos. preguntas de investigacin).
* Sntesis de datos. Conclusiones.
Paso 3. Reporte
Una introduccin tpica motiva la revisin, presenta las
El diseo del protocolo de investigacin corresponde a la preguntas de investigacin y las justifica [7]. La seccin de
creacin de un documento donde la justificacin de la definiciones y conceptos bsicos puede ser usada para [8]:
revisin, las preguntas de investigacin y su motivacin, y el describir conceptos claves, discutir revisiones de literatura
proceso de ejecucin es descrito; el diseo es realizado y previas al estudio actual, presentar explicaciones tericas,
revisado antes de la ejecucin [4][2][5]. La sntesis de los discutir hallazgos pasados, o presentar ejemplos, entre otros.
datos es el proceso de responder las preguntas de La seccin del descripcin del protocolo de investigacin
investigacin. Todo el proceso es no lineal y usualmente es describe como se realiza la bsqueda pero no habla de los
necesario regresar a pasos anteriores a medida que el estudios seleccionados. La seccin de resultados es usada
entendimiento del problema de investigacin incrementa [5]. para describir cuntos y cules fueron los estudios
En la revisin realizada por Carver et al [6], se encontr seleccionados, as como tambin extraer informacin
que los aspectos ms difciles de una SLR son la seleccin

The author; licensee Universidad Nacional de Colombia.


DYNA 82 (189), pp. 9-12. February, 2014 Medelln. ISSN 0012-7353 Printed, ISSN 2346-2183 Online
http://dx.doi.org/10.15446/dyna.v82n189.48931
Velsquez /DYNA82 (189), pp. 9-12. February, 2014.

importante del grupo de estudios como un todo. En la posture and scientific evidence.
seccin de discusin se resuelven todas y cada una de las As como tambin en la ref. [11]:
preguntas de investigacin planteadas en el estudio.
In this article, we report on a systematic review of
2 Seleccin del Tema empirical studies of knowledge management in software
engineering. Our goal is to provide an overview of
empirical studies within this field, what kinds of concepts
Se pueden usar varias fuentes para seleccionar el tema de have been explored, what the main findings are, and what
investigacin abordado en la revisin: opinin experta, research methods are used.
conclusiones presentada en revisiones de literatura previas,
Pero la justificacin anterior no aplica para todos los
y conocimiento personal, entre otros. En cualquier caso, una
casos, tal que en la literatura se presentan otras razones para
bsqueda superficial es usualmente realizada con el objetivo
justificar el realizar una revisin de literatura. A
de obtener un estimado de la cantidad de estudios
continuacin se presentan varios casos.
potenciales en el rea o para refinar el tpico de
investigacin [5]. Un peligro mayor en la seleccin del tema
es una gran cantidad de estudios; una revisin de literatura Para resumir y organizar de alguna forma un
crtica y profunda puede ser nicamente posible cuando el volumen extenso y disperso de literatura [12]:
nmero de estudios es limitado; una revisin de 200 o 300 The aim of this paper is to help to identify,
estudios primarios pueden tomar varios meses de lectura y classify and characterize the somewhat
toma de notas. En estos casos, el investigador debe confusing diversity of approaches that have
been found in the technical literature on the
reflexionar sobre el alcance de la revisin con el nimo de
subject.
focalizar el trabajo en un objetivo ms estrecho y especfico.
Para proporcionar una gua selectiva e
3 Justificacin de la Necesidad de Revisin iluminadora de un volumen vasto de literatura
que es imposible de analizar en su totalidad [13]:
Dependiendo de la madurez del campo y el volumen de This paper provides a selective guide to the
trabajos publicados, diferentes tipos de revisiones pueden literature on time series forecasting, covering
ser requeridos: los estudios de mapeo son adecuados por the period 19822005 and summarizing over
nuevos campos de investigacin con rpido desarrollo y 940 papers including about 340 papers
literatura dispersa; las revisiones de literatura son published under the IIF. The proportion of
apropiadas para campos con un volumen importante de papers that concern time series forecasting has
been fairly stable over time. We also review
investigacin primaria y en los que no existen revisiones o key papers and books published elsewhere
las existentes son obsoletas. Los estudios terciarios (revisin that have been highly influential to various
de literatura de revisiones de literatura) son necesarios developments in the field. The works
cando hay un nmero importante de revisiones de literatura referenced comprise 380 journal papers and
y la madurez del campo es alta [9]. 20 books and monographs
La justificacin de la revisin implica que no hay Otro ejemplo de este tipo es presentado en [14]:
revisiones de literatura recientes que respondan las
preguntas de investigacin seleccionadas [1], de tal forma Despite the growing body of literature on
S&OP, efforts to synthesise the overall state
que la primera tarea antes de realizar una SLR es determinar of the art of research in this area are limited.
si ya existen revisiones de literatura sobre el tpico de As an attempt to fill this gap, this paper aims
inters. En la justificacin de la revisin que se est to go beyond the highly dispersed work on
realizando se deben discutir los hallazgos, limitaciones y S&OP by providing a systematic review of
conclusiones de las revisiones de literatura previas [9]. the literature and key findings on the topic.
En la prctica, varias razones son usadas comnmente The purpose of this review is twofold: (i) to
gather and integrate findings on S&OP as a
para justificar la necesidad de una revisin de literatura, business process and (ii) to assemble
pero en general [1]: quantitative evidence of its impact on the
The need for a systematic review arises from the performance of the firm.
requirement of researchers to summarise all existing Para resumir los principales hallazgos cuando
information about some phenomenon in a thorough and
unbiased manner.
la investigacin ha sido realizada por largo
tiempo y las contribuciones tempranas parecen
En la ref. [10], un ejemplo de la justificacin anterior es haberse olvidado [15]:
presentado:
One of the objectives of this review and
The main aim of this work is to show which bibliography is to point out some of these
recommendations exist on optimum and preferred sitting early contributions. This review is not

10
Velsquez /DYNA82 (189), pp. 9-12. February, 2014.

intended to be a critical review of the field, lectura de estudios de investigacin primaria; las preguntas de
but rather a catalog of research, focusing on investigacin en estudios primarios son llamadas preguntas de
early papers, seminal papers, contributions investigacin empricas y usualmente resultan como un juicio
from other disciplines, and forecasting theory
and applications personal informado sobre lo que no es conocido; pero, las
preguntas de investigacin tambin pueden ser el resultado de
Otro caso similar es presentado en [16]: una revisin de la literatura previa. En este trabajo se
The primary purpose of this work is to outline adaptaron las preguntas de investigacin sugeridas en [1] y [2]
the critical and highly-cited literature for a un contexto ms general para que puedan ser empleadas en
high-speed flow research, going back over a ingeniera, y tambin se adaptaron otras preguntas que
century in time. aparecen en estudios de revisin sistemtica de literatura,
Para resumir la investigacin realizada en como por ejemplo las que aparecen en las referencias
campos de investigacin que tiene un desarrollo [17][20][21]. En las preguntas que se presentan a
rpido y se estn expandiendo constantemente, continuacin, se usa la letra X para indicar metodologa,
tal que las revisiones previas se hacen obsoletas proceso o tecnologa, y la letra P para indicar problema. Las
rpidamente [17]: siguientes preguntas de investigacin son tpicas en las
revisiones sistemticas de literatura:
Therefore, we believe that a new and
systematic survey is useful for consolidating
the most recent research efforts on this area. Cules son l@s X actualmente aplicad@s P?
Cules son las relaciones/categoras entre l@s
Para analizar el impacto de un trabajo particular X aplicados a P?
en el cuerpo de literatura [18]: Cules son los efectos de X en la prctica
This paper therefore aims to systematically actual?
review the citations to Naylor et al. (1999) Cules son los beneficios/limitaciones de X?
and to determine the extent to which the 1999 Cul es la confiabilidad/rendimiento/costo de
paper has informed further research.
aplicar X?
En otros casos simplemente se asume que la revisin es Cules son las barreras para usar X?
necesaria y no se presenta una justificacin explicita para su Cules son las tendencias recientes en l@s X
realizacin. Una justificacin muy importante es la usadas para resolver P?
necesidad de identificar vacos de investigacin con el fin Cules son las razones que explican las
de proponer nuevas reas de desarrollo o nuevos proyectos tendencias recientes para resolver P?
de investigacin [1][2][3]; sin embargo, parece ser que esta Cules son/no son las causas de P?
cuestin est ms relacionada con las conclusiones de las Cuales son los principales conceptos que estn
revisiones ms que con su justificacin: un vaco de siendo investigados?
investigacin resulta cuando la evidencia encontrada para Cules son los mayores hallazgos recientes
responder una pregunta de investigacin es inconclusiva o sobre P?
contradictora [2]. Cules son los mtodos de investigacin que
han sido usados en P?
4 Formulacin de las Preguntas de Investigacin
Cules son las caractersticas de P?
Cules son los desafos que han sido
Una de las principales falencias en las revisiones de
identificados?
literatura es la falta de una declaracin explicita de las
Cules son los principales objetivos de
preguntas de investigacin sobre las que se desea indagar.
investigacin?
Una formulacin adecuada de las preguntas de investigacin
facilita la revisin de los pares evaluadores y por tanto
Para los mapeos sistemticos, son comunes las siguientes
contribuye a la aceptacin del manuscrito. Si bien la
preguntas (vase por ejemplo [20][22]):
caracterizacin presentada aqu no es exhaustiva, espero que
Qu tan fcil es encontrar artculos relevantes?
ella sirva como gua para que nuestros autores formulen sus
Cules son los artculos ms citados en el
propias preguntas de investigacin.
rea?
Una pregunta de investigacin es una pregunta, casual o Cules son los artculos recientes ms
descriptiva, de inters para la comunidad cientfica y/o importantes (usualmente los ms citados en los
profesional que permite focalizar la investigacin en un tema o ltimos aos)?
fenmeno especfico y concreto. Tal como es enfatizado en Cules revisiones de literatura han sido
[19], las preguntas de investigacin en una revisin de publicadas?
literatura pueden ser nicamente respondidas mediante la Cules son las revistas y conferencias ms

11
Velsquez /DYNA82 (189), pp. 9-12. February, 2014.

importantes en el rea? [9] Pautasso, M. Ten simple rules for writing a literature review, PLoS
Computational Biology, 9 (7), pp. 1-4, 2013.
Quines son los autores ms citados en el http://dx.doi.org/10.1371/journal.pcbi.1003149
rea? [10] Schmidt, S., Amereller, M., Franz, M., Kaiser, R. and Schwirtz. A.,
Cules son los principales temas de A literature review on optimum and preferred joint angles
inautomotive sitting posture, Applied Ergonomics, 45 (2). Part B.
investigacin? pp. 247-260.
Las siguientes preguntas de investigacin fueron usadas [11] Bjornson, F.O. and Dingsor, T., Knowledge management in software
en estudios terciarios [23][24]: engineering: A systematic review of studied concepts, findings and
research methods used, Information and Software Technology, 50
Cuntas revisiones de literatura fueron (11), pp. 1055-1068, 2008.
publicadas? http://dx.doi.org/10.1016/j.infsof.2008.03.006
Cules temas de investigacin han sido [12] Ventosa, M., Ballo, A., Ramos, A. and Rivier, M., Electricity
market modeling trends, Energy Policy, 33 (7), pp. 897-913. 2005.
considerados? http://dx.doi.org/10.1016/j.enpol.2003.10.013
Quin (persona, organizacin) lidera la [13] De Gooijer, J.G. and Hydman, R.J., 25 years of time series
investigacin en revisiones de literatura? forecasting, International Journal of Forecasting, 22, pp. 443-473,
2006. http://dx.doi.org/10.1016/j.ijforecast.2006.01.001
Se ha mejorado la calidad de las revisiones de [14] Thom, A.M.T., Scavarda, L.F., Fernandez, N.S. and Scavarda, A.J.,
literatura? Sales and operations planning: A research synthesis, International
Journal of Production Economics, 138 (1), pp. 1-13, 2012.
Cules son las limitaciones de la investigacin
http://dx.doi.org/10.1016/j.ijpe.2011.11.027
actual? [15] Clement, R.T., Combining forecasts: A review and annotated
bibliography, International Journal of Forecasting, 5, pp. 559-583,
1989. http://dx.doi.org/10.1016/0169-2070(89)90012-5
En todos los casos, cada pregunta de investigacin es [16] Kostoff, R.N. and Cummings, R.M., Highly cited literature of high-
speed compressible flow research, Aerospace Science and
acompaada de una motivacin que explica su significado Technology, 26 (1,) pp. 216-234, 2013.
[25][26]. El nmero apropiado de preguntas de http://dx.doi.org/10.1016/j.ast.2012.04.006
[17] Chai, J., Liu, J.N.K. and Ngai, E.W.T., Application of decision-
investigacin depende de las particularidades de cada making techniques in supplier selection: A systematic review of
estudio, y hay estudios con una sola pregunta de literatura, Expert Systems with Applications, 40 (10), pp. 3872-
investigacin [27]. 3885, 2013. http://dx.doi.org/10.1016/j.eswa.2012.12.040
[18] Naim, M.M. and Grosling, J., On leanness, agility and leagile supply
chains, International Journal of Production Economics, 131 (1), pp.
342-354, 2011. http://dx.doi.org/10.1016/j.ijpe.2010.04.045
[19] Randolph, J.J., A guide to writing the dissertation literature review,
Practical Assessment, Research & Evaluation, 4 (13), pp. 1-13, 2009.
Juan D. Velsquez, MSc, PhD [20] Yuan, H. and Shen, L., Trend of the research on construction and
Profesor Titular demolition waste management, Waste Management, 31 (4), pp. 670-
679, 2011. http://dx.doi.org/10.1016/j.wasman.2010.10.030
Universidad Nacional de Colombia
[21] Abelein, U. and Paech, B., Understanding the influence of user
E-mail: jdvelasq@unal.edu.co
participation and involvement on system success A systematic
http://orcid.org/0000-0003-3043-3037 mapping study, Empirical Software Engineering, pp. 1-54. 2013.
[22] Irani, Z., Gunasekaran, A. and Dwivedi, Y.K., Radio frequency
Referencias identification (RFID): Research trends and framework, International
Journal of Production Research, 48 (9), pp. 2485-2511, 2010.
http://dx.doi.org/10.1080/00207540903564900
[1] Kitchenham, B.A. and Charters, S., Guidelines for performing
[23] Kitchenham, B., Brereton, O.P., Budgen, D., Turner, M., Bailey, J.
systematic literature reviews in software engineering. Technical
and Linkman, S., Systematic literature reviews in software
Report EBSE-2007-01, 2007.
engineering A systematic literature review. Information and
[2] Sorrell, S., Improving the evidence base for energy policy: The role
Software Technology, 51 (1), pp. 7-15, 2009.
of systematic reviews, Energy Policy, 35 (3), pp. 1858-1871, 2007.
http://dx.doi.org/10.1016/j.infsof.2008.09.009
http://dx.doi.org/10.1016/j.enpol.2006.06.008
[24] Kitchenham, B., Pretorius, R., Budgen, D., Brereton, O.P., Turner,
[3] Tranfield, D., Denyer, D. and Smart P., Towards a methodology for
M., Niazi, M. and Linkman, S. Systematic literature reviews in
developing evidence-informed management knowledge by means of
software engineering A tertiary study, Information and Software
systematic review, British Journal of Management, 14, pp. 207-222,
Technology, 52 (8), pp. 792-805, 2010.
2003. http://dx.doi.org/10.1111/1467-8551.00375
http://dx.doi.org/10.1016/j.infsof.2010.03.006
[4] Kitchenham, B., Procedures for performing systematic reviews,
[25] Khurum, M. and Gorschek, T., A systematic review of domain
Keele University Technical Report TR/SE-0401. 2004.
analysis solutions for product lines, The Journal of Systems and
[5] Bolderston, A., Writing an effective literature review, Journal of
Software, 82 (12), pp. 1982-2003, 2009.
Medical Imaging and Radiation Sciences, 39 (2), pp. 86-92, 2008.
http://dx.doi.org/10.1016/j.jss.2009.06.048
http://dx.doi.org/10.1016/j.jmir.2008.04.009
[26] Williams, B.J. and Carver, J.C., Characterizing software architecture
[6] Carver, J.C., Hassler, E., Hernandes, E. and Kraft, N.A., Identifying
changes: A systematic review, Information and Software
barriers to the systematic literature review process. Proceedings of
Technology, 52, (1), pp. 31-51, 2010.
the 2013 ACM / IEEE International Symposium on Empirical
http://dx.doi.org/10.1016/j.infsof.2009.07.002
Knowledge Engineering and Measurement. pp. 203-213. 2013.
[27] Prikladnicki, R. and Audy, J.L.N., Process models in the practice of
[7] Murphy, C.M., Writing an effective review article, Journal of
distributed software development: A systematic review of the
Medical Toxicology, 8 (2), pp. 89-90, 2012.
literature, Information and Software Technology, 52 (8), pp. 779-
http://dx.doi.org/10.1007/s13181-012-0234-2
791, 2010. http://dx.doi.org/10.1016/j.infsof.2010.03.009
[8] Webster, J. and Watson, R.T., Editorial. Analyzing the past to
prepare for the future: Writing a literature review, MIS Quarterly, 26
(2), pp. xiii-xxiii, 2002.

12