You are on page 1of 147

Helaine Solange Lins Barreiros

ANLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS


EM ELASTICIDADE NA COMPUTAAO EM NUVEM: UM
MAPEAMENTO SISTEMTICO

Dissertao de Mestrado

Universidade Federal de Pernambuco


posgraduacao@cin.ufpe.br
www.cin.ufpe.br/~posgraduacao

RECIFE
2015

Universidade Federal de Pernambuco


Centro de Informtica
Ps-graduao em Cincia da Computao

Helaine Solange Lins Barreiros

ANLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS


EM ELASTICIDADE NA COMPUTAAO EM NUVEM: UM
MAPEAMENTO SISTEMTICO

Trabalho apresentado ao Programa de Ps-graduao em


Cincia da Computao do Centro de Informtica da Universidade Federal de Pernambuco como requisito parcial para
obteno do grau de Mestre em Cincia da Computao.

Orientador: Vinicius Cardoso Garcia


Co-Orientador: Sergio Soares

RECIFE
2015

Eu dedico esta dissertao a toda a minha famlia, amigos e


professores que me deram o suporte necessrio para chegar
at aqui.

Agradecimentos
A Emanoel Barreiros, meu esposo, pelo carinho, dedicao, pacincia, compreenso e
suporte em todos os momentos mais decisivos e marcantes de minha vida.
Ao melhor presente que o meu pequeno Davi Barreiros, por simplesmente existir e fazer
os momentos mais difceis se transformarem nos mais inspiradores apenas com o seu lindo
sorriso.
A Dulce Lins, Marcos Lins, Heline Lins, Igor Lins e Jssica Barbosa, Rejane Barreiros, Manoel
Barreiros, Manoela Barreiros, Maurcio Barreiros e Thuanne Paiva, minha famlia, que uniram
todos os esforos para que este sonho se tornasse realidade.
Ao meu orientador Vinicius Garcia, obrigada pela oportunidade, confiana, suporte e parceria
durante a caminhada do mestrado.
Ao meu co-orientador Sergio Soares, obrigada pelo apoio e disponibilidade para conversas
e orientaes at mesmo nos momentos mais corridos de seus compromissos.
A Adauto Trigueiro, Alex Nery, Andreza Leite, Diogo Vincius, Emanoel Barreiros, Eudis
Teixeira, Gert Ucha, Jos Fernando, Juliana Saraiva, Leandro Marques, Liliane Fonseca, Marco
Machado, Michael Frana, Samuel Romeiro, Thiago Jamir, Vilmar Nepomuceno, Vinicius
Garcia que uniram esforos para analisar os estudos deste mapeamento.
A FACEPE, que acreditou no projeto e nos financiou.
A todos do laboratrio INES, que compartilharam conversas e ideias.
Aos integrantes dos grupo de pesquisa ASSERT Lab e ESEG pelas participao ativa no desenvolvimento desta pesquisa.
A todos que no foram mencionados acima, mas contriburam de maneira direta ou indireta para
a realizao e concluso deste trabalho.

Eu amo aqueles capazes de sorrir em meio aos problemas.


LEONARDO DA VINCI

Resumo
Contexto: Para que os leitores possam avaliar a validade de um estudo emprico, replicar
seus resultados, ou para que editores possam julgar efetivamente o verdadeiro potencial de
impacto da pesquisa, os autores devem relatar e documentar cuidadosamente elementos da
pesquisa como: motivao, objetivo, mtodo, anlise dos dados, resultados, concluses e
limitaes. Infelizmente autores tm indicado que a comunicao dos resultados de estudos
empricos (EE) na computao em nuvem (CN) omitem informaes relevantes destes elementos
de pesquisa.Tais inconvenincias na comunicao dos resultados destes estudos, ampliadas a todo
um campo de pesquisa, podem levar a um conjunto potencial de evidncias fracas ou ilusrias
para futuras pesquisas cientficas.
Objetivo: Apesar de crticas aos relatos dos estudos empricos serem evidenciadas, at o
presente momento, no foi realizada uma caracterizao das informaes omitidas pelos autores.
Neste sentido, o presente estudo tem como objetivo apresentar um esforo primeiro que analisa
nos relatos a apresentao dos elementos de pesquisa acima citados, considerados essenciais para
a anlise da validade e protencial de uma pesquisa emprica. Analisar a forma de apresentao
dos resultados um primeiro passo relevante para a compreenso do cenrio atual da prtica
dos relatos dos estudos empricos. Assim, foi analisado nos relatos o grau de completude: o
quo presentes esto as informaes dos elementos da pesquisa em seus relatos. Afim de realizar
uma anlise mais profunda, o foco inicial da pesquisa foi direcionado ao mtodo emprico de
experimentao, com foco nas avaliaes da caracterstica de elasticidade da CN.
Mtodo: Atravs de um mapeamento sistemtico da literatura (MSL) foram identificados
os experimentos em elasticidade na computao em nuvem e, atravs de instrumento de avaliao
criado com base em orientaes existentes para se reportar experimentos na engenharia de
software experimental, a completude de seus relatos foi avaliada.
Resultado: Aps a avaliao inicial de 3.611 estudos, foram selecionados e analisados
os relatos de 59 experimentos. Constatamos que em geral os autores omitem informaes
relacionadas ao planejamento da pesquisa, coleta dos dados, procedimentos de execuo, instrumentao, anlise dos dados, relao dos resultados com pesquisas anteriores, ameaas
validade e generalizao dos resultados. Em relao ao ndice de completude o maior grau
foi 6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Tambm
foi realizada uma breve anlise qualitativa que revela que, ainda que reportadas, muitas das
informaes apresentadas pelos relatos so superficiais e dificultam a interpretao, validao,
generalizao e replicao dos resultados dos estudos.
Palavras-chave: Engenharia de Software, Computao em Nuvem, Elasticidade, Engenharia
de Software Experimental, Experimentos.

Abstract
Context: To enable readers to assess the validity of an empirical study, replicate their
results, or allow publishers to effectively judge its true potential impact of research, the authors
should report and carefully document elements of research, such as: motivation, goal, method,
data analysis, findings, conclusions and limitations. Unfortunately authors have indicated that
communication of the results of empirical studies in cloud computing omit relevant information
from these elements. Such inconveniences in reporting the results of these studies, expanded to
an entire field of research, can lead to a potential set of weak or misleading evidence for future
scientific research.
Objective: Despite criticism of the reports of empirical studies are highlighted, to date,
has not been performed a characterization of the information omitted by the authors. In this
sense, this study aims to present a first effort which analyzes the reports presenting the research
elements mentioned above, considered essential for the analysis of the validity and protencial
of empirical research. To examine how to present the results is an important first step towards
understanding the current state of the practice of the reports of empirical studies. Thus, it was
analyzed in the reports of the studies the degree of completeness: which information from
research elements in their reports. In order to conduct a deeper analysis of the reports, the initial
focus of the research was directed to the empirical method of experimentation, focusing on
evaluations of cloud computing elasticity characteristic.
Method: Through a systematic mapping of literature were identified experiments on
elasticity in the cloud computing and through an assessment instrument, created based on existing
guidelines to report experiments in experimental software engineering, the completeness of their
reports was evaluated.
Results: After the initial evaluation of 3,611 studies, 59 experiments were selected and
had their reports analyzed. It was found that in general the authors omit information related
to the research design, data collection, execution procedures, instrumentation, data analysis,
comparison of the results with previous research, threats to validity and generalizability of the
results. In relation to the completeness index, the highest score reached was 6.67 on a scale of 0
to 10, and such completion is considered low in quantitative terms. A brief qualitative analysis
was also conducted which reveals that, although reported, much of the information presented by
the reports are superficial and difficult to interpret, validate, generalize and hinder replication of
study results.
Keywords: Software Engineering, Cloud Computing, Elasticity, Empirical Software Engineering, Experiments.

Lista de Figuras
1.1

Linha do tempo dos guias para relato de experimentos. (do autor) . . . . . . . .

22

2.1

Infraestrutura de Computao em Nuvem (obtido de EMC Corporation ) . . .

26

2.2

Mecanismos de elasticidade na computao em nuvem (do autor). . . . . . . .

29

2.3

Movimentao da comunidade para a criao dos guias para reportar experimentos na engenharia de software . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

3.1

Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades. .

42

3.2

Metodologia planejada para a realizao do mapeamento sistemtico . . . . . .

45

4.1

Esquema de execuo da primeira rodada de seleo dos estudos do mapeamento


sistemtico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

Esquema de execuo da segunda rodada de seleo dos estudos do mapeamento


sistemtico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

Participao das estratgias de busca no quantitativo de estudos candidatos


identificados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

Distribuio do quantitativo dos estudos candidatos identificados pela busca


automtica em relao s fontes de dados . . . . . . . . . . . . . . . . . . . .

58

Distribuio dos estudos candidatos resultantes da busca manual em relao aos


meios de publicao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

4.6

Participao das fontes de busca . . . . . . . . . . . . . . . . . . . . . . . . .

59

4.7

Distribuio temporal dos estudos selecionados . . . . . . . . . . . . . . . . .

59

4.8

Distribuio do quantitativo de estudos selecionados por fonte de dado e ano. .

61

4.9

Distribuio dos estudos selecionados por pases

. . . . . . . . . . . . . . . .

61

4.10 Distribuio dos estudos selecionados por pases

. . . . . . . . . . . . . . . .

62

4.11 Distribuio do quantitativo de estudos por tipo de instituio e ano . . . . . .

62

4.12 Distribuio dos estudos por modelo de servio e ano. . . . . . . . . . . . . . .

63

4.13 Pontuaes dos estudos nas questes que avaliam o ttulo. . . . . . . . . . . . .

64

4.14 Pontuao geral obtida pelos estudos na avaliao do resumo. . . . . . . . . . .

65

4.15 Pontuaes dos estudos nas questes que avaliam o resumo. . . . . . . . . . .

66

4.16 Pontuao geral obtida pelos estudos na introduo. . . . . . . . . . . . . . . .

67

4.17 Pontuao geral obtida pelos estudos na fundamentacao. . . . . . . . . . . . .

68

4.18 Pontuaes dos estudos nas questes que avaliam a fundamentao. . . . . . .

68

4.19 Pontuao geral obtida pelos estudos no planejamento. . . . . . . . . . . . . .

69

4.20 Pontuaes dos estudos nas questes que avaliam o planejamento. . . . . . . .

70

4.21 Pontuao geral obtida pelos estudos na anlise. . . . . . . . . . . . . . . . . .

70

4.2
4.3
4.4
4.5

4.22
4.23
4.24
4.25
4.26

Pontuaes dos estudos nas questes que avaliam a anlise. . .


Pontuao geral obtida pelos estudos na discusso. . . . . . .
Pontuaes dos estudos nas questes que avaliam a discusso.
Pontuao geral obtida pelos estudos nas concluses. . . . . .
Pontuaes dos estudos nas questes que avaliam a discusso.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

71
72
72
73
73

G.1 Ambiente do Revisor: listagem de estudos para reviso . . . . . . . . . . . . . 134


G.2 Tela de anlise de estudos no ExtractViewer . . . . . . . . . . . . . . . . . . . 135

Lista de Tabelas
3.1
3.2
3.3

39
40

3.4
3.5
3.6

Classificao Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .


Taxonomia para classificao dos estudos secundrios segundo Cooper . . . . .
Resultado da aplicao da Taxonomia de Cooper para a classificao do mapeamento sistemtico desta pesquisa . . . . . . . . . . . . . . . . . . . . . . . . .
Fontes de Busca Manual e Perodo de Coleta . . . . . . . . . . . . . . . . . .
String de Busca utilizada na pesquisa dos estudos do MS . . . . . . . . . . . .
Lista dos Critrios de Excluso em ordem alfabtica. . . . . . . . . . . . . . .

4.1
4.2
4.3
4.4
4.5
4.6
4.7

Quantitativo de estudos candidatos localizados por fonte de dados. . . . . . . .


Critrios de excluso apliados na primeira etapa de seleo dos estudos candidatos
Valores de referncia para interpretao do teste Kappa . . . . . . . . . . . . .
Resultado dos testes Kappa . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Resumo da busca e seleo de estudos na primeira etapa . . . . . . . . . . . .
Resumo da busca e seleo de estudos na segunda etapa . . . . . . . . . . . . .
Lista dos autores com mais de uma publicao . . . . . . . . . . . . . . . . . .

52
54
55
56
59
60
63

A.1 Listagem dos estudos selecionados em ordem alfabtica . . . . . . . . . . . . .

41
47
47
48

94

B.1 Estudos excludos em ordem alfabtica . . . . . . . . . . . . . . . . . . . . . . 107


C.1 Lista das venues identificadas e ordem de quantidade de publicao . . . . . . 111
D.1 Lista dos grupos de pesquisa identificados . . . . . . . . . . . . . . . . . . . . 115
E.1 Listagem dos autores identificados e as respectivas quantidades de publicaes
F.1
F.2
F.3

122

String de Busca para identificar estudos secundrios existentes . . . . . . . . . 124


Configurao da equipes e pesquisadores participantes . . . . . . . . . . . . . 125
Lista dos Critrios de Excluso em ordem alfabtica. . . . . . . . . . . . . . . 129

Sumrio
1

Introduo

21

1.1

Contribuio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

1.2

Estrutura da Dissertao . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

Referencial Terico

25

2.1

Computao em Nuvem . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

2.1.1

Caractersticas Essenciais . . . . . . . . . . . . . . . . . . . . . . . .

27

2.1.2

Modelos de Servio . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.1.3

Formas de Distribuio . . . . . . . . . . . . . . . . . . . . . . . . . .

28

2.1.4

Acordo de Nvel de Servio . . . . . . . . . . . . . . . . . . . . . . .

28

2.1.5

Elasticidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

2.1.5.1

Elasticidade x Escalabilidade . . . . . . . . . . . . . . . . .

30

2.1.5.2

Velocidade de Adio x Remoo . . . . . . . . . . . . . . .

30

2.1.5.3

Mtodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

2.1.5.4

Poltica . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

Engenharia de Software Experimental . . . . . . . . . . . . . . . . . . . . . .

31

2.2.1

Mtodos Empricos na Engenharia de Software Experimental . . . . .

32

2.2.1.1

Estudo de Caso . . . . . . . . . . . . . . . . . . . . . . . .

33

2.2.1.2

Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

2.2.1.3

Etnografia . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

2.2.1.4

Pesquisa-ao . . . . . . . . . . . . . . . . . . . . . . . . .

34

2.2.1.5

Experimento Controlado . . . . . . . . . . . . . . . . . . .

34

2.2.1.6

Teoria Fundamentada . . . . . . . . . . . . . . . . . . . . .

35

Guias para Relato de Experimentos . . . . . . . . . . . . . . . . . . .

35

2.3

Engenharia de Software Baseada em Evidncias . . . . . . . . . . . . . . . . .

37

2.4

Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

2.2

2.2.2

Mtodo

39

3.1

Classificao Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .

39

3.2

Classificao do Estudo Sistemtico Segundo Cooper . . . . . . . . . . . . . .

40

3.3

Ciclo da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

3.3.1

Etapa de Definio da Pesquisa . . . . . . . . . . . . . . . . . . . . .

42

3.3.1.1

Reviso Informal da Literatura . . . . . . . . . . . . . . . .

43

3.3.1.2

Definio do Tema, Objetivo e Escopo . . . . . . . . . . . .

43

3.3.1.3

Definio da Metodologia . . . . . . . . . . . . . . . . . . .

44

3.3.2

Etapa de Planejamento do Mapeamento Sistemtico . . . . . . . . . .

44

3.3.2.1

45

Definio do Protocolo . . . . . . . . . . . . . . . . . . . .
3.3.2.1.1

Questes de Pesquisa . . . . . . . . . . . . . . . .

45

3.3.2.1.2

Estratgia de Busca dos Estudos . . . . . . . . . .

46

3.3.2.1.3

Estratgia de Seleo dos Estudos . . . . . . . . .

47

3.3.2.1.4

Avaliao da Qualidade . . . . . . . . . . . . . . .

48

3.3.2.1.5

Estratgia de Extrao . . . . . . . . . . . . . . . .

48

Reviso do Protocolo . . . . . . . . . . . . . . . . . . . . .

49

3.3.3

Etapa de Execuo da Pesquisa . . . . . . . . . . . . . . . . . . . . .

49

3.3.4

Etapa de Divulgao dos Resultados . . . . . . . . . . . . . . . . . . .

49

3.3.5

Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

3.3.2.2

Resultados

51

4.1

Execuo do Mapeamento Sistemtico . . . . . . . . . . . . . . . . . . . . . .

51

4.1.1

Busca dos Estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

4.1.2

Seleo dos Estudos Primrios . . . . . . . . . . . . . . . . . . . . . .

52

4.1.3

Extrao dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

4.1.4

Sintetizao dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . .

56

4.2

Anlise Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

4.3

Anlises das Evidncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

4.3.1
4.3.2
4.3.3
4.3.4

4.4
5

SQ1 - O ttulo permite que o leitor identifique que o estudo um relato


de experimento? . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

SQ2 - Informaes importantes do resumo como motivao, objetivos,


mtodos, resultados, limitaes e concluses da pesquisa so relatadas?

65

SQ3 - A introduo do relato apresenta referncias declarao do


problema, objetivos e contexto da pesquisa? . . . . . . . . . . . . . . .

66

SQ4 - A fundamentao informa sobre a tecnologia em investigao, s


possveis opes alternativas ela, pesquisas relacionadas e a relevncia
para a prtica? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

4.3.5

SQ5 - O relato apresenta informaes sobre o planejamento da pesquisa? 67

4.3.6

SQ6 - O relato detalha a anlise dos dados da pesquisa? . . . . . . . .

4.3.7

SQ7 - Os resultados, suas implicaes e ameaas validade so relatados? 71

4.3.8

SQ8 - As concluses do estudo apresentam um resumo conciso da


pesquisa, seus impactos e trabalhos futuros? . . . . . . . . . . . . . . .

72

Discusso dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

73

70

Consideraes Finais

77

5.1

Ameaas validade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

77

5.2

Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

78

5.3

Concluses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

79

19
Referncias

81

Apndice

87

A Estudos Primrios Includos

89

B Estudos Primrios Excludos

95

C Listagem dos Meios de Publicao Identificados

109

D Grupos de Pesquisa Identificados

113

E Autores Envolvidos

117

F Protocolo do Mapeamento Sistemtico

123

F.1

Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

F.2

Necessidade do Estudo Secundrio . . . . . . . . . . . . . . . . . . . . . . . . 124

F.3

Pesquisadores Envolvidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

F.4

Escopo do Estudo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

F.5

Questes de Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

F.6

Processo de Busca . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127


F.6.1

F.7

Critrios de Incluso e Excluso . . . . . . . . . . . . . . . . . . . . . 129

Processo de Seleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129


F.7.0.0.1

F.8

Avaliao da Qualidade . . . . . . . . . . . . . . . 130

Processo de Sntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

G Ferramenta ExtractViewer

133

G.1 Contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133


G.2 Propsito da Ferramenta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
G.3 Tecnologias Utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
G.4 Telas do Sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
H Instrumento de Coleta

137

H.0.1 Ttulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137


H.0.2 Autoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
H.0.3 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
H.0.4 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
H.0.5 Fundamentao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
H.0.6 Planejameto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
H.0.7 Anlises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
H.0.8 Discusso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
H.0.9 Concluso e Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . 144

20
H.0.10 Apndices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

21

1
Introduo
MARTENS; TEUTEBERG (2011) enfatizam a necessidade de se aumentar a utilizao
de mtodos empricos na computao em nuvem para facilitar a transferncia de tecnologias
entre academia e industria. Ao mesmo tempo, alguns autores relatam enfrentar dificuldades
para interpretar os relatos de estudos empricos pois no conseguem avaliar a validade da
pesquisa e seu potencial de impacto por causa da omisso e superficialidade das informaes
reportadas (DURAO et al., 2014; LI et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011;
SILVA; ROSE; CALINESCU, 2013a). Em geral, tais registros apontam desde o descuido em
no apresentar as questes de pesquisa, a omisso de procedimentos metodolgicos, a no
caracterizao do contexto da pesquisa, a ocultao da anlise dos dados at a superficialidade
na discusso dos resultados.
O problema com os relatos de estudos empricos tambm recorrente em outras reas
da engenharia de software (ES). Por exemplo, na comunidade de software de cdigo aberto,
uma recente reviso da literatura identificou que a qualidade dos relatos de estudos empricos
precisa ser substancialmente melhorada STOL; BABAR (2009). Em geral, os autores dos estudos
analisados no descreveram claramente a motivao da pesquisa, no justificam a escolha do
mtodo, a seleo da amostra dos dados e nem as limitaes da pesquisa. J outro estudo
sistemtico no campo do desenvolvimento gil de software, constatou que a fora das evidncias
de seus estudos empricos foi considerada muito baixa e prejudicou o processo de extrao dos
dados por causa da superficialidade e omisso de informaes DYB; DINGSYR (2008).
Na engenharia de software experimental (ESE), rea da ES dedicada aos mtodos empricos, alguns autores tambm apontam insuficincias no relato de sues estudos. Tais problemas
incluem relatrios incompletos, informaes relacionadas dispersas em diferentes sees do
relato e falta de utilizao de uma terminologia consistente. MACDONELL; SHEPPERD (2007)
tambm enfatizam a necessidade de melhorar a forma como os estudos so publicados, atravs
de uma forma consistente, utilizando resumos estruturados, ttulos significativos e esquemas de
palavras-chave. SMITE et al. (2008) recomendam tambm que os relatos devem ser mais claros
e consistentes para permitir que profissionais possam aprender atravs da literatura existente.
Em estudo sistemtico realizado, DYB; KAMPENES; SJ BERG (2006) relatam dificuldades

22

CAPTULO 1. INTRODUO

em avaliar o poder estatstico dos estudos pois em 67% deles no era possvel identificar quais
testes foram realizados para se avaliar as hipteses.
Outras reas do conhecimento como a medicina e psicologia, reportam problemas no
relato de seus experimentos. Tais problemas so similares aos relatados na engenharia de
software e vrias melhorias tem sido alcanadas atravs da padronizao e criao de diretrizes
para reportar os resultados destes experimentos. Muitas revises tm registrado deficincias nos
relatrios dos experimentos realizados na pesquisa mdica, e tais anlises culminaram na criao
e utilizao de guias para como melhor report-las ALTMAN et al. (2001); MOHER; SCHULZ;
ALTMAN (2001). A psicologia tambm tem vivenciado problemas similares e tambm aderiu
utilizao de guias para publicao dos resultados dos experimentos realizados ASSOCIATION
et al. (2001); WILKINSON (1999); HARRIS (2008); SHIFFMAN et al. (2003).
Pode ser observado na literatura da ES, a iniciativa de se seguir o mesmo movimento
promissor da medicina e psicologia na criao de guias para auxiliar os esforos de melhoria da
prtica de experimentao. Tais esforos datam da dcada de 80, e como pode ser visto na linha
do tempo da Figura 1.1, so apresentados em forma de livros, guias, avaliaes e estudos do
estado da arte. Neste movimento possvel observar que guias implcitos (cor preta) e explcitos
(cor azul) foram construdos para se relatar experimentos na ES. Entretanto, apenas em 2008 foi
apresentada por JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) a verso final do primeiro
guia especfico para orientar os pesquisadores a relatar estudos empricos de experimentao.

Figura 1.1 Linha do tempo dos guias para relato de experimentos. (do autor)

As inconvenincias na comunicao dos resultados, ampliadas a todo um campo de


pesquisa, podem levar a um conjunto potencial de evidncias fracas ou ilusrias para futuras
pesquisas cientficas. Apesar das crticas de alguns autores, at o presente momento, no

1.1. CONTRIBUIO

23

foi realizada uma caracterizao das informaes omitidas nos relatos de estudos emprcos
realizados no contexto da computao em nuvem. Neste sentido, o presente estudo tem como
objetivo apresentar um esforo primeiro que analisa nos relatos a apresentao destes elementos
de pesquisa j mencionados, considerados essenciais para a anlise da validade e potencial das
pesquisas empricas. Analisar a forma de apresentao dos relatos um primeiro passo relevante
para a compreenso do cenrio atual da prtica de comunicao das pesquisas empricas. Assim,
foi analisado nos relatos o grau de completude: a presena das informaes dos elementos da
pesquisa em seus relatos.
Afim de realizar uma anlise inicial mais profunda e obter uma contribuio mais
relevante no estudo destes relatos, o foco inicial deste trabalho foi direcionado s pesquisas que
utilizaram realizaram experimentos. Escolheu-se focar em experimentos pois este um mtodo
emprico bem representativo mediante as caractersticas da rea de pesquisa em computao
em nuvem. Entretanto, mediante s limitaes de tempo e espao, foi necessrio condensar o
escopo da pesquisa e ento foi decidido estudar os relatos dos experimentos que avaliavam a
caracterstica mais marcante da computao em nuvem: a elasticidade. Embora o escopo tenha
sido reduzido, a quantidade de estudos avaliados matm a representatividade da rea de pesquisa
como um todo, tanto em nmero quanto natureza dos experimentos realizados.

1.1

Contribuio

Apesar da necessidade de se realizar mais estudos empricos na computao em nuvem,


necessrio que seus relatos sejam escritos de maneira a permitir que a credibilidade no resultado
produzido permita a utilizao de suas evidncias. Neste sentido, acreditamos que atravs da
caracterizao da situao da atual prtica dos relatos dos experimentos, realizados no contexto
da computao em nuvem, permita trazer tona o debate sobre como os resultados dos estudos
empricos poderiam ser melhor reportados, e assim possibilitar que as descobertas e evidncias
empricas possam ser utilizadas com confiabilidade tanto pela academia quanto pela indstria.

1.2

Estrutura da Dissertao

Alm deste captulo introdutrio a presente dissertao est organizada de acordo com a
seguinte estrutura:


Captulo 2 (Referencial Terico): este captulo trata de toda a fundamentao terica para o entendimento do trabalho. Primeiramente o paradigma da computao em
nuvem apresentado permeando suas caractersticas essenciais, modelos de servio,
formas de distribuio e acordo de nvel de servio. Outro ponto do paradigma discutido em detalhe a sua principal caracterstica e objeto deste trabalho: a elasticidade.
Em seguida a engenharia de software experimental abordada em relao sua

24

CAPTULO 1. INTRODUO
definio, influncia sofrida pelo posicionamento filosfico do pesquisador, seus
mtodos e uma discusso especial sobre guias para relato de experimentos. Logo
depois a engenharia de software baseada em evidncias discutida em sua definio,
mtodos e aplicao na pesquisa.


Captulo 3 (Metodologia): o captulo detalha toda a abordagem metodolgica e mtodos empregados na pesquisa. So discutidos aspectos relacionados classificao,
ciclo da pesquisa, a utilizao do mtodo de pesquisa de mapeamento sistemtico da
literatura e as peculiaridades de sua instanciao.
Captulo 4 (Execuo e Resultados): apresenta e discute os resultados obtidos nesta
pesquisa por meio de uma anlise geral dos estudos selecionados. As perguntas de
pesquisas so respondidas e os principais achados so discutidos.
Captulo 5 (Consideraes Finais): trata das ameaas validade da pesquisa e
respectivas mitigaes. Apresenta as perspectivas de trabalhos futuros para que a
comunidade possa dar continuidade pesquisa. E por fim as lies aprendidas e
concluses so enunciadas.

25

2
Referencial Terico
Este captulo tem como objetivo explanar os conceitos e estudos utilizados como base
para a presente pesquisa. Na seo 2.1 so apresentados os conceitos da Computao em Nuvem
(CN). A seo 2.2 discute as noes relacionadas Engenharia de Software Experimental (ESE) e
seus mtodos. A seo 2.3 expe os conceitos da Engenharia de Software Baseada em Evidncias
(ESBE) para apoiar o mtodo de pesquisa adotado.

2.1

Computao em Nuvem

J em 1960, pesquisadores como Douglas Parkhill e John McCarthy tem trabalhado no


desenvolvimento de um modelo computacional chamado Computao Utilitria (PARKHILL,
1966). Foi em 1961, durante um discurso para celebrar o centenrio do MIT, que John McCarthy
sugeriu publicamente que recursos computacionais fossem providos sob demanda e bilhetados
por meio de um modelo de negcio utilitrio como energia, gua e telefonia(FEATHER, 2000).
O modelo foi adotado por vrios paradigmas de computao (BUYYA et al., 2009; LI
et al., 2009) e tambm resistiu a cenrios prejudiciais (CAMPBELL-KELLY, 2009) como o
movimento de descentralizao promovido pela onda dos computadores pessoais na dcada de
1980. Entretanto, por volta do ano 2000, graas ao crescimento acelerado de tecnologias de
comunicao como a internet, a ideia ressurgiu.
A computao em nuvem uma evoluo concretizada do modelo de computao
utilitria proposto por McCarthy e cada vez mais tem estado em evidncia. Tal fato tem atrado
os olhares de gigantes como a Amazon, Google, Salesforce, Microsoft, IBM, HP, entre outros.
Estas organizaes tm ofertado servios como Amazon EC21 , Google App Engine2 , Salesforce3 ,
Windows Azure4 , Dropbox5 , dentre outros, que oferecem solues confiveis com promessas de
baixo custo, atravs das quais seus usurios podem ter acesso aos servios de maneira ubqua.
1 http://aws.amazon.com/pt/ec2/
2 https://appengine.google.com
3 http://www.salesforce.com/br/
4 http://www.windowsazure.com/pt-br/
5 http://www.dropbox.com/

26

CAPTULO 2. REFERENCIAL TERICO

O termo nuvem uma abstrao que encobre toda a complexidade de infraestrutura que
fornecida atravs de servios utilizando hardware compartilhado para computao e armazenamento (BUYYA et al., 2009). Em geral, como pode ser visto na Figura 2.1, a infraestrutura da
nuvem composta por uma grande quantidade de mquinas ou ns fsicos conectados em rede.
Cada uma das mquinas pode ter diferentes configuraes de hardware e software e variar em
termos de capacidade de CPU, memria e armazenamento em disco (SOROR et al., 2010).

Figura 2.1 Infraestrutura de Computao em Nuvem (obtido de EMC Corporation )

Existem diversas propostas de definio para o paradigma da computao em nuvem,


entretanto a definio do National Institute of Standards and Technology (NIST) bastante
aceita na comunidade: "Modelo que permite o acesso atravs de rede ubqua, de acordo com a
demanda, a um pool compartilhado de recursos computacionais que podem ser rapidamente
provisionados e liberados com um esforo mnimo de gerenciamento ou interao com o provedor
de servicos" (MELL; GRANCE, 2009).
Nas prximas sub-sees sero apresentados, de maneira sucinta e objetiva, aspectos
e termos importantes relacionados computao em nuvem que so importantes para o entendimento desta pesquisa: (i)caractersticas essenciais, (ii) modelos de servio, (iii) formas de
distribuio, (iv) acordo de nvel de servio e (v) elasticidade. Dentre os aspectos a elasticidade
ser explanada com um pouco mais de de detalhes, visto que este o aspecto que objeto desta
pesquisa.

2.1. COMPUTAO EM NUVEM

2.1.1

27

Caractersticas Essenciais

As caractersticas essenciais representam as vantagens oferecidas pelas solues da


computao em nuvem e a destingue de outros paradigmas computacionais, suas as principais
caractersticas so (MELL; GRANCE, 2009):
1. Alocao de recursos sob demanda: permite que o usurio possa dimensionar a
infra-estrutura necessria de recursos computacionais sob demanda. Similar a um
servio sob demanda, esta caracterstica permite que usurios solicitem recursos em
tempo de execuo medida que necessitar.
2. Amplo acesso rede: os recursos so disponbilizados atravs do ambiente de rede
e devem estar disponveis para acesso atravs de uma ampla gama de dispositivos
como tablets, PCs, smartphones, entre outros.
3. Pooling de Recursos: os recursos computacionais do provedor de servio so estruturados para servir a mltiplos usurios utilizando um modelo multi-tennant (MT),
que disponibiliza diferentes recursos fsicos e virtuais de maneira dinmica conforme
a necessidade do usurio. H um senso de independncia local, ou seja, o usurio no
precisa ter conhecimento da localizao fsica dos recursos computacionais, bastando
apenas especificar a localizao em um nvel de abstrao mais alto (pas, estado,
etc).
4. Elasticidade rpida: caracterstica que permite que os recursos disponveis ao
usurio paream ilimitados, pois tais recursos podem ser adicionados e removidos de
maneira rpida e automtica, conforme a necessidade da carga de trabalho.
5. Servio medido: os recursos de um provedor cloud so automaticamente controlados
e otimizados, atravs da capacidade de medio em um nvel de abstrao adequado
para o tipo de servio. A utilizao dos recursos pode ser controlada, monitorada e
relatada com transparncia entre o provedor e consumidor do servio.

2.1.2

Modelos de Servio

Os provedores da computao em nuvem oferecem seus servios de acordo com trs


modelos apresentados abaixo:
1. Infraestrutura Como Servio (IaaS): atravs deste modelo o provedor de servios
pode comercializar elementos de infraestrutura (cpu, memria, armazenamento, etc).
Neste modelo a responsabilidade de corrigir / atualizar / manter o sistema operacional
ou qualquer outro software do cliente. O provedor de servio ir tarifar o usurio por
hora e quantidade de recursos alocados e consumidos. Neste modelo o usurio no

28

CAPTULO 2. REFERENCIAL TERICO


administra a infraestrutura fsica mas sim os sistemas operacionais, armazenamento,
aplicativos e componentes de rede.
2. Plataforma Como Servio (PaaS): neste modelo o provedor de servios fornece
sistemas operacionais, linguagens de programao e ambientes de desenvolvimento
de software. Neste modelo o usurio tem controle sobre configuraes e aplicaes
implantadas nesta infraestrutura.
3. Software Como Servio (SaaS): software de propsito especfico o produto fornecido neste modelo de servio. Os sistemas so disponibilizados ao usurio por meio
de interfaces como um navegador de internet. O usurio pode administrar e controlar
apenas configuraes especficas do prprio sistema.

2.1.3

Formas de Distribuio

Os ambientes de computao em nuvem podem ser distribudos de quatro formas diferentes nos quesitos acesso e disponibilidade: (i) Nuvem Privada, (ii) Nuvem Pblica, (iii) Nuvem
Comunidade e (iv) Nuvem Hbrida (MELL; GRANCE, 2009). As restries de acesso dependem
do processo de negcio, tipo de informao e nvel de viso desejado.
1. Nuvem Pblica: a infraestrutura da nuvem disponibilizada ao pblico geral, acessvel qualquer usurio que tenha conhecimento da localicao do servio.
2. Nuvem Privada: a infraestrutura de utilizao exclusiva de uma organizao,
sendo disponibilizada local ou remotamente, administrada pela prpria empresa ou
terceiros.
3. Nuvem Comunitria: a infraestrutura compartilhada por uma comunidade de
organizaes com interesses em comum.
4. Nuvem Hbrida: a infraestrutura composta por duas ou mais nuvens de quaisquer
tipos mencionados acima. A conexo entre elas feita via tecnologia proprietria ou
padronizada e permite a portabilidade de dados e aplicaes.

2.1.4

Acordo de Nvel de Servio

Embora os consumidores de servios em nuvem no tenham controle sobre os recursos


computacionais adquiridos, eles precisam ter garantias em relao qualidade do servio, sua
disponibilidade, confiabilidade e desempenho. Do ingls Service Level Agreement (SLA), o
acordo de nvel de servio representa um contrato que cuida das garantias entre o cliente e
o provedor de servio. Nele so especificados os atributos de qualidade e seus respectivos
valores aceitveis. Como exemplo podemos citar que em um SLA pode se especificar que a

2.1. COMPUTAO EM NUVEM

29

disponibilidade de um determinado servio no deve ser inferior a 98% e a elasticidade de um


recurso seja superior a 80% por exemplo.

2.1.5

Elasticidade

Ainda no existe na comunidade da computao em nuvem um consenso sobre a definio


da elasticidade, entretanto neste trabalho estamos utilizando a definio de HERBST; KOUNEV;
REUSSNER (2013). A descreve que a elasticidade a capacidade que o sistema tem de se
adaptar cargas de trabalho atravs do provisionamento e desprovisionamento (preferencialmente
automtico) de recursos, de tal modo que em cada instante no tempo os recursos disponveis pelo
provedor de servico correspondam, o mais prximo possvel, demanda atual do consumidor.
Tal capacidade transmite ao usurio a sensao de que os recursos so ilimitados e podem ser
adquiridos em qualquer quantidade e a qualquer instante.
Do ponto de vista do provedor de servios a elasticidade permite uma melhor utilizao
dos recursos computacionais, propiciando economia em escala e permitindo que mltiplos
usuarios possam ser servidos simultneamente. Da perspectiva do usurio, a elasticidade
evita principalmente a disposio inadequada de recursos e por consequncia a degrao de
desempenho do sistema. Aumento da capacidade de recursos locais (CALHEIROS et al., 2012;
MARSHALL; KEAHEY; FREEMAN, 2010), reduo de custos (SHARMA et al., 2011) e
economia de energia (SHEN et al., 2011) tambm so outros benefcios alcanados com a
utilizao da elasticidade. Os principais mecanismos relacionados implementao podem ser
vistos na Figura 2.2.

Figura 2.2 Mecanismos de elasticidade na computao em nuvem (do autor).

A seguir sero apresentados brevemente os conceitos fundamentais relacionados elasticidade e seus mecanismos: elasticidade x escalabilidade, velocidade de ao x remoo, mtodo
e poltica.

30
2.1.5.1

CAPTULO 2. REFERENCIAL TERICO


Elasticidade x Escalabilidade

possvel observar que com frequncia a elasticidade confundida com a escalabilidade


de sistemas, os dois so conceitos relacionados porm diferentes. A escalabilidade a capacidade
que um sistema tem de adicionar mais recursos a fim de atender a uma necessidade de carga
de trabalho maior ISLAM et al. (2012). J a elasticidade consiste no acrscimo e decrscimo
de recursos de acordo com a carga de trabalho, enquanto a escalabilidade considera apenas o
acrscimo. Outro aspecto importante que a escalabilidade um conceito livre de tempo e no
considera o tempo que o sistema leva para atingir o nvel de desempenho desejado, enquanto
que, para a elasticidade, alguns apontam o tempo como um elemento central que depende da
velocidade de resposta a uma determinada alterao de carga de trabalho (COUTINHO et al.,
2014).
2.1.5.2

Velocidade de Adio x Remoo

Existem dois principais conceitos de velocidade em relao elasticidade: velocidade de


adio (scale up) e velocidade de remoo (scale down) (HERBST; KOUNEV; REUSSNER,
2013). A velocidade de adio definida como o tempo que o sistema leva para sair de um
estado subdimensionado para um estado timo ou superdimensionado de recursos. A velocidade
de remoo o tempo que o sistema leva para passar de um estado superdimensionado de
recursos para um estado timo ou subdimensionado. Outro conceito relacionado a preciso,
que definida como o desvio absoluto da atual quantidade de recursos alocados em relao
necessidade de demanda real.
2.1.5.3

Mtodo

Atravs do mtodo possvel decidir qual ser o tratamento dado aos novos recursos
provisionados. Segundo vrios autores, quanto diviso, a elasticidade pode se dar horizontalmente ou verticalmente (ALI-ELDIN; TORDSSON; ELMROTH, 2012; GUERRERO; SACHS;
PETROV, 2010; SHARMA et al., 2011; SULEIMAN et al., 2011).
A elasticidade horizontal consiste na adio/remoo do quantitativo de instncias de
um usurio, alm da migrao para novos ns de processamento. Estas instncias podem ser
aplicaes, containers ou mquinas virtuais (MV). Em geral, a replicao o mtodo mais
utilizado para prover elasticidade.
A elasticidade vertical equivale a adio / remoo de recursos como memria, CPU e
armazenamento a partir de uma instncia virtual. Existem duas abordagens para se prover esse
tipo de elasticidade:


Redimensionamento: significa alterar os recursos de uma instncia em tempo de


execuo. Exemplo: adicionar mais CPU e memria a uma MV. mais comum em
sistemas operacionais baseados em Unix uma vez que o mesmo suporta mudanas
sem reinicializaes.

2.2. ENGENHARIA DE SOFTWARE EXPERIMENTAL




31

Substituio: consiste na adio de servidores com um maior poder de processamento


para substituir os de menor desempenho. Em geral esta abordagem mais comum
em provedores de nuvem pblica.

A migrao a estratgia de elasticidade que transfere uma mquina virtual ou aplicativo


que est em execuo em um servidor fsico para um outro. As MVs ou aplicativos podem ser
migrados de um servidor para outro para o balanceamento de carga por exemplo.
2.1.5.4

Poltica

Existem duas polticas de reao da nuvem em relao a execuo de aes de elasticidade: manual e automtica.


Poltica Manual: neste tipo de poltica o usurio responsvel por monitorar seu
ambiente e recursos a fim de operar todas as aes de elasticidade. Para tal, o provedor
de servio deve fornecer ao usurio uma interface ou API por meio da qual o mesmo
iterage com o sistema.
Poltica Automtica: o controle e aes so tomadas pela prpria nuvem ou pela
aplicao que est executando nela, em conformidade com as regras e configuraes
que foram definidas pelo usurio ou SLA. Atravs da coleta de informaes dos
sistemas de monitoramento a nuvem decide quando e como os recursos de elasticidade
sero utilizados. De acordo com a tcnica a poltica automtica pode ser classificada
como reativa e preditiva (GALANTE; BONA, 2012).
Reativa: fundamentada em regras de mecanismos baseadas em gatilhos.
Uma regra possui um conjunto de condies que, quando so satisfeitas,
disparam um gatilho que ir tomar algumas aes sobre os recursos da
nuvem. Este mecanismo alimentado por meio dos dados fornecidos pelo
sistema de monitoramento de infra-estrutura ou da aplicao na nuvem.
Preditiva: utiliza heursticas e tcnicas matemticas/analticas para tentar
prever o comportamento da carga de trabalho no sistema e, com base nisto,
decidir quando adicionar ou remover os recursos.

2.2

Engenharia de Software Experimental

Embora pertena a cincia da computao, que uma rea de conhecimento relacionado


s cincias exatas, a engenharia de software experimental (ESE) possui caractersticas peculiares fortemente relacionadas com as cincias sociais. Pesquisas empricas permitem adquirir
conhecimentos por meio da explorao, descrio, previso e avaliao de fenmenos naturais, a

32

CAPTULO 2. REFERENCIAL TERICO

partir de evidncias obtidas em observaes sistemticas ou experimentao (SJOBERG; DYBA;


JORGENSEN, 2007).
Um mtodo emprico dotado de um conjunto de princpios que se organizam em
torno dos tipos de dados coletados e analisados, assim permite avaliar tarefas organizadas por
pessoas de maneira sistemtica, disciplinada, quantificada e controlada. Estudos empricos
podem propiciar a avaliao de tecnologias da engenharia de software e determinar em que
tipos de tarefas e ambientes tais tecnologias so teis, apoiando, por exemplo, pesquisadores e
profissionais na tomada de deciso sobre uma tcnica ou ferramenta a adotar (SJBERG et al.,
2005).
Antes de dissertar sobre os tipos de estudos empricos importante saber que, ao
selecionar o mtodo, o pesquisador norteado por sua postura filosfica, a qual influencia todas
as decises na pesquisa, entretanto tal postura comumente suprimida (CRESWELL, 2013).
Logo a seguir so apresentados os quatro os tipos dominantes de posicionamentos filosficos na
pesquisa cientfica:


Positivismo: o conhecimento obtido atravs da lgica, lida com a complexidade


utilizando a reduo do problema em partes menores. Nele o pesquisador propenso
a utilizar mtodos quantitativos como experimentos controlados (seo 2.2.1.5) e
surveys (seo 2.2.1.2).
Construtivismo: procura adquirir o conhecimento atravs da observao e do olhar
das pessoas. Tambm conhecido como interpretativismo, este tipo de viso tende a
no separar os fenmenos estudados de seus contextos. Costuma nortear mtodos
qualitativos como estudos de caso (seo 2.2.1.1) e etnogrficos (seo 2.2.1.3).
Teoria crtica: julga o conhecimento pelo seu potencial libertador. Assim, a pesquisa
considerada um ato poltico, visto que o conhecimento empodera aquele que
o adquire. Tambm conhecida como "participativismo"ou "advocativismo" um
mtodo propenso a aderir teoria crtica e pesquisa-ao (seo 2.2.1.4) .
Pragmatismo: em geral, os pesquisadores pragmticos julgam a pesquisa pela sua
utilidade em resolver problemas. Para o mesmo, todo o conhecimento aproximado
e incompleto. Em geral, neste perfil, os pesquisadores adotam uma mistura de vrios
mtodos.

Apresentados os posicionamentos filosficos, agora sero apresentados brevemente os


mtodos empricos que tratam de estudos primrios na engenharia de software experimental.

2.2.1

Mtodos Empricos na Engenharia de Software Experimental

A prtica da engenharia de software experimental (ESE) na engenharia de software (ES)


foi evidenciada por BASILI; SELBY; HUTCHENS (1986). Recentemente outras pesquisas

2.2. ENGENHARIA DE SOFTWARE EXPERIMENTAL

33

evidenciam a importncia e desenvolvem ambientes de apoio utilizao dos mtodos empricos:


guias, mtodos, ferramentas, entre outros. Tais mecanismos permitem projetar, planejar, executar,
analisar e reportar estudos empricos, alm de organizar e facilitar o processo de execuo de
forma distribuda. Outro benefcio a simplificao da replicao destes estudos, uma vez que
os mesmos tendem a ser mais bem documentados.
Em suma, atravs dos mtodos empricos, a engenharia de software experimental se
preocupa em investigar como processos de desenvolvimento de software e ferramentas realmente
funcionam, de forma a compreender seus limites e projetar aperfeioamentos. Outro ponto
interessante a ser observado a discusso sobre a utilizao de abordagens mistas dos mtodos
empricos nas pesquisas. Tal prtica permite que pesquisadores adotem mais de uma estratgia
emprica. A ideia surgiu do reconhecimento de que os mtodos possuem suas limitaes porm
so complementares entre si (EASTERBROOK et al., 2008; CRESWELL, 2013).
A seguir, sero apresentadas as principais estratgias empricas que tratam de estudos
primrios nas pesquisas da ES segundo EASTERBROOK et al. (2008): estudo de caso, survey,
etnografia, pesquisa-ao, experimento controlado e teoria fundamentada.
2.2.1.1

Estudo de Caso

Estudo de caso um mtodo emprico originado nas cincias sociais e, ainda hoje,
h divergncias na literatura quanto ao seu conceito. Tem por objetivo investigar fenmenos
que ocorrem em seu contexto real, principalmente, quando as fronteiras entre o contexto e
os fenmenos no so evidentes (YIN, 2013). De forma a compreender como e porque, tal
fenmeno acontece sem que haja nenhum controle sobre as variveis envolvidas (FUKS, 2011)
Entretanto h muita confuso em relao aos estudos de caso na ES, pelo fato do mtodo
ser frequentemente utilizado para denominar demonstraes simples do uso de uma determinada
tecnologia (SJOBERG; DYBA; JORGENSEN, 2007), quando na verdade o mtodo sistemtico
e rigoroso no apoio a pesquisas exploratrias e qualitativas (RUNESON; HST, 2009).
2.2.1.2

Survey

Originado na economia e sociologia o survey o mtodo emprico utilizado para identificar caractersticas de populaes amplas por meio da produo de dados estatsticos (KITCHENHAM; PFLEEGER, 2008). Valendo-se de questionrios, os pesquisadores selecionam
uma amostra representativa da populao e procuram respostas de um conjunto de populao,
relacionadas s aes, experincias, opinies ou comportamentos desta em relao ao objeto de
estudo.
Alm de questionrios, podem ser utilizados entrevistas estruturadas e tcnicas de logging
para a coleta dos dados. Tambm possvel observar a utilizao da estratgia em conjunto com
outros mtodos quando se deseja descrever, explanar e explorar informaes preliminares ou
ainda levantar as variveis do estudo a serem avaliadas (TRAVASSOS; GUROV; AMARAL,

34

CAPTULO 2. REFERENCIAL TERICO

2002). Em funo destas caractersticas os surveys tendem a lidar com pesquisas quantitativas,
descritivas e de design fixo (RUNESON; HST, 2009).
2.2.1.3

Etnografia

Oriundo da antropologia e com o objetivo de compreender culturas, o mtodo visa o


entendimento aprofundado das prticas de uma determinada populao. Segundo ROBINSON;
SEGAL; SHARP (2007), o intuito da etnografia estudar uma comunidade de pessoas para
entender a iterao social entre seus membros na busca pela resposta de uma pergunta de
pesquisa.
Uma caracterstica marcante do mtodo que o pesquisador passa a ser acolhido pelo
grupo, ou seja, passa a ser oficialmente aceito pela comunidade estudada (KARN; COWLING,
2006). Na ES a etnografia pode auxiliar a compreenso da cultura das prticas de software em
contextos pequenos e at em grandes comunidades (EASTERBROOK et al., 2008).
2.2.1.4

Pesquisa-ao

Em geral, os pesquisadores utilizam este mtodo com o intuito de resolver problemas


do mundo real e, concomitantemente, estudar a experincia da resoluo do problema em si.
Distingue-se das demais pelo fato do pesquisador deixar de ser um observador neutro para atuar,
modificar e aprender a partir da ao que realiza durante o estudo (FUKS, 2011). Assim, as
principais caracterstias do mtodo a expanso do conhecimento cientfico, desenvolvimento de
competncias dos envolvidos e criao de um vnculo de trabalho colaborativo em uma situao
imediata que utiliza feedbacks em um processo cclico (LAU, 1999).
2.2.1.5

Experimento Controlado

Experimentao, tambm conhecida como experimento controlado o objeto de estudo


desta pesquisa, permite que o conhecimento seja gerado de forma sistemtica, disciplinada,
quantificvel e controlada (WOHLIN et al., 2012). Com origem nas cincias naturais como
biologia e fsica, o experimento um mtodo de pesquisa utilizado para investigar um conjunto
de hipteses testveis apropriado para: observar fenmenos, formular teorias, confirmar um
conhecimento convencional, explorar relacionamentos, validar medidas e avaliar a predio de
modelos.
Normalmente conduzido em laboratrio, este mtodo requer uma elevada necessidade de
controle do ambiente (JURISTO; MORENO, 2013). Atravs dos processos experimentais, os
pesquisadores observam como as variveis se relacionam, presumindo um relacionamento de
causa (tratamento de variveis) e efeito (resultados) (FUKS, 2011).
Segundo EASTERBROOK et al. (2008) as etapas de um experimento so orientadas
atravs da definio de uma hiptese e teoria subjacente, onde o pesquisador controla as variveis:

2.2. ENGENHARIA DE SOFTWARE EXPERIMENTAL

35

fixa algumas e varia outras. Atravs deste processo, os pesquisadores investigam como as
variveis se relacionam e se existe alguma relao de causalidade entre elas.
2.2.1.6

Teoria Fundamentada

Surgido na sociologia e tambm conhecido como grounded theory, o mtodo preocupa-se


com os procedimentos de coleta e anlise. O objetivo criar e/ou aperfeioar teorias atravs
da extrao sistemtica de dados qualitativos. Criar uma estrutura integrada para se explicar
ou prever fenmenos por meio de dados primrios algo complexo, entretanto este processo
se torna cientfico e quantificvel por meio deste mtodo (CORBIN; STRAUSS, 2014; FUKS,
2011).
Diferente de outas abordagens da ESE, dos quais parte-se sempre de teorias existentes
para o planejamento da pesquisa e coleta dos dados, neste mtodo o processo inverso (FUKS,
2011). Parte-se de uma situao ou tema de pesquisa, coleta-se e analisa-se dados de onde se
emerge uma teoria fundamentada. Os dados podem ser coletados por meio de entrevistas e
observaes diretas que, em seguida, so comparadas para identificar categorias (variveis), em
seguida o pesquisador inicia a comparao com teorias correntes na literatura cientfica (CORBIN; STRAUSS, 2014).

2.2.2

Guias para Relato de Experimentos

O relatrio de um estudo emprico comunica suas concluses e achados, sendo a principal


fonte de informao para se avaliar a qualidade e validade de seus resultados. Ao se reportar um
experimento, objeto de estudo desta pesquisa, importante priorizar quais informaes devem
ser includas em seu relatrio. No contexto da engenharia de software possvel observar na
literatura que, desde 1980, pesquisadores procuram fornecer recomendaes para se reportar
experimentos, como visto na Seo 1 e na linha do tempo na Figura 1.1.
Entretanto, a engenharia de software no a primeira rea de pesquisa que encontra
problemas relacionados aos relatrios insuficientes. Outras reas como medicina e psicologia
tratam problemas similares e tm conseguido vrias melhorias atravs da padronizao e criao
de diretrizes para seus relatrios. Muitas revises tm registrado deficincias nos relatrios
na pesquisa mdica, que resultaram em guias para como report-los ALTMAN et al. (2001);
MOHER; SCHULZ; ALTMAN (2001). A psicologia tambm tem vivenciado problemas similares e guias para publicao foram desenvolvidos (ASSOCIATION et al., 2001; WILKINSON,
1999; HARRIS, 2008; SHIFFMAN et al., 2003).
A importncia de se utilizar guias para criao de relatrios se aplica a todos os tipos
de estudos empricos, entretanto a necessidade de se criar guias especficos para padronizar o
relato de experimentos vem sendo reportado por diversos autores ao logo do tempo (LOTT;
ROMBACH, 1996; PICKARD; KITCHENHAM; JONES, 1998; SHULL et al., 2003; VEGAS;
JURISTO; BASILI, 2003; WOHLIN; PETERSSON; AURUM, 2003; SJBERG et al., 2005).

36

CAPTULO 2. REFERENCIAL TERICO

Figura 2.3 Movimentao da comunidade para a criao dos guias para reportar experimentos na
engenharia de software

Da mesma forma possvel observar um movimento da comunidade na criao de diretrizes


para melhorar tais relatos (SINGER, 1999; WOHLIN et al., 2000; JURISTO; MORENO, 2001;
KITCHENHAM; PFLEEGER, 2002; JEDLITSCHKA; PFAHL, 2005; KITCHENHAM et al.,
2006; JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008).
possvel observar na linha do tempo da Figura 2.3 a movimentao da comunidade
para a criao de um guia especfico para relatar experimentos na engenharia de software. Os
marcos no formato circular e com textos de cor preta representam estudos que criticam o relato
dos experimentos. J os marcos no formato triangular e na cor azul representam os movimentos
de resposta da comunidade no sentido de melhorar e contribuir com a construo do guia.
A primeira movimentao para criao do guia foi feita por SINGER (1999) que publicou
sugestes de como utilizar guia existente na psicologia para reportar resultados experimentais na
engenharia de software. Em 2002 o primeiro guia para realizar, reportar e verificar resultados
experimentais na engenharia de software foi publicado por KITCHENHAM; PFLEEGER (2002).
Tal guia foi baseado em outros existentes na medicina e em experincias prticas e lies
aprendidas pelos prprios autores do estudo. SHULL et al. (2003) criou um conjunto de
orientaes sobre como escrever artigos cientficos, incluindo em especial a apresentao de
estudos empricos. WOHLIN et al. (2000) publica livro onde sugere um esboo de como reportar
estudos empricos. JURISTO; MORENO (2001) fornecem um roteiro de perguntas a serem
respondidas ao se reportar experimentos. JEDLITSCHKA; PFAHL (2005) publicam o primeiro
guia especfico para reportar experimentos na Engenharia de Software (JEDLITSCHKA; PFAHL,
2005).
KITCHENHAM et al. (2006) publicaram uma avaliao do guia de Jedlitschka juntamente com recomendaes de melhorias e correes de alguns problemas. No mesmo ano uma
nova verso do guia foi publicada, incorporando as sugestes de melhorias e correes. Em 2007

2.3. ENGENHARIA DE SOFTWARE BASEADA EM EVIDNCIAS

37

foi lanada uma nova verso do guia incorporando sugestes de mais pesquisadores. Em 2008
foi lanada a verso final do guia, com todas as sugestes de melhorias e defeitos registrados
anteriormente (JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008).
O presente trabalho utilizou o guia de JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008)
como base para construir o instrumento de coleta, pelo fato do mesmo ser uma evoluo de
todos os guias publicados anteriormente que tratavam do relato de experimentos na ES. O fato
de o desenvolvimento do guia ter sido iterativo e seu teor validado, incorporado feedbacks dos
membros da comunidade tambm pesou na escolha pelo guia. Outro ponto importante o fato
do guia apresentar um contedo com orientaes detalhadas por sees e subsees seguidas de
exemplos.

2.3

Engenharia de Software Baseada em Evidncias

A Engenharia de Software Baseada em Evidncias (ESBE) um paradigma da ES que


permite identificar, selecionar e sintetizar evidncias a partir de estudos primrios (KITCHENHAM; CHARTERS, 2007). Surgido inicialmente na medicina, o objetivo enunciado da ESBE
proporcionar os meios pelos quais as melhores evidncias de pesquisas possam ser integradas s
experincias prticas e valores humanos no processo de tomada de deciso no desenvolvimento
e manuteno de software.
Segundo KITCHENHAM; CHARTERS (2007) so trs os mtodos sistemticos para se
conduzir pesquisas com base nos princpios da ESBE:
1. Revises Sistemticas da Literatura (RSL) convencionais: destinadas a identificar, analisar e interpretar as evidncias disponveis relacionadas a uma questo
especfica de pesquisa, uma RSL tem uma metodologia bem definida e a questo de
pesquisa especfica tratada de maneira imparcial. RSLs em geral agregam resultados
sobre a eficcia de um tratamento, interveno ou de uma tecnologia. Normalmente
esto relacionadas a questes do tipo: Um tratamento X aplicado a uma populao
P mais eficiente para se obter o resultado R no contexo C quando comparado com
o tratamento Y?
2. Mapeamento Sistemtico da Literatura (MSL): tambm categorizado como estudo exploratrio, apresenta uma ampla reviso de estudos primrios em uma rea ou
tpico especfico no intuito de identificar quais as provas disponveis sobre um tema
em questo. Normalmente relacionados a questes do tipo O que sabemos sobre o
tema X?, MSLs objetivam identificar todas as pesquisas que procuram responder
questes amplas e exploratrias sobre as tendncias de uma determinada rea de
pesquisa.
3. Meta-anlise: o mtodo pelo qual, atravs de anlise estatstica, se sintetiza os
resultados de diferentes estudos primrios independentes para integrar, combinar e

38

CAPTULO 2. REFERENCIAL TERICO


resumir seus resultados de forma a responder a uma determinada questo de pesquisa.
O mtodo tambm pode ser utilizado em revises sistemticas que integram os
resultados dos estudos includos.

Alguns autores apontam que, no mbito da computao em nuvem, os relatrios dos


estudos empricos so difceis de ser intepretados e analisados pois a forma como os pesquisadores os apresentam suprimem informaes relevantes (DURAO et al., 2014; LI et al., 2013;
HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a). Atravs de
um MSL, o presente trabalho espera agregar e consolidar evidncias que permitam analisar e
interpretar o estado da prtica dos relatos dos estudos empricos na CN, tomando como base
guias existentes para tal, na engenharia de software experimental. Assim, espera-se identificr
as lacunas existentes de forma a contribuir com a melhoria da apresentao dos resultados de
estudos empricos na CN.

2.4

Resumo

Este captulo descreveu todo o referencial terico utilizado durante o desenvolvimento


desta pesquisa. Foram explanados os principais conceitos e definies da computao em
nuvem e, em mais detalhes, aspectos relacionados elasticidade. Tambm discorremos sobre
a engenharia de software experimental e seus principais mtodos empricos e, em especial,
tecemos uma discusso um pouco mais consistente sobre os guias para relatar experimentos. E,
por fim, abordamos os principais mtodos da engenharia de software baseada em evidncias.
No prximo captulo ser apresentado, mtodo utilizado para o desenvolvimento da pesquisa e
detalhes relacionados sua classificao, ciclo de desenvolvimento e detalhes do planejamento
do mapeamento sistemtico.

39

3
Mtodo
O objetivo deste captulo detalhar a abordagem metodolgica utilizada na presente
pesquisa por meio de trs sees: Classificao Geral da Pesquisa, Classificao do Estudo
Sistemtico Segundo Cooper e Ciclo da Pesquisa.
A Seo 3.1 apresenta a classificao da pesquisa perante cinco aspectos; j a Seo 3.2
apresenta a classificao do mapeamento sistemtico mediante taxonomia amplamente utilizada
em estudos sistemticos; a por fim Seo 3.3 apresenta uma viso geral do planejamento
metodgico da pesquisa atravs de suas etapas e atividades.

3.1

Classificao Geral da Pesquisa

A pesquisa realizada nesta dissertao foi classificada perante cinco aspectos: mtodo de
abordagem, mtodo de procedimento, objetivo, natureza dos dados e posicionamento filosfico.
Atravs da Tabela 3.1 possvel observar o quadro metodolgico que resume estes elementos.
Quadro Metodolgico
Mtodo de Abordagem
Indutivo
Mtodo de Procedimento Mapeamento Sistemtico da Literatura
Quanto ao Objetivo
Pesquisa Descritiva
Natureza dos Dados
Qualitativa
Posicionamento Filosfico Pragmtico
Tabela 3.1: Classificao Geral da Pesquisa
Quanto ao mtodo de abordagem essa dissertao de carter indutivo, uma vez que
baseia-se em estudos primrios particulares para delinear o cenrio geral do tema em discusso. As concluses so concebidas por meio de uma cadeia de raciocnio ascendente onde
se permite, atravs dos dados obtidos, realizar inferncias de uma verdade geral sobre o tema
estudado (MARCONI; LAKATOS, 2004).
Justificado pela natureza exploratria das perguntas deste trabalho, o mtodo de procedimento adotado foi o mapeamento sistemtico da literatura (MSL), um tipo de reviso

40

CAPTULO 3. MTODO

sistemtica da literatura (RSL). Este tipo de procedimento utilizado em pesquisas mais amplas, que permitem uma perspectiva geral e de granulao grossa de uma determinada rea sob
investigao (KITCHENHAM, 2004; PETERSEN et al., 2008a).
No que diz respeito ao objetivo, a pesquisa classificada como descritiva, uma vez
que os fatos foram sistematicamente coletados, registrados, classificados e interpretados com
o intuito de analisar e caracterizar a completude dos relatos dos experimentos em elasticidade
realizados no contexto da computao em nuvem (ANDRADE, 2001).
Em relao natureza dos dados e das anlises adotadas, a pesquisa caracteriza-se
majoritariamente como qualitativa , uma vez que foca em aspectos mais profundos atravs
da anlise detalhada, classificao e interpretao do contexto do objeto de pesquisa (MARCONI; LAKATOS, 2004; CRESWELL, 2013). Tambm possvel perceber pequenos traos
quantitativos, uma vez que foram utilizados mtodos estatsticos para representar os dados da
pesquisa.
Do ponto de vista do posicionamento filosfico o estudo pragmtico, uma vez que tem
como objetivo auxiliar na resoluo dos problemas relacionados completude dos relatos dos
experimentos por meio de abordagem majoritariamente qualitativa, no abstendo-se de alguns
mtodos quantitativos.

3.2

Classificao do Estudo Sistemtico Segundo Cooper

Originalmente proposta para classificar revises sistemticas da literatura nas reas da


educao e psicologia, a Taxonomia de Cooper (TC) bastante aplicada a estudos sistemticos
de outras reas de pesquisa em geral (COOPER, 1988). Conforme pode ser observada na
Tabela 3.2 a taxonomia sugere a classificao perante seis caractersticas, onde em algumas delas
(marcadas com *) mais de um valor pode ser assumido.
Caracterstica
Foco*
Objetivo*
Perspectiva
Cobertura
Organizao*
Pblico-Alvo*

Categoria
Resultados de pesquisa [ou] Mtodos de pesquisa [ou] Teorias [ou] Prticas e
aplicaes
[Integrao (Generalizao; Resoluo de conflito; Construo de pontelingustica) ] [Crtica] [Identificao de questes centrais]
[Representao neutra] [Exposio de posio]
[Exaustiva] [Exaustiva com seleo seletiva] [Representativa] [Central ou piv]
[Histrica] [Conceitual] [Metodolgica]
[Estudiosos especializados] [Estudiosos gerais] [Profissionais] [Pblico geral]

Tabela 3.2: Taxonomia para classificao dos estudos secundrios segundo Cooper
A utilizao desta taxonomia tem o intuito de auxiliar a comunidade em trs pontos
especficos: (i) avaliao da qualidade dou trabalho, (ii) divulgao comunidade atravs de
um conjunto de termos bem definidos e, (iii) facilitar a pedagogia em cursos de graduao

3.2. CLASSIFICAO DO ESTUDO SISTEMTICO SEGUNDO COOPER

41

(COOPER, 1988). Na Tabela 3.3 possvel observar o resultado da classificao do estudo de


mapeamento sistemtico desta dissertao mediante a taxonomia de Cooper.

Caractersticas
Foco
Objetivo
Perspectiva
Cobertura
Organizao
Audincia

Classificao
[Resultados de Pesquisa] [Prticas ou aplicaes]
[Integrao (Generalizao) ] [Identificao de problemas centrais]
[Representao neutra]
[Exaustiva com citao seletiva]
[Metodolgica]
[Acadmicos Especializados] [Praticantes]

Tabela 3.3: Resultado da aplicao da Taxonomia de Cooper para a classificao do mapeamento


sistemtico desta pesquisa

Ao focar em resultados de pesquisa espera-se contribuir para o entendimento da prtica


dos relatos de experimentos em elasticidade na computao em nuvem a partir da anlise de uma
parcela representativa dos experimentos publicados por esta comunidade. O foco em prticas e
aplicaes importante e de grande valor para se entender certas tendncias.
Quanto ao objetivo, os enfoques escolhidos foram: integrao/generalizao e identificao de problemas centrais. Atravs destes espera-se integrar, organizar e sintetizar o
conhecimento por meio da agregao e consolidao das evidncias existentes na literatura e
identificar lacunas que permitam a melhora da rea de pesquisa estudada.
No que diz respeito perspectiva, a literatura ser discutida sob o ponto de vista neutro.
O intuito de se dissertar desta forma tende a evitar a transmisso de posicionamento ou opinio
do pesquisador, bem como inibir qualquer vis pr-existente do pesquisador. Tambm inteno
apresentar todas as evidncias sobre o tema investigado revelando seus pontos positivos e
negativos.
No quesito cobertura esta pesquisa classificada como exaustiva com citao seletiva,
visto que tentou-se selecionar a maior parte da literatura relacionada ao tema em discusso
atravs de buscas manuais e automticas, entretanto as fontes de pesquisas e perodo de cobertura
foram limitados.
Em relao organizao a dissertao est disposta de maneira metodolgica, visto
que os resultados esto agrupados em torno de ideias similares para facilitar a discusso e
interpretao dos resultados de acordo com as perguntas de pesquisa e aspectos metodolgicos
relacionados ao relato dos experimentos.
Por fim, em relao audincia a dissertao est direcionada aos pesquisadores especializados tanto da computao em nuvem, quanto da engenharia de software experimental,
que desejem conhecer o atual estado da prtica do relato dos experimentos em elasticidade na
computao em nuvem.

42

3.3

CAPTULO 3. MTODO

Ciclo da Pesquisa

O objetivo desta seo apresentar como foi planejada a metodologia para realizao
deste trabalho de mestrado em suas etapas e atividades. A Figura 3.1 apresenta todas as etapas
e respectivas atividades planejadas desde a definio da pesquisa at a divulgao de seus
resultados.
A seguir sero detalhadas as etapas de definio e planjeamento da pesquisa e divulgao
dos resultados. Escolheu-se apresentar a etapa de Execuo na Seo 4, visto que estas informaes dizem respeito materializao do mtodo planejado para a pesquisa na forma da execuo
do mapeamento sistemtico. A seguir sero apresentados os planejamentos de atividades, decises de pesquisa e suas particularidades. Quanto ordem, a execuo das atividades sequencial
e definida pelo fluxo das setas e suas direes.

Figura 3.1 Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades.

3.3.1

Etapa de Definio da Pesquisa

Esta etapa foi fundamental para todo o delineamento da pesquisa e teve como principais
objetivos: (i) identificao das oportunidades de pesquisa, (ii) definio do tema a ser trabalhado,
(iii) escopo, (iv) perguntas de pesquisa e (v) definio da metodologia e do mtodo emprico a
ser utilizado. Nas demais sub-sees a seguir, todas as definies da pesquisa sero detalhadas
seguindo a ordem de acontecimentos.

3.3. CICLO DA PESQUISA


3.3.1.1

43

Reviso Informal da Literatura

Com o intuito de obter um maior conhecimento sobre as necessidades da CN foi realizada


uma reviso informal da literatura para se identificar as oportunidades de pesquisa. Atravs desta
reviso foi possvel perceber a necessidade em se aumentar a utilizao de mtodos empricos
nas pesquisas da computao em nuvem, e assim, melhorar o rigor metodolgico das evidncias
de pesquisas (SILVA; ROSE; CALINESCU, 2013b; JAMSHIDI; AHMAD; PAHL, 2013). Ficou
evidente que os relatrios dos estudos empricos na CN so incompletos e apresentam uma
baixa qualidade metodolgica, dificultando, por exemplo, a avaliao da qualidade, interpretao,
generalizao, replicao e validade de seus resultados (DURAO et al., 2014; LI et al., 2013;
HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a).
3.3.1.2

Definio do Tema, Objetivo e Escopo

Para adquirir um maior embasamento terico sobre o assunto e definir o tema, objetivo e
escopo da pesquisa, foi realizada uma reviso bibliogfica tradicional nos principais temas relacionados ao assunto: computao em nuvem, estudos empricos e engenharia de software baseada
em evidncias. Assim observamos que, o problema em questo no especfico apenas do contexto da CN (SMITE et al., 2008; KAMPENES et al., 2009; RUNESON; STEFIK; ANDREWS,
2013) e que existe uma mobilizao dos pesquisadores da engenharia de software experimental
para melhorar os relatrios dos estudos empricos atravs da utilizao de guias para reportar
resultados(CARVER, 2010; BUDGEN; ZHANG, 2009; ?; KITCHENHAM; CHARTERS, 2007;
SMITE et al., 2008).
No melhor do nosso conhecimento e atravs de pesquisas feitas na literatura (Seo F.2),
at o inicio da presente pesquisa no haviam estudos sistemticos, no contexto da computao
em nuvem, que caracterizassem a completude dos relatos de maneira aprofundada, baseado em
guias existentes na literatura da engenharia de software experimental. Assim, conclumos que
o problema apresentava relevncia para gerar contribuies importantes, conforme discusso
apresentada na Seo 1.
As prticas de avaliao no contexto da CN so reportadas em vrias fontes como blogs,
revistas, relatrios tcnicos, publicaes acadmicas, etc. Publicaes acadmicas, em particular,
normalmente so mais formais e seguem um processo rigoroso de reviso. Considerando a
documentao especfica produzida nas publicaes formais, limitamos a este trabalho apenas s
publicaes acadmicas. No h desconfiana de que as publicaes informais tambm possam
fornecer informaes altamente relevantes, entretanto impraticvel explorar e coletar dados
teis atravs de diferentes fontes de dados de uma s vez.
A fim de realizar uma anlise inicial mais profunda e obter uma contribuio mais
relevante no estudo destes relatos, o foco inicial deste trabalho foi direcionado s pesquisas que
utilizaram realizaram experimentos. Escolheu-se focar em experimentos pois este um mtodo
emprico bem representativo mediante as caractersticas da rea de pesquisa em computao

44

CAPTULO 3. MTODO

em nuvem. Entretanto, mediante s limitaes de tempo e espao, foi necessrio condensar o


escopo da pesquisa e ento foi decidido estudar os relatos dos experimentos que avaliavam a
caracterstica mais marcante da computao em nuvem: a elasticidade. Embora o escopo tenha
sido reduzido, a quantidade de estudos avaliados matm a representatividade da rea de pesquisa
como um todo, tanto em nmero quanto natureza dos experimentos realizados.
Diante destes fatos, a pesquisa foi direcionada a compreender o estado da prtica de
comunicao dos resultados de experimentos em elasticidade na CN, fundamentado em guias
existentes na ESE, na perspectiva de profissionais e pesquisadores, a fim de identificar as lacunas
para melhoria da qualidade das evidncias empricas das publicaes cientficas.
3.3.1.3

Definio da Metodologia

Uma vez definidos o tema, objetivo e escopo da pesquisa, o prximo passo foi definir
qual seria o mtodo emprico a ser utilizado. Dentre os mtodos apresentados anterioremente
(Seo 2.2.1 e Seo 2.3) o mtodo considerado mais adequado foi o Mapeamento Sistemtico
da Literatura, tomando como base o objetivo, natureza exploratria das questes de pesquisa e
apresentao dos resultados pretendidos.
Inicialmente existia a dvida entre se realizar uma reviso sistemtica ou mapeamento
sistemtico. Em sua grande maioria, as revises sistemticas tem como objetivo avaliar, comparar ou decidir entre tcnicas, entretanto nosso objetivo a realizao de uma anlise temtica o
que se adequa mais ao objetivo de um mapeamento sistemtico. Outro aspecto que foi decisivo
na escolha do mtodo foi a ampla natureza exploratria da pergunta de pesquisa: Quo completos so os relatos de experimentos em elasticidade na computao em nuvem, em relao
apresentao de elementos da pesquisa que permitam a interpretao, avaliao da validade
e o potencial da pesquisa?. Visto que parte do objetivo realizar uma anlise de viso mais
profunda das evidncias da prtica dos relatos dos experimentos, o mtodo escolhido foi o
mais adequado, uma vesz que para tal precisamos integrar de forma exaustiva e sintetizar as
evidncias existentes (KEELE, 2007; PETERSEN et al., 2008a; BUDGEN et al., 2008). Outro
fator est relacionado forma de apresentao dos resultados, pois em um estudo de mapeamento
sistemtico eles so apresentados de forma categorizada e proporcionam uma viso sumria
que permite a melhor visualizao dos dados em forma de grficos e mapas (PETERSEN et al.,
2008a). Nas sub-sees a seguir todo o planejamento do mapeamento sistemtico ser detalhado
seguindo atravs da definio do protocolo da pesquisa.

3.3.2

Etapa de Planejamento do Mapeamento Sistemtico

Esta etapa foi fundamental para o planejamento do mapeamento sistemtico e teve


como atividades: (i) definio do protocolo e (ii) reviso do protocolo. Nesta etapa o principal
artefato produzido o protocolo do mapeamento que encontra-se em anexo no Apndice F desta
dissertao.

3.3. CICLO DA PESQUISA

45

Diferente de um processo no estruturado de reviso da literatura, um estudo sistemtico


procura reduzir o vis do pesquisador atravs de uma sequncia precisa e rigorosa de passos
metodolgicos. Toda a metodologia do mapeamento sistemtico desta pesquisa foi planejada em
trs fases como ilustra a Figura 3.2.

Figura 3.2 Metodologia planejada para a realizao do mapeamento sistemtico

A seguir sero apresentados os detalhes de planejamento do mapeamento e todas as


decises e informaes necessrios para a compreenso da pesquisa.
3.3.2.1

Definio do Protocolo

O objetivo do protocolo de um estudo sistemtico reduzir o vis do pesquisador e


fornecer um processo reproduzvel e transparente para a realizao do estudo. O protocolo do
mapeamento desta pesquisa foi construdo com base em guias existentes na literatura (KITCHENHAM, 2004; KEELE, 2007; PETERSEN et al., 2008b; ARKSEY; OMALLEY, 2005).
A seguir sero apresentados, atravs de pargrafos breves, apenas alguns dos elementos
relacionados ao planejamento do mapeamento, entretanto, possvel ter acesso ao protocolo
como um todo no Apndice F. Como pode ser visto na Figura 3.2 o planejamento compreende a
definio dos seguintes pontos: questes de pesquisa, estratgia de busca dos estudos, estratgia
de seleo dos estudos, avaliao da qualidade e estratgia de extrao.
3.3.2.1.1 Questes de Pesquisa A formulao das questes de pesquisa crucial e direciona
todas as atividades de busca, seleo, extrao dos dados e anlise dos estudos (KITCHENHAM;
CHARTERS, 2007). O objetivo desta pesquisa realizar um diagnstico da comunicao dos
resultados dos experimentos realizados na computao em nuvem para verificar se os autores

46

CAPTULO 3. MTODO

apresentam em seus relatos um conjunto de elementos que permitam interpretar, avaliar a


validade e o potencial de tais estudos como: motivao, objetivo, mtodo, anlise dos dados,
resultados, concluses e limitaes. Com este objetivo e tomando como base as orientaes
criadas por JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008), que orientam os pesquisadores a
relatar o resultado de experimentos com base em um conjunto de informaes essenciais para
seu entendimento, foi criado o conjunto de questionamentos abaixo:


QP1 - Quo completos so os relatos de experimentos em elasticidade na computao


em nuvem, em relao apresentao de elementos da pesquisa que permitam a
interpretao, avaliao da validade e o potencial da pesquisa?


SQP1 - O ttulo permite que o leitor identifique que o estudo um relato


de experimento?
SQP2 - Informaes importantes do resumo como motivao, objetivos,
mtodos, resultados, limitaes e concluses da pesquisa so relatadas?
SQP3 - A introduo do relato apresenta referncias declarao do
problema, objetivos e contexto da pesquisa?
SQP4 - A fundamentao informa sobre a tecnologia em investigao, s
possveis opes alternativas a ela, pesquisas relacionadas e a relevncia
para a prtica?

SQP5 - O relato apresenta informaes sobre o planejamento da pesquisa?

SQP6 - O relato detalha a anlise dos dados da pesquisa?

SQP7 - Os resultados, suas implicaes e ameaas validade so relatados?


SQP8 - As concluses do estudo apresentam um resumo conciso da pesquisa, seus impactos e trabalhos futuros?

3.3.2.1.2 Estratgia de Busca dos Estudos A busca dos estudos inclui as estratgias manuais e automticas. Foi planejado que ambas as estratgias deveriam ser executadas pelo autor da
pesquisa e os resultados obtidos exportados para o sistema ExtractViewer, ferramenta criada para
auxiliar toda a realizao do estudo sistemtico. Mais informaes sobre a feramenta podem
ser obtidas no Apndice G As fontes de busca manuais planejadas e os respectivos perodos de
coleta so as apresentadas na Tabela 3.4.
Para a estatgia automtica planejou-se a utilizao dos mecanismos IEEE Xplore Digital
Library 1 , ACM Digital Library 2 , Elsevier Scopus 3 , Springer Link 4 . A string de busca
1 http://ieeexplore.ieee.org
2 http://portal.acm.org
3 http://www.scopus.com
4 http://link.springer.com

3.3. CICLO DA PESQUISA


Fonte
EASE International Conference on Evaluation
and Assessment in Software Engineering
ESEM International Symposium on Empirical
Software Engineering and Measurement
ESE Empirical Software Engineering Journal
CLOUD IEEE International Conference on
Cloud Computing
CLOUDCOM IEEE International Conference
on Cloud Computing Technology and Science
TPDS IEEE Transactions on Parallel and Distributed Systems

47
Perodo
2006-2014

Tipo
Conferncia

rea
ESE

2007-2014

Simpsio

ESE

2006-2014
2009-2014

Journal
Conferncia

ESE
CN

2010-2014

Conferncia

CN

2006-2014

Journal

CN

Tabela 3.4: Fontes de Busca Manual e Perodo de Coleta


definida apresentada na Tabela 3.5. Foram utilizados os principais sinnimos para a definio
da computao em nuvem e seus modelos de servio. Para encontrar os experimentos mais
efetivamente foi utilizado o termo experimento conforme as orientaes de DIESTE; GRIMN;
JURISTO (2008). Com o objetivo de encontrar os experimentos que claramente declaravam
realizar experimentos em elasticidade o termo foi includo na string de busca.

(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-a-Service <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR> SaaS <OR>
Software-as-a-Service"<OR> Software as a Service)
[AND]
(Elasticity)
[AND]
(Experiment OR Evaluate OR Evaluation OR Evaluating OR Benchmark)
Tabela 3.5: String de Busca utilizada na pesquisa dos estudos do MS

3.3.2.1.3 Estratgia de Seleo dos Estudos A seleo dos estudos foi planejada em duas
etapas, onde a primeira consiste na leitura do ttulo e resumo de todos os estudos pelo autor
da pesquisa em conjunto com um pesquisador experiente e, apenas os trabalhos claramente
fora do escopo da pesquisa e duplicados devem ser excludos. Em caso de dvida em relao
permanncia do estudo o mesmo deve ser mantido para a segunda rodada de seleo conforme
recomenda KITCHENHAM; CHARTERS (2007).
A segunda etapa contempla a participao de pesquisadores configurados em duplas e
todos os estudos devem ser lidos sinteticamente e analisados conforme os critrios de excluso
definidos. O grau de concordncia entre os revisores deve ser calculado para garantir que o
resultado obtido no foi meramente ao acaso.

48

CAPTULO 3. MTODO

Quanto aos critrios de excluso, os mesmos foram definidos com objetivo de identificar
apenas os experimentos que avaliavam a elasticidade na computao em nuvem, o que deixa
implcito que todos os estudos que no se enquadraram nestes critrios deve ser automaticamente
includos. A lista dos critrios pode ser observada na Tabela 3.6. Todo o processo deve ser
assitido pela ferramenta ExtractViewer e cada um dos revisores, de posse de suas credenciais de
acesso devem proceder com a anlise dos estudos designados a ele. Mais detalhes sobre as telas
e informaes disponibilizadas aos revisores pode ser vista no Apndice G. Inicialmente alguns
dos critrios podem parecer similares entre si, entretanto o objetivo realizar uma anlise com
granularidade fina a fim de facilitar futuros estudos com os resultados das selees de estudos
realizada nesta reviso.
Cdigo
C01
C02
C03
C04
C05
C06
C07
C08
C09
C10
C11

Critrios de Excluso
O arquivo no corresponde ao Estudo. (Ex: ndice)
O arquivo no um Estudo. (Ex: proceedings, editorial)
O Estudo duplicado.
O Estudo um slideshow ou resumo expandido.
O Estudo est fora do intervalo de avaliao.
O Estudo est relacionado Elasticidade mas no relata um Experimento.
O Estudo est relacionado Elasticidade, reporta um Experimento porm no
avalia Elasticidade.
O Estudo no est disponvel.
O Estudo no est em ingls.
O Estudo no est relacionado Computao em Nuvem.
O Estudo no est relacionado Elasticidade na Computao em Nuvem.
Tabela 3.6: Lista dos Critrios de Excluso em ordem alfabtica.

3.3.2.1.4 Avaliao da Qualidade O intuito desta pesquisa ser exaustiva, e identificar a


maior quantidade de experimentos em elasticidade para obter uma representatividade ampla da
populao. Assim sendo, a anlise de qualidade dos estudos selacionados no foi realizada, uma
vez que nesta caso a incluso do maior nmero de estudos pode contribuir potencialmente para a
formao de uma viso ampla da prtica atual dos relatos dos experimentos.

3.3.2.1.5 Estratgia de Extrao Foi planejado que o processo de extrao dos dados seria
feito em duas partes: extrao dos metadados e extrao atravs do instrumento de anlise de
completude dos relatos. A primeira parte contempla os metadados relacionados ao ttulo do
estudo, autores, instituies, pases, fonte e ano de publicao. Uma vez que tais dados devem
ser coletados durante a etapa de busca e importados para o sistema ExtractViewer, sua extrao
deve ser realizada atravs de consultas ao banco de dados do sistema. J a segunda parte deve
ser extrada atravs da leitura e aplicao do instrumento de coleta nos estudos selecionados
conforme orientaes e detalhes apresentados no Apndice H e Seo 2.2.2.

3.3. CICLO DA PESQUISA


3.3.2.2

49

Reviso do Protocolo

Com a concluso do protocolo, conforme orientao dos guias utilizados, o mesmo foi
apreciado por especialistas da computao em nuvem, engenharia de software experimental
e engenharia de software baseada em evidncias. Aps a realizao dos sucessivos ajustes
propostos, a verso final do protocolo foi ento estabelecida para permitir assim o incio da etapa
de execuo da pesquisa.

3.3.3

Etapa de Execuo da Pesquisa

Como explanado no incio deste captulo os resultados das atividades de execuo do


mapeamento sistemtico sero apresentados na Seo 4.

3.3.4

Etapa de Divulgao dos Resultados

Esta etapa possui uma dinmica de execuo diferente das demais em termos de execuo,
suas atividades so: (i) Escrita da Dissertao e (ii) Submisso Journal. Todos os resultados
detalhados e demais detalhes relacionados execuo e planejamento da pesquisa esto sendo
divulgados por meio desta dissertao. Ao dissertar tentou-se acrescentar a maior quantidade
de informaes possveis em relao ao mtodo da pesquisa, de forma a propiciar uma melhor
visualizao do planejamento e da execuo do mtodo, transparecer a credibilidade da pesquisa
e facilitar possveis replicaes.
A execuo da primeira atividade, escrita da dissertao, no foi sequencial e sim
iterativa e incremental, onde em cada etapa do ciclo da pesquisa as informaes produzidas eram
redigidas e registradas nesta dissertao.
A segunda atividade, submisso journal, extrapola o marco de apresentao deste trabalho
de dissertao e visa apresentar comunidade os resultados desta pesquisa de maneira mais
ampla. Aps a concluso e apresentao do trabalho sero recebidas as sugestes de correo e
melhorias e, aps a realizao das mesmas, os resultados desta pesquisa sero submetidos dois
peridicos: ESE e TPDS.

3.3.5

Resumo

Neste captulo foi descrita a metodologia utilizada nesta pesquisa, sua classificao,
estruturao, planejamento, conduo e as razes de uso dos procedimentos ou mtodos. Tambm
foi apresentada a estratgia planejada para a divulgao dos resultados obtidos na pesquisa. No
prximo captulo so apresentados todos os detalhes de execuo do mapeamento sistemtico e
uma anlise dos resultados obtidos.

51

4
Resultados
Este captulo tem como objetivo trazer informaes a cerca da etapa de execuo do
mapeamento sistemtico e apresentar os resultados encontrados na anlise das evidncias. Na
seo Execuo do Mapeamento Sistemtico so apresentados todo os detalhes da execuo do
mapeamento, compreendendo as atividades de busca, seleo, extrao dos dados e sintetizao
dos resultados.
A anlise e discusso dos resultados obtidos constituem as principais contribuies deste
trabalho e sero apresentados em trs Sees distintas: Anlise Geral, Anlises das Evidncias
e Discusso dos Resultados. A Seo 4.2 apresenta os dados quantitativos do processo de
mapeamento sistemtico e caractersticas gerais dos estudos analisados. A Seo 4.3 apresenta a
anlise das evidncias identificadas respondendo a cada uma das perguntas de pesquisa. E por
fim a Seo 4.4 se dedica a discutir os principais resultados obtidos.

4.1

Execuo do Mapeamento Sistemtico

O intuito desta seo apresentar os detalhes da etapa de execuo do mapeamento


sistemtico que se inicia com a seleo dos estudos e resulta na sintetizao da informao.
Nas prximas sub-sees sero apresentados os detalhes de execuo relativos s atividades e
informaes pertinentes ao entendimento do contexto e interpretao da pesquisa.

4.1.1

Busca dos Estudos

A atividade de busca foi guiada pelo planejamento realizado na Seo 3.3.2.1.2 e executada em dois momentos: (i) busca automtica e (ii) busca manual. No foi necessrio nenhum
replanejamento desta atividade e todos os estudos foram coletados juntamente com suas informaes de metadados. Todos os resultados foram importados e devidamente tratados pela
ferramenta ExtractViewer. importante ressaltar que esta atividade conhecidamente laborosa e
exige do pesquisador um certo volume de trabalho manual e repetitivo na montagem e organizao das informaes que so apreciadas na atividade de seleo dos estudos primrios. Neste

52

CAPTULO 4. RESULTADOS

quesito, o apoio da ExtractViewer foi essencial para diminuir a propenso a erros e acelerar o
andamento da pesquisa.
No primeiro momento foram executadas as buscas automticas e para todas elas a
string de busca foi adaptada para atender sintaxe do mecanismo. Toda a lgica e semntica
definidas foram inteiramente mantidas. A busca no IEEE Xplore foi realizada sem maiores
dificuldades e o engenho permitiu que o resultado fosse exportado por completo em um nico
arquivo no formato csv. Todos os metadados necessrios para a interpretao dos estudos foram
adquiridos e importados sem nenhuma intercorrncia. Na ACM Digital Library houve um pouco
de dificuldade na exportao dos resultados, visto que o engenho no apresenta a funcionalidade
especfica para este propsito. Mesmo com tais dificuldades, todos os dados da pesquisa e
metadados dos estudos foram adquiridos e importados para a ferramenta. No Springer Link
tambm houve a mesma dificuldade em relao exporto dos resultados. Por fim, no Elsevier
Scopus a busca foi executada sem maiores dificuldades e os resultados exportados por completo
em um arquivo csv. A nica diferena deste engenho que a consulta era executada em sistema
de processamento em lotes e o resultado da consulta era recebido via email.
J a busca manual foi realizada com sucesso em todas as conferncias planejadas e concluda sem intercorrncias. Todas as buscas foram importadas com sucesso para a ExtractViewer
e a contabilizao destes por conferncia pode ser vista na Tabela 4.1. Ao trmino das atividades
desta etapa foram identificados 3.611 estudos candidatos para anlise. Mais detalhes em relao
a anlise dos engenhos utilizados podem ser conferidos na Seo 4.2 deste captulo.
Fonte de Dados
ACM Digital Library
IEEEXplorer Digital Library
Elsevier Scopus
Springer Link
TPDS
CLOUDCOM
CLOUD
EASE
ESE
ESEM

Tipo

Quantidade de Estudos

Automtica
Automtica
Automtica
Automtica
Manual
Manual
Manual
Manual
Manual
Manual

490
170
163
251
1315
517
454
85
75
91

Tabela 4.1: Quantitativo de estudos candidatos localizados por fonte de dados.

4.1.2

Seleo dos Estudos Primrios

O processo de seleo dos estudos foi realizado em duas rodadas sequenciais: primeira
rodada e segunda rodada. Ambas as rodadas utilizaram a ferramenta ExtractViewer. Atravs
dela os revisores puderam trabalhar em paralelo em um ambiente distribudo, o que ajudou a
acelerar a execuo desta etapa.

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

53

Na primeira rodada, como ilusta a Figura 4.1, o ttulo, resumo e palavra-chave de todos
os 3.611 estudos candidatos foram lidos e avaliados pelo autor e outro pesquisador experiente.
As anlises desta rodada foram feitas pelo autor do estudo atravs da ferramenta ExtractViewer.

Figura 4.1 Esquema de execuo da primeira rodada de seleo dos estudos do mapeamento sistemtico

Apenas os trabalhos claramente fora do escopo da pesquisa (3.260) e os considerados


duplicados (155) foram excludos. Os estudos duplicados foram identificados automaticamente
pela ferramenta atravs das informaes de metadados e apresentou uma efetividade de 97%.
Todos os indcios de duplicaes foram verificados pelo autor para ratificar a veracidade da
informao. Neste momento tambm foram ratificas todas as informaes de metadados dos
estudos. Ao final desta rodada restaram 196 estudos. Mais detalhes sobre o resultado do processo
de seleo podem ser obtidos na Seo 4.2. O grande quantitativo de estudos excludos chamou
ateno e resolveu-se analisar em detalhes o motivo que tenha levado ocorrncia deste fato.
Atravs de tal anlise chegou-se aos dados da Tabela 4.2 e podemos observar que o grande
quantitativo de estudos excludos estava relacionado ao fato de o estudo no estar relacionado
computao em nuvem ou elasticidade.
Por meio destes dados foi possvel perceber um achado que chamou bastante a ateno: o
jornal IEEE Transactions on Parallel and Distributed Systems, apresentou uma grande quantidade
de estudos excludos pelo motivo "O Estudo no est relacionado Computao em Nuvem".
Apesar de no existir ainda um jornal especfico para a rea de pesquisa da computao em
nuvem, e tal jornal por ser relacionado grande rea de pesquisa de sistemas distribudos a qual
a computao em nuvem pertence, esperava-se que existisse grande possibilidade de encontrar
estudos relevantes para a pesquisa. Entretanto, foi possvel perceber que a estratgia de incluso
deste jornal no teve o efeito esperado.
J as conferncias "IEEE International Conference on Cloud Computing Technology and
Science" e "IEEE International Conference on Cloud Computing" apresentarem um alto volume
de excluso pelo critrio "O Estudo no est relacionado Elasticidade na Computao em
Nuvem". Tal fato pode ser compreensvel, visto que estudos sobre avaliao em elasticidade comearam a despontar na literatura em 2009 e o auge de publicaes datam de 2012 (COUTINHO
et al., 2014).

54

CAPTULO 4. RESULTADOS
Origem dos Dados

IEEE Transactions on Parallel


and Distributed Systems

Busca
Manual

IEEE International Confe- Manual


rence on Cloud Computing Technology and Science
IEEE International Confe- Manual
rence on Cloud Computing

ACM Digital Library

Automtica

Springer Link

Automtica

Motivo Excluso

Recup.

O Estudo no est rela- 1315


cionado Computao
em Nuvem.
O Estudo no est rela517
cionado Elasticidade
na Computao em Nuvem.
O Estudo no est rela454
cionado Elasticidade
na Computao em Nuvem.
O Estudo no est rela490
cionado Elasticidade
na Computao em Nuvem.
O Estudo no est rela- 251
cionado Elasticidade
na Computao em Nuvem.

Excl.
1199

%
Excl.
91%

480

93%

421

93%

323

66%

121

48%

Tabela 4.2: Critrios de excluso apliados na primeira etapa de seleo dos estudos candidatos
A segunda rodada contou com a participao de 18 pesquisadores, configurados em 10
duplas para realizar a anlise dos 196 estudos resultantes da primeira rodada. O processo de
seleo pode ser visto na Figura 4.2 que contm a mesma semntica da Figura 4.1. Vale destacar
que o processo apresentado repetido para cada uma das duplas participantes. A configurao
de duplas foi feita conforme a Tabela F.2 e cada uma delas analisou 10% dos trabalhos, o que
resulta em aproximadamente 20 estudos por revisor.
Com o acesso ao sistema, cada integrante das duplas analisou todos os estudos presentes na sua lista, registrando os possveis critrios aplicados e caso desejasse os respectivos
comentrios. Ao final das anlises a ferramenta identificou todos os conflitos existentes entre
os revisores de cada uma das duplas. Todos os conflitos foram resolvidos atravs de reunio e
sem intercorrncias e ao final desta etapa foram selecionados 59 estudos. A listagem dos estudos
selecionados, juntamente com seu respectivo cdigo, ttulo, ano, origem dos dados e autores
apresentado no Apndice A.
Para mensurar o grau de confiabilidade da aplicao dos critrios a segunda rodada,
foram executados testes de Kappa (VIERA; GARRETT, 2005) para aferir a concordncia entre
os revisores (KITCHENHAM; CHARTERS, 2007; EDWARDS et al., 2002). A estatstica de
Kappa denotada pela letra "K"e calculada atravs de um teste que retorna valores de menos
infinito a 1, sendo interpretado conforme a Tabela 4.3. O clculo desta estatstica acompanhado
de um teste de confiabilidade, que ajuda a identificar se o valor de K foi obtido atravs de mera
chance por meio de um p-value (VIERA; GARRETT, 2005).

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

55

Figura 4.2 Esquema de execuo da segunda rodada de seleo dos estudos do mapeamento sistemtico

Kappa
<0
0,0
0,01 - 0,20
0,21 - 0,40
0,41 - 0,60
0,61 - 0,80
0,81 - 0,99

Concordncia
Menos que mera chance de concordncia
Nvel pobre de concordncia
Nvel leve de concordncia
Nvel razovel de concordncia
Nvel moderado de concordncia
Nvel substancial de concordncia
Nvel quase perfeito de concordncia

Tabela 4.3: Valores de referncia para interpretao do teste Kappa


Ao final foi analisado o ndice de concordncia global e obteve-se um valor K=0,376,
que conforme a Tabela 4.3 considerado um nvel de concordncia razovel. Para este teste
obtivemos um p-value=0,001, que permite rejeitar a hiptese de que o resultado tenha acontecido
ao acaso. Tal resultado foi obtido com certa surpresa, uma vez que somadas todas as duplas
houveram 139 concordncias contra 57 discordncias, configurando um nvel de concordncia
de 71%, que mostra-se aparentemente moderado para ser considerado apenas razovel.
No que diz respeito anlise de concordncia entre os integrantes das duplas, foram
obtidos os valores apresentados na Tabela 4.4. As estatsticas indicam que as duplas D4, D7 e
D8 se enquadram em um nvel de concodncia substancial, tendo como rejeitada a hiptese nula
de concordncia por mera chance. As duplas D1, D2, D3, D5, D9 e D10 apresentaram um nvel
razovel de concordncia. J a dupla D6 apresentou um nvel de concordncia leve, com p-value
mostrando no ser possvel rejeitar a hiptese de que esse resultado se deu por mero acaso. Ao
analisar, em especial, os conflitos e as respectivas discordncias foi possvel observar que o
principal fator de discordncia foi na diferenciao dos conceitos de elasticidade. Tal resultado
pode ser considerado relativamente natural, visto que a dupla foi composta por um especialista
em CN e outro em ESE. Assim sendo, foi considerado que o ndice de 71% de concordncia

56

CAPTULO 4. RESULTADOS

quanto incluso/excluso dos estudos primrios evidencia uma taxa segura de confiabilidade
para os critrios utilizados nesta pesquisa.
Dupla
D1
D2
D3
D4
D5
D6
D7
D8
D9
D10

Kappa
0,21
0,36
0,26
0,61
0,24
0,05
0,66
0,78
0,38
0,21

p-value
0,36
0,04
0,16
0,003
0,21
0,83
0,002
0,001
0,07
0,36

Concordncia
Nvel razovel de concordncia
Nvel razovel de concordncia
Nvel razovel de concordncia
Nvel substancial de concordncia
Nvel razovel de concordncia
Nvel leve de concordncia
Nvel substancial de concordncia
Nvel substancial de concordncia
Nvel razovel de concordncia
Nvel razovel de concordncia

Tabela 4.4: Resultado dos testes Kappa


Ao analisar os ndices de concordncia procurou-se entender e investigar o principal
motivo que levou a este grau de discordncia entre os revisores e foi observado que os principais
motivos de conflito foram dois: (i) atestar que o estudo reportava um experimento e (ii) atestar
se o experimento avaliava elasticidade. Entretanto, acreditamos que a discordncia do ponto (i)
foi causada pelo uso indiscriminado da terminologia dos estudos empricos. Houveram estudos
em que o autor declarava em um trecho do artigo ter realizado um experimento e, logo em
outro trecho do mesmo artigo alegar que foi realizado um estudo de caso. Quanto ao ponto (ii)
observou-se que a dificuldade ocorreu pela confuso que existe entre os conceitos de elasticidade
e escalabilidade.

4.1.3

Extrao dos Dados

A atividade de extrao dos dados ocorreu sem maiores intercorrncias e foi realizada por
dois pesquisadores conforme justificado na Seo 3.3.2.1.5. A etapa de extrao dos metadados
dos estudos foi realizada atravs de consultas sql executadas diretamente do banco de dados
do sistema ExtractViewer. A extrao dos dados para identificar a completude dos relatos foi
norteado pelo instrumento de coleta detalhado no Apndice H.

4.1.4

Sintetizao dos Dados

Em particular, os dados coletados durante a extrao podem ser distinguidos entre


metadados das publicaes e dados sobre a caracterizao dos relatos. Os metadados foram
utilizados principalmente para realizar uma investigao estatstica dos estudos selecionados,
enquanto que os dados de relato dos experimentos foram analisados com o objetivo de responder
s questes de pesquisa apresentadas na Seo 4.3.

4.2. ANLISE GERAL

4.2

57

Anlise Geral

O objetivo desta seo apresentar uma anlise dos dados obtidos no mapeamento
sistemtico. Sero apresentados inicialmente dados relacionados busca, seleo e extrao
dos dados. Em seguida sero apresentados dados relacionados aos estudos selecionados, seus
metadados, grupos de pesquisa, pas e outras caractersticas gerais.
Atravs do grfico da Figura 4.3 possvel visualizar a participao das estratgias de
busca no quantitativo de estudos candidatos identificados. Fica ntido que a maior participao
na identificao dos estudos foi da estratgia manual (70%), entretanto ao final do processo
de seleo dos estudos este cenrio se inverte e o maior nmero de estudos selecionados
proveniente da estratgia automtica (92%).

Figura 4.3 Participao das estratgias de busca no quantitativo de estudos candidatos identificados

A anlise da busca automtica apresentada na Figura 4.4 revela que o engenho de busca
ACM se sobressai no quantitativo de estudos candidatos identificados (490), entretanto ao final
da seleo dos estudos o IEEE apresentou a maior quantidade de estudos selecionados (29).
A anlise da busca manual apresentada na Figura 4.5 revela que o jornal IEEE Transactions on Parallel and Distributed Systems retornou o maior quantitativo de estudos candidatos. Tal
fato se justifica pelo fato do jornal ser de publicao mensal e o perodo de busca ter compreendido o perodo de nove anos. Nas anlises tambm foi possvel constatar que ao final da segunda
etapa de seleo dos estudos a estratgia utilizada apresentou uma baixa preciso ao se comparar
a quantidade de estudos candidatos (1315) versus a de estudos selecionados (2).
Ainda sobre os engenhos de busca, podemos atravs da Figura 4.6 observar a participao
de cada deles no quantitativo dos estudos selecionados. Como j pode ser visto, a estratgia
manual identificou um grande nmero de estudos candidatos, entretanto foi o que teve o menor
desempenho em relao aos estudos selecionados, sendo a estratgia automtica a mais efetiva.
As anlises realizadas na primeira e segunda etapa do processo de seleo de estudos esto

58

CAPTULO 4. RESULTADOS

Figura 4.4 Distribuio do quantitativo dos estudos candidatos identificados pela busca automtica em
relao s fontes de dados

Figura 4.5 Distribuio dos estudos candidatos resultantes da busca manual em relao aos meios de
publicao

resumidas na Tabela 4.5 e Tabela 4.6 respectivamente. As tabelas apresentam informaes que
indicam por critrios e fonte de dados os quantitativos aplicados. Os critrios so apresentados
na forma de seus respectivos cdigos e suas descries podem ser vistas na Tabela 3.6.
Os 59 estudos selecionados esto apresentados no Apndice A, bem como seus respectivos cdigos iniciados com a sigla EPS (estudo primrio selecionado). J os estudos
excludos na segunda etapa esto apresentados no Apndice B, tambm com os respectivos
codigos iniciados com a sigla EPE (estudo primrio excludo).
A distribuio temporal dos estudos selecionados pode ser observada no grfico da Figura 4.7. Observa-se que o primeiro relato de experimento que avalia elasticidade na computao
em nuvem data de 2010. Tambm possvel perceber uma tendncia de crescimento do quantitativo de publicaes apesar da inquietude vivenciada em meados de 2010 em relao segurana,
que influenciou negativamente as tendncias em servios sob-demanda e a elasticidade (DURAO

4.2. ANLISE GERAL

59

Figura 4.6 Participao das fontes de busca

Fontes

Est.

C1
ACM
490
1
IEEE
170
1
Scopus
163
0
Springer
251
1
ESE
75
0
CLOUD
454
0
CLOUDCOM 517
0
TPDS
1315 0
EASE
85
0
ESEM
91
0
Total
3.611 3

C2
9
0
6
22
0
0
2
32
0
0
71

C3
31
42
58
5
0
8
6
5
0
0
155

C4
12
0
0
0
0
1
0
2
0
15

C5
0
0
0
1
0
0
0
0
0
0
1

1 Etapa
Excludos
C6 C7 C8
11
4
0
4
6
0
4
4
0
14
0
0
0
0
0
1
1
0
3
0
0
0
0
0
0
0
0
0
0
0
37 15
0

C9
1
0
0
0
0
0
0
0
0
0
1

C10
37
0
3
73
73
6
9
1.199
85
89
1.574

Tabela 4.5: Resumo da busca e seleo de estudos na primeira etapa


et al., 2014).

Figura 4.7 Distribuio temporal dos estudos selecionados

C11
324
53
64
122
2
421
480
75
0
2
1.543

Incl.
60
64
24
13
0
16
17
2
0
0
196

60

CAPTULO 4. RESULTADOS

Fontes

Est.

ACM
60
IEEE
64
Scopus
24
Springer
13
ESE
0
CLOUD
16
CLOUDCOM 17
TPDS
2
EASE
0
ESEM
0
Total
196

C1
0
0
0
0
0
0
0
0
0
0
0

C2
0
0
0
0
0
0
0
0
0
0
0

C3
1
2
0
0
0
0
0
0
0
0
3

C4
1
5
0
0
0
1
0
0
0
7

2 Etapa
Excludos
C5 C6 C7 C8
0
8
22
0
0
5
16
0
0
4
5
5
0
1
3
0
0
0
0
0
0
3
4
0
0
4
4
0
0
0
0
0
0
0
0
0
0
0
0
0
0
25 54
5

C9
0
0
0
0
0
0
0
0
0
0
0

C10
4
0
0
3
0
2
1
0
0
0
10

C11
10
7
2
3
0
3
7
1
0
0
33

Selec.
14
29
8
3
0
3
1
1
0
0
59

Tabela 4.6: Resumo da busca e seleo de estudos na segunda etapa


Ao se analisar os meios de publicao dos estudos selecionados percebe-se que no existe
uma fonte especfica para a publicao de experimentos em elasticidade. Atravs do Apndice C
nota-se uma grande disperso delas, sendo as cinco mais representativas: (i) International
Conference on Cloud Computing, (ii) IEEE Transaction on Parallel and Distributed Systems,
(iii) Journal of Computer Science and Technology, (iv) IEEE/ACM International Symposium on
Cluster, Cloud and Grid Computing e (v) International Conference on Distributed Computing
Systems. Tal constatao pode contribuir para a identificao de melhores fontes de busca na
realizao de futuras pesquisas sobre experimentao em elasticidade na computao em nuvem.
No grfico da Figura 4.8 apresentada a distribuio dos estudos selecionados por fonte
de dado e ano. possivel perceber que o IEEE Xplorer, ACM Digital Library e o Scopus so as
fontes de dados mais regulares na distribuio dos estudos por ano. J a CLOUDCOM e o IEEE
Transaction on Parallel and Distributed Systems foram os menos consistentes.
A contagem dos pases que mais publicaram foi feita da seguinte forma: para cada pas
de cada grupo de pesquisa em uma publicao selecionada, o nmero de publicaes no pas era
aumentado. Por este motivo alguns artigos foram contados para mais de um pas. A Figura 4.9
apresenta a quantidade de publicaes por pas. Dentre os 17 pases os 5 que mais se destacaram
no relato de experimentos em elasticidade foram: (i) Estados Unidos, (ii) China, (iii) Alemanha,
(iv) Brasil) e (v) Frana.
Ao todo foram identificados 68 grupos de pesquisa distribudos entre os 17 pases. A
listagem dos grupos encontra-se no Apndice D deste trabalho. As cinco principais instituies
que apresentam maior quantidade de publicaes foram as acadmicas: (i) Technische Universitt Dresden, (ii) University of New South Wales, (iii) Carleton University, (iv) Universidade
Federal do Cear e (v) Imperial College London. A Figura 4.10 apresenta a distribuio destas
instituies de acordo com a sua finalidade principal.
Na Figura 4.11 possvel perceber, em 2014, o surgimento de publicaes que relatam

4.2. ANLISE GERAL

61

Figura 4.8 Distribuio do quantitativo de estudos selecionados por fonte de dado e ano.

Figura 4.9 Distribuio dos estudos selecionados por pases

experimentos em elasticidade pela indstria. Dentre os relatos foram identificadas as publicaes


das seguintes instituies da indstria: (i) Canonical Ltd - Reuno Unido (1), (ii) SAP AG Alemanha (1) e (iii) SIGMA Informatique - Frana (1). Tambm possvel perceber tendncias
de crescimento em relao s publicaes feitas pela academia e instituies de pesquisas. A
INRIA Centre Rennes - Frana foi a instituio de pesquisa com a maior quantidade de estudos
(2) e os pas com a maior quantidade de instituies de pesquisa so os Estados Unidos (5) e

62

CAPTULO 4. RESULTADOS

Figura 4.10 Distribuio dos estudos selecionados por pases

Frana (4). J s instituies acadmicas foram lideradas pelos Estados Unidos (13), Brasil (7)
e China (7).

Figura 4.11 Distribuio do quantitativo de estudos por tipo de instituio e ano

Em relao distribuio dos estudos selecionados pelo modelo de servio e ano, como
mostra a Figura 4.12, possvel observar que 78% dos estudos giram em torno da modalidade
IaaS e PaaS. Tambm constatamos que apenas 5% deles so relacionados apenas a SaaS.
Os 59 estudos primrios selecionados foram conduzidos por 217 autores no total. A
listagem completa destes autores pode ser encontrada no Apndice E. Na Tabela 4.7 possvel
observar os 12 autores que esto envolvidos em mais de um trabalho, em sua maioria eles so
da academia e representam os seguintes pases: (i) Alemanha, (ii), Austrlia, (iii) Brasil, (iv)
Canad, (v) Frana e (vi) Portugal.

4.3. ANLISES DAS EVIDNCIAS

63

Figura 4.12 Distribuio dos estudos por modelo de servio e ano.

Instituio
Fetzer, C.
Venugopal, S.
Ajila, S.A.
Da .Silva, T.L.C.
Machado, J.C.
Martin, A.
Matos, M.
Morin, C.
Nascimento, A.M.
Nikravesh, A.Y.
Oliveira, R.
Vilaa, R.

Publicaes
3
3
2
2
2
2
2
2
2
2
2
2

Tipo
Academia
Academia
Academia
Academia
Academia
Academia
Academia
Pesquisa
Academia
Academia
Academia
Academia

Pas
Alemanha
Austrlia
Canad
Brasil
Brasil
Alemanha
Portugal
Frana
Canad
Canad
Portugal
Portugal

Tabela 4.7: Lista dos autores com mais de uma publicao

4.3

Anlises das Evidncias

Entre os estudos selecionados, foram extradas e mapeadas as evidncias relevantes para


responder s perguntas desta pesquisa. A seguir ser apresentada uma sub-seo para sintetizar
as evidncias de cada uma das perguntas de pesquisa. importante ressaltar que todos os
estudos selecionados receberam um identificador exclusivo, conforme apresentado na Tabela A.1
presente no Apndice A. Assim, ao longo desta seo, os estudos sero citados atravs destes
identificadores.
Vale ressaltar, que o intuito da aplicao do instrumento de pesquisa foi o de identificar se

64

CAPTULO 4. RESULTADOS

os autores relatam elementos da pesquisa que permitam analisar sua validade e potencial como:
motivao, objetivo, mtodo, anlise dos dados, resultados, concluses e limitaes. Assim,
como o objetivo no era de ranquear os estudos e sim obter um grau de completude em relao
ao guia de JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008), no foi aplicado na computao
do valor o conceito de pesos entre os acertos obtidos e sim o somatrio dos mesmos. Maiores
detalhes sobre o instrumento de pesquisa, seus critrios, objetivos e contabilizao de pontos
podem ser obtidos no Apndice H.

4.3.1

SQ1 - O ttulo permite que o leitor identifique que o estudo um


relato de experimento?

O ttulo do relato de um experimento deve ser informativo, uma vez que atravs dele
potenciais leitores so alertados sobre a existncia de um artigo de interesse. O guia utilizado
recomenda que o ttulo indique facilmente que o estudo trata de um experimento, incluindo
termos como experimento, experimento controlado, quasi-experimento, replicao de
experimento. Uma outra recomendao que, caso o espao disponvel para o ttulo permita,
tambm se inclua informaes do tratamento e as variveis dependentes do experimento.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.1 do Apndice H. A pontuao mxima possvel neste critrio tem o valor 3, sendo
atribuda a pontuao mxima 1 para cada uma das perguntas respondidas completamente. O
desempenho dos estudos foi considerado ruim e nenhum deles alcanou a pontuao geral
mxima como pode ser visto na Figura 4.13. A maior nota obtida foi 2, alcanada pelos estudos
EPS54 e EPS1, o que representa apenas 3% do total de estudos. A segunda maior nota, 1, foi
alcanada por 24 estudos (41%) . Porm o que chamou bastante a ateno foi que 53% (33) dos
estudos no pontuou em nenhum dos itens avaliados nesta seo.

Figura 4.13 Pontuaes dos estudos nas questes que avaliam o ttulo.

Nenhum dos estudos apresenta em seu ttulo termos que fazem referncia a um experimento, nem mesmo os estudos que se dedicam exclusivamente a relatar o experimento. J

4.3. ANLISES DAS EVIDNCIAS

65

em relao a apresentao do(s) tratamento(s) utilizado(s) no ttulo, os estudos obtiveram as


seguintes pontuaes: 68% (40) obtiveram nota 0, 2% (1) obteve nota 0.5 e 30% (18) obtiveram
nota 1. E sobre a apresentao da(s) varivel(is) dependente(s) no ttulo, as pontuaes obtidam
foram as seguintes: 83% (49) obtiveram nota 0, 2% (1) obteve nota 0.5 e 15% (9) obtiveram
nota 1.

4.3.2

SQ2 - Informaes importantes do resumo como motivao, objetivos, mtodos, resultados, limitaes e concluses da pesquisa so
relatadas?

O resumo de um estudo uma fonte importante de informaes, sendo muitas vezes a


nica parte de livre acesso aos potenciais leitores. Assim, os resumos devem reunir de maneira
sucinta e objetiva os principais pontos do estudo. O intuito desta pergunta de pesquisa identificar
se os resumos do relato permitem identificar as principais questes relacionadas pesquisa:
motivao, objetivo, mtodo, resultados, limitaes e concluses.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.3 do Apndice H e tentam identificar informaes importantes sobre a fundamentao,
objetivo, mtodo, resultados, limitaes e concluses da pesquisa. A maior pontuao possvel
de ser alcanada 13, sendo atribudo o valor mximo de 1 ponto para cada questo respondida
completamente. Aps a avaliao dos estudos a pontuao geral foi distribuda conforme o
grfico da Figura 4.14. O desempenho dos estudos foi considerado ruim. A maior pontuao
geral no foi alcanada. A pontuao mxima obtida foi 8, alcanada por 5 (8%) estudos e a
menor foi 3 em 15 (25%) estudos.

Figura 4.14 Pontuao geral obtida pelos estudos na avaliao do resumo.

O quantitativo de acertos em cada uma das perguntas pode ser visto no grfico da
Figura 4.15. Em geral, 88% dos estudos apresentam a motivao para realizao da pesquisa,
enquanto que 3% apresentam parcialmente e 8% no apresentam tal informao. O objetivo

66

CAPTULO 4. RESULTADOS

claramente descrito em 98% dos casos. Em 100% dos casos o objeto estudado apresentado.
Em 83% o foco da pesquisa completamente apresentado, porm em apenas 47% dos casos a
perspectiva do estudo apresentada. J sobre o mtodo verificou-se que em apenas 42% dos
estudos ele citado, enquanto que nenhum deles cita os procedimentos de anlise. Os resultados
das pesquisas so mencionados em apenas 61% dos resumos. Nenhum dos estudos citou
limitaes da pesquisa e apenas 27% dos estudos abordou o impacto dos resultados alcanados
no estudo.

Figura 4.15 Pontuaes dos estudos nas questes que avaliam o resumo.

Apesar de no existir na literatura da engenharia de software um formato padro para


se construir resumos, recomenda-se fortemente a utilizao do formato estruturado pois tal
abordagem ajuda a melhorar a clareza dos mesmos (KITCHENHAM, 2004; BRERETON et al.,
2007; JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008). Na anlise realizada no identificamos
nenhum estudo que tenha apresentado seu resumo no formato estruturado.

4.3.3

SQ3 - A introduo do relato apresenta referncias declarao do


problema, objetivos e contexto da pesquisa?

O propsito da introduo fornecer ao potencial leitor boas razes para a leitura do


restante da publicao. Nela a pesquisa precisa ser colocada em um contexto mais amplo para
que o problema de pesquisa possa ser introduzido. No existe na literatura da engenharia de
software um padro especfico para a criao de introdues, entretanto o guia utilizado orienta
que a introduo apresente uma descrio sobre a declarao do problema, objetivos e contexto
da pesquisa.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.4 do Apndice H. A mior pontuao possvel de ser alcanada 3. A computao geral
das notas so apresentadas no grfico da Figura 4.16. Foi possvel observar que, de maneira
geral, 98% dos estudos apresentam todas as informaes esperadas na introduo.

4.3. ANLISES DAS EVIDNCIAS

67

Figura 4.16 Pontuao geral obtida pelos estudos na introduo.

Apenas 1 estudo no apresentou a formulao do problema. Apenas 1 estudo apresentou


a pergunta de pesquisa de maneira parcial. Apenas 1 estudo no mencionou tal informao.

4.3.4

SQ4 - A fundamentao informa sobre a tecnologia em investigao, s possveis opes alternativas ela, pesquisas relacionadas e
a relevncia para a prtica?

O propsito da fundamentao fornecer ao leitor uma compreenso ampla do cenrio


da pesquisa reportada. Segundo JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) tal seo
deve apresentar: (i) uma descrio da tecnologia em investigao, (ii) possveis abordagens
alternativas ela, (iii) descrio dos estudos relacionados que investigaram a mesma tecnologia
e (iv) os nves de relevncia dela para a prtica.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.5 do Apndice H. A pontuao mxima que pode ser obtida nesta seo 4, sendo a
pontuao mxima de 1 ponto atribudo para cada pergunta. A totalizao geral das notas pode
ser vista no grfico da Figura 4.17, onde foi possver constatar que em geral 88% dos estudos
apresentam todas as informaes esperadas na seo.
A distribuio dos acertos por perguntas pode ser observado no grfico da Figura 4.18.
Observa-se que as descries das tecnologias e solues alternativas so descritas quase que pela
totalidade dos estudos. Os trabalhos relacionados so mencionados por 92% dos estudos. O
impacto da pesquisa citado por 93% dos estudos.

4.3.5

SQ5 - O relato apresenta informaes sobre o planejamento da pesquisa?

O relato de um experimento deve apresentar informaes relacionadas realizao e


anlise dos resultados da pesquisa. O objetivo destas informaes facilitar a interpretao e

68

CAPTULO 4. RESULTADOS

Figura 4.17 Pontuao geral obtida pelos estudos na fundamentacao.

Figura 4.18 Pontuaes dos estudos nas questes que avaliam a fundamentao.

replicao do experimento, funcionando como uma receita para o experimento(SINGER, 1999).


Elas tambm permitem ao leitor analisar criticamente a validade do estudo. Tais informaes
so valiosas para estudos de reviso sistemtica da literatura ou meta-anlises(KITCHENHAM,
2004; KITCHENHAM; PFLEEGER, 2002).
O nvel de detalhe das informaes dependem principalmente de restries de tamanho
impostas pelo tipo da publicao. Entretanto, no guia utilizado, recomenda-se que sejam apresentadas informaes que descrevam o objetivo, participantes, material experimental, atividades,
hipteses, parmetros e variveis, desenho do experimento, procedimentos para conduo e de
anlise. No caso dos estudos selecionados no conseguimos identificar nenhum experimento que
envolvessem participantes humanos, por este motivo nenhuma pergunta relacionada foi includa
no instrumento de coleta.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.6 do Apndice H. A pontuao mxima a ser alcanada neste quesito 13. possvel
observar uma certa variao nas notas gerais obtidas pelos estudos atravs do grfico da Figura 4.19. Como pode ser observado a pontuao geral mxima atingida foi de 11 pontos pelo

4.3. ANLISES DAS EVIDNCIAS

69

estudo EPS36, j a mais baixa foi de 1 ponto obtida pelo estudo EPS34.

Figura 4.19 Pontuao geral obtida pelos estudos no planejamento.

Ao examinar individualmente as pontuaes obtidas, no grfico da Figura 4.20, possvel


constatar que dentre as perguntas, o menor desempenho obtido foi na pergunta relativa s
variveis dependentes do experimento. Os objetivos do experimento foram citados por 100%
dos estudos. As unidades experimentais foram claramente citadas por 81% (48) dos estudos,
parcialmente por 2% (1) e omitidas por 17% (10) deles. Os materiais experimentais como
equipamentos, instrumentos de coleta, entre outros, foram explicitamente mencionados por 80%
(47) dos estudos, parcialmente por 2% (1) e omitido por 19% (11) dos estudos. As atividades
foram explicitamente mencionados por 85% (50) dos estudos, parcialmente por 3% (2) e
omitido por 12% (7) dos estudos. 17% dos relatos (10) no mencionam uma hiptese, 20% (12)
apresentam parcialmente e 63% explicitam uma hiptese. Em 98% (58) dos estudos as variveis
dependentes no so citadas, enquanto que em 90% (53) dos casos as variveis independentes
so mencionadas claramente. As mtricas utilizadas nos experimentos so claramente descritas
em 88% (52) dos estudos.
Quanto ao desenho experimental 75% (44) dos estudos reportaram claramente a informao, enquanto que em 8% (5) foi parcialmente e em 17% (10) a mesma foi omitida. No
caso das informaes a respeito dos instrumentos, materiais e ferramentas apenas 22% (13)
dos relatos apresentam claramente estas informaes, 8% (5) apresentam parcialmente e em
69% (41) esto ausentes. Os procedimentos para execuo do experimento foram reportados
claramente em 66% (39) dos experimentos, em 7% (4) parcialmente e em 27% (16) no esto
presentes. A coleta dos dados explicitamente detalhada em 61% (36) dos casos, enquanto que
em 2% (1) parcialmente e em 37% (22) inexistente. No que se refere ao teste da hiptese
em apenas 24% (14) dos casos ele explicitamente mencionado, enquanto que em 2% (1)
parcialmente e em 75% (44) ele no explicitado.

70

CAPTULO 4. RESULTADOS

Figura 4.20 Pontuaes dos estudos nas questes que avaliam o planejamento.

4.3.6

SQ6 - O relato detalha a anlise dos dados da pesquisa?

JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) sugere que em relao s anlises o


relato deve apresentar trs tipos de informaes: estatstica descritiva, preparao do conjunto
de dados e teste da hiptese investigada. Tambm recomendada a disponibilizao dos dados
brutos da pesquisa, de forma a facilitar pesquisas futuras como meta-anlises(KITCHENHAM;
PFLEEGER, 2002). O guia utilizado tambm sugere que qualquer tipo de preparao de dados
necessria seja relatada. Em relao ao teste de hiptese recomenda-se que seja explicitado como
o dado foi avaliado (teste estatstico) e que o modelo de anlise escolhido seja descrito.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.7 do Apndice H. Em relao pontuao o maior valor possvel de 5 pontos, sendo
atribudo no mximo o valor de 1 ponto para cada questo. O resumo da avaliao das perguntas
pode ser visto no grfico da Figura 4.21. A maior pontuao foi 3 alcanada pelo estudo EPS18,
enquanto que a menor pontuao possvel foram obtidas por 26 estudos.

Figura 4.21 Pontuao geral obtida pelos estudos na anlise.

Na anlise de cada pergunta em especfico, as pontuaes alcanadas esto apresentadas

4.3. ANLISES DAS EVIDNCIAS

71

no grfico da Figura 4.22. De um modo geral o dempenho dos estudos foram supreendentemente
baixos em relao s perguntas relacionadas aos dados brutos, validao do modelo de anlise,
preparao e avaliao dos dados. Em todos os casos estas informaes foram omitidas em pelo
menos 93% dos estudos. Em 54% (32) dos estudos, os dados no so apresentados atravs de
estatstica descritiva.

Figura 4.22 Pontuaes dos estudos nas questes que avaliam a anlise.

4.3.7

SQ7 - Os resultados, suas implicaes e ameaas validade so relatados?

Segundo o guia utilizado em um relato de experimento os resultados devem ser apresentados atravs de pelo menos trs elementos: avaliao dos resultados e implicaes, ameaas
validade e inferncias. O grande prpsito quando se discute os resultados deve ser apresentar os
achados da pesquisa e se as hipteses investigadas podem ser confirmadas ou refutadas.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.8 do Apndice H. A pontuao mxima a ser alcanada de 3 pontos. As distribuies
das pontuaes gerais podem ser observadas no grfico da Figura 4.23. A pontuao mxima a
ser obtida de 8 pontos sendo 1 o valor mximo a ser atribudo a cada questo. Ao se analisar as
notas gerais dos estudos identificamos que 4 foi a maior nota alcanada pelo estudo EPS26 e 0
alcanada pelo estudo EPS17.
O grfico da Figura 4.24 apresenta uma viso da potuao obtida pelos estudos em
cada uma das questes. Em 88% (52) dos estudos os resultados da pesquisa so apresentados
claramente, em 8% (5) parcialmente e em 3% (2) a informao omitida. Em apenas 12% (7)
dos relatos claramente relacionados pesquisas anteriores, em 88% (52) nenhuma informao
apresentada. As ameaas validade so relatadas nitidamente em apenas 5% (3) estudos,
parcialmente em 2% (1) e em 93% (55) a informao no apresentada. Em 44% (26) estudos
a generalizao da pesquisa citada claramente e em 56% (33) ela no relatada. Apenas 12%

72

CAPTULO 4. RESULTADOS

Figura 4.23 Pontuao geral obtida pelos estudos na discusso.

(7) dos estudos as lies aprendidas so citadas claramente, em 3% (2) parcialmente e em 85%
(50) a mesma no foi apresentada.

Figura 4.24 Pontuaes dos estudos nas questes que avaliam a discusso.

4.3.8

SQ8 - As concluses do estudo apresentam um resumo conciso da


pesquisa, seus impactos e trabalhos futuros?

As concluses do relato devem ser baseadas nos resultados e devem discutir sobre os
seguintes topicos: resumo, impacto da pesquisa e trabalhos futuros (JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008). Tambm sugerido, quando possvel, que informaes sobre o
impacto em custo, tempo e qualidade sejam discutidas.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.9 do Apndice H. A maior pontuao geral que pode ser alcanada de 3 pontos,
possveis de atribuio cada questo. As pontuaes gerais alcanadas pelos estudos apresentada no grfico da Figura 4.25.

4.4. DISCUSSO DOS RESULTADOS

73

Figura 4.25 Pontuao geral obtida pelos estudos nas concluses.

A anlise da pontuao individual das questes pode ser vista no grfico da Figura 4.26.
Em geral os estudos apresentam claramente um resumo conciso da pesquisa e seus resultados.
Os impactos da pesquisa so claramente apresentados por 59% (35) dos estudos, parcialmente
por 2% (1) e no relatados por 39% (23). Os trabalhos futuros so indicados explicitamente por
69% (41) dos estudos e no relatados por 31% (18).

Figura 4.26 Pontuaes dos estudos nas questes que avaliam a discusso.

4.4

Discusso dos Resultados

Aps a caracterizao dos relatos dos 59 experimentos selecionados, ficou bastante


evidente a dificuldade relatada por alguns autores da comunidade em se encontrar, nos relatos,
informaes importantes para se interpretar, analisar a validade e o potencial de impacto dos
estudos (DURAO et al., 2014; LI et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011;
SILVA; ROSE; CALINESCU, 2013a). Em relao ao ndice de completude o maior grau foi
6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Tambm

74

CAPTULO 4. RESULTADOS

foi realizada uma breve anlise qualitativa que revela que, ainda que reportadas, muitas das
informaes apresentadas pelos relatos so superficiais e dificultam a interpretao, validao,
generalizao e replicao dos resultados dos estudos.
Em geral, as informaes mais negligenciadas pelos autores so relativas ao planejamento da pesquisa, coleta dos dados, procedimentos de execuo, instrumentao, anlise dos
dados, relao dos resultados com pesquisas anteriores, ameaas validade e generalizao dos
resultados. Em geral, no foram encontrados problemas relacionados introduo dos relatos j
que todos apresentam s informaes esperadas e sem problemas relacionados compreenso.
O mesmo caso acontece quando analisamos s informaes referentes fundamentao da
pesquisa.
A forma como os autores descrevem o ttulo dos estudos no permite aos potenciais
leitores a fcil identificao do experimento. Em 53% dos casos nenhum termo que permita
a fcil identificao do experimento, os tratamentos utilizados e as variveis dependentes foi
informado. Em geral, a simples incluso do termo experimento aumentaria a probabilidade e a
preciso de se identificar tais estudos com mais facilidade.
J na apresentao do resumo, nenhum dos estudos trouxe informaes sobre o desenho
experimental, procedimentos de anlise e coleta dos dados. Informaes sobre os principais
achados da pesquisa, limitaes, anlise dos resultados e impacto da pesquisa so mencionados
em poucos estudos e quando citados a informao superficial. Tornar os resumos mais
claros, objetivos e consistentes muito importante, uma vez ele a nica parte de livre acesso
aos potenciais leitores do estudo. Apesar das fortes recomendaes na utilizao do formato
estruturado, no conseguimos identificar a utilizao dele em nenhum dos estudos avaliados.
No que se refere s informaes de planejamento da pesquisa o cenrio chamou bastante
a ateno, tanto pela quantidade de informaoes relevantes omitidas quanto pela superficialidade
das informaes apresentadas. Em muitas situaes em que dados esperados so apresentados
as informaes deixam a desejar do ponto de vista qualitativo da informao. O relato dos
procedimentos de obteno dos dados insatisfatrio, pois no esclarece de onde e nem como os
dados utilizados so coletados. O mesmo acontece com os dados referentes aos procedimentos
de execuo, que mesmo sendo apresentados pela grande maioria dos estudos o contedo da
informao incompleto e qualitativamente insuficiente. Outro ponto que chamou bastante a
ateno que os procedimentos relativos aos instrumentos, materiais e ferramentas utilizados nos
experimentos no recebem a devida importncia nos relatos. As hipteses, quando mencionadas,
no apresentavam nenhum grau de formalismo em sua representao e forma de avaliao.
Diante destas circunstncias a interpretao, entendimento e anlise das informaes por parte
do leitor perigosamente comprometida. Em todos os casos a replicao dos experimentos seria
pouco factvel considerado o nvel das informaes apresentadas. Tambm percebemos que
nenhum dos estudos mencionou utilizar algum guia ou mecanismo de suporte para a realizao
ou planejamento dos experimentos.
Outro achado preocupante diz respeito anlise dos dados dos experimentos. Menos

4.4. DISCUSSO DOS RESULTADOS

75

da metade dos estudos apresentam a anlise dos dados do experimento atravs de estatstica
descritiva. Em apenas dois dos relatos os dados brutos da pesquisa foram disponibilizados. Na
maior parte dos estudos foi mencionado qualquer referncia ao tratamento ou preparao dos
dados necessrios para a anlise dos dados. O mesmo acontece em relao s hipteses, que
quando existem no estudo os mesmos no mostram como a sua avaliao foi realizada. Outra
constatao relevante diz respeito no utilizao de mtodos estatsticos na anlise dos dados.
No quesito apresentao dos resultados os estudos selecionados apresentaram um baixo
desempenho. A maior parte deles no relaciona seus resultados pesquisas anteriores. As ameaas validade tambm no foram direcionadas na maior parte dos estudos. As generalizaes
dos resultados no so citadas pela maioria, e nos casos em que estas so feitas no apresentam o
grau de confiana necessrio, uma vez que muitos dados e informaes relevantes so omitidas.
Tambm foi possvel constatar que as lies aprendidas durante a execuo do experimento so
pouco reportadas.
Tambm foi possvel constatar que so poucos os estudos que se dedicam unicamente
a relatar os experimentos. Em geral, os autores apresentam suas tcnicas, algoritmos e/ou
abordagens e incluem no relato apenas uma seo destinada ao experimento em si. Tal fato
tem impacto direto na disposio e organizao das informaes apresentadas no relato e,
diferentemente das orientaes apresentadas no guia de JEDLITSCHKA; CIOLKOWSKI;
PFAHL (2008), decidiu-se ento procurar pelas informaes estudadas em todas as sees
apresentadas pelo estudo. Outro achado que chamou a ateno foi que em nenhum dos estudos
analisados, foi feita meno a qualquer guia para relatar ou at mesmo conduzir e planejar os
experimentos.
Os resultados deste estudo sistemtico apresentam informaes iniciais sobre o estado
da prtica do relato de experimentos em elasticidade na computao em nuvem. Esperamos
que atravs dos indcios encontrados o resultado desta pesquisa possa trazer tona o debate
e iniciativas que permitam que os resultados dos estudos empricos sejam melhor relatados.
A mobilizao em torno de tal aperfeioamento vai ajudar, no somente comunidade da
computao em nuvem, a melhor entender os resultados, limitaes e permita um melhor
aproveitamento dos estudos empricos realizados.

77

5
Consideraes Finais
Este captulo apresenta as consideraes finais do trabalho. Sero discutidas as ameaas
validade do estudo, recomendaes para trabalhos futuros e as concluses obtidas com a
pesquisa.

5.1

Ameaas validade

Nesta seo so apresentadas possveis limitaes e ameaas validade do estudo


juntamente com as respectivas aes de mitigao adotadas.
De acordo com SJOBERG; DYBA; JORGENSEN (2007) e KITCHENHAM (2010) as
principais ameaas validade deste estudo so: (1) vis de seleo de publicaes, (2) pouca
acurcia na extrao dos dados, (3) erros de classificao, (4) basear-se em apenas um engenho
de busca, (5) conduzir o processo de seleo e excluso por apenas uma pessoa. A seguir sero
explanadas as medidas tomadas para mitigar cada uma destas ameaas.
Para evitar o vis na seleo das publicaes (1) considerou-se as principais conferncias
tanto da engenharia de software emprica como da computao em nuvem, na mesma linha
tambm foram includos dois peridicos. A escolha de tais fontes de publicaes foi auxiliada
por especialistas da CN e da ESE. Vale ressaltar que a busca automtica foi includa com o
intuito de identificar em quais venues esto sendo utilizadas na publicao dos experimentos em
elasticidade. De fato possvel perceber que tal estratgia foi crucial para o desenvolvimento
desta pesquisa atravs da pulverizao de venues presentes identificadas atravs dos estudos
selecionados (vide Apndice C).
Para conter o problema relacionado extrao dos dados (2) foi criado um formulrio
estruturado, onde os pesquisadores tinham acesso a exemplos e orientaes sobre os procedimentos de coleta das informaes relevantes. Nesta mesma direo, considerando o nmero
elevado de estudos selecionados, o processo de computao das pontuaes obtidas foi executado
por um sistema criado exclusivamente para esta finalidade, uma vez que atividades repetitivas
aumentam a possibilidade de falhas no processo. As pontuaes tambm foram validadas por
dois pesquisadores de forma a garantir que no houvessem erros inseridos pelo programa criado.

78

CAPTULO 5. CONSIDERAES FINAIS

A ameaa relacionada aos erros de classificao (3) foi reduzida com a utilizao de
classificao bem definida e j existente na literatura da computao (2.1.2). Atravs de sua
utilizao os estudos foram separados de acordo com o modelo de servio abordado. Outra
estratgia adotada foi a participao de outro pesquisador experiente para validar o resultado da
classificao aplicada.
Quanto a possibilidade de problema apontada pelo item 4 foram utilizados quatro engenhos de busca automtica: IEEE Xplore, Scopus, Science Direct e Springer Link. As estratgias
de busca manuais foram acrescentadas ao estudo com o intuito de identificar estudos que no
fossem identificados atravs das strings de busca criadas.
O vis apontado pelo item 5 foi contido atravs da participao de outros pesquisadores
experientes nas reas da engenharia de software experimental, computao em nuvem e engenharia de software baseada em evidncias. Para aumentar a confiabilidade no resultado dos estudos
selecionados e garantir que o resultado produzido no foi gerado ao mero acaso, foi realizado
teste Kappa de concordncia entre as duplas de revisores participantes.

5.2

Trabalhos Futuros

A partir da realizao desta pesquisa, pode-se levantar algumas oportunidades de trabalhos futuros, bem como direcionamentos para novas pesquisas, que podero contribuir para a
melhoria de pesquisas no contexto da computao em nuvem.


Desenvolver novos recursos (framework, guia, processo, etc.) voltados a apoiar


o relato de experimentos na computao em nuvem, de acordo com as lacunas
observadas ao longo deste trabalho.
Desenvolver um framework, ou modelo, ou guia, ou processo que apoie a avaliao
da completude dos relatos de experimentos na computao em nuvem.
Expandir esta pesquisa visando avaliar os relatos de mais tipos de mtodos empricos
como estudos de caso, suveys, entre outros.
Expandir esta pesquisa visando avaliar outras reas da computao em nuvem que
no somente a elasticidade.
Realizar pesquisas destinadas a identificar razes que ajudem a entender os altos
ndices apresentados em relao no utilizao de mecanismos existentes capazes
de apoiar a realizao e relato de experimentos.
Avaliar os resultados encontrados nesta dissertao atravs da replicao deste estudo.
Conduo de mais um mapeamento sistemtico para identificar como as demais reas
do conhecimento cientfico caracterizam e fazem uso de informaes apresentadas
nos relatos de estudos para tomar decises baseadas em evidncias empricas.

5.3. CONCLUSES

5.3

79

Concluses

Este trabalho realizou um mapeamento sistemtico da literatura para caracterizar a


completude dos relatos de experimentos que avaliam elasticidade na computao em nuvem.
Constatamos que em geral os autores omitem informaes relacionadas ao planejamento da
pesquisa, coleta dos dados, procedimentos de execuo, instrumentao, anlise dos dados,
relao dos resultados com pesquisas anteriores, ameaas validade e generalizao dos resultados. Utilizando oito perguntas de pesquisa e um instrumento de avaliao, fomos capazes de
identificar que o maior grau de completude alcanado pelos estudos foi 6.67, numa escala de 0 a
10, sendo tal completude considerada baixa em valores quantitativos.
Podemos observar que, em geral, a forma como os ttulos dos estudos so construdos no
permitem identificar com facilidade se o estudo se trata de um relato de experimento. Em nenhum
dos estudos o resumo foi apresentado no formato estruturado e em geral omitem informaes
importantes. Em geral as informaes de introduo e fundamentao da pesquisa so bem
reportas. O mesmo no pode ser dito em relao ao planejamento e anlise estatstica dos estudos,
pois estes dados so muito omitidos pelos autores. Tambm identificamos que os estudos no
constumam relatar lies aprendidas durante o processo de experimentao.
Tambm foi realizada uma anlise qualitativa preliminar que revela que, ainda que
reportadas, muitas das informaes apresentadas pelos relatos so superficiais dificultando a
interpretao, validao, generalizao e replicao dos resultados dos estudos. Outro achado
curioso que em nenhum dos estudos selecionados foi feita meno utilizao de quaisquer
guias ou mecanismos de suporte para conduzir, planejar ou reportar tais experimentos.
Os resultados deste estudo sistemtico apresentam informaes iniciais importantes
sobre o estado da prtica do relato de experimentos na computao em nuvem. Esperamos
que atravs dos indcios encontrados o resultado desta pesquisa possa trazer tona o debate
e iniciativas que permitam que os resultados dos estudos empricos sejam melhor relatados.
imprescindvel a necessidade de melhoria destes relatos e tal aperfeioamento vai ajudar
comunidade da computao em nuvem a melhor entender e aproveitar os resultados dos estudos
empricos realizados.

81

Referncias
ALI-ELDIN, A.; TORDSSON, J.; ELMROTH, E. An adaptive hybrid elasticity controller for
cloud infrastructures. In: NETWORK OPERATIONS AND MANAGEMENT SYMPOSIUM
(NOMS), 2012 IEEE. Anais. . . [S.l.: s.n.], 2012. p.204212.
ALTMAN, D. G. et al. The revised CONSORT statement for reporting randomized trials:
explanation and elaboration. Annals of internal medicine, [S.l.], v.134, n.8, p.663694, 2001.
ANDRADE, M. M. d. Introduo metodologia do trabalho cientfico. [S.l.]: So Paulo:
Atlas, 2001.
ARKSEY, H.; OMALLEY, L. Scoping studies: towards a methodological framework.
International journal of social research methodology, [S.l.], v.8, n.1, p.1932, 2005.
ASSOCIATION, A. P. et al. Publication manual of the American psychological association.
[S.l.]: American Psychological Association Washington, DC, 2001.
BASILI, V. R.; SELBY, R. W.; HUTCHENS, D. H. Experimentation in software engineering.
Software Engineering, IEEE Transactions on, [S.l.], n.7, p.733743, 1986.
BRERETON, P. et al. Lessons from applying the systematic literature review process within the
software engineering domain. Journal of Systems and Software, [S.l.], v.80, n.4, p.571583,
Apr. 2007.
BUDGEN, D. et al. Using mapping studies in software engineering. Proceedings of PPIG,
[S.l.], v.2, 2008.
BUDGEN, D.; ZHANG, C. Preliminary reporting guidelines for experience papers.
International Conference on Evaluation and Assessment in Software Engineering, [S.l.],
p.110, 2009.
BUYYA, R. et al. Cloud computing and emerging IT platforms: vision, hype, and reality for
delivering computing as the 5th utility. Future Generation computer systems, [S.l.], v.25, n.6,
p.599616, 2009.
CALHEIROS, R. N. et al. The Aneka platform and QoS-driven resource provisioning for elastic
applications on hybrid Clouds. Future Generation Computer Systems, [S.l.], v.28, n.6,
p.861870, 2012.
CAMPBELL-KELLY, M. Historical reflections The rise, fall, and resurrection of software as a
service. Communications of the ACM, [S.l.], v.52, n.5, p.2830, 2009.
CARVER, J. Towards reporting guidelines for experimental replications: a proposal. 1st
International Workshop on Replication in Empirical . . . , [S.l.], p.25, 2010.
COOPER, H. M. Organizing knowledge syntheses: a taxonomy of literature reviews.
Knowledge in Society, [S.l.], v.1, n.1, p.104126, 1988.
CORBIN, J.; STRAUSS, A. Basics of qualitative research: techniques and procedures for
developing grounded theory. [S.l.]: Sage publications, 2014.

82

REFERNCIAS

COUTINHO, E. F. et al. Elasticity in cloud computing: a survey. Annals of


Telecommunications - Annales Des Tlcommunications, [S.l.], Nov. 2014.
CRESWELL, J. W. Research design: qualitative, quantitative, and mixed methods approaches.
[S.l.]: Sage publications, 2013.
DICKERSIN, K.; SCHERER, R.; LEFEBVRE, C. Identifying relevant studies for systematic
reviews. BMJ: British Medical Journal, [S.l.], v.309, n.6964, p.1286, 1994.
DIESTE, O.; GRIMN, A.; JURISTO, N. Developing search strategies for detecting relevant
experiments. Empirical Software Engineering, [S.l.], v.14, n.5, p.513539, Nov. 2008.
DURAO, F. et al. A systematic review on cloud computing. The Journal of Supercomputing,
[S.l.], Jan. 2014.
DYB, T.; DINGSYR, T. Empirical studies of agile software development: a systematic
review. Information and software technology, [S.l.], v.50, n.9, p.833859, 2008.
DYB, T.; KAMPENES, V. B.; SJ BERG, D. I. A systematic review of statistical power in
software engineering experiments. Information and Software Technology, [S.l.], v.48, n.8,
p.745755, Aug. 2006.
EASTERBROOK, S. et al. Selecting empirical methods for software engineering research. In:
Guide to advanced empirical software engineering. [S.l.]: Springer, 2008. p.285311.
EDWARDS, P. et al. Identification of randomized controlled trials in systematic reviews:
accuracy and reliability of screening records. Statistics in medicine, [S.l.], v.21, n.11,
p.16351640, 2002.
FEATHER, J. Architects of the Information Society. Thirty-five Years of the Laboratory for
Computer Science at MIT. Publishing Research Quarterly, [S.l.], v.16, n.2, p.95, 2000.
FUKS, H. Sistemas colaborativos. [S.l.]: Elsevier Brasil, 2011.
GALANTE, G.; BONA, L. C. E. D. A Survey on Cloud Computing Elasticity. 2012 IEEE Fifth
International Conference on Utility and Cloud Computing, [S.l.], n.1, p.263270,
Nov. 2012.
GUERRERO, P.; SACHS, K.; PETROV, I. From Active Data Management to Event-Based
Systems and More. [S.l.]: Springer, 2010.
HARRIS, P. Designing and reporting experiments in psychology. [S.l.]: McGraw-Hill
Education (UK), 2008.
HERBST, N. R.; KOUNEV, S.; REUSSNER, R. Elasticity in Cloud Computing : what it is , and
what it is not. Presented as part of the 10th International Conference on Autonomic
Computing, [S.l.], 2013.
HUANG, Q. et al. Evaluating open-source cloud computing solutions for geosciences.
Computers & Geosciences, [S.l.], v.59, p.4152, 2013.
ISLAM, S. et al. How a consumer can measure elasticity for cloud platforms. In: ACM/SPEC
INTERNATIONAL CONFERENCE ON PERFORMANCE ENGINEERING, 3. Proceedings. . .
[S.l.: s.n.], 2012. p.8596.

REFERNCIAS

83

JAMSHIDI, P.; AHMAD, A.; PAHL, C. Cloud Migration Research: a systematic review. IEEE
Transactions on Cloud Computing, [S.l.], v.1, n.2, p.142157, 2013.
JEDLITSCHKA, A.; CIOLKOWSKI, M.; PFAHL, D. Reporting experiments in software
engineering. In: Guide to advanced empirical software engineering. [S.l.]: Springer, 2008.
p.201228.
JEDLITSCHKA, A.; PFAHL, D. Reporting guidelines for controlled experiments in software
engineering. In: EMPIRICAL SOFTWARE ENGINEERING, 2005. 2005 INTERNATIONAL
SYMPOSIUM ON. Anais. . . [S.l.: s.n.], 2005. p.10pp.
JURISTO, N.; MORENO, A. Basics of Software Engineering Experimentation Kluwer
Academic. [S.l.]: Boston, 2001.
JURISTO, N.; MORENO, A. M. Basics of software engineering experimentation. [S.l.]:
Springer Science & Business Media, 2013.
KAMPENES, V. B. et al. A systematic review of quasi-experiments in software engineering.
Information and Software Technology, [S.l.], v.51, n.1, p.7182, Jan. 2009.
KARN, J.; COWLING, A. Using ethnographic methods to carry out human factors research in
software engineering. Behavior research methods, [S.l.], v.38, n.3, p.495503, 2006.
KEELE, S. Guidelines for performing systematic literature reviews in software engineering. In:
Technical report, Ver. 2.3 EBSE Technical Report. EBSE. [S.l.: s.n.], 2007.
KITCHENHAM, B. A.; PFLEEGER, S. L. Personal opinion surveys. In: Guide to Advanced
Empirical Software Engineering. [S.l.]: Springer, 2008. p.6392.
KITCHENHAM, B. Evidence-based software engineering. Software Engineering, . . . , [S.l.],
2004.
KITCHENHAM, B. Whats up with software metrics?A preliminary mapping study. Journal
of systems and software, [S.l.], v.83, n.1, p.3751, 2010.
KITCHENHAM, B.; CHARTERS, S. Guidelines for performing systematic literature reviews in
software engineering. In: . [S.l.: s.n.], 2007.
KITCHENHAM, B. et al. Evaluating guidelines for empirical software engineering studies. In:
ACM/IEEE INTERNATIONAL SYMPOSIUM ON EMPIRICAL SOFTWARE
ENGINEERING, 2006. Proceedings. . . [S.l.: s.n.], 2006. p.3847.
KITCHENHAM, B.; PFLEEGER, S. Preliminary guidelines for empirical research in software
engineering. . . . Engineering, IEEE . . . , [S.l.], v.28, n.8, p.721734, 2002.
LAU, F. Toward a framework for action research in information systems studies. Information
Technology & People, [S.l.], v.12, n.2, p.148176, 1999.
LI, Q. et al. Adaptive management of virtualized resources in cloud computing using feedback
control. In: INFORMATION SCIENCE AND ENGINEERING (ICISE), 2009 1ST
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2009. p.99102.
LI, Z. et al. On evaluating commercial Cloud services: a systematic review. Journal of Systems
and Software, [S.l.], 2013.

84

REFERNCIAS

LOTT, C. M.; ROMBACH, H. D. Repeatable software engineering experiments for comparing


defect-detection techniques. Empirical Software Engineering, [S.l.], v.1, n.3, p.241277,
1996.
MACDONELL, S. G.; SHEPPERD, M. J. Comparing Local and Global Software Effort
Estimation ModelsReflections on a Systematic Review. In: EMPIRICAL SOFTWARE
ENGINEERING AND MEASUREMENT, 2007. ESEM 2007. FIRST INTERNATIONAL
SYMPOSIUM ON. Anais. . . [S.l.: s.n.], 2007. p.401409.
MARCONI, M. d. A.; LAKATOS, E. M. Metodologia cientfica. [S.l.]: Atlas So Paulo, 2004.
MARSHALL, C.; BRERETON, P.; KITCHENHAM, B. Tools to support systematic reviews in
software engineering: a feature analysis. In: INTERNATIONAL CONFERENCE ON
EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 18. Proceedings. . .
[S.l.: s.n.], 2014. p.13.
MARSHALL, P.; KEAHEY, K.; FREEMAN, T. Elastic site: using clouds to elastically extend
site resources. In: IEEE/ACM INTERNATIONAL CONFERENCE ON CLUSTER, CLOUD
AND GRID COMPUTING, 2010. Proceedings. . . [S.l.: s.n.], 2010. p.4352.
MARTENS, B.; TEUTEBERG, F. Risk and compliance management for cloud computing
services: designing a reference model bt - 17th americas conference on information systems
2011, amcis 2011, august 4, 2011 - august 8, 2011. 17th Americas Conference on
Information Systems 2011, AMCIS 2011, University of Osnabrueck, Germany, v.3,
p.20412050, 2011.
MELL, P.; GRANCE, T. The NIST definition of cloud computing. National Institute of
Standards and Technology, [S.l.], v.53, n.6, p.50, 2009.
MOHER, D.; SCHULZ, K. F.; ALTMAN, D. G. The CONSORT statement: revised
recommendations for improving the quality of reports of parallel group randomized trials. BMC
Medical Research Methodology, [S.l.], v.1, n.1, p.2, 2001.
NASIR, U.; NIAZI, M. Cloud computing adoption assessment model (CAAM). In:
INTERNATIONAL CONFERENCE ON PRODUCT FOCUSED SOFTWARE
DEVELOPMENT AND PROCESS IMPROVEMENT, 12. Proceedings. . . [S.l.: s.n.], 2011.
p.3437.
PARKHILL, D. The Challenge of the Computer Utility. [S.l.]: Addison-Wesley Publishing
Company, 1966. n.p. 246. (The Challenge of the Computer Utility).
PETERSEN, K. et al. Systematic mapping studies in software engineering. EASE08
Proceedings of the 12th international conference on Evaluation and Assessment in
Software Engineering, [S.l.], p.6877, 2008.
PETERSEN, K. et al. Systematic mapping studies in software engineering. In:
INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN
SOFTWARE ENGINEERING, 12. Anais. . . [S.l.: s.n.], 2008. v.17, n.1.
PETTICREW, M.; ROBERTS, H. Systematic reviews in the social sciences: a practical guide.
[S.l.]: John Wiley & Sons, 2008.

REFERNCIAS

85

PICKARD, L. M.; KITCHENHAM, B. A.; JONES, P. W. Combining empirical results in


software engineering. Information and software technology, [S.l.], v.40, n.14, p.811821,
1998.
ROBINSON, H.; SEGAL, J.; SHARP, H. Ethnographically-informed empirical studies of
software practice. Information and Software Technology, [S.l.], v.49, n.6, p.540551, 2007.
RUNESON, P.; HST, M. Guidelines for conducting and reporting case study research in
software engineering. Empirical software engineering, [S.l.], v.14, n.2, p.131164, 2009.
RUNESON, P.; STEFIK, A.; ANDREWS, A. Variation factors in the design and analysis of
replicated controlled experiments - Three (dis)similar studies on inspections versus unit testing.
Empirical Software Engineering, [S.l.], p.128, 2013.
SHARMA, U. et al. A cost-aware elasticity provisioning system for the cloud. In:
DISTRIBUTED COMPUTING SYSTEMS (ICDCS), 2011 31ST INTERNATIONAL
CONFERENCE ON. Anais. . . [S.l.: s.n.], 2011. p.559570.
SHEN, Z. et al. Cloudscale: elastic resource scaling for multi-tenant cloud systems. In: ACM
SYMPOSIUM ON CLOUD COMPUTING, 2. Proceedings. . . [S.l.: s.n.], 2011. p.5.
SHIFFMAN, R. N. et al. Standardized reporting of clinical practice guidelines: a proposal from
the conference on guideline standardization. Annals of Internal medicine, [S.l.], v.139, n.6,
p.493498, 2003.
SHULL, F. et al. Replicated studies: building a body of knowledge about software reading
techniques. SERIES ON SOFTWARE ENGINEERING AND KNOWLEDGE
ENGINEERING, [S.l.], v.12, p.3984, 2003.
SILVA, G. C.; ROSE, L. M.; CALINESCU, R. A systematic review of cloud lock-in solutions.
In: CLOUD COMPUTING TECHNOLOGY AND SCIENCE (CLOUDCOM), 2013 IEEE 5TH
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2013. v.2, p.363368.
SILVA, G. C.; ROSE, L. M.; CALINESCU, R. A Systematic Review of Cloud Lock-In
Solutions. 2013 IEEE 5th International Conference on Cloud Computing Technology and
Science, [S.l.], p.363368, Dec. 2013.
SINGER, J. Using the American Psychological Association (APA) style guidelines to report
experimental results. Proceedings of Workshop on Empirical Studies in . . . , [S.l.], p.15,
1999.
SJOBERG, D. I.; DYBA, T.; JORGENSEN, M. The future of empirical methods in software
engineering research. In: FUTURE OF SOFTWARE ENGINEERING, 2007. Anais. . .
[S.l.: s.n.], 2007. p.358378.
SJBERG, D. I. et al. A survey of controlled experiments in software engineering. Software
Engineering, IEEE Transactions on, [S.l.], v.31, n.9, p.733753, 2005.
SMITE, D. et al. Reporting Empirical Research in Global Software Engineering: a classification
scheme. 2008 IEEE International Conference on Global Software Engineering, [S.l.],
p.173181, 2008.

86

REFERNCIAS

SOROR, A. A. et al. Automatic virtual machine configuration for database workloads. ACM
Transactions on Database Systems (TODS), [S.l.], v.35, n.1, p.7, 2010.
STOL, K.-J.; BABAR, M. A. Reporting Empirical Research in Open Source Software: the state
of practice. 5th IFIP WG 2.13 International Conference on Open Source Systems (OSS
2009), [S.l.], p.156169, 2009.
SULEIMAN, B. et al. On understanding the economics and elasticity challenges of deploying
business applications on public cloud infrastructure. Journal of Internet Services and
Applications, [S.l.], v.3, n.2, p.173193, 2011.
TRAVASSOS, G. H.; GUROV, D.; AMARAL, E. Introduo engenharia de software
experimental. [S.l.]: UFRJ, 2002.
VEGAS, S.; JURISTO, N.; BASILI, V. R. A Process for identifying relevant information for a
repository: a case study for testing techniques. In: Managing Software Engineering
Knowledge. [S.l.]: Springer, 2003. p.199230.
VIERA, A. J.; GARRETT, J. M. Understanding interobserver agreement: the kappa statistic.
Family Medicine, [S.l.], v.37, n.5, p.360363, 2005.
WILKINSON, L. Statistical methods in psychology journals: guidelines and explanations.
American psychologist, [S.l.], v.54, n.8, p.594, 1999.
WOHLIN, C. et al. Experimentation in software engineering: an introduction. 2000. [S.l.]:
Kluwer Academic Publishers, 2000.
WOHLIN, C. et al. Experimentation in software engineering. [S.l.]: Springer Science &
Business Media, 2012.
WOHLIN, C.; PETERSSON, H.; AURUM, A. Combining data from reading experiments in
software inspections. Lecture Notes on Empirical Software Engineering, World Scientific
Publishing, River Edge, NJ, USA, [S.l.], p.85132, 2003.
YIN, R. K. Case study research: design and methods. [S.l.]: Sage publications, 2013.
ZHANG, H.; BABAR, M. A.; TELL, P. Identifying relevant studies in software engineering.
Information and Software Technology, [S.l.], v.53, n.6, p.625637, June 2011.

Apndice

89

A
Estudos Primrios Includos
As informaes apresentadas neste apndice so detalhadas no Captulo 4. Por causa
de limitaes de espao esto sendo apresentadas apenas informaes de cdigo, ttulo, ano,
origem, autores e nota.
Cd.

Ttulo

Ano

Origem

Autores

Nota

EPS1

A
benefit-aware
on- 2013
demand
provisioning
approach for multi-tier
applications in cloud
computing

Springer

Heng Wu; Wenbo Zhang; 4,51


Jianhua Zhang; Jun Wei;
Tao Huang

EPS2

A Cost-Aware Elasticity 2011


Provisioning System for
the Cloud

IEEE

Upendra Sharma; Shenoy; 5,10


P.; Sahu; S.; Shaikh; A.

EPS3

A General Scalable and 2014


Elastic Content-based Publish;Subscribe Service

IEEE

Wang; Y.; Ma; X.

EPS4

A Language Support for 2014


Cloud Elasticity Management

IEEE

Kouki; Y.; de Oliveira; 5,29


F.A.; Dupont; S.; Ledoux;
T.

EPS5

A Pluggable Autoscaling
Service for Open Cloud
PaaS Systems

2012

IEEE

Bunch; C.; Arora; V.; 5,29


Chohan; N.; Krintz; C.;
Hegde; S.; Srivastava; A.

EPS6

A virtualization based elas- 2011


tic model for high performance computing clusters
in a Networked Control
System

IEEE

Xu Lijun; Fei Minrui; Yu


Wei; Song Yang; Du Dajun

5,78

4,02

90

APNDICE A. ESTUDOS PRIMRIOS INCLUDOS

EPS7

Adaptive Load Balancing 2013


Algorithm Based on Prediction Model in Cloud Computing

ACM

Yingchi Mao;
Ren; Xi Chen

EPS8

An analysis of elasticity in 2013


cloud computing environments based on allocation
time and resources

IEEE

Ferreira Coutinho; E.; Gon- 5,20


calves Gomes; D.; Neuman
de Souza; J.

EPS9

Auto-scaling emergency 2011


call centres using cloud
resources
to
handle
disasters

IEEE

Venugopal; S.; Han Li; 5,88


Ray; P.

EPS10 Automated control for elas- 2010


tic storage

ACM

Harold C. Lim; Shivnath


Babu; Jeffrey S. Chase

EPS11 Automated control of web- 2013


server performance in a
cloud environment

IEEE

SaiKrishna; P.S.; Pasu- 3,43


marthy; R.

EPS12 Automatic elasticity in


OpenStack

2012

ACM

Leander Beernaert; Miguel


Matos; Ricardo Vilaa; Rui
Oliveira

EPS13 Automatic scaling of selec- 2012


tive SPARQL joins using
the TIRAMOLA system

ACM

Evangelos Angelou; Ni- 5,29


kolaos Papailiou; Ioannis
Konstantinou; Dimitrios
Tsoumakos; Nectarios Koziris

EPS14 Autonomic resource pro- 2014


visioning for cloud-based
software

ACM

Pooyan Jamshidi; Aakash


Ahmad; Claus Pahl

5,88

EPS15 Autonomic resource provi- 2013


sioning in cloud systems
with availability goals

Scopus

Casalicchio E.; Menasce


D.A.; Aldhalaan A.

5,10

EPS16 Benchmarking cloud ser- 2010


ving systems with YCSB

ACM

Brian F. Cooper; Adam 4,31


Silberstein; Erwin Tam;
Raghu Ramakrishnan; Russell Sears

EPS17 Benchmarking
Private
Cloud Performance with
User-Centric Metrics

IEEE

Bin Sun; Hall; B.; Hu


Wang; Da Wei Zhang; Kai
Ding

2014

Daoning

5,88

5,39

5,49

4,51

91

EPS18 Bursting the Cloud Data 2014


Bubble: Towards Transparent Storage Elasticity in
IaaS Clouds

IEEE

Nicolae; B.; Riteau; P.; Ke- 6,67


ahey; K.

EPS19 Cloud PARTE: elastic com- 2013


plex event processing based on mobile actors

ACM

Janwillem Swalens; Thi- 5,49


erry Renaux; Lode Hoste;
Stefan Marr; Wolfgang De
Meuter

EPS20 Cloud Resource Auto- 2014


scaling System Based on
Hidden Markov Model
(HMM)

IEEE

Nikravesh; A.Y.; Ajila; 5,88


S.A.; Lung; C.-H.

EPS21 Dynamic resource alloca- 2013


tion using auto-negotiation
in Haizea

IEEE

Chokhani; P.; Somani; G.

4,41

EPS22 Dynamic resource alloca- 2013


tion using virtual machines
for cloud computing environment

TPDS

Xiao; Z. and Song; W. and


Chen; Q.

5,10

EPS23 Dynamic scaling of call- 2012


stateful SIP services in the
cloud

ACM

Nico Janssens; Xueli An; 4,31


Koen Daenen; Claudio Forlivesi

EPS24 Elastic data partitioning for 2013


cloud-based SQL processing systems

IEEE

Lipyeow Lim

EPS25 Elastic
management
of web server clusters
on distributed virtual
infrastructures

Scopus

Moreno-Vozmediano R.; 3,53


Montero R.S.; Llorente
I.M.

EPS26 Elastic Scaling of a High- 2014


Throughput Content-Based
Publish;Subscribe Engine

IEEE

Barazzutti; R.; Heinze; T.; 5,88


Martin; A.; Onica; E.; Felber; P.; Fetzer; C.; Jerzak;
Z.; Pasin; M.; Riviere; E.

EPS27 Elastic VM for Cloud Re- 2011


sources Provisioning Optimization

Scopus

Dawoud W.; Takouna I.; 5,39


Meinel C.

2011

5,00

92

EPS28 Elasticity Controller for


Cloud-Based Key-Value
Stores

APNDICE A. ESTUDOS PRIMRIOS INCLUDOS

2012

IEEE

Arman; A.; Al-Shishtawy; 4,51


A.; Vlassov; V.

EPS29 ElasTraS: An elastic; sca- 2013


lable; and self-managing
transactional database for
the cloud

ACM

Sudipto Das; Divyakant


Agrawal; Amr El Abbadi

EPS30 Enabling cost-aware and 2014


adaptive elasticity of multitier cloud applications

Scopus

Han R.; Ghanem M.M.; 5,69


Guo L.; Guo Y.; Osmond
M.

EPS31 Energy Management in


IaaS Clouds: A Holistic
Approach

CLOUD

Feller; E. and Rohr; C. and


Margery; D. and Morin; C.

EPS32 ERES: An Energy-Aware 2013


Real-Time Elastic Scheduling Algorithm in Clouds

IEEE

Huangke Chen; Xiaomin 5,59


Zhu; Jianghan Zhu; Jianjiang Wang

EPS33 Evaluating and Optimizing 2011


Indexing Schemes for a
Cloud-Based Elastic KeyValue Store

IEEE

Chiu; D.; Shetty;


Agrawal; G.

EPS34 Formal Modeling and Eva- 2013


luation of Service-Based
Business Process Elasticity
in the Cloud

IEEE

Amziani; M.; Melliti; T.; 3,33


Tata; S.

EPS35 Hierarchical
self- 2013
optimization of SaaS
applications in clouds

Scopus

Simmons B.; Ghanbari H.; 4,71


Liaskos S.; Litoiu M.; Iszlai G.

EPS36 How a consumer can me- 2012


asure elasticity for cloud
platforms

ACM

Sadeka Islam; Kevin Lee; 6,27


Alan Fekete; Anna Liu

EPS37 Lightweight Resource Sca- 2012


ling for Cloud Applications

IEEE

Rui Han; Li Guo; Ghanem; 4,51


M.M.; Yike Guo

EPS38 Measuring Prediction Sen- 2014


sitivity of a Cloud Autoscaling System

IEEE

Nikravesh; A.Y.; Ajila; 5,59


S.A.; Chung-Horng Lung

EPS39 Merkat: A Market-Based 2013


SLO-Driven Cloud Platform

IEEE

Costache; S.; Parlavantzas; 5,29


N.; Morin; C.; Kortas; S.

2012

5,49

5,98

A.; 4,31

93

EPS40 MeT: workload aware elas- 2013


ticity for NoSQL

ACM

Francisco Cruz; Francisco


Maia; Miguel Matos; Rui
Oliveira; Joo Paulo; Jos
Pereira; Ricardo Vilaa

5,39

EPS41 Modeling for Dynamic 2011


Cloud Scheduling Via Migration of Virtual Machines

CLOUDCOM Wubin Li and Tordsson; J. 4,22


and Elmroth; E.

EPS42 Modeling Performance of 2013


Elasticity Rules for CloudBased Applications

IEEE

Suleiman; B.; Venugopal; 5,69


S.

EPS43 Non-Intrusive
Elastic
Query Processing in the
Cloud

2013

Springer

Ticiana L. Coelho da Silva; 4,71


Mario A. Nascimento; Jos
Antnio F. de Macdo; Flvio R. C. Sousa; Javam C.
Machado

EPS44 OCSO: Off-the-cloud ser- 2014


vice optimization for green
efficient service resource
utilization

Springer

Daren Fang; Xiaodong Liu; 5,00


Lin Liu; Hongji Yang

EPS45 Opportunistic Service Pro- 2012


visioning in the Cloud

CLOUD

Bjorkqvist; M. and Chen; 4,80


L.Y. and Binder; W.

EPS46 Optimal Cloud Resource 2013


Auto-Scaling for Web Applications

IEEE

Jing Jiang; Jie Lu; Guang- 5,49


quan Zhang; Guodong
Long

EPS47 Optimizations and Analy- 2013


sis of BSP Graph Processing Models on Public
Clouds

IEEE

Redekopp; M.; Simmhan; 5,10


Y.; Prasanna; V.K.

EPS48 Profiling core operations 2012


for elasticity in cloud environments

IEEE

Azevedo; E.; Dias; C.; 4,71


Dantas; R.; Sadok; D.; Fernandes; S.; Simoes; R.; Kamienski; C.

EPS49 QoS-aware multi-cloud 2014


brokering for NGN services: Tangible benefits of
elastic resource allocation
mechanisms

IEEE

Magedanz; T.; Schreiner; 4,02


F.

94

APNDICE A. ESTUDOS PRIMRIOS INCLUDOS

EPS50 SaaS performance and


scalability evaluation in
clouds

2011

IEEE

Gao; J.; Pattabhiraman; P.; 6,18


Xiaoying Bai; Tsai; W.T.

EPS51 Scalable and elastic real- 2014


time click stream analysis
using StreamMine3G

ACM

Andr Martin; Andrey 5,29


Brito; Christof Fetzer

EPS52 Self-adaptive resource allo- 2013


cation for elastic process
execution

CLOUD

Hoenisch; P.a and Schulte; 4,61


S.a and Dustdar; S.a and
Venugopal; S.b

EPS53 Self managing monitoring


for highly elastic large
scale cloud deployments

Scopus

Ward J.S.; Barker A.

EPS54 SpringFS: bridging agility 2014


and performance in elastic
distributed storage

ACM

Lianghong Xu; James Ci- 5,49


par; Elie Krevat; Alexey
Tumanov; Nitin Gupta; Michael A. Kozuch; Gregory
R. Ganger

EPS55 StackSync: bringing elas- 2014


ticity to dropbox-like file
synchronization

ACM

Pedro Garcia Lopez; Marc


Sanchez-Artigas;
Sergi
Toda; Cristian Cotes; John
Lenton

EPS56 StreamCloud: An Elastic 2012


and Scalable Data Streaming System

IEEE

Gulisano; V.; Jimnez- 4,61


Peris; R.; Patio-Martnez;
M.; Soriente; C.; Valduriez; P.

EPS57 Supporting elasticity in


OpenMP applications

2014

Scopus

Galante G.; Bona L.C.E.

EPS58 Towards non-intrusive elas- 2012


tic query processing in the
cloud

Scopus

Da Silva T.L.C.; A. Nasci- 5,49


mento M.; MaCedo J.A.F.;
Sousa F.R.C.; MacHado
J.C.

EPS59 Vertical Scaling for Priori- 2012


tized VMs Provisioning

IEEE

Yazdanov; L.; Fetzer; C.

2014

Tabela A.1: Listagem dos estudos selecionados em ordem


alfabtica

4,02

5,29

5,10

5,88

95

B
Estudos Primrios Excludos
Este apndice apresenta a lista dos estudos primrios excludos, demais informaes
podem ser vistas na Seo 4.2. Por causa de limitaes de espao esto sendo apresentadas
apenas informaes de cdigo, ttulo, ano, origem e autores.
Cdigo

Ttulo

Ano

Origem

Autores

EPE1

A case for dynamic memory 2013


partitioning in data centers

ACM

Daniel Warneke,
Leng

EPE2

A Cloud,based Dynamic 2011


Workflow for Mass Spectrometry Data Analysis

IEEE

Nagavaram, A.; Agrawal, G.;


Freitas, M.A.; Telu, K.H.;
Mehta, G.; Mayani, R.G.; Deelman, E.

EPE3

A Cloud,unaware Program- 2011


ming Model for Easy Development of Composite Services

CLOUDCOM

Tejedor, E. and Ejarque, J.


and Lordan, F. and Rafanell,
R. and Alvarez, J. and Lezzi,
D. and Sirvent, R. and Badia,
R.M.

EPE4

A flexible elastic control plane


for private clouds

2013

ACM

Upendra Sharma, Prashant


Shenoy, Sambit Sahu

EPE5

A Framework and Mid- 2013


dleware for Application,Level
Cloud Bursting on Top of
Infrastructure,as,a,Service
Clouds

IEEE

Leitner, P.; Rostyslav, Z.;


Gambi, A.; Dustdar, S.

EPE6

A Framework for Dynamic


Resource Provisioning and
Adaptation in IaaS Clouds

CLOUDCOM

Ta Nguyen Binh Duong and


Xiaorong Li and Goh, R.S.M.

2011

Christof

96

APNDICE B. ESTUDOS PRIMRIOS EXCLUDOS

EPE7

A framework for self,healing


and
self,adaptation
of
Cloud,hosted
web,based
applications

EPE8

2013

CLOUDCOM

Magalhes, J.P.a and Silva,


L.M.b

A Framework for the Coordi- 2013


nation of Multiple Autonomic
Managers in Cloud Environments

IEEE

de Oliveira, F.A.; Ledoux, T.;


Sharrock, R.

EPE9

A Hadoop approach to advan- 2013


ced sampling algorithms in
molecular dynamics simulation on cloud computing

IEEE

Jin Niu; Bai, S.; Khosravi, E.;


Seung,Jong Park

EPE10

A holistic model for resource


representation in virtualized
cloud computing data centers

CLOUDCOM

Guzek, M. and Kliazovich, D.


and Bouvry, P.

EPE11

A queueing model to achi- 2013


eve proper elasticity for cloud
cluster jobs

CLOUD

Salah, K.

EPE12

A Stack,on,Demand Execu- 2010


tion Model for Elastic Computing

IEEE

Ma, R.K.K.; King Tin Lam;


Cho,Li Wang; Chenggang
Zhang

EPE13

A versatile code execution iso- 2013


lation framework with security first

ACM

Johannes
Meyer

EPE14

A virtual machine re,packing 2013


approach to the horizontal vs.
vertical elasticity trade,off for
cloud autoscaling

ACM

Mina Sedaghat, Francisco


Hernandez,Rodriguez, Erik
Elmroth

EPE15

Abstractions
for
Loo- 2010
sely,Coupled and Ensemble,Based Simulations on
Azure

CLOUDCOM

Luckow, A and Jha, S.

EPE16

Accelerating
MapReduce
Analytics Using CometCloud

CLOUD

AbdelBaky, M. and Hyunjoo


Kim and Rodero, I and Parashar, M.

2013

2012

Krude,

Ulrike

97

EPE17

Achieving High Throughput


by Transparent Network
Interface Virtualization on
Multi,core Systems

EPE18

2010

CLOUDCOM

Huiyong Zhang and Yuebin


Bai and Zhi Li and Niandong
Du and Wentao Yang

ACME: A scalable parallel 2014


system for extracting frequent
patterns from a very long sequence

ACM

Majed Sahli, Essam Mansour,


Panos Kalnis

EPE19

Admission Control for Elastic


Cloud Services

2012

CLOUD

Konstanteli, K. and Cucinotta,


T. and Psychas, K. and Varvarigou, T.

EPE20

Agility and Performance in


Elastic Distributed Storage

2014

ACM

Lianghong Xu, James Cipar,


Elie Krevat, Alexey Tumanov,
Nitin Gupta, Michael A. Kozuch, Gregory R. Ganger

EPE21

Albatross: lightweight elasti- 2011


city in shared storage databases for the cloud using live
data migration

ACM

Sudipto Das, Shoji Nishimura,


Divyakant Agrawal, Amr El
Abbadi

EPE22

An approach for dynamic sca- 2013


ling of resources in enterprise
cloud

CLOUDCOM

Kanagala, K. and Sekaran,


K.C.

EPE23

An architecture for evaluating 2013


distributed application deployments in Multi,Clouds

CLOUDCOM

Papaioannou, A. and Magoutis, K.

EPE24

An architecture framework for 2012


application,managed scaling
of cloud,hosted relational databases

ACM

Liang Zhao, Sherif Sakr, Liming Zhu, Xiwei Xu, Anna


Liu

EPE25

An Autonomic Approach to 2014


Risk,Aware Data Center Overbooking

IEEE

Tomas, L.; Tordsson, J.

EPE26

An Elastic OLAP Cloud Plat- 2011


form

IEEE

Brezany, P.; Yan Zhang; Janciak, I.; Peng Chen; Sicen Ye

EPE27

An
improved
max,min
task,scheduling algorithm for
elastic cloud

Scopus

Li X., Mao Y., Xiao X., Zhuang Y.

2014

98

APNDICE B. ESTUDOS PRIMRIOS EXCLUDOS

EPE28

Analysis over factors of inno- 2014


vation in Chinas fast economic growth since its beginning
of reform and opening up

Springer

Chun Ding, Junyang Li

EPE29

Automated, Elastic Resource 2013


Provisioning for NoSQL Clusters Using TIRAMOLA

IEEE

Tsoumakos, D.; Konstantinou,


I.; Boumpouka, C.; Sioutas,
S.; Koziris, N.

EPE30

Balance your bids before your 2014


bits: the economics of geographic load,balancing

ACM

Jose Camacho, Ying Zhang,


Minghua Chen, Dah Ming
Chiu

EPE31

C,Cube: Elastic continuous


clustering in the cloud

2013

IEEE

Zhenjie Zhang; Hu Shu;


Zhihong Chong; Hua Lu; Yin
Yang

EPE32

Cashing in on the cache in the


cloud

2012

TPDS

Han, H.a and Lee, Y.C.b and


Shin, W.a and Jung, H.b and
Yeom, H.Y.a and Zomaya,
A.Y.b

EPE33

Client Classification Policies 2012


for SLA Enforcement in Shared Cloud Datacenters

ACM

Mario Macias, Jordi Guitart

EPE34

Cloud effectiveness model

Scopus

Feehs R.J.

EPE35

Cloud services evaluation fra- 2012


mework

ACM

Miguel Reixa, Carlos Costa,


Manuela Aparicio

EPE36

CLOUDQUAL: A Quality 2014


Model for Cloud Services

IEEE

Xianrong Zheng; Martin, P.;


Brohman, K.; Li Da Xu

EPE37

Cloudy with a Chance of Load


Spikes: Admission Control
with Fuzzy Risk Assessments

2013

IEEE

Tomas, L.; Tordsson, J.

EPE38

Computational Neuroscience
as a Service: Porting MIIND
to the Cloud

2011

CLOUDCOM

Gerckens, B. and Djemame,


K. and de Kamps, M.

EPE39

Constructing elastic scientific 2013


applications using elasticity
primitives

Scopus

Galante G., Bona L.C.E.

EPE40

Converting a High Perfor- 2011


mance Application to an Elastic Cloud Application

CLOUDCOM

Rajan, D. and Canino, A and


Izaguirre, Jesus A and Thain,
D.

2013

99

EPE41

Cost,effective cloud HPC re- 2013


source provisioning by building semi,elastic virtual clusters

ACM

Shuangcheng Niu, Jidong


Zhai, Xiaosong Ma, Xiongchao Tang, Wenguang Chen

EPE42

Cost and utilization optimiza- 2013


tion of Amazon EC2 instances

CLOUD

Kokkinos, P.a and Varvarigou,


T.A.a and Kretsis, A.b and
Soumplis, P.b and Varvarigos,
E.A.b

EPE43

Cost Optimization of Elasti- 2013


city Cloud Resource Subscription Policy

IEEE

Hwang, R.; Lee, C.; Chen, Y.;


Zhang,Jian, D.

EPE44

Criterions for Databases in 2015


Cloud Computing Environment

Scopus

Pati S.P., Pattnaik P.K.

EPE45

Critical Evaluation on jClouds


and Cloudify Abstract APIs
against EC2, Azure and
HP,Cloud

IEEE

Graham, S.T.; Xiaodong Liu

EPE46

CSLA: A language for impro- 2012


ving cloud SLA management

Scopus

Kouki Y., Ledoux T.

EPE47

Decentralizing the cloud: 2014


How can small data centers
cooperate?

IEEE

Hao Zhuang; Rahman, R.;


Aberer, K.

EPE48

Defining a measure of cloud


computing elasticity

2012

IEEE

Shawky, D.M.; Ali, A.F.

EPE49

DELMA: Dynamically ELas- 2011


tic MapReduce Framework
for CPU,Intensive Applications

IEEE

Fadika, Z.; Govindaraju, M.

EPE50

DIMO: distributed index for


matching multimedia objects
using MapReduce

2014

ACM

Ahmed Abdelsadek, Mohamed Hefeeda

EPE51

Distributed approximate spec- 2012


tral clustering for large,scale
datasets

ACM

Mohamed Hefeeda, Fei Gao,


Wael Abd,Almageed

EPE52

Does the Cloud need new al- 2012


gorithms? An introduction to
elastic algorithms

CLOUDCOM

Yike Guo and Ghanem, M.


and Rui Han

2014

100

APNDICE B. ESTUDOS PRIMRIOS EXCLUDOS

EPE53

Dynamic Resource Manage- 2014


ment in Cloud,based Distributed Virtual Environments

ACM

Yunhua Deng, Siqi Shen, Zhe


Huang, Alexandru Iosup, Rynson Lau

EPE54

Dynamic Scalability of a Con- 2013


solidation Service

IEEE

El Rheddane, A.; De Palma,


N.; Boyer, F.; Dumont, F.; Menaud, J.,M.; Tchana, A.

EPE55

Economic aspects of hybrid 2012


cloud infrastructure: User organization perspective

Springer

Oleksiy Mazhelis, Pasi Tyrvinen

EPE56

Efficient Autoscaling in the 2011


Cloud Using Predictive Models for Workload Forecasting

CLOUD

Roy, N. and Dubey, A and


Gokhale, A

EPE57

Efficient provisioning of
bursty scientific workloads
on the cloud using adaptive
elasticity control

2012

ACM

Ahmed Ali,Eldin, Maria Kihl,


Johan Tordsson, Erik Elmroth

EPE58

Elastic Admission Control for


Federated Cloud Services

2014

IEEE

Konstanteli, K.; Cucinotta, T.;


Psychas, K.; Varvarigou, T.A.

EPE59

Elastic Cloud Caches for


Accelerating Service,Oriented
Computations

2010

ACM

David Chiu, Apeksha Shetty,


Gagan Agrawal

EPE60

Elastic executions from inelas- 2011


tic programs

ACM

Iulian Neamtiu

EPE61

Elastic management of clus- 2009


ter,based services in the cloud

ACM

Rafael Moreno,Vozmediano,
Ruben S. Montero, Ignacio M.
Llorente

EPE62

Elastic Memory Management 2013


of Virtualized Infrastructures
for Applications with Dynamic Memory Requirements

Scopus

Molto G., Caballer M., Romero E., De Alfonso C.

EPE63

Elastic resource management 2013


for heterogeneous applications on PaaS

ACM

Hao Wei, Shurui Zhou, Ting


Yang, Rui Zhang, Qianxiang
Wang

EPE64

Elastic resources framework 2013


in IaaS, preserving performance SLAs

CLOUD

Dhingra, M.a and Lakshmi,


J.a and Nandy, S.K.a and Bhattacharyya, C.b and Gopinath,
K.b

101

EPE65

Elastic SI,Cache:
consis- 2011
tent and scalable caching in
multi,tier architectures

ACM

Francisco
Perez,Sorrosal,
Marta Patio,Martinez, Ricardo Jimenez,Peris, Bettina
Kemme

EPE66

Elastic Stream Computing


with Clouds

2011

CLOUD

Ishii, A and Suzumura, T.

EPE67

Elastic virtualized network


services

2012

IEEE

Baldi, Mario; Di Benedetto,


Marco

EPE68

Elasticity,aware virtual ma- 2013


chine placement for cloud datacenters

IEEE

Kangkang Li; Jie Wu; Blaisse,


A.

EPE69

Elasticity as a service for fede- 2013


rated cloud testbeds

IEEE

Carella, G.; Magedanz, T.;


Campowsky, K.; Schreiner, F.

EPE70

Elasticity Economics of
Cloud,Based Applications

2012

IEEE

Suleiman, B.

EPE71

ElastMan: Elasticity manager


for elastic key,value stores in
the cloud

2013

Scopus

Al,Shishtawy A., Vlassov V.

EPE72

EQS: An Elastic and Scalable


Message Queue for the Cloud

2011

CLOUDCOM

Nam,Luc Tran and Skhiri, S.


and Zimanyi, E.

EPE73

Esc: Towards an Elastic


Stream Computing Platform
for the Cloud

2011

CLOUD

Satzger, B. and Hummer, W.


and Leitner, P. and Dustdar, S.

EPE74

Evaluation criteria for cloud


services

2013

CLOUD

Costa, P.a and Santos, J.P.b


and Silva, M.M.D.a

EPE75

EventWave: programming
model and runtime support for
tightly,coupled elastic cloud
applications

2013

ACM

Wei,Chiu Chuang, Bo Sang,


Sunghwan Yoo, Rui Gu, Milind Kulkarni, Charles Killian

EPE76

Exploiting application dyna- 2013


mism and cloud elasticity for
continuous dataflows

IEEE

Kumbhare, A.; Simmhan, Y.;


Prasanna, V.K.

EPE77

Exploring Alternative Appro- 2011


aches to Implement an Elasticity Policy

CLOUD

Ghanbari, H. and Simmons, B.


and Litoiu, M. and Iszlai, G.

102

APNDICE B. ESTUDOS PRIMRIOS EXCLUDOS

EPE78

Formal modeling and evalua- 2013


tion of stateful service,based
business process elasticity in
the cloud

Scopus

Amziani M., Melliti T., Tata


S.

EPE79

GA,based cloud resource esti- 2012


mation for agent,based execution of bag,of,tasks applications

Springer

J. Octavio Gutierrez,Garcia,
Kwang Mong Sim

EPE80

Going viral: flash crowds in


an open CDN

2011

ACM

Patrick Wendell, Michael J.


Freedman

EPE81

How elastic is your virtualized


datacenter fabric?

2013

ACM

Daniel Crisan, Robert Birke,


Nikolaos Chrysos, Mitch Gusat

EPE82

How is the weather tomor- 2009


row?: towards a benchmark
for the cloud

ACM

Carsten Binnig, Donald Kossmann, Tim Kraska, Simon Loesing

EPE83

Is your cloud elastic enough?: 2012


performance modelling the
elasticity of infrastructure as
a service (IaaS) cloud applications

ACM

Paul C. Brebner

EPE84

JCatascopia: Monitoring Elas- 2014


tically Adaptive Applications
in the Cloud

IEEE

Trihinas, D.; Pallis, G.; Dikaiakos, M.D.

EPE85

Kaleidoscope:
cloud mi- 2011
cro,elasticity via VM state coloring

ACM

Roy Bryant, Alexey Tumanov,


Olga Irzak, Adin Scannell,
Kaustubh Joshi, Matti Hiltunen, Andres Lagar,Cavilla,
Eyal de Lara

EPE86

Key consideration factors of


adopting cloud computing for
science

2012

IEEE

Chia,Lee Yang; Bang,Ning


Hwang; Yuan, B.J.C.

EPE87

Kingfisher: Cost,aware elasti- 2011


city in the cloud

IEEE

Upendra Sharma; Shenoy, P.;


Sahu, S.; Shaikh, A.

EPE88

Latency,aware elastic scaling 2014


for distributed data stream processing systems

ACM

Thomas Heinze, Zbigniew Jerzak, Gregor Hackenbroich,


Christof Fetzer

103

EPE89

LEMO,MR: Low Overhead 2010


and Elastic MapReduce Implementation Optimized for Memory and CPU,Intensive Applications

CLOUDCOM

Fadika, Z. and Govindaraju,


M.

EPE90

Long,term SLOs for reclai- 2014


med cloud computing resources

ACM

Marcus Carvalho, Walfredo


Cirne, Francisco Brasileiro,
John Wilkes

EPE91

Managing a SaaS application 2011


in the cloud using PaaS policy
sets and a strategy,tree

IEEE

Simmons, B.; Ghanbari, H.;


Litoiu, M.; Iszlai, G.

EPE92

Managing elasticity across


multiple cloud providers

2013

ACM

Fawaz Paraiso, Philippe


Merle, Lionel Seinturier

EPE93

Managing large numbers of


business processes with cloud
workflow systems

2012

ACM

Xiao Liu, Yun Yang, Dahai


Cao, Dong Yuan, Jinjun Chen

EPE94

Managing service perfor- 2013


mance in the Cassandra
distributed storage system

CLOUDCOM

Chalkiadaki, M. and Magoutis, K.

EPE95

MELA: Monitoring and


Analyzing Elasticity of Cloud
Services

2013

IEEE

Moldovan, D.; Copil, G.;


Hong,Linh Truong; Dustdar,
S.

EPE96

MoSQL: an elastic storage en- 2013


gine for MySQL

ACM

Alexander Tomic, Daniele Sciascia, Fernando Pedone

EPE97

Multi,objective Reinforce- 2010


ment Learning for Responsive
Grids

Springer

Julien Perez, Ccile Germain,Renaud, Balazs Kgl,


Charles Loomis

EPE98

On estimating actuation de- 2013


lays in elastic computing systems

IEEE

Gambi, A.; Moldovan, D.; Copil, G.; Truong, H.,L.; Dustdar, S.

EPE99

On the elasticity of NoSQL 2011


databases over cloud management platforms

ACM

Ioannis Konstantinou, Evangelos Angelou, Christina Boumpouka, Dimitrios Tsoumakos,


Nectarios Koziris

EPE100

Optimal Deployment And


Scheduling Of Elastic Cloud
Services In SaaS Scenarios

Scopus

Xu C., Yang J., Ling X., Lin


H.

2014

104

APNDICE B. ESTUDOS PRIMRIOS EXCLUDOS

EPE101

Optimization,Based Virtual
Machine Manager for Private
Cloud Computing

2011

CLOUDCOM

Niyato, D.

EPE102

Pepper: An Elastic Web Ser- 2010


ver Farm for Cloud Based on
Hadoop

CLOUDCOM

Krishnan, S. and Counio, J.C.

EPE103

PRESC {2} :
efficient
self,reconfiguration of cache
strategies for elastic caching
platforms

Springer

Xiulei Qin, Wei Wang, Wenbo


Zhang, Jun Wei, Xin Zhao,
Hua Zhong, Tao Huang

EPE104

Profiling,Based Task Sche- 2014


duling for Factory,Worker
Applications in Infrastructure,as,a,Service Clouds

IEEE

Zabolotnyi, Rostyslav; Leitner, Philipp; Dustdar, Schahram

EPE105

QUELLE , A framework for


accelerating the development
of elastic systems

Scopus

Moldovan D., Copil G., Truong H.,L., Dustdar S.

EPE106

RACE: a scalable and elas- 2013


tic parallel system for discovering repeats in very long sequences

ACM

Essam Mansour, Ahmed


El,Roby, Panos Kalnis, Aron
Ahmadia, Ashraf Aboulnaga

EPE107

Rafhyc: an Architecture for 2013


Constructing Resilient Services on Federated Hybrid
Clouds

Springer

Vctor Mndez Muoz,


Adrian Casajs Ramo, Vctor
Fernndez Albor, Ricardo
Graciani Diaz, Gonzalo
Merino Arvalo

EPE108

Real,Time Tasks Oriented


Energy,Aware Scheduling in
Virtualized Clouds

2014

IEEE

Xiaomin Zhu; Yang, L.T.; Huangke Chen; Ji Wang; Shu


Yin; Xiaocheng Liu

EPE109

Responsive elastic computing

2009

ACM

Julien Perez, Ccile Germain,Renaud, Balzs Kgl,


Charles Loomis

EPE110

Scaling Non,elastic Applicati- 2011


ons Using Virtual Machines

CLOUD

Knauth, T. and Fetzer, C.

EPE111

Schedule optimization for


data processing flows on the
cloud

Scopus

Kllapi H., Sitaridi E., Tsangaris M.M., Ioannidis Y.

1996

2014

2011

105

EPE112

Scheduling Scientific Work- 2011


flows Elastically for Cloud
Computing

CLOUD

Cui Lin and Shiyong Lu

EPE113

Service specification in cloud 2009


environments based on extensions to open standards

ACM

Fermn Galn, Americo Sampaio, Luis Rodero,Merino, Irit


Loy, Victor Gil, Luis M. Vaquero

EPE114

SLA,Based and Consu- 2012


mer,centric Dynamic Provisioning for Cloud Databases

CLOUD

Sakr, S. and Liu, A

EPE115

SLA
evaluation
in
cloud,based
data,centric
distributed services

Scopus

Ravindran K., Iannelli M.

EPE116

SLA
evaluation
with 2014
on,the,fly
measurements
of distributed service implementation over clouds

ACM

Kaliappa Ravindran, Arun


Adiththan, Michael Iannelli

EPE117

soCloud: a service,oriented 2014


component,based PaaS for managing portability, provisioning, elasticity, and high availability across multiple clouds

Springer

Fawaz Paraiso, Philippe


Merle, Lionel Seinturier

EPE118

Software architecture defini- 2012


tion for on,demand cloud provisioning

Springer

Clovis Chapman, Wolfgang


Emmerich, Fermn Galn Mrquez, Stuart Clayman, Alex
Galis

EPE119

SpeQuloS: a QoS service for


hybrid and elastic computing
infrastructures

Springer

Simon Delamare, Gilles Fedak, Derrick Kondo, Oleg


Lodygensky

EPE120

SYBL: An extensible lan- 2013


guage for controlling elasticity in cloud applications

Scopus

Copil G., Moldovan D., Truong H.,L., Dustdar S.

EPE121

Symbiotic
and
sensiti- 2014
vity,aware architecture for
globally,optimal benefit in
self,adaptive cloud

ACM

Tao Chen, Rami Bahsoon

2014

2013

106

APNDICE B. ESTUDOS PRIMRIOS EXCLUDOS

EPE122

The case for elastic operating


system services in fos

EPE123

2012

ACM

Lamia Youseff, Nathan Beckmann, Harshad Kasture, Charles Gruenwald, David Wentzlaff, Anant Agarwal

Time,based evaluation of ser- 2013


vice,based business process
elasticity in the cloud

Scopus

Amziani M., Klai K., Melliti


T., Tata S.

EPE124

Towards an Elastic Applica- 2011


tion Model for Augmenting
the Computing Capabilities of
Mobile Devices with Cloud
Computing

Springer

Xinwen Zhang, Anugeetha


Kunjithapatham, Sangoh Jeong, Simon Gibbs

EPE125

Towards Efficient Deploy- 2013


ment of Cloud Applications through Dynamic Reverse
Proxy Optimization

IEEE

Wei Yuan; Hailong Sun; Xu


Wang; Xudong Liu

EPE126

Towards elastic multi,tenant 2012


database replication with quality of service

Scopus

Sousa F.R.C., Machado J.C.

EPE127

Towards exploiting the full


adaptation potential of cloud
applications

2014

ACM

Clarissa Cassales Marquezan,


Florian Wessling, Andreas
Metzger, Klaus Pohl, Chris
Woods, Karl Wallbom

EPE128

Towards the formalization of 2014


properties of cloud,based elastic systems

ACM

Marcello M. Bersani, Domenico Bianculli, Schahram


Dustdar, Alessio Gambi,
Carlo Ghezzi, Sr?an Krsti?

EPE129

Trade,Off
Analysis
of
Elasticity Approaches for
Cloud,Based
Business
Application

Scopus

Suleiman B., Sakr S., Venugopal S., Sadiq W.

EPE130

Transactional Auto Scaler: 2014


Elastic Scaling of Replicated In,Memory Transactional
Data Grids

ACM

Diego Didona, Paolo Romano,


Sebastiano Peluso, Francesco
Quaglia

EPE131

Transforming
reactive
auto,scaling into proactive
auto,scaling

ACM

Laura R. Moore, Kathryn


Bean, Tariq Ellahi

2012

2013

107

EPE132

True elasticity in multi,tenant 2012


data,intensive compute clusters

ACM

Ganesh Ananthanarayanan,
Christopher Douglas, Raghu
Ramakrishnan, Sriram Rao,
Ion Stoica

EPE133

V,Cache: Towards Flexible


Resource Provisioning for
Multi,tier Applications in IaaS
Clouds

2013

IEEE

Yanfei Guo; Lama, P.; Jia Rao;


Xiaobo Zhou

EPE134

Vertical/Horizontal Resource 2014


Scaling Mechanism for Federated Clouds

IEEE

Chien,Yu Liu; Meng,Ru Shie;


Yi,Fang Lee; Yu,Chun Lin;
Kuan,Chou Lai

EPE135

VOLTAIC: volume optimiza- 2012


tion layer to assign cloud resources

ACM

Hugo E. T. Carvalho, Otto


Carlos M. B. Duarte

EPE136

XDB , A Novel Database Ar- 2014


chitecture for Data Analytics
as a Service

IEEE

Binnig, C.; Salama, A.; Zamanian, E.; Kornmayer, H.; Listing, S.; Mueller, A.C.

EPE137

Zephyr: live migration in sha- 2011


red nothing databases for elastic cloud platforms

ACM

Aaron J. Elmore, Sudipto Das,


Divyakant Agrawal, Amr El
Abbadi

Tabela B.1: Estudos excludos em ordem alfabtica

109

C
Listagem dos Meios de Publicao Identificados
O objetivo este apndice apresentar a lista das meios de publicaes identificados
atravs dos estudos selecionados nesta pesquisa, de forma colaborar com pesquisas futuras
sobre experimentao em elasticidade na computao em nuvem.
Cdigo

Venue

Estudos

V1

International Conference on Cloud Computing

V2

IEEE Transaction on Parallel and Distributed Systems

V3

Journal of Computer Science and Technology

V4

IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing

V5

International Conference on Distributed Computing Systems

V6

International Symposium on Cluster, Cloud and Grid Computing

V7

International Conference on Coud Computing Technology and Science

V8

Communications and Electronics

V9

IEEE International Workshop on Quality of Service

V10

IEEE Recent Advances in Intelligent Computational Systems

V11

International Conference on Autonomic Computing

V12

Concurrency Computation Practice and Experience

V13

International Middleware Conference

V14

Future Generation Computer Systems

V15

Annual International Computers, Software and Applications Conference


Workshops

V16

FAST

V17

Workshop on Programming Based on Actors, Agents, and Decentralized


Control

V18

IEEE International Conference on Embedded and Ubiquitous Computing

110

APNDICE C. LISTAGEM DOS MEIOS DE PUBLICAO IDENTIFICADOS

V19

IEEE International Symposium on Service Oriented System Engineering

V20

International Conference on Contemporary Computing

V21

IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing

V22

ACM European Conference on Computer Systems

V23

International Conference on Cloud and Green Computing

V24

Chinese Control Conference

V25

International Symposium on Software Engineering for Adaptive and


Self-Managing Systems

V26

International Conference on Parallel and Distributed Systems

V27

Workshop on Secure and Dependable Middleware for Cloud Monitoring


and Management

V28

ACM Transactions on Database System

V29

Frontiers of Computer Science

V30

International Conference on Semantic Computing

V31

International Conference on Utility and Cloud Computing

V32

ACM International Conference on Distributed Event-Based Systems

V33

International Parallel & Distributed Processing Symposium

V34

Euromicro International Conference on Parallel, Distributed, and


Network-Based Processing

V35

International Conference on Cloud Engineering

V36

International Conference on Cloud Computing Technology and Science

V37

International Enterprise Distributed Object Computing Conference

V38

Workshops on Enabling Technologies: Infrastructure for Collaborative


Enterprises

V39

ACM Symposium on Cloud Computing

V40

International Workshop on Semantic Web Information Management

V41

IEEE Latin America Conference on Cloud Computing and Communications

V42

International Conference on Innovative Computing and Cloud Computing

V43

NETWORKING

V44

Communications in Computer and Information Science

V45

IEEE Latin American Conference on Cloud Computing and Communications

V46

International Symposium on Parallel & Distributed Processing

V47

Journal of Cloud Computing: Advances, Systems and Applications

111

V48

ACM Cloud and Autonomic Computing Conference

V49

International Conference on Big Data

V50

ACM/SPEC International Conference on Performance Engineering

V51

Software Engineering for Self-Adaptive Systems II

V52

International Workshop on Data Intensive Distributed Computing

Tabela C.1: Lista das venues identificadas e ordem de quantidade de publicao

113

D
Grupos de Pesquisa Identificados
O objetivo este apndice apresentar a lista dos grupos de pesquisas identificados atravs
dos estudos selecionados nesta pesquisa, de forma colaborar com pesquisas futuras sobre
experimentao em elasticidade na computao em nuvem.
Instituio

Publicaes

Tipo

Pas

Technische Universitt Dresden

Academia

Alemanha

University of New South Wales

Academia

Austrlia

Carleton University

Academia

Canad

Universidade Federal do Cear

Academia

Brasil

Imperial College London

Academia

Reino Unido

INRIA Centre Rennes

Pesquisa

Frana

Universidade do Minho

Academia

Portugal

Alcatel-Lucent Bell Labs

Pesquisa

Blgica

Argonne National Laboratory

Pesquisa

Estados Unidos

Arizona State University

Academia

Estados Unidos

Canonical Ltd

Indstria

Reino Unido

Carnegie Mellon University

Academia

Estados Unidos

Central University of Rajasthan

Academia

India

Chinese Academy of Sciences

Academia

China

Dublin City University

Academia

Irlanda

Duke University

Academia

Estados Unidos

Edinburgh Napier Universit

Academia

Reino Unido

Universidade Federal do Paran

Academia

Brasil

Fraunhofer FOKUS Institute

Pesquisa

Alemanha

George Mason University

Academia

Estados Unidos

HASLab - INESC TEC

Pesquisa

Portugal

Hohai University

Academia

China

IBM China Development Lab

Pesquisa

China

114

APNDICE D. GRUPOS DE PESQUISA IDENTIFICADOS

IBM Research

Pesquisa

Estados Unidos

IBM Research Zurich Lab

Pesquisa

Sua

IBM Toronto Software Lab

Pesquisa

Canad

IBM Watson Research Center

Pesquisa

Estados Unidos

IIT Madras

Academia

India

Institut Mines-Telecom

Pesquisa

Frana

Intel Labs

Pesquisa

Estados Unidos

KTH Royal Institute of Technology

Academia

Sucia

LNM Institute of Information Technology

Pesquisa

India

Mines-Nantes

Pesquisa

Frana

National ICT Australia

Pesquisa

Austrlia

National Technical University of Athens

Academia

Grcia

National University of Defense Technology

Academia

China

Ohio State University

Academia

Estados Unidos

Peking University

Academia

China

Potsdam University

Academia

Alemanha

San Jose State University

Academia

Estados Unidos

SAP AG

Indstria

Alemanha

Shanghai University

Academia

China

SIGMA Informatique

Indstria

Frana

Tsinghua University

Academia

China

Umea University

Academia

Sucia

Universidad Complutense de Madrid

Academia

Espanha

Universidad Politecnica de Madrid

Academia

Espanha

Universidade Federal de Campina Grande

Academia

Brasil

Universidade Federal de Pernambuco

Academia

Brasil

Universidade Federal do ABC

Academia

Brasil

Universitat Rovira i Virgili

Academia

Espanha

Universit de Neuchtel

Academia

Sua

University Montpellier

Academia

Frana

University of Alberta

Academia

Canad

University of California

Academia

Estados Unidos

University of Chicago

Academia

Estados Unidos

University of Evry Val dEssonne

Academia

Frana

University of Hawaii

Academia

Estados Unidos

University of Lugano

Academia

Sua

University of Massachusetts

Academia

Estados Unidos

115

University of Southern California

Academia

Estados Unidos

University of St Andrews

Academia

Reino Unido

University of Technology Sydney

Academia

Austrlia

Vienna University of Technology

Academia

ustria

Vrije Universiteit Brussel

Academia

Blgica

Washington State University

Academia

Estados Unidos

Yahoo! Research

Pesquisa

Estados Unidos

York University

Academia

Canad

Tabela D.1: Lista dos grupos de pesquisa identificados

117

E
Autores Envolvidos
A informao apresentada neste apndice refere-se lista dos autores identificados na
pesquisa. Mais informaes detalhadas podem ser encontradas na seo 4.2 .
Autores

Estudos

Fetzer, C.

Venugopal, S.

Ajila, S.A.

Da Silva, T.L.C.

MacHado, J.C.

Martin, A.

Matos, M.

Morin, C.

Nascimento, A.M.

Nikravesh, A.Y.

Oliveira, R.

Sousa, F.R.C

Vilaa, R.

Aakash Ahmad

Adam Silberstein

Agrawal, G.

Al-Shishtawy, A.

Alan Fekete

Aldhalaan A.

Alexey Tumanov

Amr El Abbadi

Amziani, M.

Anna Liu

Arman, A.

118

APNDICE E. AUTORES ENVOLVIDOS

Arora, V.

Azevedo, E.

Barazzutti, R.

Barker A.

Beernaert, L.

Bin Sun

Binder, W.

Bjorkqvist, M

Bona L.C.E.

Brian F. Cooper

Brito, A.

Bunch, C.

Casalicchio E.

Chen, L.Y.

Chen, Q.

Chiu, D.

Chohan, N.

Chokhani, P.

Chung-Horng Lung

Claudio Forlivesi

Claus Pahl

Costache, S.

Cristian Cotes

Cruz, F.

Da Wei Zhang

Dantas, R.

Daoning Ren

Daren Fang

Dawoud W.

de Oliveira, F.A.

Dias, C.

Dimitrios Tsoumakos

Divyakant Agrawal

Du Dajun

Dupont, S.

Dustdar, S.a

Elie Krevat

119

Elmroth, E.

Erwin Tam

Evangelos Angelou

Fei Minrui

Felber, P.

Feller, E.

Fernandes, S.

Ferreira Coutinho, E.

Galante G.

Gao, J.

Ghanbari H.

Ghanem M.M.

Ghanem, M.M.

Goncalves Gomes, D.

Gregory R. Ganger

Guangquan Zhang

Gulisano, V.

Guo L.

Guo Y.

Guodong Long

Hall, B.

Han Li

Han R.

Harold C. Lim

Hegde, S.

Heinze, T.

Heng Wu

Hoenisch, P.a

Hongji Yang

Hu Wang

Huangke Chen

Ioannis Konstantinou

Iszlai G.

James Cipar

Janwillem Swalens

Jeffrey S. Chase

Jerzak, Z.

120

APNDICE E. AUTORES ENVOLVIDOS

Jianghan Zhu

Jianhua Zhang

Jianjiang Wang

Jie Lu

Jimnez-Peris, R.

Jing Jiang

John Lenton

Jun Wei

Kai Ding

Kamienski, C.

Keahey, K.

Kevin Lee

Koen Daenen

Kortas, S.

Kouki, Y.

Krintz, C.

Ledoux, T.

Li Guo

Lianghong Xu

Liaskos S.

Lin Liu

Lipyeow Lim

Litoiu M.

Llorente I.M.

Lode Hoste

Lung, C.-H.

Ma, X.

MaCedo J.A.F.

MaCedo, J.A.F.

Magedanz, T.

Maia, F.

Marc Sanchez-Artigas

Margery, D.

Meinel C.

Melliti, T.

Menasce D.A.

Michael A. Kozuch

121

Montero R.S.

Moreno-Vozmediano R.

Nectarios Koziris

Neuman de Souza, J.

Nico Janssens

Nicolae, B.

Nikolaos Papailiou

Nitin Gupta

Onica, E.

Osmond M.

Parlavantzas, N.

Pasin, M.

Pasumarthy, R.

Patio-Martnez, M.

Pattabhiraman, P.

Paulo, J.

Pedro Garcia Lopez

Pereira, J.

Pooyan Jamshidi

Prasanna, V.K.

Raghu Ramakrishnan

Ray, P.

Redekopp, M.

Riteau, P.

Riviere, E.

Rohr, C.

Rui Han

Russell Sears

Sadeka Islam

Sadok, D.

Sahu, S.

SaiKrishna, P.S.

Schreiner, F.

Schulte, S.a

Sergi Toda

Shaikh, A.

Shenoy, P.

122

APNDICE E. AUTORES ENVOLVIDOS

Shetty, A.

Shivnath Babu

Simmhan, Y.

Simmons B.

Simoes, R.

Somani, G.

Song Yang

Song, W.

Soriente, C.

Srivastava, A.

Stefan Marr

Sudipto Das

Suleiman, B.

Takouna I.

Tao Huang

Tata, S.

Thierry Renaux

Tordsson, J.

Tsai, W.T.

Upendra Sharma

Valduriez, P.

Vlassov, V.

Wang, Y.

Ward J.S.

Wenbo Zhang

Wolfgang De Meuter

Wubin Li

Tabela E.1: Listagem dos autores identificados e as respectivas quantidades de publicaes

123

F
Protocolo do Mapeamento Sistemtico
F.1

Introduo

No mbito da computao em nuvem autores apontam dificuldades na avaliao da


qualidade, interpretao, generalizao e validade dos resultados por causa da completude e
superficialidade das informaes reportadas pelos estudos realizados (DURAO et al., 2014; LI
et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a).
Tambm apontada por MARTENS; TEUTEBERG (2011) a necessidade de se aumentar a
utilizao de mtodos empricos na computao em nuvem para facilitar a transferncia de
tencologias entre academia e industria. Para tal, necessria uma melhoria substncial no
relato dos estudos empricos para se possa utilizar mais efetivamente os resultados j alcanados.
SILVA; ROSE; CALINESCU (2013b), aponta em sua reviso sistemtica que dentre os estudos
avaliados apenas 2% deles apresentou suas perguntas de pesquisa. LI et al. (2013). tambm
criticam a qualidade das informaes apresentadas pelos estudos. DURAO et al. (2014). fala
que os relatos apresentam informaes insuficientes sobre o contexto das avaliaes, ambiente e
procedimentos metodolgicos, prejudicando interpretao e avaliao das evidncias.
Em geral, no contexto da engenharia de software experimental, autores tambm apontam
insuficincias no relato de todos os tipos de informaes avaliadas em experimentos. Tais
problemas incluem relatrios incompletos, informaes reportadas em diferentes sees do
relato e falta de utilizao de uma terminologia consistente. MACDONELL; SHEPPERD (2007)
tambm enfatiza a necessidade de melhorar a forma como os estudos so publicados, atravs
de uma forma consistente, utilizando resumos estruturados, ttulos significativos e esquemas
de palavras-chave. SMITE et al. (2008) recomenda tambm que os relatos devem ser mais
consistentes. Em estudo sistemtico realizado DYB; KAMPENES; SJ BERG (2006) relatam
dificuldades em avaliar o poder estatstico dos estudos pois em 67% deles era possvel identificar
quais testes foram realizados para avaliar hipteses.
Apesar de vrios autores apontarem problemas relacionados completude dos relatos
dos estudos empricos na CN, at o momento nenhum estudo apresentou uma viso holstica dos
problemas existentes. Motivado pela necessidade de se produzir melhores evidncias de estudos

124

APNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMTICO

empricos na CN, e como um primeiro esforo neste sentido, o presente trabalho se prope a:
identificar os experimentos em elasticidade na computao em nuvem, caracteriz-los e, atravs
de guias existentes na literatura da engenharia de software experimental, avali-los quanto a
completude de seus relatos.

F.2

Necessidade do Estudo Secundrio

A necessidade do estudo envolve a identificao e caracterizao dos Experimentos


realizados em Elasticidade na CN, com o intuito de analisar a completude de seus Relatrios
baseado em guidelines existentes na literatura da Engenharia de Software Experimental. O
estudo proposto est completamente direcionado anlise do relatrio e no do Experimento
realizado. Para demonstrar que no existia na literatura uma avaliao semelhante realizamos
buscas em julho de 2014 nos engenhos IEEExplorer1 , Scopus2 , ACM3 e Google Acadmico4
atravs da string de busca presente na Tabela F.1:

(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-a-Service <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR> SaaS <OR>
Software-as-a-Service"<OR> Software as a Service)
[AND]
(Systematic Literature Review <OR> Systematic Review <OR> SLR <OR> Systematic
Mapping <OR> Literature Survey <OR> Research Review <OR> Research Synthesis
<OR> Secondary Study)

Tabela F.1: String de Busca para identificar estudos secundrios existentes


Nenhum dos estudos encontrados estava relacionado s perguntas de pesquisa. Considerando a importncia de uma apresentao sistemtica e padronizada dos relatos de experimentos
e as evidncias da literatura que apontam problemas em sua completude, tornam-se oportunas a
consolidao e anlise propostas neste estudo de reviso.

F.3

Pesquisadores Envolvidos

A etapa de busca, a primeira etapa de seleo dos estudos, bem como a sntese, foram
executados exclusivamente pela pesquisara Helaine Barreiros. A segunda etapa de seleo dos
1 http://ieeexplore.ieee.org/
2 http://www.scopus.com/
3 http://dl.acm.org/
4 http://scholar.google.com/

F.4. ESCOPO DO ESTUDO

125

estudos ser realizada com a participao de oito pesquisadores configurados em dez duplas.
A etapa de extrao de dados e aplicao do instrumento de coleta ser executada por dois
pesquisadores.
Todo o processo ser realizado sob a superviso do orientador Professor Doutor Vinicius
Garcia e co-orientador Professor Doutor Sergio Soares. A equipe envolvida na pesquisa
apresentada na Tabela F.2
Dupla

Revisor 1

Especialidade
CN
ESBE

Revisor 2

D1

Andreza Leite (AL)

D2

Michael Frana (MF)

ESBE

Juliana Saraiva (JS)

D3

Eudis Teixeira (ET)

ESBE
ESE

Helaine Barreiros

D4

Alex Nery (AN)

D5

Gert Ucha (GU)

D6

Diogo Vincius (DV)

D7

Vinicius Garcia (VG)

D8

Emanoel Barreiros (EB)

D9

Liliane Fonseca

D10

Vilmar Nepomuceno (VN)

ESBE
ESE
CN
CN
ESBE
CN
ESBE
ESE
ESBE
ESE
ESBE
ESE
ESBE
ESE

Marco Machado (MM)

Vilmar Nepomuceno
Jos Fernando (JF)
Leandro Marques (LM)
Emanoel Barreiros (EB)
Thiago Jamir (TJ)
Samuel Romeiro (SR)
Adauto Trigueiro (AT)

Especialidade
CN
ESBE
ESBE
ESE
CN
ESBE
ESE
ESBE
ESE
CN
CN
ESBE
ESBE
ESE
CN
ESBE
ESBE
ESE
ESBE
ESE

Tabela F.2: Configurao da equipes e pesquisadores participantes

F.4

Escopo do Estudo

J que este estudo envolve a pesquisa sistemtica em computao em nuvem, a populao


do estudo composta por todos os artigos que reportaram experimentos em elasticidade em
computao em nuvem. O universo de estudos primrios dever ser obtido atravs da execuo
de buscas manuais e automatizadas, detalhadas na Seo F.6.
Este mapeamento est interessado apenas em estudos que tenham reportado experimentos
que avaliem a caracterstica de elasticidade da computao em nuvem. Entretanto, a busca
deve ser ampla o suficiente para reduzir o risco de no selecionar estudos relevantes que no
tenham sido reportados claramente como experimentos (usando termos no padres da rea de
experimentos), algo comum na rea.

126

APNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMTICO

esperado que os resultados do mapeamento contribuam com o conhecimento da


rea atravs da agregao da informao. Embora a maior parte dos artigos cientficos sejam
publicados por instituies da academia, acredita-se que um nmero razovel de estudos so
realizados pela indstria e laboratrios de pesquisa especializados. Desta forma, o contexto
do presente trabalho pode ser considerado majoritariamente acadmico, mas no possvel
desprezar seu apelo industrial, evidenciado pelos dados (principalmente organizaes dos autores)
encontrados por este trabalho.

F.5

Questes de Pesquisa

O presente estudo secundrio objetiva pesquisar a literatura e mapear estudos primrios


que realizam experimentos em elasticidade em computao em nuvem. Ainda, tambm objetivo
deste estudo avaliar a completude destes trabalhos atravs de um instrumento elaborado a partir
de um guia para o relatrio de experimentos em engenharia de software, uma vez que no existe
tal instrumento para computao em nuvem. As perguntas de pesquisa a serem respondidas so:


QP1 - Quo completos so os relatos de experimentos em elasticidade na computao


em nuvem?


SQP1 - O ttulo permite que o leitor identifique que o estudo um relato


de experimento?
SQP2 - Informaes importantes do resumo como motivao, objetivos,
mtodos, resultados, limitaes e concluses da pesquisa so relatadas?
SQP3 - A introduo do relato apresenta referncias declarao do
problema, objetivos e contexto da pesquisa?
SQP4 - A fundamentao informa sobre a tecnologia em investigao, s
possveis opes alternativas a ela, pesquisas relacionadas e a relevncia
para a prtica?

SQP5 - O relato apresenta informaes sobre o planejamento da pesquisa?

SQP6 - O relato detalha a anlise dos dados da pesquisa?

SQP7 - Os resultados, suas implicaes e ameaas validade so relatados?


SQP8 - As concluses do estudo apresentam um resumo conciso da pesquisa, seus impactos e trabalhos futuros?

KITCHENHAM; CHARTERS (2007) orienta a utilizao da esturtura PICOC para


descrever os cinco elementos que compem as perguntas de pesquisa (PETTICREW; ROBERTS,
2008):

F.6. PROCESSO DE BUSCA




Population (Populao): Quem so os participantes/populao de interesse?

Intervention (Interveno): As intervenes a serem aplicadas?

Compration (Comparao): O tipo de comparao a ser feita.

Outcome (Resultados): Quais os resultados de interesse?

Context (Contexto): Contexto da pesquisa.

127

No entanto a utilizao desta estrutura mais conveniente quando aplicada questes de


pesquisa mais especficas como as presentes em RSL. Como as pergunta de pesquisa do presente
estudo so de carter amplo e exploratrio seu uso neste trabalho no se justifica.

F.6

Processo de Busca

.
O processo de busca de um estudo sistemtico deve ser rigoroso e imparcial, capaz de
permitir que a maior quantidade de estudos primrios relacionados s perguntas de pesquisa
sejam encontrados (DICKERSIN; SCHERER; LEFEBVRE, 1994). Na prtica, a identificao de
estudos primrios pode ser difcil por vrias razes como por exemplo: estratgia inadequada de
pesquisa, heterogeneidade da linguagem, limitaes dos termos de indexao, entre outras. Uma
estratgia de pesquisa ideal deve atender aos seguintes questionamentos relativos ao processo de
busca (ZHANG; BABAR; TELL, 2011):


Que abordagem ser utilizada no processo de busca (Exemplo: manual ou automtica)?


Onde pesquisar e em que parte do artigo deve ser feita a busca? (Exemplo: resumo,
palavra chave)
O qu deve ser procurado e quais a strings de pesquisa sero utilizadas nos engenhos
de busca?
Qual o intervalo de tempo a ser pesquisado?

Na inteno de avaliar o mximo nmero possvel de estudos em um intervalo de tempo


relativamente curto, alguns engines de busca devem ser utilizados:


IEEEXplore Digital Library 5 ;

ACM Digital Library 6 ;

5 http://ieeexplore.ieee.org
6 http://portal.acm.org

128

APNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMTICO




Elsevier Scopus 7 ;

Springer Link 8 .

A busca manual deve ser utilizada como estratgia para ampliar a cobertura da pesquisa
e tentar reduzir o risco de no selecionar estudos relevantes que por ventura ainda no estejam
indexados pelos engenhos. Devem ser utilizadas fontes de dados as principais conferncias
e peridicos da engenharia de software emprica e da computao em nuvem, devidamente
escolhidas atravs da consulta a especialistas da rea:


EASE International Conference on Evaluation and Assessment in Software Engineering (2006 a 2014);
ESEM International Symposium on Empirical Software Engineering and Measurement (2007 a 2014);

ESEJ Empirical Software Engineering Journal (2006 a 2014);

CLOUD IEEE International Conference on Cloud Computing (2009 a 2014);

CLOUDCOM IEEE International Conference on Cloud Computing Technology


and Science (2010 a 2014);
TPDS IEEE Transactions on Parallel and Distributed Systems (2006 a 2014).

Pesquisadores reportam que buscas automatizadas so falhas em alguns pontos importantes (BRERETON et al., 2007; KEELE, 2007), logo, importante no apenas confiar em tais
mecanismos, com o intuito de reduzir os riscos de no selecionar estudos relevantes.
Os termos relevantes identificados foram os seguintes:


Computao em Nuvem: could computing, cloud platform, cloud service, cloud


provider, PaaS, SaaS, IaaS, platform as a service, platform-as-a-service, software as a
service, software-as-a-service, infrastructure as a service, infrastructure-as-a-service;

Elasticidade: elasticity;

Experimento: experiment, evaluate, evaluation, evaluating, benchmark;

Algumas palavras chave podem parecer no estar relacionadas a experimentos, mas elas
foram escolhidas, novamente, na tentativa de no excluir sem avaliao estudos que realizam
experimentos mas no se classificam como tal. Infelizmente, este fato ainda ocorre na rea de
computao em nuvem. Uma string de busca foi ento elaborada para ser aplicada nos engenhos
de busca escolhidos:
7 http://www.scopus.com
8 http://link.springer.com

F.7. PROCESSO DE SELEO

129

(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud
Provider <OR> PaaS <OR> Platform as a Service <OR> Platform-as-aService <OR> IaaS <OR> Infrastructure as a Service <OR> Infrastructureas-a-Service <OR> SaaS <OR> Software-as-a-Service<OR> Software as a
Service)
[AND] (Elasticity)
[AND] (Experiment OR Evaluate <OR> Evaluation OR Evaluating <OR>
Benchmark)

F.6.1

Critrios de Incluso e Excluso

Um detalhe importante a considerar a incluso e excluso de artigos. O pesquisador


deve ser muito cuidadoso quando analisa as palavras-chave, ttulo e resumo, pois a anlise mal
conduzida pode levar excluso indevida de estudos potencialmente relevantes. No presente
mapeamento, todos os estudos que esto claramente foram do escopo devem ser removidos no
incio do processo baseando-se na anlise das palavras-chave, ttulo e resumo. Aps a seleo
inicial, a verso completa de cada artigo deve ser recuperada para que uma anlise mais detalhada
possa ser realizada. Os critrios listados na Tabela F.3 devem ser aplicados com a iteno de
remover estudos irrelevantes.
Cdigo
C01
C02
C03
C04
C05
C06
C07
C08
C09
C10
C11

Critrios de Excluso
O arquivo no corresponde ao Estudo. (Ex: ndice)
O arquivo no um Estudo. (Ex: proceedings, editorial)
O Estudo duplicado.
O Estudo um slideshow ou resumo expandido.
O Estudo est fora do intervalo de avaliao.
O Estudo est relacionado Elasticidade mas no relata um Experimento.
O Estudo est relacionado Elasticidade, reporta um Experimento porm no
avalia Elasticidade.
O Estudo no est disponvel.
O Estudo no est em ingls.
O Estudo no est relacionado Computao em Nuvem.
O Estudo no est relacionado Elasticidade na Computao em Nuvem.
Tabela F.3: Lista dos Critrios de Excluso em ordem alfabtica.

F.7

Processo de Seleo
O processo de seleo detalhado a seguir:
1. O pesquisador utiliza os engenhos de busca e aplica a string de busca como um filtro.
As buscas manuais tambm so realizadas. Neste segundo caso, todos os estudos
so includos para avaliao de ttulo, palavras-chave e resumo. Como resultado,

130

APNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMTICO


uma lista de estudos primrios potencialmente relevantes so gerados. Neste passo
muitos estudos podem ser retornados e muitos estudos no relacionados ao tpico de
interesse da pesquisa pode estar entre os artigos retornados. Todos os estudos que
esto claramente fora do escopo do trabalho so removidos aps a avaliao do ttulo,
palavras-chave e resumo. No so mantidos registros dos estudos removidos nesta
etapa. Todos os estudos devem ser avaliados por pelo menos dois pesquisadores para
evitar o vis de avaliao;
2. A lista de artigos gerada pelos pesquisadores comparada com a lista final criada. Caso existam discordncias na deciso de incluir ou remover um artigo do
mapeamento, ele mantido para evitar a remoo de um estudo potencialmente
relevante;
3. Cada artigo na lista obtido e avaliado pelos pesquisadores. Nesta fase, todo o
artigo avaliado. Os critrios de incluso so aplicados. Todos os estudos devem ser
avaliados por pelo menos dois pesquisadores;
4. O conjunto final de estudos documentado.

Foi criado um instrumento, com base em guia existente na literatura, para se avaliar a
completude dos relatos. O respectivo formulrio e suas orientaoes de utilizao esto detlhados
na Seo H. Sempre que estudos devem ser avaliados, discordncias referentes a sua permanncia
no mapeamento podem surgir uma vez que mais de um pesquisador avalia cada artigo.
Cada revisor dever analisar a lista de estudos na ferramenta ExtractViewer e registrar as
informaes pertinentes. Aps a avaliao, a ferramenta cria um relatrio descrevendo os estudos
que foram includos e excludos e identifica os conflitos a serem resolvidos. Eventualmente
conflitos devem ser resolvidos em uma reunio com a presena dos integrantes do time. Cada
integrante deve apresentar sua opinio defendendo a incluso ou excluso. Os resultados
desta reunio devero ser registrados na ferramenta ExtractViewer. uma boa prtica ter um
pesquisador snior supervisionando as reunies de resoluo de conflitos para auxiliar na sua
conduo e atuar como voto de minerva caso os avaliadores no cheguem a um acordo.
F.7.0.0.1 Avaliao da Qualidade Nos estudos de reviso sistemtica comum se avaliar
a qualidade dos estudos que foram includos na pesquisa atravs da aplicao dos critrios de
incluso/excluso. Tal avaliao complementar ao processo de aplicao dos critrios e tem
como objetivo avaliar a qualidade dos estudos segundo trs aspectos: (i) vis, (ii) validade interna
e (iii) validade externa. Atravs deste instrumento o pesquisador pode, por exemplo, decidir um
critrio mnimo para que o estudo seja includo na pesquisa.
Uma vez que no presente trabalho deseja-se contruir uma viso panormica da atual
situao dos relatos dos experimentos interessante que todos os estudos que atendam o critrio
de incluso/excluso sejam includos para anlise. Assim sendo, a anlise de qualidade dos

F.8. PROCESSO DE SNTESE

131

estudos selacionados no foi realizada, uma vez que a incluso do maior nmero de estudos pode
contribuir potencialmente para a formao de uma viso ampla.

F.8

Processo de Sntese

Em particular, os dados coletados devero ser distinguidos entre metadados das publicaes e dados sobre o relato dos experimentos em elasticidade. Os metadados devem ser
utilizados principalmente para realizar uma investigao estatstica dos estudos selecionados,
enquanto os dados de relato dos experimentos devem ser analisads com o objetivo de responder
s questes de pesquisa.

133

G
Ferramenta ExtractViewer
O intuito deste apndice apresentar uma breve descrio da ferramenta ExtractViewer
que foi desenvolvida e utilizada neste trabalho de mapeamento sistemtico.

G.1

Contexto

conhecido pela comunidade o quo intensivo o processo de avaliao sistemtica


de estudos e a importncia de se ter um suporte ferramental que apoie o desenvolvimento da
pesquisa. Entretanto, sabe-se que o conjunto de ferramentas existentes ainda no fornecem
um apoio completo a todo o processo de um estudo sistemtico em um ambiente de trabalho
completamente distribudo (MARSHALL; BRERETON; KITCHENHAM, 2014). Atravs destas
dificuldades, vivenciadas na prtica durante a realizao deste estudo sistemtico, que surgiu a
ferramenta ExtractViewer.

G.2

Propsito da Ferramenta

A ferramenta ExtractViewer1 foi fundamental para acelerar e apoiar a execuo das


atividades do processo de mapeamento sistemtico, alm de diminuir a propenso erros,
naturalmente advindos de processos manuais e repetitivos. O conjunto de features inicialmente
desenvolvidos da ferramenta permitiu: (i) importar os resultados do processo de busca, (ii)
acessar facilmente os arquivos dos estudos, (iii) aplicar os critrios de incluso e excluso, (iv)
identificar conflitos e resolv-los e (vi) extrair dados da pesquisa.
O sistema foi concebido de modo a permitir que todas estas atividades pudessem ser
realizadas de forma distribuda, proporcionando mais velocidade na concluso desta etapa do
estudo. Foram disponibilizados, alm do acesso aos arquivos dos estudos, todas as informaes
de metadados obtidas, de forma a assitir o processo de seleo: ttulo, autor, ano, resumo, conferncia e engenho de busca. Tambm foi permitido aos revisores registrar todas as observaes
1 https://subversion.assembla.com/svn/assert-cloud/mapping-application-web

134

APNDICE G. FERRAMENTA EXTRACTVIEWER

que julgassem relevantes durante suas anlises, o que posterioremente apoiou a resoluo de
conflitos e anlise dos estudos.

G.3

Tecnologias Utilizadas

A ferramenta vem sendo desenvolvida na linguagem Java para web, proporcionando aos
pesquisadores um ambiente de trabalho distribudo e acessvel atravs da internet. A camada de
apresentao foi desenvolvida em JSF utilizado o framework Primefaces. A camada de acesso
dados foi implementada utilizado o framework Hibernate e banco de dados PostgreSQL. O
framework Apache POI foi utilizado no desenvolvimento de alguns relatrios em formato de
planiha Excel.
Toda a arquitetura da aplicao foi desenvolvida utilizando o framework de aplicao
Spring em todas as camadas do sistema. Foi utilizado o container de servlets Apache Tomcat para
publicao do sistema. O projeto de desenvolvimento foi construdo utilizando a IDE Eclipse e o
cdigo-fonte do projeto est disponvel no repositrio Assembla.

G.4

Telas do Sistema

A seguir so apresentadas, respectivamente, na Figura G.1 e Figura G.2 algumas das


telas do ambiente do revisor para a visualizao da lista de artigos a serem analisados e de anlise
dos estudos.

Figura G.1 Ambiente do Revisor: listagem de estudos para reviso

G.4. TELAS DO SISTEMA

Figura G.2 Tela de anlise de estudos no ExtractViewer

135

137

H
Instrumento de Coleta
O presente instrumento tem como objetivo aferir, no relatos dos experimentos, o grau do
que denominamos completude: o quo completas so as informaes relacionadas metodologia
e concluses dos estudos segundo s diretrizes e orientaes estabelecidas para se reportar
experimentos na engenharia de software experimental, de acordo com o guia de JEDLITSCHKA;
CIOLKOWSKI; PFAHL (2008).
O instrumento proposto contempla quase que na ntegra as orientaes do guia, excluindo
apenas trechos relacionados experimentos com participantes humanos que no faziam sentido
para o contexto dos experimentos da computao em nuvem. O mesmo foi dividido em sees,
cada uma delas correspondendo s sees esperadas em um relatrio de experimento segundo o
guia: Ttulo, Autoria, Resumo, Introduo, Fundamentao, Planejamento, Anlises, Discusso,
Concluso e Trabalhos Futuros (contabilizados como uma seo) e Apndices.
Para cada seo h um conjunto de perguntas (51 no total) onde para cada uma delas a
pontuao alcanada de 0,0 pontos caso a resposta para a pergunta seja NO, 0,5 ponto caso a
resposta para a pergunta seja PARCIALMENTE, e 1,0 ponto caso a resposta para a pergunta
seja SIM. A seguir cada seo do instrumento ser detalhada juntamente com as perguntas
correspondentes e seus objetivos.
Vale ressaltar que embora o instrumento indique que cada informao deva estar presente
em uma seo especfica, este tipo de exigncia no foi feita durante a extrao dos dados, pois
foi obsevado que pouqussimos estudos apresentavam as sees como foram especificadas no
presente instrumento, o que faria com que a nota dos mesmos fosse muito reduzida mesmo
quando eles apresentassem as informaes requeridas pelo instrumento. Dessa forma, decidiu-se
ser flexvel neste quesito e considerar a informao onde quer que ela estivesse presente no artigo.
Foi-se mais rigoroso em relao localizao das informaes apenas na seo de resumo.

H.0.1

Ttulo

Segundo o guia espera-se que o ttulo do trabalho seja informativo, transmitindo o


mximo de informao de maneira direta, simples e objetiva. Desta forma sugerido que no
ttulo do relato de experimento, o autor: (i) utilize-se o termo experimento, (ii) indique o

138

APNDICE H. INSTRUMENTO DE COLETA

tratamento que est sendo aplicado no experimento e (iii) apresente as variveis dependentes.
Com base nestas orientaes foram criadas no instrumento de coleta as seguintes perguntas:


1.1 O ttulo apresenta o termo experimento?

1.2 O ttulo apresenta o(s) tratamento(s) utilizado(s) no experimento?

1.3 O ttulo apresenta a(s) varivel(is) dependente(s) do experimento?

Em relao presena o termo experimento bastante intuitiva, pois facilmente


transmite ao potencial leitor a informao de que aquele estudo realiza um experimento. Esta
informao bastante importante. Alm disso, espera-se que os trabalhos tambm apresentem os
tratamentos utilizados no experimento e as variveis dependentes sendo medidas. Por exemplo,
o ttulo a seguir, do estudo EPS7 interessante pois informa o tratamento utilizado: Adaptive
Load Balancing Algorithm Based on Prediction Model in Cloud Computing. No entanto, no
apresenta a varivel dependente sendo medida. Neste caso, poderia-se medir o tempo de resposta
do algoritmo, a preciso do modelo de predio, por exemplo.

H.0.2

Autoria

Esta seo visa identificar se o estudo fornece informaes de contato dos autores.
Apenas uma pergunta faz parte desta seo:


2.1 As informaes de contato dos autores foi apresentada?

Neste item, se pelo menos os nomes, instituies e emails forem fornecidos, o estudo
sendo avaliado recebe 1,0 ponto. Caso o estudo deixe de apresentar algumas dessas informaes,
ele recebe 0,5. Caso no fornea nenhuma das informaes acima, ele recebe 0,0 pontos.

H.0.3

Resumo

Esta seo uma das mais importantes do instrumento, pois trata de uma das poucas
sees utilizadas pelos potenciais leitores para decidirem se o estudo em questo de seu
interesse ou no. Esta seo possui treze perguntas, divididas em seis subsees:


Fundamentao


3.1.1 Apresenta a motivao da pesquisa?

Objetivo


3.2.1 Descreve o objetivo da pesquisa?

3.2.2 1Apresenta o objeto estudado?

3.2.3 Define o foco da pesquisa?

139

3.2.4 Apresenta qual a perspectiva (ponto de vista)?

3.3.1 Descreve o mtodo da pesquisa?

3.3.2 Apresenta o desenho experimental?

3.3.3 Apresenta os critrios de seleo?

3.3.4 Descreve a coleta de dados?

3.3.5 Aborda os procedimentos de anlise?

Mtodo

Resultados


Limitaes


3.4.1 Apresenta os principais achados da pesquisa?

3.5.1 Apresenta as principais limitaes da pesquisa?

Concluso


3.6.1 Apresenta o impacto dos resultados?

O item que identifica se o resumo apresenta a motivao e o objetivo da pesquisa so


auto-explicativas. A pergunta que tenta reconhecer o objeto sendo estudado tenta identificar, por
exemplo, a tecnologia, tcnica, algoritmos, ferramentas sendo estudadas. O foco da pesquisa
tenta identificar em que aspecto do objeto estudado o trabalho tentou investigar, por exemplo,
desempenho, custo, melhoria de SLA. A pergunta que tenta identificar a perspectiva vai apontar,
quase sempre, se o estudo foi executado sob a tica do cliente ou do provedor de servio.
Sobre o mtodo de pesquisa, espera-se que o estudo informe que realizou prioritariamente
um experimento. Em alguns casos, estudos podem, erradamente, reportar que realizaram estudo
de caso. Nesse caso, a pontuao atribuda 1,0 ponto, pois pelo menos ele informou o mtodo
utilizado para avaliao. O desenho experimental tambm deve ser informado, detalhando o
arranjo experimental, por exemplo com o tratamento, as variveis dependentes e independentes.
Tambm prefere-se o resumo estruturado, comumente recomendado na engenharia de software
experimental, mas tal formato no foi exigido no presente instrumento.

H.0.4

Introduo

O principal propsito da introduo motivar o leitor a ler todo o trabalho. Tambm


papel da introduo expor o contexto em que a pesquisa foi desenvolvida e a definio do
problema estudado. Assim, o instrumento tenta identificar a presena destes itens atravs das
seguintes perguntas:

140

APNDICE H. INSTRUMENTO DE COLETA




Formulao do Problema


Objetivo da Pesquisa


4.1.1 Apresenta o contexto da pesquisa?

4.2.1 Apresenta o problema da pesquisa?

Contexto da Pesquisa


4.3.1 Apresenta o objetivo da pesquisa?

Os trechos a seguir foram extrados de estudo EPS18. Um exemplo de um texto descrevendo o contexto da pesquisa pode ser encontrado abaixo:
[...]Plataformas de computao em nuvem tanto pblicas (por exemplo.
Amazon EC2) como privadas esto ganhando aceitao como uma maneira
econmica de compartilhamento e gerenciamento de recursos de
computao. Na comunidade cientfica de computao, onde os usurios
precisam lidar com grandes quantidades de dados (terabytes e acima), a
gesto de grandes bases de dados paralelas em uma plataforma de
computao em nuvem especialmente atraente dado o crescimento
exponencial dos dados cientficos e os recursos fortemente limitados
(financeiros). Uma das principais vantagens de uma plataforma de
computao em nuvem a capacidade dos usurios cientficos poderem
pagar pelos recursos de computao que precisam, quando precisam. Para
aproveitar essa elasticidade proporcionada por uma plataforma de
computao em nuvem, um sistema de processamento paralelo SQL baseado
em nuvem precisa ser capaz de expandir e diminuir o nmero de ns de
banco de dados com facilidade. [...]
NICOLAE ET AL.

O trecho a seguir, do mesmo artigo, relata o problema de pesquisa:


[...]Infelizmente, sistemas de processamento de SQL paralelo convencionais
so projetados para executar em um cluster dedicado com um nmero
relativamente fixo de mquinas. Alterar o nmero de mquinas requer uma
redistribuio do banco de dados paralela que envolve tipicamente um
processo maioritariamente manual para (1) Reparticionar os dados, (2)
mover os dados particionados para os ns corretos da base de dados e (3) o
carregamento dos dados particionados.[...]
NICOLAE ET AL.

141
Novamente do mesmo artigo, o trecho a seguir relata o objetivo do trabalho:
[...]Neste artigo apresentamos um primeiro esforo para tratar o problema
de soporte de particionamento de dados elsticos em bancos de dados
DBMS paralelos baseados em nuvem.[...]
NICOLAE ET AL.

H.0.5

Fundamentao

importante para todos os tipos de leitores, sejam eles pesquisadores ou profissionais,


que tenham entendimento da fundamentao terica por trs da pesquisa sendo reportada pelo
estudo sendo lido. Alguns autores sugerem que a seo de fundamentao seja dedicada
a este tema, o que tambm proposto pelo presente instrumento de avaliao. Assim as
perguntas a seguir tentam identificar a presena do mnimo aceitvel de informaes na seo da
fundamentao:


5.1.1 Descreve a tecnologia investigada?


5.1.2 Apresenta solues alternativas ou compara tecnologias que tratam do mesmo
problema?

5.1.3 Apresenta trabalhos relacionados?

5.1.4 Apresenta a relevncia para a prtica?

A relevncia para a prtica pode ser identificada atravs da presena de informaes que
descrevam o quo eficiente ou efetiva foi a aplicao da tcnica na indstria.

H.0.6

Planejameto

Esta seo mais extensa, dedicando-se a identificar o quo completo foi o planejamento
do experimento. As perguntas utilizadas pelo instrumento so as seguintes:


Objetivos


Unidades Experimentais


6.1.1 Define os objetivos do experimento?

6.2.1 Descreve as unidades experimentais?

Materiais Experimentais


6.3.1 Descreve os materiais experimentais?

142

APNDICE H. INSTRUMENTO DE COLETA




Atividades


Hipteses, Parmetros e Variveis




6.5.1 Apresenta as hipteses?

6.5.2 Apresenta as variveis dependentes?

6.5.3 Apresenta as variveis independentes?

6.5.4 Descreve as mtricas?

Desenho Experimental


6.4.1 Descreve as tarefas executadas?

6.6.1 Apresenta o desenho experimental?

Procedimentos


6.7.1 Apresenta os instrumentos/materiais/ferramentas?

6.7.2 Descreve os procedimentos de execuo do experimento?

6.7.3 Detalha como a coleta dos dados ser realizada?

Procedimentos de Anlise


6.8.1 Descreve como a hiptese ser testada?

As unidades experimentais dizem respeito aos participantes do experimento. No caso de


experimentos que envolvem participantes no-humanos, estes participantes so os equipamentos
utilizados para executar o experimento. Os materiais experimentais dizem respeito a todo o
material necessrio para a execuo do experimento, por exemplo, arquivos de configurao
necessrios, questionrios, checklists. Em relao s tarefas, basicamente estamos interessado
nos workloads sendo executados. As hipteses devem estar relacionadas aos objetivos, onde
para cada objetivo, uma hiptese nula deve ser apresentada, juntamente com sua(s) hiptese(s)
alternativa(s). Variveis dependentes dizem respeito s variveis cujos valores sero medidos
pelo experimento, por exemplo o tempo de resposta de um determinado hypervisor. As variveis
independentes so aquelas que esto sendo manipuladas e permitem a observao do efeito dessa
manipulao nas variveis dependentes. Esto diretamente ligadas aos tratamentos utilizados
no experimento, por exemplo, um novo algoritmo preditivo a ser usado pelo hypervisor.
importante tambm relatar o desenho experimental utilizado, justificando-o. No exemplo anterior, poderia-se usar o desenho de um fator e dois tratamentos, onde seria possvel realizar a
comparao do desempenho do hypervisor utilizando um algoritmo tradicional e um algoritmo
novo desenvolvido.
Em relao aos instrumentos, materiais e ferramentas, espera-se que o pesquisador
relate todo o ferramental necessrio para a execuo do experimento. Por exemplo, se foi

143
necessria a implementao de alguma instrumentao para a execuo dos testes, se foram
usados benchmarks. Em relao aos procedimentos de execuo, o autor deve relatar quaisquer
alteraes necessrias no sistema para execuo do experimento, cronograma de realizao, entre
outros. A coleta de dados tambm deve ser descrita. Pode ser feita, por exemplo, atravs de
programas especficos para coleta de dados da execuo, atravs da utilizao de APIs especficas
da plataforma onde o sistema est sendo executado, atravs de arquivos de log, etc. Por fim,
importante relatar como as hipteses sero testadas, quais testes estatsticos de hipteses sero
necessrios/adotados.

H.0.7

Anlises

Na seo de anlises os autores devem se preocupar em descrever como se procedeu


a anlise dos dados e sua preparao. Para avaliar a completude neste quesito, as seguintes
perguntas foram utilizadas:


Estatstica Descritiva


7.1.1 Apresenta os dados atravs de estatstica descritiva?

7.1.2 Disponibiliza os dados brutos da pesquisa?

Preparao dos Dados




7.2.1 Apresenta como os dados foram preparados?

Teste de Hiptese


7.3.1 Apresenta a forma como os dados foram avaliados?

7.3.2 Mostra como o modelo de anlise foi validado?

A estatstica descritiva aquela que est interessada em descrever e sumarizar um


conjunto de dados. As medidas normalmente usadas so as medidas de tendncia central (mdia,
mediana e moda) e de disperso (desvio padro, varincia, valores mximo e mnimo). Entendese que devido natureza industrial do tema investigado pela presente pesquisa (elasticidade em
computao em nuvem), a disponibilizao dos dados brutos da pesquisa difcil, pois trata-se de
dados sensveis, muitas vezes confidenciais, mas quando estes so disponibilizados, adicionam
boa credibilidade pesquisa. Quaisquer preparao nos dados tambm devem ser relatadas,
incluindo (se propriado) quaisquer transformao nos dados, identificao de outliers e suas
potenciais remoes, tratamento de dados inexistentes (por exemplo, data points faltando em
sries temporais). As duas ltimas perguntas da seo dizem respeito a como foi feita a avaliao
dos dados e se/como foram aplicados os testes estatsticos de hiptese.

144

H.0.8

APNDICE H. INSTRUMENTO DE COLETA

Discusso

Embora em muitos artigos a anlise e discusso sejam apresentadas na mesma seo,


sugere-se que elas sejam feitas em sees distintas. Com o intuito de identificar a completude
dos trabalhos neste quesito, as seguintes perguntas foram elaboradas:


Avaliao dos Resultados e Implicaes




8.1.1 Os resultados das avaliaes so apresentados?

8.1.2 Os resultados so relacionados a pesquisas anteriores?

Ameaas validade


Inferncias


8.2.1 As ameaas validade foram direcionadas?

8.3.1 Os achados foram generalizados para um escopo mais abrangente?

Lies Aprendidas


8.4.1 Apresenta experincias adquiridas durante a execuo do experimento?

Ao contrrio da seo de anlises, que tem como objetivo mostrar os dados crus, a seo
de discusso deve interpret-los. Pode incluir uma viso geral sobre os dados, alguma discusso
sobre a generalizao dos resultados, potenciais impactos em custos, tempo e qualidade. Nesta
seo, quando apropriado, os autores devem relatar se as hipteses foram confirmadas ou no.
Tambm importante relatar as ameaas validade (ameaas validade de construto, interna,
externa e de concluso).

H.0.9

Concluso e Trabalhos Futuros

Apresenta o fechamento da pesquisa, concluses mais importantes e faz um breve


resumo dos resultados. importante apresentar os impactos da pesquisa (por exemplo, custo,
desempenho, qualidade). Ainda na dimenso do impacto da pesquisa possvel descrever, por
exemplo, o nvel de maturidade da pesquisa, tempo para retorno do investimento. Para medir a
completude desta seo, as seguintes perguntas foram elaboradas:


Resumo


9.1.1 Apresenta um resumo conciso da pesquisa e seus resultados?

9.2.1 Descreve os impactos da pesquisa?

Impacto

145


Trabalhos Futuros


H.0.10

9.3.1 Aponta para trabalhos futuros?

Apndices

Os apndices podem conter informaes adicionais da pesquisa que no tinham espao


no corpo do artigo. Esta seo pode ser usada, por exemplo, para mostrar mais detalhadamente materiais experimentais, cargas de trabalho, dados brutos. A seguinte pergunta deve ser
respondida nesta seo:


10.1 Acrescenta materiais experimentais?

You might also like