Helaine Solange Lins Barreiros

ANÁLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS
EM ELASTICIDADE NA COMPUTAÇAO EM NUVEM: UM
MAPEAMENTO SISTEMÁTICO

Dissertação de Mestrado

Universidade Federal de Pernambuco
posgraduacao@cin.ufpe.br
www.cin.ufpe.br/~posgraduacao

RECIFE
2015

Universidade Federal de Pernambuco
Centro de Informática
Pós-graduação em Ciência da Computação

Helaine Solange Lins Barreiros

ANÁLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS
EM ELASTICIDADE NA COMPUTAÇAO EM NUVEM: UM
MAPEAMENTO SISTEMÁTICO

Trabalho apresentado ao Programa de Pós-graduação em
Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco como requisito parcial para
obtenção do grau de Mestre em Ciência da Computação.

Orientador: Vinicius Cardoso Garcia
Co-Orientador: Sergio Soares

RECIFE
2015

Eu dedico esta dissertação a toda a minha família, amigos e
professores que me deram o suporte necessário para chegar
até aqui.

Agradecimentos
A Emanoel Barreiros, meu esposo, pelo carinho, dedicação, paciência, compreensão e
suporte em todos os momentos mais decisivos e marcantes de minha vida.
Ao melhor presente que é o meu pequeno Davi Barreiros, por simplesmente existir e fazer
os momentos mais difíceis se transformarem nos mais inspiradores apenas com o seu lindo
sorriso.
A Dulce Lins, Marcos Lins, Heline Lins, Igor Lins e Jèssica Barbosa, Rejane Barreiros, Manoel
Barreiros, Manoela Barreiros, Maurício Barreiros e Thuanne Paiva, minha família, que uniram
todos os esforços para que este sonho se tornasse realidade.
Ao meu orientador Vinicius Garcia, obrigada pela oportunidade, confiança, suporte e parceria
durante a caminhada do mestrado.
Ao meu co-orientador Sergio Soares, obrigada pelo apoio e disponibilidade para conversas
e orientações até mesmo nos momentos mais corridos de seus compromissos.
A Adauto Trigueiro, Alex Nery, Andreza Leite, Diogo Vinícius, Emanoel Barreiros, Eudis
Teixeira, Gert Uchôa, José Fernando, Juliana Saraiva, Leandro Marques, Liliane Fonseca, Marco
Machado, Michael França, Samuel Romeiro, Thiago Jamir, Vilmar Nepomuceno, Vinicius
Garcia que uniram esforços para analisar os estudos deste mapeamento.
A FACEPE, que acreditou no projeto e nos financiou.
A todos do laboratório INES, que compartilharam conversas e ideias.
Aos integrantes dos grupo de pesquisa ASSERT Lab e ESEG pelas participação ativa no desenvolvimento desta pesquisa.
A todos que não foram mencionados acima, mas contribuíram de maneira direta ou indireta para
a realização e conclusão deste trabalho.

Eu amo aqueles capazes de sorrir em meio aos problemas.
—LEONARDO DA VINCI

Resumo
Contexto: Para que os leitores possam avaliar a validade de um estudo empírico, replicar
seus resultados, ou para que editores possam julgar efetivamente o verdadeiro potencial de
impacto da pesquisa, os autores devem relatar e documentar cuidadosamente elementos da
pesquisa como: motivação, objetivo, método, análise dos dados, resultados, conclusões e
limitações. Infelizmente autores têm indicado que a comunicação dos resultados de estudos
empíricos (EE) na computação em nuvem (CN) omitem informações relevantes destes elementos
de pesquisa.Tais inconveniências na comunicação dos resultados destes estudos, ampliadas a todo
um campo de pesquisa, podem levar a um conjunto potencial de evidências fracas ou ilusórias
para futuras pesquisas científicas.
Objetivo: Apesar de críticas aos relatos dos estudos empíricos serem evidenciadas, até o
presente momento, não foi realizada uma caracterização das informações omitidas pelos autores.
Neste sentido, o presente estudo tem como objetivo apresentar um esforço primeiro que analisa
nos relatos a apresentação dos elementos de pesquisa acima citados, considerados essenciais para
a análise da validade e protencial de uma pesquisa empírica. Analisar a forma de apresentação
dos resultados é um primeiro passo relevante para a compreensão do cenário atual da prática
dos relatos dos estudos empíricos. Assim, foi analisado nos relatos o grau de completude: o
quão presentes estão as informações dos elementos da pesquisa em seus relatos. Afim de realizar
uma análise mais profunda, o foco inicial da pesquisa foi direcionado ao método empírico de
experimentação, com foco nas avaliações da característica de elasticidade da CN.
Método: Através de um mapeamento sistemático da literatura (MSL) foram identificados
os experimentos em elasticidade na computação em nuvem e, através de instrumento de avaliação
criado com base em orientações existentes para se reportar experimentos na engenharia de
software experimental, a completude de seus relatos foi avaliada.
Resultado: Após a avaliação inicial de 3.611 estudos, foram selecionados e analisados
os relatos de 59 experimentos. Constatamos que em geral os autores omitem informações
relacionadas ao planejamento da pesquisa, coleta dos dados, procedimentos de execução, instrumentação, análise dos dados, relação dos resultados com pesquisas anteriores, ameaças à
validade e generalização dos resultados. Em relação ao índice de completude o maior grau
foi 6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Também
foi realizada uma breve análise qualitativa que revela que, ainda que reportadas, muitas das
informações apresentadas pelos relatos são superficiais e dificultam a interpretação, validação,
generalização e replicação dos resultados dos estudos.
Palavras-chave: Engenharia de Software, Computação em Nuvem, Elasticidade, Engenharia
de Software Experimental, Experimentos.

Abstract
Context: To enable readers to assess the validity of an empirical study, replicate their
results, or allow publishers to effectively judge its true potential impact of research, the authors
should report and carefully document elements of research, such as: motivation, goal, method,
data analysis, findings, conclusions and limitations. Unfortunately authors have indicated that
communication of the results of empirical studies in cloud computing omit relevant information
from these elements. Such inconveniences in reporting the results of these studies, expanded to
an entire field of research, can lead to a potential set of weak or misleading evidence for future
scientific research.
Objective: Despite criticism of the reports of empirical studies are highlighted, to date,
has not been performed a characterization of the information omitted by the authors. In this
sense, this study aims to present a first effort which analyzes the reports presenting the research
elements mentioned above, considered essential for the analysis of the validity and protencial
of empirical research. To examine how to present the results is an important first step towards
understanding the current state of the practice of the reports of empirical studies. Thus, it was
analyzed in the reports of the studies the degree of completeness: which information from
research elements in their reports. In order to conduct a deeper analysis of the reports, the initial
focus of the research was directed to the empirical method of experimentation, focusing on
evaluations of cloud computing elasticity characteristic.
Method: Through a systematic mapping of literature were identified experiments on
elasticity in the cloud computing and through an assessment instrument, created based on existing
guidelines to report experiments in experimental software engineering, the completeness of their
reports was evaluated.
Results: After the initial evaluation of 3,611 studies, 59 experiments were selected and
had their reports analyzed. It was found that in general the authors omit information related
to the research design, data collection, execution procedures, instrumentation, data analysis,
comparison of the results with previous research, threats to validity and generalizability of the
results. In relation to the completeness index, the highest score reached was 6.67 on a scale of 0
to 10, and such completion is considered low in quantitative terms. A brief qualitative analysis
was also conducted which reveals that, although reported, much of the information presented by
the reports are superficial and difficult to interpret, validate, generalize and hinder replication of
study results.
Keywords: Software Engineering, Cloud Computing, Elasticity, Empirical Software Engineering, Experiments.

Lista de Figuras
1.1

Linha do tempo dos guias para relato de experimentos. (do autor) . . . . . . . .

22

2.1

Infraestrutura de Computação em Nuvem (obtido de EMC Corporation® ) . . .

26

2.2

Mecanismos de elasticidade na computação em nuvem (do autor). . . . . . . .

29

2.3

Movimentação da comunidade para a criação dos guias para reportar experimentos na engenharia de software . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

3.1

Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades. .

42

3.2

Metodologia planejada para a realização do mapeamento sistemático . . . . . .

45

4.1

Esquema de execução da primeira rodada de seleção dos estudos do mapeamento
sistemático . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

Esquema de execução da segunda rodada de seleção dos estudos do mapeamento
sistemático . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

Participação das estratégias de busca no quantitativo de estudos candidatos
identificados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

Distribuição do quantitativo dos estudos candidatos identificados pela busca
automática em relação às fontes de dados . . . . . . . . . . . . . . . . . . . .

58

Distribuição dos estudos candidatos resultantes da busca manual em relação aos
meios de publicação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

4.6

Participação das fontes de busca . . . . . . . . . . . . . . . . . . . . . . . . .

59

4.7

Distribuição temporal dos estudos selecionados . . . . . . . . . . . . . . . . .

59

4.8

Distribuição do quantitativo de estudos selecionados por fonte de dado e ano. .

61

4.9

Distribuição dos estudos selecionados por países

. . . . . . . . . . . . . . . .

61

4.10 Distribuição dos estudos selecionados por países

. . . . . . . . . . . . . . . .

62

4.11 Distribuição do quantitativo de estudos por tipo de instituição e ano . . . . . .

62

4.12 Distribuição dos estudos por modelo de serviço e ano. . . . . . . . . . . . . . .

63

4.13 Pontuações dos estudos nas questões que avaliam o título. . . . . . . . . . . . .

64

4.14 Pontuação geral obtida pelos estudos na avaliação do resumo. . . . . . . . . . .

65

4.15 Pontuações dos estudos nas questões que avaliam o resumo. . . . . . . . . . .

66

4.16 Pontuação geral obtida pelos estudos na introdução. . . . . . . . . . . . . . . .

67

4.17 Pontuação geral obtida pelos estudos na fundamentacao. . . . . . . . . . . . .

68

4.18 Pontuações dos estudos nas questões que avaliam a fundamentação. . . . . . .

68

4.19 Pontuação geral obtida pelos estudos no planejamento. . . . . . . . . . . . . .

69

4.20 Pontuações dos estudos nas questões que avaliam o planejamento. . . . . . . .

70

4.21 Pontuação geral obtida pelos estudos na análise. . . . . . . . . . . . . . . . . .

70

4.2
4.3
4.4
4.5

4.22
4.23
4.24
4.25
4.26

Pontuações dos estudos nas questões que avaliam a análise. . .
Pontuação geral obtida pelos estudos na discussão. . . . . . .
Pontuações dos estudos nas questões que avaliam a discussão.
Pontuação geral obtida pelos estudos nas conclusões. . . . . .
Pontuações dos estudos nas questões que avaliam a discussão.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

71
72
72
73
73

G.1 Ambiente do Revisor: listagem de estudos para revisão . . . . . . . . . . . . . 134
G.2 Tela de análise de estudos no ExtractViewer . . . . . . . . . . . . . . . . . . . 135

Lista de Tabelas
3.1
3.2
3.3

39
40

3.4
3.5
3.6

Classificação Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .
Taxonomia para classificação dos estudos secundários segundo Cooper . . . . .
Resultado da aplicação da Taxonomia de Cooper para a classificação do mapeamento sistemático desta pesquisa . . . . . . . . . . . . . . . . . . . . . . . . .
Fontes de Busca Manual e Período de Coleta . . . . . . . . . . . . . . . . . .
String de Busca utilizada na pesquisa dos estudos do MS . . . . . . . . . . . .
Lista dos Critérios de Exclusão em ordem alfabética. . . . . . . . . . . . . . .

4.1
4.2
4.3
4.4
4.5
4.6
4.7

Quantitativo de estudos candidatos localizados por fonte de dados. . . . . . . .
Critérios de exclusão apliados na primeira etapa de seleção dos estudos candidatos
Valores de referência para interpretação do teste Kappa . . . . . . . . . . . . .
Resultado dos testes Kappa . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Resumo da busca e seleção de estudos na primeira etapa . . . . . . . . . . . .
Resumo da busca e seleção de estudos na segunda etapa . . . . . . . . . . . . .
Lista dos autores com mais de uma publicação . . . . . . . . . . . . . . . . . .

52
54
55
56
59
60
63

A.1 Listagem dos estudos selecionados em ordem alfabética . . . . . . . . . . . . .

41
47
47
48

94

B.1 Estudos excluídos em ordem alfabética . . . . . . . . . . . . . . . . . . . . . . 107
C.1 Lista das venues identificadas e ordem de quantidade de publicação . . . . . . 111
D.1 Lista dos grupos de pesquisa identificados . . . . . . . . . . . . . . . . . . . . 115
E.1 Listagem dos autores identificados e as respectivas quantidades de publicações
F.1
F.2
F.3

122

String de Busca para identificar estudos secundários existentes . . . . . . . . . 124
Configuração da equipes e pesquisadores participantes . . . . . . . . . . . . . 125
Lista dos Critérios de Exclusão em ordem alfabética. . . . . . . . . . . . . . . 129

Sumário
1

2

Introdução

21

1.1

Contribuição . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

1.2

Estrutura da Dissertação . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

Referencial Teórico

25

2.1

Computação em Nuvem . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

2.1.1

Características Essenciais . . . . . . . . . . . . . . . . . . . . . . . .

27

2.1.2

Modelos de Serviço . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.1.3

Formas de Distribuição . . . . . . . . . . . . . . . . . . . . . . . . . .

28

2.1.4

Acordo de Nível de Serviço . . . . . . . . . . . . . . . . . . . . . . .

28

2.1.5

Elasticidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

2.1.5.1

Elasticidade x Escalabilidade . . . . . . . . . . . . . . . . .

30

2.1.5.2

Velocidade de Adição x Remoção . . . . . . . . . . . . . . .

30

2.1.5.3

Método . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

2.1.5.4

Política . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

Engenharia de Software Experimental . . . . . . . . . . . . . . . . . . . . . .

31

2.2.1

Métodos Empíricos na Engenharia de Software Experimental . . . . .

32

2.2.1.1

Estudo de Caso . . . . . . . . . . . . . . . . . . . . . . . .

33

2.2.1.2

Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

2.2.1.3

Etnografia . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

2.2.1.4

Pesquisa-ação . . . . . . . . . . . . . . . . . . . . . . . . .

34

2.2.1.5

Experimento Controlado . . . . . . . . . . . . . . . . . . .

34

2.2.1.6

Teoria Fundamentada . . . . . . . . . . . . . . . . . . . . .

35

Guias para Relato de Experimentos . . . . . . . . . . . . . . . . . . .

35

2.3

Engenharia de Software Baseada em Evidências . . . . . . . . . . . . . . . . .

37

2.4

Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

2.2

2.2.2

3

Método

39

3.1

Classificação Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .

39

3.2

Classificação do Estudo Sistemático Segundo Cooper . . . . . . . . . . . . . .

40

3.3

Ciclo da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

3.3.1

Etapa de Definição da Pesquisa . . . . . . . . . . . . . . . . . . . . .

42

3.3.1.1

Revisão Informal da Literatura . . . . . . . . . . . . . . . .

43

3.3.1.2

Definição do Tema, Objetivo e Escopo . . . . . . . . . . . .

43

3.3.1.3

Definição da Metodologia . . . . . . . . . . . . . . . . . . .

44

3.3.2

Etapa de Planejamento do Mapeamento Sistemático . . . . . . . . . .

44

3.3.2.1

45

Definição do Protocolo . . . . . . . . . . . . . . . . . . . .
3.3.2.1.1

Questões de Pesquisa . . . . . . . . . . . . . . . .

45

3.3.2.1.2

Estratégia de Busca dos Estudos . . . . . . . . . .

46

3.3.2.1.3

Estratégia de Seleção dos Estudos . . . . . . . . .

47

3.3.2.1.4

Avaliação da Qualidade . . . . . . . . . . . . . . .

48

3.3.2.1.5

Estratégia de Extração . . . . . . . . . . . . . . . .

48

Revisão do Protocolo . . . . . . . . . . . . . . . . . . . . .

49

3.3.3

Etapa de Execução da Pesquisa . . . . . . . . . . . . . . . . . . . . .

49

3.3.4

Etapa de Divulgação dos Resultados . . . . . . . . . . . . . . . . . . .

49

3.3.5

Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

3.3.2.2

4

Resultados

51

4.1

Execução do Mapeamento Sistemático . . . . . . . . . . . . . . . . . . . . . .

51

4.1.1

Busca dos Estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

4.1.2

Seleção dos Estudos Primários . . . . . . . . . . . . . . . . . . . . . .

52

4.1.3

Extração dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

4.1.4

Sintetização dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . .

56

4.2

Análise Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

4.3

Análises das Evidências . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

4.3.1
4.3.2
4.3.3
4.3.4

4.4
5

SQ1 - O título permite que o leitor identifique que o estudo é um relato
de experimento? . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

SQ2 - Informações importantes do resumo como motivação, objetivos,
métodos, resultados, limitações e conclusões da pesquisa são relatadas?

65

SQ3 - A introdução do relato apresenta referências à declaração do
problema, objetivos e contexto da pesquisa? . . . . . . . . . . . . . . .

66

SQ4 - A fundamentação informa sobre a tecnologia em investigação, às
possíveis opções alternativas à ela, pesquisas relacionadas e a relevância
para a prática? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

4.3.5

SQ5 - O relato apresenta informações sobre o planejamento da pesquisa? 67

4.3.6

SQ6 - O relato detalha a análise dos dados da pesquisa? . . . . . . . .

4.3.7

SQ7 - Os resultados, suas implicações e ameaças à validade são relatados? 71

4.3.8

SQ8 - As conclusões do estudo apresentam um resumo conciso da
pesquisa, seus impactos e trabalhos futuros? . . . . . . . . . . . . . . .

72

Discussão dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

73

70

Considerações Finais

77

5.1

Ameaças à validade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

77

5.2

Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

78

5.3

Conclusões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

79

19
Referências

81

Apêndice

87

A Estudos Primários Incluídos

89

B Estudos Primários Excluídos

95

C Listagem dos Meios de Publicação Identificados

109

D Grupos de Pesquisa Identificados

113

E Autores Envolvidos

117

F Protocolo do Mapeamento Sistemático

123

F.1

Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

F.2

Necessidade do Estudo Secundário . . . . . . . . . . . . . . . . . . . . . . . . 124

F.3

Pesquisadores Envolvidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

F.4

Escopo do Estudo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

F.5

Questões de Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

F.6

Processo de Busca . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
F.6.1

F.7

Critérios de Inclusão e Exclusão . . . . . . . . . . . . . . . . . . . . . 129

Processo de Seleção . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
F.7.0.0.1

F.8

Avaliação da Qualidade . . . . . . . . . . . . . . . 130

Processo de Síntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

G Ferramenta ExtractViewer

133

G.1 Contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
G.2 Propósito da Ferramenta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
G.3 Tecnologias Utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
G.4 Telas do Sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
H Instrumento de Coleta

137

H.0.1 Título . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
H.0.2 Autoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
H.0.3 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
H.0.4 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
H.0.5 Fundamentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
H.0.6 Planejameto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
H.0.7 Análises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
H.0.8 Discussão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
H.0.9 Conclusão e Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . 144

20
H.0.10 Apêndices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

21

1
Introdução
MARTENS; TEUTEBERG (2011) enfatizam a necessidade de se aumentar a utilização
de métodos empíricos na computação em nuvem para facilitar a transferência de tecnologias
entre academia e industria. Ao mesmo tempo, alguns autores relatam enfrentar dificuldades
para interpretar os relatos de estudos empíricos pois não conseguem avaliar a validade da
pesquisa e seu potencial de impacto por causa da omissão e superficialidade das informações
reportadas (DURAO et al., 2014; LI et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011;
SILVA; ROSE; CALINESCU, 2013a). Em geral, tais registros apontam desde o descuido em
não apresentar as questões de pesquisa, a omissão de procedimentos metodológicos, a não
caracterização do contexto da pesquisa, a ocultação da análise dos dados até a superficialidade
na discussão dos resultados.
O problema com os relatos de estudos empíricos também é recorrente em outras áreas
da engenharia de software (ES). Por exemplo, na comunidade de software de código aberto,
uma recente revisão da literatura identificou que a qualidade dos relatos de estudos empíricos
precisa ser substancialmente melhorada STOL; BABAR (2009). Em geral, os autores dos estudos
analisados não descreveram claramente a motivação da pesquisa, não justificam a escolha do
método, a seleção da amostra dos dados e nem as limitações da pesquisa. Já outro estudo
sistemático no campo do desenvolvimento ágil de software, constatou que a força das evidências
de seus estudos empíricos foi considerada muito baixa e prejudicou o processo de extração dos
dados por causa da superficialidade e omissão de informações DYBÅ; DINGSØYR (2008).
Na engenharia de software experimental (ESE), área da ES dedicada aos métodos empíricos, alguns autores também apontam insuficiências no relato de sues estudos. Tais problemas
incluem relatórios incompletos, informações relacionadas dispersas em diferentes seções do
relato e falta de utilização de uma terminologia consistente. MACDONELL; SHEPPERD (2007)
também enfatizam a necessidade de melhorar a forma como os estudos são publicados, através
de uma forma consistente, utilizando resumos estruturados, títulos significativos e esquemas de
palavras-chave. SMITE et al. (2008) recomendam também que os relatos devem ser mais claros
e consistentes para permitir que profissionais possam aprender através da literatura existente.
Em estudo sistemático realizado, DYBÅ; KAMPENES; SJØ BERG (2006) relatam dificuldades

22

CAPÍTULO 1. INTRODUÇÃO

em avaliar o poder estatístico dos estudos pois em 67% deles não era possível identificar quais
testes foram realizados para se avaliar as hipóteses.
Outras áreas do conhecimento como a medicina e psicologia, reportam problemas no
relato de seus experimentos. Tais problemas são similares aos relatados na engenharia de
software e várias melhorias tem sido alcançadas através da padronização e criação de diretrizes
para reportar os resultados destes experimentos. Muitas revisões têm registrado deficiências nos
relatórios dos experimentos realizados na pesquisa médica, e tais análises culminaram na criação
e utilização de guias para como melhor reportá-las ALTMAN et al. (2001); MOHER; SCHULZ;
ALTMAN (2001). A psicologia também tem vivenciado problemas similares e também aderiu à
utilização de guias para publicação dos resultados dos experimentos realizados ASSOCIATION
et al. (2001); WILKINSON (1999); HARRIS (2008); SHIFFMAN et al. (2003).
Pode ser observado na literatura da ES, a iniciativa de se seguir o mesmo movimento
promissor da medicina e psicologia na criação de guias para auxiliar os esforços de melhoria da
prática de experimentação. Tais esforços datam da década de 80, e como pode ser visto na linha
do tempo da Figura 1.1, são apresentados em forma de livros, guias, avaliações e estudos do
estado da arte. Neste movimento é possível observar que guias implícitos (cor preta) e explícitos
(cor azul) foram construídos para se relatar experimentos na ES. Entretanto, apenas em 2008 foi
apresentada por JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) a versão final do primeiro
guia específico para orientar os pesquisadores a relatar estudos empíricos de experimentação.

Figura 1.1 Linha do tempo dos guias para relato de experimentos. (do autor)

As inconveniências na comunicação dos resultados, ampliadas a todo um campo de
pesquisa, podem levar a um conjunto potencial de evidências fracas ou ilusórias para futuras
pesquisas científicas. Apesar das críticas de alguns autores, até o presente momento, não

1.1. CONTRIBUIÇÃO

23

foi realizada uma caracterização das informações omitidas nos relatos de estudos empírcos
realizados no contexto da computação em nuvem. Neste sentido, o presente estudo tem como
objetivo apresentar um esforço primeiro que analisa nos relatos a apresentação destes elementos
de pesquisa já mencionados, considerados essenciais para a análise da validade e potencial das
pesquisas empíricas. Analisar a forma de apresentação dos relatos é um primeiro passo relevante
para a compreensão do cenário atual da prática de comunicação das pesquisas empíricas. Assim,
foi analisado nos relatos o grau de completude: a presença das informações dos elementos da
pesquisa em seus relatos.
Afim de realizar uma análise inicial mais profunda e obter uma contribuição mais
relevante no estudo destes relatos, o foco inicial deste trabalho foi direcionado às pesquisas que
utilizaram realizaram experimentos. Escolheu-se focar em experimentos pois este é um método
empírico bem representativo mediante as características da área de pesquisa em computação
em nuvem. Entretanto, mediante às limitações de tempo e espaço, foi necessário condensar o
escopo da pesquisa e então foi decidido estudar os relatos dos experimentos que avaliavam a
característica mais marcante da computação em nuvem: a elasticidade. Embora o escopo tenha
sido reduzido, a quantidade de estudos avaliados matém a representatividade da área de pesquisa
como um todo, tanto em número quanto à natureza dos experimentos realizados.

1.1

Contribuição

Apesar da necessidade de se realizar mais estudos empíricos na computação em nuvem, é
necessário que seus relatos sejam escritos de maneira a permitir que a credibilidade no resultado
produzido permita a utilização de suas evidências. Neste sentido, acreditamos que através da
caracterização da situação da atual prática dos relatos dos experimentos, realizados no contexto
da computação em nuvem, permita trazer à tona o debate sobre como os resultados dos estudos
empíricos poderiam ser melhor reportados, e assim possibilitar que as descobertas e evidências
empíricas possam ser utilizadas com confiabilidade tanto pela academia quanto pela indústria.

1.2

Estrutura da Dissertação

Além deste capítulo introdutório a presente dissertação está organizada de acordo com a
seguinte estrutura: 

Capítulo 2 (Referencial Teórico): este capítulo trata de toda a fundamentação teórica para o entendimento do trabalho. Primeiramente o paradigma da computação em
nuvem é apresentado permeando suas características essenciais, modelos de serviço,
formas de distribuição e acordo de nível de serviço. Outro ponto do paradigma discutido em detalhe é a sua principal característica e objeto deste trabalho: a elasticidade.
Em seguida a engenharia de software experimental é abordada em relação à sua

24

CAPÍTULO 1. INTRODUÇÃO
definição, influência sofrida pelo posicionamento filosófico do pesquisador, seus
métodos e uma discussão especial sobre guias para relato de experimentos. Logo
depois a engenharia de software baseada em evidências é discutida em sua definição,
métodos e aplicação na pesquisa.   

Capítulo 3 (Metodologia): o capítulo detalha toda a abordagem metodológica e métodos empregados na pesquisa. São discutidos aspectos relacionados à classificação,
ciclo da pesquisa, a utilização do método de pesquisa de mapeamento sistemático da
literatura e as peculiaridades de sua instanciação.
Capítulo 4 (Execução e Resultados): apresenta e discute os resultados obtidos nesta
pesquisa por meio de uma análise geral dos estudos selecionados. As perguntas de
pesquisas são respondidas e os principais achados são discutidos.
Capítulo 5 (Considerações Finais): trata das ameaças à validade da pesquisa e
respectivas mitigações. Apresenta as perspectivas de trabalhos futuros para que a
comunidade possa dar continuidade à pesquisa. E por fim as lições aprendidas e
conclusões são enunciadas.

25

2
Referencial Teórico
Este capítulo tem como objetivo explanar os conceitos e estudos utilizados como base
para a presente pesquisa. Na seção 2.1 são apresentados os conceitos da Computação em Nuvem
(CN). A seção 2.2 discute as noções relacionadas à Engenharia de Software Experimental (ESE) e
seus métodos. A seção 2.3 expõe os conceitos da Engenharia de Software Baseada em Evidências
(ESBE) para apoiar o método de pesquisa adotado.

2.1

Computação em Nuvem

Já em 1960, pesquisadores como Douglas Parkhill e John McCarthy tem trabalhado no
desenvolvimento de um modelo computacional chamado Computação Utilitária (PARKHILL,
1966). Foi em 1961, durante um discurso para celebrar o centenário do MIT, que John McCarthy
sugeriu publicamente que recursos computacionais fossem providos sob demanda e bilhetados
por meio de um modelo de negócio utilitário como energia, água e telefonia(FEATHER, 2000).
O modelo foi adotado por vários paradigmas de computação (BUYYA et al., 2009; LI
et al., 2009) e também resistiu a cenários prejudiciais (CAMPBELL-KELLY, 2009) como o
movimento de descentralização promovido pela onda dos computadores pessoais na década de
1980. Entretanto, por volta do ano 2000, graças ao crescimento acelerado de tecnologias de
comunicação como a internet, a ideia ressurgiu.
A computação em nuvem é uma evolução concretizada do modelo de computação
utilitária proposto por McCarthy e cada vez mais tem estado em evidência. Tal fato tem atraído
os olhares de gigantes como a Amazon, Google, Salesforce, Microsoft, IBM, HP, entre outros.
Estas organizações têm ofertado serviços como Amazon EC21 , Google App Engine2 , Salesforce3 ,
Windows Azure4 , Dropbox5 , dentre outros, que oferecem soluções confiáveis com promessas de
baixo custo, através das quais seus usuários podem ter acesso aos serviços de maneira ubíqua.
1 http://aws.amazon.com/pt/ec2/
2 https://appengine.google.com
3 http://www.salesforce.com/br/
4 http://www.windowsazure.com/pt-br/
5 http://www.dropbox.com/

26

CAPÍTULO 2. REFERENCIAL TEÓRICO

O termo nuvem é uma abstração que encobre toda a complexidade de infraestrutura que
é fornecida através de serviços utilizando hardware compartilhado para computação e armazenamento (BUYYA et al., 2009). Em geral, como pode ser visto na Figura 2.1, a infraestrutura da
nuvem é composta por uma grande quantidade de máquinas ou nós físicos conectados em rede.
Cada uma das máquinas pode ter diferentes configurações de hardware e software e variar em
termos de capacidade de CPU, memória e armazenamento em disco (SOROR et al., 2010).

Figura 2.1 Infraestrutura de Computação em Nuvem (obtido de EMC Corporation® )

Existem diversas propostas de definição para o paradigma da computação em nuvem,
entretanto a definição do National Institute of Standards and Technology (NIST) é bastante
aceita na comunidade: "Modelo que permite o acesso através de rede ubíqua, de acordo com a
demanda, a um pool compartilhado de recursos computacionais que podem ser rapidamente
provisionados e liberados com um esforço mínimo de gerenciamento ou interação com o provedor
de servicos" (MELL; GRANCE, 2009).
Nas próximas sub-seções serão apresentados, de maneira sucinta e objetiva, aspectos
e termos importantes relacionados à computação em nuvem que são importantes para o entendimento desta pesquisa: (i)características essenciais, (ii) modelos de serviço, (iii) formas de
distribuição, (iv) acordo de nível de serviço e (v) elasticidade. Dentre os aspectos a elasticidade
será explanada com um pouco mais de de detalhes, visto que este é o aspecto que é objeto desta
pesquisa.

2.1. COMPUTAÇÃO EM NUVEM

2.1.1

27

Características Essenciais

As características essenciais representam as vantagens oferecidas pelas soluções da
computação em nuvem e a destingue de outros paradigmas computacionais, suas as principais
características são (MELL; GRANCE, 2009):
1. Alocação de recursos sob demanda: permite que o usuário possa dimensionar a
infra-estrutura necessária de recursos computacionais sob demanda. Similar a um
serviço sob demanda, esta característica permite que usuários solicitem recursos em
tempo de execução à medida que necessitar.
2. Amplo acesso à rede: os recursos são disponbilizados através do ambiente de rede
e devem estar disponíveis para acesso através de uma ampla gama de dispositivos
como tablets, PCs, smartphones, entre outros.
3. Pooling de Recursos: os recursos computacionais do provedor de serviço são estruturados para servir a múltiplos usuários utilizando um modelo multi-tennant (MT),
que disponibiliza diferentes recursos físicos e virtuais de maneira dinâmica conforme
a necessidade do usuário. Há um senso de independência local, ou seja, o usuário não
precisa ter conhecimento da localização física dos recursos computacionais, bastando
apenas especificar a localização em um nível de abstração mais alto (país, estado,
etc).
4. Elasticidade rápida: característica que permite que os recursos disponíveis ao
usuário pareçam ilimitados, pois tais recursos podem ser adicionados e removidos de
maneira rápida e automática, conforme a necessidade da carga de trabalho.
5. Serviço medido: os recursos de um provedor cloud são automaticamente controlados
e otimizados, através da capacidade de medição em um nível de abstração adequado
para o tipo de serviço. A utilização dos recursos pode ser controlada, monitorada e
relatada com transparência entre o provedor e consumidor do serviço.

2.1.2

Modelos de Serviço

Os provedores da computação em nuvem oferecem seus serviços de acordo com três
modelos apresentados abaixo:
1. Infraestrutura Como Serviço (IaaS): através deste modelo o provedor de serviços
pode comercializar elementos de infraestrutura (cpu, memória, armazenamento, etc).
Neste modelo a responsabilidade de corrigir / atualizar / manter o sistema operacional
ou qualquer outro software é do cliente. O provedor de serviço irá tarifar o usuário por
hora e quantidade de recursos alocados e consumidos. Neste modelo o usuário não

28

CAPÍTULO 2. REFERENCIAL TEÓRICO
administra a infraestrutura física mas sim os sistemas operacionais, armazenamento,
aplicativos e componentes de rede.
2. Plataforma Como Serviço (PaaS): neste modelo o provedor de serviços fornece
sistemas operacionais, linguagens de programação e ambientes de desenvolvimento
de software. Neste modelo o usuário tem controle sobre configurações e aplicações
implantadas nesta infraestrutura.
3. Software Como Serviço (SaaS): software de propósito específico é o produto fornecido neste modelo de serviço. Os sistemas são disponibilizados ao usuário por meio
de interfaces como um navegador de internet. O usuário pode administrar e controlar
apenas configurações específicas do próprio sistema.

2.1.3

Formas de Distribuição

Os ambientes de computação em nuvem podem ser distribuídos de quatro formas diferentes nos quesitos acesso e disponibilidade: (i) Nuvem Privada, (ii) Nuvem Pública, (iii) Nuvem
Comunidade e (iv) Nuvem Híbrida (MELL; GRANCE, 2009). As restrições de acesso dependem
do processo de negócio, tipo de informação e nível de visão desejado.
1. Nuvem Pública: a infraestrutura da nuvem é disponibilizada ao público geral, acessível à qualquer usuário que tenha conhecimento da localicação do serviço.
2. Nuvem Privada: a infraestrutura é de utilização exclusiva de uma organização,
sendo disponibilizada local ou remotamente, administrada pela própria empresa ou
terceiros.
3. Nuvem Comunitária: a infraestrutura é compartilhada por uma comunidade de
organizações com interesses em comum.
4. Nuvem Híbrida: a infraestrutura é composta por duas ou mais nuvens de quaisquer
tipos mencionados acima. A conexão entre elas é feita via tecnologia proprietária ou
padronizada e permite a portabilidade de dados e aplicações.

2.1.4

Acordo de Nível de Serviço

Embora os consumidores de serviços em nuvem não tenham controle sobre os recursos
computacionais adquiridos, eles precisam ter garantias em relação à qualidade do serviço, sua
disponibilidade, confiabilidade e desempenho. Do inglês Service Level Agreement (SLA), o
acordo de nível de serviço representa um contrato que cuida das garantias entre o cliente e
o provedor de serviço. Nele são especificados os atributos de qualidade e seus respectivos
valores aceitáveis. Como exemplo podemos citar que em um SLA pode se especificar que a

2.1. COMPUTAÇÃO EM NUVEM

29

disponibilidade de um determinado serviço não deve ser inferior a 98% e a elasticidade de um
recurso seja superior a 80% por exemplo.

2.1.5

Elasticidade

Ainda não existe na comunidade da computação em nuvem um consenso sobre a definição
da elasticidade, entretanto neste trabalho estamos utilizando a definição de HERBST; KOUNEV;
REUSSNER (2013). A descreve que a elasticidade é a capacidade que o sistema tem de se
adaptar à cargas de trabalho através do provisionamento e desprovisionamento (preferencialmente
automático) de recursos, de tal modo que em cada instante no tempo os recursos disponíveis pelo
provedor de servico correspondam, o mais próximo possível, à demanda atual do consumidor.
Tal capacidade transmite ao usuário a sensação de que os recursos são ilimitados e podem ser
adquiridos em qualquer quantidade e a qualquer instante.
Do ponto de vista do provedor de serviços a elasticidade permite uma melhor utilização
dos recursos computacionais, propiciando economia em escala e permitindo que múltiplos
usuarios possam ser servidos simultâneamente. Da perspectiva do usuário, a elasticidade
evita principalmente a disposição inadequada de recursos e por consequência a degração de
desempenho do sistema. Aumento da capacidade de recursos locais (CALHEIROS et al., 2012;
MARSHALL; KEAHEY; FREEMAN, 2010), redução de custos (SHARMA et al., 2011) e
economia de energia (SHEN et al., 2011) também são outros benefícios alcançados com a
utilização da elasticidade. Os principais mecanismos relacionados à implementação podem ser
vistos na Figura 2.2.

Figura 2.2 Mecanismos de elasticidade na computação em nuvem (do autor).

A seguir serão apresentados brevemente os conceitos fundamentais relacionados à elasticidade e seus mecanismos: elasticidade x escalabilidade, velocidade de ação x remoção, método
e política.

30
2.1.5.1

CAPÍTULO 2. REFERENCIAL TEÓRICO
Elasticidade x Escalabilidade

É possível observar que com frequência a elasticidade é confundida com a escalabilidade
de sistemas, os dois são conceitos relacionados porém diferentes. A escalabilidade é a capacidade
que um sistema tem de adicionar mais recursos a fim de atender a uma necessidade de carga
de trabalho maior ISLAM et al. (2012). Já a elasticidade consiste no acréscimo e decréscimo
de recursos de acordo com a carga de trabalho, enquanto a escalabilidade considera apenas o
acréscimo. Outro aspecto importante é que a escalabilidade é um conceito livre de tempo e não
considera o tempo que o sistema leva para atingir o nível de desempenho desejado, enquanto
que, para a elasticidade, alguns apontam o tempo como um elemento central que depende da
velocidade de resposta a uma determinada alteração de carga de trabalho (COUTINHO et al.,
2014).
2.1.5.2

Velocidade de Adição x Remoção

Existem dois principais conceitos de velocidade em relação à elasticidade: velocidade de
adição (scale up) e velocidade de remoção (scale down) (HERBST; KOUNEV; REUSSNER,
2013). A velocidade de adição é definida como o tempo que o sistema leva para sair de um
estado subdimensionado para um estado ótimo ou superdimensionado de recursos. A velocidade
de remoção é o tempo que o sistema leva para passar de um estado superdimensionado de
recursos para um estado ótimo ou subdimensionado. Outro conceito relacionado é a precisão,
que é definida como o desvio absoluto da atual quantidade de recursos alocados em relação à
necessidade de demanda real.
2.1.5.3

Método

Através do método é possível decidir qual será o tratamento dado aos novos recursos
provisionados. Segundo vários autores, quanto à divisão, a elasticidade pode se dar horizontalmente ou verticalmente (ALI-ELDIN; TORDSSON; ELMROTH, 2012; GUERRERO; SACHS;
PETROV, 2010; SHARMA et al., 2011; SULEIMAN et al., 2011).
A elasticidade horizontal consiste na adição/remoção do quantitativo de instâncias de
um usuário, além da migração para novos nós de processamento. Estas instâncias podem ser
aplicações, containers ou máquinas virtuais (MV). Em geral, a replicação é o método mais
utilizado para prover elasticidade.
A elasticidade vertical equivale a adição / remoção de recursos como memória, CPU e
armazenamento a partir de uma instância virtual. Existem duas abordagens para se prover esse
tipo de elasticidade: 

Redimensionamento: significa alterar os recursos de uma instância em tempo de
execução. Exemplo: adicionar mais CPU e memória a uma MV. É mais comum em
sistemas operacionais baseados em Unix uma vez que o mesmo suporta mudanças
sem reinicializações.

2.2. ENGENHARIA DE SOFTWARE EXPERIMENTAL 

31

Substituição: consiste na adição de servidores com um maior poder de processamento
para substituir os de menor desempenho. Em geral esta abordagem é mais comum
em provedores de nuvem pública.

A migração é a estratégia de elasticidade que transfere uma máquina virtual ou aplicativo
que está em execução em um servidor físico para um outro. As MVs ou aplicativos podem ser
migrados de um servidor para outro para o balanceamento de carga por exemplo.
2.1.5.4

Política

Existem duas políticas de reação da nuvem em relação a execução de ações de elasticidade: manual e automática.  

Política Manual: neste tipo de política o usuário é responsável por monitorar seu
ambiente e recursos a fim de operar todas as ações de elasticidade. Para tal, o provedor
de serviço deve fornecer ao usuário uma interface ou API por meio da qual o mesmo
iterage com o sistema.
Política Automática: o controle e ações são tomadas pela própria nuvem ou pela
aplicação que está executando nela, em conformidade com as regras e configurações
que foram definidas pelo usuário ou SLA. Através da coleta de informações dos
sistemas de monitoramento a nuvem decide quando e como os recursos de elasticidade
serão utilizados. De acordo com a técnica a política automática pode ser classificada
como reativa e preditiva (GALANTE; BONA, 2012).
– Reativa: é fundamentada em regras de mecanismos baseadas em gatilhos.
Uma regra possui um conjunto de condições que, quando são satisfeitas,
disparam um gatilho que irá tomar algumas ações sobre os recursos da
nuvem. Este mecanismo é alimentado por meio dos dados fornecidos pelo
sistema de monitoramento de infra-estrutura ou da aplicação na nuvem.
– Preditiva: utiliza heurísticas e técnicas matemáticas/analíticas para tentar
prever o comportamento da carga de trabalho no sistema e, com base nisto,
decidir quando adicionar ou remover os recursos.

2.2

Engenharia de Software Experimental

Embora pertença a ciência da computação, que é uma área de conhecimento relacionado
às ciências exatas, a engenharia de software experimental (ESE) possui características peculiares fortemente relacionadas com as ciências sociais. Pesquisas empíricas permitem adquirir
conhecimentos por meio da exploração, descrição, previsão e avaliação de fenômenos naturais, a

32

CAPÍTULO 2. REFERENCIAL TEÓRICO

partir de evidências obtidas em observações sistemáticas ou experimentação (SJOBERG; DYBA;
JORGENSEN, 2007).
Um método empírico é dotado de um conjunto de princípios que se organizam em
torno dos tipos de dados coletados e analisados, assim permite avaliar tarefas organizadas por
pessoas de maneira sistemática, disciplinada, quantificada e controlada. Estudos empíricos
podem propiciar a avaliação de tecnologias da engenharia de software e determinar em que
tipos de tarefas e ambientes tais tecnologias são úteis, apoiando, por exemplo, pesquisadores e
profissionais na tomada de decisão sobre uma técnica ou ferramenta a adotar (SJØBERG et al.,
2005).
Antes de dissertar sobre os tipos de estudos empíricos é importante saber que, ao
selecionar o método, o pesquisador é norteado por sua postura filosófica, a qual influencia todas
as decisões na pesquisa, entretanto tal postura é comumente suprimida (CRESWELL, 2013).
Logo a seguir são apresentados os quatro os tipos dominantes de posicionamentos filosóficos na
pesquisa científica:    

Positivismo: o conhecimento é obtido através da lógica, lida com a complexidade
utilizando a redução do problema em partes menores. Nele o pesquisador é propenso
a utilizar métodos quantitativos como experimentos controlados (seção 2.2.1.5) e
surveys (seção 2.2.1.2).
Construtivismo: procura adquirir o conhecimento através da observação e do olhar
das pessoas. Também conhecido como interpretativismo, este tipo de visão tende a
não separar os fenômenos estudados de seus contextos. Costuma nortear métodos
qualitativos como estudos de caso (seção 2.2.1.1) e etnográficos (seção 2.2.1.3).
Teoria crítica: julga o conhecimento pelo seu potencial libertador. Assim, a pesquisa
é considerada um ato político, visto que o conhecimento empodera aquele que
o adquire. Também conhecida como "participativismo"ou "advocativismo"é um
método propenso a aderir à teoria crítica e à pesquisa-ação (seção 2.2.1.4) .
Pragmatismo: em geral, os pesquisadores pragmáticos julgam a pesquisa pela sua
utilidade em resolver problemas. Para o mesmo, todo o conhecimento é aproximado
e incompleto. Em geral, neste perfil, os pesquisadores adotam uma mistura de vários
métodos.

Apresentados os posicionamentos filosóficos, agora serão apresentados brevemente os
métodos empíricos que tratam de estudos primários na engenharia de software experimental.

2.2.1

Métodos Empíricos na Engenharia de Software Experimental

A prática da engenharia de software experimental (ESE) na engenharia de software (ES)
foi evidenciada por BASILI; SELBY; HUTCHENS (1986). Recentemente outras pesquisas

2.2. ENGENHARIA DE SOFTWARE EXPERIMENTAL

33

evidenciam a importância e desenvolvem ambientes de apoio à utilização dos métodos empíricos:
guias, métodos, ferramentas, entre outros. Tais mecanismos permitem projetar, planejar, executar,
analisar e reportar estudos empíricos, além de organizar e facilitar o processo de execução de
forma distribuída. Outro benefício é a simplificação da replicação destes estudos, uma vez que
os mesmos tendem a ser mais bem documentados.
Em suma, através dos métodos empíricos, a engenharia de software experimental se
preocupa em investigar como processos de desenvolvimento de software e ferramentas realmente
funcionam, de forma a compreender seus limites e projetar aperfeiçoamentos. Outro ponto
interessante a ser observado é a discussão sobre a utilização de abordagens mistas dos métodos
empíricos nas pesquisas. Tal prática permite que pesquisadores adotem mais de uma estratégia
empírica. A ideia surgiu do reconhecimento de que os métodos possuem suas limitações porém
são complementares entre si (EASTERBROOK et al., 2008; CRESWELL, 2013).
A seguir, serão apresentadas as principais estratégias empíricas que tratam de estudos
primários nas pesquisas da ES segundo EASTERBROOK et al. (2008): estudo de caso, survey,
etnografia, pesquisa-ação, experimento controlado e teoria fundamentada.
2.2.1.1

Estudo de Caso

Estudo de caso é um método empírico originado nas ciências sociais e, ainda hoje,
há divergências na literatura quanto ao seu conceito. Tem por objetivo investigar fenômenos
que ocorrem em seu contexto real, principalmente, quando as fronteiras entre o contexto e
os fenômenos não são evidentes (YIN, 2013). De forma a compreender como e porque, tal
fenômeno acontece sem que haja nenhum controle sobre as variáveis envolvidas (FUKS, 2011)
Entretanto há muita confusão em relação aos estudos de caso na ES, pelo fato do método
ser frequentemente utilizado para denominar demonstrações simples do uso de uma determinada
tecnologia (SJOBERG; DYBA; JORGENSEN, 2007), quando na verdade o método é sistemático
e rigoroso no apoio a pesquisas exploratórias e qualitativas (RUNESON; HÖST, 2009).
2.2.1.2

Survey

Originado na economia e sociologia o survey é o método empírico utilizado para identificar características de populações amplas por meio da produção de dados estatísticos (KITCHENHAM; PFLEEGER, 2008). Valendo-se de questionários, os pesquisadores selecionam
uma amostra representativa da população e procuram respostas de um conjunto de população,
relacionadas às ações, experiências, opiniões ou comportamentos desta em relação ao objeto de
estudo.
Além de questionários, podem ser utilizados entrevistas estruturadas e técnicas de logging
para a coleta dos dados. Também é possível observar a utilização da estratégia em conjunto com
outros métodos quando se deseja descrever, explanar e explorar informações preliminares ou
ainda levantar as variáveis do estudo a serem avaliadas (TRAVASSOS; GUROV; AMARAL,

34

CAPÍTULO 2. REFERENCIAL TEÓRICO

2002). Em função destas características os surveys tendem a lidar com pesquisas quantitativas,
descritivas e de design fixo (RUNESON; HÖST, 2009).
2.2.1.3

Etnografia

Oriundo da antropologia e com o objetivo de compreender culturas, o método visa o
entendimento aprofundado das práticas de uma determinada população. Segundo ROBINSON;
SEGAL; SHARP (2007), o intuito da etnografia é estudar uma comunidade de pessoas para
entender a iteração social entre seus membros na busca pela resposta de uma pergunta de
pesquisa.
Uma característica marcante do método é que o pesquisador passa a ser acolhido pelo
grupo, ou seja, passa a ser oficialmente aceito pela comunidade estudada (KARN; COWLING,
2006). Na ES a etnografia pode auxiliar a compreensão da cultura das práticas de software em
contextos pequenos e até em grandes comunidades (EASTERBROOK et al., 2008).
2.2.1.4

Pesquisa-ação

Em geral, os pesquisadores utilizam este método com o intuito de resolver problemas
do mundo real e, concomitantemente, estudar a experiência da resolução do problema em si.
Distingue-se das demais pelo fato do pesquisador deixar de ser um observador neutro para atuar,
modificar e aprender a partir da ação que realiza durante o estudo (FUKS, 2011). Assim, as
principais característias do método é a expansão do conhecimento científico, desenvolvimento de
competências dos envolvidos e criação de um vínculo de trabalho colaborativo em uma situação
imediata que utiliza feedbacks em um processo cíclico (LAU, 1999).
2.2.1.5

Experimento Controlado

Experimentação, também conhecida como experimento controlado é o objeto de estudo
desta pesquisa, permite que o conhecimento seja gerado de forma sistemática, disciplinada,
quantificável e controlada (WOHLIN et al., 2012). Com origem nas ciências naturais como
biologia e física, o experimento é um método de pesquisa utilizado para investigar um conjunto
de hipóteses testáveis apropriado para: observar fenômenos, formular teorias, confirmar um
conhecimento convencional, explorar relacionamentos, validar medidas e avaliar a predição de
modelos.
Normalmente conduzido em laboratório, este método requer uma elevada necessidade de
controle do ambiente (JURISTO; MORENO, 2013). Através dos processos experimentais, os
pesquisadores observam como as variáveis se relacionam, presumindo um relacionamento de
causa (tratamento de variáveis) e efeito (resultados) (FUKS, 2011).
Segundo EASTERBROOK et al. (2008) as etapas de um experimento são orientadas
através da definição de uma hipótese e teoria subjacente, onde o pesquisador controla as variáveis:

2.2. ENGENHARIA DE SOFTWARE EXPERIMENTAL

35

fixa algumas e varia outras. Através deste processo, os pesquisadores investigam como as
variáveis se relacionam e se existe alguma relação de causalidade entre elas.
2.2.1.6

Teoria Fundamentada

Surgido na sociologia e também conhecido como grounded theory, o método preocupa-se
com os procedimentos de coleta e análise. O objetivo é criar e/ou aperfeiçoar teorias através
da extração sistemática de dados qualitativos. Criar uma estrutura integrada para se explicar
ou prever fenômenos por meio de dados primários é algo complexo, entretanto este processo
se torna científico e quantificável por meio deste método (CORBIN; STRAUSS, 2014; FUKS,
2011).
Diferente de outas abordagens da ESE, dos quais parte-se sempre de teorias existentes
para o planejamento da pesquisa e coleta dos dados, neste método o processo é inverso (FUKS,
2011). Parte-se de uma situação ou tema de pesquisa, coleta-se e analisa-se dados de onde se
emerge uma teoria fundamentada. Os dados podem ser coletados por meio de entrevistas e
observações diretas que, em seguida, são comparadas para identificar categorias (variáveis), em
seguida o pesquisador inicia a comparação com teorias correntes na literatura científica (CORBIN; STRAUSS, 2014).

2.2.2

Guias para Relato de Experimentos

O relatório de um estudo empírico comunica suas conclusões e achados, sendo a principal
fonte de informação para se avaliar a qualidade e validade de seus resultados. Ao se reportar um
experimento, objeto de estudo desta pesquisa, é importante priorizar quais informações devem
ser incluídas em seu relatório. No contexto da engenharia de software é possível observar na
literatura que, desde 1980, pesquisadores procuram fornecer recomendações para se reportar
experimentos, como visto na Seção 1 e na linha do tempo na Figura 1.1.
Entretanto, a engenharia de software não é a primeira área de pesquisa que encontra
problemas relacionados aos relatórios insuficientes. Outras áreas como medicina e psicologia
tratam problemas similares e têm conseguido várias melhorias através da padronização e criação
de diretrizes para seus relatórios. Muitas revisões têm registrado deficiências nos relatórios
na pesquisa médica, que resultaram em guias para como reportá-los ALTMAN et al. (2001);
MOHER; SCHULZ; ALTMAN (2001). A psicologia também tem vivenciado problemas similares e guias para publicação foram desenvolvidos (ASSOCIATION et al., 2001; WILKINSON,
1999; HARRIS, 2008; SHIFFMAN et al., 2003).
A importância de se utilizar guias para criação de relatórios se aplica a todos os tipos
de estudos empíricos, entretanto a necessidade de se criar guias específicos para padronizar o
relato de experimentos vem sendo reportado por diversos autores ao logo do tempo (LOTT;
ROMBACH, 1996; PICKARD; KITCHENHAM; JONES, 1998; SHULL et al., 2003; VEGAS;
JURISTO; BASILI, 2003; WOHLIN; PETERSSON; AURUM, 2003; SJØBERG et al., 2005).

36

CAPÍTULO 2. REFERENCIAL TEÓRICO

Figura 2.3 Movimentação da comunidade para a criação dos guias para reportar experimentos na
engenharia de software

Da mesma forma é possível observar um movimento da comunidade na criação de diretrizes
para melhorar tais relatos (SINGER, 1999; WOHLIN et al., 2000; JURISTO; MORENO, 2001;
KITCHENHAM; PFLEEGER, 2002; JEDLITSCHKA; PFAHL, 2005; KITCHENHAM et al.,
2006; JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008).
É possível observar na linha do tempo da Figura 2.3 a movimentação da comunidade
para a criação de um guia específico para relatar experimentos na engenharia de software. Os
marcos no formato circular e com textos de cor preta representam estudos que criticam o relato
dos experimentos. Já os marcos no formato triangular e na cor azul representam os “movimentos
de resposta” da comunidade no sentido de melhorar e contribuir com a construção do guia.
A primeira movimentação para criação do guia foi feita por SINGER (1999) que publicou
sugestões de como utilizar guia existente na psicologia para reportar resultados experimentais na
engenharia de software. Em 2002 o primeiro guia para realizar, reportar e verificar resultados
experimentais na engenharia de software foi publicado por KITCHENHAM; PFLEEGER (2002).
Tal guia foi baseado em outros existentes na medicina e em experiências práticas e lições
aprendidas pelos próprios autores do estudo. SHULL et al. (2003) criou um conjunto de
orientações sobre como escrever artigos científicos, incluindo em especial a apresentação de
estudos empíricos. WOHLIN et al. (2000) publica livro onde sugere um esboço de como reportar
estudos empíricos. JURISTO; MORENO (2001) fornecem um roteiro de perguntas a serem
respondidas ao se reportar experimentos. JEDLITSCHKA; PFAHL (2005) publicam o primeiro
guia específico para reportar experimentos na Engenharia de Software (JEDLITSCHKA; PFAHL,
2005).
KITCHENHAM et al. (2006) publicaram uma avaliação do guia de Jedlitschka juntamente com recomendações de melhorias e correções de alguns problemas. No mesmo ano uma
nova versão do guia foi publicada, incorporando as sugestões de melhorias e correções. Em 2007

2.3. ENGENHARIA DE SOFTWARE BASEADA EM EVIDÊNCIAS

37

foi lançada uma nova versão do guia incorporando sugestões de mais pesquisadores. Em 2008
foi lançada a versão final do guia, com todas as sugestões de melhorias e defeitos registrados
anteriormente (JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008).
O presente trabalho utilizou o guia de JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008)
como base para construir o instrumento de coleta, pelo fato do mesmo ser uma evolução de
todos os guias publicados anteriormente que tratavam do relato de experimentos na ES. O fato
de o desenvolvimento do guia ter sido iterativo e seu teor validado, incorporado feedbacks dos
membros da comunidade também pesou na escolha pelo guia. Outro ponto importante é o fato
do guia apresentar um conteúdo com orientações detalhadas por seções e subseções seguidas de
exemplos.

2.3

Engenharia de Software Baseada em Evidências

A Engenharia de Software Baseada em Evidências (ESBE) é um paradigma da ES que
permite identificar, selecionar e sintetizar evidências a partir de estudos primários (KITCHENHAM; CHARTERS, 2007). Surgido inicialmente na medicina, o objetivo enunciado da ESBE é
proporcionar os meios pelos quais as melhores evidências de pesquisas possam ser integradas às
experiências práticas e valores humanos no processo de tomada de decisão no desenvolvimento
e manutenção de software.
Segundo KITCHENHAM; CHARTERS (2007) são três os métodos sistemáticos para se
conduzir pesquisas com base nos princípios da ESBE:
1. Revisões Sistemáticas da Literatura (RSL) convencionais: destinadas a identificar, analisar e interpretar as evidências disponíveis relacionadas a uma questão
específica de pesquisa, uma RSL tem uma metodologia bem definida e a questão de
pesquisa específica é tratada de maneira imparcial. RSLs em geral agregam resultados
sobre a eficácia de um tratamento, intervenção ou de uma tecnologia. Normalmente
estão relacionadas a questões do tipo: “Um tratamento X aplicado a uma população
P é mais eficiente para se obter o resultado R no contexo C quando comparado com
o tratamento Y?”
2. Mapeamento Sistemático da Literatura (MSL): também categorizado como estudo exploratório, apresenta uma ampla revisão de estudos primários em uma área ou
tópico específico no intuito de identificar quais as provas disponíveis sobre um tema
em questão. Normalmente relacionados a questões do tipo “O que sabemos sobre o
tema X?”, MSLs objetivam identificar todas as pesquisas que procuram responder
questões amplas e exploratórias sobre as tendências de uma determinada área de
pesquisa.
3. Meta-análise: é o método pelo qual, através de análise estatística, se sintetiza os
resultados de diferentes estudos primários independentes para integrar, combinar e

38

CAPÍTULO 2. REFERENCIAL TEÓRICO
resumir seus resultados de forma a responder a uma determinada questão de pesquisa.
O método também pode ser utilizado em revisões sistemáticas que integram os
resultados dos estudos incluídos.

Alguns autores apontam que, no âmbito da computação em nuvem, os relatórios dos
estudos empíricos são difíceis de ser intepretados e analisados pois a forma como os pesquisadores os apresentam suprimem informações relevantes (DURAO et al., 2014; LI et al., 2013;
HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a). Através de
um MSL, o presente trabalho espera agregar e consolidar evidências que permitam analisar e
interpretar o estado da prática dos relatos dos estudos empíricos na CN, tomando como base
guias existentes para tal, na engenharia de software experimental. Assim, espera-se identificr
as lacunas existentes de forma a contribuir com a melhoria da apresentação dos resultados de
estudos empíricos na CN.

2.4

Resumo

Este capítulo descreveu todo o referencial teórico utilizado durante o desenvolvimento
desta pesquisa. Foram explanados os principais conceitos e definições da computação em
nuvem e, em mais detalhes, aspectos relacionados à elasticidade. Também discorremos sobre
a engenharia de software experimental e seus principais métodos empíricos e, em especial,
tecemos uma discussão um pouco mais consistente sobre os guias para relatar experimentos. E,
por fim, abordamos os principais métodos da engenharia de software baseada em evidências.
No próximo capítulo será apresentado, método utilizado para o desenvolvimento da pesquisa e
detalhes relacionados à sua classificação, ciclo de desenvolvimento e detalhes do planejamento
do mapeamento sistemático.

39

3
Método
O objetivo deste capítulo é detalhar a abordagem metodológica utilizada na presente
pesquisa por meio de três seções: Classificação Geral da Pesquisa, Classificação do Estudo
Sistemático Segundo Cooper e Ciclo da Pesquisa.
A Seção 3.1 apresenta a classificação da pesquisa perante cinco aspectos; já a Seção 3.2
apresenta a classificação do mapeamento sistemático mediante taxonomia amplamente utilizada
em estudos sistemáticos; a por fim Seção 3.3 apresenta uma visão geral do planejamento
metodógico da pesquisa através de suas etapas e atividades.

3.1

Classificação Geral da Pesquisa

A pesquisa realizada nesta dissertação foi classificada perante cinco aspectos: método de
abordagem, método de procedimento, objetivo, natureza dos dados e posicionamento filosófico.
Através da Tabela 3.1 é possível observar o quadro metodológico que resume estes elementos.
Quadro Metodológico
Método de Abordagem
Indutivo
Método de Procedimento Mapeamento Sistemático da Literatura
Quanto ao Objetivo
Pesquisa Descritiva
Natureza dos Dados
Qualitativa
Posicionamento Filosófico Pragmático
Tabela 3.1: Classificação Geral da Pesquisa
Quanto ao método de abordagem essa dissertação é de caráter indutivo, uma vez que
baseia-se em estudos primários particulares para delinear o cenário geral do tema em discussão. As conclusões são concebidas por meio de uma cadeia de raciocínio ascendente onde
se permite, através dos dados obtidos, realizar inferências de uma verdade geral sobre o tema
estudado (MARCONI; LAKATOS, 2004).
Justificado pela natureza exploratória das perguntas deste trabalho, o método de procedimento adotado foi o mapeamento sistemático da literatura (MSL), um tipo de revisão

40

CAPÍTULO 3. MÉTODO

sistemática da literatura (RSL). Este tipo de procedimento é utilizado em pesquisas mais amplas, que permitem uma perspectiva geral e de granulação grossa de uma determinada área sob
investigação (KITCHENHAM, 2004; PETERSEN et al., 2008a).
No que diz respeito ao objetivo, a pesquisa é classificada como descritiva, uma vez
que os fatos foram sistematicamente coletados, registrados, classificados e interpretados com
o intuito de analisar e caracterizar a completude dos relatos dos experimentos em elasticidade
realizados no contexto da computação em nuvem (ANDRADE, 2001).
Em relação à natureza dos dados e das análises adotadas, a pesquisa caracteriza-se
majoritariamente como qualitativa , uma vez que foca em aspectos mais profundos através
da análise detalhada, classificação e interpretação do contexto do objeto de pesquisa (MARCONI; LAKATOS, 2004; CRESWELL, 2013). Também é possível perceber pequenos traços
quantitativos, uma vez que foram utilizados métodos estatísticos para representar os dados da
pesquisa.
Do ponto de vista do posicionamento filosófico o estudo é pragmático, uma vez que tem
como objetivo auxiliar na resolução dos problemas relacionados à completude dos relatos dos
experimentos por meio de abordagem majoritariamente qualitativa, não abstendo-se de alguns
métodos quantitativos.

3.2

Classificação do Estudo Sistemático Segundo Cooper

Originalmente proposta para classificar revisões sistemáticas da literatura nas áreas da
educação e psicologia, a Taxonomia de Cooper (TC) é bastante aplicada a estudos sistemáticos
de outras áreas de pesquisa em geral (COOPER, 1988). Conforme pode ser observada na
Tabela 3.2 a taxonomia sugere a classificação perante seis características, onde em algumas delas
(marcadas com *) mais de um valor pode ser assumido.
Característica
Foco*
Objetivo*
Perspectiva
Cobertura
Organização*
Público-Alvo*

Categoria
Resultados de pesquisa [ou] Métodos de pesquisa [ou] Teorias [ou] Práticas e
aplicações
[Integração (Generalização; Resolução de conflito; Construção de pontelinguística) ] [Crítica] [Identificação de questões centrais]
[Representação neutra] [Exposição de posição]
[Exaustiva] [Exaustiva com seleção seletiva] [Representativa] [Central ou pivô]
[Histórica] [Conceitual] [Metodológica]
[Estudiosos especializados] [Estudiosos gerais] [Profissionais] [Público geral]

Tabela 3.2: Taxonomia para classificação dos estudos secundários segundo Cooper
A utilização desta taxonomia tem o intuito de auxiliar a comunidade em três pontos
específicos: (i) avaliação da qualidade dou trabalho, (ii) divulgação à comunidade através de
um conjunto de termos bem definidos e, (iii) facilitar a pedagogia em cursos de graduação

3.2. CLASSIFICAÇÃO DO ESTUDO SISTEMÁTICO SEGUNDO COOPER

41

(COOPER, 1988). Na Tabela 3.3 é possível observar o resultado da classificação do estudo de
mapeamento sistemático desta dissertação mediante a taxonomia de Cooper.

Características
Foco
Objetivo
Perspectiva
Cobertura
Organização
Audiência

Classificação
[Resultados de Pesquisa] [Práticas ou aplicações]
[Integração (Generalização) ] [Identificação de problemas centrais]
[Representação neutra]
[Exaustiva com citação seletiva]
[Metodológica]
[Acadêmicos Especializados] [Praticantes]

Tabela 3.3: Resultado da aplicação da Taxonomia de Cooper para a classificação do mapeamento
sistemático desta pesquisa

Ao focar em resultados de pesquisa espera-se contribuir para o entendimento da prática
dos relatos de experimentos em elasticidade na computação em nuvem a partir da análise de uma
parcela representativa dos experimentos publicados por esta comunidade. O foco em práticas e
aplicações é importante e de grande valor para se entender certas tendências.
Quanto ao objetivo, os enfoques escolhidos foram: integração/generalização e identificação de problemas centrais. Através destes espera-se integrar, organizar e sintetizar o
conhecimento por meio da agregação e consolidação das evidências existentes na literatura e
identificar lacunas que permitam a melhora da área de pesquisa estudada.
No que diz respeito à perspectiva, a literatura será discutida sob o ponto de vista neutro.
O intuito de se dissertar desta forma tende a evitar a transmissão de posicionamento ou opinião
do pesquisador, bem como inibir qualquer viés pré-existente do pesquisador. Também é intenção
apresentar todas as evidências sobre o tema investigado revelando seus pontos positivos e
negativos.
No quesito cobertura esta pesquisa é classificada como exaustiva com citação seletiva,
visto que tentou-se selecionar a maior parte da literatura relacionada ao tema em discussão
através de buscas manuais e automáticas, entretanto as fontes de pesquisas e período de cobertura
foram limitados.
Em relação à organização a dissertação está disposta de maneira metodológica, visto
que os resultados estão agrupados em torno de ideias similares para facilitar a discussão e
interpretação dos resultados de acordo com as perguntas de pesquisa e aspectos metodológicos
relacionados ao relato dos experimentos.
Por fim, em relação à audiência a dissertação está direcionada aos pesquisadores especializados tanto da computação em nuvem, quanto da engenharia de software experimental,
que desejem conhecer o atual estado da prática do relato dos experimentos em elasticidade na
computação em nuvem.

42

3.3

CAPÍTULO 3. MÉTODO

Ciclo da Pesquisa

O objetivo desta seção é apresentar como foi planejada a metodologia para realização
deste trabalho de mestrado em suas etapas e atividades. A Figura 3.1 apresenta todas as etapas
e respectivas atividades planejadas desde a definição da pesquisa até a divulgação de seus
resultados.
A seguir serão detalhadas as etapas de definição e planjeamento da pesquisa e divulgação
dos resultados. Escolheu-se apresentar a etapa de Execução na Seção 4, visto que estas informações dizem respeito à materialização do método planejado para a pesquisa na forma da execução
do mapeamento sistemático. A seguir serão apresentados os planejamentos de atividades, decisões de pesquisa e suas particularidades. Quanto à ordem, a execução das atividades é sequencial
e é definida pelo fluxo das setas e suas direções.

Figura 3.1 Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades.

3.3.1

Etapa de Definição da Pesquisa

Esta etapa foi fundamental para todo o delineamento da pesquisa e teve como principais
objetivos: (i) identificação das oportunidades de pesquisa, (ii) definição do tema a ser trabalhado,
(iii) escopo, (iv) perguntas de pesquisa e (v) definição da metodologia e do método empírico a
ser utilizado. Nas demais sub-seções a seguir, todas as definições da pesquisa serão detalhadas
seguindo a ordem de acontecimentos.

3.3. CICLO DA PESQUISA
3.3.1.1

43

Revisão Informal da Literatura

Com o intuito de obter um maior conhecimento sobre as necessidades da CN foi realizada
uma revisão informal da literatura para se identificar as oportunidades de pesquisa. Através desta
revisão foi possível perceber a necessidade em se aumentar a utilização de métodos empíricos
nas pesquisas da computação em nuvem, e assim, melhorar o rigor metodológico das evidências
de pesquisas (SILVA; ROSE; CALINESCU, 2013b; JAMSHIDI; AHMAD; PAHL, 2013). Ficou
evidente que os relatórios dos estudos empíricos na CN são incompletos e apresentam uma
baixa qualidade metodológica, dificultando, por exemplo, a avaliação da qualidade, interpretação,
generalização, replicação e validade de seus resultados (DURAO et al., 2014; LI et al., 2013;
HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a).
3.3.1.2

Definição do Tema, Objetivo e Escopo

Para adquirir um maior embasamento teórico sobre o assunto e definir o tema, objetivo e
escopo da pesquisa, foi realizada uma revisão bibliogáfica tradicional nos principais temas relacionados ao assunto: computação em nuvem, estudos empíricos e engenharia de software baseada
em evidências. Assim observamos que, o problema em questão não é específico apenas do contexto da CN (SMITE et al., 2008; KAMPENES et al., 2009; RUNESON; STEFIK; ANDREWS,
2013) e que existe uma mobilização dos pesquisadores da engenharia de software experimental
para melhorar os relatórios dos estudos empíricos através da utilização de guias para reportar
resultados(CARVER, 2010; BUDGEN; ZHANG, 2009; ?; KITCHENHAM; CHARTERS, 2007;
SMITE et al., 2008).
No melhor do nosso conhecimento e através de pesquisas feitas na literatura (Seção F.2),
até o inicio da presente pesquisa não haviam estudos sistemáticos, no contexto da computação
em nuvem, que caracterizassem a completude dos relatos de maneira aprofundada, baseado em
guias existentes na literatura da engenharia de software experimental. Assim, concluímos que
o problema apresentava relevância para gerar contribuições importantes, conforme discussão
apresentada na Seção 1.
As práticas de avaliação no contexto da CN são reportadas em várias fontes como blogs,
revistas, relatórios técnicos, publicações acadêmicas, etc. Publicações acadêmicas, em particular,
normalmente são mais formais e seguem um processo rigoroso de revisão. Considerando a
documentação específica produzida nas publicações formais, limitamos a este trabalho apenas às
publicações acadêmicas. Não há desconfiança de que as publicações informais também possam
fornecer informações altamente relevantes, entretanto é impraticável explorar e coletar dados
úteis através de diferentes fontes de dados de uma só vez.
A fim de realizar uma análise inicial mais profunda e obter uma contribuição mais
relevante no estudo destes relatos, o foco inicial deste trabalho foi direcionado às pesquisas que
utilizaram realizaram experimentos. Escolheu-se focar em experimentos pois este é um método
empírico bem representativo mediante as características da área de pesquisa em computação

44

CAPÍTULO 3. MÉTODO

em nuvem. Entretanto, mediante às limitações de tempo e espaço, foi necessário condensar o
escopo da pesquisa e então foi decidido estudar os relatos dos experimentos que avaliavam a
característica mais marcante da computação em nuvem: a elasticidade. Embora o escopo tenha
sido reduzido, a quantidade de estudos avaliados matém a representatividade da área de pesquisa
como um todo, tanto em número quanto à natureza dos experimentos realizados.
Diante destes fatos, a pesquisa foi direcionada a compreender o estado da prática de
comunicação dos resultados de experimentos em elasticidade na CN, fundamentado em guias
existentes na ESE, na perspectiva de profissionais e pesquisadores, a fim de identificar as lacunas
para melhoria da qualidade das evidências empíricas das publicações científicas.
3.3.1.3

Definição da Metodologia

Uma vez definidos o tema, objetivo e escopo da pesquisa, o próximo passo foi definir
qual seria o método empírico a ser utilizado. Dentre os métodos apresentados anterioremente
(Seção 2.2.1 e Seção 2.3) o método considerado mais adequado foi o Mapeamento Sistemático
da Literatura, tomando como base o objetivo, natureza exploratória das questões de pesquisa e
apresentação dos resultados pretendidos.
Inicialmente existia a dúvida entre se realizar uma revisão sistemática ou mapeamento
sistemático. Em sua grande maioria, as revisões sistemáticas tem como objetivo avaliar, comparar ou decidir entre técnicas, entretanto nosso objetivo é a realização de uma análise temática o
que se adequa mais ao objetivo de um mapeamento sistemático. Outro aspecto que foi decisivo
na escolha do método foi a ampla natureza exploratória da pergunta de pesquisa: Quão completos são os relatos de experimentos em elasticidade na computação em nuvem, em relação à
apresentação de elementos da pesquisa que permitam a interpretação, avaliação da validade
e o potencial da pesquisa?. Visto que é parte do objetivo realizar uma análise de visão mais
profunda das evidências da prática dos relatos dos experimentos, o método escolhido foi o
mais adequado, uma vesz que para tal precisamos integrar de forma exaustiva e sintetizar as
evidências existentes (KEELE, 2007; PETERSEN et al., 2008a; BUDGEN et al., 2008). Outro
fator está relacionado à forma de apresentação dos resultados, pois em um estudo de mapeamento
sistemático eles são apresentados de forma categorizada e proporcionam uma visão sumária
que permite a melhor visualização dos dados em forma de gráficos e mapas (PETERSEN et al.,
2008a). Nas sub-seções a seguir todo o planejamento do mapeamento sistemático será detalhado
seguindo através da definição do protocolo da pesquisa.

3.3.2

Etapa de Planejamento do Mapeamento Sistemático

Esta etapa foi fundamental para o planejamento do mapeamento sistemático e teve
como atividades: (i) definição do protocolo e (ii) revisão do protocolo. Nesta etapa o principal
artefato produzido é o protocolo do mapeamento que encontra-se em anexo no Apêndice F desta
dissertação.

3.3. CICLO DA PESQUISA

45

Diferente de um processo não estruturado de revisão da literatura, um estudo sistemático
procura reduzir o viés do pesquisador através de uma sequência precisa e rigorosa de passos
metodológicos. Toda a metodologia do mapeamento sistemático desta pesquisa foi planejada em
três fases como ilustra a Figura 3.2.

Figura 3.2 Metodologia planejada para a realização do mapeamento sistemático

A seguir serão apresentados os detalhes de planejamento do mapeamento e todas as
decisões e informações necessários para a compreensão da pesquisa.
3.3.2.1

Definição do Protocolo

O objetivo do protocolo de um estudo sistemático é reduzir o viés do pesquisador e
fornecer um processo reproduzível e transparente para a realização do estudo. O protocolo do
mapeamento desta pesquisa foi construído com base em guias existentes na literatura (KITCHENHAM, 2004; KEELE, 2007; PETERSEN et al., 2008b; ARKSEY; O’MALLEY, 2005).
A seguir serão apresentados, através de parágrafos breves, apenas alguns dos elementos
relacionados ao planejamento do mapeamento, entretanto, é possível ter acesso ao protocolo
como um todo no Apêndice F. Como pode ser visto na Figura 3.2 o planejamento compreende a
definição dos seguintes pontos: questões de pesquisa, estratégia de busca dos estudos, estratégia
de seleção dos estudos, avaliação da qualidade e estratégia de extração.
3.3.2.1.1 Questões de Pesquisa A formulação das questões de pesquisa é crucial e direciona
todas as atividades de busca, seleção, extração dos dados e análise dos estudos (KITCHENHAM;
CHARTERS, 2007). O objetivo desta pesquisa é realizar um diagnóstico da comunicação dos
resultados dos experimentos realizados na computação em nuvem para verificar se os autores

46

CAPÍTULO 3. MÉTODO

apresentam em seus relatos um conjunto de elementos que permitam interpretar, avaliar a
validade e o potencial de tais estudos como: motivação, objetivo, método, análise dos dados,
resultados, conclusões e limitações. Com este objetivo e tomando como base as orientações
criadas por JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008), que orientam os pesquisadores a
relatar o resultado de experimentos com base em um conjunto de informações essenciais para
seu entendimento, foi criado o conjunto de questionamentos abaixo: 

QP1 - Quão completos são os relatos de experimentos em elasticidade na computação
em nuvem, em relação à apresentação de elementos da pesquisa que permitam a
interpretação, avaliação da validade e o potencial da pesquisa?    

SQP1 - O título permite que o leitor identifique que o estudo é um relato
de experimento?
SQP2 - Informações importantes do resumo como motivação, objetivos,
métodos, resultados, limitações e conclusões da pesquisa são relatadas?
SQP3 - A introdução do relato apresenta referências à declaração do
problema, objetivos e contexto da pesquisa?
SQP4 - A fundamentação informa sobre a tecnologia em investigação, às
possíveis opções alternativas a ela, pesquisas relacionadas e a relevância
para a prática? 

SQP5 - O relato apresenta informações sobre o planejamento da pesquisa? 

SQP6 - O relato detalha a análise dos dados da pesquisa?  

SQP7 - Os resultados, suas implicações e ameaças à validade são relatados?
SQP8 - As conclusões do estudo apresentam um resumo conciso da pesquisa, seus impactos e trabalhos futuros?

3.3.2.1.2 Estratégia de Busca dos Estudos A busca dos estudos inclui as estratégias manuais e automáticas. Foi planejado que ambas as estratégias deveriam ser executadas pelo autor da
pesquisa e os resultados obtidos exportados para o sistema ExtractViewer, ferramenta criada para
auxiliar toda a realização do estudo sistemático. Mais informações sobre a feramenta podem
ser obtidas no Apêndice G As fontes de busca manuais planejadas e os respectivos períodos de
coleta são as apresentadas na Tabela 3.4.
Para a estatégia automática planejou-se a utilização dos mecanismos IEEE Xplore Digital
Library 1 , ACM Digital Library 2 , Elsevier Scopus 3 , Springer Link 4 . A string de busca
1 http://ieeexplore.ieee.org
2 http://portal.acm.org
3 http://www.scopus.com
4 http://link.springer.com

3.3. CICLO DA PESQUISA
Fonte
EASE – International Conference on Evaluation
and Assessment in Software Engineering
ESEM – International Symposium on Empirical
Software Engineering and Measurement
ESE – Empirical Software Engineering Journal
CLOUD – IEEE International Conference on
Cloud Computing
CLOUDCOM – IEEE International Conference
on Cloud Computing Technology and Science
TPDS – IEEE Transactions on Parallel and Distributed Systems

47
Período
2006-2014

Tipo
Conferência

Área
ESE

2007-2014

Simpósio

ESE

2006-2014
2009-2014

Journal
Conferência

ESE
CN

2010-2014

Conferência

CN

2006-2014

Journal

CN

Tabela 3.4: Fontes de Busca Manual e Período de Coleta
definida é apresentada na Tabela 3.5. Foram utilizados os principais sinônimos para a definição
da computação em nuvem e seus modelos de serviço. Para encontrar os experimentos mais
efetivamente foi utilizado o termo experimento conforme as orientações de DIESTE; GRIMáN;
JURISTO (2008). Com o objetivo de encontrar os experimentos que claramente declaravam
realizar experimentos em elasticidade o termo foi incluído na string de busca.

(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-a-Service <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR> SaaS <OR>
Software-as-a-Service"<OR> Software as a Service)
[AND]
(Elasticity)
[AND]
(Experiment OR Evaluate OR Evaluation OR Evaluating OR Benchmark)
Tabela 3.5: String de Busca utilizada na pesquisa dos estudos do MS

3.3.2.1.3 Estratégia de Seleção dos Estudos A seleção dos estudos foi planejada em duas
etapas, onde a primeira consiste na leitura do título e resumo de todos os estudos pelo autor
da pesquisa em conjunto com um pesquisador experiente e, apenas os trabalhos claramente
fora do escopo da pesquisa e duplicados devem ser excluídos. Em caso de dúvida em relação à
permanência do estudo o mesmo deve ser mantido para a segunda rodada de seleção conforme
recomenda KITCHENHAM; CHARTERS (2007).
A segunda etapa contempla a participação de pesquisadores configurados em duplas e
todos os estudos devem ser lidos sinteticamente e analisados conforme os critérios de exclusão
definidos. O grau de concordância entre os revisores deve ser calculado para garantir que o
resultado obtido não foi meramente ao acaso.

48

CAPÍTULO 3. MÉTODO

Quanto aos critérios de exclusão, os mesmos foram definidos com objetivo de identificar
apenas os experimentos que avaliavam a elasticidade na computação em nuvem, o que deixa
implícito que todos os estudos que não se enquadraram nestes critérios deve ser automaticamente
incluídos. A lista dos critérios pode ser observada na Tabela 3.6. Todo o processo deve ser
assitido pela ferramenta ExtractViewer e cada um dos revisores, de posse de suas credenciais de
acesso devem proceder com a análise dos estudos designados a ele. Mais detalhes sobre as telas
e informações disponibilizadas aos revisores pode ser vista no Apêndice G. Inicialmente alguns
dos critérios podem parecer similares entre si, entretanto o objetivo é realizar uma análise com
granularidade fina a fim de facilitar futuros estudos com os resultados das seleções de estudos
realizada nesta revisão.
Código
C01
C02
C03
C04
C05
C06
C07
C08
C09
C10
C11

Critérios de Exclusão
O arquivo não corresponde ao Estudo. (Ex: índice)
O arquivo não é um Estudo. (Ex: proceedings, editorial)
O Estudo é duplicado.
O Estudo é um slideshow ou resumo expandido.
O Estudo está fora do intervalo de avaliação.
O Estudo está relacionado à Elasticidade mas não relata um Experimento.
O Estudo está relacionado à Elasticidade, reporta um Experimento porém não
avalia Elasticidade.
O Estudo não está disponível.
O Estudo não está em inglês.
O Estudo não está relacionado à Computação em Nuvem.
O Estudo não está relacionado à Elasticidade na Computação em Nuvem.
Tabela 3.6: Lista dos Critérios de Exclusão em ordem alfabética.

3.3.2.1.4 Avaliação da Qualidade O intuito desta pesquisa é ser exaustiva, e identificar a
maior quantidade de experimentos em elasticidade para obter uma representatividade ampla da
população. Assim sendo, a análise de qualidade dos estudos selacionados não foi realizada, uma
vez que nesta caso a inclusão do maior número de estudos pode contribuir potencialmente para a
formação de uma visão ampla da prática atual dos relatos dos experimentos.

3.3.2.1.5 Estratégia de Extração Foi planejado que o processo de extração dos dados seria
feito em duas partes: extração dos metadados e extração através do instrumento de análise de
completude dos relatos. A primeira parte contempla os metadados relacionados ao título do
estudo, autores, instituições, países, fonte e ano de publicação. Uma vez que tais dados devem
ser coletados durante a etapa de busca e importados para o sistema ExtractViewer, sua extração
deve ser realizada através de consultas ao banco de dados do sistema. Já a segunda parte deve
ser extraída através da leitura e aplicação do instrumento de coleta nos estudos selecionados
conforme orientações e detalhes apresentados no Apêndice H e Seção 2.2.2.

3.3. CICLO DA PESQUISA
3.3.2.2

49

Revisão do Protocolo

Com a conclusão do protocolo, conforme orientação dos guias utilizados, o mesmo foi
apreciado por especialistas da computação em nuvem, engenharia de software experimental
e engenharia de software baseada em evidências. Após a realização dos sucessivos ajustes
propostos, a versão final do protocolo foi então estabelecida para permitir assim o início da etapa
de execução da pesquisa.

3.3.3

Etapa de Execução da Pesquisa

Como explanado no início deste capítulo os resultados das atividades de execução do
mapeamento sistemático serão apresentados na Seção 4.

3.3.4

Etapa de Divulgação dos Resultados

Esta etapa possui uma dinâmica de execução diferente das demais em termos de execução,
suas atividades são: (i) Escrita da Dissertação e (ii) Submissão Journal. Todos os resultados
detalhados e demais detalhes relacionados à execução e planejamento da pesquisa estão sendo
divulgados por meio desta dissertação. Ao dissertar tentou-se acrescentar a maior quantidade
de informações possíveis em relação ao método da pesquisa, de forma a propiciar uma melhor
visualização do planejamento e da execução do método, transparecer a credibilidade da pesquisa
e facilitar possíveis replicações.
A execução da primeira atividade, escrita da dissertação, não foi sequencial e sim
iterativa e incremental, onde em cada etapa do ciclo da pesquisa as informações produzidas eram
redigidas e registradas nesta dissertação.
A segunda atividade, submissão journal, extrapola o marco de apresentação deste trabalho
de dissertação e visa apresentar à comunidade os resultados desta pesquisa de maneira mais
ampla. Após a conclusão e apresentação do trabalho serão recebidas as sugestões de correção e
melhorias e, após a realização das mesmas, os resultados desta pesquisa serão submetidos à dois
periódicos: ESE e TPDS.

3.3.5

Resumo

Neste capítulo foi descrita a metodologia utilizada nesta pesquisa, sua classificação,
estruturação, planejamento, condução e as razões de uso dos procedimentos ou métodos. Também
foi apresentada a estratégia planejada para a divulgação dos resultados obtidos na pesquisa. No
próximo capítulo são apresentados todos os detalhes de execução do mapeamento sistemático e
uma análise dos resultados obtidos.

51

4
Resultados
Este capítulo tem como objetivo trazer informações a cerca da etapa de execução do
mapeamento sistemático e apresentar os resultados encontrados na análise das evidências. Na
seção Execução do Mapeamento Sistemático são apresentados todo os detalhes da execução do
mapeamento, compreendendo as atividades de busca, seleção, extração dos dados e sintetização
dos resultados.
A análise e discussão dos resultados obtidos constituem as principais contribuições deste
trabalho e serão apresentados em três Seções distintas: Análise Geral, Análises das Evidências
e Discussão dos Resultados. A Seção 4.2 apresenta os dados quantitativos do processo de
mapeamento sistemático e características gerais dos estudos analisados. A Seção 4.3 apresenta a
análise das evidências identificadas respondendo a cada uma das perguntas de pesquisa. E por
fim a Seção 4.4 se dedica a discutir os principais resultados obtidos.

4.1

Execução do Mapeamento Sistemático

O intuito desta seção é apresentar os detalhes da etapa de execução do mapeamento
sistemático que se inicia com a seleção dos estudos e resulta na sintetização da informação.
Nas próximas sub-seções serão apresentados os detalhes de execução relativos às atividades e
informações pertinentes ao entendimento do contexto e interpretação da pesquisa.

4.1.1

Busca dos Estudos

A atividade de busca foi guiada pelo planejamento realizado na Seção 3.3.2.1.2 e executada em dois momentos: (i) busca automática e (ii) busca manual. Não foi necessário nenhum
replanejamento desta atividade e todos os estudos foram coletados juntamente com suas informações de metadados. Todos os resultados foram importados e devidamente tratados pela
ferramenta ExtractViewer. É importante ressaltar que esta atividade é conhecidamente laborosa e
exige do pesquisador um certo volume de trabalho manual e repetitivo na montagem e organização das informações que são apreciadas na atividade de seleção dos estudos primários. Neste

52

CAPÍTULO 4. RESULTADOS

quesito, o apoio da ExtractViewer foi essencial para diminuir a propensão a erros e acelerar o
andamento da pesquisa.
No primeiro momento foram executadas as buscas automáticas e para todas elas a
string de busca foi adaptada para atender à sintaxe do mecanismo. Toda a lógica e semântica
definidas foram inteiramente mantidas. A busca no IEEE Xplore foi realizada sem maiores
dificuldades e o engenho permitiu que o resultado fosse exportado por completo em um único
arquivo no formato csv. Todos os metadados necessários para a interpretação dos estudos foram
adquiridos e importados sem nenhuma intercorrência. Na ACM Digital Library houve um pouco
de dificuldade na exportação dos resultados, visto que o engenho não apresenta a funcionalidade
específica para este propósito. Mesmo com tais dificuldades, todos os dados da pesquisa e
metadados dos estudos foram adquiridos e importados para a ferramenta. No Springer Link
também houve a mesma dificuldade em relação à exportção dos resultados. Por fim, no Elsevier
Scopus a busca foi executada sem maiores dificuldades e os resultados exportados por completo
em um arquivo csv. A única diferença deste engenho é que a consulta era executada em sistema
de processamento em lotes e o resultado da consulta era recebido via email.
Já a busca manual foi realizada com sucesso em todas as conferências planejadas e concluída sem intercorrências. Todas as buscas foram importadas com sucesso para a ExtractViewer
e a contabilização destes por conferência pode ser vista na Tabela 4.1. Ao término das atividades
desta etapa foram identificados 3.611 estudos candidatos para análise. Mais detalhes em relação
a análise dos engenhos utilizados podem ser conferidos na Seção 4.2 deste capítulo.
Fonte de Dados
ACM Digital Library
IEEEXplorer Digital Library
Elsevier Scopus
Springer Link
TPDS
CLOUDCOM
CLOUD
EASE
ESE
ESEM

Tipo

Quantidade de Estudos

Automática
Automática
Automática
Automática
Manual
Manual
Manual
Manual
Manual
Manual

490
170
163
251
1315
517
454
85
75
91

Tabela 4.1: Quantitativo de estudos candidatos localizados por fonte de dados.

4.1.2

Seleção dos Estudos Primários

O processo de seleção dos estudos foi realizado em duas rodadas sequenciais: primeira
rodada e segunda rodada. Ambas as rodadas utilizaram a ferramenta ExtractViewer. Através
dela os revisores puderam trabalhar em paralelo em um ambiente distribuído, o que ajudou a
acelerar a execução desta etapa.

4.1. EXECUÇÃO DO MAPEAMENTO SISTEMÁTICO

53

Na primeira rodada, como ilusta a Figura 4.1, o título, resumo e palavra-chave de todos
os 3.611 estudos candidatos foram lidos e avaliados pelo autor e outro pesquisador experiente.
As análises desta rodada foram feitas pelo autor do estudo através da ferramenta ExtractViewer.

Figura 4.1 Esquema de execução da primeira rodada de seleção dos estudos do mapeamento sistemático

Apenas os trabalhos claramente fora do escopo da pesquisa (3.260) e os considerados
duplicados (155) foram excluídos. Os estudos duplicados foram identificados automaticamente
pela ferramenta através das informações de metadados e apresentou uma efetividade de 97%.
Todos os indícios de duplicações foram verificados pelo autor para ratificar a veracidade da
informação. Neste momento também foram ratificas todas as informações de metadados dos
estudos. Ao final desta rodada restaram 196 estudos. Mais detalhes sobre o resultado do processo
de seleção podem ser obtidos na Seção 4.2. O grande quantitativo de estudos excluídos chamou
à atenção e resolveu-se analisar em detalhes o motivo que tenha levado à ocorrência deste fato.
Através de tal análise chegou-se aos dados da Tabela 4.2 e podemos observar que o grande
quantitativo de estudos excluídos estava relacionado ao fato de o estudo não estar relacionado à
computação em nuvem ou à elasticidade.
Por meio destes dados foi possível perceber um achado que chamou bastante a atenção: o
jornal IEEE Transactions on Parallel and Distributed Systems, apresentou uma grande quantidade
de estudos excluídos pelo motivo "O Estudo não está relacionado à Computação em Nuvem".
Apesar de não existir ainda um jornal específico para a área de pesquisa da computação em
nuvem, e tal jornal por ser relacionado à grande área de pesquisa de sistemas distribuídos a qual
a computação em nuvem pertence, esperava-se que existisse grande possibilidade de encontrar
estudos relevantes para a pesquisa. Entretanto, foi possível perceber que a estratégia de inclusão
deste jornal não teve o efeito esperado.
Já as conferências "IEEE International Conference on Cloud Computing Technology and
Science" e "IEEE International Conference on Cloud Computing" apresentarem um alto volume
de exclusão pelo critério "O Estudo não está relacionado à Elasticidade na Computação em
Nuvem". Tal fato pode ser compreensível, visto que estudos sobre avaliação em elasticidade começaram a despontar na literatura em 2009 e o auge de publicações datam de 2012 (COUTINHO
et al., 2014).

54

CAPÍTULO 4. RESULTADOS
Origem dos Dados

IEEE Transactions on Parallel
and Distributed Systems

Busca
Manual

IEEE International Confe- Manual
rence on Cloud Computing Technology and Science
IEEE International Confe- Manual
rence on Cloud Computing

ACM Digital Library

Automática

Springer Link

Automática

Motivo Exclusão

Recup.

O Estudo não está rela- 1315
cionado à Computação
em Nuvem.
O Estudo não está rela517
cionado à Elasticidade
na Computação em Nuvem.
O Estudo não está rela454
cionado à Elasticidade
na Computação em Nuvem.
O Estudo não está rela490
cionado à Elasticidade
na Computação em Nuvem.
O Estudo não está rela- 251
cionado à Elasticidade
na Computação em Nuvem.

Excl.
1199

%
Excl.
91%

480

93%

421

93%

323

66%

121

48%

Tabela 4.2: Critérios de exclusão apliados na primeira etapa de seleção dos estudos candidatos
A segunda rodada contou com a participação de 18 pesquisadores, configurados em 10
duplas para realizar a análise dos 196 estudos resultantes da primeira rodada. O processo de
seleção pode ser visto na Figura 4.2 que contém a mesma semântica da Figura 4.1. Vale destacar
que o processo apresentado é repetido para cada uma das duplas participantes. A configuração
de duplas foi feita conforme a Tabela F.2 e cada uma delas analisou 10% dos trabalhos, o que
resulta em aproximadamente 20 estudos por revisor.
Com o acesso ao sistema, cada integrante das duplas analisou todos os estudos presentes na sua lista, registrando os possíveis critérios aplicados e caso desejasse os respectivos
comentários. Ao final das análises a ferramenta identificou todos os conflitos existentes entre
os revisores de cada uma das duplas. Todos os conflitos foram resolvidos através de reunião e
sem intercorrências e ao final desta etapa foram selecionados 59 estudos. A listagem dos estudos
selecionados, juntamente com seu respectivo código, título, ano, origem dos dados e autores é
apresentado no Apêndice A.
Para mensurar o grau de confiabilidade da aplicação dos critérios a segunda rodada,
foram executados testes de Kappa (VIERA; GARRETT, 2005) para aferir a concordância entre
os revisores (KITCHENHAM; CHARTERS, 2007; EDWARDS et al., 2002). A estatística de
Kappa é denotada pela letra "K"e é calculada através de um teste que retorna valores de menos
infinito a 1, sendo interpretado conforme a Tabela 4.3. O cálculo desta estatística é acompanhado
de um teste de confiabilidade, que ajuda a identificar se o valor de K foi obtido através de mera
chance por meio de um p-value (VIERA; GARRETT, 2005).

4.1. EXECUÇÃO DO MAPEAMENTO SISTEMÁTICO

55

Figura 4.2 Esquema de execução da segunda rodada de seleção dos estudos do mapeamento sistemático

Kappa
<0
0,0
0,01 - 0,20
0,21 - 0,40
0,41 - 0,60
0,61 - 0,80
0,81 - 0,99

Concordância
Menos que mera chance de concordância
Nível pobre de concordância
Nível leve de concordância
Nível razoável de concordância
Nível moderado de concordância
Nível substancial de concordância
Nível quase perfeito de concordância

Tabela 4.3: Valores de referência para interpretação do teste Kappa
Ao final foi analisado o índice de concordância global e obteve-se um valor K=0,376,
que conforme a Tabela 4.3 é considerado um nível de concordância razoável. Para este teste
obtivemos um p-value=0,001, que permite rejeitar a hipótese de que o resultado tenha acontecido
ao acaso. Tal resultado foi obtido com certa surpresa, uma vez que somadas todas as duplas
houveram 139 concordâncias contra 57 discordâncias, configurando um nível de concordância
de 71%, que mostra-se aparentemente moderado para ser considerado apenas razoável.
No que diz respeito à análise de concordância entre os integrantes das duplas, foram
obtidos os valores apresentados na Tabela 4.4. As estatísticas indicam que as duplas D4, D7 e
D8 se enquadram em um nível de concodância substancial, tendo como rejeitada a hipótese nula
de concordância por mera chance. As duplas D1, D2, D3, D5, D9 e D10 apresentaram um nível
razoável de concordância. Já a dupla D6 apresentou um nível de concordância leve, com p-value
mostrando não ser possível rejeitar a hipótese de que esse resultado se deu por mero acaso. Ao
analisar, em especial, os conflitos e as respectivas discordâncias foi possível observar que o
principal fator de discordância foi na diferenciação dos conceitos de elasticidade. Tal resultado
pode ser considerado relativamente natural, visto que a dupla foi composta por um especialista
em CN e outro em ESE. Assim sendo, foi considerado que o índice de 71% de concordância

56

CAPÍTULO 4. RESULTADOS

quanto à inclusão/exclusão dos estudos primários evidencia uma taxa segura de confiabilidade
para os critérios utilizados nesta pesquisa.
Dupla
D1
D2
D3
D4
D5
D6
D7
D8
D9
D10

Kappa
0,21
0,36
0,26
0,61
0,24
0,05
0,66
0,78
0,38
0,21

p-value
0,36
0,04
0,16
0,003
0,21
0,83
0,002
0,001
0,07
0,36

Concordância
Nível razoável de concordância
Nível razoável de concordância
Nível razoável de concordância
Nível substancial de concordância
Nível razoável de concordância
Nível leve de concordância
Nível substancial de concordância
Nível substancial de concordância
Nível razoável de concordância
Nível razoável de concordância

Tabela 4.4: Resultado dos testes Kappa
Ao analisar os índices de concordância procurou-se entender e investigar o principal
motivo que levou a este grau de discordância entre os revisores e foi observado que os principais
motivos de conflito foram dois: (i) atestar que o estudo reportava um experimento e (ii) atestar
se o experimento avaliava elasticidade. Entretanto, acreditamos que a discordância do ponto (i)
foi causada pelo uso indiscriminado da terminologia dos estudos empíricos. Houveram estudos
em que o autor declarava em um trecho do artigo ter realizado um experimento e, logo em
outro trecho do mesmo artigo alegar que foi realizado um estudo de caso. Quanto ao ponto (ii)
observou-se que a dificuldade ocorreu pela confusão que existe entre os conceitos de elasticidade
e escalabilidade.

4.1.3

Extração dos Dados

A atividade de extração dos dados ocorreu sem maiores intercorrências e foi realizada por
dois pesquisadores conforme justificado na Seção 3.3.2.1.5. A etapa de extração dos metadados
dos estudos foi realizada através de consultas sql executadas diretamente do banco de dados
do sistema ExtractViewer. A extração dos dados para identificar a completude dos relatos foi
norteado pelo instrumento de coleta detalhado no Apêndice H.

4.1.4

Sintetização dos Dados

Em particular, os dados coletados durante a extração podem ser distinguidos entre
metadados das publicações e dados sobre a caracterização dos relatos. Os metadados foram
utilizados principalmente para realizar uma investigação estatística dos estudos selecionados,
enquanto que os dados de relato dos experimentos foram analisados com o objetivo de responder
às questões de pesquisa apresentadas na Seção 4.3.

4.2. ANÁLISE GERAL

4.2

57

Análise Geral

O objetivo desta seção é apresentar uma análise dos dados obtidos no mapeamento
sistemático. Serão apresentados inicialmente dados relacionados à busca, seleção e extração
dos dados. Em seguida serão apresentados dados relacionados aos estudos selecionados, seus
metadados, grupos de pesquisa, país e outras características gerais.
Através do gráfico da Figura 4.3 é possível visualizar a participação das estratégias de
busca no quantitativo de estudos candidatos identificados. Fica nítido que a maior participação
na identificação dos estudos foi da estratégia manual (70%), entretanto ao final do processo
de seleção dos estudos este cenário se inverte e o maior número de estudos selecionados é
proveniente da estratégia automática (92%).

Figura 4.3 Participação das estratégias de busca no quantitativo de estudos candidatos identificados

A análise da busca automática apresentada na Figura 4.4 revela que o engenho de busca
ACM se sobressai no quantitativo de estudos candidatos identificados (490), entretanto ao final
da seleção dos estudos o IEEE apresentou a maior quantidade de estudos selecionados (29).
A análise da busca manual apresentada na Figura 4.5 revela que o jornal IEEE Transactions on Parallel and Distributed Systems retornou o maior quantitativo de estudos candidatos. Tal
fato se justifica pelo fato do jornal ser de publicação mensal e o período de busca ter compreendido o período de nove anos. Nas análises também foi possível constatar que ao final da segunda
etapa de seleção dos estudos a estratégia utilizada apresentou uma baixa precisão ao se comparar
a quantidade de estudos candidatos (1315) versus a de estudos selecionados (2).
Ainda sobre os engenhos de busca, podemos através da Figura 4.6 observar a participação
de cada deles no quantitativo dos estudos selecionados. Como já pode ser visto, a estratégia
manual identificou um grande número de estudos candidatos, entretanto foi o que teve o menor
desempenho em relação aos estudos selecionados, sendo a estratégia automática a mais efetiva.
As análises realizadas na primeira e segunda etapa do processo de seleção de estudos estão

58

CAPÍTULO 4. RESULTADOS

Figura 4.4 Distribuição do quantitativo dos estudos candidatos identificados pela busca automática em
relação às fontes de dados

Figura 4.5 Distribuição dos estudos candidatos resultantes da busca manual em relação aos meios de
publicação

resumidas na Tabela 4.5 e Tabela 4.6 respectivamente. As tabelas apresentam informações que
indicam por critérios e fonte de dados os quantitativos aplicados. Os critérios são apresentados
na forma de seus respectivos códigos e suas descrições podem ser vistas na Tabela 3.6.
Os 59 estudos selecionados estão apresentados no Apêndice A, bem como seus respectivos códigos iniciados com a sigla “EPS” (estudo primário selecionado). Já os estudos
excluídos na segunda etapa estão apresentados no Apêndice B, também com os respectivos
codigos iniciados com a sigla “EPE” (estudo primário excluído).
A distribuição temporal dos estudos selecionados pode ser observada no gráfico da Figura 4.7. Observa-se que o primeiro relato de experimento que avalia elasticidade na computação
em nuvem data de 2010. Também é possível perceber uma tendência de crescimento do quantitativo de publicações apesar da inquietude vivenciada em meados de 2010 em relação à segurança,
que influenciou negativamente as tendências em serviços sob-demanda e a elasticidade (DURAO

4.2. ANÁLISE GERAL

59

Figura 4.6 Participação das fontes de busca

Fontes

Est.

C1
ACM
490
1
IEEE
170
1
Scopus
163
0
Springer
251
1
ESE
75
0
CLOUD
454
0
CLOUDCOM 517
0
TPDS
1315 0
EASE
85
0
ESEM
91
0
Total
3.611 3

C2
9
0
6
22
0
0
2
32
0
0
71

C3
31
42
58
5
0
8
6
5
0
0
155

C4
12
0
0
0
0
1
0
2
0
15

C5
0
0
0
1
0
0
0
0
0
0
1

1ª Etapa
Excluídos
C6 C7 C8
11
4
0
4
6
0
4
4
0
14
0
0
0
0
0
1
1
0
3
0
0
0
0
0
0
0
0
0
0
0
37 15
0

C9
1
0
0
0
0
0
0
0
0
0
1

C10
37
0
3
73
73
6
9
1.199
85
89
1.574

Tabela 4.5: Resumo da busca e seleção de estudos na primeira etapa
et al., 2014).

Figura 4.7 Distribuição temporal dos estudos selecionados

C11
324
53
64
122
2
421
480
75
0
2
1.543

Incl.
60
64
24
13
0
16
17
2
0
0
196

60

CAPÍTULO 4. RESULTADOS

Fontes

Est.

ACM
60
IEEE
64
Scopus
24
Springer
13
ESE
0
CLOUD
16
CLOUDCOM 17
TPDS
2
EASE
0
ESEM
0
Total
196

C1
0
0
0
0
0
0
0
0
0
0
0

C2
0
0
0
0
0
0
0
0
0
0
0

C3
1
2
0
0
0
0
0
0
0
0
3

C4
1
5
0
0
0
1
0
0
0
7

2ª Etapa
Excluídos
C5 C6 C7 C8
0
8
22
0
0
5
16
0
0
4
5
5
0
1
3
0
0
0
0
0
0
3
4
0
0
4
4
0
0
0
0
0
0
0
0
0
0
0
0
0
0
25 54
5

C9
0
0
0
0
0
0
0
0
0
0
0

C10
4
0
0
3
0
2
1
0
0
0
10

C11
10
7
2
3
0
3
7
1
0
0
33

Selec.
14
29
8
3
0
3
1
1
0
0
59

Tabela 4.6: Resumo da busca e seleção de estudos na segunda etapa
Ao se analisar os meios de publicação dos estudos selecionados percebe-se que não existe
uma fonte específica para a publicação de experimentos em elasticidade. Através do Apêndice C
nota-se uma grande dispersão delas, sendo as cinco mais representativas: (i) International
Conference on Cloud Computing, (ii) IEEE Transaction on Parallel and Distributed Systems,
(iii) Journal of Computer Science and Technology, (iv) IEEE/ACM International Symposium on
Cluster, Cloud and Grid Computing e (v) International Conference on Distributed Computing
Systems. Tal constatação pode contribuir para a identificação de melhores fontes de busca na
realização de futuras pesquisas sobre experimentação em elasticidade na computação em nuvem.
No gráfico da Figura 4.8 é apresentada a distribuição dos estudos selecionados por fonte
de dado e ano. É possivel perceber que o IEEE Xplorer, ACM Digital Library e o Scopus são as
fontes de dados mais regulares na distribuição dos estudos por ano. Já a CLOUDCOM e o IEEE
Transaction on Parallel and Distributed Systems foram os menos consistentes.
A contagem dos países que mais publicaram foi feita da seguinte forma: para cada país
de cada grupo de pesquisa em uma publicação selecionada, o número de publicações no país era
aumentado. Por este motivo alguns artigos foram contados para mais de um país. A Figura 4.9
apresenta a quantidade de publicações por país. Dentre os 17 países os 5 que mais se destacaram
no relato de experimentos em elasticidade foram: (i) Estados Unidos, (ii) China, (iii) Alemanha,
(iv) Brasil) e (v) França.
Ao todo foram identificados 68 grupos de pesquisa distribuídos entre os 17 países. A
listagem dos grupos encontra-se no Apêndice D deste trabalho. As cinco principais instituições
que apresentam maior quantidade de publicações foram as acadêmicas: (i) Technische Universität Dresden, (ii) University of New South Wales, (iii) Carleton University, (iv) Universidade
Federal do Ceará e (v) Imperial College London. A Figura 4.10 apresenta a distribuição destas
instituições de acordo com a sua finalidade principal.
Na Figura 4.11 é possível perceber, em 2014, o surgimento de publicações que relatam

4.2. ANÁLISE GERAL

61

Figura 4.8 Distribuição do quantitativo de estudos selecionados por fonte de dado e ano.

Figura 4.9 Distribuição dos estudos selecionados por países

experimentos em elasticidade pela indústria. Dentre os relatos foram identificadas as publicações
das seguintes instituições da indústria: (i) Canonical Ltd - Reuno Unido (1), (ii) SAP AG Alemanha (1) e (iii) SIGMA Informatique - França (1). Também é possível perceber tendências
de crescimento em relação às publicações feitas pela academia e instituições de pesquisas. A
INRIA Centre Rennes - França foi a instituição de pesquisa com a maior quantidade de estudos
(2) e os país com a maior quantidade de instituições de pesquisa são os Estados Unidos (5) e

62

CAPÍTULO 4. RESULTADOS

Figura 4.10 Distribuição dos estudos selecionados por países

França (4). Já às instituições acadêmicas foram lideradas pelos Estados Unidos (13), Brasil (7)
e China (7).

Figura 4.11 Distribuição do quantitativo de estudos por tipo de instituição e ano

Em relação à distribuição dos estudos selecionados pelo modelo de serviço e ano, como
mostra a Figura 4.12, é possível observar que 78% dos estudos giram em torno da modalidade
IaaS e PaaS. Também constatamos que apenas 5% deles são relacionados apenas a SaaS.
Os 59 estudos primários selecionados foram conduzidos por 217 autores no total. A
listagem completa destes autores pode ser encontrada no Apêndice E. Na Tabela 4.7 é possível
observar os 12 autores que estão envolvidos em mais de um trabalho, em sua maioria eles são
da academia e representam os seguintes países: (i) Alemanha, (ii), Austrália, (iii) Brasil, (iv)
Canadá, (v) França e (vi) Portugal.

4.3. ANÁLISES DAS EVIDÊNCIAS

63

Figura 4.12 Distribuição dos estudos por modelo de serviço e ano.

Instituição
Fetzer, C.
Venugopal, S.
Ajila, S.A.
Da .Silva, T.L.C.
Machado, J.C.
Martin, A.
Matos, M.
Morin, C.
Nascimento, A.M.
Nikravesh, A.Y.
Oliveira, R.
Vilaça, R.

Publicações
3
3
2
2
2
2
2
2
2
2
2
2

Tipo
Academia
Academia
Academia
Academia
Academia
Academia
Academia
Pesquisa
Academia
Academia
Academia
Academia

País
Alemanha
Austrália
Canadá
Brasil
Brasil
Alemanha
Portugal
França
Canadá
Canadá
Portugal
Portugal

Tabela 4.7: Lista dos autores com mais de uma publicação

4.3

Análises das Evidências

Entre os estudos selecionados, foram extraídas e mapeadas as evidências relevantes para
responder às perguntas desta pesquisa. A seguir será apresentada uma sub-seção para sintetizar
as evidências de cada uma das perguntas de pesquisa. É importante ressaltar que todos os
estudos selecionados receberam um identificador exclusivo, conforme apresentado na Tabela A.1
presente no Apêndice A. Assim, ao longo desta seção, os estudos serão citados através destes
identificadores.
Vale ressaltar, que o intuito da aplicação do instrumento de pesquisa foi o de identificar se

64

CAPÍTULO 4. RESULTADOS

os autores relatam elementos da pesquisa que permitam analisar sua validade e potencial como:
motivação, objetivo, método, análise dos dados, resultados, conclusões e limitações. Assim,
como o objetivo não era de ranquear os estudos e sim obter um “grau de completude” em relação
ao guia de JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008), não foi aplicado na computação
do valor o conceito de pesos entre os “acertos” obtidos e sim o somatório dos mesmos. Maiores
detalhes sobre o instrumento de pesquisa, seus critérios, objetivos e contabilização de pontos
podem ser obtidos no Apêndice H.

4.3.1

SQ1 - O título permite que o leitor identifique que o estudo é um
relato de experimento?

O título do relato de um experimento deve ser informativo, uma vez que através dele
potenciais leitores são alertados sobre a existência de um artigo de interesse. O guia utilizado
recomenda que o título indique facilmente que o estudo trata de um experimento, incluindo
termos como “experimento”, “experimento controlado”, “quasi-experimento”, “replicação de
experimento”. Uma outra recomendação é que, caso o espaço disponível para o título permita,
também se inclua informações do tratamento e as variáveis dependentes do experimento.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.1 do Apêndice H. A pontuação máxima possível neste critério tem o valor 3, sendo
atribuída a pontuação máxima 1 para cada uma das perguntas respondidas completamente. O
desempenho dos estudos foi considerado ruim e nenhum deles alcançou a pontuação geral
máxima como pode ser visto na Figura 4.13. A maior nota obtida foi 2, alcançada pelos estudos
EPS54 e EPS1, o que representa apenas 3% do total de estudos. A segunda maior nota, 1, foi
alcançada por 24 estudos (41%) . Porém o que chamou bastante a atenção foi que 53% (33) dos
estudos não pontuou em nenhum dos itens avaliados nesta seção.

Figura 4.13 Pontuações dos estudos nas questões que avaliam o título.

Nenhum dos estudos apresenta em seu título termos que fazem referência a um experimento, nem mesmo os estudos que se dedicam exclusivamente a relatar o experimento. Já

4.3. ANÁLISES DAS EVIDÊNCIAS

65

em relação a apresentação do(s) tratamento(s) utilizado(s) no título, os estudos obtiveram as
seguintes pontuações: 68% (40) obtiveram nota 0, 2% (1) obteve nota 0.5 e 30% (18) obtiveram
nota 1. E sobre a apresentação da(s) variável(is) dependente(s) no título, as pontuações obtidam
foram as seguintes: 83% (49) obtiveram nota 0, 2% (1) obteve nota 0.5 e 15% (9) obtiveram
nota 1.

4.3.2

SQ2 - Informações importantes do resumo como motivação, objetivos, métodos, resultados, limitações e conclusões da pesquisa são
relatadas?

O resumo de um estudo é uma fonte importante de informações, sendo muitas vezes a
única parte de livre acesso aos potenciais leitores. Assim, os resumos devem reunir de maneira
sucinta e objetiva os principais pontos do estudo. O intuito desta pergunta de pesquisa é identificar
se os resumos do relato permitem identificar as principais questões relacionadas à pesquisa:
motivação, objetivo, método, resultados, limitações e conclusões.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.3 do Apêndice H e tentam identificar informações importantes sobre a fundamentação,
objetivo, método, resultados, limitações e conclusões da pesquisa. A maior pontuação possível
de ser alcançada é 13, sendo atribuído o valor máximo de 1 ponto para cada questão respondida
completamente. Após a avaliação dos estudos a pontuação geral foi distribuída conforme o
gráfico da Figura 4.14. O desempenho dos estudos foi considerado ruim. A maior pontuação
geral não foi alcançada. A pontuação máxima obtida foi 8, alcançada por 5 (8%) estudos e a
menor foi 3 em 15 (25%) estudos.

Figura 4.14 Pontuação geral obtida pelos estudos na avaliação do resumo.

O quantitativo de acertos em cada uma das perguntas pode ser visto no gráfico da
Figura 4.15. Em geral, 88% dos estudos apresentam a motivação para realização da pesquisa,
enquanto que 3% apresentam parcialmente e 8% não apresentam tal informação. O objetivo é

66

CAPÍTULO 4. RESULTADOS

claramente descrito em 98% dos casos. Em 100% dos casos o objeto estudado é apresentado.
Em 83% o foco da pesquisa é completamente apresentado, porém em apenas 47% dos casos a
perspectiva do estudo é apresentada. Já sobre o método verificou-se que em apenas 42% dos
estudos ele é citado, enquanto que nenhum deles cita os procedimentos de análise. Os resultados
das pesquisas são mencionados em apenas 61% dos resumos. Nenhum dos estudos citou
limitações da pesquisa e apenas 27% dos estudos abordou o impacto dos resultados alcançados
no estudo.

Figura 4.15 Pontuações dos estudos nas questões que avaliam o resumo.

Apesar de não existir na literatura da engenharia de software um formato padrão para
se construir resumos, recomenda-se fortemente a utilização do formato estruturado pois tal
abordagem ajuda a melhorar a clareza dos mesmos (KITCHENHAM, 2004; BRERETON et al.,
2007; JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008). Na análise realizada não identificamos
nenhum estudo que tenha apresentado seu resumo no formato estruturado.

4.3.3

SQ3 - A introdução do relato apresenta referências à declaração do
problema, objetivos e contexto da pesquisa?

O propósito da introdução é fornecer ao potencial leitor boas razões para a leitura do
restante da publicação. Nela a pesquisa precisa ser colocada em um contexto mais amplo para
que o problema de pesquisa possa ser introduzido. Não existe na literatura da engenharia de
software um padrão específico para a criação de introduções, entretanto o guia utilizado orienta
que a introdução apresente uma descrição sobre a declaração do problema, objetivos e contexto
da pesquisa.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.4 do Apêndice H. A mior pontuação possível de ser alcançada é 3. A computação geral
das notas são apresentadas no gráfico da Figura 4.16. Foi possível observar que, de maneira
geral, 98% dos estudos apresentam todas as informações esperadas na introdução.

4.3. ANÁLISES DAS EVIDÊNCIAS

67

Figura 4.16 Pontuação geral obtida pelos estudos na introdução.

Apenas 1 estudo não apresentou a formulação do problema. Apenas 1 estudo apresentou
a pergunta de pesquisa de maneira parcial. Apenas 1 estudo não mencionou tal informação.

4.3.4

SQ4 - A fundamentação informa sobre a tecnologia em investigação, às possíveis opções alternativas à ela, pesquisas relacionadas e
a relevância para a prática?

O propósito da fundamentação é fornecer ao leitor uma compreensão ampla do cenário
da pesquisa reportada. Segundo JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) tal seção
deve apresentar: (i) uma descrição da tecnologia em investigação, (ii) possíveis abordagens
alternativas à ela, (iii) descrição dos estudos relacionados que investigaram a mesma tecnologia
e (iv) os níves de relevância dela para a prática.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.5 do Apêndice H. A pontuação máxima que pode ser obtida nesta seção é 4, sendo a
pontuação máxima de 1 ponto atribuído para cada pergunta. A totalização geral das notas pode
ser vista no gráfico da Figura 4.17, onde foi possíver constatar que em geral 88% dos estudos
apresentam todas as informações esperadas na seção.
A distribuição dos acertos por perguntas pode ser observado no gráfico da Figura 4.18.
Observa-se que as descrições das tecnologias e soluções alternativas são descritas quase que pela
totalidade dos estudos. Os trabalhos relacionados são mencionados por 92% dos estudos. O
impacto da pesquisa é citado por 93% dos estudos.

4.3.5

SQ5 - O relato apresenta informações sobre o planejamento da pesquisa?

O relato de um experimento deve apresentar informações relacionadas à realização e
análise dos resultados da pesquisa. O objetivo destas informações é facilitar a interpretação e

68

CAPÍTULO 4. RESULTADOS

Figura 4.17 Pontuação geral obtida pelos estudos na fundamentacao.

Figura 4.18 Pontuações dos estudos nas questões que avaliam a fundamentação.

replicação do experimento, funcionando como uma receita para o experimento(SINGER, 1999).
Elas também permitem ao leitor analisar criticamente a validade do estudo. Tais informações
são valiosas para estudos de revisão sistemática da literatura ou meta-análises(KITCHENHAM,
2004; KITCHENHAM; PFLEEGER, 2002).
O nível de detalhe das informações dependem principalmente de restrições de tamanho
impostas pelo tipo da publicação. Entretanto, no guia utilizado, recomenda-se que sejam apresentadas informações que descrevam o objetivo, participantes, material experimental, atividades,
hipóteses, parâmetros e variáveis, desenho do experimento, procedimentos para condução e de
análise. No caso dos estudos selecionados não conseguimos identificar nenhum experimento que
envolvessem participantes humanos, por este motivo nenhuma pergunta relacionada foi incluída
no instrumento de coleta.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.6 do Apêndice H. A pontuação máxima a ser alcançada neste quesito é 13. É possível
observar uma certa variação nas notas gerais obtidas pelos estudos através do gráfico da Figura 4.19. Como pode ser observado a pontuação geral máxima atingida foi de 11 pontos pelo

4.3. ANÁLISES DAS EVIDÊNCIAS

69

estudo EPS36, já a mais baixa foi de 1 ponto obtida pelo estudo EPS34.

Figura 4.19 Pontuação geral obtida pelos estudos no planejamento.

Ao examinar individualmente as pontuações obtidas, no gráfico da Figura 4.20, é possível
constatar que dentre as perguntas, o menor desempenho obtido foi na pergunta relativa às
variáveis dependentes do experimento. Os objetivos do experimento foram citados por 100%
dos estudos. As unidades experimentais foram claramente citadas por 81% (48) dos estudos,
parcialmente por 2% (1) e omitidas por 17% (10) deles. Os materiais experimentais como
equipamentos, instrumentos de coleta, entre outros, foram explicitamente mencionados por 80%
(47) dos estudos, parcialmente por 2% (1) e omitido por 19% (11) dos estudos. As atividades
foram explicitamente mencionados por 85% (50) dos estudos, parcialmente por 3% (2) e
omitido por 12% (7) dos estudos. 17% dos relatos (10) não mencionam uma hipótese, 20% (12)
apresentam parcialmente e 63% explicitam uma hipótese. Em 98% (58) dos estudos as variáveis
dependentes não são citadas, enquanto que em 90% (53) dos casos as variáveis independentes
são mencionadas claramente. As métricas utilizadas nos experimentos são claramente descritas
em 88% (52) dos estudos.
Quanto ao desenho experimental 75% (44) dos estudos reportaram claramente a informação, enquanto que em 8% (5) foi parcialmente e em 17% (10) a mesma foi omitida. No
caso das informações a respeito dos instrumentos, materiais e ferramentas apenas 22% (13)
dos relatos apresentam claramente estas informações, 8% (5) apresentam parcialmente e em
69% (41) estão ausentes. Os procedimentos para execução do experimento foram reportados
claramente em 66% (39) dos experimentos, em 7% (4) parcialmente e em 27% (16) não estão
presentes. A coleta dos dados é explicitamente detalhada em 61% (36) dos casos, enquanto que
em 2% (1) é parcialmente e em 37% (22) é inexistente. No que se refere ao teste da hipótese
em apenas 24% (14) dos casos ele é explicitamente mencionado, enquanto que em 2% (1) é
parcialmente e em 75% (44) ele não é explicitado.

70

CAPÍTULO 4. RESULTADOS

Figura 4.20 Pontuações dos estudos nas questões que avaliam o planejamento.

4.3.6

SQ6 - O relato detalha a análise dos dados da pesquisa?

JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) sugere que em relação às análises o
relato deve apresentar três tipos de informações: estatística descritiva, preparação do conjunto
de dados e teste da hipótese investigada. Também é recomendada a disponibilização dos dados
brutos da pesquisa, de forma a facilitar pesquisas futuras como meta-análises(KITCHENHAM;
PFLEEGER, 2002). O guia utilizado também sugere que qualquer tipo de preparação de dados
necessária seja relatada. Em relação ao teste de hipótese recomenda-se que seja explicitado como
o dado foi avaliado (teste estatístico) e que o modelo de análise escolhido seja descrito.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.7 do Apêndice H. Em relação à pontuação o maior valor possível é de 5 pontos, sendo
atribuído no máximo o valor de 1 ponto para cada questão. O resumo da avaliação das perguntas
pode ser visto no gráfico da Figura 4.21. A maior pontuação foi 3 alcançada pelo estudo EPS18,
enquanto que a menor pontuação possível foram obtidas por 26 estudos.

Figura 4.21 Pontuação geral obtida pelos estudos na análise.

Na análise de cada pergunta em específico, as pontuações alcançadas estão apresentadas

4.3. ANÁLISES DAS EVIDÊNCIAS

71

no gráfico da Figura 4.22. De um modo geral o dempenho dos estudos foram supreendentemente
baixos em relação às perguntas relacionadas aos dados brutos, validação do modelo de análise,
preparação e avaliação dos dados. Em todos os casos estas informações foram omitidas em pelo
menos 93% dos estudos. Em 54% (32) dos estudos, os dados não são apresentados através de
estatística descritiva.

Figura 4.22 Pontuações dos estudos nas questões que avaliam a análise.

4.3.7

SQ7 - Os resultados, suas implicações e ameaças à validade são relatados?

Segundo o guia utilizado em um relato de experimento os resultados devem ser apresentados através de pelo menos três elementos: avaliação dos resultados e implicações, ameaças à
validade e inferências. O grande própósito quando se discute os resultados deve ser apresentar os
achados da pesquisa e se as hipóteses investigadas podem ser confirmadas ou refutadas.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.8 do Apêndice H. A pontuação máxima a ser alcançada é de 3 pontos. As distribuições
das pontuações gerais podem ser observadas no gráfico da Figura 4.23. A pontuação máxima a
ser obtida é de 8 pontos sendo 1 o valor máximo a ser atribuído a cada questão. Ao se analisar as
notas gerais dos estudos identificamos que 4 foi a maior nota alcançada pelo estudo EPS26 e 0
alcançada pelo estudo EPS17.
O gráfico da Figura 4.24 apresenta uma visão da potuação obtida pelos estudos em
cada uma das questões. Em 88% (52) dos estudos os resultados da pesquisa são apresentados
claramente, em 8% (5) parcialmente e em 3% (2) a informação é omitida. Em apenas 12% (7)
dos relatos claramente relacionados à pesquisas anteriores, em 88% (52) nenhuma informação
é apresentada. As ameaças à validade são relatadas nitidamente em apenas 5% (3) estudos,
parcialmente em 2% (1) e em 93% (55) a informação não é apresentada. Em 44% (26) estudos
a generalização da pesquisa é citada claramente e em 56% (33) ela não é relatada. Apenas 12%

72

CAPÍTULO 4. RESULTADOS

Figura 4.23 Pontuação geral obtida pelos estudos na discussão.

(7) dos estudos as lições aprendidas são citadas claramente, em 3% (2) é parcialmente e em 85%
(50) a mesma não foi apresentada.

Figura 4.24 Pontuações dos estudos nas questões que avaliam a discussão.

4.3.8

SQ8 - As conclusões do estudo apresentam um resumo conciso da
pesquisa, seus impactos e trabalhos futuros?

As conclusões do relato devem ser baseadas nos resultados e devem discutir sobre os
seguintes topicos: resumo, impacto da pesquisa e trabalhos futuros (JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008). Também é sugerido, quando possível, que informações sobre o
impacto em custo, tempo e qualidade sejam discutidas.
As perguntas criadas para responder esta questão de pesquisa estão presentes na Seção H.0.9 do Apêndice H. A maior pontuação geral que pode ser alcançada é de 3 pontos,
possíveis de atribuição à cada questão. As pontuações gerais alcançadas pelos estudos é apresentada no gráfico da Figura 4.25.

4.4. DISCUSSÃO DOS RESULTADOS

73

Figura 4.25 Pontuação geral obtida pelos estudos nas conclusões.

A análise da pontuação individual das questões pode ser vista no gráfico da Figura 4.26.
Em geral os estudos apresentam claramente um resumo conciso da pesquisa e seus resultados.
Os impactos da pesquisa são claramente apresentados por 59% (35) dos estudos, parcialmente
por 2% (1) e não relatados por 39% (23). Os trabalhos futuros são indicados explicitamente por
69% (41) dos estudos e não relatados por 31% (18).

Figura 4.26 Pontuações dos estudos nas questões que avaliam a discussão.

4.4

Discussão dos Resultados

Após a caracterização dos relatos dos 59 experimentos selecionados, ficou bastante
evidente a dificuldade relatada por alguns autores da comunidade em se encontrar, nos relatos,
informações importantes para se interpretar, analisar a validade e o potencial de impacto dos
estudos (DURAO et al., 2014; LI et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011;
SILVA; ROSE; CALINESCU, 2013a). Em relação ao índice de completude o maior grau foi
6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Também

74

CAPÍTULO 4. RESULTADOS

foi realizada uma breve análise qualitativa que revela que, ainda que reportadas, muitas das
informações apresentadas pelos relatos são superficiais e dificultam a interpretação, validação,
generalização e replicação dos resultados dos estudos.
Em geral, as informações mais negligenciadas pelos autores são relativas ao planejamento da pesquisa, coleta dos dados, procedimentos de execução, instrumentação, análise dos
dados, relação dos resultados com pesquisas anteriores, ameaças à validade e generalização dos
resultados. Em geral, não foram encontrados problemas relacionados à introdução dos relatos já
que todos apresentam às informações esperadas e sem problemas relacionados à compreensão.
O mesmo caso acontece quando analisamos às informações referentes à fundamentação da
pesquisa.
A forma como os autores descrevem o título dos estudos não permite aos potenciais
leitores a fácil identificação do experimento. Em 53% dos casos nenhum termo que permita
a fácil identificação do experimento, os tratamentos utilizados e as variáveis dependentes foi
informado. Em geral, a simples inclusão do termo “experimento” aumentaria a probabilidade e a
precisão de se identificar tais estudos com mais facilidade.
Já na apresentação do resumo, nenhum dos estudos trouxe informações sobre o desenho
experimental, procedimentos de análise e coleta dos dados. Informações sobre os principais
achados da pesquisa, limitações, análise dos resultados e impacto da pesquisa são mencionados
em poucos estudos e quando citados a informação é superficial. Tornar os resumos mais
claros, objetivos e consistentes é muito importante, uma vez ele é a única parte de livre acesso
aos potenciais leitores do estudo. Apesar das fortes recomendações na utilização do formato
estruturado, não conseguimos identificar a utilização dele em nenhum dos estudos avaliados.
No que se refere às informações de planejamento da pesquisa o cenário chamou bastante
a atenção, tanto pela quantidade de informaçoes relevantes omitidas quanto pela superficialidade
das informações apresentadas. Em muitas situações em que dados esperados são apresentados
as informações deixam a desejar do ponto de vista qualitativo da informação. O relato dos
procedimentos de obtenção dos dados é insatisfatório, pois não esclarece de onde e nem como os
dados utilizados são coletados. O mesmo acontece com os dados referentes aos procedimentos
de execução, que mesmo sendo apresentados pela grande maioria dos estudos o conteúdo da
informação é incompleto e qualitativamente insuficiente. Outro ponto que chamou bastante a
atenção é que os procedimentos relativos aos instrumentos, materiais e ferramentas utilizados nos
experimentos não recebem a devida importância nos relatos. As hipóteses, quando mencionadas,
não apresentavam nenhum grau de formalismo em sua representação e forma de avaliação.
Diante destas circunstâncias a interpretação, entendimento e análise das informações por parte
do leitor é perigosamente comprometida. Em todos os casos a replicação dos experimentos seria
pouco factível considerado o nível das informações apresentadas. Também percebemos que
nenhum dos estudos mencionou utilizar algum guia ou mecanismo de suporte para a realização
ou planejamento dos experimentos.
Outro achado preocupante diz respeito à análise dos dados dos experimentos. Menos

4.4. DISCUSSÃO DOS RESULTADOS

75

da metade dos estudos apresentam a análise dos dados do experimento através de estatística
descritiva. Em apenas dois dos relatos os dados brutos da pesquisa foram disponibilizados. Na
maior parte dos estudos foi mencionado qualquer referência ao tratamento ou preparação dos
dados necessários para a análise dos dados. O mesmo acontece em relação às hipóteses, que
quando existem no estudo os mesmos não mostram como a sua avaliação foi realizada. Outra
constatação relevante diz respeito à não utilização de métodos estatísticos na análise dos dados.
No quesito apresentação dos resultados os estudos selecionados apresentaram um baixo
desempenho. A maior parte deles não relaciona seus resultados à pesquisas anteriores. As ameaças à validade também não foram direcionadas na maior parte dos estudos. As generalizações
dos resultados não são citadas pela maioria, e nos casos em que estas são feitas não apresentam o
grau de confiança necessário, uma vez que muitos dados e informações relevantes são omitidas.
Também foi possível constatar que as lições aprendidas durante a execução do experimento são
pouco reportadas.
Também foi possível constatar que são poucos os estudos que se dedicam unicamente
a relatar os experimentos. Em geral, os autores apresentam suas técnicas, algoritmos e/ou
abordagens e incluem no relato apenas uma seção destinada ao experimento em si. Tal fato
tem impacto direto na disposição e organização das informações apresentadas no relato e,
diferentemente das orientações apresentadas no guia de JEDLITSCHKA; CIOLKOWSKI;
PFAHL (2008), decidiu-se então procurar pelas informações estudadas em todas as seções
apresentadas pelo estudo. Outro achado que chamou a atenção foi que em nenhum dos estudos
analisados, foi feita menção a qualquer guia para relatar ou até mesmo conduzir e planejar os
experimentos.
Os resultados deste estudo sistemático apresentam informações iniciais sobre o estado
da prática do relato de experimentos em elasticidade na computação em nuvem. Esperamos
que através dos indícios encontrados o resultado desta pesquisa possa trazer à tona o debate
e iniciativas que permitam que os resultados dos estudos empíricos sejam melhor relatados.
A mobilização em torno de tal aperfeiçoamento vai ajudar, não somente à comunidade da
computação em nuvem, a melhor entender os resultados, limitações e permita um melhor
aproveitamento dos estudos empíricos realizados.

77

5
Considerações Finais
Este capítulo apresenta as considerações finais do trabalho. Serão discutidas as ameaças
à validade do estudo, recomendações para trabalhos futuros e as conclusões obtidas com a
pesquisa.

5.1

Ameaças à validade

Nesta seção são apresentadas possíveis limitações e ameaças à validade do estudo
juntamente com as respectivas ações de mitigação adotadas.
De acordo com SJOBERG; DYBA; JORGENSEN (2007) e KITCHENHAM (2010) as
principais ameaças à validade deste estudo são: (1) viés de seleção de publicações, (2) pouca
acurácia na extração dos dados, (3) erros de classificação, (4) basear-se em apenas um engenho
de busca, (5) conduzir o processo de seleção e exclusão por apenas uma pessoa. A seguir serão
explanadas as medidas tomadas para mitigar cada uma destas ameaças.
Para evitar o viés na seleção das publicações (1) considerou-se as principais conferências
tanto da engenharia de software empírica como da computação em nuvem, na mesma linha
também foram incluídos dois periódicos. A escolha de tais fontes de publicações foi auxiliada
por especialistas da CN e da ESE. Vale ressaltar que a busca automática foi incluída com o
intuito de identificar em quais venues estão sendo utilizadas na publicação dos experimentos em
elasticidade. De fato é possível perceber que tal estratégia foi crucial para o desenvolvimento
desta pesquisa através da pulverização de venues presentes identificadas através dos estudos
selecionados (vide Apêndice C).
Para conter o problema relacionado à extração dos dados (2) foi criado um formulário
estruturado, onde os pesquisadores tinham acesso a exemplos e orientações sobre os procedimentos de coleta das informações relevantes. Nesta mesma direção, considerando o número
elevado de estudos selecionados, o processo de computação das pontuações obtidas foi executado
por um sistema criado exclusivamente para esta finalidade, uma vez que atividades repetitivas
aumentam a possibilidade de falhas no processo. As pontuações também foram validadas por
dois pesquisadores de forma a garantir que não houvessem erros inseridos pelo programa criado.

78

CAPÍTULO 5. CONSIDERAÇÕES FINAIS

A ameaça relacionada aos erros de classificação (3) foi reduzida com a utilização de
classificação bem definida e já existente na literatura da computação (2.1.2). Através de sua
utilização os estudos foram separados de acordo com o modelo de serviço abordado. Outra
estratégia adotada foi a participação de outro pesquisador experiente para validar o resultado da
classificação aplicada.
Quanto a possibilidade de problema apontada pelo item 4 foram utilizados quatro engenhos de busca automática: IEEE Xplore, Scopus, Science Direct e Springer Link. As estratégias
de busca manuais foram acrescentadas ao estudo com o intuito de identificar estudos que não
fossem identificados através das strings de busca criadas.
O viés apontado pelo item 5 foi contido através da participação de outros pesquisadores
experientes nas áreas da engenharia de software experimental, computação em nuvem e engenharia de software baseada em evidências. Para aumentar a confiabilidade no resultado dos estudos
selecionados e garantir que o resultado produzido não foi gerado ao mero acaso, foi realizado
teste Kappa de concordância entre as duplas de revisores participantes.

5.2

Trabalhos Futuros

A partir da realização desta pesquisa, pode-se levantar algumas oportunidades de trabalhos futuros, bem como direcionamentos para novas pesquisas, que poderão contribuir para a
melhoria de pesquisas no contexto da computação em nuvem.       

Desenvolver novos recursos (framework, guia, processo, etc.) voltados a apoiar
o relato de experimentos na computação em nuvem, de acordo com as lacunas
observadas ao longo deste trabalho.
Desenvolver um framework, ou modelo, ou guia, ou processo que apoie a avaliação
da completude dos relatos de experimentos na computação em nuvem.
Expandir esta pesquisa visando avaliar os relatos de mais tipos de métodos empíricos
como estudos de caso, suveys, entre outros.
Expandir esta pesquisa visando avaliar outras áreas da computação em nuvem que
não somente a elasticidade.
Realizar pesquisas destinadas a identificar razões que ajudem a entender os altos
índices apresentados em relação à não utilização de mecanismos existentes capazes
de apoiar a realização e relato de experimentos.
Avaliar os resultados encontrados nesta dissertação através da replicação deste estudo.
Condução de mais um mapeamento sistemático para identificar como as demais áreas
do conhecimento científico caracterizam e fazem uso de informações apresentadas
nos relatos de estudos para tomar decisões baseadas em evidências empíricas.

5.3. CONCLUSÕES

5.3

79

Conclusões

Este trabalho realizou um mapeamento sistemático da literatura para caracterizar a
completude dos relatos de experimentos que avaliam elasticidade na computação em nuvem.
Constatamos que em geral os autores omitem informações relacionadas ao planejamento da
pesquisa, coleta dos dados, procedimentos de execução, instrumentação, análise dos dados,
relação dos resultados com pesquisas anteriores, ameaças à validade e generalização dos resultados. Utilizando oito perguntas de pesquisa e um instrumento de avaliação, fomos capazes de
identificar que o maior grau de completude alcançado pelos estudos foi 6.67, numa escala de 0 a
10, sendo tal completude considerada baixa em valores quantitativos.
Podemos observar que, em geral, a forma como os títulos dos estudos são construídos não
permitem identificar com facilidade se o estudo se trata de um relato de experimento. Em nenhum
dos estudos o resumo foi apresentado no formato estruturado e em geral omitem informações
importantes. Em geral as informações de introdução e fundamentação da pesquisa são bem
reportas. O mesmo não pode ser dito em relação ao planejamento e análise estatística dos estudos,
pois estes dados são muito omitidos pelos autores. Também identificamos que os estudos não
constumam relatar lições aprendidas durante o processo de experimentação.
Também foi realizada uma análise qualitativa preliminar que revela que, ainda que
reportadas, muitas das informações apresentadas pelos relatos são superficiais dificultando a
interpretação, validação, generalização e replicação dos resultados dos estudos. Outro achado
curioso é que em nenhum dos estudos selecionados foi feita menção à utilização de quaisquer
guias ou mecanismos de suporte para conduzir, planejar ou reportar tais experimentos.
Os resultados deste estudo sistemático apresentam informações iniciais importantes
sobre o estado da prática do relato de experimentos na computação em nuvem. Esperamos
que através dos indícios encontrados o resultado desta pesquisa possa trazer à tona o debate
e iniciativas que permitam que os resultados dos estudos empíricos sejam melhor relatados.
É imprescindível a necessidade de melhoria destes relatos e tal aperfeiçoamento vai ajudar à
comunidade da computação em nuvem a melhor entender e aproveitar os resultados dos estudos
empíricos realizados.

81

Referências
ALI-ELDIN, A.; TORDSSON, J.; ELMROTH, E. An adaptive hybrid elasticity controller for
cloud infrastructures. In: NETWORK OPERATIONS AND MANAGEMENT SYMPOSIUM
(NOMS), 2012 IEEE. Anais. . . [S.l.: s.n.], 2012. p.204–212.
ALTMAN, D. G. et al. The revised CONSORT statement for reporting randomized trials:
explanation and elaboration. Annals of internal medicine, [S.l.], v.134, n.8, p.663–694, 2001.
ANDRADE, M. M. d. Introdução à metodologia do trabalho científico. [S.l.]: São Paulo:
Atlas, 2001.
ARKSEY, H.; O’MALLEY, L. Scoping studies: towards a methodological framework.
International journal of social research methodology, [S.l.], v.8, n.1, p.19–32, 2005.
ASSOCIATION, A. P. et al. Publication manual of the American psychological association.
[S.l.]: American Psychological Association Washington, DC, 2001.
BASILI, V. R.; SELBY, R. W.; HUTCHENS, D. H. Experimentation in software engineering.
Software Engineering, IEEE Transactions on, [S.l.], n.7, p.733–743, 1986.
BRERETON, P. et al. Lessons from applying the systematic literature review process within the
software engineering domain. Journal of Systems and Software, [S.l.], v.80, n.4, p.571–583,
Apr. 2007.
BUDGEN, D. et al. Using mapping studies in software engineering. Proceedings of PPIG,
[S.l.], v.2, 2008.
BUDGEN, D.; ZHANG, C. Preliminary reporting guidelines for experience papers.
International Conference on Evaluation and Assessment in Software Engineering, [S.l.],
p.1–10, 2009.
BUYYA, R. et al. Cloud computing and emerging IT platforms: vision, hype, and reality for
delivering computing as the 5th utility. Future Generation computer systems, [S.l.], v.25, n.6,
p.599–616, 2009.
CALHEIROS, R. N. et al. The Aneka platform and QoS-driven resource provisioning for elastic
applications on hybrid Clouds. Future Generation Computer Systems, [S.l.], v.28, n.6,
p.861–870, 2012.
CAMPBELL-KELLY, M. Historical reflections The rise, fall, and resurrection of software as a
service. Communications of the ACM, [S.l.], v.52, n.5, p.28–30, 2009.
CARVER, J. Towards reporting guidelines for experimental replications: a proposal. 1st
International Workshop on Replication in Empirical . . . , [S.l.], p.2–5, 2010.
COOPER, H. M. Organizing knowledge syntheses: a taxonomy of literature reviews.
Knowledge in Society, [S.l.], v.1, n.1, p.104–126, 1988.
CORBIN, J.; STRAUSS, A. Basics of qualitative research: techniques and procedures for
developing grounded theory. [S.l.]: Sage publications, 2014.

82

REFERÊNCIAS

COUTINHO, E. F. et al. Elasticity in cloud computing: a survey. Annals of
Telecommunications - Annales Des Télécommunications, [S.l.], Nov. 2014.
CRESWELL, J. W. Research design: qualitative, quantitative, and mixed methods approaches.
[S.l.]: Sage publications, 2013.
DICKERSIN, K.; SCHERER, R.; LEFEBVRE, C. Identifying relevant studies for systematic
reviews. BMJ: British Medical Journal, [S.l.], v.309, n.6964, p.1286, 1994.
DIESTE, O.; GRIMáN, A.; JURISTO, N. Developing search strategies for detecting relevant
experiments. Empirical Software Engineering, [S.l.], v.14, n.5, p.513–539, Nov. 2008.
DURAO, F. et al. A systematic review on cloud computing. The Journal of Supercomputing,
[S.l.], Jan. 2014.
DYBÅ, T.; DINGSØYR, T. Empirical studies of agile software development: a systematic
review. Information and software technology, [S.l.], v.50, n.9, p.833–859, 2008.
DYBÅ, T.; KAMPENES, V. B.; SJØ BERG, D. I. A systematic review of statistical power in
software engineering experiments. Information and Software Technology, [S.l.], v.48, n.8,
p.745–755, Aug. 2006.
EASTERBROOK, S. et al. Selecting empirical methods for software engineering research. In:
Guide to advanced empirical software engineering. [S.l.]: Springer, 2008. p.285–311.
EDWARDS, P. et al. Identification of randomized controlled trials in systematic reviews:
accuracy and reliability of screening records. Statistics in medicine, [S.l.], v.21, n.11,
p.1635–1640, 2002.
FEATHER, J. Architects of the Information Society. Thirty-five Years of the Laboratory for
Computer Science at MIT. Publishing Research Quarterly, [S.l.], v.16, n.2, p.95, 2000.
FUKS, H. Sistemas colaborativos. [S.l.]: Elsevier Brasil, 2011.
GALANTE, G.; BONA, L. C. E. D. A Survey on Cloud Computing Elasticity. 2012 IEEE Fifth
International Conference on Utility and Cloud Computing, [S.l.], n.1, p.263–270,
Nov. 2012.
GUERRERO, P.; SACHS, K.; PETROV, I. From Active Data Management to Event-Based
Systems and More. [S.l.]: Springer, 2010.
HARRIS, P. Designing and reporting experiments in psychology. [S.l.]: McGraw-Hill
Education (UK), 2008.
HERBST, N. R.; KOUNEV, S.; REUSSNER, R. Elasticity in Cloud Computing : what it is , and
what it is not. Presented as part of the 10th International Conference on Autonomic
Computing, [S.l.], 2013.
HUANG, Q. et al. Evaluating open-source cloud computing solutions for geosciences.
Computers & Geosciences, [S.l.], v.59, p.41–52, 2013.
ISLAM, S. et al. How a consumer can measure elasticity for cloud platforms. In: ACM/SPEC
INTERNATIONAL CONFERENCE ON PERFORMANCE ENGINEERING, 3. Proceedings. . .
[S.l.: s.n.], 2012. p.85–96.

REFERÊNCIAS

83

JAMSHIDI, P.; AHMAD, A.; PAHL, C. Cloud Migration Research: a systematic review. IEEE
Transactions on Cloud Computing, [S.l.], v.1, n.2, p.142–157, 2013.
JEDLITSCHKA, A.; CIOLKOWSKI, M.; PFAHL, D. Reporting experiments in software
engineering. In: Guide to advanced empirical software engineering. [S.l.]: Springer, 2008.
p.201–228.
JEDLITSCHKA, A.; PFAHL, D. Reporting guidelines for controlled experiments in software
engineering. In: EMPIRICAL SOFTWARE ENGINEERING, 2005. 2005 INTERNATIONAL
SYMPOSIUM ON. Anais. . . [S.l.: s.n.], 2005. p.10–pp.
JURISTO, N.; MORENO, A. Basics of Software Engineering Experimentation Kluwer
Academic. [S.l.]: Boston, 2001.
JURISTO, N.; MORENO, A. M. Basics of software engineering experimentation. [S.l.]:
Springer Science & Business Media, 2013.
KAMPENES, V. B. et al. A systematic review of quasi-experiments in software engineering.
Information and Software Technology, [S.l.], v.51, n.1, p.71–82, Jan. 2009.
KARN, J.; COWLING, A. Using ethnographic methods to carry out human factors research in
software engineering. Behavior research methods, [S.l.], v.38, n.3, p.495–503, 2006.
KEELE, S. Guidelines for performing systematic literature reviews in software engineering. In:
Technical report, Ver. 2.3 EBSE Technical Report. EBSE. [S.l.: s.n.], 2007.
KITCHENHAM, B. A.; PFLEEGER, S. L. Personal opinion surveys. In: Guide to Advanced
Empirical Software Engineering. [S.l.]: Springer, 2008. p.63–92.
KITCHENHAM, B. Evidence-based software engineering. Software Engineering, . . . , [S.l.],
2004.
KITCHENHAM, B. What’s up with software metrics?–A preliminary mapping study. Journal
of systems and software, [S.l.], v.83, n.1, p.37–51, 2010.
KITCHENHAM, B.; CHARTERS, S. Guidelines for performing systematic literature reviews in
software engineering. In: . [S.l.: s.n.], 2007.
KITCHENHAM, B. et al. Evaluating guidelines for empirical software engineering studies. In:
ACM/IEEE INTERNATIONAL SYMPOSIUM ON EMPIRICAL SOFTWARE
ENGINEERING, 2006. Proceedings. . . [S.l.: s.n.], 2006. p.38–47.
KITCHENHAM, B.; PFLEEGER, S. Preliminary guidelines for empirical research in software
engineering. . . . Engineering, IEEE . . . , [S.l.], v.28, n.8, p.721–734, 2002.
LAU, F. Toward a framework for action research in information systems studies. Information
Technology & People, [S.l.], v.12, n.2, p.148–176, 1999.
LI, Q. et al. Adaptive management of virtualized resources in cloud computing using feedback
control. In: INFORMATION SCIENCE AND ENGINEERING (ICISE), 2009 1ST
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2009. p.99–102.
LI, Z. et al. On evaluating commercial Cloud services: a systematic review. Journal of Systems
and Software, [S.l.], 2013.

84

REFERÊNCIAS

LOTT, C. M.; ROMBACH, H. D. Repeatable software engineering experiments for comparing
defect-detection techniques. Empirical Software Engineering, [S.l.], v.1, n.3, p.241–277,
1996.
MACDONELL, S. G.; SHEPPERD, M. J. Comparing Local and Global Software Effort
Estimation Models–Reflections on a Systematic Review. In: EMPIRICAL SOFTWARE
ENGINEERING AND MEASUREMENT, 2007. ESEM 2007. FIRST INTERNATIONAL
SYMPOSIUM ON. Anais. . . [S.l.: s.n.], 2007. p.401–409.
MARCONI, M. d. A.; LAKATOS, E. M. Metodologia científica. [S.l.]: Atlas São Paulo, 2004.
MARSHALL, C.; BRERETON, P.; KITCHENHAM, B. Tools to support systematic reviews in
software engineering: a feature analysis. In: INTERNATIONAL CONFERENCE ON
EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 18. Proceedings. . .
[S.l.: s.n.], 2014. p.13.
MARSHALL, P.; KEAHEY, K.; FREEMAN, T. Elastic site: using clouds to elastically extend
site resources. In: IEEE/ACM INTERNATIONAL CONFERENCE ON CLUSTER, CLOUD
AND GRID COMPUTING, 2010. Proceedings. . . [S.l.: s.n.], 2010. p.43–52.
MARTENS, B.; TEUTEBERG, F. Risk and compliance management for cloud computing
services: designing a reference model bt - 17th americas conference on information systems
2011, amcis 2011, august 4, 2011 - august 8, 2011. 17th Americas Conference on
Information Systems 2011, AMCIS 2011, University of Osnabrueck, Germany, v.3,
p.2041–2050, 2011.
MELL, P.; GRANCE, T. The NIST definition of cloud computing. National Institute of
Standards and Technology, [S.l.], v.53, n.6, p.50, 2009.
MOHER, D.; SCHULZ, K. F.; ALTMAN, D. G. The CONSORT statement: revised
recommendations for improving the quality of reports of parallel group randomized trials. BMC
Medical Research Methodology, [S.l.], v.1, n.1, p.2, 2001.
NASIR, U.; NIAZI, M. Cloud computing adoption assessment model (CAAM). In:
INTERNATIONAL CONFERENCE ON PRODUCT FOCUSED SOFTWARE
DEVELOPMENT AND PROCESS IMPROVEMENT, 12. Proceedings. . . [S.l.: s.n.], 2011.
p.34–37.
PARKHILL, D. The Challenge of the Computer Utility. [S.l.]: Addison-Wesley Publishing
Company, 1966. n.p. 246. (The Challenge of the Computer Utility).
PETERSEN, K. et al. Systematic mapping studies in software engineering. EASE’08
Proceedings of the 12th international conference on Evaluation and Assessment in
Software Engineering, [S.l.], p.68–77, 2008.
PETERSEN, K. et al. Systematic mapping studies in software engineering. In:
INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN
SOFTWARE ENGINEERING, 12. Anais. . . [S.l.: s.n.], 2008. v.17, n.1.
PETTICREW, M.; ROBERTS, H. Systematic reviews in the social sciences: a practical guide.
[S.l.]: John Wiley & Sons, 2008.

REFERÊNCIAS

85

PICKARD, L. M.; KITCHENHAM, B. A.; JONES, P. W. Combining empirical results in
software engineering. Information and software technology, [S.l.], v.40, n.14, p.811–821,
1998.
ROBINSON, H.; SEGAL, J.; SHARP, H. Ethnographically-informed empirical studies of
software practice. Information and Software Technology, [S.l.], v.49, n.6, p.540–551, 2007.
RUNESON, P.; HÖST, M. Guidelines for conducting and reporting case study research in
software engineering. Empirical software engineering, [S.l.], v.14, n.2, p.131–164, 2009.
RUNESON, P.; STEFIK, A.; ANDREWS, A. Variation factors in the design and analysis of
replicated controlled experiments - Three (dis)similar studies on inspections versus unit testing.
Empirical Software Engineering, [S.l.], p.1–28, 2013.
SHARMA, U. et al. A cost-aware elasticity provisioning system for the cloud. In:
DISTRIBUTED COMPUTING SYSTEMS (ICDCS), 2011 31ST INTERNATIONAL
CONFERENCE ON. Anais. . . [S.l.: s.n.], 2011. p.559–570.
SHEN, Z. et al. Cloudscale: elastic resource scaling for multi-tenant cloud systems. In: ACM
SYMPOSIUM ON CLOUD COMPUTING, 2. Proceedings. . . [S.l.: s.n.], 2011. p.5.
SHIFFMAN, R. N. et al. Standardized reporting of clinical practice guidelines: a proposal from
the conference on guideline standardization. Annals of Internal medicine, [S.l.], v.139, n.6,
p.493–498, 2003.
SHULL, F. et al. Replicated studies: building a body of knowledge about software reading
techniques. SERIES ON SOFTWARE ENGINEERING AND KNOWLEDGE
ENGINEERING, [S.l.], v.12, p.39–84, 2003.
SILVA, G. C.; ROSE, L. M.; CALINESCU, R. A systematic review of cloud lock-in solutions.
In: CLOUD COMPUTING TECHNOLOGY AND SCIENCE (CLOUDCOM), 2013 IEEE 5TH
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2013. v.2, p.363–368.
SILVA, G. C.; ROSE, L. M.; CALINESCU, R. A Systematic Review of Cloud Lock-In
Solutions. 2013 IEEE 5th International Conference on Cloud Computing Technology and
Science, [S.l.], p.363–368, Dec. 2013.
SINGER, J. Using the American Psychological Association (APA) style guidelines to report
experimental results. Proceedings of Workshop on Empirical Studies in . . . , [S.l.], p.1–5,
1999.
SJOBERG, D. I.; DYBA, T.; JORGENSEN, M. The future of empirical methods in software
engineering research. In: FUTURE OF SOFTWARE ENGINEERING, 2007. Anais. . .
[S.l.: s.n.], 2007. p.358–378.
SJØBERG, D. I. et al. A survey of controlled experiments in software engineering. Software
Engineering, IEEE Transactions on, [S.l.], v.31, n.9, p.733–753, 2005.
SMITE, D. et al. Reporting Empirical Research in Global Software Engineering: a classification
scheme. 2008 IEEE International Conference on Global Software Engineering, [S.l.],
p.173–181, 2008.

86

REFERÊNCIAS

SOROR, A. A. et al. Automatic virtual machine configuration for database workloads. ACM
Transactions on Database Systems (TODS), [S.l.], v.35, n.1, p.7, 2010.
STOL, K.-J.; BABAR, M. A. Reporting Empirical Research in Open Source Software: the state
of practice. 5th IFIP WG 2.13 International Conference on Open Source Systems (OSS
2009), [S.l.], p.156–169, 2009.
SULEIMAN, B. et al. On understanding the economics and elasticity challenges of deploying
business applications on public cloud infrastructure. Journal of Internet Services and
Applications, [S.l.], v.3, n.2, p.173–193, 2011.
TRAVASSOS, G. H.; GUROV, D.; AMARAL, E. Introdução à engenharia de software
experimental. [S.l.]: UFRJ, 2002.
VEGAS, S.; JURISTO, N.; BASILI, V. R. A Process for identifying relevant information for a
repository: a case study for testing techniques. In: Managing Software Engineering
Knowledge. [S.l.]: Springer, 2003. p.199–230.
VIERA, A. J.; GARRETT, J. M. Understanding interobserver agreement: the kappa statistic.
Family Medicine, [S.l.], v.37, n.5, p.360–363, 2005.
WILKINSON, L. Statistical methods in psychology journals: guidelines and explanations.
American psychologist, [S.l.], v.54, n.8, p.594, 1999.
WOHLIN, C. et al. Experimentation in software engineering: an introduction. 2000. [S.l.]:
Kluwer Academic Publishers, 2000.
WOHLIN, C. et al. Experimentation in software engineering. [S.l.]: Springer Science &
Business Media, 2012.
WOHLIN, C.; PETERSSON, H.; AURUM, A. Combining data from reading experiments in
software inspections. Lecture Notes on Empirical Software Engineering, World Scientific
Publishing, River Edge, NJ, USA, [S.l.], p.85–132, 2003.
YIN, R. K. Case study research: design and methods. [S.l.]: Sage publications, 2013.
ZHANG, H.; BABAR, M. A.; TELL, P. Identifying relevant studies in software engineering.
Information and Software Technology, [S.l.], v.53, n.6, p.625–637, June 2011.

Apêndice

89

A
Estudos Primários Incluídos
As informações apresentadas neste apêndice são detalhadas no Capítulo 4. Por causa
de limitações de espaço estão sendo apresentadas apenas informações de código, título, ano,
origem, autores e nota.
Cód.

Título

Ano

Origem

Autores

Nota

EPS1

A
benefit-aware
on- 2013
demand
provisioning
approach for multi-tier
applications in cloud
computing

Springer

Heng Wu; Wenbo Zhang; 4,51
Jianhua Zhang; Jun Wei;
Tao Huang

EPS2

A Cost-Aware Elasticity 2011
Provisioning System for
the Cloud

IEEE

Upendra Sharma; Shenoy; 5,10
P.; Sahu; S.; Shaikh; A.

EPS3

A General Scalable and 2014
Elastic Content-based Publish;Subscribe Service

IEEE

Wang; Y.; Ma; X.

EPS4

A Language Support for 2014
Cloud Elasticity Management

IEEE

Kouki; Y.; de Oliveira; 5,29
F.A.; Dupont; S.; Ledoux;
T.

EPS5

A Pluggable Autoscaling
Service for Open Cloud
PaaS Systems

2012

IEEE

Bunch; C.; Arora; V.; 5,29
Chohan; N.; Krintz; C.;
Hegde; S.; Srivastava; A.

EPS6

A virtualization based elas- 2011
tic model for high performance computing clusters
in a Networked Control
System

IEEE

Xu Lijun; Fei Minrui; Yu
Wei; Song Yang; Du Dajun

5,78

4,02

90

APÊNDICE A. ESTUDOS PRIMÁRIOS INCLUÍDOS

EPS7

Adaptive Load Balancing 2013
Algorithm Based on Prediction Model in Cloud Computing

ACM

Yingchi Mao;
Ren; Xi Chen

EPS8

An analysis of elasticity in 2013
cloud computing environments based on allocation
time and resources

IEEE

Ferreira Coutinho; E.; Gon- 5,20
calves Gomes; D.; Neuman
de Souza; J.

EPS9

Auto-scaling emergency 2011
call centres using cloud
resources
to
handle
disasters

IEEE

Venugopal; S.; Han Li; 5,88
Ray; P.

EPS10 Automated control for elas- 2010
tic storage

ACM

Harold C. Lim; Shivnath
Babu; Jeffrey S. Chase

EPS11 Automated control of web- 2013
server performance in a
cloud environment

IEEE

SaiKrishna; P.S.; Pasu- 3,43
marthy; R.

EPS12 Automatic elasticity in
OpenStack

2012

ACM

Leander Beernaert; Miguel
Matos; Ricardo Vilaça; Rui
Oliveira

EPS13 Automatic scaling of selec- 2012
tive SPARQL joins using
the TIRAMOLA system

ACM

Evangelos Angelou; Ni- 5,29
kolaos Papailiou; Ioannis
Konstantinou; Dimitrios
Tsoumakos; Nectarios Koziris

EPS14 Autonomic resource pro- 2014
visioning for cloud-based
software

ACM

Pooyan Jamshidi; Aakash
Ahmad; Claus Pahl

5,88

EPS15 Autonomic resource provi- 2013
sioning in cloud systems
with availability goals

Scopus

Casalicchio E.; Menasce
D.A.; Aldhalaan A.

5,10

EPS16 Benchmarking cloud ser- 2010
ving systems with YCSB

ACM

Brian F. Cooper; Adam 4,31
Silberstein; Erwin Tam;
Raghu Ramakrishnan; Russell Sears

EPS17 Benchmarking
Private
Cloud Performance with
User-Centric Metrics

IEEE

Bin Sun; Hall; B.; Hu
Wang; Da Wei Zhang; Kai
Ding

2014

Daoning

5,88

5,39

5,49

4,51

91

EPS18 Bursting the Cloud Data 2014
Bubble: Towards Transparent Storage Elasticity in
IaaS Clouds

IEEE

Nicolae; B.; Riteau; P.; Ke- 6,67
ahey; K.

EPS19 Cloud PARTE: elastic com- 2013
plex event processing based on mobile actors

ACM

Janwillem Swalens; Thi- 5,49
erry Renaux; Lode Hoste;
Stefan Marr; Wolfgang De
Meuter

EPS20 Cloud Resource Auto- 2014
scaling System Based on
Hidden Markov Model
(HMM)

IEEE

Nikravesh; A.Y.; Ajila; 5,88
S.A.; Lung; C.-H.

EPS21 Dynamic resource alloca- 2013
tion using auto-negotiation
in Haizea

IEEE

Chokhani; P.; Somani; G.

4,41

EPS22 Dynamic resource alloca- 2013
tion using virtual machines
for cloud computing environment

TPDS

Xiao; Z. and Song; W. and
Chen; Q.

5,10

EPS23 Dynamic scaling of call- 2012
stateful SIP services in the
cloud

ACM

Nico Janssens; Xueli An; 4,31
Koen Daenen; Claudio Forlivesi

EPS24 Elastic data partitioning for 2013
cloud-based SQL processing systems

IEEE

Lipyeow Lim

EPS25 Elastic
management
of web server clusters
on distributed virtual
infrastructures

Scopus

Moreno-Vozmediano R.; 3,53
Montero R.S.; Llorente
I.M.

EPS26 Elastic Scaling of a High- 2014
Throughput Content-Based
Publish;Subscribe Engine

IEEE

Barazzutti; R.; Heinze; T.; 5,88
Martin; A.; Onica; E.; Felber; P.; Fetzer; C.; Jerzak;
Z.; Pasin; M.; Riviere; E.

EPS27 Elastic VM for Cloud Re- 2011
sources Provisioning Optimization

Scopus

Dawoud W.; Takouna I.; 5,39
Meinel C.

2011

5,00

92

EPS28 Elasticity Controller for
Cloud-Based Key-Value
Stores

APÊNDICE A. ESTUDOS PRIMÁRIOS INCLUÍDOS

2012

IEEE

Arman; A.; Al-Shishtawy; 4,51
A.; Vlassov; V.

EPS29 ElasTraS: An elastic; sca- 2013
lable; and self-managing
transactional database for
the cloud

ACM

Sudipto Das; Divyakant
Agrawal; Amr El Abbadi

EPS30 Enabling cost-aware and 2014
adaptive elasticity of multitier cloud applications

Scopus

Han R.; Ghanem M.M.; 5,69
Guo L.; Guo Y.; Osmond
M.

EPS31 Energy Management in
IaaS Clouds: A Holistic
Approach

CLOUD

Feller; E. and Rohr; C. and
Margery; D. and Morin; C.

EPS32 ERES: An Energy-Aware 2013
Real-Time Elastic Scheduling Algorithm in Clouds

IEEE

Huangke Chen; Xiaomin 5,59
Zhu; Jianghan Zhu; Jianjiang Wang

EPS33 Evaluating and Optimizing 2011
Indexing Schemes for a
Cloud-Based Elastic KeyValue Store

IEEE

Chiu; D.; Shetty;
Agrawal; G.

EPS34 Formal Modeling and Eva- 2013
luation of Service-Based
Business Process Elasticity
in the Cloud

IEEE

Amziani; M.; Melliti; T.; 3,33
Tata; S.

EPS35 Hierarchical
self- 2013
optimization of SaaS
applications in clouds

Scopus

Simmons B.; Ghanbari H.; 4,71
Liaskos S.; Litoiu M.; Iszlai G.

EPS36 How a consumer can me- 2012
asure elasticity for cloud
platforms

ACM

Sadeka Islam; Kevin Lee; 6,27
Alan Fekete; Anna Liu

EPS37 Lightweight Resource Sca- 2012
ling for Cloud Applications

IEEE

Rui Han; Li Guo; Ghanem; 4,51
M.M.; Yike Guo

EPS38 Measuring Prediction Sen- 2014
sitivity of a Cloud Autoscaling System

IEEE

Nikravesh; A.Y.; Ajila; 5,59
S.A.; Chung-Horng Lung

EPS39 Merkat: A Market-Based 2013
SLO-Driven Cloud Platform

IEEE

Costache; S.; Parlavantzas; 5,29
N.; Morin; C.; Kortas; S.

2012

5,49

5,98

A.; 4,31

93

EPS40 MeT: workload aware elas- 2013
ticity for NoSQL

ACM

Francisco Cruz; Francisco
Maia; Miguel Matos; Rui
Oliveira; João Paulo; José
Pereira; Ricardo Vilaça

5,39

EPS41 Modeling for Dynamic 2011
Cloud Scheduling Via Migration of Virtual Machines

CLOUDCOM Wubin Li and Tordsson; J. 4,22
and Elmroth; E.

EPS42 Modeling Performance of 2013
Elasticity Rules for CloudBased Applications

IEEE

Suleiman; B.; Venugopal; 5,69
S.

EPS43 Non-Intrusive
Elastic
Query Processing in the
Cloud

2013

Springer

Ticiana L. Coelho da Silva; 4,71
Mario A. Nascimento; José
Antônio F. de Macêdo; Flávio R. C. Sousa; Javam C.
Machado

EPS44 OCSO: Off-the-cloud ser- 2014
vice optimization for green
efficient service resource
utilization

Springer

Daren Fang; Xiaodong Liu; 5,00
Lin Liu; Hongji Yang

EPS45 Opportunistic Service Pro- 2012
visioning in the Cloud

CLOUD

Bjorkqvist; M. and Chen; 4,80
L.Y. and Binder; W.

EPS46 Optimal Cloud Resource 2013
Auto-Scaling for Web Applications

IEEE

Jing Jiang; Jie Lu; Guang- 5,49
quan Zhang; Guodong
Long

EPS47 Optimizations and Analy- 2013
sis of BSP Graph Processing Models on Public
Clouds

IEEE

Redekopp; M.; Simmhan; 5,10
Y.; Prasanna; V.K.

EPS48 Profiling core operations 2012
for elasticity in cloud environments

IEEE

Azevedo; E.; Dias; C.; 4,71
Dantas; R.; Sadok; D.; Fernandes; S.; Simoes; R.; Kamienski; C.

EPS49 QoS-aware multi-cloud 2014
brokering for NGN services: Tangible benefits of
elastic resource allocation
mechanisms

IEEE

Magedanz; T.; Schreiner; 4,02
F.

94

APÊNDICE A. ESTUDOS PRIMÁRIOS INCLUÍDOS

EPS50 SaaS performance and
scalability evaluation in
clouds

2011

IEEE

Gao; J.; Pattabhiraman; P.; 6,18
Xiaoying Bai; Tsai; W.T.

EPS51 Scalable and elastic real- 2014
time click stream analysis
using StreamMine3G

ACM

André Martin; Andrey 5,29
Brito; Christof Fetzer

EPS52 Self-adaptive resource allo- 2013
cation for elastic process
execution

CLOUD

Hoenisch; P.a and Schulte; 4,61
S.a and Dustdar; S.a and
Venugopal; S.b

EPS53 Self managing monitoring
for highly elastic large
scale cloud deployments

Scopus

Ward J.S.; Barker A.

EPS54 SpringFS: bridging agility 2014
and performance in elastic
distributed storage

ACM

Lianghong Xu; James Ci- 5,49
par; Elie Krevat; Alexey
Tumanov; Nitin Gupta; Michael A. Kozuch; Gregory
R. Ganger

EPS55 StackSync: bringing elas- 2014
ticity to dropbox-like file
synchronization

ACM

Pedro Garcia Lopez; Marc
Sanchez-Artigas;
Sergi
Toda; Cristian Cotes; John
Lenton

EPS56 StreamCloud: An Elastic 2012
and Scalable Data Streaming System

IEEE

Gulisano; V.; Jiménez- 4,61
Peris; R.; Patiño-Martínez;
M.; Soriente; C.; Valduriez; P.

EPS57 Supporting elasticity in
OpenMP applications

2014

Scopus

Galante G.; Bona L.C.E.

EPS58 Towards non-intrusive elas- 2012
tic query processing in the
cloud

Scopus

Da Silva T.L.C.; A. Nasci- 5,49
mento M.; MaCedo J.A.F.;
Sousa F.R.C.; MacHado
J.C.

EPS59 Vertical Scaling for Priori- 2012
tized VMs Provisioning

IEEE

Yazdanov; L.; Fetzer; C.

2014

Tabela A.1: Listagem dos estudos selecionados em ordem
alfabética

4,02

5,29

5,10

5,88

95

B
Estudos Primários Excluídos
Este apêndice apresenta a lista dos estudos primários excluídos, demais informações
podem ser vistas na Seção 4.2. Por causa de limitações de espaço estão sendo apresentadas
apenas informações de código, título, ano, origem e autores.
Código

Título

Ano

Origem

Autores

EPE1

A case for dynamic memory 2013
partitioning in data centers

ACM

Daniel Warneke,
Leng

EPE2

A Cloud,based Dynamic 2011
Workflow for Mass Spectrometry Data Analysis

IEEE

Nagavaram, A.; Agrawal, G.;
Freitas, M.A.; Telu, K.H.;
Mehta, G.; Mayani, R.G.; Deelman, E.

EPE3

A Cloud,unaware Program- 2011
ming Model for Easy Development of Composite Services

CLOUDCOM

Tejedor, E. and Ejarque, J.
and Lordan, F. and Rafanell,
R. and Alvarez, J. and Lezzi,
D. and Sirvent, R. and Badia,
R.M.

EPE4

A flexible elastic control plane
for private clouds

2013

ACM

Upendra Sharma, Prashant
Shenoy, Sambit Sahu

EPE5

A Framework and Mid- 2013
dleware for Application,Level
Cloud Bursting on Top of
Infrastructure,as,a,Service
Clouds

IEEE

Leitner, P.; Rostyslav, Z.;
Gambi, A.; Dustdar, S.

EPE6

A Framework for Dynamic
Resource Provisioning and
Adaptation in IaaS Clouds

CLOUDCOM

Ta Nguyen Binh Duong and
Xiaorong Li and Goh, R.S.M.

2011

Christof

96

APÊNDICE B. ESTUDOS PRIMÁRIOS EXCLUÍDOS

EPE7

A framework for self,healing
and
self,adaptation
of
Cloud,hosted
web,based
applications

EPE8

2013

CLOUDCOM

Magalhães, J.P.a and Silva,
L.M.b

A Framework for the Coordi- 2013
nation of Multiple Autonomic
Managers in Cloud Environments

IEEE

de Oliveira, F.A.; Ledoux, T.;
Sharrock, R.

EPE9

A Hadoop approach to advan- 2013
ced sampling algorithms in
molecular dynamics simulation on cloud computing

IEEE

Jin Niu; Bai, S.; Khosravi, E.;
Seung,Jong Park

EPE10

A holistic model for resource
representation in virtualized
cloud computing data centers

CLOUDCOM

Guzek, M. and Kliazovich, D.
and Bouvry, P.

EPE11

A queueing model to achi- 2013
eve proper elasticity for cloud
cluster jobs

CLOUD

Salah, K.

EPE12

A Stack,on,Demand Execu- 2010
tion Model for Elastic Computing

IEEE

Ma, R.K.K.; King Tin Lam;
Cho,Li Wang; Chenggang
Zhang

EPE13

A versatile code execution iso- 2013
lation framework with security first

ACM

Johannes
Meyer

EPE14

A virtual machine re,packing 2013
approach to the horizontal vs.
vertical elasticity trade,off for
cloud autoscaling

ACM

Mina Sedaghat, Francisco
Hernandez,Rodriguez, Erik
Elmroth

EPE15

Abstractions
for
Loo- 2010
sely,Coupled and Ensemble,Based Simulations on
Azure

CLOUDCOM

Luckow, A and Jha, S.

EPE16

Accelerating
MapReduce
Analytics Using CometCloud

CLOUD

AbdelBaky, M. and Hyunjoo
Kim and Rodero, I and Parashar, M.

2013

2012

Krude,

Ulrike

97

EPE17

Achieving High Throughput
by Transparent Network
Interface Virtualization on
Multi,core Systems

EPE18

2010

CLOUDCOM

Huiyong Zhang and Yuebin
Bai and Zhi Li and Niandong
Du and Wentao Yang

ACME: A scalable parallel 2014
system for extracting frequent
patterns from a very long sequence

ACM

Majed Sahli, Essam Mansour,
Panos Kalnis

EPE19

Admission Control for Elastic
Cloud Services

2012

CLOUD

Konstanteli, K. and Cucinotta,
T. and Psychas, K. and Varvarigou, T.

EPE20

Agility and Performance in
Elastic Distributed Storage

2014

ACM

Lianghong Xu, James Cipar,
Elie Krevat, Alexey Tumanov,
Nitin Gupta, Michael A. Kozuch, Gregory R. Ganger

EPE21

Albatross: lightweight elasti- 2011
city in shared storage databases for the cloud using live
data migration

ACM

Sudipto Das, Shoji Nishimura,
Divyakant Agrawal, Amr El
Abbadi

EPE22

An approach for dynamic sca- 2013
ling of resources in enterprise
cloud

CLOUDCOM

Kanagala, K. and Sekaran,
K.C.

EPE23

An architecture for evaluating 2013
distributed application deployments in Multi,Clouds

CLOUDCOM

Papaioannou, A. and Magoutis, K.

EPE24

An architecture framework for 2012
application,managed scaling
of cloud,hosted relational databases

ACM

Liang Zhao, Sherif Sakr, Liming Zhu, Xiwei Xu, Anna
Liu

EPE25

An Autonomic Approach to 2014
Risk,Aware Data Center Overbooking

IEEE

Tomas, L.; Tordsson, J.

EPE26

An Elastic OLAP Cloud Plat- 2011
form

IEEE

Brezany, P.; Yan Zhang; Janciak, I.; Peng Chen; Sicen Ye

EPE27

An
improved
max,min
task,scheduling algorithm for
elastic cloud

Scopus

Li X., Mao Y., Xiao X., Zhuang Y.

2014

98

APÊNDICE B. ESTUDOS PRIMÁRIOS EXCLUÍDOS

EPE28

Analysis over factors of inno- 2014
vation in China’s fast economic growth since its beginning
of reform and opening up

Springer

Chun Ding, Junyang Li

EPE29

Automated, Elastic Resource 2013
Provisioning for NoSQL Clusters Using TIRAMOLA

IEEE

Tsoumakos, D.; Konstantinou,
I.; Boumpouka, C.; Sioutas,
S.; Koziris, N.

EPE30

Balance your bids before your 2014
bits: the economics of geographic load,balancing

ACM

Jose Camacho, Ying Zhang,
Minghua Chen, Dah Ming
Chiu

EPE31

C,Cube: Elastic continuous
clustering in the cloud

2013

IEEE

Zhenjie Zhang; Hu Shu;
Zhihong Chong; Hua Lu; Yin
Yang

EPE32

Cashing in on the cache in the
cloud

2012

TPDS

Han, H.a and Lee, Y.C.b and
Shin, W.a and Jung, H.b and
Yeom, H.Y.a and Zomaya,
A.Y.b

EPE33

Client Classification Policies 2012
for SLA Enforcement in Shared Cloud Datacenters

ACM

Mario Macias, Jordi Guitart

EPE34

Cloud effectiveness model

Scopus

Feehs R.J.

EPE35

Cloud services evaluation fra- 2012
mework

ACM

Miguel Reixa, Carlos Costa,
Manuela Aparicio

EPE36

CLOUDQUAL: A Quality 2014
Model for Cloud Services

IEEE

Xianrong Zheng; Martin, P.;
Brohman, K.; Li Da Xu

EPE37

Cloudy with a Chance of Load
Spikes: Admission Control
with Fuzzy Risk Assessments

2013

IEEE

Tomas, L.; Tordsson, J.

EPE38

Computational Neuroscience
as a Service: Porting MIIND
to the Cloud

2011

CLOUDCOM

Gerckens, B. and Djemame,
K. and de Kamps, M.

EPE39

Constructing elastic scientific 2013
applications using elasticity
primitives

Scopus

Galante G., Bona L.C.E.

EPE40

Converting a High Perfor- 2011
mance Application to an Elastic Cloud Application

CLOUDCOM

Rajan, D. and Canino, A and
Izaguirre, Jesus A and Thain,
D.

2013

99

EPE41

Cost,effective cloud HPC re- 2013
source provisioning by building semi,elastic virtual clusters

ACM

Shuangcheng Niu, Jidong
Zhai, Xiaosong Ma, Xiongchao Tang, Wenguang Chen

EPE42

Cost and utilization optimiza- 2013
tion of Amazon EC2 instances

CLOUD

Kokkinos, P.a and Varvarigou,
T.A.a and Kretsis, A.b and
Soumplis, P.b and Varvarigos,
E.A.b

EPE43

Cost Optimization of Elasti- 2013
city Cloud Resource Subscription Policy

IEEE

Hwang, R.; Lee, C.; Chen, Y.;
Zhang,Jian, D.

EPE44

Criterions for Databases in 2015
Cloud Computing Environment

Scopus

Pati S.P., Pattnaik P.K.

EPE45

Critical Evaluation on jClouds
and Cloudify Abstract APIs
against EC2, Azure and
HP,Cloud

IEEE

Graham, S.T.; Xiaodong Liu

EPE46

CSLA: A language for impro- 2012
ving cloud SLA management

Scopus

Kouki Y., Ledoux T.

EPE47

Decentralizing the cloud: 2014
How can small data centers
cooperate?

IEEE

Hao Zhuang; Rahman, R.;
Aberer, K.

EPE48

Defining a measure of cloud
computing elasticity

2012

IEEE

Shawky, D.M.; Ali, A.F.

EPE49

DELMA: Dynamically ELas- 2011
tic MapReduce Framework
for CPU,Intensive Applications

IEEE

Fadika, Z.; Govindaraju, M.

EPE50

DIMO: distributed index for
matching multimedia objects
using MapReduce

2014

ACM

Ahmed Abdelsadek, Mohamed Hefeeda

EPE51

Distributed approximate spec- 2012
tral clustering for large,scale
datasets

ACM

Mohamed Hefeeda, Fei Gao,
Wael Abd,Almageed

EPE52

Does the Cloud need new al- 2012
gorithms? An introduction to
elastic algorithms

CLOUDCOM

Yike Guo and Ghanem, M.
and Rui Han

2014

100

APÊNDICE B. ESTUDOS PRIMÁRIOS EXCLUÍDOS

EPE53

Dynamic Resource Manage- 2014
ment in Cloud,based Distributed Virtual Environments

ACM

Yunhua Deng, Siqi Shen, Zhe
Huang, Alexandru Iosup, Rynson Lau

EPE54

Dynamic Scalability of a Con- 2013
solidation Service

IEEE

El Rheddane, A.; De Palma,
N.; Boyer, F.; Dumont, F.; Menaud, J.,M.; Tchana, A.

EPE55

Economic aspects of hybrid 2012
cloud infrastructure: User organization perspective

Springer

Oleksiy Mazhelis, Pasi Tyrväinen

EPE56

Efficient Autoscaling in the 2011
Cloud Using Predictive Models for Workload Forecasting

CLOUD

Roy, N. and Dubey, A and
Gokhale, A

EPE57

Efficient provisioning of
bursty scientific workloads
on the cloud using adaptive
elasticity control

2012

ACM

Ahmed Ali,Eldin, Maria Kihl,
Johan Tordsson, Erik Elmroth

EPE58

Elastic Admission Control for
Federated Cloud Services

2014

IEEE

Konstanteli, K.; Cucinotta, T.;
Psychas, K.; Varvarigou, T.A.

EPE59

Elastic Cloud Caches for
Accelerating Service,Oriented
Computations

2010

ACM

David Chiu, Apeksha Shetty,
Gagan Agrawal

EPE60

Elastic executions from inelas- 2011
tic programs

ACM

Iulian Neamtiu

EPE61

Elastic management of clus- 2009
ter,based services in the cloud

ACM

Rafael Moreno,Vozmediano,
Ruben S. Montero, Ignacio M.
Llorente

EPE62

Elastic Memory Management 2013
of Virtualized Infrastructures
for Applications with Dynamic Memory Requirements

Scopus

Molto G., Caballer M., Romero E., De Alfonso C.

EPE63

Elastic resource management 2013
for heterogeneous applications on PaaS

ACM

Hao Wei, Shurui Zhou, Ting
Yang, Rui Zhang, Qianxiang
Wang

EPE64

Elastic resources framework 2013
in IaaS, preserving performance SLAs

CLOUD

Dhingra, M.a and Lakshmi,
J.a and Nandy, S.K.a and Bhattacharyya, C.b and Gopinath,
K.b

101

EPE65

Elastic SI,Cache:
consis- 2011
tent and scalable caching in
multi,tier architectures

ACM

Francisco
Perez,Sorrosal,
Marta Patiño,Martinez, Ricardo Jimenez,Peris, Bettina
Kemme

EPE66

Elastic Stream Computing
with Clouds

2011

CLOUD

Ishii, A and Suzumura, T.

EPE67

Elastic virtualized network
services

2012

IEEE

Baldi, Mario; Di Benedetto,
Marco

EPE68

Elasticity,aware virtual ma- 2013
chine placement for cloud datacenters

IEEE

Kangkang Li; Jie Wu; Blaisse,
A.

EPE69

Elasticity as a service for fede- 2013
rated cloud testbeds

IEEE

Carella, G.; Magedanz, T.;
Campowsky, K.; Schreiner, F.

EPE70

Elasticity Economics of
Cloud,Based Applications

2012

IEEE

Suleiman, B.

EPE71

ElastMan: Elasticity manager
for elastic key,value stores in
the cloud

2013

Scopus

Al,Shishtawy A., Vlassov V.

EPE72

EQS: An Elastic and Scalable
Message Queue for the Cloud

2011

CLOUDCOM

Nam,Luc Tran and Skhiri, S.
and Zimanyi, E.

EPE73

Esc: Towards an Elastic
Stream Computing Platform
for the Cloud

2011

CLOUD

Satzger, B. and Hummer, W.
and Leitner, P. and Dustdar, S.

EPE74

Evaluation criteria for cloud
services

2013

CLOUD

Costa, P.a and Santos, J.P.b
and Silva, M.M.D.a

EPE75

EventWave: programming
model and runtime support for
tightly,coupled elastic cloud
applications

2013

ACM

Wei,Chiu Chuang, Bo Sang,
Sunghwan Yoo, Rui Gu, Milind Kulkarni, Charles Killian

EPE76

Exploiting application dyna- 2013
mism and cloud elasticity for
continuous dataflows

IEEE

Kumbhare, A.; Simmhan, Y.;
Prasanna, V.K.

EPE77

Exploring Alternative Appro- 2011
aches to Implement an Elasticity Policy

CLOUD

Ghanbari, H. and Simmons, B.
and Litoiu, M. and Iszlai, G.

102

APÊNDICE B. ESTUDOS PRIMÁRIOS EXCLUÍDOS

EPE78

Formal modeling and evalua- 2013
tion of stateful service,based
business process elasticity in
the cloud

Scopus

Amziani M., Melliti T., Tata
S.

EPE79

GA,based cloud resource esti- 2012
mation for agent,based execution of bag,of,tasks applications

Springer

J. Octavio Gutierrez,Garcia,
Kwang Mong Sim

EPE80

Going viral: flash crowds in
an open CDN

2011

ACM

Patrick Wendell, Michael J.
Freedman

EPE81

How elastic is your virtualized
datacenter fabric?

2013

ACM

Daniel Crisan, Robert Birke,
Nikolaos Chrysos, Mitch Gusat

EPE82

How is the weather tomor- 2009
row?: towards a benchmark
for the cloud

ACM

Carsten Binnig, Donald Kossmann, Tim Kraska, Simon Loesing

EPE83

Is your cloud elastic enough?: 2012
performance modelling the
elasticity of infrastructure as
a service (IaaS) cloud applications

ACM

Paul C. Brebner

EPE84

JCatascopia: Monitoring Elas- 2014
tically Adaptive Applications
in the Cloud

IEEE

Trihinas, D.; Pallis, G.; Dikaiakos, M.D.

EPE85

Kaleidoscope:
cloud mi- 2011
cro,elasticity via VM state coloring

ACM

Roy Bryant, Alexey Tumanov,
Olga Irzak, Adin Scannell,
Kaustubh Joshi, Matti Hiltunen, Andres Lagar,Cavilla,
Eyal de Lara

EPE86

Key consideration factors of
adopting cloud computing for
science

2012

IEEE

Chia,Lee Yang; Bang,Ning
Hwang; Yuan, B.J.C.

EPE87

Kingfisher: Cost,aware elasti- 2011
city in the cloud

IEEE

Upendra Sharma; Shenoy, P.;
Sahu, S.; Shaikh, A.

EPE88

Latency,aware elastic scaling 2014
for distributed data stream processing systems

ACM

Thomas Heinze, Zbigniew Jerzak, Gregor Hackenbroich,
Christof Fetzer

103

EPE89

LEMO,MR: Low Overhead 2010
and Elastic MapReduce Implementation Optimized for Memory and CPU,Intensive Applications

CLOUDCOM

Fadika, Z. and Govindaraju,
M.

EPE90

Long,term SLOs for reclai- 2014
med cloud computing resources

ACM

Marcus Carvalho, Walfredo
Cirne, Francisco Brasileiro,
John Wilkes

EPE91

Managing a SaaS application 2011
in the cloud using PaaS policy
sets and a strategy,tree

IEEE

Simmons, B.; Ghanbari, H.;
Litoiu, M.; Iszlai, G.

EPE92

Managing elasticity across
multiple cloud providers

2013

ACM

Fawaz Paraiso, Philippe
Merle, Lionel Seinturier

EPE93

Managing large numbers of
business processes with cloud
workflow systems

2012

ACM

Xiao Liu, Yun Yang, Dahai
Cao, Dong Yuan, Jinjun Chen

EPE94

Managing service perfor- 2013
mance in the Cassandra
distributed storage system

CLOUDCOM

Chalkiadaki, M. and Magoutis, K.

EPE95

MELA: Monitoring and
Analyzing Elasticity of Cloud
Services

2013

IEEE

Moldovan, D.; Copil, G.;
Hong,Linh Truong; Dustdar,
S.

EPE96

MoSQL: an elastic storage en- 2013
gine for MySQL

ACM

Alexander Tomic, Daniele Sciascia, Fernando Pedone

EPE97

Multi,objective Reinforce- 2010
ment Learning for Responsive
Grids

Springer

Julien Perez, Cécile Germain,Renaud, Balazs Kégl,
Charles Loomis

EPE98

On estimating actuation de- 2013
lays in elastic computing systems

IEEE

Gambi, A.; Moldovan, D.; Copil, G.; Truong, H.,L.; Dustdar, S.

EPE99

On the elasticity of NoSQL 2011
databases over cloud management platforms

ACM

Ioannis Konstantinou, Evangelos Angelou, Christina Boumpouka, Dimitrios Tsoumakos,
Nectarios Koziris

EPE100

Optimal Deployment And
Scheduling Of Elastic Cloud
Services In SaaS Scenarios

Scopus

Xu C., Yang J., Ling X., Lin
H.

2014

104

APÊNDICE B. ESTUDOS PRIMÁRIOS EXCLUÍDOS

EPE101

Optimization,Based Virtual
Machine Manager for Private
Cloud Computing

2011

CLOUDCOM

Niyato, D.

EPE102

Pepper: An Elastic Web Ser- 2010
ver Farm for Cloud Based on
Hadoop

CLOUDCOM

Krishnan, S. and Counio, J.C.

EPE103

PRESC ˆ{2} :
efficient
self,reconfiguration of cache
strategies for elastic caching
platforms

Springer

Xiulei Qin, Wei Wang, Wenbo
Zhang, Jun Wei, Xin Zhao,
Hua Zhong, Tao Huang

EPE104

Profiling,Based Task Sche- 2014
duling for Factory,Worker
Applications in Infrastructure,as,a,Service Clouds

IEEE

Zabolotnyi, Rostyslav; Leitner, Philipp; Dustdar, Schahram

EPE105

QUELLE , A framework for
accelerating the development
of elastic systems

Scopus

Moldovan D., Copil G., Truong H.,L., Dustdar S.

EPE106

RACE: a scalable and elas- 2013
tic parallel system for discovering repeats in very long sequences

ACM

Essam Mansour, Ahmed
El,Roby, Panos Kalnis, Aron
Ahmadia, Ashraf Aboulnaga

EPE107

Rafhyc: an Architecture for 2013
Constructing Resilient Services on Federated Hybrid
Clouds

Springer

Víctor Méndez Muñoz,
Adrian Casajús Ramo, Víctor
Fernández Albor, Ricardo
Graciani Diaz, Gonzalo
Merino Arévalo

EPE108

Real,Time Tasks Oriented
Energy,Aware Scheduling in
Virtualized Clouds

2014

IEEE

Xiaomin Zhu; Yang, L.T.; Huangke Chen; Ji Wang; Shu
Yin; Xiaocheng Liu

EPE109

Responsive elastic computing

2009

ACM

Julien Perez, Cécile Germain,Renaud, Balázs Kégl,
Charles Loomis

EPE110

Scaling Non,elastic Applicati- 2011
ons Using Virtual Machines

CLOUD

Knauth, T. and Fetzer, C.

EPE111

Schedule optimization for
data processing flows on the
cloud

Scopus

Kllapi H., Sitaridi E., Tsangaris M.M., Ioannidis Y.

1996

2014

2011

105

EPE112

Scheduling Scientific Work- 2011
flows Elastically for Cloud
Computing

CLOUD

Cui Lin and Shiyong Lu

EPE113

Service specification in cloud 2009
environments based on extensions to open standards

ACM

Fermín Galán, Americo Sampaio, Luis Rodero,Merino, Irit
Loy, Victor Gil, Luis M. Vaquero

EPE114

SLA,Based and Consu- 2012
mer,centric Dynamic Provisioning for Cloud Databases

CLOUD

Sakr, S. and Liu, A

EPE115

SLA
evaluation
in
cloud,based
data,centric
distributed services

Scopus

Ravindran K., Iannelli M.

EPE116

SLA
evaluation
with 2014
on,the,fly
measurements
of distributed service implementation over clouds

ACM

Kaliappa Ravindran, Arun
Adiththan, Michael Iannelli

EPE117

soCloud: a service,oriented 2014
component,based PaaS for managing portability, provisioning, elasticity, and high availability across multiple clouds

Springer

Fawaz Paraiso, Philippe
Merle, Lionel Seinturier

EPE118

Software architecture defini- 2012
tion for on,demand cloud provisioning

Springer

Clovis Chapman, Wolfgang
Emmerich, Fermín Galán Márquez, Stuart Clayman, Alex
Galis

EPE119

SpeQuloS: a QoS service for
hybrid and elastic computing
infrastructures

Springer

Simon Delamare, Gilles Fedak, Derrick Kondo, Oleg
Lodygensky

EPE120

SYBL: An extensible lan- 2013
guage for controlling elasticity in cloud applications

Scopus

Copil G., Moldovan D., Truong H.,L., Dustdar S.

EPE121

Symbiotic
and
sensiti- 2014
vity,aware architecture for
globally,optimal benefit in
self,adaptive cloud

ACM

Tao Chen, Rami Bahsoon

2014

2013

106

APÊNDICE B. ESTUDOS PRIMÁRIOS EXCLUÍDOS

EPE122

The case for elastic operating
system services in fos

EPE123

2012

ACM

Lamia Youseff, Nathan Beckmann, Harshad Kasture, Charles Gruenwald, David Wentzlaff, Anant Agarwal

Time,based evaluation of ser- 2013
vice,based business process
elasticity in the cloud

Scopus

Amziani M., Klai K., Melliti
T., Tata S.

EPE124

Towards an Elastic Applica- 2011
tion Model for Augmenting
the Computing Capabilities of
Mobile Devices with Cloud
Computing

Springer

Xinwen Zhang, Anugeetha
Kunjithapatham, Sangoh Jeong, Simon Gibbs

EPE125

Towards Efficient Deploy- 2013
ment of Cloud Applications through Dynamic Reverse
Proxy Optimization

IEEE

Wei Yuan; Hailong Sun; Xu
Wang; Xudong Liu

EPE126

Towards elastic multi,tenant 2012
database replication with quality of service

Scopus

Sousa F.R.C., Machado J.C.

EPE127

Towards exploiting the full
adaptation potential of cloud
applications

2014

ACM

Clarissa Cassales Marquezan,
Florian Wessling, Andreas
Metzger, Klaus Pohl, Chris
Woods, Karl Wallbom

EPE128

Towards the formalization of 2014
properties of cloud,based elastic systems

ACM

Marcello M. Bersani, Domenico Bianculli, Schahram
Dustdar, Alessio Gambi,
Carlo Ghezzi, Sr?an Krsti?

EPE129

Trade,Off
Analysis
of
Elasticity Approaches for
Cloud,Based
Business
Application

Scopus

Suleiman B., Sakr S., Venugopal S., Sadiq W.

EPE130

Transactional Auto Scaler: 2014
Elastic Scaling of Replicated In,Memory Transactional
Data Grids

ACM

Diego Didona, Paolo Romano,
Sebastiano Peluso, Francesco
Quaglia

EPE131

Transforming
reactive
auto,scaling into proactive
auto,scaling

ACM

Laura R. Moore, Kathryn
Bean, Tariq Ellahi

2012

2013

107

EPE132

True elasticity in multi,tenant 2012
data,intensive compute clusters

ACM

Ganesh Ananthanarayanan,
Christopher Douglas, Raghu
Ramakrishnan, Sriram Rao,
Ion Stoica

EPE133

V,Cache: Towards Flexible
Resource Provisioning for
Multi,tier Applications in IaaS
Clouds

2013

IEEE

Yanfei Guo; Lama, P.; Jia Rao;
Xiaobo Zhou

EPE134

Vertical/Horizontal Resource 2014
Scaling Mechanism for Federated Clouds

IEEE

Chien,Yu Liu; Meng,Ru Shie;
Yi,Fang Lee; Yu,Chun Lin;
Kuan,Chou Lai

EPE135

VOLTAIC: volume optimiza- 2012
tion layer to assign cloud resources

ACM

Hugo E. T. Carvalho, Otto
Carlos M. B. Duarte

EPE136

XDB , A Novel Database Ar- 2014
chitecture for Data Analytics
as a Service

IEEE

Binnig, C.; Salama, A.; Zamanian, E.; Kornmayer, H.; Listing, S.; Mueller, A.C.

EPE137

Zephyr: live migration in sha- 2011
red nothing databases for elastic cloud platforms

ACM

Aaron J. Elmore, Sudipto Das,
Divyakant Agrawal, Amr El
Abbadi

Tabela B.1: Estudos excluídos em ordem alfabética

109

C
Listagem dos Meios de Publicação Identificados
O objetivo este apêndice é apresentar a lista das meios de publicações identificados
através dos estudos selecionados nesta pesquisa, de forma à colaborar com pesquisas futuras
sobre experimentação em elasticidade na computação em nuvem.
Código

Venue

Estudos

V1

International Conference on Cloud Computing

3

V2

IEEE Transaction on Parallel and Distributed Systems

3

V3

Journal of Computer Science and Technology

2

V4

IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing

2

V5

International Conference on Distributed Computing Systems

2

V6

International Symposium on Cluster, Cloud and Grid Computing

1

V7

International Conference on Coud Computing Technology and Science

1

V8

Communications and Electronics

1

V9

IEEE International Workshop on Quality of Service

1

V10

IEEE Recent Advances in Intelligent Computational Systems

1

V11

International Conference on Autonomic Computing

1

V12

Concurrency Computation Practice and Experience

1

V13

International Middleware Conference

1

V14

Future Generation Computer Systems

1

V15

Annual International Computers, Software and Applications Conference
Workshops

1

V16

FAST

1

V17

Workshop on Programming Based on Actors, Agents, and Decentralized
Control

1

V18

IEEE International Conference on Embedded and Ubiquitous Computing

1

110

APÊNDICE C. LISTAGEM DOS MEIOS DE PUBLICAÇÃO IDENTIFICADOS

V19

IEEE International Symposium on Service Oriented System Engineering

1

V20

International Conference on Contemporary Computing

1

V21

IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing

1

V22

ACM European Conference on Computer Systems

1

V23

International Conference on Cloud and Green Computing

1

V24

Chinese Control Conference

1

V25

International Symposium on Software Engineering for Adaptive and
Self-Managing Systems

1

V26

International Conference on Parallel and Distributed Systems

1

V27

Workshop on Secure and Dependable Middleware for Cloud Monitoring
and Management

1

V28

ACM Transactions on Database System

1

V29

Frontiers of Computer Science

1

V30

International Conference on Semantic Computing

1

V31

International Conference on Utility and Cloud Computing

1

V32

ACM International Conference on Distributed Event-Based Systems

1

V33

International Parallel & Distributed Processing Symposium

1

V34

Euromicro International Conference on Parallel, Distributed, and
Network-Based Processing

1

V35

International Conference on Cloud Engineering

1

V36

International Conference on Cloud Computing Technology and Science

1

V37

International Enterprise Distributed Object Computing Conference

1

V38

Workshops on Enabling Technologies: Infrastructure for Collaborative
Enterprises

1

V39

ACM Symposium on Cloud Computing

1

V40

International Workshop on Semantic Web Information Management

1

V41

IEEE Latin America Conference on Cloud Computing and Communications

1

V42

International Conference on Innovative Computing and Cloud Computing

1

V43

NETWORKING

1

V44

Communications in Computer and Information Science

1

V45

IEEE Latin American Conference on Cloud Computing and Communications

1

V46

International Symposium on Parallel & Distributed Processing

1

V47

Journal of Cloud Computing: Advances, Systems and Applications

1

111

V48

ACM Cloud and Autonomic Computing Conference

1

V49

International Conference on Big Data

1

V50

ACM/SPEC International Conference on Performance Engineering

1

V51

Software Engineering for Self-Adaptive Systems II

1

V52

International Workshop on Data Intensive Distributed Computing

1

Tabela C.1: Lista das venues identificadas e ordem de quantidade de publicação

113

D
Grupos de Pesquisa Identificados
O objetivo este apêndice é apresentar a lista dos grupos de pesquisas identificados através
dos estudos selecionados nesta pesquisa, de forma à colaborar com pesquisas futuras sobre
experimentação em elasticidade na computação em nuvem.
Instituição

Publicações

Tipo

País

Technische Universität Dresden

4

Academia

Alemanha

University of New South Wales

4

Academia

Austrália

Carleton University

2

Academia

Canadá

Universidade Federal do Ceará

3

Academia

Brasil

Imperial College London

2

Academia

Reino Unido

INRIA Centre Rennes

2

Pesquisa

França

Universidade do Minho

2

Academia

Portugal

Alcatel-Lucent Bell Labs

1

Pesquisa

Bélgica

Argonne National Laboratory

1

Pesquisa

Estados Unidos

Arizona State University

1

Academia

Estados Unidos

Canonical Ltd

1

Indústria

Reino Unido

Carnegie Mellon University

1

Academia

Estados Unidos

Central University of Rajasthan

1

Academia

India

Chinese Academy of Sciences

1

Academia

China

Dublin City University

1

Academia

Irlanda

Duke University

1

Academia

Estados Unidos

Edinburgh Napier Universit

1

Academia

Reino Unido

Universidade Federal do Paraná

1

Academia

Brasil

Fraunhofer FOKUS Institute

1

Pesquisa

Alemanha

George Mason University

1

Academia

Estados Unidos

HASLab - INESC TEC

1

Pesquisa

Portugal

Hohai University

1

Academia

China

IBM China Development Lab

1

Pesquisa

China

114

APÊNDICE D. GRUPOS DE PESQUISA IDENTIFICADOS

IBM Research

1

Pesquisa

Estados Unidos

IBM Research Zurich Lab

1

Pesquisa

Suíça

IBM Toronto Software Lab

1

Pesquisa

Canadá

IBM Watson Research Center

1

Pesquisa

Estados Unidos

IIT Madras

1

Academia

India

Institut Mines-Telecom

1

Pesquisa

França

Intel Labs

1

Pesquisa

Estados Unidos

KTH Royal Institute of Technology

1

Academia

Suécia

LNM Institute of Information Technology

1

Pesquisa

India

Mines-Nantes

1

Pesquisa

França

National ICT Australia

1

Pesquisa

Austrália

National Technical University of Athens

1

Academia

Grécia

National University of Defense Technology

2

Academia

China

Ohio State University

1

Academia

Estados Unidos

Peking University

1

Academia

China

Potsdam University

1

Academia

Alemanha

San Jose State University

1

Academia

Estados Unidos

SAP AG

1

Indústria

Alemanha

Shanghai University

1

Academia

China

SIGMA Informatique

1

Indústria

França

Tsinghua University

1

Academia

China

Umea University

1

Academia

Suécia

Universidad Complutense de Madrid

1

Academia

Espanha

Universidad Politecnica de Madrid

1

Academia

Espanha

Universidade Federal de Campina Grande

1

Academia

Brasil

Universidade Federal de Pernambuco

1

Academia

Brasil

Universidade Federal do ABC

1

Academia

Brasil

Universitat Rovira i Virgili

1

Academia

Espanha

Université de Neuchâtel

1

Academia

Suíça

University Montpellier

1

Academia

França

University of Alberta

1

Academia

Canadá

University of California

2

Academia

Estados Unidos

University of Chicago

1

Academia

Estados Unidos

University of Evry Val d’Essonne

1

Academia

França

University of Hawai‘i

1

Academia

Estados Unidos

University of Lugano

1

Academia

Suíça

University of Massachusetts

1

Academia

Estados Unidos

115

University of Southern California

1

Academia

Estados Unidos

University of St Andrews

1

Academia

Reino Unido

University of Technology Sydney

1

Academia

Austrália

Vienna University of Technology

1

Academia

Áustria

Vrije Universiteit Brussel

1

Academia

Bélgica

Washington State University

1

Academia

Estados Unidos

Yahoo! Research

1

Pesquisa

Estados Unidos

York University

1

Academia

Canadá

Tabela D.1: Lista dos grupos de pesquisa identificados

117

E
Autores Envolvidos
A informação apresentada neste apêndice é refere-se à lista dos autores identificados na
pesquisa. Mais informações detalhadas podem ser encontradas na seção 4.2 .
Autores

Estudos

Fetzer, C.

3

Venugopal, S.

3

Ajila, S.A.

2

Da Silva, T.L.C.

2

MacHado, J.C.

2

Martin, A.

2

Matos, M.

2

Morin, C.

2

Nascimento, A.M.

2

Nikravesh, A.Y.

2

Oliveira, R.

2

Sousa, F.R.C

2

Vilaça, R.

2

Aakash Ahmad

1

Adam Silberstein

1

Agrawal, G.

1

Al-Shishtawy, A.

1

Alan Fekete

1

Aldhalaan A.

1

Alexey Tumanov

1

Amr El Abbadi

1

Amziani, M.

1

Anna Liu

1

Arman, A.

1

118

APÊNDICE E. AUTORES ENVOLVIDOS

Arora, V.

1

Azevedo, E.

1

Barazzutti, R.

1

Barker A.

1

Beernaert, L.

1

Bin Sun

1

Binder, W.

1

Bjorkqvist, M

1

Bona L.C.E.

1

Brian F. Cooper

1

Brito, A.

1

Bunch, C.

1

Casalicchio E.

1

Chen, L.Y.

1

Chen, Q.

1

Chiu, D.

1

Chohan, N.

1

Chokhani, P.

1

Chung-Horng Lung

1

Claudio Forlivesi

1

Claus Pahl

1

Costache, S.

1

Cristian Cotes

1

Cruz, F.

1

Da Wei Zhang

1

Dantas, R.

1

Daoning Ren

1

Daren Fang

1

Dawoud W.

1

de Oliveira, F.A.

1

Dias, C.

1

Dimitrios Tsoumakos

1

Divyakant Agrawal

1

Du Dajun

1

Dupont, S.

1

Dustdar, S.a

1

Elie Krevat

1

119

Elmroth, E.

1

Erwin Tam

1

Evangelos Angelou

1

Fei Minrui

1

Felber, P.

1

Feller, E.

1

Fernandes, S.

1

Ferreira Coutinho, E.

1

Galante G.

1

Gao, J.

1

Ghanbari H.

1

Ghanem M.M.

1

Ghanem, M.M.

1

Goncalves Gomes, D.

1

Gregory R. Ganger

1

Guangquan Zhang

1

Gulisano, V.

1

Guo L.

1

Guo Y.

1

Guodong Long

1

Hall, B.

1

Han Li

1

Han R.

1

Harold C. Lim

1

Hegde, S.

1

Heinze, T.

1

Heng Wu

1

Hoenisch, P.a

1

Hongji Yang

1

Hu Wang

1

Huangke Chen

1

Ioannis Konstantinou

1

Iszlai G.

1

James Cipar

1

Janwillem Swalens

1

Jeffrey S. Chase

1

Jerzak, Z.

1

120

APÊNDICE E. AUTORES ENVOLVIDOS

Jianghan Zhu

1

Jianhua Zhang

1

Jianjiang Wang

1

Jie Lu

1

Jiménez-Peris, R.

1

Jing Jiang

1

John Lenton

1

Jun Wei

1

Kai Ding

1

Kamienski, C.

1

Keahey, K.

1

Kevin Lee

1

Koen Daenen

1

Kortas, S.

1

Kouki, Y.

1

Krintz, C.

1

Ledoux, T.

1

Li Guo

1

Lianghong Xu

1

Liaskos S.

1

Lin Liu

1

Lipyeow Lim

1

Litoiu M.

1

Llorente I.M.

1

Lode Hoste

1

Lung, C.-H.

1

Ma, X.

1

MaCedo J.A.F.

1

MaCedo, J.A.F.

1

Magedanz, T.

1

Maia, F.

1

Marc Sanchez-Artigas

1

Margery, D.

1

Meinel C.

1

Melliti, T.

1

Menasce D.A.

1

Michael A. Kozuch

1

121

Montero R.S.

1

Moreno-Vozmediano R.

1

Nectarios Koziris

1

Neuman de Souza, J.

1

Nico Janssens

1

Nicolae, B.

1

Nikolaos Papailiou

1

Nitin Gupta

1

Onica, E.

1

Osmond M.

1

Parlavantzas, N.

1

Pasin, M.

1

Pasumarthy, R.

1

Patiño-Martínez, M.

1

Pattabhiraman, P.

1

Paulo, J.

1

Pedro Garcia Lopez

1

Pereira, J.

1

Pooyan Jamshidi

1

Prasanna, V.K.

1

Raghu Ramakrishnan

1

Ray, P.

1

Redekopp, M.

1

Riteau, P.

1

Riviere, E.

1

Rohr, C.

1

Rui Han

1

Russell Sears

1

Sadeka Islam

1

Sadok, D.

1

Sahu, S.

1

SaiKrishna, P.S.

1

Schreiner, F.

1

Schulte, S.a

1

Sergi Toda

1

Shaikh, A.

1

Shenoy, P.

1

122

APÊNDICE E. AUTORES ENVOLVIDOS

Shetty, A.

1

Shivnath Babu

1

Simmhan, Y.

1

Simmons B.

1

Simoes, R.

1

Somani, G.

1

Song Yang

1

Song, W.

1

Soriente, C.

1

Srivastava, A.

1

Stefan Marr

1

Sudipto Das

1

Suleiman, B.

1

Takouna I.

1

Tao Huang

1

Tata, S.

1

Thierry Renaux

1

Tordsson, J.

1

Tsai, W.T.

1

Upendra Sharma

1

Valduriez, P.

1

Vlassov, V.

1

Wang, Y.

1

Ward J.S.

1

Wenbo Zhang

1

Wolfgang De Meuter

1

Wubin Li

1

Tabela E.1: Listagem dos autores identificados e as respectivas quantidades de publicações

123

F
Protocolo do Mapeamento Sistemático
F.1

Introdução

No âmbito da computação em nuvem autores apontam dificuldades na avaliação da
qualidade, interpretação, generalização e validade dos resultados por causa da completude e
superficialidade das informações reportadas pelos estudos realizados (DURAO et al., 2014; LI
et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a).
Também é apontada por MARTENS; TEUTEBERG (2011) a necessidade de se aumentar a
utilização de métodos empíricos na computação em nuvem para facilitar a transferência de
tencologias entre academia e industria. Para tal, é necessária uma melhoria substâncial no
relato dos estudos empíricos para se possa utilizar mais efetivamente os resultados já alcançados.
SILVA; ROSE; CALINESCU (2013b), aponta em sua revisão sistemática que dentre os estudos
avaliados apenas 2% deles apresentou suas perguntas de pesquisa. LI et al. (2013). também
criticam a qualidade das informações apresentadas pelos estudos. DURAO et al. (2014). fala
que os relatos apresentam informações insuficientes sobre o contexto das avaliações, ambiente e
procedimentos metodológicos, prejudicando à interpretação e avaliação das evidências.
Em geral, no contexto da engenharia de software experimental, autores também apontam
insuficiências no relato de todos os tipos de informações avaliadas em experimentos. Tais
problemas incluem relatórios incompletos, informações reportadas em diferentes seções do
relato e falta de utilização de uma terminologia consistente. MACDONELL; SHEPPERD (2007)
também enfatiza a necessidade de melhorar a forma como os estudos são publicados, através
de uma forma consistente, utilizando resumos estruturados, títulos significativos e esquemas
de palavras-chave. SMITE et al. (2008) recomenda também que os relatos devem ser mais
consistentes. Em estudo sistemático realizado DYBÅ; KAMPENES; SJØ BERG (2006) relatam
dificuldades em avaliar o poder estatístico dos estudos pois em 67% deles era possível identificar
quais testes foram realizados para avaliar hipóteses.
Apesar de vários autores apontarem problemas relacionados à completude dos relatos
dos estudos empíricos na CN, até o momento nenhum estudo apresentou uma visão holística dos
problemas existentes. Motivado pela necessidade de se produzir melhores evidências de estudos

124

APÊNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMÁTICO

empíricos na CN, e como um primeiro esforço neste sentido, o presente trabalho se propõe a:
identificar os experimentos em elasticidade na computação em nuvem, caracterizá-los e, através
de guias existentes na literatura da engenharia de software experimental, avaliá-los quanto a
completude de seus relatos.

F.2

Necessidade do Estudo Secundário

A necessidade do estudo envolve a identificação e caracterização dos Experimentos
realizados em Elasticidade na CN, com o intuito de analisar a completude de seus Relatórios
baseado em guidelines existentes na literatura da Engenharia de Software Experimental. O
estudo proposto está completamente direcionado à análise do relatório e não do Experimento
realizado. Para demonstrar que não existia na literatura uma avaliação semelhante realizamos
buscas em julho de 2014 nos engenhos IEEExplorer1 , Scopus2 , ACM3 e Google Acadêmico4
através da string de busca presente na Tabela F.1:

(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-a-Service <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR> SaaS <OR>
Software-as-a-Service"<OR> Software as a Service)
[AND]
(Systematic Literature Review <OR> Systematic Review <OR> SLR <OR> Systematic
Mapping <OR> Literature Survey <OR> Research Review <OR> Research Synthesis
<OR> Secondary Study)

Tabela F.1: String de Busca para identificar estudos secundários existentes
Nenhum dos estudos encontrados estava relacionado às perguntas de pesquisa. Considerando a importância de uma apresentação sistemática e padronizada dos relatos de experimentos
e as evidências da literatura que apontam problemas em sua completude, tornam-se oportunas a
consolidação e análise propostas neste estudo de revisão.

F.3

Pesquisadores Envolvidos

A etapa de busca, a primeira etapa de seleção dos estudos, bem como a síntese, foram
executados exclusivamente pela pesquisara Helaine Barreiros. A segunda etapa de seleção dos
1 http://ieeexplore.ieee.org/
2 http://www.scopus.com/
3 http://dl.acm.org/
4 http://scholar.google.com/

F.4. ESCOPO DO ESTUDO

125

estudos será realizada com a participação de oito pesquisadores configurados em dez duplas.
A etapa de extração de dados e aplicação do instrumento de coleta será executada por dois
pesquisadores.
Todo o processo será realizado sob a supervisão do orientador Professor Doutor Vinicius
Garcia e co-orientador Professor Doutor Sergio Soares. A equipe envolvida na pesquisa é
apresentada na Tabela F.2
Dupla

Revisor 1

Especialidade
CN
ESBE

Revisor 2

D1

Andreza Leite (AL)

D2

Michael França (MF)

ESBE

Juliana Saraiva (JS)

D3

Eudis Teixeira (ET)

ESBE
ESE

Helaine Barreiros

D4

Alex Nery (AN)

D5

Gert Uchôa (GU)

D6

Diogo Vinícius (DV)

D7

Vinicius Garcia (VG)

D8

Emanoel Barreiros (EB)

D9

Liliane Fonseca

D10

Vilmar Nepomuceno (VN)

ESBE
ESE
CN
CN
ESBE
CN
ESBE
ESE
ESBE
ESE
ESBE
ESE
ESBE
ESE

Marco Machado (MM)

Vilmar Nepomuceno
José Fernando (JF)
Leandro Marques (LM)
Emanoel Barreiros (EB)
Thiago Jamir (TJ)
Samuel Romeiro (SR)
Adauto Trigueiro (AT)

Especialidade
CN
ESBE
ESBE
ESE
CN
ESBE
ESE
ESBE
ESE
CN
CN
ESBE
ESBE
ESE
CN
ESBE
ESBE
ESE
ESBE
ESE

Tabela F.2: Configuração da equipes e pesquisadores participantes

F.4

Escopo do Estudo

Já que este estudo envolve a pesquisa sistemática em computação em nuvem, a população
do estudo é composta por todos os artigos que reportaram experimentos em elasticidade em
computação em nuvem. O universo de estudos primários deverá ser obtido através da execução
de buscas manuais e automatizadas, detalhadas na Seção F.6.
Este mapeamento está interessado apenas em estudos que tenham reportado experimentos
que avaliem a característica de elasticidade da computação em nuvem. Entretanto, a busca
deve ser ampla o suficiente para reduzir o risco de não selecionar estudos relevantes que não
tenham sido reportados claramente como experimentos (usando termos não padrões da área de
experimentos), algo comum na área.

126

APÊNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMÁTICO

É esperado que os resultados do mapeamento contribuam com o conhecimento da
área através da agregação da informação. Embora a maior parte dos artigos científicos sejam
publicados por instituições da academia, acredita-se que um número razoável de estudos são
realizados pela indústria e laboratórios de pesquisa especializados. Desta forma, o contexto
do presente trabalho pode ser considerado majoritariamente acadêmico, mas não é possível
desprezar seu apelo industrial, evidenciado pelos dados (principalmente organizações dos autores)
encontrados por este trabalho.

F.5

Questões de Pesquisa

O presente estudo secundário objetiva pesquisar a literatura e mapear estudos primários
que realizam experimentos em elasticidade em computação em nuvem. Ainda, também é objetivo
deste estudo avaliar a completude destes trabalhos através de um instrumento elaborado a partir
de um guia para o relatório de experimentos em engenharia de software, uma vez que não existe
tal instrumento para computação em nuvem. As perguntas de pesquisa a serem respondidas são: 

QP1 - Quão completos são os relatos de experimentos em elasticidade na computação
em nuvem?    

SQP1 - O título permite que o leitor identifique que o estudo é um relato
de experimento?
SQP2 - Informações importantes do resumo como motivação, objetivos,
métodos, resultados, limitações e conclusões da pesquisa são relatadas?
SQP3 - A introdução do relato apresenta referências à declaração do
problema, objetivos e contexto da pesquisa?
SQP4 - A fundamentação informa sobre a tecnologia em investigação, às
possíveis opções alternativas a ela, pesquisas relacionadas e a relevância
para a prática? 

SQP5 - O relato apresenta informações sobre o planejamento da pesquisa? 

SQP6 - O relato detalha a análise dos dados da pesquisa?  

SQP7 - Os resultados, suas implicações e ameaças à validade são relatados?
SQP8 - As conclusões do estudo apresentam um resumo conciso da pesquisa, seus impactos e trabalhos futuros?

KITCHENHAM; CHARTERS (2007) orienta a utilização da esturtura PICOC para
descrever os cinco elementos que compõem as perguntas de pesquisa (PETTICREW; ROBERTS,
2008):

F.6. PROCESSO DE BUSCA 

Population (População): Quem são os participantes/população de interesse? 

Intervention (Intervenção): As intervenções a serem aplicadas? 

Compration (Comparação): O tipo de comparação a ser feita. 

Outcome (Resultados): Quais os resultados de interesse? 

Context (Contexto): Contexto da pesquisa.

127

No entanto a utilização desta estrutura é mais conveniente quando aplicada à questões de
pesquisa mais específicas como as presentes em RSL. Como as pergunta de pesquisa do presente
estudo são de caráter amplo e exploratório seu uso neste trabalho não se justifica.

F.6

Processo de Busca

.
O processo de busca de um estudo sistemático deve ser rigoroso e imparcial, capaz de
permitir que a maior quantidade de estudos primários relacionados às perguntas de pesquisa
sejam encontrados (DICKERSIN; SCHERER; LEFEBVRE, 1994). Na prática, a identificação de
estudos primários pode ser difícil por várias razões como por exemplo: estratégia inadequada de
pesquisa, heterogeneidade da linguagem, limitações dos termos de indexação, entre outras. Uma
estratégia de pesquisa ideal deve atender aos seguintes questionamentos relativos ao processo de
busca (ZHANG; BABAR; TELL, 2011):    

Que abordagem será utilizada no processo de busca (Exemplo: manual ou automática)?
Onde pesquisar e em que parte do artigo deve ser feita a busca? (Exemplo: resumo,
palavra chave)
O quê deve ser procurado e quais a strings de pesquisa serão utilizadas nos engenhos
de busca?
Qual é o intervalo de tempo a ser pesquisado?

Na intenção de avaliar o máximo número possível de estudos em um intervalo de tempo
relativamente curto, alguns engines de busca devem ser utilizados: 

IEEEXplore Digital Library 5 ; 

ACM Digital Library 6 ;

5 http://ieeexplore.ieee.org
6 http://portal.acm.org

128

APÊNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMÁTICO 

Elsevier Scopus 7 ; 

Springer Link 8 .

A busca manual deve ser utilizada como estratégia para ampliar a cobertura da pesquisa
e tentar reduzir o risco de não selecionar estudos relevantes que por ventura ainda não estejam
indexados pelos engenhos. Devem ser utilizadas fontes de dados as principais conferências
e periódicos da engenharia de software empírica e da computação em nuvem, devidamente
escolhidas através da consulta a especialistas da área:  

EASE – International Conference on Evaluation and Assessment in Software Engineering (2006 a 2014);
ESEM – International Symposium on Empirical Software Engineering and Measurement (2007 a 2014); 

ESEJ – Empirical Software Engineering Journal (2006 a 2014); 

CLOUD – IEEE International Conference on Cloud Computing (2009 a 2014);  

CLOUDCOM – IEEE International Conference on Cloud Computing Technology
and Science (2010 a 2014);
TPDS – IEEE Transactions on Parallel and Distributed Systems (2006 a 2014).

Pesquisadores reportam que buscas automatizadas são falhas em alguns pontos importantes (BRERETON et al., 2007; KEELE, 2007), logo, é importante não apenas confiar em tais
mecanismos, com o intuito de reduzir os riscos de não selecionar estudos relevantes.
Os termos relevantes identificados foram os seguintes: 

Computação em Nuvem: could computing, cloud platform, cloud service, cloud
provider, PaaS, SaaS, IaaS, platform as a service, platform-as-a-service, software as a
service, software-as-a-service, infrastructure as a service, infrastructure-as-a-service; 

Elasticidade: elasticity; 

Experimento: experiment, evaluate, evaluation, evaluating, benchmark;

Algumas palavras chave podem parecer não estar relacionadas a experimentos, mas elas
foram escolhidas, novamente, na tentativa de não excluir sem avaliação estudos que realizam
experimentos mas não se classificam como tal. Infelizmente, este fato ainda ocorre na área de
computação em nuvem. Uma string de busca foi então elaborada para ser aplicada nos engenhos
de busca escolhidos:
7 http://www.scopus.com
8 http://link.springer.com

F.7. PROCESSO DE SELEÇÃO

129

(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud
Provider <OR> PaaS <OR> Platform as a Service <OR> Platform-as-aService <OR> IaaS <OR> Infrastructure as a Service <OR> Infrastructureas-a-Service <OR> SaaS <OR> Software-as-a-Service<OR> Software as a
Service)
[AND] (Elasticity)
[AND] (Experiment OR Evaluate <OR> Evaluation OR Evaluating <OR>
Benchmark)

F.6.1

Critérios de Inclusão e Exclusão

Um detalhe importante a considerar é a inclusão e exclusão de artigos. O pesquisador
deve ser muito cuidadoso quando analisa as palavras-chave, título e resumo, pois a análise mal
conduzida pode levar à exclusão indevida de estudos potencialmente relevantes. No presente
mapeamento, todos os estudos que estão claramente foram do escopo devem ser removidos no
início do processo baseando-se na análise das palavras-chave, título e resumo. Após a seleção
inicial, a versão completa de cada artigo deve ser recuperada para que uma análise mais detalhada
possa ser realizada. Os critérios listados na Tabela F.3 devem ser aplicados com a itenção de
remover estudos irrelevantes.
Código
C01
C02
C03
C04
C05
C06
C07
C08
C09
C10
C11

Critérios de Exclusão
O arquivo não corresponde ao Estudo. (Ex: índice)
O arquivo não é um Estudo. (Ex: proceedings, editorial)
O Estudo é duplicado.
O Estudo é um slideshow ou resumo expandido.
O Estudo está fora do intervalo de avaliação.
O Estudo está relacionado à Elasticidade mas não relata um Experimento.
O Estudo está relacionado à Elasticidade, reporta um Experimento porém não
avalia Elasticidade.
O Estudo não está disponível.
O Estudo não está em inglês.
O Estudo não está relacionado à Computação em Nuvem.
O Estudo não está relacionado à Elasticidade na Computação em Nuvem.
Tabela F.3: Lista dos Critérios de Exclusão em ordem alfabética.

F.7

Processo de Seleção
O processo de seleção é detalhado a seguir:
1. O pesquisador utiliza os engenhos de busca e aplica a string de busca como um filtro.
As buscas manuais também são realizadas. Neste segundo caso, todos os estudos
são incluídos para avaliação de título, palavras-chave e resumo. Como resultado,

130

APÊNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMÁTICO
uma lista de estudos primários potencialmente relevantes são gerados. Neste passo
muitos estudos podem ser retornados e muitos estudos não relacionados ao tópico de
interesse da pesquisa pode estar entre os artigos retornados. Todos os estudos que
estão claramente fora do escopo do trabalho são removidos após a avaliação do título,
palavras-chave e resumo. Não são mantidos registros dos estudos removidos nesta
etapa. Todos os estudos devem ser avaliados por pelo menos dois pesquisadores para
evitar o viés de avaliação;
2. A lista de artigos gerada pelos pesquisadores é comparada com a lista final criada. Caso existam discordâncias na decisão de incluir ou remover um artigo do
mapeamento, ele é mantido para evitar a remoção de um estudo potencialmente
relevante;
3. Cada artigo na lista é obtido e avaliado pelos pesquisadores. Nesta fase, todo o
artigo é avaliado. Os critérios de inclusão são aplicados. Todos os estudos devem ser
avaliados por pelo menos dois pesquisadores;
4. O conjunto final de estudos é documentado.

Foi criado um instrumento, com base em guia existente na literatura, para se avaliar a
completude dos relatos. O respectivo formulário e suas orientaçoes de utilização estão detlhados
na Seção H. Sempre que estudos devem ser avaliados, discordâncias referentes a sua permanência
no mapeamento podem surgir uma vez que mais de um pesquisador avalia cada artigo.
Cada revisor deverá analisar a lista de estudos na ferramenta ExtractViewer e registrar as
informações pertinentes. Após a avaliação, a ferramenta cria um relatório descrevendo os estudos
que foram incluídos e excluídos e identifica os conflitos a serem resolvidos. Eventualmente
conflitos devem ser resolvidos em uma reunião com a presença dos integrantes do time. Cada
integrante deve apresentar sua opinião defendendo a inclusão ou exclusão. Os resultados
desta reunião deverão ser registrados na ferramenta ExtractViewer. É uma boa prática ter um
pesquisador sênior supervisionando as reuniões de resolução de conflitos para auxiliar na sua
condução e atuar como voto de minerva caso os avaliadores não cheguem a um acordo.
F.7.0.0.1 Avaliação da Qualidade Nos estudos de revisão sistemática é comum se avaliar
a qualidade dos estudos que foram incluídos na pesquisa através da aplicação dos critérios de
inclusão/exclusão. Tal avaliação é complementar ao processo de aplicação dos critérios e tem
como objetivo avaliar a qualidade dos estudos segundo três aspectos: (i) viés, (ii) validade interna
e (iii) validade externa. Através deste instrumento o pesquisador pode, por exemplo, decidir um
critério mínimo para que o estudo seja incluído na pesquisa.
Uma vez que no presente trabalho deseja-se contruir uma visão panorâmica da atual
situação dos relatos dos experimentos é interessante que todos os estudos que atendam o critério
de inclusão/exclusão sejam incluídos para análise. Assim sendo, a análise de qualidade dos

F.8. PROCESSO DE SÍNTESE

131

estudos selacionados não foi realizada, uma vez que a inclusão do maior número de estudos pode
contribuir potencialmente para a formação de uma visão ampla.

F.8

Processo de Síntese

Em particular, os dados coletados deverão ser distinguidos entre metadados das publicações e dados sobre o relato dos experimentos em elasticidade. Os metadados devem ser
utilizados principalmente para realizar uma investigação estatística dos estudos selecionados,
enquanto os dados de relato dos experimentos devem ser analisads com o objetivo de responder
às questões de pesquisa.

133

G
Ferramenta ExtractViewer
O intuito deste apêndice é apresentar uma breve descrição da ferramenta ExtractViewer
que foi desenvolvida e utilizada neste trabalho de mapeamento sistemático.

G.1

Contexto

É conhecido pela comunidade o quão intensivo é o processo de avaliação sistemática
de estudos e a importância de se ter um suporte ferramental que apoie o desenvolvimento da
pesquisa. Entretanto, sabe-se que o conjunto de ferramentas existentes ainda não fornecem
um apoio completo a todo o processo de um estudo sistemático em um ambiente de trabalho
completamente distribuído (MARSHALL; BRERETON; KITCHENHAM, 2014). Através destas
dificuldades, vivenciadas na prática durante a realização deste estudo sistemático, que surgiu a
ferramenta ExtractViewer.

G.2

Propósito da Ferramenta

A ferramenta ExtractViewer1 foi fundamental para acelerar e apoiar a execução das
atividades do processo de mapeamento sistemático, além de diminuir a propensão à erros,
naturalmente advindos de processos manuais e repetitivos. O conjunto de features inicialmente
desenvolvidos da ferramenta permitiu: (i) importar os resultados do processo de busca, (ii)
acessar facilmente os arquivos dos estudos, (iii) aplicar os critérios de inclusão e exclusão, (iv)
identificar conflitos e resolvê-los e (vi) extrair dados da pesquisa.
O sistema foi concebido de modo a permitir que todas estas atividades pudessem ser
realizadas de forma distribuída, proporcionando mais velocidade na conclusão desta etapa do
estudo. Foram disponibilizados, além do acesso aos arquivos dos estudos, todas as informações
de metadados obtidas, de forma a assitir o processo de seleção: título, autor, ano, resumo, conferência e engenho de busca. Também foi permitido aos revisores registrar todas as observações
1 https://subversion.assembla.com/svn/assert-cloud/mapping-application-web

134

APÊNDICE G. FERRAMENTA EXTRACTVIEWER

que julgassem relevantes durante suas análises, o que posterioremente apoiou a resolução de
conflitos e análise dos estudos.

G.3

Tecnologias Utilizadas

A ferramenta vem sendo desenvolvida na linguagem Java para web, proporcionando aos
pesquisadores um ambiente de trabalho distribuído e acessível através da internet. A camada de
apresentação foi desenvolvida em JSF utilizado o framework Primefaces. A camada de acesso
à dados foi implementada utilizado o framework Hibernate e banco de dados PostgreSQL. O
framework Apache POI foi utilizado no desenvolvimento de alguns relatórios em formato de
planiha Excel.
Toda a arquitetura da aplicação foi desenvolvida utilizando o framework de aplicação
Spring em todas as camadas do sistema. Foi utilizado o container de servlets Apache Tomcat para
publicação do sistema. O projeto de desenvolvimento foi construído utilizando a IDE Eclipse e o
código-fonte do projeto está disponível no repositório Assembla.

G.4

Telas do Sistema

A seguir são apresentadas, respectivamente, na Figura G.1 e Figura G.2 algumas das
telas do ambiente do revisor para a visualização da lista de artigos a serem analisados e de análise
dos estudos.

Figura G.1 Ambiente do Revisor: listagem de estudos para revisão

G.4. TELAS DO SISTEMA

Figura G.2 Tela de análise de estudos no ExtractViewer

135

137

H
Instrumento de Coleta
O presente instrumento tem como objetivo aferir, no relatos dos experimentos, o grau do
que denominamos completude: o quão completas são as informações relacionadas à metodologia
e conclusões dos estudos segundo às diretrizes e orientações estabelecidas para se reportar
experimentos na engenharia de software experimental, de acordo com o guia de JEDLITSCHKA;
CIOLKOWSKI; PFAHL (2008).
O instrumento proposto contempla quase que na íntegra as orientações do guia, excluindo
apenas trechos relacionados à experimentos com participantes humanos que não faziam sentido
para o contexto dos experimentos da computação em nuvem. O mesmo foi dividido em seções,
cada uma delas correspondendo às seções esperadas em um relatório de experimento segundo o
guia: Título, Autoria, Resumo, Introdução, Fundamentação, Planejamento, Análises, Discussão,
Conclusão e Trabalhos Futuros (contabilizados como uma seção) e Apêndices.
Para cada seção há um conjunto de perguntas (51 no total) onde para cada uma delas a
pontuação alcançada é de 0,0 pontos caso a resposta para a pergunta seja NÃO, 0,5 ponto caso a
resposta para a pergunta seja PARCIALMENTE, e 1,0 ponto caso a resposta para a pergunta
seja SIM. A seguir cada seção do instrumento será detalhada juntamente com as perguntas
correspondentes e seus objetivos.
Vale ressaltar que embora o instrumento indique que cada informação deva estar presente
em uma seção específica, este tipo de exigência não foi feita durante a extração dos dados, pois
foi obsevado que pouquíssimos estudos apresentavam as seções como foram especificadas no
presente instrumento, o que faria com que a nota dos mesmos fosse muito reduzida mesmo
quando eles apresentassem as informações requeridas pelo instrumento. Dessa forma, decidiu-se
ser flexível neste quesito e considerar a informação onde quer que ela estivesse presente no artigo.
Foi-se mais rigoroso em relação à localização das informações apenas na seção de resumo.

H.0.1

Título

Segundo o guia espera-se que o título do trabalho seja informativo, transmitindo o
máximo de informação de maneira direta, simples e objetiva. Desta forma é sugerido que no
título do relato de experimento, o autor: (i) utilize-se o termo “experimento”, (ii) indique o

138

APÊNDICE H. INSTRUMENTO DE COLETA

“tratamento” que está sendo aplicado no experimento e (iii) apresente as variáveis dependentes.
Com base nestas orientações foram criadas no instrumento de coleta as seguintes perguntas: 

1.1 O título apresenta o termo “experimento”? 

1.2 O título apresenta o(s) tratamento(s) utilizado(s) no experimento? 

1.3 O título apresenta a(s) variável(is) dependente(s) do experimento?

Em relação à presença o termo “experimento” é bastante intuitiva, pois facilmente
transmite ao potencial leitor a informação de que aquele estudo realiza um experimento. Esta
informação é bastante importante. Além disso, espera-se que os trabalhos também apresentem os
tratamentos utilizados no experimento e as variáveis dependentes sendo medidas. Por exemplo,
o título a seguir, do estudo EPS7 é interessante pois informa o tratamento utilizado: Adaptive
Load Balancing Algorithm Based on Prediction Model in Cloud Computing. No entanto, não
apresenta a variável dependente sendo medida. Neste caso, poderia-se medir o tempo de resposta
do algoritmo, a precisão do modelo de predição, por exemplo.

H.0.2

Autoria

Esta seção visa identificar se o estudo fornece informações de contato dos autores.
Apenas uma pergunta faz parte desta seção: 

2.1 As informações de contato dos autores foi apresentada?

Neste item, se pelo menos os nomes, instituições e emails forem fornecidos, o estudo
sendo avaliado recebe 1,0 ponto. Caso o estudo deixe de apresentar algumas dessas informações,
ele recebe 0,5. Caso não forneça nenhuma das informações acima, ele recebe 0,0 pontos.

H.0.3

Resumo

Esta seção é uma das mais importantes do instrumento, pois trata de uma das poucas
seções utilizadas pelos potenciais leitores para decidirem se o estudo em questão é de seu
interesse ou não. Esta seção possui treze perguntas, divididas em seis subseções: 

Fundamentação  

3.1.1 Apresenta a motivação da pesquisa?

Objetivo 

3.2.1 Descreve o objetivo da pesquisa? 

3.2.2 1Apresenta o objeto estudado? 

3.2.3 Define o foco da pesquisa?

139   

3.2.4 Apresenta qual é a perspectiva (ponto de vista)? 

3.3.1 Descreve o método da pesquisa? 

3.3.2 Apresenta o desenho experimental? 

3.3.3 Apresenta os critérios de seleção? 

3.3.4 Descreve a coleta de dados? 

3.3.5 Aborda os procedimentos de análise?

Método

Resultados  

Limitações  

3.4.1 Apresenta os principais achados da pesquisa?

3.5.1 Apresenta as principais limitações da pesquisa?

Conclusão 

3.6.1 Apresenta o impacto dos resultados?

O item que identifica se o resumo apresenta a motivação e o objetivo da pesquisa são
auto-explicativas. A pergunta que tenta reconhecer o objeto sendo estudado tenta identificar, por
exemplo, a tecnologia, técnica, algoritmos, ferramentas sendo estudadas. O foco da pesquisa
tenta identificar em que aspecto do objeto estudado o trabalho tentou investigar, por exemplo,
desempenho, custo, melhoria de SLA. A pergunta que tenta identificar a perspectiva vai apontar,
quase sempre, se o estudo foi executado sob a ótica do cliente ou do provedor de serviço.
Sobre o método de pesquisa, espera-se que o estudo informe que realizou prioritariamente
um experimento. Em alguns casos, estudos podem, erradamente, reportar que realizaram estudo
de caso. Nesse caso, a pontuação atribuída é 1,0 ponto, pois pelo menos ele informou o método
utilizado para avaliação. O desenho experimental também deve ser informado, detalhando o
arranjo experimental, por exemplo com o tratamento, as variáveis dependentes e independentes.
Também prefere-se o resumo estruturado, comumente recomendado na engenharia de software
experimental, mas tal formato não foi exigido no presente instrumento.

H.0.4

Introdução

O principal propósito da introdução é motivar o leitor a ler todo o trabalho. Também
é papel da introdução expor o contexto em que a pesquisa foi desenvolvida e a definição do
problema estudado. Assim, o instrumento tenta identificar a presença destes itens através das
seguintes perguntas:

140

APÊNDICE H. INSTRUMENTO DE COLETA 

Formulação do Problema  

Objetivo da Pesquisa  

4.1.1 Apresenta o contexto da pesquisa?

4.2.1 Apresenta o problema da pesquisa?

Contexto da Pesquisa 

4.3.1 Apresenta o objetivo da pesquisa?

Os trechos a seguir foram extraídos de estudo EPS18. Um exemplo de um texto descrevendo o contexto da pesquisa pode ser encontrado abaixo:
[...]Plataformas de computação em nuvem tanto públicas (por exemplo.
Amazon EC2) como privadas estão ganhando aceitação como uma maneira
econômica de compartilhamento e gerenciamento de recursos de
computação. Na comunidade científica de computação, onde os usuários
precisam lidar com grandes quantidades de dados (terabytes e acima), a
gestão de grandes bases de dados paralelas em uma plataforma de
computação em nuvem é especialmente atraente dado o crescimento
exponencial dos dados científicos e os recursos fortemente limitados
(financeiros). Uma das principais vantagens de uma plataforma de
computação em nuvem é a capacidade dos usuários científicos poderem
pagar pelos recursos de computação que precisam, quando precisam. Para
aproveitar essa “elasticidade” proporcionada por uma plataforma de
computação em nuvem, um sistema de processamento paralelo SQL baseado
em nuvem precisa ser capaz de expandir e diminuir o número de nós de
banco de dados com facilidade. [...]
—NICOLAE ET AL.

O trecho a seguir, do mesmo artigo, relata o problema de pesquisa:
[...]Infelizmente, sistemas de processamento de SQL paralelo convencionais
são projetados para executar em um cluster dedicado com um número
relativamente fixo de máquinas. Alterar o número de máquinas requer uma
redistribuição do banco de dados paralela que envolve tipicamente um
processo maioritariamente manual para (1) Reparticionar os dados, (2)
mover os dados particionados para os nós corretos da base de dados e (3) o
carregamento dos dados particionados.[...]
—NICOLAE ET AL.

141
Novamente do mesmo artigo, o trecho a seguir relata o objetivo do trabalho:
[...]Neste artigo apresentamos um primeiro esforço para tratar o problema
de soporte de particionamento de dados elásticos em bancos de dados
DBMS paralelos baseados em nuvem.[...]
—NICOLAE ET AL.

H.0.5

Fundamentação

É importante para todos os tipos de leitores, sejam eles pesquisadores ou profissionais,
que tenham entendimento da fundamentação teórica por trás da pesquisa sendo reportada pelo
estudo sendo lido. Alguns autores sugerem que a seção de fundamentação seja dedicada
a este tema, o que também é proposto pelo presente instrumento de avaliação. Assim as
perguntas a seguir tentam identificar a presença do mínimo aceitável de informações na seção da
fundamentação:  

5.1.1 Descreve a tecnologia investigada?
5.1.2 Apresenta soluções alternativas ou compara tecnologias que tratam do mesmo
problema? 

5.1.3 Apresenta trabalhos relacionados? 

5.1.4 Apresenta a relevância para a prática?

A relevância para a prática pode ser identificada através da presença de informações que
descrevam o quão eficiente ou efetiva foi a aplicação da técnica na indústria.

H.0.6

Planejameto

Esta seção é mais extensa, dedicando-se a identificar o quão completo foi o planejamento
do experimento. As perguntas utilizadas pelo instrumento são as seguintes: 

Objetivos  

Unidades Experimentais  

6.1.1 Define os objetivos do experimento?

6.2.1 Descreve as unidades experimentais?

Materiais Experimentais 

6.3.1 Descreve os materiais experimentais?

142

APÊNDICE H. INSTRUMENTO DE COLETA 

Atividades   

Hipóteses, Parâmetros e Variáveis 

6.5.1 Apresenta as hipóteses? 

6.5.2 Apresenta as variáveis dependentes? 

6.5.3 Apresenta as variáveis independentes? 

6.5.4 Descreve as métricas?

Desenho Experimental   

6.4.1 Descreve as tarefas executadas?

6.6.1 Apresenta o desenho experimental?

Procedimentos 

6.7.1 Apresenta os instrumentos/materiais/ferramentas? 

6.7.2 Descreve os procedimentos de execução do experimento? 

6.7.3 Detalha como a coleta dos dados será realizada?

Procedimentos de Análise 

6.8.1 Descreve como a hipótese será testada?

As unidades experimentais dizem respeito aos participantes do experimento. No caso de
experimentos que envolvem participantes não-humanos, estes participantes são os equipamentos
utilizados para executar o experimento. Os materiais experimentais dizem respeito a todo o
material necessário para a execução do experimento, por exemplo, arquivos de configuração
necessários, questionários, checklists. Em relação às tarefas, basicamente estamos interessado
nos workloads sendo executados. As hipóteses devem estar relacionadas aos objetivos, onde
para cada objetivo, uma hipótese nula deve ser apresentada, juntamente com sua(s) hipótese(s)
alternativa(s). Variáveis dependentes dizem respeito às variáveis cujos valores serão medidos
pelo experimento, por exemplo o tempo de resposta de um determinado hypervisor. As variáveis
independentes são aquelas que estão sendo manipuladas e permitem a observação do efeito dessa
manipulação nas variáveis dependentes. Estão diretamente ligadas aos tratamentos utilizados
no experimento, por exemplo, um novo algoritmo preditivo a ser usado pelo hypervisor. É
importante também relatar o desenho experimental utilizado, justificando-o. No exemplo anterior, poderia-se usar o desenho de um fator e dois tratamentos, onde seria possível realizar a
comparação do desempenho do hypervisor utilizando um algoritmo tradicional e um algoritmo
novo desenvolvido.
Em relação aos instrumentos, materiais e ferramentas, espera-se que o pesquisador
relate todo o ferramental necessário para a execução do experimento. Por exemplo, se foi

143
necessária a implementação de alguma instrumentação para a execução dos testes, se foram
usados benchmarks. Em relação aos procedimentos de execução, o autor deve relatar quaisquer
alterações necessárias no sistema para execução do experimento, cronograma de realização, entre
outros. A coleta de dados também deve ser descrita. Pode ser feita, por exemplo, através de
programas específicos para coleta de dados da execução, através da utilização de APIs específicas
da plataforma onde o sistema está sendo executado, através de arquivos de log, etc. Por fim, é
importante relatar como as hipóteses serão testadas, quais testes estatísticos de hipóteses serão
necessários/adotados.

H.0.7

Análises

Na seção de análises os autores devem se preocupar em descrever como se procedeu
a análise dos dados e sua preparação. Para avaliar a completude neste quesito, as seguintes
perguntas foram utilizadas:  

Estatística Descritiva 

7.1.1 Apresenta os dados através de estatística descritiva? 

7.1.2 Disponibiliza os dados brutos da pesquisa?

Preparação dos Dados  

7.2.1 Apresenta como os dados foram preparados?

Teste de Hipótese 

7.3.1 Apresenta a forma como os dados foram avaliados? 

7.3.2 Mostra como o modelo de análise foi validado?

A estatística descritiva é aquela que está interessada em descrever e sumarizar um
conjunto de dados. As medidas normalmente usadas são as medidas de tendência central (média,
mediana e moda) e de dispersão (desvio padrão, variância, valores máximo e mínimo). Entendese que devido à natureza industrial do tema investigado pela presente pesquisa (elasticidade em
computação em nuvem), a disponibilização dos dados brutos da pesquisa é difícil, pois trata-se de
dados sensíveis, muitas vezes confidenciais, mas quando estes são disponibilizados, adicionam
boa credibilidade à pesquisa. Quaisquer preparação nos dados também devem ser relatadas,
incluindo (se propriado) quaisquer transformação nos dados, identificação de outliers e suas
potenciais remoções, tratamento de dados inexistentes (por exemplo, data points faltando em
séries temporais). As duas últimas perguntas da seção dizem respeito a como foi feita a avaliação
dos dados e se/como foram aplicados os testes estatísticos de hipótese.

144

H.0.8

APÊNDICE H. INSTRUMENTO DE COLETA

Discussão

Embora em muitos artigos a análise e discussão sejam apresentadas na mesma seção,
sugere-se que elas sejam feitas em seções distintas. Com o intuito de identificar a completude
dos trabalhos neste quesito, as seguintes perguntas foram elaboradas:  

Avaliação dos Resultados e Implicações 

8.1.1 Os resultados das avaliações são apresentados? 

8.1.2 Os resultados são relacionados a pesquisas anteriores?

Ameaças à validade  

Inferências  

8.2.1 As ameaças à validade foram direcionadas?

8.3.1 Os achados foram generalizados para um escopo mais abrangente?

Lições Aprendidas 

8.4.1 Apresenta experiências adquiridas durante a execução do experimento?

Ao contrário da seção de análises, que tem como objetivo mostrar os dados crus, a seção
de discussão deve interpretá-los. Pode incluir uma visão geral sobre os dados, alguma discussão
sobre a generalização dos resultados, potenciais impactos em custos, tempo e qualidade. Nesta
seção, quando apropriado, os autores devem relatar se as hipóteses foram confirmadas ou não.
Também é importante relatar as ameaças à validade (ameaças à validade de construto, interna,
externa e de conclusão).

H.0.9

Conclusão e Trabalhos Futuros

Apresenta o fechamento da pesquisa, conclusões mais importantes e faz um breve
resumo dos resultados. É importante apresentar os impactos da pesquisa (por exemplo, custo,
desempenho, qualidade). Ainda na dimensão do impacto da pesquisa é possível descrever, por
exemplo, o nível de maturidade da pesquisa, tempo para retorno do investimento. Para medir a
completude desta seção, as seguintes perguntas foram elaboradas:  

Resumo 

9.1.1 Apresenta um resumo conciso da pesquisa e seus resultados? 

9.2.1 Descreve os impactos da pesquisa?

Impacto

145 

Trabalhos Futuros 

H.0.10

9.3.1 Aponta para trabalhos futuros?

Apêndices

Os apêndices podem conter informações adicionais da pesquisa que não tinham espaço
no corpo do artigo. Esta seção pode ser usada, por exemplo, para mostrar mais detalhadamente materiais experimentais, cargas de trabalho, dados brutos. A seguinte pergunta deve ser
respondida nesta seção: 

10.1 Acrescenta materiais experimentais?