You are on page 1of 147
Helaine Solange Lins Barreiros ANÁLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS EM ELASTICIDADE NA COMPUTAÇAO

Helaine Solange Lins Barreiros

ANÁLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS EM ELASTICIDADE NA COMPUTAÇAO EM NUVEM: UM MAPEAMENTO SISTEMÁTICO

Dissertação de Mestrado

NUVEM: UM MAPEAMENTO SISTEMÁTICO Dissertação de Mestrado Universidade Federal de Pernambuco posgraduacao@cin.ufpe.br

Universidade Federal de Pernambuco posgraduacao@cin.ufpe.br www.cin.ufpe.br/~posgraduacao

RECIFE

2015

Universidade Federal de Pernambuco Centro de Informática Pós-graduação em Ciência da Computação Helaine Solange

Universidade Federal de Pernambuco

Centro de Informática Pós-graduação em Ciência da Computação

Helaine Solange Lins Barreiros

ANÁLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS EM ELASTICIDADE NA COMPUTAÇAO EM NUVEM: UM MAPEAMENTO SISTEMÁTICO

Trabalho apresentado ao Programa de Pós-graduação em Ciência da Computação do Centro de Informática da Univer- sidade Federal de Pernambuco como requisito parcial para obtenção do grau de Mestre em Ciência da Computação.

Orientador: Vinicius Cardoso Garcia Co-Orientador: Sergio Soares

RECIFE

2015

Eu dedico esta dissertação a toda a minha família, amigos e professores que me deram o suporte necessário para chegar até aqui.

Agradecimentos

A Emanoel Barreiros, meu esposo, pelo carinho, dedicação, paciência, compreensão e suporte em todos os momentos mais decisivos e marcantes de minha vida.

Ao melhor presente que é o meu pequeno Davi Barreiros, por simplesmente existir e fazer os momentos mais difíceis se transformarem nos mais inspiradores apenas com o seu lindo sorriso.

A Dulce Lins, Marcos Lins, Heline Lins, Igor Lins e Jèssica Barbosa, Rejane Barreiros, Manoel

Barreiros, Manoela Barreiros, Maurício Barreiros e Thuanne Paiva, minha família, que uniram todos os esforços para que este sonho se tornasse realidade.

Ao meu orientador Vinicius Garcia, obrigada pela oportunidade, confiança, suporte e parceria durante a caminhada do mestrado.

Ao meu co-orientador Sergio Soares, obrigada pelo apoio e disponibilidade para conversas

e orientações até mesmo nos momentos mais corridos de seus compromissos.

A Adauto Trigueiro, Alex Nery, Andreza Leite, Diogo Vinícius, Emanoel Barreiros, Eudis

Teixeira, Gert Uchôa, José Fernando, Juliana Saraiva, Leandro Marques, Liliane Fonseca, Marco Machado, Michael França, Samuel Romeiro, Thiago Jamir, Vilmar Nepomuceno, Vinicius Garcia que uniram esforços para analisar os estudos deste mapeamento.

A FACEPE, que acreditou no projeto e nos financiou.

A todos do laboratório INES, que compartilharam conversas e ideias.

Aos integrantes dos grupo de pesquisa ASSERT Lab e ESEG pelas participação ativa no desen- volvimento desta pesquisa.

A todos que não foram mencionados acima, mas contribuíram de maneira direta ou indireta para

a realização e conclusão deste trabalho.

Eu amo aqueles capazes de sorrir em meio aos problemas. —LEONARDO DA VINCI

Resumo

Contexto: Para que os leitores possam avaliar a validade de um estudo empírico, replicar seus resultados, ou para que editores possam julgar efetivamente o verdadeiro potencial de impacto da pesquisa, os autores devem relatar e documentar cuidadosamente elementos da pesquisa como: motivação, objetivo, método, análise dos dados, resultados, conclusões e limitações. Infelizmente autores têm indicado que a comunicação dos resultados de estudos empíricos (EE) na computação em nuvem (CN) omitem informações relevantes destes elementos de pesquisa.Tais inconveniências na comunicação dos resultados destes estudos, ampliadas a todo um campo de pesquisa, podem levar a um conjunto potencial de evidências fracas ou ilusórias para futuras pesquisas científicas. Objetivo: Apesar de críticas aos relatos dos estudos empíricos serem evidenciadas, até o presente momento, não foi realizada uma caracterização das informações omitidas pelos autores. Neste sentido, o presente estudo tem como objetivo apresentar um esforço primeiro que analisa nos relatos a apresentação dos elementos de pesquisa acima citados, considerados essenciais para a análise da validade e protencial de uma pesquisa empírica. Analisar a forma de apresentação dos resultados é um primeiro passo relevante para a compreensão do cenário atual da prática dos relatos dos estudos empíricos. Assim, foi analisado nos relatos o grau de completude: o quão presentes estão as informações dos elementos da pesquisa em seus relatos. Afim de realizar uma análise mais profunda, o foco inicial da pesquisa foi direcionado ao método empírico de experimentação, com foco nas avaliações da característica de elasticidade da CN. Método: Através de um mapeamento sistemático da literatura (MSL) foram identificados os experimentos em elasticidade na computação em nuvem e, através de instrumento de avaliação criado com base em orientações existentes para se reportar experimentos na engenharia de software experimental, a completude de seus relatos foi avaliada. Resultado: Após a avaliação inicial de 3.611 estudos, foram selecionados e analisados os relatos de 59 experimentos. Constatamos que em geral os autores omitem informações relacionadas ao planejamento da pesquisa, coleta dos dados, procedimentos de execução, ins- trumentação, análise dos dados, relação dos resultados com pesquisas anteriores, ameaças à validade e generalização dos resultados. Em relação ao índice de completude o maior grau foi 6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Também foi realizada uma breve análise qualitativa que revela que, ainda que reportadas, muitas das informações apresentadas pelos relatos são superficiais e dificultam a interpretação, validação, generalização e replicação dos resultados dos estudos.

Palavras-chave: Engenharia de Software, Computação em Nuvem, Elasticidade, Engenharia de Software Experimental, Experimentos.

Abstract

Context: To enable readers to assess the validity of an empirical study, replicate their results, or allow publishers to effectively judge its true potential impact of research, the authors should report and carefully document elements of research, such as: motivation, goal, method, data analysis, findings, conclusions and limitations. Unfortunately authors have indicated that communication of the results of empirical studies in cloud computing omit relevant information from these elements. Such inconveniences in reporting the results of these studies, expanded to an entire field of research, can lead to a potential set of weak or misleading evidence for future scientific research. Objective: Despite criticism of the reports of empirical studies are highlighted, to date, has not been performed a characterization of the information omitted by the authors. In this sense, this study aims to present a first effort which analyzes the reports presenting the research elements mentioned above, considered essential for the analysis of the validity and protencial of empirical research. To examine how to present the results is an important first step towards understanding the current state of the practice of the reports of empirical studies. Thus, it was analyzed in the reports of the studies the degree of completeness: which information from research elements in their reports. In order to conduct a deeper analysis of the reports, the initial focus of the research was directed to the empirical method of experimentation, focusing on evaluations of cloud computing elasticity characteristic. Method: Through a systematic mapping of literature were identified experiments on elasticity in the cloud computing and through an assessment instrument, created based on existing guidelines to report experiments in experimental software engineering, the completeness of their reports was evaluated. Results: After the initial evaluation of 3,611 studies, 59 experiments were selected and had their reports analyzed. It was found that in general the authors omit information related to the research design, data collection, execution procedures, instrumentation, data analysis, comparison of the results with previous research, threats to validity and generalizability of the results. In relation to the completeness index, the highest score reached was 6.67 on a scale of 0 to 10, and such completion is considered low in quantitative terms. A brief qualitative analysis was also conducted which reveals that, although reported, much of the information presented by the reports are superficial and difficult to interpret, validate, generalize and hinder replication of study results.

Keywords: Software Engineering, Cloud Computing, Elasticity, Empirical Software Enginee- ring, Experiments.

Lista de Figuras

1.1

Linha do tempo dos guias para relato de experimentos. (do autor)

 

.

.

.

.

22

2.1

Infraestrutura de Computação em Nuvem (obtido de EMC Corporation ® )

 

26

2.2

Mecanismos de elasticidade na computação em nuvem (do autor).

.

.

.

.

.

.

.

29

2.3

Movimentação da comunidade para a criação dos guias para reportar experimen-

 

tos na engenharia de software .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

36

3.1

Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades.

.

42

3.2

Metodologia planejada para a realização do mapeamento sistemático

 

45

4.1

Esquema de execução da primeira rodada de seleção dos estudos do mapeamento

 

sistemático

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

53

4.2

Esquema de execução da segunda rodada de seleção dos estudos do mapeamento

 

sistemático

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

55

4.3

Participação das estratégias de busca no quantitativo de estudos candidatos

 

identificados .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

57

4.4

Distribuição do quantitativo dos estudos candidatos identificados pela busca

 

automática em relação às fontes de dados

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

58

4.5

Distribuição dos estudos candidatos resultantes da busca manual em relação aos

 

meios de publicação

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

58

4.6

Participação das fontes de busca

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

59

4.7

Distribuição temporal dos estudos selecionados

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

59

4.8

Distribuição do quantitativo de estudos selecionados por fonte de dado e ano.

.

61

4.9

Distribuição dos estudos selecionados por países

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

61

4.10

Distribuição dos estudos selecionados por países

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

62

4.11

Distribuição do quantitativo de estudos por tipo de instituição e ano

.

.

.

.

.

.

62

4.12

Distribuição dos estudos por modelo de serviço e

 

.

.

.

.

.

.

.

.

.

.

.

.

.

63

4.13

Pontuações dos estudos nas questões que avaliam o

 

.

.

.

.

.

.

.

.

.

.

.

64

4.14

Pontuação geral obtida pelos estudos na avaliação do

 

.

.

.

.

.

.

.

.

.

65

4.15

Pontuações dos estudos nas questões que avaliam o resumo.

 

.

.

.

.

.

.

.

.

.

.

66

4.16

Pontuação geral obtida pelos estudos na

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

67

4.17

Pontuação geral obtida pelos estudos na fundamentacao.

.

.

.

.

.

.

.

.

.

.

.

.

68

4.18

Pontuações dos estudos nas questões que avaliam a fundamentação.

.

.

.

.

.

.

68

4.19

Pontuação geral obtida pelos estudos no planejamento.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

69

4.20

Pontuações dos estudos nas questões que avaliam o planejamento.

.

.

.

.

.

.

.

70

4.21

Pontuação geral obtida pelos estudos na

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

70

4.22

Pontuações dos estudos nas questões que avaliam a

 

.

.

.

.

.

.

.

.

.

.

71

4.23

Pontuação geral obtida pelos estudos na discussão.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

72

4.24

Pontuações dos estudos nas questões que avaliam a discussão.

.

.

.

.

.

.

.

.

.

72

4.25

Pontuação geral obtida pelos estudos nas conclusões.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

73

4.26

Pontuações dos estudos nas questões que avaliam a discussão.

.

.

.

.

.

.

.

.

.

73

G.1

Ambiente do Revisor: listagem de estudos para revisão

 

.

.

.

.

.

.

.

.

.

.

.

.

.

134

G.2

Tela de análise de estudos no ExtractViewer

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

135

Lista de Tabelas

3.1

Classificação Geral da Pesquisa .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

39

3.2

Taxonomia para classificação dos estudos secundários segundo Cooper

 

40

3.3

Resultado da aplicação da Taxonomia de Cooper para a classificação do mapea-

 

mento sistemático desta pesquisa .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

41

3.4

Fontes de Busca Manual e Período de Coleta

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

47

3.5

String de Busca utilizada na pesquisa dos estudos do MS

.

.

.

.

.

.

.

.

.

.

.

.

47

3.6

Lista dos Critérios de Exclusão em ordem alfabética.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

48

4.1

Quantitativo de estudos candidatos localizados por fonte de

 

52

4.2

Critérios de exclusão apliados na primeira etapa de seleção dos estudos candidatos 54

4.3

Valores de referência para interpretação do teste Kappa

 

.

.

.

.

.

.

.

.

.

.

.

.

.

55

4.4

Resultado dos testes Kappa .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

56

4.5

Resumo da busca e seleção de estudos na primeira etapa

.

.

.

.

.

.

.

.

.

.

.

.

59

4.6

Resumo da busca e seleção de estudos na segunda etapa .

.

.

.

.

.

.

.

.

.

.

.

.

60

4.7

Lista dos autores com mais de uma publicação .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

63

A.1

Listagem dos estudos selecionados em ordem alfabética .

.

.

.

.

.

.

.

.

.

.

.

.

94

B.1

Estudos excluídos em ordem alfabética .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

107

C.1

Lista das venues identificadas e ordem de quantidade de publicação

.

.

.

.

.

.

111

D.1

Lista dos grupos de pesquisa identificados

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

115

E.1

Listagem dos autores identificados e as respectivas quantidades de publicações

122

F.1

String de Busca para identificar estudos secundários existentes

 

.

.

.

.

.

.

.

.

.

124

F.2

Configuração da equipes e pesquisadores participantes

 

.

.

.

.

.

.

.

.

.

.

.

.

.

125

F.3

Lista dos Critérios de Exclusão em ordem alfabética.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

129

Sumário

1 Introdução

21

1.1 Contribuição

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

23

1.2 Estrutura da Dissertação

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

23

2 Referencial Teórico

 

25

2.1 Computação em Nuvem

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

25

2.1.1 Características Essenciais

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

27

2.1.2 Modelos de Serviço .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

27

2.1.3 Formas de Distribuição .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

28

2.1.4 Acordo de Nível de Serviço

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

28

2.1.5 Elasticidade .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

29

 

2.1.5.1 Elasticidade x Escalabilidade

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

30

2.1.5.2 Velocidade de Adição x Remoção .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

30

2.1.5.3 Método .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

30

2.1.5.4 Política .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

31

2.2 Engenharia de Software Experimental

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

31

2.2.1 Métodos Empíricos na Engenharia de Software Experimental

.

.

.

.

.

32

 

2.2.1.1 Estudo de Caso

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

33

2.2.1.2 Survey

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

33

2.2.1.3 Etnografia

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

34

2.2.1.4 Pesquisa-ação

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

34

2.2.1.5 Experimento Controlado

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

34

2.2.1.6 Teoria Fundamentada

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

35

2.2.2 Guias para Relato de Experimentos

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

35

2.3 Engenharia de Software Baseada em Evidências .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

37

2.4 Resumo

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

38

3 Método

39

3.1 Classificação Geral da Pesquisa .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

39

3.2 Classificação do Estudo Sistemático Segundo Cooper

.

.

.

.

.

.

.

.

.

.

.

.

.

.

40

3.3 Ciclo da Pesquisa

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

42

3.3.1

Etapa de Definição da Pesquisa

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

42

3.3.1.1 Revisão Informal da Literatura

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

43

3.3.1.2 Definição do Tema, Objetivo e Escopo

.

.

.

.

.

.

.

.

.

.

.

.

43

3.3.1.3 Definição da Metodologia .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

44

3.3.2 Etapa de Planejamento do Mapeamento Sistemático

.

.

.

.

.

.

.

.

.

.

44

3.3.2.1 Definição do Protocolo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

45

 

3.3.2.1.1 Questões de Pesquisa

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

45

3.3.2.1.2 Estratégia de Busca dos Estudos

.

.

.

.

.

.

.

.

.

.

46

3.3.2.1.3 Estratégia de Seleção dos Estudos

.

.

.

.

.

.

.

.

.

47

3.3.2.1.4 Avaliação da Qualidade .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

48

3.3.2.1.5 Estratégia de Extração .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

48

3.3.2.2 Revisão do Protocolo

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

3.3.3 Etapa de Execução da Pesquisa

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

3.3.4 Etapa de Divulgação dos Resultados .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

3.3.5 Resumo .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

4 Resultados

51

4.1 Execução do Mapeamento Sistemático .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

51

4.1.1 Busca dos Estudos

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

51

4.1.2 Seleção dos Estudos Primários .

.

.

.

.

.

.

.

.

.

.

.