Análise da Completude dos Relatos de

Experimentos em Elasticidade da Computação
em Nuvem:
Um Mapeamento Sistemático
[Helaine Barreiros]
Orientador: Vinicius Garcia
Co-Orientador: Sérgio Soares

ASSERT Lab

CIn.ufpe.br

“... Computação pode algum dia ser organizada como
serviços de utilidade pública como água e telefonia... A
computação utilitária poderia se tornar a base de uma
nova e importante indústria”
[John McCarthy – 1961]

2

“... Renovar a forma como os softwares são projetados e
distribuídos.”
[Marc Russel Benioff – 1999]

3

“... Os gastos com computação em nuvem irão alcançar a casa dos
$118 bilhões, apontando um crescimento de 36% em relação à 2014.”
[IDC Predictions 2015]
4

5

CIn.ufpe.br
6

“... estudos não apresentam detalhes suficientes
sobre o contexto de avaliação, ambiente e
procedimentos... nós temos que inferir certas
informações.”
Durao, F., Carvalho, J. F. S., Fonseka, A., & Garcia, V. C. (2014). A
systematic review on cloud computing

“..estudos primários em geral não são
conduzidos ou reportados de maneira
apropriada..”
Li, Z. et al. (2013). On evaluating commercial Cloud services: A
systematic review.

“… apenas 2% dos estudos apresentam claramente
CIn.ufpe.br
suas perguntas de pesquisa”7

[Linha do tempo dos guias para relato de exp
CIn.ufpe.br
8

CIn.ufpe.br
9

Objetivo da Pesquisa

Avaliar o quão completos são os relatos
de experimentos em elasticidade na
computação em nuvem (CN), com base
em guia existente na engenharia de
software experimental (ESE), a fim de
identificar lacunas que permitam à
comunidade melhorar a qualidade das
CIn.ufpe.br
evidências empíricas geradas por estas
10

Agenda
• Método
– Ciclo Geral da Pesquisa
– Protocolo do Mapeamento Sistemático

• Resultados
– Execução do MS
– Análise Geral
– Análise das Evidências
– Discussão dos Resultados

• Considerações Finais
– Conclusões
– Ameaças à Validade
– Trabalhos Futuros

CIn.ufpe.br
11

[Ciclo Geral da Pesquisa, Protocolo do
Mapeamento Sistemático]

Método

CIn.ufpe.br

Método - Ciclo Geral da Pesquisa

CIn.ufpe.br
13

Protocolo do
Mapeamento Sistemático]
[Ciclo Geral da Pesquisa,

Método

CIn.ufpe.br

Método - Protocolo do
Mapeamento Sistemático

CIn.ufpe.br
15

Método - Protocolo do
Mapeamento Sistemático
• Questões de Pesquisa
– QP1 – Quão completos são os relatos de
experimentos em elasticidade na computação em
nuvem?
• [SQP1] O título permite que o leitor identifique que o
estudo é um relato de experimento?
• [SQP2] Informações pertinentes ao resumo como
motivação, objetivos, métodos, resultados, limitações e
conclusões da pesquisa são relatadas?
• [SQP3] A introdução do relato apresenta referências à
declaração do problema, objetivos e contexto da pesquisa?
CIn.ufpe.br
16

Método - Protocolo do
Mapeamento Sistemático
• Questões de Pesquisa
– QP1 – Quão completos são os relatos de experimentos em
elasticidade na computação em nuvem?
• [SQP4] A fundamentação informa sobre a tecnologia em
investigação, às possíveis opções alternativas à ela, pesquisas
relacionadas e a relevância para a prática?
• [SQP5] O relato apresenta informações sobre o planejamento da
pesquisa?
• [SQP6] O relato detalha a análise dos dados da pesquisa?
• [SQP7] Os resultados, suas implicações e as ameaças à validade são
relatados?
• [SQP8] As conclusões do estudo apresentam um resumo conciso da
pesquisa, seus impactos e apontam trabalhos futuros?
CIn.ufpe.br
17

Método - Protocolo do
Mapeamento Sistemático
• Estratégia de Busca – Fontes de dados
Fonte

Perío
do

Tipo

Áre
a

EASE – International Conference on Evaluation and Assessment in
Software Engineering

20062014

Conferênc
ia

ESE

ESEM – International Symposium on Empirical Software Engineering and
Measurement

20072014

Simpósio

ESE

ESE – Empirical Software Engineering Journal

20062014

Jornal

ESE

CLOUD – IEEE International Conference on Cloud Computing

20092014

Conferênc
ia

CN

CLOUDCOM – IEEE International Conference on Cloud Computing
Technology and Science

20102014

Conferênc
ia

CN

TPDS – IEEE Transactions on Parallel and Distributed Systems

20062014

Jornal

CN

IEEE Xplorer Digital Library

20062014

Automátic
a

-

ACM Digital Library

20062014

Automátic
a

-

CIn.ufpe.br
18

Método - Protocolo do
Mapeamento Sistemático
• Estratégia de Busca – String de Busca
(Cloud Computing <OR> Cloud Platform <OR> Cloud Service
<OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-aService <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR>
SaaS <OR>
Software-as-a-Service <OR> Software as a Service)
[AND]
(Elasticity)
[AND]
(Experiment <OR> Evaluate <OR> Evaluation <OR> Evaluating
<OR> Benchmark)
CIn.ufpe.br
19

Método - Protocolo do
Mapeamento Sistemático
• Estratégia de Seleção dos Estudos
Códi
go

Critério de Exclusão

C01

O arquivo não corresponde ao Estudo. (Ex: índice)

C02

O arquivo não é um Estudo. (Ex: proceedings, editorial)

C03

O Estudo é duplicado.

C04

O Estudo é um slideshow ou resumo expandido.

C05

O Estudo está fora do Range de Avaliação.

C06

O Estudo está relacionado à Elasticidade mas não relata um Experimento.

C07

O Estudo está relacionado à Elasticidade, reporta um Experimento porém não
avalia Elasticidade.

C08

O Estudo não está disponível.

C09

O Estudo não está em inglês.

C10

O Estudo não está relacionado à Computação em Nuvem

C11

O Estudo não está relacionado à Elasticidade na Computação em Nuvem.

CIn.ufpe.br
20

Método - Protocolo do
Mapeamento Sistemático
• Estratégia de Seleção dos Estudos

CIn.ufpe.br
21

Método - Protocolo do
Mapeamento Sistemático
• Estratégia de Seleção dos Estudos

CIn.ufpe.br
22

Método - Protocolo do
Mapeamento Sistemático
• Estratégia de Extração dos Dados
– Metadados
• Título, Autores, Instituições, Países, Fonte e Ano de Publicação.

– Instrumento de Coleta
• 51 perguntas [Jedlitschka et al. 2008 - Reporting experiments in
software engineering]
• Perguntas estruturadas de acordo com as seções esperadas no
relatório de um experimento.
• Valores de pontuação das perguntas: 0 [Não] / 0,5
[Parcialmente] / 1,0 [Sim]
• As notas dos estudos é apresentada em uma escala de 0 a 10
pontos.
CIn.ufpe.br
23

[Execução do MS, Análise Geral, Análise das
Evidências e Discussão dos Resultados]

Resultados

CIn.ufpe.br

Resultados – Execução do
Mapeamento Sistemático
• Busca dos Estudos
Fonte de
Dados

Tipo

Quantid
ade

ACM Digital
Library

Automática

490

IEEE Xplorer
Digital Library

Automática

170

Elsevier Scopus

Automática

163

Springer Link

Automática

251

TPDS

Manual

1315

CLOUDCOM

Manual

517

CLOUD

Manual

454

EASE

Manual

85

ESE

Manual

75

ESEM

Manual

91

CIn.ufpe.br
25

Resultados – Execução do
Mapeamento Sistemático
• Seleção dos Estudos

CIn.ufpe.br
26

[Execução do MS, Análise Geral, Análise das
Evidências e Discussão dos Resultados]

Resultados

CIn.ufpe.br

Resultados – Análise Geral

Estudos candidatos identificados por estratégia de busca

CIn.ufpe.br
28

Resultados – Análise Geral

Estudos candidatos identificados na busca automática
em relação às fontes de dados

CIn.ufpe.br
29

Resultados – Análise Geral

Estudos candidatos identificados na busca manual em
relação as venues.

CIn.ufpe.br
30

Resultados – Análise Geral

Estudos selecionados por fonte de dados

CIn.ufpe.br
31

Resultados – Análise Geral

Resumo da seleção de estudos na primeira etapa

CIn.ufpe.br
32

Resultados – Análise Geral

Resumo da seleção de estudos na segunda etapa

CIn.ufpe.br
33

Resultados – Análise Geral

Distribuição temporal dos estudos selecionados

CIn.ufpe.br
34

Resultados – Análise Geral

Distribuição dos estudos selecionados por países

CIn.ufpe.br
35

Resultados – Análise Geral

Distribuição dos estudos selecionados por venue e ano
35
30
25
20
15
10
5
0

ACM

CLOUD

CLOUDCOM
2010

2011

IEEEX
2012

SL
2013

SCP
2014

TPDS

CIn.ufpe.br
36

Resultados – Análise Geral

Distribuição dos estudos selecionados por modelo de
serviço25e ano
20

1
2
2

15

6

2
0
1

4

5

3

5

0

0

0

10

10
7

0
1
1

4

5

2010

2011

2012

IaaS

PaaS

SaaS

XaaS

2013
IaaS/PaaS

2014

CIn.ufpe.br
37

Resultados – Análise Geral

Distribuição dos estudos selecionados por tipo de
instituição e publicações p/ ano

CIn.ufpe.br
38

Resultados – Análise Geral

Lista dos autores com mais de uma publicação

CIn.ufpe.br
39

[Execução do MS, Análise Geral,

Análise das

Evidências e Discussão dos Resultados]

Resultados

CIn.ufpe.br

Resultados – Análises das
Evidências
Pontuação
Máxima

Seção
Título

3

Autoria

1

Resumo

13

Introdução

3

Fundamentação

4

Planejamento

13

Análises

5

Discussão

5

Conclusões

3

Apêndices

1
Total

51

CIn.ufpe.br

Resultados – Análises das
Evidências

SQP1 - O título do permite que o leitor identifique
que o estudo é um relato de experimento?
– Nenhum dos estudos permite identificar, pelo título, que o
estudo relata um experimento
– A maior nota obtida foi 2 de um total de 3
100%
0
9
– 53% dos estudos não pontuou em90%
nenhuma
questão
18
1
80%
70%
60%
50%
40%
30%
20%
10%
0%

1
59
40

49

Nota 1
Nota 0.5
Nota 0

CIn.ufpe.br
42

Resultados – Análises das
Evidências
• SQP2 – Informações pertinentes ao resumo como motivação,
objetivos, métodos, resultados,
limitações e conclusões da pesquisa são relatadas?
– Os resumos omitem informações importantes e não utilizam formato
estruturado.
– Objetivo descrito em 98%
– Objeto estudado apresentado em 100%
– Perspectiva apresentada em 47%
– Método citado em 42%
– Procedimentos de análise em 0%
– Resultados em 61%
– Limitações da pesquisa em 0%
– Impacto dos resultados em 27%
CIn.ufpe.br
43

Resultados – Análises das
Evidências

SQP2 – Informações pertinentes ao resumo como
motivação, objetivos, métodos, resultados,
limitações e conclusões da pesquisa são relatadas?
– Maior nota 8 de 13

CIn.ufpe.br
44

Resultados – Análises das
Evidências

SQP3 - A introdução do relato apresenta referências
à declaração do problema, objetivos e contexto da
pesquisa?
– As introduções são reportadas à contento.
100%
– Em geral 98% dos estudos
90%apresentam todas as
80%
informações
70%
2.0
2.5
3.0

60%
50%
40%
30%
20%
10%
0%

58

58

58
Nota 1
Nota 0.5

0
1

1
0

0
1

Nota 0

CIn.ufpe.br
45

Resultados – Análises das
Evidências

SQP4 – A fundamentação informa sobre a tecnologia
em investigação, às possíveis opções alternativas a
ela, pesquisas relacionadas e relevância para a
prática?
– As fundamentações são reportadas à contento
100%
– Descrições das tecnologias e
soluções alternativas
80%
descritas quase pela totalidade
60%
54
55
58
58
40% por 92%
– Trabalhos relacionados citados
20%
– Impacto da pesquisa citado
2.0 por 93%
1
1
4
3
0
0
3.0

0%

1

1

Nota 1
Nota 0.5
Nota 0

3.5
4.0

CIn.ufpe.br
46

Resultados – Análises das
Evidências

SQP5 – O relato apresenta informações sobre o
planejamento da pesquisa?
– Informações importantes do planejamento são omitidas.
– Os objetivos foram citados por 100% dos estudos
– Unidades experimentais omitidas por 17% dos estudos
– Materiais experimentais omitidos por 19%
– Atividades omitidas por 12%
– Hipótese não mencionada por 17%
– Variáveis dependentes omitidas por 98%
– Variáveis independentes mencionadas em 90%
– Métricas omitidas em 22%
– Desenho experimental omitido em 17%
CIn.ufpe.br
47

Resultados – Análises das
Evidências

SQP5 – O relato apresenta informações sobre o
planejamento da pesquisa?




Instrumentos, materiais e ferramentas omitidos em 69%
Procedimentos de execução omitidos em 27%
100%
1
0
Coleta dos dados omitida por 37%
90%
13
14
80%
1
5
70%
37
39
Teste de Hipótese omitido por 75%
44
60%
48 47 50
53 52
50% 59
58
40%
Maior nota 6 de 13
41 4 44
30%
Nota 1
7
12%

2.0

3.0

3.5

4.0

4.5

5.0

5.5

6.0

6.5

7.0

7.5

8.0

8.5

9.0

9.5

10.0

10.5

11.0

20%
10%
0%

0

12
1 1 2
10 11 7 10

5
0 10
1
5 7

16

Nota 0.5
Nota 0

CIn.ufpe.br
48

Resultados – Análises das
Evidências

SQP6 – O relato detalha a análise dos dados da
100%
2
2
3
0
1
1
pesquisa?
80%
26






Informações de análise são omitidas.60% 1 57 55 56
40%
32
20%
Estatística descritiva omitida por 54%
0%
Dados brutos omitidos por 97%
Preparação dos dados omitida por 93%
Avaliação dos dados da hipótese omitida por 95%
Modelo de análise da hipótese omitido em 98%
Maior nota 3 de 5

1
0
58
Nota 1
Nota 0.5
Nota 0

0.0
0.5
1.0
3.0

CIn.ufpe.br
49

Resultados – Análises das
Evidências
• SQP7 – Os resultados, suas implicações e as
ameaças à validade são reportados?
– Os impactos dos resultados não são citados.
– A generalização dos resultados não são citadas e,
quando são, o grau de confiança é baixo.
– As lições aprendidas não costumam ser reportadas.
– As ameaças à validade não são direcionadas.
– Resultados apresentados em 97%
– Relação com pesquisas anteriores omitida em 88%
CIn.ufpe.br
50

Resultados – Análises das
Evidências
• SQP7 – Os resultados, suas implicações e as
ameaças à validade são reportados?



Ameaças à validade omitida em 93%
Generalização dos resultados omitida em 56%
Lições aprendidas omitidas em 85%
100%
3
7
1
0
Nota máxima 4 de 5.
80%
26
0.5
1.0
1.5
2.0

60%
40%
20%
0%

52

52

55

0
33

5
2

7
2
50
Nota 1
Nota 0.5
Nota 0

3.0
4.0

CIn.ufpe.br
51

Resultados – Análises das
Evidências

SQP8 – As conclusões do estudo apresentam um
resumo conciso da pesquisa, os impactos da
pesquisa e aponta trabalhos futuros?
– Em geral os estudos apresentam um resumo conciso da pesquisa e
de seus resultados
– Impactos da pesquisa omitidos em
39%
100%
90%
80%
– Trabalhos futuros omitidos em 31%
35
0.5
1.0
1.5
2.0

70%
60%
50%
40%
30%
20%
10%
0%

41

58

1
23

1
0

0
18

Nota 1
Nota 0.5
Nota 0

3.0

CIn.ufpe.br
52

[Execução do MS, Análise Geral, Análise das Evidências e

Discussão dos Resultados]

Resultados

CIn.ufpe.br

Resultados – Discussão dos
Resultados
• Da completude dos relatos de experimentos em elasticidade
na CN:
– A completude dos estudos foi considerada baixa [MN:6,67 E:0 a 10] e, de fato, é
difícil interpretar, avaliar a qualidade e validade, generalizar e replicar os
experimentos.
– De 3.611 estudos candidatos foram selecionados 59 estudos primários
relevantes.
– Os títulos não sinalizam se o estudo é um relato de experimento.
– Os resumos omitem informações importantes e não utilizam formato
estruturado.
– As introduções e fundamentações são reportadas à contento.
– Os planejamentos e análises estatísticas do experimento em geral são
omitidos.
– Os impactos dos resultados não são discutidos.
CIn.ufpe.br
54

Resultados – Discussão dos
Resultados
• Da completude dos relatos de experimentos
em elasticidade na CN:
– A generalização dos resultados, na maioria, não são
citadas.
– Quando a generalização é citada seu grau de
confiança é afetado, uma vez que informações
fundamentais são omitidas.
– As ameaças à validade não são direcionadas.
– As lições aprendidas não costumam ser reportadas.
– Apêndices não costumam ser utilizados.
CIn.ufpe.br
55

Resultados – Discussão dos
Resultados
• Da completude dos relatos de experimentos
em elasticidade na CN:
– Resumo conciso da pesquisa e de seus resultados.
– Em alguns casos os impactos da pesquisa são
ignorados.
– Conjuntos de dados das pesquisas não são
disponibilizados.

CIn.ufpe.br
56

[Conclusões, Ameaças à Validade, Trabalhos
Futuros]

Considerações Finais

CIn.ufpe.br

Considerações Finais - Conclusões
• Achados gerais sobre os experimentos em elasticidade
na CN:
– Ficou evidente a dificuldade relatada pelos autores para se encontrar
informações importantes para interpretar, analisar os dados e a
validade dos resultados dos estudos.
– A superficialidade das informações, quando reportadas, dificultam a
interpretação, validação, generalização e replicação dos resultados.
– A forma como os autores descrevem os títulos dos estudos não
permitem aos potenciais leitores a fácil identificação do experimento.
– Em apenas 47% dos estudos selecionados os termos relacionados à
elasticidade e experimento foram efetivamente utilizados nas
informações de título, abstract e palavra-chave.
CIn.ufpe.br
58

Considerações Finais - Conclusões
• Achados gerais sobre os experimentos em
elasticidade na CN:
– Aplicação do instrumento foi impactada pela disposição e
heterogeneidade das informações.
– Apenas 8% dos estudos se dedicam apenas ao relato de um
experimento.
– Não foi identificado nenhum experimento human-based.
– As informações de configuração de ambiente, instrumentação
e coleta de dados , quando reportadas, são superficiais.
– Argumentações sobre a seleção de métricas, parâmetros e
ferramentas não são apresentadas.
CIn.ufpe.br
59

Considerações Finais - Conclusões
• Achados gerais sobre os experimentos em elasticidade
na CN:



Discussões sobre os resultados são superficiais.
Os contextos dos estudos não são caracterizados.
Nenhum dos estudos indica a data em que o experimento foi realizado.
Nenhum dos estudos fez menção a utilização de mecanismos ou
guias para executar, planejar e reportar experimentos.
– A terminologia dos métodos empíricos é indevidamente utilizada.
– As venues de publicações são bem pulverizadas.
– Não foi encontrado nenhum estudo selecionado que tivesse sido
publicado em algumas das conferências da engenharia de software
empírica.
CIn.ufpe.br
60

[Conclusões, Ameaças
Trabalhos Futuros]

à Validade,

Considerações Finais

CIn.ufpe.br

Considerações Finais - Ameaças à
Validade
1. Viés de seleção das publicações
– Principais conferências CN e ESE
– Periódicos / Busca automáticas
– String de busca validada por especialistas da CN e ESE

2. Pouca acurácia na extração dos dados
– Formulário estruturado / exemplos / orientações de coleta
– Computação automatizada e validada por dois pesquisadores

3. Erros de classificação
– Classificação já existente na literatura / Participação de dois pesquisadores

4. Basear-se em apenas um engenho de busca
– Quatro fontes de busca automática e seis manuais

5. Conduzir o processo de seleção e exclusão por apenas uma pessoa
– Participação de oito pesquisadores / Teste Kappa
CIn.ufpe.br
62

[Conclusões, Ameaças à Validade,

Trabalhos

Futuros]

Considerações Finais

CIn.ufpe.br

Considerações Finais - Trabalhos
Futuros
• Desenvolver recursos (guias, frameworks,
processos) para apoiar a geração dos relatos dos
experimentos com base em suas características e
especificidades.
• Caracterizar os experimentos em elasticidade sobre
serviços avaliados, aspectos, propriedades, métricas,
benchmarks e cargas de trabalho.
• Identificar razões para a não utilização dos
mecanismos existentes para apoiar a realização e
relato de experimentos.
CIn.ufpe.br
64

Considerações Finais - Trabalhos
Futuros
• Conduzir um estudo para identificar como as demais áreas
do conhecimento científico caracterizam e fazer uso de
informações apresentadas nos relatos de estudos para
tomada de decisão baseada em evidências empíricas.
• Expandir a análise da completude para os demais tipos
de estudos empíricos.
• Expandir a análise às demais áreas da computação em
nuvem.
• Avaliar os resultados encontrados através de uma
replicação.
CIn.ufpe.br
65

Muito Obrigada!

CIn.ufpe.br