You are on page 1of 41

22/11/11

ANLISE DE RESULTADOS

Contedo
2

1. 2.

Planejamento de Experimentos Anlise de Resultados


Introduo Medidas de Desempenho Anlise Estatstica dos Resultados Comparao de Resultados Procedimento para anlise de resultados Exemplos

22/11/11

Contedo
3

1. 2.

Planejamento de Experimentos Anlise de Resultados

Introduo
Medidas de Desempenho Anlise Estatstica dos Resultados Comparao de Resultados Procedimento para anlise de resultados Exemplos

Introduo
4

Estatstica Descritiva
H

2
Coleta de Dados Massa de Dados Organizao dos Dados

Caracterizao dos Dados Parmetros Tpicos

Dados agrupados

22/11/11

Introduo
5

Inferncia Estatstica
A

partir de amostras -> concluses sobre a populao


n Erro

amostral elementos atpicos que no representam a amostra -> diferena entre amostra e populao n Amostra viciada tendncia maior em selecionar algum tipo de elemento

Introduo
6

Inferncia Estatstica
Erro

amostral - clculo aproximado

N tamanho da populao E0 Erro amostral tolervel n tamanho da amostra

22/11/11

Anlise de Resultados - Introduo


7

Amostragem

Populao

Amostra Anlise Descritiva

Concluses sobre a populao

Dados Organizados Inferncia

Anlise de Resultados
8

Procedimento equivocado normalmente utilizado para uma avaliao: 1. Desenvolvimento de um procedimento para avaliao (coleta de dados, simulao...) 2. Validao e verificao do sistema de avaliao 3. Obteno dos resultados atravs de uma execuo da forma de avaliao escolhida 4. Concluses sobre o sistema em estudo
Equivalente a se considerar uma amostra unitria

22/11/11

Anlise de Resultados
9

Por que esse Procedimento est errado?

Aferio
entradas

Tem-se controle de todo o sistema? Como so controladas as entradas do sistema? Quais as condies iniciais do sistema?

Resultados

O que mais o sistema est processando no momento da avaliao? Como avaliar a influncia das trocas de contexto do S.O.?

sadas Sistema a ser Avaliado

Diferentes caractersticas a serem consideradas, p.ex., onde esto localizadas as informaes no disco?

Anlise de Resultados
10

Por que esse Procedimento est errado?

Tempo para Execuo de um processo em um Sistema Operacional


Interrupo do clock Dados necessrios esto no cache? Na primeira vez, provvel que no; nas demais, possivelmente sim. Quais as condies iniciais do sistema? Qual a ocupao da memria? Que outros processos esto executando?

22/11/11

Anlise de Resultados
Modelagem
Representadas por
11

entradas

Variveis aleatrias

sadas Sistema a ser Avaliado

Modelo

Resultados Estocsticos Execuo da simulao

Estimativa das

Anlise de Resultados
12

Portanto, Em uma Aferio, a medida obtida uma dentre um conjunto de possibilidades; Em uma Simulao Estocstica, tem-se uma variabilidade inerente ao processo estocstico da simulao.

22/11/11

Anlise de Resultados
13

Portanto,
Deve-se utilizar as ferramentas que a estatstica nos oferece para analisar os resultados dos experimentos
Estatstica: cincia que investiga os processos de obteno, organizao e anlise de dados sobre uma populao e os mtodos de tirar concluses e fazer predies com base nesses dados. -- Aurlio

Anlise de Resultados
14

Conjunto de Resultados Possveis (infinito)

Amostragem

Conjunto de Medies Realizadas

Populao

Amostra
Clculo de mdias, mximos, mnimos,intervalo de confiana, erro...

Concluses sobre o Sistema Real

Anlise Descritiva

Concluses sobre a populao

Dados Organizados Inferncia

22/11/11

Anlise de Resultados
15

Cuidado... Como mentir com Estatstica livro clebre de Huff, 1954.


Na verdade, nem sequer preciso mentir, apenas mostrar a informao conveniente e omitir as outras. -- Alguns polticos...

Anlise de Resultados
16

Cuidado... ... as informaes utilizadas para opinar, escolher, comprar, absolver, vm sendo criadas, no para expandir conhecimento, mas para promover um produto, uma causa, um poltico. Crossen (1996)

22/11/11

Anlise de Resultados
17

Cuidado...

Os nmeros so fantsticos!! Mas so tambm traioeiros....


Primeiro ponto a ser considerado:
- Que mtricas esto sendo utilizadas? - O que representam os valores obtidos?

Contedo
18

1. 2.

Planejamento de Experimentos Anlise de Resultados

Introduo

Medidas de Desempenho
Anlise Estatstica dos Resultados Comparao de Resultados Procedimento para anlise de resultados Exemplos

22/11/11

Medidas de Desempenho Comuns


19

Medidas de Posio
Mdia Moda Mediana

Medidas de Disperso
Desvio Padro Varincia Percentis Box-Plot

Medidas de Posio
20

Mdia
mdia

aritmtica dos valores valores extremos puxam a mdia

Moda
valor

que ocorre mais vezes

Mediana
divide

o conjunto em duas partes iguais num conjunto ordenado a mediana est no centro no influenciada por valores extremos

10

22/11/11

Medidas de Posio
21

Mdia X Mediana

Medidas de Posio
22

Exemplo: Medidas relacionadas a utilizao da CPU de um Servidor


90 80 70 60 50 40 30 20 10 0

00:00

06:00

12:00

18:00

00:00

06:00

12:00

18:00

00:00

06:00

12:00

18:00

00:00

06:00

12:00

18:00

00:00

06:00

12:00

18:00

00:00

06:00

12:00

18:00

00:00

06:00

12:00

% user

% sys

% wait for IO

Fila de Execuo

Ver planilha (CPU)...

18:00

11

22/11/11

Medidas de Disperso
23

Medidas de Disperso
Varincia

Desvio

Padro

Anlise

de percentis

Box-Plot

Medidas de Disperso
24

Percentis
dividem

os dados em 100 partes de tamanhos iguais

Quartis
dividem

em quatro grupos, delimitados pelos percentis 25, 50 e 75 1 Quartil Q1 ou Q0.25 - valor a que corresponde a percentagem cumulativa de 25% 3 Quartil Q3 ou Q0.75 - valor a que corresponde a percentagem cumulativa de 75%

12

22/11/11

Medidas de Disperso
25

Box Plot
Mostra

a mediana, primeiro e terceiro quartis de uma distribuio (pontos 50%, 25% e 75% na distribuio acumulada) de outlier 1: observao que se encontra a mais de um dado mltiplo (1.5 ou 3.0) do intervalo inter-quartlico, acima ou abaixo dos percentis 75% e 25%, respectivamente

Noo

Pontos fora da reta

* o
26

Medidas de Disperso
Outliers valores extremos da populao.
Q3 ou Q0.75

Mediana
Q1 ou Q0.25

Moderados (1 espcie)(o) [Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e [Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)] Severos (2 espcie)(*) [Q3+3(Q3-Q1) ; mximo] e [mnimo ; Q1-3(Q3-Q1)]

o o *

D Distncia entre Quartis

I Intervalo das Amostras sem Outliers

13

22/11/11

Medidas de Disperso
27

Valores extremos - Outliers

Dados dspares, muito grandes ou muito pequenos, em relao aos demais Influenciam muito as mdias Podem distorcer concluses fundamental sua deteco e tratamento

Possveis causas de valores esprios


Erro na fase de mensurao (tomada da medida) Erro na transcrio ou anotao do registro Mudanas (reais) no-controlveis nas condies experimentais. Caracterstica da varivel (instabilidade)

Medidas de Disperso
28

Tratamento de Outliers
Muita

controvrsia... No existe um critrio ou metodologia para rejeio de dados Problema maior quando se tem pequena quantidade de dados ou uma distribuio normal no pode ser garantida

14

22/11/11

Medidas de Disperso
29

Analisando Observaes Atpicas

Exemplo 1 Medies feitas em um sistema durante o ms de novembro de 2 a 6, das 9 s 17 h


n

15/11/11 3 feira (feriado) deve ser desprezado!

Exemplo 2 Distribuio das requisies a vdeos armazenados em um sistema sob demanda (p.ex., YouTube) Exemplo 3 Solicitaes a um Sistema de Controle de Verses em um ambiente de desenvolvimento de software (p.ex., CVS) Exemplo 4 Acessos a um servidor web ao longo de um dia, durante uma semana (p.ex., site da UFMA)

Medidas de Disperso
30

Podem-se desprezar dados atpicos?

Apenas o especialista na rea pode responder!

Ver planilha... (Memria SO)

15

22/11/11

Contedo
31

1. 2.

Planejamento de Experimentos Anlise de Resultados


Introduo Medidas de Desempenho

Anlise Estatstica dos Resultados


Comparao de Resultados Procedimento para anlise de resultados Exemplos

Anlise de Resultados
32

Considera-se que alguma tcnica para avaliao de desempenho e obteno dos resultados tenha sido utilizada

16

22/11/11

Anlise de Resultados
33

Em qualquer experimentao, trs problemas devem ser considerados:


1. 2. 3.

Condies iniciais da experimentao Quando parar uma experimentao Resultado de uma execuo oferece um resultado dentre muitos outros possveis

Anlise de Resultados
34

Primeiro problema: Quais as condies iniciais que se deve ter para comear uma avaliao?

Trs situaes possveis:


1. 2. 3.

Incio no estado vazio Incio no estado de maior probabilidade de ocorrncia Incio na mdia do estado de equilbrio

17

22/11/11

Anlise de Resultados
35

1.

Incio no estado vazio


Simples Todos os servidores desocupados -> filas vazias Importante para a anlise do transitrio mas no do comportamento estacionrio Ex.: Banco Comportamento normal x inicial Soluo: Incorpora valores iniciais Truncamento dos valores iniciais Experimentao muito grande

Anlise de Resultados
36

2.

Incio no estado de maior probabilidade de ocorrncia


Vantagem:

Comear em um estado representativo do sistema

Desvantagem:

Como determinar o estado mais provvel? Como levar o sistema at esse estado?

18

22/11/11

Anlise de Resultados
37

3.

Incio na mdia do estado de equilbrio


Comear a coleta para estatsticas somente quando os resultados se estabilizarem

Truncamento de dados

Perodo de aquecimento warm-up Retardar a coleta de estatsticas por um perodo de aquecimento Problema: quando truncar? 10% do valor total (?)

Anlise de Resultados
38

Segundo problema: Quando parar a Avaliao?

Algumas possibilidades:

Limitar tempo de experimentao Limitar o nmero de elementos que entram no sistema avaliado Limitar o nmero de entidades processadas por um servidor Parada automtica

19

22/11/11

Anlise de Resultados
39

1.

Limitar tempo de experimentao

Desvantagem: nmero de amostras coletadas ser diferente em cada caso

2.

Limitar o nmero de elementos que entram no sistema


Pode terminar em estado vazio e ocioso Reduz-se, ento, ao problema inicial

Anlise de Resultados
40

3.

Limitar o nmero de entidades processadas por um servidor


Problema: sistemas com prioridades possvel terminar s com tarefas longas na fila pode camuflar os resultados

4.

Parada automtica

Manipulam-se os resultados da experimentao em intervalos selecionados Calcula-se mdia e varincia Experimentao para quando a estimativa da varincia da mdia estiver dentro de certa tolerncia

20

22/11/11

Anlise de Resultados
41

Primeiro e Segundo problemas:


Relacionados com a conduo do experimento Dependem muito da tcnica de avaliao que est sendo utilizada Depende bastante do sistema que deve ser avaliado Sero melhor discutidos em cada tcnica de avaliao e/ ou aplicao considerada

Anlise de Resultados
42

Terceiro problema:

Durante a obteno de dados sobre sistemas computacionais, tem-se que...

Os resultados de uma medio oferecem um resultado dentre muitos outros possveis

21

22/11/11

Anlise de Resultados
43

Terceiro problema:

Observado em qualquer experimento que gere um conjunto de resultados possveis Aps a obteno dos resultados, estes devem ser analisados independentemente da tcnica utilizada Qual resultado deve ser considerado? Como comparar dois conjuntos de resultados?

Anlise de Resultados
44

Como analisar os diferentes resultados de uma avaliao?

Primeiro objetivo da anlise estatstica dos resultados estimar o erro ou intervalo de confiana Deve-se considerar diversos resultados provenientes de diferentes execues

Para simulao: utilizar conjuntos de nmeros aleatrios sem correlao diferentes sementes Para aferio: considerar diversas medies independentes

22

22/11/11

Anlise de Resultados
45

Como definir as sementes?


Diferentes sementes diferentes conjuntos de nmeros aleatrios Pacotes de simulao permitem a escolha entre diferentes conjuntos Conjuntos de nmeros aleatrios deve ser verificado correlao entre os conjuntos

Anlise de Resultados
46

Como definir as sementes?

Outra possibilidade: valores das sementes obtidos a cada 100.000 elementos

Conjunto 1 Conjunto 2 Conjunto 3 Semente Posio no conjunto x1 1 x2 100.000 x3 200.000

Resultados diferentes para cada conjunto

23

22/11/11

Anlise de Resultados - Exemplo


47

Utilizao da CPU

DISCO1 CPU

Semente 1 0.33123 Semente 2 0.32571 Semente 3 0.32510 Semente 4 0.31999 Semente 5 0.33813

DISCO2

Como analisar estes resultados? O perigo utilizar resultados de uma nica simulao para anlise

Intervalos de Confiana
48

A partir de um conjunto de resultados possveis queremos estimar o comportamento de um sistema Podemos utilizar:
Valores fixos Intervalos

Valores fixos no permitem estimar o erro cometido Intervalos de confiana permitem avaliar a confiana no resultado

24

22/11/11

O Que Intervalo de Confiana


49

Intervalo que com uma determinada probabilidade (confiana) contm o valor do parmetro estudado

Confiana = 100*(1- )% = probabilidade de erro Y = mdia da amostra H = Largura do Intervalo de Confiana

Intervalo de 1- Confiana N s 2 = ( y i y )2 /(n 1) /2 i =1 /2 Y-H Y Y+H

50

Qual o significado do Intervalo de Confiana?


Se Confiana = 95%, ento tem-se 95% de chance de que o parmetro medido estar dentro do intervalo Porm nada garante que o resultado de uma nica execuo (Yi) cair no intervalo

O resultado de uma nica execuo poder estar na rea definida por /2

Intervalo de Confiana /2 Y-H

1- /2

Y+H

25

22/11/11

51

Como determinar o Intervalo de Confiana?


(para amostras menores que 30) Ordenar os valores obtidos Eliminar os /2 maiores valores Eliminar os /2 menores valores Obtm-se o intervalo procurado

1. 2. 3. 4.

Ou ento Utilizar o Teorema do Limite Central e a Tabela t-student

52

26

22/11/11

53

Como determinar o Intervalo de Confiana?

Mdia Amostral Yi = Mdia das observaes de uma execuo Estimativa Global Y = Mdia das mdias amostrais Varincia Amostral Desvio Padro (DP)
s 2 = ( yi y ) 2 /( N 1)
i =1 N

s2

t1-/2,N-1 distribuio Student com N-1 graus de liberdade e nvel de confiana igual a 1-

54

Como determinar o Intervalo de Confiana?


Largura do Intervalo de Confiana de 100(1- )% : H = t * desvio H = t1-/2,N-1 *
Intervalo de Confiana /2 Y-H 1- /2

Intervalo de confiana: YH H/Y

Y+H

Relao entre halfwidth e mdia: (Amplitude do IC)

27

22/11/11

Exemplo
55

Tchegada = 125

Tservio = 100

Xi : tempo na fila para cliente i X : tempo mdio na fila para 5.000 clientes : mdia real para tempo na fila -> no conhecido

Exemplo
56

Simulao executada 10 vezes para diferentes conjuntos de nmeros aleatrios, obtendo-se: 331,993 366,052 403,524 464,856 393,393 447,532 420,858 355,959 492,144 389,200 Y = 406,551 Esse valor est suficientemente prximo de ?

28

22/11/11

Exemplo
57

Simulao executada 10 vezes 1- = 0,95 = 0,05 Mdia = Y = 406,551

10

Varincia = S2 =
i =1

(331,993 406,551) 2 + ... + ... = 2539,082 9

DP =

s 2 = 2539,082 = 50,389

331,993 366,052 403,524 464,856 393,393

447,532 420,858 355,959 492,144 389,200

t.05/2;9 = 2,26 H = t.05/2;9 * DP = 113,88 IC: 292,67 520,43 (Y H)

Exemplo
58

H = 113,88
IC: 292,67 520,43
Se a simulao for repetida vrias vezes e em cada vez for determinado o intervalo de confiana, 95% destes intervalos iro conter a mdia verdadeira Valores individuais podem estar fora do intervalo de confiana Tem-se 95% de certeza que a mdia verdadeira est entre 292,67 520,43

29

22/11/11

Exemplo
59

Mdia = Y = 406,554 H = 113,88 IC: 292,67 520,43 Amplitude do intervalo de confiana = 226,76 55,7% do valor mdio No um valor muito grande? Como diminuir? Aumentando o nmero de replicaes

Controle do Erro
60

Utilizando a tcnica de replicaes:


No se pode determinar a preciso desejada Pode-se determinar, aproximadamente, quantas replicaes adicionais deve-se considerar para controlar o erro

Para um erro , deve-se ter: H t1-/2,N-1 * DP

30

22/11/11

Controle do Erro
61

Para o exemplo anterior Suponha que se queira <= 95

Seja r = prximas replicaes

r 11 12 13 14

tr-1;0,95 2,23 2,20 2,18 2,16

22851,74 r 1

tr-1;0,95*

22851,74 r 1

47,80 45,58 43,64 41,93

106,60 100,27 95,13 90,56

So necessrias mais 4 replicaes para atingir o erro mximo desejado

Batch Means
62

Outra abordagem para atingir a preciso desejada, consistindo em:


Executar

uma parte da experimentao (batch) Determinar intervalo de confiana Se atingiu preciso ento
n

pare; execute mais um batch e retorne ao clculo do intervalo de confiana;

Seno
n

Vantagem: apenas 1 warm-up Desvantagem: maior complexidade

31

22/11/11

Contedo
63

1. 2.

Planejamento de Experimentos Anlise de Resultados


Introduo Medidas de Desempenho Anlise Estatstica dos Resultados

Comparao de Resultados
Procedimento para anlise de resultados Exemplos

64

Comparao entre dois experimentos

Testes estatsticos podem ser utilizados para definir se os resultados provenientes de dois experimentos so conclusivos Definem se os resultados so estatisticamente diferentes

32

22/11/11

65

Comparao entre dois experimentos


Teste visual
Variabilidade Mdia Variabilidade Alta Variabilidade Baixa

66

Comparao entre dois experimentos


Teste visual
Caso 1 A B Caso 2 A B Caso 3 A B

Caso 1 ICs no sobrepostos A > B Caso 2 Mdia de um est inserida no IC do outro A no diferente de B Caso 3 ICs sobrepostos mas mdia est fora necessrio outros testes

33

22/11/11

67

Comparao entre dois experimentos

rea de Estatstica oferece grande nmero de testes para comparao entre experimentos:

Teste

t-student para comparar a mdia de duas amostras Teste para amostras pareadas Teste para amostras no pareadas Anlise de Varincia - para comparar mdia de trs ou mais amostras Chi-Quadrado e Poisson - para valores no contnuos

Comparao entre dois experimentos


68

Teste T-student

Clculo do valor de t para a amostra:

Clculo do nmero de graus de liberdade n = nT + nC - 2 Pesquisar tabela t-student com n e confiana desejada ttab

Se t > t tab mdias so diferentes Se t < t tab no existe diferena significativa entre as mdias

34

22/11/11

Anlise de Resultados
69

Aps dez replicaes de um programa de simulao, avaliando-se o tempo mdio na fila de um recurso, obtiveram-se as mdias das amostras e o intervalo de confiana para 95% e para 90% representados na tabela a seguir:
A Mdia H1 (0,05) H2 (0,1) 12 0,8 0,4 B 11 0,9 0,5

O que se pode concluir?

Anlise de Resultados
70

A Mdia H1 (0,05) H2 (0,1) 12 0,8 0,4

B 11 0,9 0,5

A B

A B

H1 (0,05) A - 11,2 12,8 B 10,1 11,9

H2 (0,1) A 11,6 12,4 B 10,5 11,5

35

22/11/11

Anlise de Resultados
71

A Mdia H1 (0,05) H2 (0,1) 12 0,8 0,4

B 11 0,9 0,5

VarA = 1,13 VarB = 1,27


t= 12 11 1,13 / 10 + 1,27 / 10

n = nA + nB 2 = 18 A B

t =2,040 A B

H1 (0,05) ttab = 2,101 > 2,040 No h diferena significativa

H1 (0,1) ttab = 1,734 < 2,040 Mdias diferentes

72

Teste de hiptese X Intervalo de Confiana


Teste de hiptese
Resposta: aceita ou rejeita a hiptese Conclusivo: no deixa dvida Porm, no oferece maiores informaes Difcil de interpretar O que significa tt = 2,101 > 2,040?

36

22/11/11

73

Teste de hiptese X Intervalo de Confiana


Intervalo de confiana
Fornece informaes adicionais Intervalo pequenos parmetro bem estimado Valores com o mesmo significado que as medidas originais mais fcil de entender e analisar Significado de Mdia=12 e H(95%)=0,6

Contedo
74

1. 2.

Planejamento de Experimentos Anlise de Resultados


Introduo Medidas de Desempenho Anlise Estatstica dos Resultados Comparao de Resultados

Procedimento para anlise de resultados


Exemplos

37

22/11/11

75

Procedimento para anlise de resultados


1.

2. 3.

4. 5.

6.

Escolher as variveis de resposta adequadas e suficientes para atingir o objetivo Escolher os fatores e nveis adequadamente Realizar o experimento quantas vezes forem necessrias Pensar na melhor forma de apresentar os dados Fazer o tratamento estatstico adequado para os resultados Observar os resultados e correlacion-los com o que se conhece do sistema sendo avaliado

76

Procedimento para anlise de resultados


1.

Escolher as variveis de resposta adequadas e suficientes para atingir o objetivo

No considerar variveis essenciais pode levar a erros na anlise Considerar variveis desnecessrias contribui para aumentar a complexidade da anlise Sempre tentar analisar conjuntos no muito grandes de variveis e, se necessrio, realizar a anlise em diversas fases

38

22/11/11

77

Procedimento para anlise de resultados


2.

Escolher os fatores e nveis adequadamente

Escolher poucos fatores e, se possvel, apenas dois nveis por fator Para os fatores com grande influncia nas variveis de resposta, detalhar processo separadamente Considerar um grande nmero de fatores e de nveis em um primeiro momento da avaliao, torna a anlise suscetvel a erros

78

Procedimento para anlise de resultados


3.

Realizar o experimento quantas vezes forem necessrias

Utilizar um dos mtodos apresentados para determinar o ponto de parada de coleta de dados No tirar concluses baseando-se em um nico resultado!

39

22/11/11

79

Procedimento para anlise de resultados


4.

Preocupar-se com a melhor forma de apresentar os dados

Tabelas so timas para observar detalhes e valores precisos Grficos so adequados para melhor visualizar os resultados Nos grficos, cuidado com escalas e origem dos eixos Muitos valores em uma tabela ou em um grfico tornam a anlise mais complexa, e possveis resultados mais difceis de serem identificados

80

Procedimento para anlise de resultados


5.

Fazer o tratamento estatstico adequado para os resultados


No tirar concluses considerando apenas as mdias! Valores mdios s fazem sentido quando acompanhados de desvio padro, varincia, intervalo de confiana, etc. Valores mdios com mximo e mnimo podem ajudar na anlise mas no levam a resultados conclusivos, sem a presena de uma mtrica que indique a disperso dos dados

40

22/11/11

81

Procedimento para anlise de resultados


6.

Observar os resultados e correlacion-los com o que se conhece do sistema sendo avaliado


Desconfie de resultados no esperados Tente relacionar os diferentes resultados obtidos Tente justificar para si mesmo os resultados obtidos.

Crditos
82

Aos professores Marcos e Regina Santana, do LaSDPC-ICMC/USP, pela verso original destes slides

41