You are on page 1of 106

Charles Everton Oliveira Gomes

RASTREABILIDADE ENTRE ARTEFATOS HETEROGNEOS DE


SOFTWARE - UM MAPEAMENTO SISTEMTICO

Dissertao de Mestrado

Universidade Federal de Pernambuco


posgraduacao@cin.ufpe.br
www.cin.ufpe.br/~posgraduacao

RECIFE
2016

Universidade Federal de Pernambuco


Centro de Informtica
Ps-graduao em Cincia da Computao

Charles Everton Oliveira Gomes

RASTREABILIDADE ENTRE ARTEFATOS HETEROGNEOS DE


SOFTWARE - UM MAPEAMENTO SISTEMTICO

Trabalho apresentado ao Programa de Ps-graduao em


Cincia da Computao do Centro de Informtica da Universidade Federal de Pernambuco como requisito parcial para
obteno do grau de Mestre em Cincia da Computao.

Orientador: Vinicius Cardoso Garcia

RECIFE
2016

Eu dedico essa dissertao aos meus pais Claudio Muniz


e Maria Ednilda, ao meu tio Clvis Gomes, minha esposa
Renata Conegundes e aos meus filhos Vitor Robemar e
Annanda Letcia, que me deram o incentivo e o suporte
necessrio para chegar at aqui.

Agradecimentos
Em primeiro lugar, gostaria de manifestar a minha gratido aos meus protetores que
de forma concreta zelaram e garantiram meu estado de conscincia, sabedoria, segurana e
sade mental e fisica, no deixando faltar as condies necessrias para a concluso de mais
esta importante etapa em minha vida.
A Renata Conegundes, minha esposa, pela pacincia, compreenso e suporte nos
momentos mais decisivos desta caminhada.
Aos meus pequenos guerreiros, Vitor Robemar e Annanda Letcia, por estar sempre
por perto e trazer momentos de descontrao nos momentos mais difceis.
A Claudio Muniz, Maria Ednilda e Clvis Gomes, membros da famlia, que me deram
fora para que este sonho se tornasse realidade.
Ao meu orientador Vinicius Garcia, obrigado pela oportunidade, confiana, suporte e
parceria durante a caminhada do mestrado.
A todos que no foram mencionados acima, mas contriburam de maneira direta ou
indireta para a realizao e concluso deste trabalho.

Eu prefiro ser essa metamorfose ambulante, do que ter aquela velha


opinio formada sobre tudo.
-RAUL SEIXAS

Resumo
Contexto: Rastreabilidade de artefatos de software tem sido reconhecida como um
fator importante para apoiar diversas atividades no processo de desenvolvimento de software.
Em geral, o objetivo da rastreabilidade melhorar a qualidade dos sistemas de software.
Ao longo dos ltimos anos, as comunidades de engenharia de software tm desenvolvido
um grande nmero de abordagens e tcnicas para tratar vrios aspectos da rastreabilidade.
No entanto, apesar de sua importncia e o trabalho resultante de vrios anos de pesquisa,
estudos empricos sobre as necessidades e prticas de rastreabilidade em organizaes
industriais indicam que o suporte a rastreabilidade no sempre satisfatrio. Como resultado,
a rastreabilidade raramente estabelecida nos ambientes industriais existentes, devido a
apresentar caractersticas distribudas e heterogneas.
Objetivo: Apesar do amplo reconhecimento de sua importncia e de numerosos anos
de investigao, at o momento nenhum estudo apresentou uma viso holstica dos estudos
empricos que aplicam a rastreabilidade de software, na indstria ou na academia. Como um
primeiro esforo neste sentido, o objetivo deste estudo apresentar um roteiro de investigao das prticas relacionadas rastreabilidade de software entre artefatos heterogneos e
identificar as questes que ainda esto abertas para novas pesquisas.
Mtodo: Atravs de um Mapeamento Sistemtico da Literatura realizado por um nico
pesquisador os relatos de experimentos foram identificados e caracterizados. Cinco questes
de pesquisa foram utilizadas para extrair e sintetizar as evidncias encontradas nos estudos
empricos publicados nas diversas fontes cientficas da rea.
Resultado: Dos 2488 estudos retornados, 37 foram selecionados por atender aos
critrios de seleo especificados. Aps anlise, conclui-se que a eficcia das estratgias
de rastreabilidade estabelecidas ainda muito pontual pouco eficaz, este fenmeno pode
ser atribudo dificuldade em automatizar a gerao das relaes de rastreabilidade com
semnticas claras e precisas. Tipicamente, na maior parte das abordagens existentes, as
relaes de rastreabilidade so identificadas de forma automatizada, atravs da utilizao
de tcnicas de recuperao de informao estabelecidas sobre um conjunto de artefatos
de software relacionados aos requisitos, anlise e projeto, implementao e testes. Em
relao aos principais desafios relatados quanto s prticas estabelecidas foram confiana e
a escalabilidade das abordagens.
Palavras-chave: rastreabilidade, artefatos, heterogneo, engenharia de software,
mapeamento sistemtico.

Abstract
Context: software artifacts Traceability has been recognized as an important factor
to support various activities in the software development process. In general, the purpose
of tracking is to improve the quality of software systems. Over the past few years, software
engineering of communities have developed a number of approaches and techniques for
treating various aspects of traceability. However, despite its importance and the resulting
work of several years of research, empirical studies on the needs and traceability practices in
industrial organizations indicate that support traceability is not always satisfactory. As a result,
traceability is rarely established in existing industrial environments due to present distributed
and heterogeneous characteristics.
Objective: Despite the widespread recognition of its importance and many years of
research, to date no study has a holistic view of empirical studies that apply to software
traceability, industry or academia. As a first effort in this direction, the objective of this study
is to present a roadmap for research into the practices related to traceability software across
heterogeneous devices and identify the issues that are still open for further research.
Method: Through a Systematic Literature mapping performed by a single researcher,
experiments reports were identified and characterized. Five research questions were used to
extract and synthesize the evidence found in empirical studies published in various scientific
sources the area.
Results: From 2488 returned studies, 37 were selected for meeting the specified
selection criteria. After analysis, it is concluded that the effectiveness of the established
traceability strategies is still very punctual is very effective, this phenomenon can be attributed
to the difficulty in automating the generation of traceability relationships with clear and precise
semantics. Typically, in most existing approaches, the traceability relationships are identified
in an automated manner through the use of established information retrieval technique on
artifacts level requirements, analysis and design, implementation and testing. However, the
main challenges reported when the established practice is, trust and scalability.
Keywords: traceability, artifacts, heterogeneous, software engineering, systematic
mapping.

Lista de Figuras

1.1 Os principais artefatos do Rational Unified Process . . . . . . . . . . . . . . . 15


2.1 Viso Geral do Conjunto de Artefatos . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Um modelo genrico do processo de rastreabilidade . . . . . . . . . . . . . . . 26
3.1 Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades

35

3.2 Processo de Seleo dos Estudos Primrios . . . . . . . . . . . . . . . . . . . 40


4.1 Primeira Etapa de Seleo

. . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4.2 Segunda Etapa de Seleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50


4.3 Participao nos nveis de qualidade do quantitativo de estudos candidatos . . 51
4.4 Participao das estratgias de busca no quantitativo de estudos candidatos
identificados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.5 Participao das fontes de busca . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.6 Resumo da busca e seleo de estudos . . . . . . . . . . . . . . . . . . . . . 55
4.7 Distribuio temporal dos estudos selecionados . . . . . . . . . . . . . . . . . 56
4.8 Principais colaboradores e a quantidade de publicaes de cada um . . . . . . 57
4.9 Representatividade por tipo de instituio . . . . . . . . . . . . . . . . . . . . . 57
4.10 Participao dos pases das instituies na publicao dos estudos selecionados 58
4.11 Distribuio dos estudos por atividade suportada . . . . . . . . . . . . . . . . . 60
4.12 Distribuio dos estudos por natureza da atividade . . . . . . . . . . . . . . . . 61
4.13 Distribuio dos estudos por agrupamento de artefatos . . . . . . . . . . . . . 62
4.14 Distribuio dos estudos por quantidade de categorias dos artefatos envolvidos

64

4.15 Distribuio dos estudos no tempo por tcnica aplicada . . . . . . . . . . . . . 66


4.16 Lista de mtricas e quantitativo de uso . . . . . . . . . . . . . . . . . . . . . . 67
B.1 Guia das perguntas de qualidade . . . . . . . . . . . . . . . . . . . . . . . . . 102
B.2 Formulrio de registro dos valores da avaliao de qualidade . . . . . . . . . . 103
B.3 Formulrio de extrao dos metadados . . . . . . . . . . . . . . . . . . . . . . 103
B.4 Formulrio extrao de informaes

. . . . . . . . . . . . . . . . . . . . . . . 103

C.1 Resultado da Avaliao de Qualidade dos estudos selecionados . . . . . . . . 105

Lista de Tabelas

3.1 Classificao Geral da Pesquisa

. . . . . . . . . . . . . . . . . . . . . . . . . 32

3.2 Fontes de Busca Manual e Perodo de Coleta . . . . . . . . . . . . . . . . . . 38


3.3 String de Busca utilizada na pesquisa dos estudos do MS . . . . . . . . . . . . 38
3.4 Lista dos Critrios de Incluso/Excluso em ordem alfabtica. . . . . . . . . . . 39
3.5 Avaliao de Qualidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.1 Quantitativo de estudos candidatos localizados por fonte de dados. . . . . . . . 46
4.2 Quantitativo de estudos includos no primeiro estgio de seleo dos estudos . 47
4.3 Valores do teste dos estudos retornados . . . . . . . . . . . . . . . . . . . . . 48
4.4 Quantitativo de estudos excludos por duplicidade e indisponibilidade . . . . . . 49
4.5 Eficcia das buscas realizadas em cada uma das fontes . . . . . . . . . . . . . 53
4.6 Estudos duplicados entre as fontes de busca . . . . . . . . . . . . . . . . . . . 54
4.7 Mapeamento dos estudos por agrupamento de artefatos

. . . . . . . . . . . . 63

4.8 Meios encontrados para estabelecimento da rastreabilidade . . . . . . . . . . . 64


4.9 Mapeamento dos desafios da aplicao de rastreabilidade entre artefatos heterogneos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
A.1 Estudos Includos em ordem alfabtica . . . . . . . . . . . . . . . . . . . . . . 93

Sumrio

1 Introduo

14

1.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2 Contribuio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3 Estrutura da Dissertao

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2 Referencial Terico

18

2.1 Artefatos da Engenharia de Software . . . . . . . . . . . . . . . . . . . . . . . 18


2.2 Rastreabilidade de Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.1 Fundamentos Essenciais . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.1.1

Artefatos de Rastreamento

. . . . . . . . . . . . . . . . . . . 22

2.2.1.2

Relao de Rastreabilidade . . . . . . . . . . . . . . . . . . . 23

2.2.1.3

Modalidade de Estabelecimento da Rastreabilidade . . . . . . 23

2.2.1.4

Termos Adicionais . . . . . . . . . . . . . . . . . . . . . . . . 24

2.2.2 Modelo de Processo Genrico . . . . . . . . . . . . . . . . . . . . . . . 24


2.2.3 Tipos de Abordagens da Rastreabilidade . . . . . . . . . . . . . . . . . 26
2.2.4 Abordagens da Rastreabilidade . . . . . . . . . . . . . . . . . . . . . . 27
2.2.4.1

Hipertexto

. . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.2.4.2

Eventos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.2.4.3

Regras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.2.4.4

Cenrios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.2.4.5

Recuperao da Informao . . . . . . . . . . . . . . . . . . . 29

2.3 Engenharia de Software Baseado em Evidncias

. . . . . . . . . . . . . . . . 30

2.4 Consideraes Finais do Captulo . . . . . . . . . . . . . . . . . . . . . . . . . 31


3 Mtodo

32

3.1 Classificao da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32


3.2 Classificao do Estudo Segundo Cooper . . . . . . . . . . . . . . . . . . . . 33
3.3 Ciclo da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.1 Etapa de Definio da Pesquisa . . . . . . . . . . . . . . . . . . . . . . 34
3.3.1.1

Reviso Informal da Literatura . . . . . . . . . . . . . . . . . . 34

3.3.1.2

Definio do Tema, Objetivo e Escopo

3.3.1.3

Definio da Metodologia . . . . . . . . . . . . . . . . . . . . 36

. . . . . . . . . . . . . 35

3.3.2 Etapas de Planejamento do Mapeamento Sistemtico . . . . . . . . . . 36


3.3.2.1

Definio do Protocolo . . . . . . . . . . . . . . . . . . . . . . 36

3.3.2.1.1

Questes de Pesquisa . . . . . . . . . . . . . . . . . 37

3.3.2.1.2

Estratgia de Busca dos Estudos . . . . . . . . . . . 37

3.3.2.1.3

Estratgia de Seleo dos Estudos . . . . . . . . . . 38

3.3.2.1.4

Avaliao de Qualidade

3.3.2.1.5

Estratgia de Extrao . . . . . . . . . . . . . . . . . 42

3.3.2.2

Reviso do Protocolo

3.3.3 Etapa de Execuo da Pesquisa

. . . . . . . . . . . . . . . . 41

. . . . . . . . . . . . . . . . . . . . . . 42
. . . . . . . . . . . . . . . . . . . . . 42

3.3.4 Etapa de Divulgao dos Resultados . . . . . . . . . . . . . . . . . . . 43


3.4 Consideraes Finais do Captulo . . . . . . . . . . . . . . . . . . . . . . . . . 43
4 Resultados

44

4.1 Execuo do Mapeamento Sistemtico . . . . . . . . . . . . . . . . . . . . . . 44


4.1.1 Projeto Piloto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.1.2 Busca dos Estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.1.3 Seleo dos Estudos Primrios . . . . . . . . . . . . . . . . . . . . . . 46
4.1.4 Avaliao de Qualidade . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.1.5 Extrao dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.6 Sintetizao dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2 Anlise Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 Anlises das Evidncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3.1 Q1 - Quais abordagens de rastreamento tm sido frequentemente aplicada para suportar a heterogeneidade dos artefatos na engenharia de
software? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.3.2 Q2 - Quais os artefatos utilizados para estabelecimento da rastreabilidade? 61
4.3.3 Q3 - Quais meios tm sido empregados para a criao das relaes
entre os artefatos?

. . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

4.3.4 Q4 - Quais as mtricas aplicadas a rastreabilidade entre artefatos heterogneos? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66


4.3.5 Q5 - Quais os principais contextos, objetivos e desafios da aplicao
de rastrabilidade entre artefatos heterogneos de software? . . . . . . . 67
4.3.5.1

Contextos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.3.5.2

Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

4.3.5.3

Desafios e Limitaes . . . . . . . . . . . . . . . . . . . . . . 69

4.4 Discusso dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71


4.5 Consideraes Finais do Captulo . . . . . . . . . . . . . . . . . . . . . . . . . 74
5 Guidelines de Rastreabilidade Aplicado a Artefatos Heterogneos

75

5.1 Traar um propsito. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75


5.2 Definir os artefatos e a granularidade adequada de rastreamento.

. . . . . . . 76

5.3 Definir um glossrio de termos do projeto. . . . . . . . . . . . . . . . . . . . . 77


5.4 Construir uma hierarquia significativa.

. . . . . . . . . . . . . . . . . . . . . . 77

5.5 Introduzir um mtodo automatizado de rastreamento. . . . . . . . . . . . . . . 78

13
5.6 Combinar tcnicas.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

5.7 Reviso de ligaes candidatas.

. . . . . . . . . . . . . . . . . . . . . . . . . 79

6 Consideraes Finais

80

6.1 Limitaes e Ameaas Validade . . . . . . . . . . . . . . . . . . . . . . . . . 80


6.2 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.3 Concluses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
Referncias

84

Apndice

92

A Estudos Primrios Includos

93

B Protocolo do Mapeamento Sistemtico

97

B.1 Questes de Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97


B.2 Estratgia de Busca dos Estudos

. . . . . . . . . . . . . . . . . . . . . . . . 98

B.3 Avaliao de Qualidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101


B.4 Estratgia de Extrao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
B.5 Processo de Sntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
C Resultados da Avaliao de Qualidade

105

14

1
Introduo
A partir da conferncia de trabalho NATO realizada em 1968, pioneira para discutir os
problemas da engenharia de software, a rastreabilidade foi reconhecida como fator importante
para garantia que o produto final reflita as decises a respeito do projeto de software, tomadas
no inicio do projeto (RANDELL, 1968). Rastreabilidade foi posteriormente observada como um
tema de interesse em uma das primeiras pesquisas sobre o estado da arte e as tendncias
futuras na engenharia de software (BOEHM, 1976). Na dcada de 1980, a rastreabilidade
pde ser encontrada como uma exigncia em um grande nmero de normas nacionais e
internacionais de desenvolvimento de software. Posteriormente, no final de 1990, os estudos
foram impulsionados pelo interesse no resultado de dois artigos incidindo sobre as questes
e os problemas associados com a rastreabilidade RAMESH; EDWARDS (1993) e GOTEL;
FINKELSTEIN (1994), este ltimo, como a primeira anlise sistemtica dos problemas da
rastreabilidade.
A fim de superar os desafios significativos na criao, manuteno e utilizao da rastreabilidade, ao longo dos ltimos 20 anos, a comunidade cientfica tem apresentado ativamente
pesquisas sobre as questes de rastreabilidade, atravs da explorao de temas relacionados com a automatizao do processo de rastreabilidade (LUCIA; PENTA; OLIVETO, 2011;
GRECHANIK; MCKINLEY; PERRY, 2007; KAGDI; MALETIC; SHARIF, 2007; MARCUS; MALETIC, 2003), o desenvolvimento de estratgias para o custo-benefcio da rastreabilidade
(EGYED et al., 2005, 2007), apoio a evoluo e manuteno dos vnculos de rastreabilidade
(POSHYVANYK, 2009; MADER; GOTEL; PHILIPPOW, 2009a), visualizao das ligaes de
rastreabilidade (LI; MAALEJ, 2012; CHEN; HOSKING; GRUNDY, 2012; MADER; CLELANDHUANG, 2013), e desenvolver prticas de rastreabilidade que se aplicam a uma vasta gama
de domnios, como as linhas de produtos (SANTOS; ALMEIDA; L. MEIRA, 2012), aplicaes
crticas de segurana (CLELAND-HUANG et al., 2012), desenvolvimento orientado a aspectos (SARDINHA et al., 2012), Model-Driven Development (GALVAO; GOKNIL, 2007) e processo
gil de software (ESPINOZA; GARBAJOSA, 2011).
Enquanto a rastreabilidade reconhecida como um fator crtico de sucesso em desenvolvimento de software (DOMGES; POHL, 1998), a falta da rastreabilidade de software eficaz

15
(HAYES; DEKHTYAR; SUNDARAM, 2006) continua a ser um problema perene nos projetos
da indstria (REMPEL; MADER; KUSCHKE, 2013). O grande nmero de artefatos produzidos
em um projeto, os diferentes nveis de formalidade e especificidade entre vrios tipos de
artefatos, e as inter-relaes complexas entre artefatos (ANDERSON; SHERBA; LEPTHIEN,
2002; ALEXANDER, 2002) formam o corao do problema da rastreabilidade. GOTEL et al.
(2012) juntamente com pesquisadores de rastreabilidade e profissionais dentro do Centro de
Excelncia para Rastreabilidade de Software (COEST) lanaram o The Grand Challenge of
Traceability , um relatrio tcnico que oferece uma viso para a rastreabilidade em software
e engenharia de sistemas que descreve oito desafios que precisam ser abordadas a fim de
alcan-lo. A rastreabilidade onipresente considerada o grande desafio da rastreabilidade, e
exige progressos com todos os sete outros desafios. A heterogeneidade dos formatos, a falta
de estrutura dos artefatos e a inconsistncia na terminologia esto relacionados aos desafios
de torna a rastreabilidade configurvel e escalvel. Na Figura 1.1 pode ser visto um exemplo da
heterogeneidade dos artefatos e o fluxo de informao entre eles.

[H]

Figura 1.1: Os principais artefatos do Rational Unified Process

A literatura sobre rastreabilidade de software oferece um grande nmero de estudos, entre eles, alguns desenvolvidos a fim de reunir e avaliar as evidncias disponveis na
rea. SPANOUDAKIS; ZISMAN (2004) apresentam um roteiro para o estado da arte e da
prtica dos requisitos de rastreabilidade, discutem os principais avanos cientficos e tecnolgicos nesta rea, apresentam as possveis formas de estabelecer rastreabilidade que esto

1.1. OBJETIVOS

16

disponveis pela tecnologia, e identificam questes que requerem mais pesquisas neste campo.
Em (TORKAR et al., 2012) os autores examinam a definio de requisitos de rastreabilidade,
desafios, ferramentas e tcnicas, atravs da realizao de uma reviso sistemtica dos anos
1997 a 2007. Com foco na rastreabilidade de requisitos, a reviso realizada considera estudos
que no apresentam evidncias empricas e complementam os resultados e anlise com uma
validao esttica na indstria atravs de uma srie de entrevistas. Em (BORG; RUNESON;
ARDO, 2014) os autores conduziram um mapeamento sistemtico que agrupa as publicaes
sobre a recuperao de rastreamento baseados em IR, onde foram considerados estudos
publicados at 2012. No entanto, apenas foram includas publicaes que utilizam texto em
linguagem natural como entrada.

1.1

Objetivos
Apesar de vrios autores apontarem solues relacionadas rastreabilidade de soft-

ware, at o momento nenhum estudo apresentou uma viso holstica dos estudos empricos
existentes. Motivado pela necessidade de se produzir melhores evidncias, e como um primeiro
esforo neste sentido, o presente trabalho se prope a:
Identificar os experimentos, classific-los atravs de guias existentes na literatura, e de maneira sistemtica analisar as abordagens, tcnicas, os artefatos, os desafios e os contextos utilizados na aplicao da rastreabilidade entre artefatos heterogneos na engenharia de software.
Deste modo, ser conduzido um estudo de mapeamento sistemtico, executado por
um nico pesquisador, a fim de consolidar e categorizar as evidncias produzidas atravs
dos estudos empricos publicados na rea. Escolheu-se a rastreabilidade pois essa uma
das caractersticas mais marcantes no suporte as mudanas constantes dos processos na
engenharia de software, mais mudana significa uma maior necessidade de apoio da rastreabilidade. Qualquer projeto de desenvolvimento de software envolve muitas informaes, que esto
representadas em grande parte em artefatos heterogneos. Entende-se por artefato heterogneo, todo e qualquer documento utilizado para registrar informaes que apresenta diferena
quanto a estrutura, formato, terminologia, granularidade e partes interessadas. Focar-se em
artefatos heterogneos foi necessrio pois no era possvel, por limitaes de tempo e espao,
abranger experimentos de toda e qualquer relao de rastreamento na engenharia de software.
Alm disso, focar-se em artefatos heterogneos, embora reduzindo a quantidade de estudos
primrios avaliados, mantm a representatividade do conjunto de estudos selecionados em
relao rea como um todo, tanto em nmero, quanto em relao rea de investigao dos
estudos primrios, j que a rastreabilidade de artefatos uma caracterstica bastante abordada
na engenharia de software.

1.2. CONTRIBUIO

1.2

17

Contribuio
Para pesquisadores e profissionais importante entender qual o estado atual da prtica

dos relatos de experimentos em rastreabilidade de software e se as evidncias apresentadas


por eles podem ser interpretadas corretamente. A rastreabilidade de software quando bem
aplicada tem sido reconhecida como um fator importante para qualquer fase de desenvolvimento ou manuteno de um software, pois contribui para produtividade, assertividade das
tarefas e para a qualidade do produto final.

1.3

Estrutura da Dissertao
Alm deste captulo introdutrio a presente dissertao est organizada de acordo com

a seguinte estrutura:


Captulo 2 (Referencial Terico): este captulo trata de toda a fundamentao terica


para o entendimento do trabalho. Primeiramente apresentada uma viso dos
Artefatos da Engenharia de Software. Em seguida a Rastreabilidade de Software
abordada em relao a sua definio, corpo de conhecimento e tendncias de
pesquisas. Na sequncia a Engenharia de Software Baseada em Evidncias
discutida em sua definio, mtodos e aplicao na pesquisa.

Captulo 3 (Metodologia): o captulo apresenta toda a abordagem metodolgica


e os mtodos empregados na pesquisa. So discutidos aspectos relacionados
classificao, ciclo da pesquisa, a utilizao do mtodo de pesquisa de Mapeamento
Sistemtico da Literatura e as peculiaridades de sua instanciao.

Captulo 4 (Execuo e Resultados): o captulo apresenta e discute os resultados


obtidos nesta pesquisa por meio de uma anlise geral dos estudos selecionados.
As perguntas de pesquisas so respondidas e os principais achados so discutidos.

Captulo 5 (Guidelines de Rastreabilidade Aplicado a Artefatos Heterogneos):


este captulo lista um conjunto de boas prticas para aplicao da rastreabilidade
sobre artefatos heterogneos, que envolvem a criao de um ambiente favorvel,
a estruturao e o contedo dos artefatos, e meios de buscar a eficincia das
atividades e a eficcia dos objetivos.

Captulo 6 (Consideraes Finais): so apresentadas as ameaas validade da


pesquisa e respectivas mitigaes. Apresenta as perspectivas de trabalhos futuros
para que a comunidade possa dar prosseguimento pesquisa. E por fim as
concluses so enunciadas.

18

2
Referencial Terico
Neste captulo, so apresentados os principais conceitos e estudos utilizados como
base para a presente pesquisa. Deste modo, atravs de trs sees, os conceitos centrais
sobre rastreabilidade de software e seus desdobramentos sero explanados. A primeira seo
aborda uma viso dos artefatos do processo de desenvolvimento de software. A segunda
seo expe os conceitos da Rastreabilidade de Software, suas atividades e aplicaes. A
terceira aborda a Engenharia de Software Baseado em Evidncias.

2.1

Artefatos da Engenharia de Software


A engenharia de software definida como a aplicao de uma abordagem de desenvol-

vimento sistmica, disciplinada e quantificvel para o desenvolvimento, operao e manuteno


de software (IEEE STD 24765, 2010). Os fundamentos cientficos para a engenharia de software envolvem o uso de modelos abstratos e precisos, os quais estabelecem uma estrutura
para os mtodos e processos que permite ao engenheiro desenvolver, manter, operar e avaliar
a qualidade do software (IEEE STD 12207, 2008). Um processo de engenharia consiste em um
conjunto de atividades inter-relacionadas que transformam uma ou mais entradas em sadas,
enquanto consome recursos para realizar a transformao (SOMMERVILLE, 2010). Aplicado
engenharia de software, essa definio inclui a especificao de funes e competncias,
suporte tecnolgico, tcnicas e ferramentas de engenharia de software e ambiente de trabalho necessrio para realizar o processo, bem como as abordagens e medidas usadas para
determinar a eficincia e eficcia da execuo do processo (SWEBOK, 2014).
O desenvolvimento de software envolve tipicamente o uso, a criao e modificao
de muitos produtos de trabalho, tais como documentos de planejamento, especificaes de
processo, requisitos de software, diagramas, modelos, cdigos, casos de teste manuais e
automatizados, relatrios, arquivos e dados. O termo produto de trabalho (SWEBOK, 2014)
atribudo a qualquer artefato (KRUCHTEN, 2003) que o resultado de um processo utilizado
para criar o produto final de software. Estes produtos de trabalho podem estar associados
atravs de vrias relaes de dependncia devido ao processo estabelecido entre as diversas

2.1. ARTEFATOS DA ENGENHARIA DE SOFTWARE

19

reas de conhecimento de ciclo de vida do software.


Projetos de software focados no desenvolvimento sequencial de artefatos seguem
estgios distintos e bem definidos da especificao dos requisitos aos testes de software e
manuteno do sistema. Este modelo pode atender projetos especficos, onde as evolues
dos produtos de trabalho esto estreitamente alinhadas. No entanto, esta abordagem no
funciona muito bem para boa parte dos sistemas de software atuais, em que a complexidade
do sistema resulta em inmeros riscos e relacionamentos em vrias dimenses. Onde uma
transformao sequencial simplista no pode ser usada de forma eficiente (ROYCE, 1998),
onde seus componentes esto inseridos numa rede heterognea de plataformas distribudas.
Sistemas complexos exigem uma sequncia muito diferente da evoluo dos artefatos e uma
abordagem muito diferente para sua anlise e compreenso medida que aumentam suas
relaes, pois se torna mais difcil de entender seu comportamento e propriedades, assim
como sua previsibilidade (SOMMERVILLE et al., 2012).
Para realizao do desenvolvimento de um software gerencivel, colees distintas de
informaes esto organizadas em artefatos. Cada artefato ou conjunto destes, representam
a viso de um sistema a partir de uma determinada perspectiva e so persistidos em um
formato de representao uniforme. Segundo ROYCE (1998), os artefatos do ciclo de vida do
software esto organizados em cinco conjuntos distintos, que so particionado pela linguagem
subjacente que os une. O conjunto deste artefatos mostrado na Figura 2.1 e seus propsitos
e notaes so descritas a seguir.

[H]

Figura 2.1: Viso Geral do Conjunto de Artefatos

1. Gesto: O conjunto de gesto captura os artefatos associados com o planejamento e execuo do processo. Esses artefatos usam notaes ad hoc, incluindo
texto, grficos, ou qualquer que seja a representao necessria para capturar os
contratos entre o pessoal do projeto e as partes interessadas.

2.1. ARTEFATOS DA ENGENHARIA DE SOFTWARE

20

2. Requisitos: Neste conjunto o texto estruturado usado para a declarao da viso,


que documenta o escopo do projeto e suporta o contrato entre a entidade financiadora e a equipe do projeto. Formatos ad hoc tambm podem ser usados para
obter as especificaes complementares (tais como requisitos regulamentares) e
prottipos de interface. Notao UML utilizada para representao de modelos
da engenharia de requisitos (modelos de caso de uso, modelos de domnio).
3. Projeto: O conjunto de projeto contm vrios nveis de abstrao que representam
os componentes no espao da soluo (suas entidades, atributos, relaes estticas, interaes dinmicas). Os modelos de design incluem informaes estruturais
e comportamentais da soluo e a descrio de arquitetura do software. Em cenrios especficos, a modelagem dos testes realizada e os casos de testes de
integrao so desenvolvidos.
4. Implementao: O conjunto de implementao inclui o cdigo fonte (notaes
de linguagem de programao) que representam as implementaes tangveis
de componentes (sua forma, interface e relaes de dependncia) e quaisquer
arquivos executveis necessrios para o teste independente de componentes.
Neste conjunto inclui-se tambm os procedimentos de testes do sistema e os
scripts de execuo dos testes automatizados.
5. Implantao: O conjunto de implantao inclui as entregas de usurio em notaes
de linguagem de mquina, ou seja, software executvel, alm dos arquivos de instalao e dados especficos necessrios para usar o produto em seu ambiente destino
(manual de usurio).
O desenvolvimento de software envolve tipicamente o uso, a criao e modificao de
muitos produtos de trabalho durante o desenvolvimento, gesto, manuteno e/ou evoluo
do software. Cada conjunto de artefatos o foco do desenvolvimento predominante de
uma fase do ciclo de vida, e oferecem insumos para o avano e desenvolvimento de outras
atividades subsequentes. Ou seja, com o avano do desenvolvimento, cada uma das reas
de conhecimento evolui de forma mais detalhada, e na sua concluso todas as reas devem
estar completamente elaboradas e consistentes umas com as outras. Mas para isso, preciso
mapear e controlar estes relacionamentos. Com o propsito de identificar a configurao
de um sistema em pontos distintos no tempo e controlar sistematicamente alteraes dos
artefatos de software, o gerenciamento da configurao a disciplina responsvel por garantir
a integridade e possibilitar a rastreabilidade da configurao ao longo do ciclo de vida do
sistema (SWEBOK, 2014). Os conceitos de gerenciamento de configurao aplicam-se a todos
os itens de configurao a serem controlados e est intimamente relacionada com a atividade
de garantia da qualidade do software (Carnegie Mellon University, 2010).

2.2. RASTREABILIDADE DE SOFTWARE

2.2

21

Rastreabilidade de Software
A rastreabilidade tem sido identificada na literatura como um fator de qualidade, uma

caracterstica que o software deve possuir e incluir como requisito no-funcional (ROETZHEIM,
1991). Segundo IEEE STD 24765 (2010) rastreabilidade o grau em que uma relao pode
ser estabelecida entre dois ou mais produtos do processo de desenvolvimento, especialmente produtos com um predecessor e sucessor ou mestre-subordinado relacionando um
ao outro. EDWARDS; HOWELL (1991) definem a rastreabilidade como uma tcnica usada
para fornecer uma relao entre os requisitos, o design e a implementao final do sistema.
Para SPANOUDAKIS; ZISMAN (2004) rastreabilidade a capacidade de relacionar artefatos
criados durante o desenvolvimento de um sistema de software, e assim descrever o sistema a
partir de diferentes perspectivas e nveis de abstrao, envolvendo os atores que tm contribudo para a criao dos artefatos, bem como a lgica que explica a forma dos artefatos. Uma
definio recente empregada a rastreabilidade a capacidade de criar, manter e utilizar rastros
estabelecidos entre os artefatos ou elementos que a compe. Os quais devem ser adquiridos,
representados, armazenados, e posteriormente recuperados para permitir o uso nas atividades
e tarefas da engenharia de software (HUANG; GOTEL; ZISMAN, 2014).
A importncia da rastreabilidade bem compreendida na comunidade de engenharia
de software e adotada em inmeros padres de desenvolvimento de software (IEEE STD
12207, 2008; IEEE STD 29148, 2011; IEEE STD 828, 2012). As indstrias so muitas vezes
obrigadas a implementar prticas de rastreabilidade por regulamentaes governamentais, por
exemplo, nos Estados Unidos a Food and Drug Administration (FDA)1 afirma que a anlise
da rastreabilidade deve ser utilizada para verificar se um projeto de software implementa
todos os requisitos especificados, e que todos os aspectos do design, cdigo e teste so
rastreveis para os requisitos de software. Outros exemplos encontrados so: a Federal
Aviation Administration (FAA)2 , que afirma que os desenvolvedores de software precisam ter
maneiras de demonstrar a rastreabilidade entre design e requisitos, e as normas Capability
Maturity Model Integration (CMMI)3 e Melhoria de Processo do Software Brasileiro (MPS-BR)4 ,
que exigem prticas de rastreabilidade semelhantes.
Em suma, no nvel mais fundamental, a rastreabilidade simplesmente o potencial de
se relacionar dados que so armazenados dentro de artefatos de algum tipo, juntamente com
a capacidade de examinar esta relao (HUANG; GOTEL; ZISMAN, 2014), fornecendo visibilidade sobre aspectos necessrios do processo de desenvolvimento e contribuindo para uma
melhor compreenso do software do desenvolvimento manuteno (MADER; EGYED, 2011).
O valor da rastreabilidade encontra-se em muitas atividades da engenharia de software, onde
as informaes fornecidas atravs dessas inter-relaes podem permitir a anlise de impacto
1

http://www.fda.gov/
http://www.faa.gov/
3
http://cmmiinstitute.com/
4
http://www.softex.br/mpsbr/
2

2.2. RASTREABILIDADE DE SOFTWARE

22

das mudanas, anlise de cobertura e dependncia (GOTEL; FINKELSTEIN, 1994; LINDVALL;


SANDAHL, 1996; RAMESH; JARKE, 2001).
Na prtica, a rastreabilidade tipicamente criada e mantida atravs da utilizao de ferramentas de gerenciamento de requisitos ou realizada manualmente, com o uso de planilhas
(ARKLEY; RIDDLE, 2005; CLELAND-HUANG et al., 2014). No entanto, h diversos problemas
que tornam difcil conseguir rastreabilidade bem sucedido na prtica (REMPEL; MADER; KUSCHKE, 2013). Essas questes incluem a comunicao e relaes sociais relacionadas entre
os participantes do projeto, bem como questes tcnicas relacionadas com a criao fsica,
manuteno e uso dos links de rastreabilidade (MADER; GOTEL; PHILIPPOW, 2009a). A
capacidade de atingir plenamente os benefcios da rastreabilidade, portanto, depende da criao de ligaes navegveis entre os dados mantidos em artefatos que esto desconectados,
de forma econmica, precisa e significativa, em consonncia aos propsitos estabelecidos
(CLELAND-HUANG et al., 2007; GOTEL et al., 2012).

2.2.1

Fundamentos Essenciais
Nas prximas subsees sero apresentados, de maneira sucinta e objetiva, aspectos

e termos5 importantes relacionados rastreabilidade que so necessrios para o entendimento


desta pesquisa: artefato de rastreamento, ligao de rastreamento, e rastreabilidade, que so
os blocos de construo da rastreabilidade.
2.2.1.1

Artefatos de Rastreamento
Artefatos de rastreamento so unidades rastreveis de dados. O termo pode ser apli-

cado a todos os dados residuais ou a qualquer item tangvel produzido durante o processo de
desenvolvimento ou manuteno de software que so passveis de ser rastreado (HUANG; GOTEL; ZISMAN, 2014). O termo work product (produto de trabalho) utilizado pelo (SWEBOK,
2014) para referenciar qualquer artefato que resultado de um processo utilizado para criar o
produto final de software. Exemplos de um produto de trabalho incluem uma especificao do
sistema, uma especificao dos requisitos de software para um componente, uma descrio
do projeto de arquitetura do software, o cdigo fonte, a documentao de teste e o manual de
usurio. O gerenciamento da configurao a disciplina que promove o acompanhamento
adequado das evolues e relaes destes artefatos.
O termo artefato aplicado tanto ao objeto como um todo e/ou qualquer delimitao
interna nele. Isto significa que a granularidade de um artefato de rastreamento no prdeterminada. Trs outros termos so intimamente associados com o artefato de rastreamento,
so eles: tipo de artefato, artefato fonte e artefato alvo. O tipo de artefato serve para classificar
a natureza e a funo do artefato, e caracteriza os artefatos de rastreamento que tm a mesma
5

(http://www.coest.org/index.php/traceability/glossary)

2.2. RASTREABILIDADE DE SOFTWARE

23

ou uma estrutura semelhante (sintaxe) e / ou de uso (semntica). Os termos artefato fonte e


artefato alvo servem para caracterizar o sentido do rastreamento numa determinada relao
de rastreabilidade, especificando, o artefato de origem e o destino, respectivamente.
2.2.1.2

Relao de Rastreabilidade
Uma relao de rastreabilidade uma associao entre dois artefatos, compreendendo

o artefato de origem e o artefato destino. Essa definio de ligao implica que o link tem
um sentido principal para a deteco, a partir do artefato fonte para o artefato alvo. O
direcionamento entre os dois artefatos de rastreio prev a capacidade de atravessar a ligao
de rastreamento, ou para segui-lo, de modo a associar as duas partes de dados. essa
orientao que procurada atravs da rastreabilidade (HUANG; GOTEL; ZISMAN, 2014).
2.2.1.3

Modalidade de Estabelecimento da Rastreabilidade


A atividade de rastreamento demanda alguma forma de atuao, e leva a trs termos

associados quando se refere natureza da atividade que coloca a rastreabilidade em prtica.


A seguir so apresentadas as diferentes abordagens para a gerao de rastreabilidade com
base no nvel de automao que oferecido (GOTEL et al., 2012), so elas:


Rastreamento manual - Quando a rastreabilidade estabelecida pelas atividades


de um humano. Isso inclui todas as decises de criao, manuteno e busca das
relaes de rastreabilidade realizadas manualmente por um analista ou um grupo
deles.

Rastreamento semiautomtico - Quando a rastreabilidade estabelecida atravs


de uma combinao de tcnicas automatizadas, mtodos, ferramentas e atividades
humanas. Um exemplo disso quando tcnicas automatizadas podem sugerir
relaes candidatas ou suspeitas de rastreamento entre artefatos, em seguida, o
humano solicitado a verific-las.

Rastreamento automatizado - Quando a rastreabilidade estabelecida atravs


de tcnicas automatizadas, mtodos e ferramentas. Ou seja, um processo de
rastreamento totalmente automatizado aquele em que os analistas humanos no
realizam quaisquer atividades de busca e onde todas as decises de rastreio so
suportadas por software.

Manter manualmente ligaes de rastreamento uma abordagem que no escala


(HEINDL; BIFFL, 2005). Alm disso, aliada a dinmica de desenvolvimento do software
torna-se tedioso e propenso a erros (DOMGES; POHL, 1998). O nvel atual de suporte das
ferramentas de rastreabilidade uma das principais razes para a sua utilizao limitada em
ambientes industriais (SPANOUDAKIS; ZISMAN, 2004). Isso ocorre porque a maioria das

2.2. RASTREABILIDADE DE SOFTWARE

24

ferramentas industriais e ambientes no fornecem suporte para todos os tipos de artefatos


que so construdos no ciclo de vida de desenvolvimento de software, bem como todos os
tipos de relaes de rastreabilidade que pode existir entre estes artefatos. Alm do mais, os
ambientes e ferramentas existentes no se comunicam de forma transparente, pois so muitas
vezes insuficientemente programadas e configuradas para suportar aos interesses especficos
dos stakeholders do projeto. Com isso, no suportando plenamente os processos nem se
adaptando s novas necessidades para serem usadas em ambientes de desenvolvimento de
software distribudos e heterogneos.
2.2.1.4

Termos Adicionais
Os termos adicionais que delineiam diferentes tipos de rastreabilidade so destacados

e definidos a seguir.
Rastreabilidade para Frente: O termo comumente usado quando o rastreamento segue os passos subsequentes em um caminho de desenvolvimento, que no necessariamente
um caminho cronolgico, como exemplo, partindo dos requisitos para o cdigo.
Rastreabilidade para trs - O termo comumente usado quando o rastreamento segue
passos antecedentes em um caminho de desenvolvimento, que no necessariamente um
caminho cronolgico, como exemplo, partindo do cdigo para o modelo de arquitetura.
Rastreabilidade Horizontal - Termo comumente usado quando o rastreamento envolve
artefatos em diferentes nveis de abstrao, de modo a acomodar a rastreabilidade de ponta-aponta no ciclo de vida de desenvolvimento do software. Inclui as relaes entre os diferentes
modelos, tal como de requisitos para o cdigo. A rastreabilidade horizontal pode empregar
tanto o rastreamento para frente quanto o rastreamento para trs (LINDVALL; SANDAHL,
1996).
Rastreabilidade Vertical O termo comumente usado quando o rastreamento dos
artefatos acontece no mesmo nvel de abstrao, tais como: (i) rastrear todos os requisitos
criados (ii) rastrear os requisitos no funcionais do sistema, ou (iii) rastrear entre as verses
de um requisito particular em diferentes momentos no tempo. A rastreabilidade vertical pode
empregar tanto o rastreamento para frente quanto a rastreabilidade para trs (LINDVALL;
SANDAHL, 1996).

2.2.2

Modelo de Processo Genrico


Um modelo do processo genrico de rastreabilidade uma descrio abstrata da srie

de atividades que servem para estabelecer a rastreabilidade e torn-la utilizvel, juntamente


com uma descrio das responsabilidades tpicas e mobilizao de recursos necessrios para
realiz-las, bem como as suas entradas e sadas. A Figura 2.2 representa um modelo do
processo genrico de rastreabilidade. Ela mostra as atividades essenciais que so necessrias
para a criao at a eventual retirada das ligaes (HUANG; GOTEL; ZISMAN, 2014). As

2.2. RASTREABILIDADE DE SOFTWARE

25

etapas distintas do processo compreendem:


1. Estratgia de Rastreabilidade: Decises tomadas a fim de determinar os requisitos
das partes interessadas e do sistema de rastreabilidade, de projetar uma soluo
de rastreabilidade adequada, e para fornecer o controle necessrio para manter
estes requisitos e solues relevantes e eficazes durante a vida de um projeto.
A estratgia de rastreabilidade compreende o planejamento e as atividades de
gerenciamento da rastreabilidade, as quais envolvem decises complexas quanto
granularidade, categorizao e armazenamento de artefatos em formatos variados. Ela tambm envolve escolhas quanto abordagem para gerar, classificar,
representar e, em seguida, manter as suas ligaes inter-artefato e intra-artefato.
2. Criao de Rastreabilidade: A atividade geral de associar dois ou mais artefatos,
fornecendo uma relao de rastreabilidade entre eles, para fins de rastreamento.
Essa relao pode ser construda manualmente, automaticamente ou semiautomaticamente e anotaes adicionais podem ser fornecidas como desejado para
caracterizar atributos da ligao. As relaes de rastreabilidade so criadas, todas
dentro do mbito de uma estratgia mais ampla de rastreabilidade. Essa estratgia fornece o detalhe das necessidades das partes interessadas, as decises
relativas aos mecanismos de automao, os artefatos e semnticas das ligaes
estabelecidas e a forma acordada em que atividades e tarefas sero necessrias.
3. Manuteno da Rastreabilidade: So atividades associados atualizao de relaes pr-existentes, atravs de mudanas feitas aos artefatos rastreados a rastreabilidade evolui, criando novos traos onde for necessrio para manter a rastreabilidade
relevante e atualizada.
4. Uso da rastreabilidade - So atividades associadas com a utilizao das relaes de
rastreabilidade para apoiar diversas atividades de software, tais como a verificao e
validao, anlise de impacto e gesto da mudana. Um componente importante do
processo de utilizao avaliar a qualidade da rastreabilidade que fornecida em
termos de adequao finalidade em relao tarefa ou atividade para a qual
exigida. Essa informao fornece um ciclo de feedback para melhorar a estratgia
global de rastreabilidade.

2.2. RASTREABILIDADE DE SOFTWARE

[H]

2.2.3

26

Figura 2.2: Um modelo genrico do processo de rastreabilidade

Tipos de Abordagens da Rastreabilidade


As relaes estabelecidas entre artefatos so vitais para a compreenso de sistemas

de software e para apoiar as tarefas de engenharia de software. Existem basicamente duas


formas de adquirir as ligaes de rastreamento (ASUNCION; ASUNCION; TAYLOR, 2010):


Rastreamento Prospectivo: Uma abordagem que implica a captura de ligaes


de rastreamento simultaneamente com a criao dos artefatos que eles se associam. Estas relaes de rastreamento podem ser criadas automaticamente ou
semi-automaticamente usando ferramentas. Em abordagens prospectivas, as ligaes de rastreamento so criadas por meio da anlise das interaes do usurio
com o artefato dentro do contexto de uma tarefa de desenvolvimento particular,
ou seja, as ligaes so definidas no instante em que os artefatos so criados e
modificados pelos usurios durante o desenvolvimento.

Rastreamento Retrospectivo: Abordagem que implica a recuperao de ligaes


de rastreamento aps os artefatos que se associam foram gerados ou manipulados. Esses links de rastreamento podem ser criados automaticamente ou semiautomaticamente usando ferramentas. Na aquisio de rastreamento retrospectiva,

2.2. RASTREABILIDADE DE SOFTWARE

27

as relaes de rastreamento so identificadas atravs da anlise esttica dos


artefatos.
Uma vantagem inerente das abordagens prospectivas que elas so eficientes e escalveis, porque so, por natureza, incremental. No entanto, elas exigem uma estreita integrao
entre os ambientes ou tecnologias existentes. Trabalhos nesta rea esto divididos entre tcnicas que monitoram as aes dos desenvolvedores (MADER; GOTEL; PHILIPPOW, 2009b;
ASUNCION; ASUNCION; TAYLOR, 2010), a Engenharia Orientada a Modelos (ALEKSY et al.,
2009; JOUAULT et al., 2010) e abordagens que inferem as ligaes de rastreamento sobre
os itens encontrados nos logs dos sistemas de controle de verso e outros tipos de repositrios (JIANG et al., 2008; DELATER; PAECH, 2013a).
As abordagens clssicas de rastreabilidade so retrospectivas, ou seja, as ligaes
so recuperadas a partir de artefatos existentes, e contam com mtodos baseados em texto
usando tcnicas de recuperao de informao ou de aprendizado de mquina para analisar documentos (KAGDI; MALETIC; SHARIF, 2007; GRECHANIK; MCKINLEY; PERRY, 2007;
LUCIA; PENTA; OLIVETO, 2011).

2.2.4

Abordagens da Rastreabilidade
O objetivo da rastreabilidade de software identificar relaes relevantes entre artefatos

produzidos num ciclo de vida do software. Quando plenamente realizado, a rastreabilidade


permite a recuperao eficiente dos artefatos relacionados, que til em uma variedade de
tarefas da engenharia de software. Enquanto isso, projetos de desenvolvimento de software
so cada vez mais distribudos e descentralizados, e dependente de software de terceiros,
motivando a necessidade de tcnicas eficazes de rastreabilidade (FIGUEIREDO; SOUZA,
2012; CHAUHAN; BABAR, 2014).
Um grande desafio na recuperao de vnculos de rastreabilidade entre artefatos de
software o fato de que esses artefatos esto em formatos diferentes e em diferentes nveis
de abstrao (WIJESINGHE et al., 2014). Mais do que isso, s vezes a semntica de tais links
interpretada de forma diferente por vrias pessoas. A criao automatizada das relaes de
rastreabilidade necessria porque milhares de dependncias entre todos os tipos de artefatos
de software pode existir implicitamente. Uma abordagem de rastreabilidade deve considerar
a reduo de esforos no processo de criao e evoluo das relaes de rastreabilidade
(ROCHIMAH; KADIR; ABDULLAH, 2007). Vrias tcnicas e heursticas para apoiar a aquisio
e evoluo dos links de rastreabilidade foram propostas e sero apresentadas a seguir.
2.2.4.1

Hipertexto
O modelo de hipertexto pode ser definido como um conjunto de contedos textuais e

suas inter-relaes, representado por links, em combinao com uma interface de usurio

2.2. RASTREABILIDADE DE SOFTWARE

28

para a visualizao e navegao de instncias destes contedos atravs de links. No modelo


de hipertexto, um link (ou hyperlink ) uma entidade de primeira classe, definida como uma
associao entre um conjunto de artefatos ou ncoras para contedos dentro de um artefato,
e formam os terminais para as ligaes, e podem ser representados por um modelo de
marcao baseado em XML (MALETIC et al., 2003). As abordagens baseadas em linguagem de
marcao favorecem a rastreabilidade em ambientes de engenharia de software heterogneos
amplamente distribudos (SONG et al., 1998).
2.2.4.2

Eventos
As abordagens baseada em eventos oferecem um mecanismo de notificao que

implementa regras invariveis de padres de projeto, que so usados para identificar os componentes crticos do software. Mais especificamente, as dependncias entre os artefatos so
registradas durante a criao do software. Aps o registro das dependncias, o sistema
monitora os artefatos e quando qualquer um deles modificado, ele notifica todos os dependentes sobre a mudana (CLELAND-HUANG; CHANG; GE, 2002; CLELAND-HUANG;
CHANG; CHRISTENSEN, 2003).
2.2.4.3

Regras
A principal motivao para as abordagens de rastreabilidade baseados em regras

o apoio a criao de rastreabilidade automtica em vrios tipos de documentos gerados


durante as diferentes fases do ciclo de vida de desenvolvimento de software (SPANOUDAKIS
et al., 2004). Outras motivaes esto preocupadas com (a) a necessidade de apoiar a
criao de diferentes tipos de relaes de rastreamento com significados semnticos em vez
de hiperlinks simples; e (b) a existncia de grande nmero de artefatos heterogneos que
representam diferentes aspectos de um sistema de software, especificado com diferentes
nveis de abstrao e granularidade, produzidos por diferentes atores e criados de forma
independente por ferramentas no interoperveis (MADER; GOTEL; PHILIPPOW, 2008).
2.2.4.4

Cenrios
Uma abordagem baseada em cenrios foi proposta por EGYED; GRUNBACHER

(2002), onde as dependncias de rastreabilidade so geradas e validadas com base em


rastros hipotticos definidos manualmente, para isso, cenrios de testes so executados
em um sistema em desenvolvimento e informaes so obtidas usando uma ferramenta de
monitoramento. Sobreposies detectadas entre os cenrios e os elementos do sistema so
representados no formato de grfico, para gerao automtica das ligaes de rastreamento.

2.2. RASTREABILIDADE DE SOFTWARE


2.2.4.5

29

Recuperao da Informao
Na recuperao de vnculos de rastreabilidade entre artefatos de software, boa parte

destes artefatos apresentam formatos e nveis de abstrao diferentes (GOTEL et al., 2012).
No entanto, existe um tipo de dado presente em todos os artefatos de software, que so os
dados textuais. Extrair e analisar este tipo de dado essencial para o desenvolvimento de
tcnicas e ferramentas de recuperao de relaes de rastreabilidade. Na maioria dos artefatos
as partes textuais so de natureza descritiva, ou seja, dois artefatos que so conceitualmente
relacionados podem possivelmente conter ligaes de rastreabilidade entre eles.
Uma soluo eficaz adotada por pesquisadores e profissionais para extrair e analisar
os dados textuais incorporados em artefatos heterogneos de software o uso de tcnicas de
recuperao de informao, do ingls Information Retrieval (IR) (MARCUS; MALETIC, 2003;
LUCIA et al., 2004; HAYES; DEKHTYAR; SUNDARAM, 2006). A abordagem IR se baseia no
pressuposto que se os engenheiros referem-se aos mesmos aspectos do sistema usando
uma lngua semelhante em diferentes artefatos do software. Mtodos de recuperao de
rastreabilidade baseado em IR operam sobre a semelhana entre os textos contidos nos
artefatos de software. Assim, quanto maior for a semelhana entre dois artefatos textuais,
maior a probabilidade de que exista uma ligao entre eles (BAEZA-YATES; RIBEIRO-NETO,
1999). As etapas gerais desta abordagem incluem:
(i) anlise, extrao e pr-processamento dos documentos: os artefatos de software
so extrados dado o nvel de granularidade estabelecido, em seguida, pre-processados
para remoo de tokens no textuais e representados como um conjunto de fragmentos do
documentos resultante.
(ii) indexao dos termos: Um mtodo de recuperao de rastreabilidade utilizado
para indexar diversos fragmentos do artefato de software e represent-los de forma homognea
para extrao de informao sobre a ocorrncia dos termos (ou palavras) dentro deles. Esta
informao usada para definir medidas de similaridade entre os vrios documentos.
(iii) gerao da lista de priorizao: um conjunto de artefatos de origem e destino
so usados com relao a medida de similaridade definida para classificar todos os pares
possveis pelas suas semelhanas, assim gerando uma lista dos links de rastreabilidade
candidatos.
(iv) anlise das ligaes candidatas: uma vez que as ligaes candidatas foram geradas,
elas so fornecidas como resultado para confirmao ou rejeio. O processo de avaliao
das ligaes pode ser realizado baseado no julgamento humano ou automatizado.
Os mtodos de IR mais utilizados representam um documento como uma coleo
desordenada de palavras, desconsiderando a ordem com que palavras so apresentadas,
podendo ser classificados como algbrico ou probabilstico, dependendo de como a relevncia
entre as consultas e os documentos medida (MANNING; RAGHAVAN; SCHUTZE, 2008). Em
modelos de IR algbricos, a relevncia assumida correlacionado a similaridade dos termos

2.3. ENGENHARIA DE SOFTWARE BASEADO EM EVIDNCIAS

30

existentes. Em recuperao probabilstico, a relevncia entre uma consulta e um documento


expressa como um problema de classificao, os documentos so ento classificados de
acordo com sua probabilidade de ser relevante.
Vrias tcnicas de rastreabilidade tem sido propostas baseadas no modelo de recuperao de informao algbrico, MALETIC et al. (2003) apresenta uma viso holstica de
como combinar a tcnica de recuperao de informao LSI, juntamente com a anlise de
conformidade que facilitado por um modelo de hipertexto formal. HAYES et al. (2007) apresentam RETRO uma ferramenta para tratar a recuperao de rastreabilidade para os artefatos
que contenham narrativa textual desestruturada usando IR e mtodos de minerao de texto
para construir as ligaes candidatas. J PANICHELLA; LUCIA; ZAIDMAN (2015) prope
a utilizao do feedback humano para melhorar relevncia da lista de ligaes candidatas
retornadas pela abordagem de IR utilizada.
A recuperao de rastreamento suportado por modelos probabilsticos tem sido explorada por diversos pesquisadores, dentre eles, CLELAND-HUANG et al. (2005) onde apresentam trs estratgias para a incorporao de informaes de apoio em um algoritmo de
recuperao probabilstico, a fim de melhorar o desempenho dos requisitos de rastreabilidade
dinmica. LIN et al. (2006) apresenta uma ferramenta web de suporte a rastreabilidade que
implementa um modelo de rede probabilstica para gerar ligaes entre requisitos, elementos
de design, cdigo e outros artefatos armazenados em ferramentas heterogneas e distribudas.
J ZOU (2009) apresenta trs estratgias com objetivo de melhorar a preciso dos resultados
da recuperao de informao em relao ao desenvolvimento e aplicao de ferramentas de
rastreamento automatizadas. Atualmente pesquisadores tem destinado esforos para desenvolver uma abordagem integrada sobre uma combinao destas tcnicas, a fim de superar os
desafios da preciso e recuperao das relaes de rastreabilidade (GETHERS et al., 2011).

2.3

Engenharia de Software Baseado em Evidncias


Com o amadurecimento e relevncia de uma rea de pesquisa, muitas vezes h

um aumento acentuado no nmero de estudos e resultados disponibilizados, e torna-se


importante resumir e fornecer uma viso geral do assunto. Inspirado nas pesquisas mdicas, a
Engenharia de Software Baseada em Evidncias (ESBE) um paradigma da ES que permite
identificar, selecionar e sintetizar evidncias de estudos primrios. EBSE visa melhorar a
tomada de deciso relacionada ao desenvolvimento e manuteno de software proporcionado
por melhores evidncias das pesquisas atuais integradas s experincias prticas e valores
humanos (KITCHENHAM; DYBA; JORGENSEN, 2004).
Os estudos secundrios so os instrumentos que analisam todos os estudos primrios
relativos a uma questo especfica de pesquisa com o objetivo de integrar e sintetizar as
provas relacionadas ao tema (KITCHENHAM; CHARTERS, 2007). Revises Sistemticas e
Mapeamentos Sistemticos da literatura so mtodos de estudos secundrios aplicados a

2.4. CONSIDERAES FINAIS DO CAPTULO

31

conduzir pesquisas com base nos princpios da ESBE:


Reviso Sistemtica (RS): considerado um meio de identificar, analisar e interpretar
todas as evidncias disponveis relacionadas a uma questo especfica de pesquisa, rea
temtica, ou fenmeno de interesse. Agregam resultados sobre a efetividade de um tratamento,
interveno ou tecnologia. Uma RS tem uma metodologia bem definida e a questo de
pesquisa tratada de maneira imparcial e repetvel.
Mapeamento Sistemtico (MS): destinado para fornecer uma viso geral de uma rea
de pesquisa, estabelecer a existncia de evidncias de pesquisa e fornecer uma indicao
da quantidade de provas sobre um tema. Os resultados de um estudo de mapeamento pode
identificar reas adequadas para a realizao de Revises Sistemticas da Literatura e tambm
reas onde um estudo preliminar mais apropriado. Um MS permite que as evidncias possam
ser plotados em um alto nvel de granularidade. Isto permite a identificao de concentrao e
ausncia de evidncias para orientar o enfoque de futuras revises sistemticas e identificar
as reas onde estudos primrias devem ser mais realizados.

2.4

Consideraes Finais do Captulo


Neste captulo foi apresentada a fundamentao terica utilizada durante esta pes-

quisa. Foram apresentados os seguintes conceitos: Artefatos da Engenharia de Software,


Rastreabilidade de Software e Engenharia de Software Baseada em Evidncia. Uma vez que
evidncias na literatura apontam dificuldades em identificar, analisar e interpretar os relatos de
experimentos em rastreabilidade de software com artefatos heterogneos, o presente trabalho
utilizou o mtodo de Mapeamento Sistemtico da Literatura para construir um panorama da
atual situao neste contexto.

32

3
Mtodo
O objetivo deste captulo detalhar a abordagem metodolgica utilizada na presente
pesquisa. Neste sentido, ele descreve a estrutura adotada no Mapeamento Sistemtico. A
descrio detalhada do mtodo se prope a demonstrar a credibilidade e a confiabilidade da
pesquisa, alm de possibilitar a replicao do estudo por outros pesquisadores, a validao e a
comparao dos resultados obtidos com pesquisas semelhantes realizadas em outro contexto.
A primeira seo apresenta a classificao da pesquisa perante quatro aspectos; j a segunda
apresenta os detalhes do planejamento metodolgico da pesquisa atravs de suas etapas e
atividades.

3.1

Classificao da Pesquisa
A pesquisa realizada adota o mtodo de abordagem indutivo baseado em dados de

natureza qualitativa, coletados atravs de um estudo de mapeamento sistemtico da literatura.


A Tabela 3.1 apresenta o quadro metodolgico que resume estes elementos.
Tabela 3.1: Classificao Geral da Pesquisa

Quadro Metodolgico
Mtodo de Abordagem

Indutivo

Quanto ao Objetivo

Pesquisa Descritiva

Mtodo de Procedimento

Mapeamento Sistemtico da Literatura

Natureza dos Dados

Qualitativa

Quanto ao mtodo de abordagem essa dissertao de carter indutivo. A induo


uma forma de raciocnio que tira concluses generalizadas com base em premissas particulares.
um processo que partindo de dados particulares, suficientemente constatados, infere-se
uma verdade geral ou universal, no contida nas partes examinadas (LAKATOS; MARCONI,
2010), uma vez que se baseia em estudos primrios particulares para delinear o cenrio geral

3.2. CLASSIFICAO DO ESTUDO SEGUNDO COOPER

33

do tema em discusso. LAKATOS; MARCONI (2010) recomendam a diviso deste mtodo de


abordagem em trs etapas fundamentais:


Observao dos fenmenos: etapa onde os fatos ou fenmenos so observados e


analisados com a finalidade de descobrir as causas de sua manifestao;

Descoberta da relao entre os fenmenos: busca-se, por intermdio da comparao, aproximar os fatos ou fenmenos com a finalidade de descobrir a relao
constante existente entre eles;

Generalizao da relao: nesta etapa ocorre a generalizao da relao encontrada entre os fenmenos e fatos semelhantes.

Em relao ao objetivo, essa pesquisa de carter descritivo, como o nome sugere,


objetiva descrever as caractersticas de uma populao, fenmeno, ou relao entre variveis.
Pela natureza exploratria das perguntas deste trabalho, o mtodo de procedimento adotado foi
o Mapeamento Sistemtico da Literatura (PETERSEN et al., 2008), que atravs dele busca-se
obter dados mais consistentes sobre determinada realidade, uma vez, que a engenharia de
software emprica dispe de estudos primrios que investigam a rastreabilidade dos artefatos
heterogneos de software.
No que diz respeito natureza dos dados podemos afirmar que a pesquisa caracterizase como qualitativa, quando a mesmo procura analisar, classificar e interpretar aspectos mais
profundos, descrevendo a complexidade e o contexto do objeto de pesquisa (CRESWELL,
2013). Fornecendo assim, informaes exploratrias e anlises mais detalhadas sobre as
investigaes, hbitos, atitudes e tendncias.

3.2

Classificao do Estudo Segundo Cooper


A fim de complementar a delimitao da metodologia de pesquisa utilizada neste estudo,

esta seo apresenta sua classificao de acordo com a Taxonomia de Cooper (COOPER,
1988). A taxonomia sugere a classificao de estudos sistemticos perante seis caractersticas,
conforme pode ser observado a seguir.
O presente estudo tem como foco as prticas e aplicaes utilizadas nos relatos de
experimentos em rastreabilidade de artefatos heterogneos do software, com importante valor
para representar a evoluo e compreender as tendncias na rea.
Quanto ao objetivo espera-se integrar, organizar e sintetizar o conhecimento por meio
da agregao e consolidao das evidncias existentes na literatura e identificar lacunas.
No que diz respeito perspectiva, a neutralidade assumida busca apresentar os
diferentes argumentos, interpretaes e evidncias existentes na literatura, dando espao aos
diversos pontos de vista dos autores.

3.3. CICLO DA PESQUISA

34

Em relao a cobertura a incluso de estudos relevantes limitou-se a buscas manuais


e automticas em fontes de pesquisas determinadas, entretanto o perodo de cobertura foi
ilimitado, classificando assim esta pesquisa como exaustiva com citao seletiva.
No quesito organizao a dissertao est disposta de maneira conceitual onde os
estudos relacionados s mesmas ideias aparecem agrupados, e metodologicamente onde so
agrupados pela similaridade dos mtodos de pesquisa que empregam.
Por fim, a audincia ao qual se dirige esta pesquisa voltada a pesquisadores especializados, acadmicos em geral ou praticantes, tanto da rastreabilidade, quanto da engenharia
de software.

3.3

Ciclo da Pesquisa
Esta seo tem como objetivo apresentar o planejamento e a metodologia utilizada

para realizao deste estudo em suas etapas e atividades. A Figura 3.1 apresenta o fluxo das
atividades distribudas em suas respectivas etapas que constituram o ciclo desta pesquisa,
so elas: Etapa de Definio da Pesquisa, Etapa de Planejamento do Mapeamento, Etapa de
Execuo do Mapeamento e Etapa de Divulgao dos Resultados.
A seguir sero detalhadas as etapas e apresentada as particularidades de cada deciso
de pesquisa.

3.3.1

Etapa de Definio da Pesquisa


Esta etapa foi fundamental para o delineamento da pesquisa e contou com os seguintes

objetivos: (i) identificao das oportunidades de pesquisa, (ii) definio do tema a ser pesquisado, (iii) delimitao do escopo, (iv) concepo das perguntas de pesquisa e (v) definio da
metodologia a ser utilizada.
3.3.1.1

Reviso Informal da Literatura


Inicialmente foi realizada uma reviso informal da literatura em rastreabilidade sobre

as abordagens aplicadas aos artefatos heterogneos de software, com finalidade de obter


embasamento terico sobre o assunto. Foram selecionados e analisados artigos e livros a
respeito das reas mencionadas, muitos dos quais foram utilizados para a elaborao da
fundamentao terica deste trabalho (Captulo 2). Atravs deste estudo exploratrio inicial foi
possvel perceber a relevncia do tema e, ao mesmo tempo, a ausncia de estudos sistemticos
e criteriosos que consolidem o conhecimento na rea.

3.3. CICLO DA PESQUISA

35

Figura 3.1: Ciclo geral da pesquisa de mestrado apresentado em suas etapas e


atividades

3.3.1.2

Definio do Tema, Objetivo e Escopo


Atravs da observao e anlise dos estudos encontrados ficou evidente a importncia

do tema para a engenharia de software, e verificou-se uma mobilizao dos pesquisadores


da engenharia de software experimental para melhorar os resultados da preciso e recall das
relaes entre artefatos atravs do desenvolvimento de novas tcnicas e abordagens. Alm
disso, os estudos sistemticos encontrados (BORG; RUNESON; ARDO, 2014; TORKAR
et al., 2012) consolidam e sumarizam o conhecimento da rea com objetivos especficos
na recuperao de rastreamento baseado em IR e nas definies, desafios, ferramentas e
tcnicas de rastreabilidade aplicado aos requisitos, respectivamente.
Assim, conclumos que at o inicio da presente pesquisa no haviam estudos sistemticos que consolidem os estudos do tema proposto e conclumos que o problema apresentava
relevncia para gerar contribuies importantes conforme discusso apresentada na Seo
1. Diante destes fatos, o foco desta pesquisa foi direcionada a compreender o estado da prtica
sobre a rastreabilidade entre artefatos heterogneos da engenharia de software. Portanto, ficou
clara a necessidade de executar um mapeamento sistemtico da rea. Visto que necessria
uma viso mais ampla e de natureza exploratria das evidncias dos estudos. A partir deste
ponto, o foco desta pesquisa foi definido e expresso em questes de pesquisa que sero
apresentadas na Seo 3.3.2.1.1.

3.3. CICLO DA PESQUISA


3.3.1.3

36

Definio da Metodologia
Decorrente a definio do tema, objetivo e escopo da pesquisa, o mtodo considerado

mais adequado tomando como base o objetivo, o tipo das perguntas e o resultado esperado foi
o Mapeamento Sistemtico. Um mapeamento sistemtico usado para descrever os tipos de
atividades de pesquisa realizados e apresentar uma sntese dos estudos em vez de extrair
detalhes especficos. Sendo indicado sobre temas os quais a produo cientfica ainda
incipiente (BUDGEN et al., 2008). Outro aspecto que foi decisivo na escolha do mtodo foi
quanto a forma de apresentao dos resultados, pois em um MS eles so apresentados de
forma categorizada e proporcionam uma viso sumria que permite a melhor visualizao dos
dados em forma de grficos e mapas (PETERSEN et al., 2008).

3.3.2

Etapas de Planejamento do Mapeamento Sistemtico


Com o conhecimento desenvolvido na etapa anterior, iniciou-se o Planejamento do

Mapeamento Sistemtico. Tendo como principais atividades: (i) a definio do protocolo de


mapeamento sistemtico, que foi utilizado como guia durante toda a pesquisa para a coleta
das evidncias, e (ii) a reviso do protocolo. Nesta etapa o principal artefato produzido o
protocolo do mapeamento. Ao decorrer desta seo sero apresentados tpicos do protocolo
de pesquisa que guiou o estudo.
3.3.2.1

Definio do Protocolo
O protocolo do mapeamento sistemtico especifica os mtodos que sero usados

para realizao do estudo secundrio, fazendo que este diminua a possibilidade de vis
do pesquisador e fornea um processo reproduzvel e transparente para a realizao da
pesquisa (KITCHENHAM, 2004). Os estgios para conduo de mapeamentos sistemticos
previsto pelo protocolo envolvem os seguintes pontos:
1. Identificar as questes de pesquisa;
2. Estabelecer a estratgia de busca dos estudos;
3. Prescrever a estratgia de seleo dos estudos relevantes;
4. Avaliar a qualidade dos estudos selecionados;
5. Determinar a forma de extrao dos dados.
A seguir sero apresentados de forma breve os elementos relacionados ao planejamento do mapeamento. A ntegra do protocolo pode ser obtida no Apndice B desta dissertao. O protocolo do mapeamento desta pesquisa foi construdo com base em guias existentes
na literatura (KITCHENHAM; DYBA; JORGENSEN, 2004; KITCHENHAM; CHARTERS, 2007;
PETERSEN et al., 2008).

3.3. CICLO DA PESQUISA


3.3.2.1.1

Questes de Pesquisa

37
Com o objetivo de delinear o escopo da pesquisa e de

identificar os elementos que vieram a fazer parte das questes de pesquisa, foi utilizado
uma estrutura citada por KITCHENHAM; CHARTERS (2007), que recomenda considerar
as questes de pesquisa a partir da seguinte estrutura denominada PICOC (Population,
Intervention, Comparison, Outcome, Context):


Populao (Population): Artefatos Heterogneos

Interveno (Intervention): Rastreabilidade de Software

Contexto (Context): Engenharia de Software

O item comparao (Comparison) no foi utilizado, uma vez que o estudo no realiza
comparaes entre os mecanismos para guiar estudos empricos. Com relao ao item da
estrutura denominado Resultado (Outcomes) no foi utilizado porque busca-se uma viso
ampla da rea de pesquisa como um todo, evitando assim restringir resultados especficos.
As perguntas desta pesquisa so de natureza exploratria, pois tm o intuito de obter
uma viso ampla de uma rea de investigao. Assim, o objetivo deste mapeamento consolidar informaes a respeito da rastreabilidade entre artefatos heterogneos na engenharia de
software. No entanto, este tema demasiadamente genrica para uma avaliao completa.
Assim, ele foi dividido em cinco questes (Q), com foco em aspectos especficos da pesquisa.


Q1 - Quais abordagens de rastreamento tm sido frequentemente aplicadas para


suportar a heterogeneidade dos artefatos na engenharia de software?

Q2 - Quais os artefatos utilizados para estabelecimento da rastreabilidade?

Q3 - Quais meios tm sido empregados para a criao das relaes entre os


artefatos?

Q4 - Quais as mtricas aplicadas a rastreabilidade entre artefatos heterogneos?

Q5 - Quais os principais contextos, objetivos e desafios na aplicao de rastreabilidade entre artefatos heterogneos de software?

3.3.2.1.2

Estratgia de Busca dos Estudos

A procura por estudos primrios foi realizada

utilizando pesquisa automtica e manual. A pesquisa manual incluiu uma dos mais importantes
eventos da rea, a fonte de busca manual planejada e o respectivo perodo de coleta
apresentado na Tabela 3.2.

3.3. CICLO DA PESQUISA

38

Tabela 3.2: Fontes de Busca Manual e Perodo de Coleta


Fonte
TEFSE - International Workshop on Traceability
in Emerging Forms of Software Engineering

Perodo

Tipo

rea

2002 - 2013

workshop

ICSE

Para a estratgia automtica planejou-se a utilizao dos mecanismos IEEE Xplore


Digital Library1 , ACM Digital Library2 , Elsevier Scopus3 , Science Direct4 e EI Compendex5 .
No foi estabelecido qualquer limite inferior em relao ao ano de publicao dos estudos.
A construo da string de busca utilizada nas bibliotecas digitais selecionadas segue uma estratgia baseada em KITCHENHAM; MENDES; TRAVASSOS (2007), que consiste
em: (i) derivar a partir das questes de pesquisa as principais palavras-chaves da estrutura
PICOC (ii) procurar por palavras chaves em artigos relevantes j consultados em uma reviso
informal (iii) identificar sinnimos e termos alternativos as palavras-chaves (iv) usar os conectores (OR , AND) para incorporar os sinnimos e ligar as palavras chaves, respectivamente. A
string de busca definida apresentada na Tabela 3.3.
Tabela 3.3: String de Busca utilizada na pesquisa dos estudos do MS
Search String
(traceability OR tracing OR trace links OR trace recovery OR information retrieval OR trace
retrieval) AND (artefact OR artifact OR document OR tool) AND (heterogeneous OR different OR
variety OR diverse OR diversified OR varied OR inhomogeneous) AND (software engineering OR
software development OR software process OR systems engineering OR systems development
OR software project OR development environment OR software system)

3.3.2.1.3

Estratgia de Seleo dos Estudos

A seleo de estudos primrios foi plane-

jada em duas fases, sucedidas de uma atividade de teste e reteste, uma alternativa para
garantia da confiabilidade das decises em estudos realizados por nico pesquisador (KITCHENHAM; CHARTERS, 2007). Aps obter o resultado das buscas, cada estudo retornado foi
avaliado pelo seu ttulo, resumo e palavras chave. Nessa primeira fase apenas os estudos que
claramente fugiram do escopo do mapeamento foram excludos, mantendo-se para anlise posterior todos os estudos que geraram alguma dvida quanto ao sua permanncia. Na segunda
fase, os estudos potencialmente relevantes so revistos com base nos critrios de incluso
e excluso para obter uma lista final dos estudos primrios selecionados. Todos os estudos
foram lidos sinteticamente e analisados com objetivo de filtrar a incluso no mapeamento dos
1

http://ieeexplore.ieee.org
http://portal.acm.org
3
http://www.scopus.com
4
http://www.sciencedirect.com/
5
https://www.engineeringvillage.com/search/quick.url
2

3.3. CICLO DA PESQUISA

39

estudos pela sua relevncia em relao as questes de pesquisa. A lista dos critrios pode ser
observada na Tabela 3.4.
Tabela 3.4: Lista dos Critrios de Incluso/Excluso em ordem alfabtica.

Cdigo

Critrios de Incluso

Cdigo

Critrios de Excluso

Estudos empricos relacionados


CI01

rastreabilidade entre artefatos

CE01

Estudo no disponvel

CE02

Estudo Duplicado

CE03

Estudo Incompleto

CE04

Estudo no escrito em ingls

heterogneos de software
CI02

Trabalhos publicados at outubro de


2015

Estudo que apenas prope uma


CE05

abordagem ou descreve lies


aprendidas
Estudo onde a criao, recuperao

CE06

ou manuteno da rastreabilidade
entre artefatos no o objetivo
principal da pesquisa

CE07

Estudo que apresenta apenas


um benchmarking

Os critrios de incluso foram definidos de acordo com o alinhamento ao tema da pesquisa e do perodo planejado para a realizao do estudo. Depois de aplicados os critrios de
incluso sero aplicados os critrios de excluso, que busca eliminar os estudos que abordam
questes de rastreabilidade, mas no esto preocupados com a criao, recuperao ou
manuteno das relaes. Assim como, estudos sem resultados empricos ou sem nenhuma
anlise cientfica. Quanto ao critrio de excluso CE04 justifica-se pelo seu carter universal,
tendo em vista que a maior parte dos trabalhos publicados nas principais bases de dados na
rea de Computao so escritos na lngua inglesa, inclusive artigos brasileiros.
Quando dois ou mais pesquisadores avaliam cada estudo, o grau de concordncia
entre os pesquisadores pode ser medida usando a estatstica Kappa (COHEN, 1968), para
garantir que o resultado obtido no foi meramente ao acaso. No entanto, em caso de pesquisa
realizada por um nico pesquisador, KITCHENHAM; CHARTERS (2007) sugerem a incluso
de uma atividade de teste e reteste, que consiste em reavaliar uma amostra aleatria dos
estudos primrios retornados e dos estudos considerados relevantes aps a triagem inicial, ou
seja, insumos da primeira e segunda fase da estratgia de seleo.
Essa atividade tem como objetivo verificar a consistncia das decises aplicadas ao
critrios de incluso e excluso do prprio pesquisador ao final de cada fase de seleo. Uma
viso geral da estratgia de seleo pode ser obtida na Figura 3.2. Para isso, na primeira fase

3.3. CICLO DA PESQUISA

40

sero testados 5% de todos os estudos recuperados por fonte de busca automtica e manual,
e caso encontrado alguma divergncia no critrio aplicado, o estudo dever ser considerado
potencialmente relevante e por consequncia includo a segunda fase. A medida que desentendimentos forem identificados, mais 2% destes estudos sero avaliados. Para determinar
quais estudos sero revisitados uma funo que retorna nmeros aleatrios ser utilizada. Na
segunda fase o percentual da amostra dos estudos a testar ser 20%, selecionados utilizando
os mesmo critrios de aleatoriedade definido anteriormente. Em caso de discordncia, outros
10% sero revisitados e o estudo em questo dever ser reavaliado (reteste).
O mtodo de teste e reteste foi aplicado a todos os estudos retornados durante o
projeto piloto desta pesquisa, a medida que o ndices de discordncia foram analisados. O que
fez definir uma caracterstica incremental a nvel de percentual para cada fase de seleo dos
estudos. Devido a importncia atribuda ao filtro estabelecido na segunda fase do processo,
o percentual definido (20%) para a atividade de teste nesta fase, foi calculado levando em
considerao uma boa margem de segurana em relao ao percentual de discordncia
medido no projeto piloto, que foi de aproximadamente 10%, portanto, atribuiu-se o dobro
deste valor para esta fase. O que corrobora com a medida de estudos comparados obtida no
mapeamento realizado por BORG; RUNESON; ARDO (2014), que trata de estudos primrios na
recuperao de rastreamento baseados em IR.

Figura 3.2: Processo de Seleo dos Estudos Primrios

3.3. CICLO DA PESQUISA


3.3.2.1.4

Avaliao de Qualidade

41
Cada estudo persistido aps anlise dos critrios de

incluso e excluso foi avaliado por sua qualidade, fornecendo critrios ainda mais detalhados
com objetivo de assegurar que os estudos filtrados apresentam uma contribuio valorosa para
o mapeamento e investigar se as diferenas de qualidade esto associadas com diferentes
resultados do estudo primrio. Uma adaptao dos critrios de BRERETON; KYRIACOU;
PEARL (2011) foi considerada adequada para uso durante este MS, uma vez que est previsto
incluir exemplos de vrios tipos de estudos. A avaliao de qualidade foi realizada atravs de
perguntas a serem respondidas com trs valores possveis:


Sim (S): Se a questo totalmente atendida, esta resposta conta o valor 1.0;

Parcialmente (P): Se a pergunta parcialmente respondida, esta resposta conta o


valor de 0,5;

No (N): Se a pergunta no foi respondida ou no satisfatoriamente respondida,


esta resposta conta o valor 0,0.

A Tabela 3.5 apresenta as perguntas definidas para avaliao de qualidade. O primeiro


destes critrios foi utilizado para excluir publicaes no empricas, tendo sido transformado
em critrio de excluso na fase de seleo dos estudos. Como tal, este critrio representa o
limiar mnimo de qualidade que ser observado durante a avaliao, apenas aceitando valor
igual a 1,0. A literatura que no satisfaz este critrio ser excluda do MS. Os outros critrios
restantes visam determinar o rigor e credibilidade dos mtodos de pesquisa utilizados em um
estudo particular, bem como a relevncia de cada papel para o MS que est sendo realizado.
Os estudos primrios foram classificados em quatro grupos diferentes: Muito Bom (entre 9,0 e
10,0), Bom (entre 7,5 e 8,5), Regular (de 5,5 a 7,0) e Pobre (< 5,5). O guia com o detalhamento
de cada pergunta e o modelo da planilha utilizada para registro de cada avaliao pode ser
encontrado no Apndice B.

3.3. CICLO DA PESQUISA

42
Tabela 3.5: Avaliao de Qualidade

Perguntas da Avaliao de Qualidade


um trabalho de pesquisa?
Os objetivos da pesquisa foram claramente relatados?
Houve uma descrio adequada do contexto em qual a pesquisa foi realizada?
Havia uma descrio adequada da amostra utilizada e os mtodos para identificar e recrutar a
amostra?
Havia um grupo de controle com o qual comparar os tratamentos?
Os dados recolhidos foram descritos e abordados em relao questo de pesquisa?
Houve uma descrio adequada dos mtodos utilizados para analisar os dados?
O estudo proporcionou resultados claramente definidos e concluses fundamentadas?
As ameaas validade do estudo foram abordadas de forma sistemtica?
O estudo forneceu valor para a pesquisa ou a prtica?

3.3.2.1.5

Estratgia de Extrao

O objetivo desta etapa criar formas de extrao dos

dados para registrar com preciso as informaes obtidas a partir dos estudos primrios
selecionados. Para o processo foi planejado uma extrao em duas partes: extrao dos
metadados e extrao de toda informao relevante para responder s questes de pesquisa.
Na primeira parte extrai-se ttulo, autores, pas de origem, ano de publicao, instituio de
origem e engenho de busca que retornou o estudo. J a segunda parte, deve ser extrada da
leitura integral dos estudos, no intuito de extrair de cada um deles informaes que sirvam
de evidncia para responder as questes de pesquisa investigadas neste mapeamento. Para
tanto, dois formulrios foram desenvolvidos para servir de instrumentos de coleta para ambas
as partes, e esto disponveis no Apndice B desta dissertao. Para esta etapa mais uma
vez foi definida uma atividade de teste e reteste para verificao da consistncia de extrao
de dados, agora, sobre todos os estudos primrios selecionados. Com isso, reduzindo vis
interno da pesquisa.
3.3.2.2

Reviso do Protocolo
Conforme orientao dos guias utilizados, o protocolo foi desenvolvido e apreciado por

especialistas em engenharia de software experimental e engenharia de software baseada em


evidncias. Aps a realizao dos sucessivos ajustes propostos, a verso final do protocolo foi
ento estabelecida para permitir assim o incio da etapa de execuo da pesquisa.

3.3.3

Etapa de Execuo da Pesquisa


A conduo da pesquisa deve seguir rigorosamente o protocolo que foi elaborado.

Os resultados das atividades de execuo do mapeamento sistemtico sero apresentos no

3.4. CONSIDERAES FINAIS DO CAPTULO

43

Captulo 4.

3.3.4

Etapa de Divulgao dos Resultados


A fase final de um mapeamento sistemtico envolve escrever os resultados da pesquisa

e a divulgao para os potenciais interessados. As atividades relacionadas a esta etapa


inclui: (i) Escrita da Dissertao e (ii) Submisso Jornal. Os resultados e demais detalhes
relacionados execuo e planejamento da pesquisa esto sendo divulgados por meio
desta dissertao. A execuo da escrita da dissertao foi realizada de forma sequencial,
sendo redigida aps a concluso de todas as etapas da pesquisa. Ao dissertar tentou-se
acrescentar a maior quantidade de informaes possveis em relao ao mtodo da pesquisa,
de forma a propiciar uma melhor visualizao do planejamento e da execuo do mtodo,
transparecer a credibilidade da pesquisa e facilitar possveis replicaes. A segunda atividade,
submisso jornal, visa apresentar comunidade os resultados desta pesquisa de maneira
mais ampla. Aps apresentao desta dissertao, buscam-se incorporar as sugestes e
melhorias colocadas, para submisso aos peridicos da rea de engenharia de software.

3.4

Consideraes Finais do Captulo


Neste captulo foi descrita a metodologia utilizada nesta pesquisa, como foi estruturada,

conduzida e as razes de uso dos procedimentos e mtodos. Alm de, uma breve descrio do protocolo usado para guiar a execuo do mapeamento sistemtico proposto pelo
estudo. Como consequncia, espera-se atingir o rigor necessrio para obter validade cientfica,
essencial para a confiabilidade dos resultados deste estudo.

44

4
Resultados
Este captulo tem como objetivo expor informaes sobre a etapa de execuo do
mapeamento sistemtico, conforme definido no captulo anterior e apresentar os resultados
encontrados na anlise das evidncias. Com este intuito, na seo Execuo do Mapeamento
Sistemtico sero apresentados os detalhes da execuo do mapeamento compreendendo as
atividades de busca, seleo, avaliao de qualidade, extrao dos dados e sintetizao dos
resultados.
Subsequentemente, a anlise e discusso dos resultados obtidos constituem as principais contribuies desta pesquisa e sero apresentados em trs sees distintas: Anlise
Geral, Anlise das Evidncias e Discusso dos Resultados. Os dados quantitativos do processo de mapeamento sistemtico e caractersticas gerais dos estudos analisados sero
apontados na primeira seo. A segunda seo apresenta a anlise das evidncias identificadas respondendo a cada uma das perguntas de pesquisa. E por fim a ltima seo se dedica
a discutir os principais resultados obtidos.

4.1

Execuo do Mapeamento Sistemtico


A finalidade desta seo apresentar os detalhes da etapa de execuo do mapea-

mento sistemtico que inicia com a seleo dos estudos e resulta na sintetizao da informao.
Assim como esclarecer os motivos para a incluso e execuo de um projeto piloto sobre
escopo reduzido executado preliminarmente a pesquisa geral.

4.1.1

Projeto Piloto
Com intuito de experimentar o protocolo definido e minimizar o vis em relao a

validade interna da pesquisa, foi planejado e executado um Projeto Piloto do protocolo estabelecido, devido ao fato de ter sido executado por um nico pesquisador inexperiente em
mapeamento sistemtico. A atividade foi guiada pelo planejamento realizado na Seo 3.3.2 e
incluiu todas as etapas apresentadas sobre um escopo reduzido das fontes de busca definidas
para este mapeamento.

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

45

Foi selecionado como fonte de busca dos estudos primrios o portal de busca Scopus
para busca automtica e do International Workshop on Traceability in Emerging Forms of
Software Engineering (TEFSE) para busca manual. O perodo utilizado para as atividades
comprendeu os meses de Abril a Junho de 2015.
Na ocasio, a string de pesquisa foi aplicada a busca automtica que retornou 544
estudos. Buscas manuais tambm foram realizadas, limitado aos trabalhos da TEFSE 2005,
TEFSE 2009, TEFSE 2011 e TEFSE 2013, onde foram encontrados 59 trabalhos disponveis na
web. A quantidade de estudos primrios envolvidos foi de 603 no total. Este nmero foi reduzido
na primeira sesso de triagem, que consistiu em avaliar o ttulo, resumo e palavras-chave,
deixando apenas 140 estudos primrios potencialmente relevantes. Depois da segunda fase,
que consistiu na leitura e anlise de todo o estudo, foi definido o conjunto final de documentos.
O conjunto final resumiu em 7 estudos primrios.
importante ressaltar que durante esta atividade foi preciso um certo volume de
trabalho manual e repetitivo na montagem e organizao das informaes que so apreciadas
na atividade de seleo dos estudos primrios. Neste quesito, foi estabelecido o uso da
ferramenta JabRef1 , essencial para diminuir a propenso a erros e acelerar o andamento da
pesquisa.
Aps a extrao, anlise e sntese dos dados, foi possvel realizar pequenos ajustes nos
critrios de incluso e excluso, com objetivo de simplificar o entendimento e a aplicao dos
mesmos. Em virtude destas atividades, tambm foi possvel alinhar as perguntas de pesquisa
de acordo com o contedo encontrado nos estudos primrios. Um exemplo deste ajuste foi
remover da questo de pesquisa 1 a direcionalidade da ligao entre os artefatos rastreados,
pelo fato de que os estudos analisados no apresentam explicitamente essa informao.

4.1.2

Busca dos Estudos


Nesta etapa de execuo do mapeamento, com o protocolo ajustado aps o projeto

piloto, as buscas foram realizadas sobre todas as fontes planejadas, conforme apresentadas
na Seo 3.3.2.1.2. O resultado da busca de todos os estudos foram coletados juntamente
com seus metadados, em seguida importados e devidamente tratados pela ferramenta JabRef.
Excepcionalmente, a realizao da busca e a organizao da atividade de seleo dos estudos
primrios sobre a ACM Digital Library 2 foi realizada utilizando a ferramenta REviewER,3 em
virtude da facilidade em exportar e acompanhar os resultados da consulta realizada. No foi
imposta nenhuma restrio de tempo em relao ao intervalo inferior do perodo de publicao
dos estudos. para efeitos desta dissertao foram admitidos trabalhos publicados at Outubro
de 2015.
No primeiro momento foram executadas as buscas automticas e para todas elas a
1

http://www.jabref.org/
http://dl.acm.org/
3
http://sites.google.com/site/eseportal/tools/reviewer
2

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

46

string de busca foi adaptada para atender sintaxe dos mecanismos das fontes utilizadas. Toda
a lgica e semntica definidas foram inteiramente mantidas. Todos os metadados necessrios
para a interpretao dos estudos foram adquiridos e importados no formato bibtex, apenas foi
encontrado dificuldade na obteno deste dados na fonte ACM Digital Library, justificando a
utilizao de ferramenta especfica, conforme mencionado anteriormente.
Quanto a busca manual, os resultados foram limitados aos trabalhos da TEFSE 2005,
TEFSE 2009, TEFSE 2011 e TEFSE 2013, onde foram encontrados trabalhos disponveis na
web. Outras edies da conferncia como TEFSE 2002, TEFSE 2003 e TEFSE 2007 no
possuem pginas disponveis na web e o motor de busca Google no retornou nenhuma
referncia aos estudos apresentados nestas edies. Ao trmino das atividades desta etapa
foram identificados 2.488 estudos candidatos para anlise. A contabilizao dos resultados
por fonte de origem pode ser vista na Tabela 4.1. Mais detalhes em relao a anlise dos
engenhos utilizados pode ser conferido nas sees posteriores deste captulo.
Tabela 4.1: Quantitativo de estudos candidatos localizados por fonte de dados.
Fonte de Dados

Tipo

Quantidade de Estudos

ACM Digital Library

Automtica

1009

Ei Compendex

Automtica

430

Elsevier Scopus

Automtica

574

IEEEXplorer Digital Library

Automtica

353

Science Direct

Automtica

63

Manual

59

TEFSE

4.1.3

Seleo dos Estudos Primrios


No processo estabelecido para este mapeamento foi previsto a seleo dos estudos

em trs estgios. Aos estudos primrios retornados aps a execuo das buscas automticas
foram adicionados os estudos primrios provenientes da pesquisa realizada diretamente nos
sites dos eventos relacionados a fonte de busca manual. O primeiro estgio consistiu na leitura
dos ttulos, abstracts e palavras-chave de cada artigo, e na eliminao daqueles julgados
como sendo claramente irrelevantes para os fins deste mapeamento. As anlises desta rodada
foram feitas pelo autor do estudo atravs das ferramentas JabRef e Reviewer. Apenas os
indcios de duplicaes sobre os resultados oriunda da mesma fonte foram verificados para
ratificar a veracidade da informao. Ou seja, a no verificao de duplicidade por outras fontes
neste estgio foi proposital, com objetivo de aceitar o maior nmero de artigo e reduzir o vis
pela avaliao do nico pesquisador envolvido na pesquisa. Ao final desta rodada restaram
388 estudos.
Por meio destes dados foi possvel perceber a proporo dos estudos relevantes
proveniente das fontes de busca. Atravs de tal anlise chegou-se aos dados da Tabela 4.2,

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

47

um dado que chamou bastante ateno foi baixa quantidade de estudos includos da fonte
que retornou mais trabalhos, onde esperava-se que existisse grande possibilidade de encontrar
estudos expressivos para a pesquisa.
Tabela 4.2: Quantitativo de estudos includos no primeiro estgio de seleo dos
estudos
Recuperados

Relevantes

% incluso

ACM Digital Library

1009

92

9,1

Ei Compendex

430

73

17,0

Elsevier Scopus

574

128

22,3

IEEEXplorer Digital Library

353

74

21,0

Science Direct

63

14,3

TEFSE

59

12

20,3

Origem dos Dados

Fez parte do protocolo definido, uma atividade da estratgia de seleo dos estudos,
que corresponde a garantia da confiabilidade das decises aplicadas aos critrios de incluso
e excluso. Para isso, foi definido que seriam testados 5% de todos os estudos recuperados
por fonte de busca, e caso fosse encontrado divergncia no critrio aplicado, o estudo seria
considerado relevante, consequentemente, seria includo ou permaneceria para a segunda
fase. Ou seja, na identificao de discordncia de opinio, incluir ou permanecer com o estudo
para segunda fase seriam as nicas decises possveis a ser tomada. medida que os
desentendimentos foram identificados, mais 2% destes estudos seriam reavaliados. No total,
127 estudos foram selecionados de forma aleatria e reavaliados pelo seu ttulo, abstract
e palavras chave. Os nmeros duplicados gerados pela funo executada foram descartados. A funo ALEATRIOENTRE(X;Y) do excel foi utilizada para determinar os estudos
e a sequncia de anlise pelos nmeros gerados. Onde o parmetro x recebeu sempre o
valor 1 (um) e o parmetro y identificou o nmero de estudos retornados de cada fonte de
busca. A Tabela 4.3 apresenta a funo executada, o quantitativo de estudos selecionados aleatoriamente para cada fonte de busca e o nmero de estudos includos pelo encontro de
divergncia no critrio de seleo aplicado. Tanto na feramenta JabRef quanto na Reviewer,
utilizadas para gesto dos estudos retornados na busca automtica, os estudos importados via
arquivo bibtex recebem um cdigo de identificao sequencial. Atravs deles os estudos foram
identificados unicamente por fonte de busca. No caso da busca manual, que os metadados
foram gerenciados em planilha excel, os estudos foram listados por ordem alfabtica (a-z) e
atribudos nmeros de identificao sequencial.

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

48

Tabela 4.3: Valores do teste dos estudos retornados

Fonte dos Dados

Funo executada

N de Estudos

N de Estudos

Testados

Includos

ACM Digital Library

ALEATRIOENTRE(1;1009)

51

Ei Compendex

ALEATRIOENTRE(1;430)

22

Elsevier Scopus

ALEATRIOENTRE(1;574)

29

IEEEXplorer Digital Library

ALEATRIOENTRE(1;353)

18

Science Direct

ALEATRIOENTRE(1;63)

TEFSE

ALEATRIOENTRE(1;59)

Aps reavaliao dos estudos retornados, apenas um artigo da fonte de busca automtica ACM foi considerado duvidoso, portanto foi habilitado a prxima etapa. Consequentemente,
novos artigos da mesma fonte ACM Digital Library foram testados, agora correspondendo a
2% dos estudos. Outros 20 novos estudos tiveram de ser revisados, onde foram selecionados
utilizando os mesmos critrios descritos anteriormente, totalizando 147 estudos analisados na
primeira fase, como ilustra a Figura 4.1. No entanto, nenhum mais foi considerado relevante. Ao
analisar o principal motivo ao qual o estudo foi excludo no primeiro filtro, entende-se que houve
dificuldade em atestar se o experimento avaliava uma abordagem de rastreabilidade. Entretanto, acredita-se que a discordncia do ponto foi causada pelo falta de clareza e objetividade
apresentada no abstract do estudo. Com isso, o segundo estgio da estratgia de seleo dos
estudos contou com o incremento de um estudo aos classificados potencialmente relevantes,
contabilizando 93 a fonte ACM e 389 ao total.

Figura 4.1: Primeira Etapa de Seleo

Para a execuo do segundo estgio do processo foi necessrio adquirir a ntegra


de cada um dos artigos, sendo recuperados nas prprias fontes de busca. Os artigos no
recuperados, foram por este motivo, excludos do mapeamento, em conformidade com o critrio

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

49

de excluso CE01. A Tabela 4.4 exibe o quantitativo de estudos excludos por no estarem
disponveis e os duplicados na mesma fonte, em concordncia com o critrio CE02.
Tabela 4.4: Quantitativo de estudos excludos por duplicidade e indisponibilidade

Origem dos Dados

Relevantes

Duplicado

Indisponvel

% excluso

ACM Digital Library

93

4,3

Ei Compendex

73

11,0

Elsevier Scopus

128

108

85,2

IEEEXplorer Digital Library

74

Science Direct

TEFSE

12

De acordo com os dados apresentados na Tabela 4.4, nota-se que um grande nmero
de estudos indisponveis na fonte Scopus, at o momento nenhum motivo concreto para o
inconveniente foi obtido. No entanto, um email foi enviado a Elsevier em busca de respostas.
O mesmo inconveniente foi observado no projeto piloto executado.
Entre os artigos recuperados, totalizando 268 para a segunda fase, todos tiveram a
introduo, a concluso e, quando necessrio, outras sees dos artigos analisadas, em busca
de enquadr-los no critrio de incluso ou em algum dos critrios de excluso descritos na
Seo 3.3.2.1.4. Nesta fase todos os estudos relevantes provenientes do primeiro filtro foram
analisados, sendo registrados os critrios aplicados. Ao final desta etapa foram selecionados
39 estudos.
Como programado, ao fim de cada fase uma amostra dos estudos deve ser testada. Do
total de 268 artigos, 54 deles foram visitados, o que corresponde ao percentual (20%) programado, dentre eles 6 includos a pesquisa e 48 excludos por algum dos critrios estabelecidos.
Aps o primeiro estgio dos testes sobre os estudos relevantes, uma discrepncia entre os
resultados foi encontrada em 2 (dois) estudos que anteriormente teriam sido selecionados
para pesquisa, e aps teste foram julgados excludos. Nesta situao, a atividade planejada
o reteste dos estudos em questo, os mesmos foram retestados e confirmadas as excluses pelo critrio CE06, que trata do principal objetivo do estudo no estar alinhado a criao,
recuperao ou manuteno da rastreabilidade entre artefatos. Um resumo da segunda etapa
apresentado na Figura 4.2.
No protocolo definido foi planejado que em caso de divergncia outros 10% devem ser
testados. Novamente atravs de uma funo aleatria outros 27 estudos foram selecionados
e revisitados, na ocasio, cinco nmeros repetidos foram desconsiderados, a composio
de artigos do novo estgio de teste so: 4 includos pesquisa e 23 julgado excludos na
primeira avaliao desta segunda fase. Como resultado do reteste nenhuma outra disparidade
foi encontrada, encerrando assim as fases e atividades planejadas para estratgia de seleo

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

50

dos estudos.

Figura 4.2: Segunda Etapa de Seleo

Ao analisar as discordncias apresentadas em relao aos dois estudos, foi observado


que o principal motivo do conflito foi atestar se os estudos reportavam um experimento sobre
a rastreabilidade entre artefatos. Ambos, apenas avaliavam os impactos da rastreabilidade,
entretanto, o uso indiscriminado da terminologia nos estudos empricos foi considerada a causa
das discordncias.
Ao final desta etapa foram selecionados 37 estudos para extrao e sntese dos dados.
A listagem dos estudos elegidos, juntamente com seu respectivo cdigo, ttulo, ano, origem
dos dados e autores apresentado no Apndice A desta dissertao.

4.1.4

Avaliao de Qualidade
Aps a seleo dos estudos primrios relevantes para a pesquisa, iniciou-se a avaliao

de qualidade dos mesmos. Conforme disposto na Seo 3.3.2.1.4, sobre cada estudo procurouse responder dez perguntas que visam determinar o rigor a credibilidade dos mtodos utilizados
e resultados obtidos de cada estudo. Atravs do formulrio criado que orientou a avaliao,
os valores obtidos como resposta a cada pergunta foram capturados e registrados. Com o
somatrio dos valores estabelecidos para cada pergunta foi possvel determinar a classificao
de cada estudo. Na Figura 4.3 possvel verificar o quantitativo de estudos de acordo com
a classificao da qualidade dos estudos selecionados. Fica ntido que a maior parte dos
estudos apresenta um nvel de qualidade considerado bom (35%) e muito bom (38%). No
Apndice C podem ser encontrados os valores atribudos a cada pergunta da avaliao de
qualidade dos 37 estudos selecionados.

4.1. EXECUO DO MAPEAMENTO SISTEMTICO

51

Figura 4.3: Participao nos nveis de qualidade do quantitativo de estudos candidatos

4.1.5

Extrao dos Dados


A atividade de extrao dos metadados ocorreu sem maiores intercorrncias e foi reali-

zada utilizando-se o formulrio criado em planilha excel. J para a extrao das informaes
necessrias a responder as questes de pesquisa, apresentou algum nvel de dificuldade.
Realizar uma nova extrao foi essencial para verificao da consistncia de extrao de
dados, conforme planejado e justificado na Seo 3.3.2.1.5. Os formulrios norteadores desta
atividade podem ser visto em detalhes no apndice B. A dificuldade apresentada deve-se a
inconsistncia na utilizao da terminologia e nos conceitos aplicados a rastreabilidade, seja
ela entre pesquisadores ou profissionais. Em face esta dificuldade, recorreu-se ao Glossary
of Traceability Terms4 com intuito de interpretar e apresentar uma terminologia unificada na
pesquisa.

4.1.6

Sintetizao dos Dados


Em particular, os dados coletados durante a extrao podem ser distinguidos entre

metadados das publicaes e dados sobre rastreabilidade entre artefatos heterogneos de


software. Os metadados foram utilizados principalmente para realizar uma investigao
estatstica dos estudos selecionados, enquanto que os dados de relato dos experimentos
foram analisados com o objetivo de responder s questes de pesquisa apresentadas na
Seo 3.3.2.1.1. Entretanto, por serem de natureza qualitativa, estes dados foram analisados
criteriosamente com o objetivo de encontrar conceitos-chave que permitissem a categorizao
dos estudos e, com base nas categorias encontradas, possibilitassem o agrupamento de
estudos semelhantes ou relacionados de modo a permitir uma interpretao conjunta dos
dados qualitativos.
4

http://www.coest.org/index.php/traceability/glossary

4.2. ANLISE GERAL

52

Procurou-se, sobretudo, obter dos estudos primrios selecionados uma compreenso


adequada acerca da aplicao da rastreabilidade nas diversas dimenses de projeto, dos seus
objetivos e limitaes. Ao final, os resultados obtidos foram apresentados com o auxlio de
grficos e tabelas.

4.2

Anlise Geral
O objetivo desta seo apresentar e analisar os resultados obtidos a partir da execu-

o do Mapeamento Sistemtico conforme a metodologia descrita no Captulo 3. Inicialmente


sero apresentados os dados relacionados busca, seleo e extrao dos dados. Em seguida
sero expostos os dados relacionados aos estudos selecionados, seus metadados, grupos de
pesquisa, pas e outras caractersticas gerais.
Os primeiros passos para a execuo deste mapeamento foram dados no incio de Abril
de 2015, com o planejamento e elaborao do protocolo de pesquisa apresentado no Apndice
B deste trabalho. Aps a execuo das buscas no projeto piloto para experimentao do
protocolo apresentada na Seo 4.1.1, a busca final nas fontes automticas e manuais ocorreu
entre a primeira e a ltima semana de outubro de 2015. Vale ressaltar que o processo de
busca sobre a fonte Scopus foi retomado posteriormente, resultando que os estudos primrios
recuperados na busca aps o projeto piloto obteve um acrscimo de 30 estudos.
Atravs do grfico na Figura 4.4 possvel visualizar a participao das estratgias de
busca no quantitativo de estudos candidatos identificados. Fica ntido que a maior participao
na identificao dos estudos foi da estratgia automtica (98%).

Figura 4.4: Participao das estratgias de busca no quantitativo de estudos


candidatos identificados

Dos 2488 estudos retornados em todas as buscas (sem desprezar os estudos repetidos
provenientes de fontes diversas), 2429 so provenientes da execuo da string de busca em
cada uma das fontes automatizadas, enquanto apenas 59 so provenientes das buscas nas

4.2. ANLISE GERAL

53

fontes manuais. Este resultado discrepante compreensvel, uma vez que se adotou neste
mapeamento a estratgia de utilizar a busca manual apenas como complemento das fontes
automticas, alm de estar limitada a apenas uma fonte.
A Figura 4.5 analisa a distribuio do total de estudos primrios retornados quanto s
fontes de busca automatizadas e manuais apresentadas na Seo 3.3.2.1.2, evidenciando a
participao de cada uma delas.

Figura 4.5: Participao das fontes de busca

Dos 2488 estudos resultantes da busca, possvel perceber que o engenho de busca
ACM se sobressai das demais bibliotecas digitais em relao quantidade de estudos retornados. No entanto, quando analisado a eficcia de cada fonte aps aplicao dos critrios de
seleo, tanto as bibliotecas digitais ACM (1,88%) e IEEEXplorer (2,83%), quanto os motores
de busca Scopus (0,69%), Science Direct (1,58%) e Ei Compendex (2,55%), foram superada
pela busca manual (3,38%). Os valores do clculo da eficcia so apresentados na Tabela
4.5. Para a anlise da distribuio dos 37 estudos relevantes includos aps a execuo do
processo de seleo descrito na Seo 3.3.2.1.3, com o intuito de avaliarmos a relevncia
real de cada fonte de busca em particular para este mapeamento sistemtico, levou-se em
considerao o fato de que um mesmo estudo primrio pode ter sido recuperado em mais de
uma fonte.
Tabela 4.5: Eficcia das buscas realizadas em cada uma das fontes

4.2. ANLISE GERAL

54
Estudos

Estudos

retornados na

relevantes

busca (a)

selecionados (b)

ACM Digital Library

1009

19

1,88%

Ei Compendex

430

11

2,55%

Elsevier Scopus

574

0,69%

IEEEXplorer Digital Library

353

10

2,83%

Science Direct

63

1,58%

TEFSE

59

3,38%

Fonte

Eficcia da busca
(b/a)

possvel perceber que h ndices de eficcia bem dispersos entre as fontes automatizadas, enquanto na busca manual que apresentou a menor quantidade de estudos retornados
superou a eficcia da busca. Ademais, no seria justo comparar em nosso trabalho os ndices
de eficcia entre a busca automtica e a busca manual, uma vez que as formas de recuperao
dos estudos em cada uma delas so diferentes: na primeira, executada uma string que
busca palavras-chave presentes no texto, o que tem o potencial de trazer muitos estudos no
relevantes para a pesquisa; j na segunda, a busca feita atravs de leitura direta na fonte
pesquisa, sendo um evento especfico da rea abordada, o que garante uma preciso maior
na deteco de estudos relevantes.
Tabela 4.6: Estudos duplicados entre as fontes de busca

ACM
ACM

Compendex

Scopus

Scopus

Science

TEFSE

TEFSE
1

3
1

Direct

Science Direct

Compendex

IEEEXplorer

IEEEXplorer

A partir da quantidade de estudos selecionados, calculou-se a relevncia de cada fonte


sobre o montante total de estudos includos pesquisa. Nesta viso, ACM Digital Library (51%),
Ei Compendex (30%) e IEEEXplorer Digital Library (27%), apresentaram a melhor cobertura
dos estudos sobre o tema. Tornando nesta pesquisa as bibliotecas digitais mais importantes
que os motores de busca. As demais fontes, Scopus retornou 11% dos estudos, TEFSE
retornou aproximadamente 6% e Science Direct 2.7%. Acredita-se que o grande nmero de
estudos indisponveis tenha prejudicada a participao do Scopus na pesquisa.
Em uma anlise mais aprofundada da eficcia das fontes de busca sobre os estudos

4.2. ANLISE GERAL

55

selecionados para esta pesquisa em virtude das duplicidades encontrados, possvel perceber que mesmo a busca manual tendo sido considerada de maior eficcia, seus estudos
includos (2) tambm foram retornados por outras fontes de busca. O mesmo aconteceu com
o nico estudo includo oriundo da fonte Science Direct. Uma viso sobre a duplicao dos
estudos selecionados para o mapeamento representado na matriz encontrada na Tabela 4.6.
J na Figura 4.6 pode ser conferido um resumo das anlises realizadas na primeira e segunda
etapa do processo de seleo de estudos.

Figura 4.6: Resumo da busca e seleo de estudos

A distribuio temporal dos estudos relevantes selecionados em um mapeamento


sistemtico contribui para a anlise da evoluo do interesse no tema pesquisado ao longo
do tempo. A fim de no limitar os seus resultados a um determinado perodo de tempo, no
presente trabalho optou-se por no adotar quaisquer restries temporais, dada a cobertura
exaustiva desta pesquisa e a ausncia de registros de outros estudos secundrios anteriores
na rea. O grfico na Figura 4.7 ilustra a distribuio dos estudos primrios selecionados ao
longo dos anos.

4.2. ANLISE GERAL

56

Figura 4.7: Distribuio temporal dos estudos selecionados

Deste modo, possvel observar que o primeiro estudo selecionado a considerar


rastreabilidade entre artefatos heterogneos do ano de 2003. possvel perceber o interesse
ainda incipiente nesta rea de pesquisa, com leves variaes entre 2003 a 2012 e ligeira
alta no ano de 2013, podendo estar relacionado ao trabalho da Coest (Center of Excellence
for Software Traceability ) que em 2011 publicou um relatrio tcnico para demonstrao dos
problemas e principais desafios da rastreabilidade, base para as contribuies de pesquisas e
um meio para acompanhar o progresso da rea (GOTEL et al., 2012). Mesmo assim, estudos
sobre o tema esto sendo publicados todos os anos desde 2003. Ademais, necessrio frisar
que o ano de 2015 deve ser observado com cautela quanto ao nmero de publicaes, afinal,
as buscas manuais e automticas deste mapeamento foram finalizadas no ms de outubro
deste mesmo ano, conforme exposto anteriormente. Sendo assim, possvel que entre os
meses de outubro a dezembro de 2015 outros estudos tenham sido publicados na rea sem
que, pelas razes expostas, tenham sido mapeados nesta pesquisa.
Este mapeamento sistemtico identificou o envolvimento de 126 pesquisadores diferentes dentre os 37 estudos selecionados. Entre os 126 pesquisadores, foi possvel identificar 7
que figuram entre os principais colaboradores na pesquisa sobre rastreabilidade entre artefatos
heterogneos, sendo 3 deles com 4 estudos publicados e outros 4 pesquisadores com 3
estudos publicados cada. O grfico na Figura 4.8 apresenta os nomes e a quantidade de
publicaes destes principais colaboradores. Ademais, outros 11 pesquisadores contriburam
com 2 estudos cada, e os 108 restantes contriburam, cada um, com um nico estudo na rea.
No Apndice A possvel encontrar a lista completa dos estudos selecionados juntamente
com o nome dos autores envolvidos.

4.2. ANLISE GERAL

57

Figura 4.8: Principais colaboradores e a quantidade de publicaes de cada um

Ao todo, este mapeamento detectou 37 instituies acadmicas diferentes envolvidas


na pesquisa. Estas so as instituies s quais esto filiados 116 autores dos estudos
selecionados. Os resultados demonstram uma significativa participao da academia neste
ramo de pesquisa, uma vez que estas evidenciam 90% entre as instituies envolvidas.
Outras 4 instituies so departamentos de pesquisa pertencentes a empresas privadas,
aos quais esto associados 9 autores. Apenas 1 autor foi declarado autnomo, assim no
estando relacionado a nenhuma instituio privada ou acadmica. A Figura 4.9 mostra a
representatividade de cada um destes tipos de instituio para a rea pesquisada.

Figura 4.9: Representatividade por tipo de instituio

Poderamos destacar trs entre as instituies mais ativas no campo da rastreabilidade


de artefatos heterogneos: a Universidade de Salerno na Itlia contribuiu com 4 estudos
dentre os selecionados; a Universidade de Tecnologia de Delft na Holanda e a Universidade da

4.3. ANLISES DAS EVIDNCIAS

58

cidade de London no Reino Unido, ambas com 3 estudos. Vale ressaltar que nestas instituies
esto filiados alguns dos principais pesquisadores mencionados anteriormente, o que sugere
a presena de grupos de pesquisa emergentes estudando o tpico em questo.
As instituies afiliadas aos autores dos estudos desta pesquisa esto distribudas
entre 19 pases. O grfico na Figura 4.10 apresenta a participao de cada pas na publicao
dos estudos primrios selecionados, levando em considerao que um mesmo estudo pode ter
sido publicado por instituies pertencentes a diferentes pases, resultando numa contagem
geral de estudos maior que a quantidade de estudos selecionados. Destaque para os Estados
Unidos com 10 publicaes, seguidos de Itlia e Alemanha, com 4 publicaes cada, e Holanda
com 3. O Brasil figura entre os pases com menor nmero de publicaes, com apenas 2
estudos publicados, envolvendo a contribuio de 6 pesquisadores das Universidades Federais
de Campina Grande (3), Pernambuco (2) e Bahia (1).

Figura 4.10: Participao dos pases das instituies na publicao dos estudos
selecionados

4.3

Anlises das Evidncias


Todas as evidncias aqui apresentadas foram extradas dos 37 estudos primrios

selecionados nesta pesquisa, que so referenciados atravs de seus respectivos cdigos


atribudos aps o processo de seleo dos estudos. Visto que, durante a primeira e segunda
etapa do processo de seleo, os estudos foram identificados pelo cdigo sequencial atribudo
pelas ferramentas utilizadas, exceto no caso dos estudos da busca manual, onde a gesto foi
realizada atravs de uma planilha e os estudos receberam seus respectivos cdigos aps serem
listados em ordem alfabtica pelo Ttulo. Cada um dos 37 estudos selecionados receberam

4.3. ANLISES DAS EVIDNCIAS

59

o identificador EP[X], onde EP a abreviao para Estudo Primrio e [X] corresponde


sequncia numrica que identifica o estudo especfico classificados por ordem (A-Z) dos
ttulos. As informaes referentes a cada um dos estudos primrios includos no mapeamento
podem ser encontradas no Apndice A. Assim, ao longo desta seo, os estudos sero citados
atravs destes identificadores. A seguir so apresentadas cinco sub-sees para sintetizar as
evidncias de cada uma das perguntas de pesquisa.
Numa primeira anlise de contedo dos estudos foi possvel apontar algumas relaes. Os estudos EP03, EP05, EP10 e EP23 esto atrelados a um Sistema de Gesto
de Artefatos Avanado, chamado ADAMS. Outros dois estudos EP01 e EP14 so idnticos,
apenas aplicados a um conjunto diferente de dados. Portanto, qualquer relao no mera
coincidncia.

4.3.1

Q1 - Quais abordagens de rastreamento tm sido frequentemente


aplicada para suportar a heterogeneidade dos artefatos na engenharia de software?
Esta questo busca mapear quais abordagens utilizadas e as atividades suportadas

do processo de estabelecimento da rastreabilidade tm sido investigadas. As atividades


essenciais do processo de rastreabilidade so aquelas necessrias a trazer as ligaes
existncia, manuteno ou uso, consideradas vitais para assegurada e permitir a sua utilizao.
Desta forma, para responder a questo 1 foram observados trs fatores: (i) a atividade
suportada, podendo ser de criao, manuteno ou uso; (ii) a natureza da atividade, que corresponde a forma de estabelecimento da ligao, classificadas como: manual, semiautomtica
ou automtica; e (iii) o momento da criao ou manuteno da relao estabelecida entre os
artefatos, podendo ser prospectiva ou retrospectiva, ou seja, implica a criao ou manuteno do rastreamento simultneo ou posteriormente a criao ou manipulao dos artefatos
associados.
Muitos estudos referem-se em sua contextualizao a uma abordagem que suporta mais
de uma atividade do processo de rastreabilidade, no entanto, apenas foram consideradas e
contabilizadas as informaes extraidas das avaliaes realizadas em cada estudo. Dentre
os estudos observados foram identificados 6 classes de atividades suportadas. A Figura 4.11
apresenta a distribuio dos estudos quanto as atividades suportadas.

4.3. ANLISES DAS EVIDNCIAS

60

Figura 4.11: Distribuio dos estudos por atividade suportada

ntido a alta proporo (68%) de estudos que investigam apenas a criao das
relaes entre os artefatos. Os estudos EP23 e EP34 se destacam por abordar no s a
criao, mais tambm a manuteno e o uso dos links criados, o que representa 5% do total
dos estudos. Foram classificados quanto a criao os estudos que tratam da atividade de
associar dois (ou mais) artefatos, fornecendo links entre eles, para fins de rastreamento. J
quanto a manuteno, foram atribudos aqueles estudos que retrataram atividades associados
atualizao de vestgios pr existentes, onde atravs das mudanas realizadas sobre os
artefatos rastreados rastreabilidade evolui, criando novos traos onde for necessrio para
manter a rastreabilidade relevante e atualizada. Como pode ser visto na Figura 4.11, a
manuteno foi a atividade menos investigada, contabilizando apenas 7 estudos. Com relao
ao uso, 8 estudos investigaram atividades associadas com a utilizao dos vestgios para
apoiar diversas atividades da engenharia de software, tais como a verificao e validao,
anlise de impacto e gesto de mudana.
Ao observar a natureza das atividades de criao e manuteno, ou seja, as formas responsveis pelo estabelecimento da rastreabilidade, em geral as abordagens utilizam
alguma forma automatizada de auxlio. Tendo predominado o mtodo automtico em 59% nas
atividades de criao e 57% nas atividades de manuteno, isso, quando a rastreabilidade
estabelecida atravs de tcnicas, mtodos e ferramentas. Onde atualmente apenas a deciso
para criar e manter ligaes de rastreio entre os artefatos que automatizada, sem interveno
humana.

4.3. ANLISES DAS EVIDNCIAS

61

Figura 4.12: Distribuio dos estudos por natureza da atividade

O quantitativo de estudos de cada uma das formas pode ser visto no grfico da Figura
4.12. Apenas no estudo EP07 foi utilizada a forma de criao manual dos links de rastreabilidade, pois o foco do mesmo est sobre manter automaticamente as ligaes ao longo do
sucessivo alteraes pegando carona em um sistema de controle de reviso.
Ao analisar individualmente cada estudo em busca do momento da realizao das
ligaes, que determinada pelo instante em que o vnculo estabelecido, apenas o estudo EP27 declarou explicitamente a utilizao da rastreabilidade prospectiva, uma abordagem
particular que implica a criao de ligaes de rastreamento simultneo com a criao dos
artefatos que se associam. No entanto, durante a extrao dos dados, um outro estudo
(EP15) chamou a ateno com uma proposta parecida, visto que os links podem ser estabelecidos durante a edio, atravs de comando do prprio usurio ou de forma automtica no
momento da submisso ao sistema de controle de verso.

4.3.2

Q2 - Quais os artefatos utilizados para estabelecimento da rastreabilidade?


Para fazer o desenvolvimento de um software gerencivel, colees distintas de in-

formaes devem estar organizadas em um conjunto de artefatos. Inmeras atividades da


engenharia de software criam e utilizam cada conjunto destes artefatos, que podem estar
relacionados uns aos outros. Assim, uma boa prtica identificar estas relaes e mant-las
sobre gesto. Artefatos de rastreamento so unidades rastreveis de dados do processo de
desenvolvimento de software. O intuito desta pergunta identificar os artefatos utilizados nos
diversos relacionamentos de rastreabilidade estabelecidos nos estudos investigados.

4.3. ANLISES DAS EVIDNCIAS

62

Entre os estudos observados, vrias definies, termos, descries e nveis de detalhes


foram encontradas para representar os artefatos trabalhados. Isso gerou a necessidade de
agrup-las, com intuito de unificar os conceitos. Uma viso de alto nvel foi estabelecida
para agrupar um conjunto de artefatos envolvidos. Para tanto, adotou-se a organizao de
disciplinas proposta pelo RUP5 , onde uma disciplina rene todas as atividades a serem realizar
para produzir determinado conjunto de artefatos. Deste modo, os artefatos foram organizados
em virtude das seguintes categorias apresentadas na Figura 4.13. No faz parte da pesquisa
sub classificar os estudos de acordo com o tipo de informao encontrada nos artefatos
referenciados pelos autores no estudo, pois na maioria dos casos essa informao no est
explicita.
Note que foram includas duas novas categorias (Texto em Linguagem Natural e
Qualquer Artefato) em adio as disciplinas utilizadas pelo RUP. O motivo est associado a
generalizao do tratamento dado aos artefatos em alguns estudos.

Figura 4.13: Distribuio dos estudos por agrupamento de artefatos

Para tanto, as informaes relativas aos artefatos apontados pelos pesquisadores


foram extradas dos estudos primrios, e depois analisados e comparados com o objetivo
de encontrar categorias que possibilitassem o agrupamento dos estudos semelhantes ou
relacionados, conforme metodologia RUP.
Durante a anlise observou-se que nos estudos (EP01, EP07, EP11, EP14, EP15
, EP27) e (EP16) deram um tratamento indiscriminado a alguns artefatos, para tanto, determinaram a necessidade da incluso das novas categorias Texto em Linguagem Natural e
Qualquer Artefato para atender aos estudos. Na Figura 4.13 possvel constatar a predominncia da rastreabilidade dos artefatos relacionados a Requisitos (27 estudos), Implementao
(23 estudos), Anlise e Design (15 estudos) e Teste (11 estudos). Na Tabela 4.7 a lista de
todos os artefatos considerados em cada agrupamento pode ser visualizada.
5

http://www.wthreex.com/rup/process/ovu_proc.htm

4.3. ANLISES DAS EVIDNCIAS

63

Atravs desta abordagem foi possvel mapear artefatos em 9 categorias, observadas na


Tabela 4.7. Foi comum identificar mais de uma categoria associada a um mesmo estudo, o que
implica em uma contagem geral de estudos maior que a quantidade de estudos selecionados.
Lembrando que, todos os estudos selecionados aplicaram a rastreabilidade entre artefatos
distintos, mesmo estando representados em apenas uma categoria, como o caso dos estudos
EP26 (rastreabilidade entre Requisitos legais e de regulamentao -> Caso de Uso) e EP28
(rastreabilidade entre Requisitos->Caso de Uso).
Tabela 4.7: Mapeamento dos estudos por agrupamento de artefatos

Categoria

Estudos Primrios
EP02, EP03, EP04, EP05, EP08, EP09, EP10,

Requisitos

EP12, EP13, EP17, EP18, EP20, EP21, EP22,


EP23, EP24, EP26, EP28, EP29, EP30, EP31,
EP32, EP33, EP34, EP35, EP36, EP37
EP03, EP05, EP08, EP10, EP18, EP19, EP23,

Anlise e Design

EP24, EP25, EP27, EP29, EP31, EP33, EP36,


EP37
EP01, EP02, EP03, EP05, EP06, EP07, EP08,

Implementao

EP09, EP10, EP11, EP12, EP13, EP14, EP15,


EP16, EP19, EP20, EP21, EP22, EP23, EP25,
EP29, EP34

Teste
Implantao
Gerenciamento de
Configurao e Mudana

EP03, EP04, EP05, EP10, EP17, EP18, EP23,


EP25, EP30, EP32, EP35
EP08
EP06

Gerenciamento de Projeto

EP14 EP34

Texto em linguagem natural

EP01, EP07, EP11, EP14, EP15, EP27

Qualquer Artefato

EP16

Ao examinar individualmente cada estudo, foi possvel observar que 26 (70%) deles
envolveram artefatos de duas categorias. A distribuio de estudos pela quantidade de
categorias de artefatos envolvidos apresentada na Figura 4.14.

4.3. ANLISES DAS EVIDNCIAS

64

Figura 4.14: Distribuio dos estudos por quantidade de categorias dos artefatos
envolvidos

4.3.3

Q3 - Quais meios tm sido empregados para a criao das relaes entre os artefatos?
Criao de links de rastreabilidade em um projeto pode parecer uma tarefa simples,

mas pode ser bastante difcil de realizar na prtica. A dificuldade aumenta em projetos
onde pode haver uma grande diversidade de artefatos. Nestas circunstncias, o esforo de
rastreabilidade pode ser esmagadora em termos de custo e esforo, e os links de rastreabilidade
resultantes so muitas vezes incompletos e imprecisos. Para enfrentar esses desafios, diversos
pesquisadores tm investigado o tema para tornar o processo de criao e manuteno da
rastreabilidade eficaz e preciso. Com essa questo buscou-se mapear os meios utilizados pelas
abordagens para criao e manuteno dos links de rastreabilidade. Nem todos os estudos
especificaram claramente os mtodos ou tcnicas utilizadas. Contudo, foi possvel extrair as
informaes apresentadas na Tabela 4.8.
A maioria das evidncias quanto aos meios encontrados para estabelecimento da
rastreabilidade foram extradas atravs de citaes diretas dos estudos primrios e, neste
caso, foi mantido o termo original empregado nos estudos, a fim de preservar com maior
confiabilidade o sentido original dos meios apresentados. possvel verificar a prevalncia
(9 estudos) do uso de Latent Semantic Indexing (LSI) e Vector Space Model (VSM), ambos,
mtodos de recuperao de informao que usam modelos algbricos.
Tabela 4.8: Meios encontrados para estabelecimento da rastreabilidade
Meio utilizado

Estudos encontrados

Qtd. Estudos

4.3. ANLISES DAS EVIDNCIAS

Meio utilizado
Latent Semantic Indexing
Vector Space Model

65

Estudos encontrados
EP03, EP04, EP05, EP10, EP12,
EP17, EP18, EP21, EP23
EP01, EP02, EP12, EP14, EP31,
EP32

Qtd.
Estudos
9
6

Rules

EP24, EP25, EP30, EP36, EP37

Ontology

EP08, EP26, EP31

Heuristics

EP16, EP31, EP35

Clustering

EP01, EP14, EP32

Text Mining

EP11, EP28

Key Phrases

EP01, EP14

Regular Expression

EP01, EP14

Levenshtein distance algorithm

EP29

Probabilistic ranking

EP35

Inference algorithm

EP34

Association Rule Mining

EP33

Latent Dirichlet Allocation

EP27

EP26

EP22

Intersection of set

EP20

Machine learning

EP19

EP15

Probabilistic network model

EP13

Formal Concept Analysis

EP12

Bayesian learning method

EP09

Deteco de Mudana em SCM

EP07

Clculo de digrafo ponderado

EP06

Semantic-based textual
similarity analysis
Commonality and Variability
Analysis

Incremental latent semantic


indexing

A aplicao de LSI e VSM, ambas tcnicas de recuperao da informao, baseam-se


no pressuposto de que os stakeholders referem-se aos mesmos aspectos do sistema usando
uma lngua semelhante em diferentes artefatos de software, assim, apropriado sugerir links
de rastreamento com base no contedo de Linguagem Natural.
LSI uma tcnica que tem sido utilizada por vrios pesquisadores desde ento, pois
refora a tcnica VSM com a reduo das dimenses do espao vector, encontrando semidimenses usando decomposio em valores singulares. Mesmo VSM tendo sido investigada
em um nmero menor de estudos, nos ltimos anos tem se sobressado sobre a tcnica LSI,
conforme pode ser visto na Figura 4.15.

4.3. ANLISES DAS EVIDNCIAS

66

Figura 4.15: Distribuio dos estudos no tempo por tcnica aplicada

4.3.4

Q4 - Quais as mtricas aplicadas a rastreabilidade entre artefatos


heterogneos?
O conjunto de relaes recuperadas pelos mtodos utilizados geralmente no coincide

com o conjunto de relaes corretas. Acontece que o mtodo de rastreabilidade deixa de


recuperar algumas das relaes corretas, enquanto tambm recupera relaes de rastreabilidade que no so relevantes. Esta questo procura extrair as principais medidas aplicadas ao
desempenho dos mtodos utilizados nos estudos primrios selecionados.
Ao todo foram identificadas 21 mtricas diferentes adotadas entre os 37 estudos
primrios selecionados. importante frisar que vrios estudos optaram pela adoo de mais
de uma mtrica. Merecem destaque as mtricas recall e precision que foram utilizadas
em conjunto por 30 (81%) dos estudos primrios. O grfico na Figura 4.16 apresenta as
mtricas e o quantitativo de estudos aos quais foram encontradas. Recall a relao entre o
nmero de ligaes de rastreamento recuperados corretamente e o nmero total de ligaes
de rastreamento corretamente existentes. Precision a relao entre o nmero de ligaes
de rastreamento corretamente recuperadas e o nmero total de ligaes de rastreamento
extrados (corretas ou no). O conjunto de links recuperados obtido atravs da lista fornecida
pelo mtodo utilizado, j o conjunto de ligaes relevantes so geralmente fornecidas por
membros dos projetos onde foram desenvolvidos os artefatos em questo. Todas as demais
mtricas extradas so derivadas de recall e precision ou utilizam em sua essencial alguma
varivel relacionada.

4.3. ANLISES DAS EVIDNCIAS

67

Figura 4.16: Lista de mtricas e quantitativo de uso

4.3.5

Q5 - Quais os principais contextos, objetivos e desafios da aplicao de rastrabilidade entre artefatos heterogneos de software?
Rastreabilidade de artefatos heterogneos tem sido reconhecida como um fator im-

portante para apoiar diversas atividades no ciclo de vida do desenvolvimento de software.


Esta pergunta se destina a mapear o contexto dos projetos quer serviram como unidade de
anlise nos estudos primrios selecionados e identificar as limitaes relatadas pelos pesquisadores. Para tanto, as informaes relativas ao contexto e limitaes apontados pelos
pesquisadores foram extradas dos estudos primrios, e depois foram analisadas e comparadas com o objetivo de encontrar categorias que possibilitassem o agrupamento dos estudos
semelhantes ou relacionados.
Deste modo, foram identificadas 3 categorias de contextos, 2 objetivos principais e
2 desafios dentre os 37 estudos selecionados. Estas informaes sero apresentadas e
evidenciadas logo adiante.
4.3.5.1

Contextos
Suporte ao Gerenciamento de Informaes
A rastreabilidade usada para estabelecer e compreender as relaes entre requisitos

e produtos de trabalho, tais como documentos de projeto, cdigo fonte, e casos de teste. Este

4.3. ANLISES DAS EVIDNCIAS

68

contexto suporta as tarefas de anlise de impacto, que ajudam os stakeholders a entender


onde e como as mudanas realizadas repercutem no demais artefatos. Este foi o contexto
apresentado na introduo de 31 (84%) estudos primrios.
Linha de Produto de Software
A linha de produtos de software um conjunto de sistemas de software intensivo
compartilhando um conjunto comum, gerido de recursos que satisfazem as necessidades
de um segmento de mercado especfico. So desenvolvidas a partir de recursos do ncleo
e visam aumentar o grau de reutilizao na engenharia de software para reduzir custos e
tempo de colocao no mercado e para aumentar a qualidade e confiabilidade do software.
Este contexto foi mapeado em 5 estudos (EP12, EP20, EP21, EP28 e EP37) que trataram da
variabilidade dos artefatos e caractersticas reutilizveis.
Programao Orientada a Aspectos
Aspectos iniciais so interesses transversais tratados nas fases iniciais do ciclo de vida
do software, e a programao orientada a aspectos visa modularizar estes interesses com
aspectos de cdigo, que so posteriormente, tecidos em tempo de compilao, tempo de carregamento e execuo. O estudo EP09 apresenta EA-Tracer, uma ferramenta automatizada para
identificao de vnculos de rastreabilidade entre os aspectos iniciais dentro de documentos
de requisitos textuais e de aspectos de cdigo dentro uma implementao orientada a objetos.
4.3.5.2

Objetivos
Extrair Relaes com Alta Preciso e Recordao
Rastreabilidade eficaz raramente acontece por acaso ou por meio de esforos ad

hoc. No mnimo, isso requer a reteno dos artefatos a serem rastreados, juntamente com a
capacidade de estabelecer relaes significativas entre estes artefatos e com procedimentos
para interrogar os traos resultantes de uma forma orientada para o objetivo. A pesquisa sobre
captura e recuperao de rastreamento automtico e semiautomtico fez amplo uso de uma
srie de mtricas comuns de recuperao de informao, tais como recall e precision das ligaes de rastreio. Extrair os melhores resultados destas medidas foram os objetivos de 34 (92%)
dos estudos, seja eles, desenvolvendo uma nova soluo, combinando ou aprimorando um
conjunto de tcnicas.
Reconstruir Vises de Requisitos com Exibies de Cobertura e Status
Vises de requisitos como exibies de cobertura e status, so um importante trunfo
para monitorar e gerenciar projetos de desenvolvimento de software. Estas vises oferecem
uma perspectiva sobre o software no qual os requisitos assumem o papel de liderana,
indicando onde e como uma exigncia coberta por artefatos de design ou onde ele est
localizado na arquitetura do sistema. Este objetivo foi relatado nos estudos EP04, EP17
e EP18. Entretanto, em EP17 e EP04 os estudos apresentam uma investigao de como
vises de requisitos podem ser gerados automaticamente de modo a monitorar os requisitos
na prtica industrial atravs da ferramenta ReqAnalyst, ambos publicados em 2006 e 2008,

4.3. ANLISES DAS EVIDNCIAS

69

respectivamente.
4.3.5.3

Desafios e Limitaes
Dos 37 estudos primrios selecionados 10 (19%) apontaram algum desafio ou limita-

o da abordagem apresentada, que posteriormente foram analisados e enquandrados entre


os principais desafios da rastreabilidade apresentados pela Coest (Center of Excellence for
Software Traceability )6 . Foi possvel identificar principalmente no relato destes 10 estudos a
correlao com dois dos oito desafios listados na viso da Coest. Assim os estudos a elas
relacionados podem ser observados na Tabela 4.9.
Tabela 4.9: Mapeamento dos desafios da aplicao de rastreabilidade entre artefatos
heterogneos
Desafios

Qtd. Estudos

Estudos

Confiana

EP01, EP13, EP14, EP22, EP23, EP26

Escalvel

EP26, EP27, EP28, EP29, EP35

Confiana
A confiana o meio de sustentao pelo qual todas as partes interessadas possam
usar e depender da rastreabilidade fornecida. Assegurando assim, a anlise e as decises, e
eliminando a provenincia duvidosa de como ela criada e mantida em face de inconsistncias,
omisses e alteraes. No entanto essa foi a limitao ou desafio relatado por 6 dos 10 estudos,
em virtude do descarte ou omisso na recuperao das ligaes entre os artefatos, causados
pela impreciso das tcnicas. Abaixo so apresentados os trechos dos seis estudos primrios
que relataram este desafio entre os seus resultados e/ou concluses:
EP01: [. . . ] In other words, our approach largely increases true links at high cut points
from 0.3 to 0.9, and significantly decreases fault links at all cut points. The main limitation of
our approach is that some true links are discarded after adding Clustering. [. . . ] It is a major
challenge for traceability recovery techniques to extract relationships between artifacts of a
system at high-levels of both precision and recall. Many recovery techniques based on IR
exist but none so far produces sufficiently consistent and high enough quality of results that
developers require.
EP13: The experimental results reported in this paper indicate the feasibility of using a
probabilistic approach to dynamically retrieve traceability links for non-functional requirements.
The imprecision problems introduced through use of this method are largely mitigated through
user inspection of retrieved links and through establishing a sufficiently low threshold that
minimizes the number of omission errors. Although users feedback is required to filter out
unwanted links, the effort is only a small fraction of that which would be required to perform the
trace manually.
6

http://www.coest.org/index.php/research-directions/grand-traceability-challenges

4.3. ANLISES DAS EVIDNCIAS

70

EP14: The main limitation of our approach is that some true links are discarded after
adding Clustering. This is because the group containing links related to a same class is totally
removed when no links in the group have a similarity value larger than the threshold s value,
this leads to no clusters for this group being created. True links in such groups are cut.
EP22: Our frame work is highly dependent on the quality of log messages. If engineers
do not record detailed information about modifications in log messages, our framework cannot
work well. For example, if a revision only contains Fix in the log message, our framework
cannot use such a revision to recover links [. . . ].
EP23: The limitation of IR-based traceability recovery is the fact that these methods
cannot help in the identification of all correct links, without forcing the software engineer to
analyze and discard a high number of false positives. In addition, it is almost impossible to
automatically identify how many links the software engineer needs to analyze in the ranked list
to be sure that all correct links have been considered. This means that to be sure that also
the last correct link in the ranked list (the correct link with lowest similarity value) has been
considered, usually the software engineer has to analyze almost all the links in the ranked list.
Unfortunately, this limitation is not definitely mitigated by improving the IR-based traceability
method with other IR techniques, such as text pre-processing or relevance feedback analysis.
EP26: One limitation to our solution approach is due to the document structure where
the typical document writing standards like heading level, bullets etc. [. . . ] Our algorithm fails
to apply spatial feature in such cases and misclassifies the table as a non-system use case
table. False positives for system use case extraction are due to statements like declaration
statements written in the document.
Com o objetivo de superar esta limitao, o estudo EP13 introduz a inspeo manual
dos links recuperados por um analista, atravs do estabelecimento de um limiar suficientemente
baixo para que minimize o nmero de erros de omisso.
Escalvel
Em si, projetos contm uma grande variedade de artefatos em diferentes estruturas,
nveis de detalhes e atendem aos mais distintos stakeholders de um projeto. Em suma, rastreabilidade escalvel a possibilidade de variados tipos de artefatos, em nveis variveis de
granularidade e quantidade poderem ser rastreados, que estendem-se do ciclo de vida as fronteiras organizacionais e de negcios. A seguir, os trechos extrados dos estudos associados a
este desafio sero apresentados:
EP27: There are limitations to our approach. First, we assume the existence of an
architecture, since we center our traceability links to the architecture. This is not an unrealistic
assumption, since we believe that every system has an underlying architecture, whether or not
it is explicitly documented. In the event that the architecture is not explicitly documented (or
incomplete), we can create virtual components to correspond to the source code. Secondly,
we perform our topic analysis on text-based artifacts. The non-text artifacts were ignored by
the topic model algorithm. In the future, we plan to use text metadata associated to non-text

4.4. DISCUSSO DOS RESULTADOS

71

artifacts in order to include them in the topic model.


EP28: It is important to highlight that we had to translate the original data to the English
language, because the stop-word removal and stemming algorithms implemented in TIRT tool
only considers the English language. It is a limitation to be solved in the future.
EP29: Treemap and hierarchical tree visualization techniques [15] which integrates
enclosure and node-link visualization representations to support the overall overview of traceability in the system and the detailed overview of each link while still being highly scalable and
interactive. There are some limitations in this approach such as the hierarchical structure of the
system is not well communicated in the treemap and not scalable well with nodes which have
large number of links.
EP35: One limitation of our approach is that it only applies to functional requirements
of software currently. Our approach can be complemented with existing approaches like IR to
detect non-functional requirements (robustness, security).

4.4

Discusso dos Resultados


Esta pesquisa consolida um conjunto de 37 estudos sobre a rastreabilidade entre

artefatos heterogneos de software. Tema este relacionado ao dia a dia de diversas fbricas
de software que buscam desenvolver e manter seus produtos de forma otimizada e controlada.
Neste sentido, de modo a dar maior validade pesquisa, este mapeamento entendeu como
desnecessria a adoo de restries temporais e optou por formular questes de pesquisa
em um nvel mais abrangente, a fim de levantar o conhecimento atual na rea pesquisada
atravs da cobertura exaustiva dos estudos empricos publicados.
A quantidade de estudos primrios relevantes obtidos nesta pesquisa representa 1.49%
dos estudos retornados. ndice considerado baixo, face ao grande nmero de estudos no
cientficos e transversais retornados pelas fontes de busca. Este fenmeno pode ser creditado
tanto ausncia de outros estudos secundrios (RSL e MS) anteriores neste tpico de pesquisa
quanto ao fato de que, em decorrncia disto, este mapeamento cobriu um perodo de quase
52 anos (de 1963 at abril de 2015) de pesquisa neste tpico, abrangendo os anos (a partir
de 2003) nos quais o interesse no tema definido registrou seu primeiro estudo. Da em diante
marcou presena todos os anos, com ligeira crescente e significativa representao no ano
de 2013 em relao ao nmero de estudos publicados (como pode ser observado no grfico
da Figura 4.7), sendo considerado recente o interesse da aplicao de rastreabilidade entre
artefatos heterogneos.
Ademais, vale destacar que os estudos relacionados ao tema tm aparecido com maior
frequncia nos Estados Unidos, pas cujas instituies de pesquisa tiveram participao em 10
dos 37 estudos selecionados neste mapeamento, enquanto no Brasil este tpico de pesquisa
ainda tem sido pouco explorado, uma vez que este mapeamento registrou apenas dois estudos,
publicados nos a 2012 e 2015, com a participao de trs instituies de pesquisa brasileira.

4.4. DISCUSSO DOS RESULTADOS

72

Em relao s fontes de busca utilizadas neste mapeamento, a busca manual tem


se mostrado de maior eficcia, no entanto, vale observar que todos os estudos selecionados
atravs das fontes manuais foram tambm retornados atravs das buscas automticas. Este
fenmeno, verificado apenas aps a realizao das buscas, d mostras de que os processos
de busca atravs de fontes automatizadas tm maior abrangncia a ponto de alcanar uma
relevncia cada vez maior em relao s buscas manuais para a realizao de revises e
mapeamentos sistemticos, com destaque para as bibliotecas digitais ACM e IEEEXplorer que
retornaram ambas aproximadamente 79% (29) do total de estudos selecionados para pesquisa.
Dentre os motores de busca, destaque para Ei Compendex, que sozinho retornou 30% dos
estudos selecionados e Scopus que devido a um grande nmero de estudos indisponveis,
acredito foi prejudicado.
A primeira das cinco questes especficas provenientes da subdiviso da questo mais
geral, relacionada ao panorama da aplicao de rastreabilidade entre artefatos heterogneos,
oferece uma viso ampla sobre as abordagens que tm sido exploradas na engenharia de
software. As atividades suportadas assim como a quantidade de estudos, podem ser vistas
na Figura 4.11. Entre elas merece destaque as atividades de criao que recebeu a maior
ateno dos estudos, contabilizando 34 ao total, sendo 2 destes vinculados a manuteno, 5
relacionados ao uso e apenas 2 estudos envolvendo a criao, manuteno e uso. No que
diz respeito a natureza das atividades, podemos atribuir a predominncia (24 estudos) das
atividades automticas, ou seja, sem interveno humana nas decises de estabelecimento
das relaes de rastreabilidade. Podemos inferir que o interesse nos mtodos automticos
devido, sobretudo, a necessidade de reduzir esforos humanos em busca da rastreabilidade
ubqua, que simplesmente atenda seu propsito de forma transparente para o software e as
tarefas da engenharia. No mbito temporal, apenas o estudo EP27 tratou de forma prospectiva,
uma abordagem particular que implica a criao ou manuteno de ligaes de rastreamento
simultneo com a manipulao dos artefatos que se associam. Todos os demais estudos
estabelecem os links de forma retrospectiva. Estes fatos parecem indicar uma possvel falta
de interesse dos pesquisadores especialistas na captura de rastreamento em tempo real,
ou at mesmo, uma lacuna a ser desbravada pela falta de tcnicas, mtodos e ferramentas
apropriadas. No que se refere s informaes sobre os detalhes da abordagem utilizada o
cenrio chamou bastante a ateno, tanto pela quantidade de informaes relevantes omitidas
quanto pela superficialidade das informaes apresentadas.
No quesito artefatos, as relaes estabelecidas predominam sobre os produtos de
trabalho a nvel de requisitos, anlise e projeto, implementao e teste, em virtude da grande
maioria apresentar texto em linguagem natural, seja em relao aos metadados ou prprio
contedo. Em suma, 70% dos estudos utilizaram artefatos de duas disciplinas relacionadas
ao RUP, e apenas 4 estudos estabeleceram formas de rastreabilidade entre artefatos das
quatro disciplinas. Torna-se perceptvel ento a existncia de uma lacuna nas abordagens em
estabelecer ligaes com os diversos artefatos do ciclo de vida do software.

4.4. DISCUSSO DOS RESULTADOS

73

A terceira questo buscou investigar os meios utilizados pelas abordagens apresentadas para determinar a gerao dos links de rastreabilidade. Foram identificados 24 mtodos,
dentre eles, destacam-se LSI e VSM, ambas tcnicas de recuperao de informao que usam
modelos algbricos, e ajudam a encontrar uma relao semntica entre os termos indexados
nos artefatos. LSI foi utilizado em 9 estudos e VSM em 6 estudos. Alguns pesquisadores tm
agrupado algumas tcnicas em busca de um melhor desempenho na recuperao automatizada dos links de rastreabilidade, o caso dos estudos EP01 e EP14, reduzindo assim as
lacunas deixadas pela impreciso de cada uma das tcnicas.
No que se refere as mtricas, recall e precision foram utilizadas por 30 estudos (81%),
ambas as mtricas esto relacionadas ao nmero de ligaes recuperadas e existentes.
Este resultado est diretamente ligado ao fato das tcnicas de recuperao (VSM e LSI) da
informao terem dominado grande parte dos estudos.
Por fim, na quinta questo foram analisados contextos, objetivos e desafios. Em
relao ao contexto, 84% dos estudos se enquadraram na proposta genrica de suporte ao
gerenciamento de informaes. Os demais, dividiram-se em outros dois contextos: linha de
produtos de software (5 estudos) e programao orientada a aspectos (1 estudo). J em relao
ao objetivo pretendido nos estudos, 94% (34) buscam extrair relaes de rastreabilidade com
alta preciso e recordao. Outros 3 estudos oferecem vises de requisitos como exibies de
cobertura e status atravs da rastreabilidade. Um achado preocupante ligado aos desafios
relatados pelos pesquisadores, que justifica muito dos resultados encontrados, diz respeito
a confiana fornecida pelas abordagens. Apesar de apenas 6 estudos terem relatado o fato,
aumentar o desempenho dos meios automticos de estabelecimento da rastreabilidade atravs
da recuperao da informao tem sido o principal desafio enfrentado, seguido pela dificuldade
de escalonamento. Ou seja, inserir e permitir uma grande variedade de artefatos em diferentes
estruturas, granularidade e atividades que atendem aos mais distintos papis dos stakeholders
de um projeto.
Atravs do dados analisados, fica claro perceber que o processo de estabelecimento
e recuperao da rastreabilidade ainda um desafio para os prprios pesquisadores, que
buscam oferecer praticidade e eficincia as atividades envolvidas. Impulsionado por desafios
de pesquisa claramente articulados, os pesquisadores procuram alcanar a rastreabilidade
onipresente. Nesta viso, o custo e esforo de estabelecer e manter a rastreabilidade desaparece basicamente quando as ligaes so geradas automaticamente por ferramentas como
um subproduto do processo de desenvolvimento, e os benefcios so realizados em todos os
projetos, e no apenas naqueles escolhidos.
Os resultados deste estudo sistemtico apresentam informaes importantes sobre o
estado da prtica do relato de experimentos em rastreabilidade entre artefatos heterogneos.
imprescindvel a necessidade de melhoria dos relatos dos experimentos e uniformizao
do vocabulrio utilizado, tal aperfeioamento vai ajudar comunidade da rastreabilidade de
software a melhor entender os resultados e limitaes dos estudos reportados.

4.5. CONSIDERAES FINAIS DO CAPTULO

4.5

74

Consideraes Finais do Captulo


Neste captulo foram discutidos os resultados extrados nesta pesquisa, apresentado

as lacunas identificadas e evidncias coletadas. Como consequncia, espera-se contribuir


com a comunidade a fim de atingir um nmero maior de pesquisas no tema proposto atravs
dos resultados mapeados. A seguir as ameaas a validade e os trabalhos futuros sero
apresentados.

75

5
Guidelines de Rastreabilidade Aplicado a
Artefatos Heterogneos
Para exercer a rastreabilidade sobre artefatos heterogneos de software, os autores
dos estudos primrios selecionados descrevem algumas prticas para implementao de uma
abordagem da rastreabilidade mais eficaz. Este captulo lista um conjunto de boas prticas
para aplicao da rastreabilidade sobre artefatos heterogneos, que envolvem a criao de um
ambiente favorvel, a estruturao e o contedo dos artefatos, e meios de buscar a eficincia
das atividades e a eficcia dos objetivos.

5.1

Traar um propsito.
Durante o ciclo de vida de desenvolvimento de software, os stakeholders do projeto

criam inmeros produtos de trabalho que introduzem o potencial para um grande nmero de
links. Portanto, relevante pensar sobre a rastreabilidade desde o incio do projeto, onde seu
propsito deve ser claramente identificado. A rastreabilidade deve ser planejada e gerida se
for preparada para ser e permanecer eficaz em qualquer contexto determinado do projeto. As
partes interessadas devem ser identificadas e seus interesses determinados. Um processo de
rastreabilidade adequado precisa ser desenhado e potencialmente suportado pelas ferramentas
utilizadas. No entanto, todo esse esforo inicial abafado se no houver uma compreenso
clara do retorno antecipado do investimento da implementao de rastreabilidade dentro de
uma organizao.
Embora um conjunto de solues comerciais automatizadas apoie a rastreabilidade,
estabelecendo um processo genrico de gesto das ligaes, os stakeholders podero realizar
a tarefa de rastreamento no seu dia-a-dia mais perfeitamente se determinar antecipadamente
quais os artefatos eles vo rastrear e quais os tipos de ligao que iro capturar (CLELANDHUANG et al., 2007). Assim, a abordagem de rastreabilidade adotada pode ento ser adaptada
de forma adequada para as necessidades do projeto indivduo a evitar situaes em que
muito ou pouco dados de rastreio so criado (ASUNCION; ASUNCION; TAYLOR, 2010). Em

RASTREAMENTO.

5.2. DEFINIR OS ARTEFATOS E A GRANULARIDADE ADEQUADA DE


76

particular, se os dados de rastreio no so necessrios para cumprir um objetivo especfico,


ento no deve ser recolhido e armazenado (ESPINOZA; GARBAJOSA, 2008).
Para cada link de rastreabilidade estabelecido na sua estratgia, os gestores devem
identificar o tipo de artefato na origem e no destino, estabelecer onde cada artefato est
fisicamente localizado, e determinar em qual ferramenta de formatao ou de terceiros o
artefato est armazenado. A gesto da configurao um importante fator subjacente a muitos
esforos da rastreabilidade.
Qualquer esforo de rastreabilidade deve comear com a pergunta: qual o principal
propsito dos dados de rastreabilidade? Pois as principais atividades que posteriormente sero
apoiadas por rastreabilidade e as ferramentas que sero utilizadas, devem ser identificados de
antemo. Uma vez identificados, os objetivos ditaro quais dados sero necessrios, como
eles podem ser gerenciados e quais otimizaes sero possveis. As metas de rastreabilidade
devem ser consideradas durante a elicitao de requisitos, quando as partes interessadas
estiverem disponveis para responder a perguntas sobre o uso futuro previsto.

5.2

Definir os artefatos e a granularidade adequada de rastreamento.


No projeto, os stakeholders tambm devem decidir sobre o nvel adequado de granula-

ridade de rastreio para cada tipo de artefato. Por exemplo, quando o rastreamento tem como
destino os diagramas de classe UML, seria possvel gerar o rastreio de pacote, classe ou em
nvel de mtodo. EGYED et al. (2005) avaliaram o valor econmico do rastreamento em nveis
mais baixos de granularidade, medido pelo esforo necessrio para criar os links contra o valor
devolvido por meio de rastreamento em vrios nveis de preciso. Mesmo ignorando os custos
das ligaes de manuteno, eles descobriram que os benefcios da melhorar a granularidade
de ligaes de rastreamento para alm de certo nvel eram muito limitados.
A granularidade deve ser cuidadosamente determinada a apoiar eficazmente as partes
interessadas em suas tarefas de rastreabilidade, minimizando o esforo envolvido para analisar
e utilizar o conjunto de links retornados (RATANOTAYANON; SIM; RAYCRAFT, 2009). Isso
pode ser especialmente problemtico em documentos grandes, fracamente estruturados que
podem no contm componentes claramente definidas no nvel de granularidade desejado
(TSUCHIYA et al., 2013).
A granularidade de um artefato de rastreamento no pr-determinada e pode mesmo
no ser consistente a qualquer projeto. esta incerteza sobre a granularidade dos artefatos
de rastreamento que pode levar a muitos problemas no estabelecimento e utilizao da
rastreabilidade na prtica. O tipo e a granularidade dos artefatos de rastreamento, e da
semntica da ligao de rastreio, so, portanto, detalhes que so melhor determinados projeto
a projeto. Atravs da definio do que ser rastreado, qual nvel de detalhe necessrio, que

5.3. DEFINIR UM GLOSSRIO DE TERMOS DO PROJETO.

77

eventualmente influenciar a definio de um modelo de processo de rastreabilidade.

5.3

Definir um glossrio de termos do projeto.


Um glossrio de projeto bem construdo, definido durante as reunies iniciais do projeto

com as partes interessadas e usado de forma consistente ao longo do desenvolvimento do


produto, geralmente, aumenta a consistncia dos termos usados e, posteriormente, melhora a
rastreabilidade.
Em boa parte dos estudos selecionados, os autores descreveram um modelo de
referncia de rastreabilidade e uma abordagem em que a gerao das relaes entre artefatos
so criadas com base nos seguintes aspectos: (i) a semntica dos documentos que esto
sendo comparadas (JAIN; GHAISAS; SUREKA, 2014), (ii) os vrios tipos de relaes de
rastreabilidade no domnio (STRASUNSKAS; HAKKARAINEN, 2012), (iii) os papis gramaticais
das palavras nas partes textuais dos documentos, (iv) a anlise do contexto original (ZHOU; LU;
LUNDQVIST, 2013) e (v) sinnimos e a distncia das palavras que esto sendo comparados
em um texto . Nestes casos, a definio de um glossrio contribui para a melhoria do recall e
preciso dos links recuperados.
A definio de um glossrio de termos assegura a conformidade e a eficcia dos
objetivos da abordagem de rastreabilidade utilizada, em virtude das principais tcnicas serem
baseadas na anlise semntica e sinttica dos termos em linguagem natural encontrada nos
artefatos. Em alguns casos o termo utilizado pode tambm levar em conta a importncia para
um domnio especfico. Em particular, os artefatos podem conter termos e frases crticas que
deveriam ser mais pesados do que outros, pois podem ser considerados mais significativos na
identificao de links de rastreabilidade. Onde estes termos podem ser extrados do glossrio
do projeto, que deve apresentar todos os sinnimos para cada termo encontrado.

5.4

Construir uma hierarquia significativa.


Utilizar uma hierarquia de informaes consistente nos artefatos, tais como, ttulos e

subttulos dentro de um documento de requisitos, texto descritivo ou nomes de pacotes significativos, pode permitir que as tcnicas de recuperao de rastreamento reforcem a semntica
das necessidades individuais e ajude a construir ligaes mais precisas (SPANOUDAKIS et al.,
2004). Em geral, as formas padronizadas de representao do conhecimento so usadas
para inferir dados, com isso, facilitam a construo de regras de rastreabilidade para grandes
conjuntos de dados, assim como, a representao e apoio s dependncias entre os elementos
constantes dos documentos (ZISMAN et al., 2003).
O conhecimento sobre a estrutura dos artefatos podem tambm ser explorado para
melhorar o desempenho de um mtodo de recuperao de rastreabilidade. Uma estratgia,
que aumenta seu desempenho baseia-se na observao de que os artefatos so geralmente

5.5. INTRODUZIR UM MTODO AUTOMATIZADO DE RASTREAMENTO.

78

dispostas em um formato hierrquico. Essa estrutura hierrquica poderia ser explorada para
identificar melhor o contexto de cada artefato, uma vez que, em geral, as palavras usadas para
nomear e descrever os artefatos de nvel mais alto capturam o significado (ou seja, o contexto)
de seus componentes de nvel inferior. Os links hierrquicos so ento explorados ao calcular
as probabilidades de que um artefato alvo relevante para um determinado artefato de origem.

5.5

Introduzir um mtodo automatizado de rastreamento.


O processo manual de recuperar e manter vnculos de rastreabilidade entre os artefatos

de software no escalvel, tediosa e propensa a erros. Sobretudo porque, o nmero de


artefatos e partes interessadas cresce, gerando uma rea em que a complexidade pode
aumentar exponencialmente. Portanto, vale a pena considerar o uso de ferramentas de apoio
gesto da rastreabilidade, com objetivo de reduzir esforos manuais, identificar novos tipos
de relao e atingir maiores nveis de recall e preciso (KAMALABALAN et al., 2015). Utilizar
ferramentas para gerar ligaes candidatas, reduz drasticamente o esforo de abordagens
manuais para construir e manter uma matriz de rastreabilidade, bem como proporciona a
anlise da rastreabilidade retrospectiva, ou seja, sobre documentos j existentes (JIANG et al.,
2008).
Enquanto artefatos do projeto so geralmente pr-existente em um projeto, as ligaes
entre eles pode ainda no estar definida. Uma estratgia de otimizao simples usar uma
ferramenta de rastreabilidade sobre os artefatos, a fim de verificar as possiveis ligaes em um
subconjunto de itens. Variar o recall e preciso de dados de rastreamento particularmente
pertinente ao usar ferramentas automatizadas, pois muitas ferramentas podem ser calibradas
para favorecer uma ou outra. O uso de tcnicas automatizadas (como ferramentas de recuperao de informaes) so susceptveis de reduzir os custos para a criao do rastreamento,
mas aumentar os esfoo associados com atividades de validao, porque os dados podem
exigir algum refinamento manual no ponto de utilizao.

5.6

Combinar tcnicas.
Muitas tcnicas de recuperao de rastreabilidade foram inventados para recuperar

vnculos de rastreabilidade entre artefatos, algumas precisam de interveno humana, outros


podem gerar automaticamente links de rastreabilidade. Infelizmente, nenhuma abordagem de
recuperao tm a capacidade de recuperar todas as ligaes possveis entre os artefatos
automaticamente com 100% de preciso (GOTEL et al., 2012).
Abordagens de rastreabilidade automatizadas so confrontadas com um grande desafio,
que corresponde a como extrair estes links com alta preciso e recall. Um conjunto de links
candidatos de alta qualidade representa um elo definido entre estes artefatos que contm
o maior nmero de ligaes corretas possvel. Alm disso, um conjunto de alta qualidade

5.7. REVISO DE LIGAES CANDIDATAS.

79

de ligao candidatas dever conectar elementos de diferentes artefatos em um nvel fino


de detalhes. No entanto, tem sido muito difcil extrair automaticamente ligaes candidatas
de alta qualidade entre uma ampla variedade de artefatos criados durante o ciclo de vida de
desenvolvimento de software. Isto acontece devido, tanto impreciso inerente ao expressar
as coisas em linguagem natural e a perda ou ganho de informao inerente quando se
navega entre os artefatos de software em diferentes nveis de abstrao. A maioria das
tcnicas existentes de rastreabilidade automatizadas adota uma abordagem nica para traar
a recuperao dos links. No entanto, as diferentes abordagens de recuperao tm diferentes
pontos fortes e fracos.
A fim de melhorar o desempenho da rastreabilidade automatizada, combinar as tcnicas
de recuperao de ligaes pode extrair vantagem da soma das foras de cada uma destas
tcnicas (CHEN; GRUNDY, 2011) (CLELAND-HUANG; ZEMONT; LUKASIK, 2004). Desta
forma, superando as limitaes de recall e preciso encontrada nas abordagens criadas
atravs de uma nica tcnica (EYAL-SALMAN; SERIAI; DONY, 2013).

5.7

Reviso de ligaes candidatas.


interessante notar que o subconjunto de artefatos recuperados pelas ferramentas de

criao dos elos de rastreamento no coincide, em geral, com o conjunto de artefatos que
so de fato semelhantes, e que devem ser rastreados. Na verdade, as ferramentas falham ao
encontrar relaes entre os artefatos, enquanto que por outro lado, tambm iro recuperar
artefatos que no esto relacionados. Estas consideraes sugerem que uma ferramenta de
recuperao de rastreabilidade no pode substituir completamente o engenheiro de software
na tarefa de manter vnculos de rastreabilidade durante a evoluo de software (GUO et al.,
2014)(DELATER; PAECH, 2013b). De acordo com os resultados observados, as ferramentas
so um bom suporte para o engenheiro de software durante o processo de recuperao de
rastreabilidade. Pois, reduz o espao de artefatos a serem analisados, e, portanto, permite
que o engenheiro de software encontre ligaes atravs da anlise de uma lista menor de
ligaes perdidas. Alm disso, a ferramenta ajuda o engenheiro de software a verificar a
consistncia do contedo dos artefatos, em particular, a ferramenta destaca inconsistncias
provveis no uso dos termos de domnio nos artefatos rastreados (LUCIA et al., 2007). Esta
uma informao til, que ajuda a melhorar o desempenho das abordagens de rastreabilidade,
ou seja, ferramenta e engenheiro de software trabalhando juntos para orientar os stakeholders
a realizar tarefas com mais eficincia e assertividade, aliadas a produzir produtos cada vez
melhores e com alto ndice de qualidade.

80

6
Consideraes Finais
Este captulo apresenta as consideraes finais do trabalho. Inicialmente, sero
discutidas as ameaas validade do estudo, em seguida, abordado as recomendaes para
trabalhos futuros e as concluses obtidas com a pesquisa.

6.1

Limitaes e Ameaas Validade


Nesta seo sero apresentadas as limitaes da pesquisa e as ameaas validade

de seus resultados, assim como as estratgias adotadas para mitig-las. Neste mapeamento
sistemtico buscou-se seguir rigorosamente os procedimentos metodolgicos estabelecidos
no protocolo de pesquisa descrito no Captulo 3.
As principais ameaas validade deste tipo de estudo apontadas por SJOBERG;
DYBA; JORGENSEN (2007) e KITCHENHAM (2010) so: (i) vis de seleo de publicaes,
(ii) pouca acurcia na extrao dos dados, (iii) erros de classificao, (iv) basear-se em apenas
um engenho de busca, (v) conduzir o processo de seleo e excluso por apenas uma pessoa.
Uma outra ameaa includa est relacionada a (vi) validade do guideline produzido. A seguir
sero explanadas as medidas tomadas para mitigar cada uma destas ameaas.
Com o intuito de mitigar tais ameaas foram adotadas algumas medidas, tais como:
(i) para evitar o vis na seleo das publicaes buscou-se validar as fontes de busca automtica adotadas neste estudo junto a especialistas nas reas de Engenharia de Software
Experimental e EBSE. Tambm foi adotada uma fonte de busca manual que concentra os
estudos sobre Rastreabilidade de Software e um protocolo de pesquisa foi construdo com
direcionamentos a serem seguidos.
Para conter o problema relacionado extrao dos dados (ii) foi criado um formulrio
estruturado, a ser usado durante a fase de extrao de dados, contendo a lista de informaes
a serem extradas.
A ameaa relacionada aos erros de classificao (iii) foi mitigada com o uso da referncia mais atual e completa da rea escrita por GOTEL et al. (2012) que contempla a terminologia
essencial a rastreabilidade em um glossrio de termos.

6.2. TRABALHOS FUTUROS

81

Em relao ao item (iv) foram utilizados cinco engenhos de busca automtica: ACM,
IEEE Xplore, Scopus, Ei Compendex e Science Direct. A fim de compreender estudos primrios
de todos os perodos, no foram adotadas quaisquer restries temporais neste mapeamento.
A estratgia de busca manual foi acrescentada ao estudo com o intuito de identificar estudos
que no fossem identificados atravs das strings de busca criadas.
Quanto ao vis apontado pelo item (v) foi contido atravs da introduo de atividades
de teste e reteste, conforme previsto por KITCHENHAM; CHARTERS (2007) em caso estudos
realizados por um nico pesquisador. Tendo previsto todas estas ameaas validade da
pesquisa, em especial para o item (v), foi planejado um estudo piloto do protocolo definido
sobre um escopo reduzido com objetivo de experimentar e capacitar-se na atividade de
executor individual. Tendo sido de extrema importncia para mitigar ainda mais os vieses
apresentados.
Considerando a limitao apresentada no item (vi) a lista com boas prticas apresentadas (captulo 6) tem uma ameaa validade no que diz respeito a seu esboo, em virtude de,
no ter sido validada na prtica. Alm de, no discutir detalhes sobre como aplicar ou executar
o catlogo proposto, portanto, entende-se que as orientaes existentes podem no ser fceis
de aplicar, exigindo mais investigaes.

6.2

Trabalhos Futuros
A partir da realizao desta pesquisa, podem-se levantar algumas oportunidades de

trabalhos futuros, bem como direcionamentos para novas pesquisas, que podero contribuir
para a melhoria de pesquisas no contexto da rastreabilidade de software.


Avaliar o catlogo proposto (Captulo 5) em um estudo de caso.

Estender este mapeamento sistemtico a outras fontes de modo a considerar novas


fontes de busca automatizadas e manuais.

Realizao de RSL sobre a eficcia das abordagens de rastreabilidade apresentadas.

Desenvolver um framework, modelo, guia ou processo que apoie a avaliao do


desempenho das abordagens de rastreabilidade entre artefatos heterogneos.

Avaliar os resultados encontrados nesta dissertao atravs da replicao deste


estudo.

Apresentar os resultados extrados aos autores dos estudos primrios, coletando


a avaliao deles quanto sntese constatada a partir dos seus estudos, fazendo
assim uma anlise qualitativa.

6.3. CONCLUSES


82

Desenvolver novos recursos voltados a apoiar o relato de experimentos em rastreabilidade de software, de acordo com as lacunas observadas ao longo deste
trabalho.

6.3

Concluses
Apesar de sua importncia, a rastreabilidade talvez uma das qualidades mais evasivas

do processo de desenvolvimento de software. O custo, esforo e disciplina necessria para


criar e manter ligaes de rastreamento em um sistema de software em rpida evoluo pode
ser extremamente elevado. Alm disso, seus benefcios, muitas vezes seguem no realizados
na prtica, devido a processos mal definidos e ad-hoc de rastreabilidade, a falta de ferramentas
eficazes, entre outros motivos. Problema que se agrava quando tratado da rastreabilidade
entre um conjunto de artefatos heterogneos criados e mantidos durante o ciclo de vida do
software.
Este estudo se props a reunir, estruturar e sintetizar de maneira sistemtica o conhecimento obtido atravs de pesquisas empricas sobre a adoo de rastreabilidade entre artefatos
heterogneos na engenharia de software. Com isso, um mapeamento sistemtico da literatura
foi realizado sobre a literatura disponvel em diversas fontes que retornaram 2488 estudos
primrios. Aps aplicao dos critrios de seleo estabelecidos, 37 estudos empricos foram
selecionados, e foram publicados entre 2003 a 2015, initerruptamente, com breve oscilao
durante o perodo e ligeira crescente em 2013. O que caracteriza um tema ainda de baixo
interesse entre os pesquisadores da engenharia de software, apesar de ser um tanto complexo
e bastante relevante.
Utilizando 5 perguntas de pesquisa, foi capaz de identificar as principais abordagens
aplicadas a rastreabilidade dos artefatos heterogneos. Em geral os estudos relatam a
recuperao das ligaes de rasteio de forma automatizada, utilizando tcnicas de Information
Retrieval de forma retrospectiva com base no contedo de Linguagem Natural, encontrado
nos artefatos de requisitos, casos de uso, diagramas UML, cdigo fonte e casos de teste.
Em sua grande maioria, os estudos analisaram sua abordagem atravs do seu desempenho, medido pela relao entre as ligaes retornadas corretamente e o total de ligaes
corretas existentes. Suportar o gerenciamento das informaes para a rastreabilidade foi o
contexto que a maioria dos estudos apresentaram, cujo objetivo extrair relaes com alta
preciso e recordao. Em face aos desafios abordados pelos estudos, a confiana e escalabilidade foram as mais citadas. De modo que estes problemas alinharam-se aos objetivos de
92% dos estudos, os quais buscam extrair ligaes precisas e confiveis de rastreamento que
possam ser criadas e mantidas ao longo de um projeto de software com baixo esforo humano.
As direes de pesquisa identificadas so bastante variadas. Alguns se concentram
em solues algortmicas, outras em melhorias do processo, e outros ainda em infraestrutura
precisa. Isto sugere que o avano do estado-da-arte em rastreabilidade de software exige a

6.3. CONCLUSES

83

cooperao de pesquisadores com diferentes conjuntos de habilidades de diversas reas como,


otimizao de cdigo, minerao de dados, visualizao e engenharia de sistemas. Alm disso,
a investigao sobre rastreabilidade necessita ser estreitada com a prtica nas indstrias e,
portanto, requer tambm o engajamento dos profissionais do setor, onde os estudos de caso
exploram os sucessos e fracassos da rastreabilidade de software na prtica. Assim, mantendo
os pesquisadores informados sobre os verdadeiros problemas a ser abordado, fornecendo
oportunidades inestimveis para explorar a aplicao de pesquisa para a engenharia de
software.
Os resultados deste estudo sistemtico apresentam informaes importantes sobre o
estado da prtica do relato de experimentos em rastreabilidade entre artefatos heterogneos
de software. imprescindvel a necessidade de melhoria destes relatos quanto ao nvel
de detalhes e terminologia apresentada, tal aperfeioamento vai ajudar comunidade da
rastreabilidade de software a melhor entender e aproveitar os resultados dos experimentos
reportados.

84

Referncias
ALEKSY, M. et al. A Pragmatic Approach to Traceability in Model-Driven Development. In:
PRIMIUM - PROCESS INNOVATION FOR ENTERPRISE SOFTWARE : 15.04.2009 IN
MANNHEIM, GERMANY, Bonn. Anais. . . Ges. fr Informatik, 2009. v.151, p.113 127.
ALEXANDER, I. Towards automatic traceability in industrial practice. In: IN PROC. OF THE
1ST INT. WORKSHOP ON TRACEABILITY. Anais. . . [S.l.: s.n.], 2002. p.26 31.
ANDERSON, K. M.; SHERBA, S. A.; LEPTHIEN, W. V. Towards large-scale information
integration. In: SOFTWARE ENGINEERING, 2002. ICSE 2002. PROCEEDINGS OF THE
24RD INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2002. p.524 534.
ARKLEY, P.; RIDDLE, S. Overcoming the traceability benefit problem. In: IEEE
INTERNATIONAL CONFERENCE ON REQUIREMENTS ENGINEERING (RE05), 13.
Anais. . . [S.l.: s.n.], 2005. p.385 389.
ASUNCION, H. U.; ASUNCION, A. U.; TAYLOR, R. N. Software traceability with topic modeling.
In: ACM/IEEE 32ND INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING,
2010. Anais. . . [S.l.: s.n.], 2010. v.1, p.95 104.
BAEZA-YATES, R. A.; RIBEIRO-NETO, B. Modern Information Retrieval. Boston, MA, USA:
Addison-Wesley Longman Publishing Co., Inc., 1999.
BOEHM, B. W. Software Engineering. IEEE Transactions on Computers, [S.l.], v.C-25, n.12,
p.1226 1241, Dec 1976.
BORG, M.; RUNESON, P.; ARDO, A. Recovering from a Decade: a systematic mapping of
information retrieval approaches to software traceability. Empirical Softw. Engg., Hingham,
MA, USA, v.19, n.6, p.1565 1616, December 2014.
BRERETON, L. M.; KYRIACOU, T.; PEARL. Teaching Novices Programming Using a
Robot Simulator: case study protocol. 2011.
BUDGEN, D. et al. Using {M}apping {S}tudies in {S}oftware {E}ngineering. In: PPIG 2008.
Proceedings. . . Lancaster University, 2008. p.195 204.
Carnegie Mellon University. CMMI for Development, Version 1.3. Pittsburgh, PA: Software
Engineering Institute, Carnegie Mellon University, 2010. (CMU/SEI-2010-TR-033).
CHAUHAN, M. A.; BABAR, M. A. Towards a Reference Architecture to Provision Tools as a
Service for Global Software Development. In: SOFTWARE ARCHITECTURE (WICSA), 2014
IEEE/IFIP CONFERENCE ON. Anais. . . [S.l.: s.n.], 2014. p.167 170.
CHEN, X.; GRUNDY, J. Improving automated documentation to code traceability by combining
retrieval techniques. In: AUTOMATED SOFTWARE ENGINEERING (ASE), 2011 26TH
IEEE/ACM INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2011. p.223 232.
CHEN, X.; HOSKING, J.; GRUNDY, J. Visualizing traceability links between source code and
documentation. In: IEEE SYMPOSIUM ON VISUAL LANGUAGES AND HUMAN-CENTRIC
COMPUTING (VL/HCC), 2012. Anais. . . [S.l.: s.n.], 2012. p.119 126.

REFERNCIAS

85

CLELAND-HUANG, J.; CHANG, C. K.; CHRISTENSEN, M. Event-based traceability for


managing evolutionary change. IEEE Transactions on Software Engineering, [S.l.], v.29,
n.9, p.796 810, Sept 2003.
CLELAND-HUANG, J.; CHANG, C. K.; GE, Y. Supporting event based traceability through
high-level recognition of change events. In: COMPUTER SOFTWARE AND APPLICATIONS
CONFERENCE, 2002. COMPSAC 2002. PROCEEDINGS. 26TH ANNUAL INTERNATIONAL.
Anais. . . [S.l.: s.n.], 2002. p.595 600.
CLELAND-HUANG, J. et al. Utilizing supporting evidence to improve dynamic requirements
traceability. In: IEEE INTERNATIONAL CONFERENCE ON REQUIREMENTS ENGINEERING
(RE05), 13. Anais. . . [S.l.: s.n.], 2005. p.135 144.
CLELAND-HUANG, J. et al. Best Practices for Automated Traceability. Computer, [S.l.], v.40,
n.6, p.27 35, June 2007.
CLELAND-HUANG, J. et al. Trace Queries for Safety Requirements in High Assurance
Systems. In: INTERNATIONAL CONFERENCE ON REQUIREMENTS ENGINEERING:
FOUNDATION FOR SOFTWARE QUALITY, 18., Berlin, Heidelberg. Proceedings. . .
Springer-Verlag, 2012. p.179 193. (REFSQ12).
CLELAND-HUANG, J. et al. Software Traceability: trends and future directions. In: FUTURE
OF SOFTWARE ENGINEERING, New York, NY, USA. Proceedings. . . ACM, 2014. p.55 69.
(FOSE 2014).
CLELAND-HUANG, J.; ZEMONT, G.; LUKASIK, W. A heterogeneous solution for improving the
return on investment of requirements traceability. In: REQUIREMENTS ENGINEERING
CONFERENCE, 2004. PROCEEDINGS. 12TH IEEE INTERNATIONAL. Anais. . . [S.l.: s.n.],
2004. p.230 239.
COHEN, J. Weighted kappa: nominal scale agreement with provision for scaled disagreement
or partial credit. Psychological bulletin, [S.l.], v.70, p.213 220, October 1968.
COOPER, H. M. Organizing knowledge syntheses: a taxonomy of literature reviews.
Knowledge in Society, [S.l.], v.1, n.1, p.104 126, 1988.
CRESWELL, J. Research Design: qualitative, quantitative, and mixed methods
approaches. [S.l.]: SAGE Publications, 2013.
DELATER, A.; PAECH, B. Analyzing the Tracing of Requirements and Source Code During
Software Development. In: INTERNATIONAL CONFERENCE ON REQUIREMENTS
ENGINEERING: FOUNDATION FOR SOFTWARE QUALITY, 19., Berlin, Heidelberg.
Proceedings. . . Springer-Verlag, 2013. p.308 314. (REFSQ13).
DELATER, A.; PAECH, B. Tracing Requirements and Source Code during Software
Development: an empirical study. In: ACM / IEEE INTERNATIONAL SYMPOSIUM ON
EMPIRICAL SOFTWARE ENGINEERING AND MEASUREMENT, 2013. Anais. . . [S.l.: s.n.],
2013. p.25 34.
DOMGES, R.; POHL, K. Adapting Traceability Environments to Project-specific Needs.
Commun. ACM, New York, NY, USA, v.41, n.12, p.54 62, December 1998.

REFERNCIAS

86

EDWARDS, M.; HOWELL, S. L. A METHODOLOGY FOR SYSTEMS REQUIREMENTS


SPECIFICATION AND TRACEABILITY FOR LARGE REAL-TIME COMPLEX SYSTEMS. ,
[S.l.], 1991.
EGYED, A. et al. A Value-based Approach for Understanding Cost-benefit Trade-offs During
Automated Software Traceability. In: INTERNATIONAL WORKSHOP ON TRACEABILITY IN
EMERGING FORMS OF SOFTWARE ENGINEERING, 3., New York, NY, USA.
Proceedings. . . ACM, 2005. p.2 7. (TEFSE 05).
EGYED, A. et al. Value-Based Requirements Traceability: lessons learned. In: IEEE
INTERNATIONAL REQUIREMENTS ENGINEERING CONFERENCE (RE 2007), 15. Anais. . .
[S.l.: s.n.], 2007. p.115 118.
EGYED, A.; GRUNBACHER, P. Automating requirements traceability: beyond the record replay
paradigm. In: AUTOMATED SOFTWARE ENGINEERING, 2002. PROCEEDINGS. ASE 2002.
17TH IEEE INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2002. p.163 171.
ESPINOZA, A.; GARBAJOSA, J. A Proposal for Defining a Set of Basic Items for
Project-Specific Traceability Methodologies. In: SOFTWARE ENGINEERING WORKSHOP,
2008. SEW 08. 32ND ANNUAL IEEE. Anais. . . [S.l.: s.n.], 2008. p.175 184.
ESPINOZA, A.; GARBAJOSA, J. A Study to Support Agile Methods More Effectively Through
Traceability. Innov. Syst. Softw. Eng., Secaucus, NJ, USA, v.7, n.1, p.53 69, March 2011.
EYAL-SALMAN, H.; SERIAI, A. D.; DONY, C. Feature-to-Code Traceability in Legacy Software
Variants. In: EUROMICRO CONFERENCE ON SOFTWARE ENGINEERING AND ADVANCED
APPLICATIONS, 2013. Anais. . . [S.l.: s.n.], 2013. p.57 61.
FIGUEIREDO, M. C.; SOUZA, C. R. B. de. Wolf: supporting impact analysis activities in
distributed software development. In: COOPERATIVE AND HUMAN ASPECTS OF
SOFTWARE ENGINEERING (CHASE), 2012 5TH INTERNATIONAL WORKSHOP ON.
Anais. . . [S.l.: s.n.], 2012. p.40 46.
GALVAO, I.; GOKNIL, A. Survey of Traceability Approaches in Model-Driven Engineering. In:
ENTERPRISE DISTRIBUTED OBJECT COMPUTING CONFERENCE, 2007. EDOC 2007.
11TH IEEE INTERNATIONAL. Anais. . . [S.l.: s.n.], 2007. p.313 313.
GETHERS, M. et al. On integrating orthogonal information retrieval methods to improve
traceability recovery. In: SOFTWARE MAINTENANCE (ICSM), 2011 27TH IEEE
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2011. p.133 142.
GOTEL, O. C. Z.; FINKELSTEIN, C. W. An analysis of the requirements traceability problem. In:
REQUIREMENTS ENGINEERING, 1994., PROCEEDINGS OF THE FIRST INTERNATIONAL
CONFERENCE ON. Anais. . . [S.l.: s.n.], 1994. p.94 101.
GOTEL, O. et al. Software and Systems Traceability. London: Springer London, 2012. p.343
409.
GRECHANIK, M.; MCKINLEY, K. S.; PERRY, D. E. Recovering and Using
Use-case-diagram-to-source-code Traceability Links. In: JOINT MEETING OF THE
EUROPEAN SOFTWARE ENGINEERING CONFERENCE AND THE ACM SIGSOFT
SYMPOSIUM ON THE FOUNDATIONS OF SOFTWARE ENGINEERING, 6., New York, NY,
USA. Proceedings. . . ACM, 2007. p.95 104. (ESEC-FSE 07).

REFERNCIAS

87

GUO, J. et al. Towards an Intelligent Domain-specific Traceability Solution. In: ACM/IEEE


INTERNATIONAL CONFERENCE ON AUTOMATED SOFTWARE ENGINEERING, 29., New
York, NY, USA. Proceedings. . . ACM, 2014. p.755 766. (ASE 14).
HAYES, J. H.; DEKHTYAR, A.; SUNDARAM, S. K. Advancing candidate link generation for
requirements tracing: the study of methods. IEEE Transactions on Software Engineering,
[S.l.], v.32, n.1, p.4 19, Jan 2006.
HAYES, J. H. et al. REquirements TRacing On target (RETRO): improving software
maintenance through traceability recovery. Innovations in Systems and Software
Engineering, [S.l.], v.3, n.3, p.193 202, 2007.
HEINDL, M.; BIFFL, S. A Case Study on Value-based Requirements Tracing. In: EUROPEAN
SOFTWARE ENGINEERING CONFERENCE HELD JOINTLY WITH 13TH ACM SIGSOFT
INTERNATIONAL SYMPOSIUM ON FOUNDATIONS OF SOFTWARE ENGINEERING, 10.,
New York, NY, USA. Proceedings. . . ACM, 2005. p.60 69. (ESEC/FSE-13).
HUANG, J.; GOTEL, O.; ZISMAN, A. Software and Systems Traceability. [S.l.]: Springer
Publishing Company, Incorporated, 2014.
IEEE STD 12207. ISO/IEC/IEEE Standard for Systems and Software Engineering - Software
Life Cycle Processes. IEEE STD 12207-2008, [S.l.], p.c1 138, Jan 2008.
IEEE STD 24765. Systems and software engineering Vocabulary. ISO/IEC/IEEE
24765:2010(E), [S.l.], p.1 418, Dec 2010.
IEEE STD 29148. Systems and software engineering Life cycle processes Requirements
engineering. ISO/IEC/IEEE 29148:2011(E), [S.l.], p.1 94, Dec 2011.
IEEE STD 828. IEEE Standard for Configuration Management in Systems and Software
Engineering. IEEE Std 828-2012 (Revision of IEEE Std 828-2005), [S.l.], p.1 71,
March 2012.
JAIN, R.; GHAISAS, S.; SUREKA, A. SANAYOJAN: a framework for traceability link recovery
between use-cases in software requirement specification and regulatory documents. In:
INTERNATIONAL WORKSHOP ON REALIZING ARTIFICIAL INTELLIGENCE SYNERGIES IN
SOFTWARE ENGINEERING, 3., New York, NY, USA. Proceedings. . . ACM, 2014. p.12 18.
(RAISE 2014).
JIANG, H. Y. et al. Incremental Latent Semantic Indexing for Automatic Traceability Link
Evolution Management. In: AUTOMATED SOFTWARE ENGINEERING, 2008. ASE 2008.
23RD IEEE/ACM INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2008. p.59 68.
JOUAULT, F. et al. Inter-DSL traceability and navigability support by combining megamodeling
and model weaving. Proceedings of Special Track on the Coordination Models,
Languages and Applications at the 25th Symposium on Applied Computing (SAC
2010), Sierre, Switzerland, 2010.
KAGDI, H.; MALETIC, J. I.; SHARIF, B. Mining software repositories for traceability links. In:
IEEE INTERNATIONAL CONFERENCE ON PROGRAM COMPREHENSION (ICPC 07), 15.
Anais. . . [S.l.: s.n.], 2007. p.145 154.

REFERNCIAS

88

KAMALABALAN, K. et al. Tool support for traceability of software artefacts. In: MORATUWA
ENGINEERING RESEARCH CONFERENCE (MERCON), 2015. Anais. . . [S.l.: s.n.], 2015.
p.318 323.
KITCHENHAM, B. A.; DYBA, T.; JORGENSEN, M. Evidence-based software engineering. In:
SOFTWARE ENGINEERING, 2004. ICSE 2004. PROCEEDINGS. 26TH INTERNATIONAL
CONFERENCE ON. Anais. . . [S.l.: s.n.], 2004. p.273 281.
KITCHENHAM, B. A.; MENDES, E.; TRAVASSOS, G. H. Cross versus Within-Company Cost
Estimation Studies: a systematic review. IEEE Transactions on Software Engineering, [S.l.],
v.33, n.5, p.316 329, May 2007.
KITCHENHAM, B. Kitchenham, 2004 Procedures for Performing Systematic Reviews.
2004.
KITCHENHAM, B. Whats Up with Software Metrics? - A Preliminary Mapping Study. J. Syst.
Softw., New York, NY, USA, v.83, n.1, p.37 51, January 2010.
KITCHENHAM, B.; CHARTERS, S. Guidelines for performing Systematic Literature
Reviews in Software Engineering. 2007.
KRUCHTEN, P. The Rational Unified Process: an introduction. 3.ed. Boston, MA, USA:
Addison-Wesley Longman Publishing Co., Inc., 2003.
LAKATOS, E.; MARCONI, M. D. A. M. Fundamentos de metodologia cient{\\i}fica. [S.l.]:
Atlas, 2010.
LI, Y.; MAALEJ, W. Which Traceability Visualization is Suitable in This Context? A Comparative
Study. In: INTERNATIONAL CONFERENCE ON REQUIREMENTS ENGINEERING:
FOUNDATION FOR SOFTWARE QUALITY, 18., Berlin, Heidelberg. Proceedings. . .
Springer-Verlag, 2012. p.194 210. (REFSQ12).
LIN, J. et al. Poirot: a distributed tool supporting enterprise-wide automated traceability. In:
IEEE INTERNATIONAL REQUIREMENTS ENGINEERING CONFERENCE (RE06), 14.
Anais. . . [S.l.: s.n.], 2006. p.363 364.
LINDVALL, M.; SANDAHL, K. Practical Implications of Traceability. Softw. Pract. Exper., New
York, NY, USA, v.26, n.10, p.1161 1180, October 1996.
LUCIA, A. D. et al. Enhancing an artefact management system with traceability recovery
features. In: SOFTWARE MAINTENANCE, 2004. PROCEEDINGS. 20TH IEEE
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2004. p.306 315.
LUCIA, A. D. et al. Recovering Traceability Links in Software Artifact Management Systems
Using Information Retrieval Methods. ACM Trans. Softw. Eng. Methodol., New York, NY,
USA, v.16, n.4, sep 2007.
LUCIA, A. D.; PENTA, M. D.; OLIVETO, R. Improving Source Code Lexicon via Traceability and
Information Retrieval. IEEE Transactions on Software Engineering, [S.l.], v.37, n.2, p.205
227, March 2011.
MADER, P.; CLELAND-HUANG, J. A Visual Language for Modeling and Executing Traceability
Queries. Softw. Syst. Model., Secaucus, NJ, USA, v.12, n.3, p.537 553, July 2013.

REFERNCIAS

89

MADER, P.; EGYED, A. Do software engineers benefit from source code navigation with
traceability? An experiment in software change management. In: AUTOMATED SOFTWARE
ENGINEERING (ASE), 2011 26TH IEEE/ACM INTERNATIONAL CONFERENCE ON. Anais. . .
[S.l.: s.n.], 2011. p.444 447.
MADER, P.; GOTEL, O.; PHILIPPOW, I. Rule-Based Maintenance of Post-Requirements
Traceability Relations. In: IEEE INTERNATIONAL REQUIREMENTS ENGINEERING
CONFERENCE, 2008. Anais. . . [S.l.: s.n.], 2008. p.23 32.
MADER, P.; GOTEL, O.; PHILIPPOW, I. Motivation Matters in the Traceability Trenches. In:
IEEE INTERNATIONAL REQUIREMENTS ENGINEERING CONFERENCE, 2009. Anais. . .
[S.l.: s.n.], 2009. p.143 148.
MADER, P.; GOTEL, O.; PHILIPPOW, I. Enabling Automated Traceability Maintenance Through
the Upkeep of Traceability Relations. In: EUROPEAN CONFERENCE ON MODEL DRIVEN
ARCHITECTURE - FOUNDATIONS AND APPLICATIONS, 5., Berlin, Heidelberg.
Proceedings. . . Springer-Verlag, 2009. p.174 189. (ECMDA-FA 09).
MALETIC, J. I. et al. Using a Hypertext Model for Traceability Link Conformance Analysis. ,
[S.l.], 2003.
MANNING, C. D.; RAGHAVAN, P.; SCHUTZE, H. Introduction to Information Retrieval. New
York, NY, USA: Cambridge University Press, 2008.
MARCUS, A.; MALETIC, J. I. Recovering documentation-to-source-code traceability links using
latent semantic indexing. In: SOFTWARE ENGINEERING, 2003. PROCEEDINGS. 25TH
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2003. p.125 135.
PANICHELLA, A.; LUCIA, A. D.; ZAIDMAN, A. Adaptive User Feedback for IR-Based
Traceability Recovery. In: IEEE/ACM 8TH INTERNATIONAL SYMPOSIUM ON SOFTWARE
AND SYSTEMS TRACEABILITY, 2015. Anais. . . [S.l.: s.n.], 2015. p.15 21.
PETERSEN, K. et al. Systematic Mapping Studies in Software Engineering. In:
INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN SOFTWARE
ENGINEERING, 12., Swinton, UK, UK. Proceedings. . . British Computer Society, 2008. p.68
77. (EASE08).
POSHYVANYK, D. Using information retrieval to support software maintenance tasks. In:
SOFTWARE MAINTENANCE, 2009. ICSM 2009. IEEE INTERNATIONAL CONFERENCE ON.
Anais. . . [S.l.: s.n.], 2009. p.453 456.
RAMESH, B.; EDWARDS, M. Issues in the development of a requirements traceability model.
In: REQUIREMENTS ENGINEERING, 1993., PROCEEDINGS OF IEEE INTERNATIONAL
SYMPOSIUM ON. Anais. . . [S.l.: s.n.], 1993. p.256 259.
RAMESH, B.; JARKE, M. Toward Reference Models for Requirements Traceability. IEEE Trans.
Softw. Eng., Piscataway, NJ, USA, v.27, n.1, p.58 93, January 2001.
RANDELL, B. Towards a methodology of computing system design. In: SOFTWARE
ENGINEERING. Anais. . . [S.l.: s.n.], 1968.

REFERNCIAS

90

RATANOTAYANON, S.; SIM, S. E.; RAYCRAFT, D. J. Cross-artifact Traceability Using


Lightweight Links. In: ICSE WORKSHOP ON TRACEABILITY IN EMERGING FORMS OF
SOFTWARE ENGINEERING, 2009., Washington, DC, USA. Proceedings. . . IEEE Computer
Society, 2009. p.57 64. (TEFSE 09).
REMPEL, P.; MADER, P.; KUSCHKE, T. An empirical study on project-specific traceability
strategies. In: IEEE INTERNATIONAL REQUIREMENTS ENGINEERING CONFERENCE
(RE), 2013. Anais. . . [S.l.: s.n.], 2013. p.195 204.
ROCHIMAH, S.; KADIR, W. M. N. W.; ABDULLAH, A. H. An Evaluation of Traceability
Approaches to Support Software Evolution. In: INTERNATIONAL CONFERENCE ON
SOFTWARE ENGINEERING ADVANCES (ICSEA 2007). Anais. . . [S.l.: s.n.], 2007. p.19 19.
ROETZHEIM, W. H. Developing Software to Government Standards. Upper Saddle River,
NJ, USA: Prentice-Hall, Inc., 1991.
ROYCE, W. Software Project Management: a unified framework. [S.l.]: Addison-Wesley
Professional, 1998.
SANTOS, W. B.; ALMEIDA, E. S. de; L. MEIRA, S. R. de. TIRT: a traceability information
retrieval tool for software product lines projects. In: EUROMICRO CONFERENCE ON
SOFTWARE ENGINEERING AND ADVANCED APPLICATIONS, 2012. Anais. . . [S.l.: s.n.],
2012. p.93 100.
SARDINHA, A. et al. EA-tracer: identifying traceability links between code aspects and early
aspects. In: ANNUAL ACM SYMPOSIUM ON APPLIED COMPUTING, 27., New York, NY,
USA. Proceedings. . . ACM, 2012. p.1035 1042. (SAC 12).
SJOBERG, D. I. K.; DYBA, T.; JORGENSEN, M. The Future of Empirical Methods in Software
Engineering Research. In: FUTURE OF SOFTWARE ENGINEERING, 2007., Washington, DC,
USA. Anais. . . IEEE Computer Society, 2007. p.358 378. (FOSE 07).
SOMMERVILLE, I. Software Engineering. 9.ed. Harlow, England: Addison-Wesley, 2010.
SOMMERVILLE, I. et al. Large-scale Complex IT Systems. Commun. ACM, New York, NY,
USA, v.55, n.7, p.71 77, July 2012.
SONG, X. et al. Lessons Learned from Building a Web-Based Requirements Tracing System.
In: INTERNATIONAL CONFERENCE ON REQUIREMENTS ENGINEERING: PUTTING
REQUIREMENTS ENGINEERING TO PRACTICE, 3., Washington, DC, USA. Proceedings. . .
IEEE Computer Society, 1998. p.41 50. (ICRE 98).
SPANOUDAKIS, G. et al. Rule-based generation of requirements traceability relations. Journal
of Systems and Software, [S.l.], v.72, n.2, p.105 127, 2004.
SPANOUDAKIS, G. et al. Rule-based generation of requirements traceability relations. Journal
of Systems and Software, [S.l.], v.72, n.2, p.105 127, 2004.
SPANOUDAKIS, G.; ZISMAN, A. Software Traceability: a roadmap. In: HANDBOOK OF
SOFTWARE ENGINEERING AND KNOWLEDGE ENGINEERING. Anais. . . World Scientific
Publishing, 2004. p.395 428.

REFERNCIAS

91

STRASUNSKAS, D.; HAKKARAINEN, S. E. Domain Model-driven Software Engineering: a


method for discovery of dependency links. Inf. Softw. Technol., Newton, MA, USA, v.54, n.11,
p.1239 1249, nov 2012.
SWEBOK. SWEBOK: guide to the software engineering body of knowledge. Version
3.0.ed. Los Alamitos, CA: IEEE Computer Society, 2014.
TORKAR, R. et al. REQUIREMENTS TRACEABILITY: a systematic review and industry case
study. International Journal of Software Engineering and Knowledge Engineering, [S.l.],
v.22, n.03, p.385 433, 2012.
TSUCHIYA, R. et al. Recovering Traceability Links Between Requirements and Source Code in
the Same Series of Software Products. In: INTERNATIONAL SOFTWARE PRODUCT LINE
CONFERENCE, 17., New York, NY, USA. Proceedings. . . ACM, 2013. p.121 130. (SPLC
13).
WIJESINGHE, D. B. et al. Establishing traceability links among software artefacts. In:
ADVANCES IN ICT FOR EMERGING REGIONS (ICTER), 2014 INTERNATIONAL
CONFERENCE ON. Anais. . . [S.l.: s.n.], 2014. p.55 62.
ZHOU, J.; LU, Y.; LUNDQVIST, K. A Context-based Information Retrieval Technique for
Recovering Use-Case-to-Source-Code Trace Links in Embedded Software Systems. In:
EUROMICRO CONFERENCE ON SOFTWARE ENGINEERING AND ADVANCED
APPLICATIONS, 2013. Anais. . . [S.l.: s.n.], 2013. p.252 259.
ZISMAN, A. et al. Tracing Software Requirements Artefacts. International Conference on
Software Engineering Research and Practice, [S.l.], 2003.
ZOU, X. Improving Automated Requirements Trace Retrieval Through Term-based
Enhancement Strategies. 2009. Tese (Doutorado em Cincia da Computao) , Chicago,
IL, USA. AAI3351240.

Apndice

93

A
Estudos Primrios Includos
As informaes apresentadas neste apndice so detalhadas no Captulo 4. Por causa
de limitaes de espao esto sendo apresentadas apenas informaes de cdigo, ttulo, ano,
origem, autores e nota atribuda na avaliao de qualidade.
Tabela A.1: Estudos Includos em ordem alfabtica
Cd.

Ttulo

Ano

EP01

A combination approach for enhan-

2011

Autores

Nota

Xiaofan Chen; John Hos-

7,0

Origem
ACM; IEEE

cing automated traceability (NIER

king; John Grundy

track)
EP02

A Context-based Information Retri-

2013

IEEE

Jiale Zhou; Yue Lu; Kris-

eval Technique for Recovering Use-

8,0

tina Lundqvist

Case-to-Source-Code Trace Links


in Embedded Software Systems
EP03

ADAMS Re-Trace: a Traceability

2005

Recovery Tool

Ei Compen-

Andrea De Lucia; Fausto

dex

Fasano; Rocco Oliveto;

7,0

Genoveffa Tortora
EP04

An industrial case study in recons-

2008

tructing requirements views

Scopus;

Ei

Marco Lormans; Arie van

Compendex

Deursen; Hans-Gerhard

9,5

Gross
EP05

Assessing IR-based traceability re-

2009

covery tools through controlled ex-

Ei Compen-

Andrea De Lucia; Rocco

dex

Oliveto; Genoveffa Tor-

periments
EP06

Capturing software traceability links


from developers eye gazes

10

tora
2014

ACM

Braden Walters; Timothy


Shaffer; Bonita Sharif; Huzefa Kagdi

7,5

94

EP07

Ano

Ttulo

Cd.

Cross-artifact

traceability

using

2009

lightweight links

Autores

Origem

Nota

ACM;

Sukanya Ratanotayanon;

TEFSE

Susan Elliott Sim; Derek

10

J. Raycraft
EP08

Domain model-driven software en-

2012

Scopus

Darijus Strasunskas; Sari

gineering A method for discovery of

10

E. Hakkarainen

dependency links
EP09

EP10

EA-tracer: identifying traceability

2012

ACM

Alberto Sardinha; Nan

links between code aspects and

Niu;

early aspects

Rashid

Enhancing an artefact management

2004

system with traceability recovery fe-

Extraction and visualization of tra-

Awais

Ei Compen-

Andrea De Lucia; Fausto

dex

Fasano; Rocco Oliveto;

atures
EP11

Yijun Yu;

7,5

8,5

Genoveffa Tortora
2010

ACM

Xiaofan Chen

6,5

2013

Ei Compen-

Hamzeh

8,5

dex

Abdelhak-Djamel Seriai;

ceability relationships between documents and source code


EP12

Feature-to-code traceability in legacy software variants

Eyal-Salman;

Christophe Dony

EP13

Goal-centric traceability for mana-

2005

ACM

Jane Cleland-Huang; Raf-

ging non-functional requirements

9,0

faella Settimi; Oussama


BenKhadra; Eugenia Berezhanskaya; Selvia Christina

EP14

Improving automated documenta-

2011

ACM; IEEE

tion to code traceability by combi-

Xiaofan

Chen;

John

10

Tien N.

7,5

Grundy

ning retrieval techniques


EP15

Incremental Latent Semantic Inde-

2008

Hsin-yi Jiang;

ACM

xing for Automatic Traceability Link

Nguyen; Ing-Xiang Chen;

Evolution Management

Hojun Jaygarl; Carl K.


Chang

EP16

Mining software repositories for tra-

2007

IEEE

Huzefa Kagdi; Jonathan I.

ceability links
EP17

Monitoring Requirements Coverage


using Reconstructed Views - An Industrial Case Study

7,5

Maletic; Bonita Sharif


2006

IEEE,

Ei

Marco Lormans; Hans-

Compendex

Gerhard Gross; Arie van


Deursen; Rini van Solingen; Andr Stehouwer

7,0

95

EP18

Ano

Ttulo

Cd.

Reconstructing requirements cove-

2005

Autores

Origem
ACM

rage views from design and test

Nota

Marco Lormans; Arie van

8,0

Deursen

using traceability recovery via LSI


EP19

EP20

Recovering and using use-case-

2007

ACM

Mark Grechanik; Kathryn

diagram-to-source-code traceability

S. McKinley; Dewayne E.

links

Perry

Recovering traceability between fe-

2013

ACM

atures and code in product variants

Lukas Linsbauer;

Ro-

9,0

7,0

berto E. Lopez-Herrejon;
Alexander Egyed

EP21

Recovering
between

traceability

feature

links

models

2012

ACM

and

Hamzeh

Eyal-Salman;

Christophe

source code of product variants

6,0

Dony;

Abdelhak-Djamel Seriai;
Rafat Al-msiedeen

EP22

Recovering

traceability

links

2013

ACM

Ryosuke Tsuchiya;

Hi-

between requirements and source

ronori Washizaki; Yoshi-

code in the same series of software

aki Fukazawa; Tadahisa

products

Kato; Masumi Kawakami;

10

Kentaro Yoshimura
EP23

EP24

Recovering traceability links in soft-

2007

ACM

Andrea de Lucia; Fausto

ware artifact management systems

Fasano; Rocco Oliveto;

using information retrieval methods

Genoveffa Tortora

Rule-based generation of require-

2014

ments traceability relations

Scopus; Sci-

George

Spanoudakis;

ence Direct

Andrea Zisman; Elena


Prez-Miana;

10

8,0

Paul

Krause
EP25

Rule-based Impact Analysis for He-

2013

IEEE

terogeneous Software Artifacts

Steffen Lehnert; Qurat-ul-

10

ann Farooq; Matthias Riebisch

EP26

SANAYOJAN: a framework for tra-

2014

ACM

ceability link recovery between use-

Ritika Jain; Smita Ghai-

8,0

sas; Ashish Sureka

cases in software requirement specification and regulatory documents


EP27

Software traceability with topic mo-

2010

ACM

deling

Hazeline U. Asuncion;

7,5

Arthur U. Asuncion; Richard N. Taylor

EP28

TIRT - A Traceability Information Re-

2012

IEEE

Wylliams Barbosa Santos;

trieval Tool for Software Product Li-

Eduardo Santana de Al-

nes Projects

meida; Silvio Romero de


L. Meira

7,0

96

Ttulo

Cd.
EP29

Tool support for traceability of soft-

Ano
2015

ware artefacts

Autores

Origem

Nota

Ei Compen-

K.

dex

Uruththirakodeeswaran;
G.

Kamalabalan;

T.

Thiyagalingam;

B. Wijesinghe;

5,0

D.

I. Pe-

rera; D. Meedeniya; D.
Balasubramaniam
EP30

EP31

Towards a requirements traceability

2015

ACM

Arthur Marques; Franklin

process centered on the traceability

Ramalho; Wilkerson L.

model

Andrade

Towards an intelligent domain-

2014

Jin Guo; Natawut Monai-

ACM

specific traceability solution

8,5

9,5

kul; Cody Plepel; Jane


Cleland-Huang

EP32

Towards feature-aware retrieval of

2013

refinement traces
EP33

Traceability ReARMed

2009

IEEE;

Patrick Rempel; Patrick

TEFSE

Mader; Tobias Kuschke

IEEE,

Ei

Joern David; Maximilian

Compendex

Koegel; Helmut Naugh-

7,5

5,5

ton; Jonas Helming


EP34

Tracing Requirements and Source

2013

Code during Software Development

IEEE,

Ei

Alexander Delater; Bar-

9,5

Compendex

bara Paech

2011

ACM

Celal Ziftci; Ingolf Krueger

9,0

2013

Ei Compen-

Andrea Zisman; George

7,0

dex

Spanoudakis;

- An Empirical Study
EP35

Tracing requirements to tests with


high precision and recall

EP36

Tracing Software Requirements Artefacts

Prez-Miana;

Elena
Paul

Krause
EP37

XTraQue: Traceability for product


line systems

2009

Scopus,

Ei

Compendex

Waraporn Jirapanthong;
Andrea Zisman

9,0

97

B
Protocolo do Mapeamento Sistemtico
A fim de superar os desafios significativos na criao, manuteno e utilizao de
rastreabilidade, ao longo dos ltimos 20 anos, a comunidade cientfica tem vindo a comunicar
ativamente as questes de rastreabilidade atravs da explorao de temas relacionados
com a automatizao do processo de rastreabilidade. Apesar de vrios autores apontarem
solues relacionadas rastreabilidade de software, at o momento nenhum estudo apresentou
uma viso holstica dos estudos empricos existentes. Motivado pela necessidade de se
produzir melhores evidncias, e como um primeiro esforo neste sentido, o trabalho que gerou
a necessidade deste protocolo se props a: Identificar os experimentos, classifica-los
atravs de guias existentes na literatura, e de maneira sistemtica analisar os desafios
e contextos da aplicao da rastreabilidade entre artefatos heterogneos na engenharia
de software. Os estgios para conduo de mapeamentos sistemticos previsto pelo protocolo
envolvem os seguintes pontos:
1. Identificar as questes de pesquisa;
2. Estabelecer a estratgia de busca dos estudos;
3. Prescrever a estratgia de seleo dos estudos relevantes;
4. Avaliar a qualidade dos estudos selecionados;
5. Determinar a forma de extrao dos dados.

B.1

Questes de Pesquisa
Com o objetivo de delinear o escopo da pesquisa e de identificar os elementos que

vieram a fazer parte das questes de pesquisa, foi utilizado uma estrutura citada por KITCHENHAM; CHARTERS (2007), o qual recomenda considerar as questes de pesquisa a partir
da seguinte estrutura denominada PICOC (Population, Intervention, Comparison, Outcome,
Context):

B.2. ESTRATGIA DE BUSCA DOS ESTUDOS




Populao (Population): Artefatos Heterogneos

Interveno (Intervention): Rastreabilidade de Software

Contexto (Context): Engenharia de Software

98

O item comparao (Comparison) no foi utilizado, uma vez que o estudo no realiza
comparaes entre os mecanismos para guiar estudos empricos. Com relao ao item
da estrutura denominado Resultado (Outcomes) no foi utilizado porque no consideramos
resultados especficos, evitar essa restrio foi preciso uma vez que queria uma viso ampla
da rea de pesquisa como um todo. As perguntas desta pesquisa so de natureza exploratria,
pois tm o intuito de obter uma viso ampla de uma rea de investigao. Assim, o objetivo
deste mapeamento consolidar informaes a respeito da rastreabilidade entre artefatos
heterogneos na engenharia de software. No entanto, este tema demasiadamente genrica
para uma avaliao completa. Assim, ele foi dividida em cinco questes (Q), com foco em
aspectos especficos da pesquisa.


Q1 - Quais abordagens de rastreamento tm sido frequentemente aplicada para


suportar a heterogeneidade dos artefatos na engenharia de software?

Q2 - Quais os artefatos utilizados para estabelecimento da rastreabilidade?

Q3 - Quais meios tm sido empregados para a criao das relaes entre os


artefatos?

Q4 - Quais as mtricas aplicadas a rastreabilidade entre artefatos heterogneos?

Q5 - Quais os principais contextos, objetivos e desafios na aplicao de rastreabilidade entre artefatos heterogneos de software?

B.2

Estratgia de Busca dos Estudos


A procura por estudos primrios foi realizada utilizando pesquisa automtica e manual.

A pesquisa manual incluiu uma dos mais importantes eventos da rea, a fonte de busca manual
planejada e o respectivo perodo de coleta foram:


TEFSE - International Workshop on Traceability in Emerging Forms of Software


Engineering (2002 - 2013)

Para a estratgia automtica planejou-se a utilizao dos seguintes mecanismos:




IEEE Xplore Digital Library1

http://ieeexplore.ieee.org

B.2. ESTRATGIA DE BUSCA DOS ESTUDOS




ACM Digital Library2

Elsevier Scopus3

Science Direct4

EI Compendex5

99

No foi estabelecido qualquer limite inferior em relao ao ano publicao dos estudos
com o objetivo de recuperar toda a literatura sobre o assunto, visto que, nenhum estudo
secundrio sobre o tema foi identificado at o momento.
A construo da string de busca utilizada nas bibliotecas digitais selecionadas foi construda seguindo uma estratgia definida por KITCHENHAM; MENDES; TRAVASSOS (2007),
que consiste em: (i) derivar a partir das questes de pesquisa as principais palavras-chaves
da estrutura PICOC (ii) procurar por palavras chaves em artigos relevantes j consultados
em uma reviso informal (iii) identificar sinnimos e termos alternativos as palavras-chaves
(iv) usar os conectores (OR , AND) para incorporar os sinnimos e ligar as palavras chaves,
respectivamente. Os termos utilizados e a de string de busca definida foi a seguinte:
(traceability OR tracing OR trace links OR trace recovery OR information retrieval
OR trace retrieval) AND (artefact OR artifact OR document OR tool) AND (heterogeneous OR
different OR variety OR diverse OR diversified OR varied OR inhomogeneous) AND (software
engineering OR software development OR software process OR systems engineering OR
systems development OR software project OR development environment OR software
system)
Para ter acesso aos estudos de cada fonte informada foi utilizado a conta de estudante
filiado ao curso de ps-graduao da Universidade Federal de Pernambuco (UFPE). Os
resultados das buscas foram exportados no formato bibtex e utilizados na ferramenta de gesto
JabRef6 . Excepcionamente a consulta e gesto dos resultados de ACM foram realizadas
atravs da ferramenta ReviewER7 , devido as dificuldades apresentadas destas atividades no
site da instituio8 .
A seleo de estudos primrios foi planejada em duas fases, sucedidas de uma
atividade de teste e reteste, uma alternativa para garantia da confiabilidade das decises
em estudos realizados por nico pesquisador (KITCHENHAM; CHARTERS, 2007). Aps
obter o resultado das buscas, cada estudo retornado foi avaliado pelo seu ttulo, resumo e
palavras chave. Nessa primeira fase apenas os estudos que claramente fugiram do escopo
do mapeamento foram excludos, mantendo-se para anlise posterior todos os estudos que
2

http://portal.acm.org
http://www.scopus.com
4
http://www.sciencedirect.com/
5
https://www.engineeringvillage.com/search/quick.url
6
http://www.jabref.org/
7
http://sites.google.com/site/eseportal/tools/reviewer
8
http://dl.acm.org/
3

B.2. ESTRATGIA DE BUSCA DOS ESTUDOS

100

geraram alguma dvida quanto ao sua permanncia. Na segunda fase, os trabalhos de


pesquisa selecionados so revistos com base nos critrios de incluso e excluso para obter
uma lista final dos estudos primrios selecionados. Todos os estudos foram lidos sinteticamente
e analisados com objetivo de filtrar a incluso no mapeamento dos estudos pela sua relevncia
em relao as questes de pesquisa. Os critrios utilizados podem ser observados a seguir.
Critrios de Incluso


CI01 - Estudos empricos relacionados rastreabilidade entre artefatos heterogneos de software

CI02 - Trabalhos publicados at outubrode 2015

Critrios de Excluso


CE01 - Estudo no disponvel

CE02 - Estudo Duplicado

CE03 - Estudo Incompleto

CE04 - Estudo no escrito em ingls

CE05 - Estudo que apenas prope uma abordagem ou descreve lies aprendidas

CE06 - Estudo onde a criao ou manuteno da rastreabilidade entre artefatos


no o objetivo principal da pesquisa

CE07 - Estudo que apresenta apenas um benchmarking

Pelo fato desta pesquisa ser realizada por um nico pesquisador, a atividade de
teste consistem em reavaliar uma amostra aleatria dos estudos primrios retornados e dos
estudos considerados relevantes aps triagem inicial, ou seja, insumos da primeira e segunda fase da estratgia de seleo. Essa atividade tem como objetivo verificar a consistncia
das decises aplicadas ao critrios de incluso / excluso ao final de cada fase de seleo.
Para isso, sero avaliados 5% de todos os estudos recuperados por fonte de busca automtica
e manual, e caso encontrado alguma divergncia no critrio aplicado o estudo dever ser
considerado potencialmente relevante e por consequncia incluido a segunda fase. A medida
que desentendimentos forem identificados, mais 2% destes estudos sero avaliados. Para
determinar quais estudos sero revisitados uma funo que retorna nmeros aleatrios ser
utilizada. Na segunda fase o percentual da amostra dos estudos a testar ser 20%, selecionados utilizando os mesmo critrios de aleatoriedade definido anteriormente. Em caso
de discordncia, outros 10% sero revisitados e o estudo em questo dever ser reavaliado
(reteste).
A gesto dos critrios de excluso aplicado a cada estudo na segunda fase da estratgia de seleo foi realizada atravs das ferramentas JabRef e Reviewer anteriormente
mencionadas.

B.3. AVALIAO DE QUALIDADE

B.3

101

Avaliao de Qualidade
Cada estudo persistido aps anlise dos critrios de incluso e excluso foi avaliado

por sua qualidade, fornecendo critrios ainda mais detalhados com objetivo de assegurar que
os estudos filtrados apresentam uma contribuio valorosa para o mapeamento e investigar se
as diferenas de qualidade esto associadas com diferentes resultados do estudo primrio.
Uma adaptao dos critrios de BRERETON; KYRIACOU; PEARL (2011) foi considerada
adequada para uso durante este MS, uma vez que est previsto que ele ir incluir exemplos de
vrios tipos de estudos diferentes. A avaliao de qualidade foi realizada atravs de perguntas
a serem respondidas com trs valores possveis:


Sim (S): Se a questo totalmente atendida, esta resposta conta o valor 1.0;

Parcialmente (P): Se a pergunta parcialmente respondida, esta resposta conta o


valor de 0,5;

No (N): Se a pergunta no foi respondida ou no satisfatoriamente respondida,


esta resposta conta o valor 0,0.

O primeiro destes critrios foi utilizado para excluir publicaes no empricas, tendo
sido transformado em critrio de excluso na fase de seleo dos estudos. Como tal, este
critrio representa o limiar mnimo de qualidade que ser observado durante a avaliao,
apenas aceitando valor igual a 1,0. A literatura que no satisfaz este critrio ser excluda
do MS. Os outros critrios restantes visam determinar o rigor e credibilidade dos mtodos de
pesquisa utilizados em um estudo particular, bem como a relevncia de cada papel para o
MS que est sendo realizado. Os estudos primrios foram classificados em quatro grupos
diferentes: Muito Bom (entre 9,0 e 10,0), Bom (entre 7,5 e 8,5), Regular (de 5,5 a 7,0) e Pobre
(< 5,5). A Figura B.1 exibe o guia utilizado com as perguntas definidas para avaliao de
qualidade foram as seguintes:

B.3. AVALIAO DE QUALIDADE

102

Figura B.1: Guia das perguntas de qualidade

Para auxiliar na captura dos valores de cada pergunta foi utilizado uma planilha excel,
semelhante a exibida na Figura , onde foram registrados os valores atribudos, o somatrio
destes e a classificao conforme as categorias criadas.

B.4. ESTRATGIA DE EXTRAO

103

Figura B.2: Formulrio de registro dos valores da avaliao de qualidade

B.4

Estratgia de Extrao
O objetivo desta etapa foi criar formas de extrao dos dados para registrar com

preciso as informaes obtidas a partir dos estudos primrios selecionados. Para o processo
foi planejado uma extrao em duas partes: extrao dos metadados e extrao de toda
informao relevante para responder s questes de pesquisa. Na primeira parte extrai-se
ttulo, autores, pas de origem, ano de publicao, instituio de origem e engenhos de busca
que retornaram o estudo. J a segunda parte, deve ser extrada da leitura integral dos estudos,
no intuito de extrair de cada um deles informaes que sirvam de evidncia para responder as
questes de pesquisa investigadas neste mapeamento. Para tanto, duas planilhas semelhantes
as da Figura B.3 e Figura B.4 foram utilizadas para servir de instrumentos de coleta para ambas
as partes.

Figura B.3: Formulrio de extrao dos metadados

Figura B.4: Formulrio extrao de informaes

B.5. PROCESSO DE SNTESE

104

Assim como nas duas fases da estratgia de seleo dos estudos, aqui tambm foi
realizada uma atividade de teste e reteste para verificao da consistncia de extrao de
dados, neste caso, sobre todos os dados extrados dos estudos primrios selecionados, com
isso, reduzindo o vis interno da pesquisa.

B.5

Processo de Sntese
Em particular, os dados coletados devero ser distinguidos entre metadados das

publicaes e dados sobre o relato dos experimentos em rastreabilidade. Os metadados


devem ser utilizados principalmente para realizar uma investigao estatstica dos estudos
selecionados, enquanto os dados de relato dos experimentos devem ser analisados com o
objetivo de responder s questes de pesquisa elaboradas.

105

C
Resultados da Avaliao de Qualidade

Figura C.1: Resultado da Avaliao de Qualidade dos estudos selecionados