You are on page 1of 116

ÉVERSON MATIAS DE MORAIS

UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MÉTODOS DE AVALIAÇÃO DE INTERFACES

MARINGÁ 2007

ÉVERSON MATIAS DE MORAIS

UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MÉTODOS DE AVALIAÇÃO DE INTERFACES

Dissertação apresentada ao Programa de Pós-Graduação em Ciência da Computação da Universidade Estadual de Maringá, como requisito parcial para obtenção do grau de Mestre em Ciência da Computação. Orientador: Prof. Dr. Dante Alves Medeiros Filho

MARINGÁ 2007

AUTORIZO A REPRODUÇÃO TOTAL OU PARCIAL DESTE TRABALHO, POR QUALQUER MEIO CONVENCIONAL OU ELETRÔNICO, PARA FINS DE ESTUDO E PESQUISA, DESDE QUE CITADA A FONTE.

Dados Internacionais de catalogação-na-publicação
Universidade Norte do Paraná Biblioteca Central Ana Cristina Gasparini Freitas Bibliotecária CRB9/792
Morais, Everson Matias de. Um estudo sobre a validade e fidedignidade de métodos de avaliação de interfaces / Everson Matias de Morais. Maringá: [s.n], 2007. xii; 114p. Dissertação (Mestrado). Ciência da computação. Universidade Estadual de Maringá. Orientador: Profº Drº Dante Alves Medeiros Filho 1- Ciência da Computação - dissertação de mestrado – UEM 2Interação humano-computador 3- Avaliação de interfaces 4Validade 5- Fidedignidade I- Medeiros, Dante Alves, orient. IIUniversidade Estadual de Maringá III- UEM CDU 004.5

M825e

ÉVERSON MATIAS DE MORAIS

UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MÉTODOS DE AVALIAÇÃO DE INTERFACES

Dissertação apresentada ao Programa de Pós-Graduação em Ciência da Computação da Universidade Estadual de Maringá, como requisito parcial para obtenção do grau de Mestre em Ciência da Computação.

Aprovado em 23/08/2007.

A toda minha família, que sempre me apoiou em todos momentos da minha vida.

AGRADECIMENTOS

A Deus por sempre ter-me direcionado ao longo dessa vida. A minha família: Vanir Morais, Sebastião Morais, Rosimeire Morais, Luciano Amadei, Nivaldo Morais, Marli L. Morais, Sérgio Morais, Daniely Morais, Eduardo Cambuí, Sylvia Morais, Antonio Amaral, Paulo Morais e Fernanda Pomini. Ao meu orientador, Prof. Dr. Dante Alves Medeiros Filho, pelo grande apoio e disponibilidade no decorrer deste processo. Aos professores do Programa de Mestrado em Ciência da Computação da Universidade Estadual de Maringá, especialmente a Tania Tait, Maria Madalena Dias, João Ângelo Martini, Ronaldo Gonçalves, Itana Gimenes, Elisa Huzita e Márcia Samed. Aos meus companheiros de mestrado, em especial a Adriana Herden, Jô Sato, Flávio Schiavoni, Rafael Ragato, José Rafael, Lafaiete Leme, Adriano Heis, Jucimar Mendes, Cristiane Y. H. de Castro, Daniela F. G. Trindade e Josiane M. P. Ferreira. A todos os meus amigos, em especial a Márcia Cristina dos Reis, Aníbal B. Nascimento, Adriana Barrozo, Vinícius Vieira, Lia H. Ukubata e Ana Cristina G. Freitas. Ao pessoal do DIN, em especial a Maria Inês Davanço, por sua grande competência. Aos meus professores desde o início da minha carreira estudantil, em especial: Alairde Albino Canezim, Luis C. Perini, Alan Salvany Felinto, Pedro P. S. Ayrosa. Às empresas em que trabalhei, por me auxiliarem em minha formação profissional, especialmente: Gráfica Ipê, Exactus Software e Usina de Açúcar Santa Terezinha.

É, chegar até aqui, o que isto significa? Pode ser ultrapassar grandes barreiras, vencer o medo e traumas, conquistar um espaço, enfrentar más lembranças, atravessar a incapacidade, olhar para trás e sentir-se orgulhoso, provar algo a alguém, ou ser mais que antes! Não sei exatamente, também não me importa muito, o que pensar dessa fase, mas sei o que quero ser: continuar sendo o que sou, com um pouco mais de experiência, vivendo cada momento da melhor forma possível, sem grandes provas, sem rivalidades, sem ressentimentos, sem “coisinhas” daqui ou de lá, mas sim com toda a força de vontade com que Deus me tem alimentado, principalmente através das pessoas maravilhosas que ele tem colocado em meu caminho, desde o meu respirar.

(Everson Matias de Morais)

RESUMO

O estudo sobre Interação Humano-Computador (IHC) em Ciência da Computação vem sendo realizado há vários anos, visando facilitar a utilização de sistemas computacionais. Devido ao número crescente dos sistemas computacionais interativos, esses estudos foram-se intensificando. Nesse contexto, a partir das funcionalidades das aplicações, o foco geralmente está direcionado à satisfação do usuário. Essa satisfação pode ser definida através da qualidade de uma interação entre o ser humano e o computador. Para saber se uma interação possui boa qualidade, existem as técnicas de avaliação de IHC. Vários autores descrevem modelos diferentes dessas técnicas, mas muitas vezes estes modelos são elaborados de maneira que possibilitam uma certa subjetividade, comprometendo a validade e a fidedignidade de seus resultados. Diante disso, com base nas análises sobre fundamentos epistemológicos que estabelecem a relação da comunicação nas interações, e a partir das análises dos principais tipos de avaliações existentes, criou-se uma proposta para avaliação de IHC. Essa proposta está relacionada principalmente aos atributos de qualidade das avaliações, permite uma análise mais detalhada, mostra um caminho para eliminar a subjetividade e possibilita que a avaliação atinja resultados válidos e fidedignos. Palavras-Chave: Interação Humano-Computador, Avaliação de Interfaces, Validade, Fidedignidade.

ABSTRACT

The study about Human-Computer Interaction (HCI) in Science of the Computation has been accomplished for several years, seeking to facilitate the use of computational systems. Due to the growing number of the computational interactive systems, those studies went intensifying. In that context, starting from the functionalities of the applications, the focus is usually addressed to the user's satisfaction. That satisfaction can be defined through the quality of an interaction between the human being and the computer. To know if an interaction possesses good quality, exists some evaluation techniques of HCI. Several authors describe models different from those techniques, but a lot of times these models are elaborated so that they make possible a certain subjectivity, committing the validity and the trustworthiness of their results. Before that, with base in the analysis on epistemological foundations that establish the relationship of the communication in the interactions, and starting from the analysis of the main types of existent evaluations, it came up for a proposal for evaluation of HCI. That proposal is related mainly to the attributes of quality of the evaluations, it allows a more detailed analysis, display a road to eliminate the subjectivity and it makes possible that the evaluation reaches valid and trustworthy results. Key words: Human-Computer Trustworthiness. Interaction, Evaluation of Interfaces, Validity,

SUMÁRIO

LISTA DE FIGURAS .............................................................................................................. 25 LISTA DE TABELAS E QUADROS...................................................................................... 26 1 INTRODUÇÃO .............................................................................................................. 13 1.1 2 Estrutura do Trabalho ............................................................................................... 14

FUNDAMENTAÇÃO TEÓRICA................................................................................. 15 2.1 2.2 2.3 Conceitos sobre IHC................................................................................................. 15 Avaliação.................................................................................................................. 16 Conceitos sobre Qualidade de Uso........................................................................... 20 Usabilidade ....................................................................................................... 20 Comunicabilidade............................................................................................. 23 Aplicabilidade................................................................................................... 24

2.3.1 2.3.2 2.3.3 2.4

Avaliação de IHC ..................................................................................................... 25 Interpretações sobre Avaliação de IHC ............................................................ 26 Detalhamento dos Métodos de Avaliações de IHC .......................................... 28 Métodos de Avaliação Analíticos............................................................. 28 Avaliação Heurística ............................................................................. 29 Inspeções Ergonômicas via Checklists ................................................. 32 Percurso Cognitivo................................................................................ 34 Métodos de Avaliação Empíricos............................................................. 36 Ensaios de Interação ou Testes de Usabilidade .................................... 36 Sistemas de Monitoramento ou Espiões ............................................... 41 Testes Focados na Usabilidade e Comunicabilidade................................ 41

2.4.1 2.4.2

2.4.2.1 2.4.2.1.1 2.4.2.1.2 2.4.2.1.3 2.4.2.2 2.4.2.2.1 2.4.2.2.2 2.4.2.3 2.5 2.6

Avaliação de Interfaces segundo a Norma ISO 9241............................................... 45 Critérios Ergonômicos segundo Bastien e Scapin.................................................... 50 Condução .......................................................................................................... 50 Carga de Trabalho ............................................................................................ 52 Controle Explícito ............................................................................................ 52 Adaptabilidade.................................................................................................. 53 Gestão de Erros................................................................................................. 54 Consistência...................................................................................................... 54

2.6.1 2.6.2 2.6.3 2.6.4 2.6.5 2.6.6

2.6.7 2.6.8 2.7 3 4

Significado dos Códigos e Denominações ....................................................... 55 Compatibilidade ............................................................................................... 55

Quanto à Escolha das Técnicas ................................................................................ 55

CONTEXTUALIZAÇÃO DO ESTUDO SOBRE AVALIAÇÃO DE IHC .............. 59 UMA PROPOSTA PARA AVALIAÇÃO DE IHC ..................................................... 67 4.1 O processo de Avaliação .......................................................................................... 68 Classificação dos Métodos de Avaliação de Interfaces Humano-Computador 69 Critérios para a Avaliação ................................................................................ 70 Validade e Fidedignidade nos Delineamentos de Pesquisas de Avaliação ...... 70 Validade Interna ....................................................................................... 71 Validade de Constructo ............................................................................ 71 Validade Externa ...................................................................................... 72 Fidedignidade ........................................................................................... 72

4.1.1 4.1.2 4.1.3

4.1.3.1 4.1.3.2 4.1.3.3 4.1.3.4 4.1.4 4.2 4.3

Ameaças à Validade ......................................................................................... 73

Requisitos do Processo de Avaliação ....................................................................... 74 Definição da Proposta para Avaliação de IHC......................................................... 76 Definição dos Objetivos da Avaliação ............................................................. 77 Planejamento e Definição do Delineamento da Avaliação .............................. 77 Determinação dos Atributos de Qualidade segundo os Objetivos Propostos... 77 Determinação dos Pesos dos Atributos ............................................................ 78 Determinação dos Indicadores Quantificáveis e Mensuráveis......................... 78 Determinação dos Pesos dos Indicadores......................................................... 79 Determinação dos Instrumentos de Medida dos Indicadores ........................... 79 Tipos de Medidas ..................................................................................... 82 Dimensões a serem Medidas .................................................................... 83 Classificação dos Instrumentos de Medida .............................................. 83

4.3.1 4.3.2 4.3.3 4.3.4 4.3.5 4.3.6 4.3.7

4.3.7.1 4.3.7.2 4.3.7.3 4.3.8

Validade, Fidedignidade e Calibração dos Instrumentos de Medida ............... 86 Validade de Conteúdo .............................................................................. 86 Validade de Constructo, de Conceito ou Teórica ..................................... 87 Validade Aparente .................................................................................... 87

4.3.8.1 4.3.8.2 4.3.8.3 4.3.9

Determinação das Escalas de Referência ......................................................... 88 Tipos de Escalas de Avaliação ................................................................. 88

4.3.9.1 4.3.10

Validação do Delineamento de Avaliação........................................................ 90

4.4

Aplicação da Proposta para Análise de Alguns Métodos de Avaliação de Interface

Humano-Computador .......................................................................................................... 91 4.4.1 Análise da Norma 9241-11/2002...................................................................... 91 Objetivo .................................................................................................... 91 Características........................................................................................... 92 Análise ...................................................................................................... 93

4.4.1.1 4.4.1.2 4.4.1.3 4.4.2

Análise das Heurísticas de Nielsen................................................................... 94 Objetivo .................................................................................................... 94 Características........................................................................................... 95 Análise ...................................................................................................... 96

4.4.2.1 4.4.2.2 4.4.2.3 4.4.3

Análise dos Critérios Ergonômicos Propostos por Bastien e Scapin ............... 99 Objetivo .................................................................................................... 99 Características........................................................................................... 99 Análise .................................................................................................... 101

4.4.3.1 4.4.3.2 4.4.3.3 5

CONCLUSÕES............................................................................................................. 105 5.1 Recomendações para Trabalhos Futuros ................................................................ 105 Discriminar os Atributos em Indicadores....................................................... 106 Criar Instrumentos e Escalas para os Indicadores .......................................... 106

5.1.1 5.1.2

REFERÊNCIAS ...................................................................................................................107 ANEXOS ...............................................................................................................................111 ANEXO I. Avaliação Heurística ............................................................................................112 ANEXO II. Análise de Características ...................................................................................114

LISTA DE FIGURAS

Figura 1. O Processo de Interação Humano-Computador........................................................16 Figura 2. Estrutura de Usabilidade ...........................................................................................47 Figura 3. O Processo de Mediação entre Sujeito Cognoscente e Objeto Cognoscível ............60 Figura 4. Esquema Geral da Comunicação ..............................................................................61 Figura 5. Modelo de Comunicação...........................................................................................62 Figura 6. Fatores de uma Interação X Comunicação................................................................64 Figura 7. Interpretação do Processo de IHC.............................................................................65 Figura 8. Classificação de Métodos de Avaliação da Experimentação e Análise....................69 Figura 9. Classificação de Métodos de Avaliação em Relação à Participação do Usuário......70 Figura 10. Etapas do Processo de Avaliação............................................................................90 Figura 11. Análise dos Indicadores da Norma 9241-1/2002 ....................................................94 Figura 12. Análise dos Indicadores das Heurísticas de Nielsen ...............................................98 Figura 13 Análise dos Indicadores dos Critérios Ergonômicos de Bastien e Scapin .............103

LISTA DE TABELAS E QUADROS

Quadro 1. Vantagens e Limitações de Observações.................................................................84 Tabela 1. Associação entre expressões e classes de problemas ...............................................45 Quadro 2. Vantagens e Limitações de Questionários...............................................................85 Tabela 2. Exemplo de Medidas de Usabilidade .......................................................................48 Quadro 3. Vantagens e Limitações de Entrevistas ...................................................................85 Tabela 3. Exemplo de Medidas para Propriedades Desejáveis do Produto..............................49 Tabela 4. Grau de Severidade dos Problemas de Usabilidade .................................................96

13

1 INTRODUÇÃO

O estudo sobre Interação Humano-Computador (IHC) em Ciência da Computação vem sendo realizado há vários anos, visando facilitar a utilização de sistemas computacionais. Atualmente, diversas pesquisas são produzidas nas áreas que envolvem IHC, buscando desenvolver interfaces que interajam cada vez mais com o ser humano. A proliferação dos computadores nos mais diversos setores da vida humana exige que haja facilidade na sua utilização. A cada dia surgem novos recursos computacionais que estão sendo colocados à disposição da sociedade, gerando, assim, maior demanda por sua utilização. O estudo sobre interação humano-computador não é tão recente, mas acentuou-se nos últimos anos com a evolução dos microcomputadores. Essa crescente demanda pela utilização de sistemas computacionais e de estudos sobre a interação humano-computador, criou a necessidade de prover métodos apropriados de avaliação dessa interação e das interfaces existentes. A avaliação torna-se particularmente imprescindível, máxime por ser um elemento de retroalimentação do processo de desenvolvimento. Apesar da importância do processo de avaliação nesta linha de pesquisa, ele é muitas vezes negligenciado ou realizado de forma insipiente, subjetiva, produzindo resultados que não são representativos da realidade. Esta situação mostra a necessidade de obter métodos de avaliação de interfaces humano-computador mais precisos, menos subjetivos que, quando empregados, possuam validade e fidedignidade. Assim, procurando mostrar que é possível o desenvolvimento de

14

métodos consistentes de avaliação de interfaces humano-computador é que nasceu a motivação para a realização do presente trabalho que apresenta um estudo sobre a validade e fidedignidade de alguns métodos de avaliação de interface humano-computador. Desta forma, o presente trabalho tem como objetivo apresentar uma metodologia para avaliação de interfaces humano-computador. A idéia é mostrar conceitos e definições que envolvem o processo de avaliação de interfaces, bem como as etapas necessárias para que uma avaliação seja representativa, válida e fidedigna.

1.1 Estrutura do Trabalho

O capítulo 2 apresenta a fundamentação teórica, com informações sobre questões que envolvem o campo de IHC, avaliações de IHC: conceitos, objetivos, técnicas e tipos de avaliações e, ainda, noções sobre medidas ditadas pela norma ISO 9241. O objetivo desta seção é identificar os principais conceitos que influenciarão no desenvolvimento deste trabalho, com base nos trabalhos de vários autores envolvidos nessa área. O capítulo 3 apresenta uma contextualização do estudo sobre avaliação de IHC, abordando um entorno sobre os objetivos deste trabalho. O capítulo 4 apresenta uma proposta para avaliação de IHC, que é o objetivo principal desta dissertação. No capítulo 5 está a descrição das conclusões do contexto apresentado. Em seguida, estão as referências e os anexos.

15

2 FUNDAMENTAÇÃO TEÓRICA

2.1 Conceitos sobre IHC

Quando começou a ser difundido na área da informática, o conceito de interface significou apenas o hardware e o software com o qual o ser humano e o computador podiam se comunicar. No entanto, com a evolução desse conceito, foi introduzido nos estudos abordagens que levam em consideração aspectos multidimensionais, tais como os cognitivos e os emocionais do usuário durante a comunicação (ROCHA e BARANAUSKAS, 2000). A partir desse conceito, surgiram novas interpretações a respeito dos aspectos que englobam interfaces. Segundo Moran (1981), “a interface de usuário deve ser entendida como sendo uma parte do sistema computacional com a qual uma pessoa entra em contato física, perceptiva e conceitualmente”. Diante disso, Prates e Barbosa (2003, p. 246) complementam que a dimensão física inclui os elementos de interface que o usuário pode manipular, enquanto a dimensão perceptiva engloba aqueles que o usuário pode perceber. A dimensão conceitual resulta de processos de interpretação e raciocínio do usuário, desencadeados pela sua interação com o sistema, com base em suas características físicas e cognitivas, seus objetivos e seu ambiente de trabalho. Em seguida, é ilustrada uma representação gráfica de um modelo básico de interação humano-computador (Figura 1):

16

Processo de Interação Humano-Computador

Figura 1 – O Processo de Interação Humano-Computador, segundo Prates e Barbosa (2003, p. 246)

No contexto do processo de interação humano-computador, segundo Preece et al (1994), o objetivo de IHC é produzir sistemas utilizáveis e seguros, como também sistemas funcionais. Para Preece et al (1994 apud Interacting with Computers, 1989, p. 3), essas metas podem ser resumidas em desenvolver ou melhorar segurança, utilidade, efetividade, eficiência, e usabilidade de sistemas no meio computacional. Nesse caso, para alcançar as metas estabelecidas, é necessário que o processo de interação humano-computador passe por um processo de avaliação, a fim de identificar possíveis problemas, bem como servir de retroalimentação para o desenvolvimento.

2.2 Avaliação

No plano de uma avaliação de IHC, alguns conceitos são essenciais para seu entendimento, sendo necessário esclarecer fundamentos sobre conceitos gerais de avaliação. Do ponto de vista de Raupp e Reichle (2003), o processo de avaliação é uma ferramenta capaz de aumentar a eficácia de projetos e programas, não importando em qual fase se encontra e se o resultado das informações de uma avaliação pode:

17

a) Revelar problemas ocultos; b) Confirmar suposições; c) Retroalimentar a equipe do projeto sobre os efeitos das atividades implementadas; d) Iluminar áreas quanto à necessidade de mudanças; e) Convencer as pessoas sobre mudanças; f) Habilitar a liderança de um projeto a prestar contas dos recursos obtidos; g) Dar origem a uma cultura organizacional que preze a utilização da informação e a melhoria continuada. Para chegar aos resultados acima, um processo de avaliação deve atender a alguns critérios, como: relevância, significância, validade, confiabilidade, objetividade e

pontualidade (Raupp e Reichle, 2003). Seguindo esses conceitos, uma avaliação pode ser aplicada em qualquer momento da etapa de um projeto, podendo ela, sempre, contribuir para um aperfeiçoamento. Mas, para um bom resultado, deve-se escolher o tipo mais adequado em cada aplicação. Nesse seguimento, Scriven (1996) relaciona as avaliações formativa e somativa, e Raupp e Reichle (2003), acrescentam a este contexto a avaliação diagnóstica, como se descreve a seguir: a) Avaliação formativa: comprova se as atividades estão sendo desenvolvidas de acordo com o planejado, documenta como estão ocorrendo, aponta sucessos e fracassos, identifica áreas problemáticas e faz recomendações que possam tornar o programa mais eficiente; b) Avaliação somativa: trabalha com a quantificação nos termos dos resultados obtidos e converte-se no principal indicador de eficácia de um projeto, com o objetivo de identificar melhorias seguindo decisões;

18

c) Avaliação diagnóstica: precede o desenho de um projeto, e, identifica um problema e, como conseqüência, um projeto é desenhado para solucioná-lo. Complementando, Nevo (1986) destaca os seguintes tipos de avaliações: a) Psicológica ou sóciopolítica: esse tipo de avaliação é usado para informar os avaliados sobre atividades especiais e motivar-lhes comportamentos desejáveis ou promover relações públicas; b) Exercício de autoridade: é exercida em organizações por pessoas que detêm posição de poder e a quem é atribuído o privilégio de avaliar os subordinados, demonstrando assim sua autoridade sobre eles. Já, os dados coletados com base em uma avaliação podem ser quantitativos e qualitativos, de acordo com Prates e Barbosa (2003); os dados quantitativos são os numéricos e os qualitativos são os não-numéricos, como: observações, entrevistas, grupos de enfoque ou similares, casos em que a narrativa substitui os dados numéricos. Esses dados podem ser analisados através da análise preditiva ou interpretativa. A parte preditiva refere-se à análise derivada de dados coletados de especialistas, e, a interpretativa representa os dados coletados da interação do usuário com o sistema. Em todo processo de avaliação deve ser verificada a sua consistência e validade. Então é necessário conhecer parâmetros para identificar se uma avaliação teve seu êxito alcançado ou não. Diante disso, Raupp e Reichle (2003) demonstram alguns critérios a serem seguidos, referentes a: a) Eficácia: que específicos; expressa o grau em que o projeto atinge os seus objetivos

19

b) Eficiência: que é a menor relação possível entre custo e benefício para atingir os objetivos de um projeto; c) Impacto: que identifica o grau da eficiência com que o projeto está contribuindo para o alcance do objetivo geral; d) Sustentabilidade: que mede a capacidade de continuidade dos efeitos benéficos alcançados após o término de um projeto; e) Custo-efetividade: que é realizado através da comparação de formas alternativas da ação para a obtenção de determinados impactos, com vistas a identificar ações que atendem àqueles objetivos pelo menor custo. De um modo geral, as avaliações são necessárias para responder a dúvidas no processo de design e desenvolvimento de um produto, verificando se as idéias de um projetista são realmente o que os usuários necessitam ou desejam e auxiliando na criação de um produto útil e usável (ROCHA e BARANAUSKAS, 2000). Segundo Rocha e Baranauskas (2000), a avaliação tem três grandes objetivos: a) Avaliar a funcionalidade do sistema: o design do sistema deve permitir ao usuário efetuar a tarefa pretendida de modo mais fácil e eficiente; b) Avaliar o efeito da interface junto ao usuário: a facilidade com que se pode aprender a usar o sistema; a atitude do usuário com relação ao sistema e identificar áreas do design que sobrecarregam o usuário; c) Identificar problemas específicos com o design: identificar aspectos do design que, quando usados no contexto alvo, causam resultados inesperados ou confusão entre os usuários. Em síntese, os objetivos apresentados por Rocha e Baranauskas (2000) estão

20

relacionados com a qualidade de uso de um software, como apresentados na seção seguinte.

2.3 Conceitos sobre Qualidade de Uso

No dizer de Prates e Barbosa (2003), o conceito geral de qualidade de uso está relacionado com a capacidade e a facilidade de os usuários atingirem suas metas com eficiência e satisfação. E isso servirá para um usuário tomar a decisão de forma espontânea, para o uso freqüente de um determinado sistema. Alguns dos conceitos que envolvem a qualidade de uso estão identificados nas próximas etapas.

2.3.1 Usabilidade

De acordo com Prates e Barbosa (2003, p.275 apud NIELSEN, 1993; PREECE et al., 2002), a usabilidade é o conceito de qualidade de uso mais amplamente utilizado, relacionado à facilidade e eficiência de aprendizado e de uso, bem como à satisfação do usuário. De acordo com Cybis (2003 apud ISO 9241), usabilidade define-se como a operacionalidade eficiente e agradável de um sistema interativo, para a realização das tarefas de um usuário. Por sua vez, Benyon (1993 apud WHITESIDE, BENNETT e HOLTZBLATT, 1988), define usabilidade como uma coleção de técnicas para apoiar o gerenciamento de recursos, com vistas ao desenvolvimento de interfaces de usuários e sistemas de computador. Assim, a usabilidade está centrada no usuário, ou seja, as adequações terão de ser a

21

favor dele. Dentro deste contexto, existem fatores importantes a serem analisados, como (PRATES e BARBOSA 2003 apud NIELSEN, 1993; PREECE et al.,2002): a) Facilidade de aprendizado: relaciona-se ao tempo e esforço necessários para que os usuários aprendam a utilizar uma determinada porção do sistema com determinado nível de competência e desempenho; b) Facilidade de uso: refere-se ao esforço cognitivo para interagir com o sistema e, também, contornar erros cometidos durante a interação; c) Eficiência de uso: serve para analisar se o sistema faz bem aquilo a que se destina; d) Eficiência de produtividade: serve para avaliar se o usuário consegue fazer de forma rápida e eficaz o que precisa fazer; e) Satisfação do usuário: enfatiza a avaliação subjetiva do sistema feita por seus usuários, incluindo emoções que possam surgir durante a interação; f) Flexibilidade: considera quanto um sistema é capaz de acomodar idiossincrasias, ou seja, se pessoas diferentes podem seguir caminhos distintos para um mesmo objetivo; g) Utilidade: refere-se à quantidade de funções necessárias que um sistema disponibiliza para os usuários realizarem suas tarefas; h) Segurança no uso: relaciona-se ao grau de proteção de um sistema contra condições desfavoráveis para os usuários. Os fatores acima relacionados comprovam a importância e abrangência da usabilidade. Mas, para chegar aos resultados desejados, devem conhecer os tipos de problemas de usabilidade. Como descrito em Cybis (2003), os tipos de problemas referentes à usabilidade, que se

22

conhecem pela análise da sua natureza, são os seguintes: a) Barreira: está ligado ao aspecto da interface com o qual o usuário se defronta, sucessivas vezes, e não aprende a dominá-lo; b) Obstáculo: está ligado ao aspecto da interface com o qual o usuário esbarra, sucessivas vezes, e aprende a dominá-lo; c) Ruído: o que há na interação, o qual é responsável pela diminuição do desempenho em uma tarefa; sem se consistir nos aspectos de barreira ou obstáculo. Os problemas de usabilidade, causados pelo tipo de tarefa em que se manifestam, são (CYBIS, 2003): a) Principais: são aspectos da interface que comprometem a realização de tarefas freqüentes ou importantes; b) Secundários: são aspectos da interface que comprometem a realização de tarefas pouco freqüentes ou pouco importantes. Os tipos de problemas de usabilidade, no aspecto da interface, dependendo do tipo de usuário que afetam, podem ser (CYBIS, 2003): a) Gerais: quando atrapalham qualquer tipo de usuário durante a realização da tarefa; b) De iniciação: que atrapalham o usuário novato ou de prática intermitente durante a realização de sua tarefa; c) Avançados: que atrapalham o usuário especialista durante a realização da tarefa; d) Especiais: quando atrapalham usuários especiais, ou seja, os portadores de deficiência.

23

Por fim, existem os problemas de usabilidade próprios de um aspecto da interface, os ortogonais, relacionados ao sistema de classificação proposto, responsáveis pelos possíveis efeitos de uma revisão de projeto equivocada, que são os (CYBIS, 2003): a) Falsos: trata-se de enganos decorrentes da falta de experiência do avaliador ou de deficiência em sua ferramenta de avaliação; b) Novos: representam um obstáculo, conseqüente a uma revisão de usabilidade equivocada. Com a visualização dos problemas de usabilidade, será possível chegar a uma melhor interação.

2.3.2 Comunicabilidade

A Comunicabilidade baseia-se na capacidade de os usuários entenderem o design da mesma maneira como é entendido pelos projetistas, possibilitando-lhes interagir com o sistema e transmitir, de maneira eficaz, as intenções projetadas. Segundo de Souza et al. (2001), a comunicabilidade de um sistema é a propriedade de transmitir ao usuário, de forma eficaz e eficiente, as intenções e princípios de interação que guiaram o seu design. Da mesma forma, o objetivo da comunicabilidade é permitir que o usuário, através da sua interação com a aplicação, seja capaz de compreender as premissas, intenções e decisões tomadas pelo projetista durante o processo de design. Quanto maior o conhecimento que o usuário, tem da lógica do designer que há na aplicação, maiores são suas chances de conseguir fazer uso criativo, eficiente e produtivo da aplicação. Em sistemas com alta comunicabilidade, os usuários são capazes de responder

24

(PRATES E BARBOSA 2003, p.249 apud DE SOUZA et al, 1999; PRATES ET AL, 2000b): a) Para que o sistema serve; b) Qual é a vantagem de utilizá-lo; c) Como funciona; d) Quais são os princípios gerais de interação com o sistema. Assim, um projeto de interface, de concepção mais próxima do processo cognitivo do usuário, pode ter maior eficiência na comunicabilidade.

2.3.3 Aplicabilidade

A qualidade dos sistemas que podem ser usados com sucesso em uma ampla variedade de contextos, incluindo até mesmo aqueles em que o objetivo do usuário não é o objetivo original concebido pelos seus designers, depende da sua utilidade na resolução de problemas variados. Assim, Fischer (1998) define a aplicabilidade. Dentro desse conceito, para Prates e Barbosa (2003), a aplicabilidade permite determinar: a) Quanto o sistema é útil para o contexto para o qual foi projetado; b) Em que outros contextos o sistema pode ser útil. Segundo Fischer (1998), a idéia é aumentar a participação do usuário nas decisões dos sistemas, para que ele tenha um sistema mais aberto, e seja mais participativo, com maior poder de decisão. Nesse caso, uma boa aplicabilidade está relacionada com aplicações de um sistema

25

que sejam mais condizentes com a realidade de um usuário. Diversos pesquisadores afirmam que é necessário desenvolver sistemas que ampliem as capacidades dos usuários, em vez de tentar substituí-los, possibilitando que eles ajam de forma mais inteligente e eficiente (PRATES e BARBOSA 2003 apud ADLER & WINOGRAD, 1992). A baixa qualidade de uso de sistemas pode trazer diversos problemas, destacados por Prates e Barbosa (2003): a) Requer treinamento excessivo; b) Desmotiva a exploração; c) Confunde os usuários; d) Induz os usuários ao erro; e) Gera Insatisfação; f) Diminui a produtividade; g) Não traz o retorno do investimento previsto. Até aqui foram identificados alguns estudos sobre avaliação de IHC, que são importantes questões para a próxima seção.

2.4 Avaliação de IHC

Conforme já explanado, o campo de IHC está relacionado à qualidade de um sistema de computador, ou seja, à qualidade de uso de um software. Para medir essa qualidade, e identificar possíveis problemas de interação, existem várias técnicas e métodos de diferentes aspectos. Essas técnicas e métodos estão relacionados ao objetivo do contexto a ser avaliado,

26

havendo a necessidade de entender suas características, para aumentar a eficiência de uma avaliação, como se exporá na próxima seção.

2.4.1 Interpretações sobre Avaliação de IHC

Iniciando alguns aspectos sobre as técnicas e métodos de avaliações de IHC, cujo objetivo é conhecer problemas de interface de usuário, esta seção apresentará algumas classificações das técnicas e métodos mais utilizados pelos principais autores da área. Cybis (2003) classifica as técnicas como: prospectivas, diagnósticas

(preditivas/analíticas) e definitivas (objetivas/empíricas). Nas técnicas prospectivas utiliza-se uma metodologia baseada na aplicação de questionários e entrevistas com o usuário para avaliar sua satisfação em relação ao sistema e a sua operação. Essas técnicas podem ser empregadas para auxiliar nas avaliações analíticas. Enquanto as técnicas diagnósticas (preditivas/analíticas) baseiam-se em verificações e inspeções de versões intermediárias ou acabadas de software, feitas por especialistas e nas quais se dispensa a participação direta de usuários; como são as avaliações heurísticas e inspeções ergonômicas, via checklists. As técnicas definitivas (objetivas/empíricas) referem-se basicamente aos ensaios de interação e às sessões com sistemas espiões, e contam com a participação direta de usuários. Como exemplo têm-se as técnicas de ensaios de interação e sistemas de monitoramento. Rocha e Baranauskas (2000) agrupam os métodos de avaliação da seguinte forma: a) De inspeção de usabilidade: não envolve o usuário e pode ser usado em qualquer

27

fase do desenvolvimento de um sistema (ROCHA E BARANAUSKAS, 2000 apud WHITEFIELD et al, 1991); b) Testes de usabilidade: métodos centrados no usuário, incluindo-se os métodos experimentais ou empíricos, observacionais e técnicas de questionamento. Para o uso desses métodos, faz-se necessária uma implementação (ROCHA E BARANAUSKAS, 2000 apud WHITEFIELD et al, 1991); c) Experimentos controlados: são experimentos de laboratório, em que, se define uma hipótese a ser testada e todas variáveis de interesse são controladas. Os dados coletados são analisados quantitativamente e os resultados são validados por conhecimentos estatísticos (ROCHA E BARANAUSKAS, 2000 apud PREECE et al, 1994; DIX et al, 1998); d) Métodos de avaliação interpretativos: o objetivo neste é propiciar, aos designers, um melhor entendimento sobre como os usuários utilizam os sistemas em seu ambiente natural e como o uso destes sistemas se integra com outras atividades. Geralmente, o usuário é atuante neste processo de avaliação. Os métodos deste grupo incluem as avaliações participativa, conceitual e etnográfica (ROCHA E BARANAUSKAS, 2000 apud PREECE et al, 1994; MONK et al, 1993; GREENBAUM e KYING, 1991). Em Nielsen e Mack (1994) encontra-se a seguinte classificação de avaliação: a) Automática: a usabilidade é avaliada por softwares que comparam a interface e suas especificações; b) Empírica: a usabilidade é avaliada a partir da observação dos testes feitos com usuários reais, sendo esta a forma de avaliação mais utilizada, é, porém, de custo elevado;

28

c) Formal: a usabilidade é medida a partir de modelos e fórmulas e, é de difícil aplicação, sendo problemática no caso de interfaces altamente interativas e complexas; d) Informal: a avaliação da usabilidade baseia-se em regras heurísticas e de experiências, conhecimentos ou habilidades pessoais ou de grupos. Na continuidade, serão descritos os principais métodos de avaliações de IHC.

2.4.2 Detalhamento dos Métodos de Avaliações de IHC

Devido à importância dos métodos de avaliação de IHC, faz-se necessário um conhecimento detalhado dos principais métodos utilizados, a fim de se identificar a escolha de acordo com o objetivo de cada avaliação, lembrando-se que pode ser utilizado mais de um método em uma mesma avaliação. Esses métodos são classificados como analíticos e empíricos, como será especificado nas próximas seções.

2.4.2.1

Métodos de Avaliação Analíticos

As avaliações analíticas são geralmente empregadas nas primeiras etapas da concepção de interfaces humano-computador, permitindo verificar questões como a consistência, a carga de trabalho e o controle do usuário sobre o diálogo proposto (CYBIS, 2003). Prates e Barbosa (2003 apud Mack & Nielsen, 1994), ensinam que os métodos de avaliação analíticos estão relacionados à inspeção de aspectos de uma interface de usuário com base na usabilidade, e esclarecem sobre seus principais objetivos que são:

29

a) Identificar problemas de usabilidade: identificar, classificar e contar o número de problemas de usabilidade encontrados durante a inspeção; b) Selecionar os problemas quem devem ser corrigidos: após identificar os problemas, a equipe de projeto deve reprojetar a interface para corrigir o maior número possível de problemas. Os problemas a serem corrigidos são priorizados de acordo com a gravidade do problema e o custo associado à correção. As avaliações analíticas dispensam a participação direta de usuários nas avaliações e inspeções, que se baseiam em verificações e inspeções de versões intermediárias ou acabadas de softwares interativos, feitos pelos projetistas ou por especialistas em usabilidade.

2.4.2.1.1 Avaliação Heurística

As avaliações heurísticas representam um julgamento de valor sobre as qualidades ergonômicas das interfaces e são realizadas por especialistas em ergonomia, que examinam o sistema interativo e diagnosticam problemas que o usuário poderá ter em uma interação (CYBIS et al, 1998); Nesta dimensão Nielsen (2006) apresenta um conjunto básico de heurísticas: a) De visibilidade do status do sistema: o sistema precisa manter o usuário informado sobre o que está acontecendo, fornecendo-lhe um feedback dentro de um tempo razoável; b) De compatibilidade do sistema com o mundo real: O sistema deve falar a linguagem do usuário, com palavras, frases e conceitos familiares a ele, em vez de usar termos técnicos. Deve seguir convenções do mundo real, dando-lhe uma

30

informação numa ordem natural e lógica; c) De controle e liberdade do usuário: os usuários escolhem, freqüentemente e por engano, funções do sistema e precisam ter saídas de emergência claramente marcadas, para abandonar a operação sem ter que percorrer um extenso diálogo, possibilitando funções undo e redo; d) De consistência e padrões: os usuários não precisam saber que diferentes palavras, situações ou ações significam a mesma coisa. Devem seguir convenções de plataforma computacional; e) De prevenção de erro: é melhor projetar um design cuidadoso, no qual se previne o erro antes dele acontecer, do que, uma boa mensagem de erro; f) De reconhecimento em vez de lembrança: minimize o uso da memória do usuário, disponibilizando objetos, ações e opções visíveis. O usuário, na passagem de uma operação para outra não precisa lembrar-se da informação anterior. Instruções para uso do sistema devem estar visíveis e facilmente recuperáveis, sempre que oportuna; g) De flexibilidade e eficiência de uso: aceleradores não vistos por usuários novatos podem acelerar freqüentemente a interação de usuários especialistas, de modo que o sistema possa suprir necessidades de usuários sem experiência e experientes. Permitir a usuários experientes costurar ações, freqüentemente; h) Do design estético e minimalista: diálogos não devem conter informação irrelevante ou utilizada raramente. Toda unidade extra de informação, em um diálogo, compete com as unidades pertinentes de informação, e diminui a visibilidade relativa; i) Para ajudar os usuários a reconhecer, diagnosticar erros e recuperar-se deles: mensagens de erro devem ser expressas em linguagem clara (sem código)

31

indicando precisamente o problema e sugerindo uma solução; j) Ajuda e documentação: embora seja melhor um sistema que possa ser usado sem documentação, seria bom disponibilizar ajuda e documentação. Essas informações devem ser fáceis de encontrar, focalizadas na tarefa do usuário, com uma lista de passos concretos, e não muito extensas. Portanto, para cada elemento de interface deve ser feita uma análise de sua conformidade com cada uma das heurísticas apresentadas. Já, a severidade de um problema de usabilidade consiste na combinação de três fatores (NIELSEN, 2007): a) Freqüência com que o problema acontece: se é comum ou raro? b) Impacto do problema: será fácil ou difícil de solução caso aconteça? c) Persistência do problema: o problema não é superado, ou, ele causa aborrecimento constante? Para medir a severidade de um problema, Nielsen (2007) sugere a seguinte escala: a) 0 = eu não concordo que este seja um problema de usabilidade; b) 1 = problema cosmético de usabilidade: não é necessário consertar o problema, a menos que haja tempo disponível no projeto; c) 2 = problema de usabilidade secundário (sem importância): o conserto deste problema não deve ser prioritário; d) 3 = problema de usabilidade principal (importante): o conserto deste problema é de bastante prioridade; e) 4 = problema catastrófico de usabilidade: é imperativo consertar este problema

32

antes que o produto seja liberado. A seguir, as inspeções ergonômicas via checklists.

2.4.2.1.2 Inspeções Ergonômicas via Checklists

As inspeções ergonômicas via checklists são vistorias com base em listas de verificação, para diagnosticar problemas de interface. Essas listas são usadas pelos avaliadores como roteiro de princípios básicos, desejáveis em uma interface, para identificar problemas, reduzir a subjetividade e custos. Como em uma lista já estão presentes conhecimentos ergonômicos, não se faz necessária a aplicação destes questionários por especialistas em usabilidade e ergonomia. A ferramenta ErgoList relaciona uma lista de checklists, técnica de avaliação rápida, que se destina a apoiar a inspeção da interface e descobrir seus defeitos ergonômicos mais explícitos. Essa lista contém os seguintes itens (LABIUTIL, 2006): a) Presteza: verifique se o sistema informa e conduz o usuário durante a interação; b) Agrupamento por localização: verifique se a distribuição espacial dos itens traduz as relações entre as informações; c) Agrupamento por formato: verifique os formatos dos itens como meio de transmitir associações e diferenças; d) Feedback: avalie a qualidade do feedback imediato às ações do usuário; e) Legibilidade: verifique a legibilidade das informações apresentadas nas telas do sistema; f) Concisão: verifique o tamanho dos códigos e termos apresentados e introduzidos no sistema;

33

g) Ações mínimas: verifique a extensão dos diálogos estabelecidos para a realização dos objetivos do usuário; h) Densidade informacional: avalie a densidade informacional das telas apresentadas pelo sistema; i) Ações explícitas: verifique se é o usuário quem comanda explicitamente as ações do sistema; j) Controle do usuário: avalie as possibilidades do usuário controlar o encadeamento e a realização das ações; k) Flexibilidade: verifique se o sistema permite personalizar as apresentações e os diálogos; l) Experiência do usuário: avalie se usuários com diferentes níveis de experiência têm iguais possibilidades de obter sucesso em seus objetivos; m) Proteção contra erros: verifique se o sistema oferece as oportunidades para o usuário prevenir eventuais erros; n) Mensagens de erro: avalie a qualidade das mensagens de erro enviadas aos usuários em dificuldades; o) Correção de erros: verifique as facilidades oferecidas para que o usuário possa corrigir os erros cometidos; p) Consistência: avalie se é mantida uma coerência no projeto de códigos, telas e diálogos com o usuário; q) Significados: avalie se os códigos e denominações são claros e significativos para os usuários do sistema; r) Compatibilidade: verifique a compatibilidade do sistema com as expectativas e necessidades do usuário em sua tarefa.

34

Com essas orientações é possível chegar a uma análise prática e ágil, possibilitando uma avaliação com um baixo custo.

2.4.2.1.3 Percurso Cognitivo

O percurso cognitivo tem o objetivo de identificar problemas de usabilidade, para avaliar a facilidade de aprendizado do sistema através da exploração do usuário, que se justifica, para os usuários adquirirem conhecimento sobre novas características ou funções, apenas quando requeridas em seu trabalho. Esse método examina principalmente (PRATES E BARBOSA, 2003): a) A correspondência entre a conceitualização de uma tarefa dos usuários e a dos designers; b) Escolha adequada ou não-adequada de termos ou do vocabulário utilizado; c) Feedback adequado ou não, para os resultados de uma ação. De acordo com Prates e Barbosa (2003), nessa avaliação é necessária, uma fase de preparação para a definição de: a) Hipóteses sobre os usuários e sobre o conhecimento que eles têm sobre a tarefa e a interface; b) Cenários de tarefas, construídos a partir de uma seleção de tarefas importantes e freqüentes; c) Seqüência correta de ações para completar cada tarefa, definida pelo projetista; d) Proposta de design em papel ou protótipo ilustrando cada passo e indicando o estado da interface antes e depois de cada passo.

35

Para o procedimento de uma execução dessa avaliação são relacionados os seguintes passos (PRATES E BARBOSA, 2003): a) O projetista apresenta uma proposta de design; b) Os avaliadores constroem histórias sobre a interação de um usuário com a interface, com base nos cenários de tarefas selecionados; c) Os avaliadores simulam a execução da tarefa, efetuando uma série de perguntas sobre cada passo; d) Os avaliadores anotam pontos-chave, sobre os quais o usuário: Precisa saber antes de realizar a tarefa; Deve aprender ao realizar a tarefa. São necessárias perguntas básicas, feitas pelos avaliadores, em cada passo das tarefas as quais orientam para identificar problemas que poderiam ocorrer no processo de interação. Algumas dessas perguntas são relatadas a seguir (PRATES E BARBOSA, 2003): a) O usuário tentará atingir a meta correta? Dada a decomposição de tarefa em subtarefas, o usuário saberá por onde começar e qual é o próximo passo? O que o usuário vai tentar fazer a cada momento? b) O usuário perceberá que a ação correta está disponível? Onde está o elemento de interface correspondente ao próximo passo? Que ações a interface torna disponíveis? c) O usuário associará o elemento de interface correto à meta a ser atingida? O elemento de interface revela seu propósito e comportamento? O usuário consegue identificar os elementos de interface?

36

d) Se a ação correta é tomada, o usuário perceberá que progrediu em direção à solução da tarefa? Como a interface apresenta o resultado de cada ação? O resultado apresentado tem correspondência com o objetivo do usuário? De acordo com as descrições das etapas do percurso cognitivo, seu conceito baseia-se em um processo em que os usuários aprendem por tentativas e sem treinamento, sendo de fácil uso e de baixo custo. Na continuação são destacados os métodos de avaliação empíricos.

2.4.2.2

Métodos de Avaliação Empíricos

As avaliações empíricas são métodos baseados em experiências que se relacionam basicamente aos ensaios de interação e a monitoramentos (sistemas espiões). Geralmente essa técnica envolve a participação de usuários na coleta de dados, dados que são diagnosticados por especialistas, a fim de identificar problemas de usabilidade e comunicabilidade. As próximas seções relatam as principais avaliações empíricas.

2.4.2.2.1 Ensaios de Interação ou Testes de Usabilidade

Os ensaios de interação consistem em uma simulação de uso do sistema da qual participam pessoas representativas da sua população-alvo, que tenta fazer suas tarefas típicas, com uma versão do sistema pretendido, sendo necessário um trabalho detalhado de reconhecimento dos elementos envolvidos (CYBIS, 2003).

37

Na visão de Cybis (2003), para se ter uma noção da complexidade de cada teste, é necessário fazer uma análise das seguintes características dos ensaios de interação: a) O constrangimento é inerente aos testes e, portanto, algumas medidas devem ser seguidas: Esclarecer o usuário sobre o teste, enfatizando a finalidade do ensaio e da sua participação; Não pressionar os usuários a participar dos ensaios; Não expor os usuários a comentários de colegas; Caso o participante se sinta cansado ou constrangido diante de uma determinada situação, é preferível parar a realização do ensaio de uma forma tranqüila; Os ensaios devem ser planejados cuidadosamente quanto à divulgação dos resultados, evitando-se invadir a privacidade dos participantes, realizando-se de preferência, uma coleta anônima. b) Para uma melhor informação faz-se necessário que o usuário verbalize durante ou após a interação com o software, onde se identifica: Verbalização simultânea: é realizada durante o ensaio de interação, no qual o analista deve controlar a verbalização de acordo com o que o usuário está pensando, tentando fazer ou, lendo ou de acordo com a maneira como o trabalho está sendo apresentado; Verbalização consecutiva: é feita uma entrevista com o usuário no final do ensaio de interação e, se necessário, pode-se repassar a gravação do vídeo que registrou o teste. c) O local do teste pode ser no ambiente usual da tarefa, ou em um laboratório:

38

Teste no local: é mais trabalhoso, mas pode trazer informações mais ricas por estar no seu ambiente com as variantes do dia-a-dia, como, por exemplo, parar para atender um telefonema, suportar pressão de superiores, entre outras; Teste em laboratório: deve ser equipado com recursos e aparelhos sofisticados, que permitiam observar a interação humano-computador de forma contínua, possibilitando ao analista maior controle da situação. Para softwares na fase de concepção, este tipo pode ser mais viável, pois o analista pode testar uma função, fazer correções e testar o sistema. d) Registro e coleta de dados: é recomendado utilizar câmeras de vídeo para o registro de tudo, sem filmar o rosto do usuário, realizando o ensaio da forma mais conveniente para o usuário e em local e horário que lhe seja mais favorável. Para a montagem de um ensaio de interação contam-se várias etapas, desde a análise preliminar até a realização dos ensaios. Neste contexto Cybis (2003) descreve as etapas como seguem: a) Na etapa de análise preliminar os especialistas tomam conhecimento da composição do software, realizando duas fases: Reconhecimento de software: faz-se uma entrevista com a equipe que desenvolveu o software, abrangendo questões como a população-alvo do software, o tipo de tarefa que o software visa atender, as funções principais do produto, quantas pessoas foram envolvidas no desenvolvimento e se houver ergonomistas, o tempo de desenvolvimento, o ambiente de programação do sistema, as versões, a situação na área comercial e também sobre o suporte; Pré-diagnóstico: pode ser obtido através de uma técnica de avaliação do tipo heurística ou checklists para inspeção ergonômica, de que resulta um conjunto

39

de hipóteses sobre problemas de usabilidade que serão testados nos ensaios de interação. b) Nesta fase são definidos os scripts, os cenários e a amostra de usuários, a saber: Reconhecimento do perfil do usuário: os projetistas selecionam as pessoas (público-alvo), que poderão vir a participar dos ensaios; Coleta de informações sobre o usuário e sua tarefa: o analista deve elaborar questionários destinados a buscar os dados de uma amostra de usuários. Estes questionários devem conter os dados a respeito dos recursos disponíveis, do contexto da tarefa, do nível dos usuários, da utilização do sistema; Definição dos scripts de tarefas para os ensaios: um script nasce a partir da combinação dos parâmetros levantados, como os objetivos principais do software, as hipóteses dos ergonomistas, as amostras de tarefa dos usuários, a funcionalidade do sistema considerada mais e menos importante pelo usuário e, também, as operações mais freqüentes do usuário. c) Enfim, a realização dos ensaios deve durar no máximo 1 hora, com a participação do usuário, de 1 ou 2 ergonomistas observadores e de 1 assistente técnico responsável pelo funcionamento dos equipamentos. Os ensaios são controlados pelos ergonomistas que devem planejar como proceder nos casos de interrupções, retomadas e encerramento precoce do teste e, também, fazer anotações em tempo real sobre o desempenho do usuário, erros e incidentes. Na seqüência complementa-se a caracterização desta etapa: Obtenção da amostra dos usuários: é necessário selecionar alguém da amostra de usuários que realiza efetivamente as tarefas dos scripts, e que seja experiente na tarefa, alguém que realmente exerça suas atividades com o

40

auxílio do software, separando novatos de experientes. Ajustes nos scripts e cenários: com cada participante deve ser realizada uma nova entrevista para buscar informações visando os ajustes nos scripts e cenários. Planejamento dos ensaios: envolve a tomada de decisão e a adoção de providências relativas ao local dos ensaios, ao equipamento para registro dos acontecimentos, à escolha das técnicas de verbalização e à definição das estratégias de intervenção, em caso de impasse. Para lidar com as situações, sugere-se deixar o usuário tentar resolver sozinho qualquer tarefa, nunca ser grosseiro, propor ao usuário a realização de uma tarefa alternativa na persistência do impasse, e, caso os usuários se encontrem constrangidos ou nervosos, os ensaios devem ser interrompidos. Análise e interpretação dos dados obtidos: a equipe de analistas deve rever todas as gravações buscando dados relevantes que comprovem ou não as hipóteses estabelecidas. Os resultados são relatados e entregues aos projetistas do sistema, com a descrição dos incidentes havidos durante a interação, relacionando-os com um aspecto do software e, também, definindo a prioridade dos problemas. Conclui-se que a utilização da técnica de ensaios de interação, por utilizar a participação direta do usuário, se mostra capaz de identificar problemas específicos referentes à realização das tarefas que por outras técnicas não se conseguem identificar. Esta técnica pode utilizar uma série de outras técnicas, como entrevistas, questionários, checklists, sistemas espiões que, em conjunto, caminham para um diagnóstico final que busca a satisfação do usuário.

41

2.4.2.2.2 Sistemas de Monitoramento ou Espiões

Cybis (2003), diz que os sistemas de monitoramento são softwares “espiões” que permanecem na máquina do usuário simultâneos ao aplicativo em teste, os quais capturam e registram aspectos das interações do usuário com seu aplicativo em sua própria realidade de trabalho. A quantidade de dados registrados pode tornar-se muito grande, e, devendo dessa forma a duração dos testes ser bem planejada pelos analistas. Esta técnica não causa constrangimento ao usuário e ao mesmo tempo captura as interferências causadas por sua realidade de trabalho. Na parte negativa, constata-se que não há como incentivar ou registrar as verbalizações dos usuários que apresentam limitações de ordem técnica, relacionadas principalmente à portabilidade das ferramentas de espionagem. Assim, um sistema de monitoramento pode auxiliar outras técnicas de avaliações, contribuindo para um melhor resultado de uma avaliação. A abordagem dos próximos parágrafos, será feita sobre os testes focados na usabilidade e comunicabilidade.

2.4.2.3 Testes Focados na Usabilidade e Comunicabilidade

Para testar a usabilidade, são envolvidas as seguintes questões: facilidade de aprendizado e uso, eficiência de uso e produtividade, satisfação, flexibilidade, utilidade e segurança. Dessa forma, objetiva-se quantificar o desempenho do usuário. Para a preparação do teste, devem ser definidos os limites mínimos aceitáveis, os máximos possíveis e, também, o valor almejado para a medida do projeto (PRATES E BARBOSA, 2003).

42

Cybis (2003), define que se deve propor a elaboração de um plano de testes de usabilidade, cuja composição será uma seqüência estruturada de avaliação, com base nos objetivos a serem atingidos, como se relata a seguir: a) Constatar, observar e registrar, problemas efetivos de usabilidade durante a interação; b) Calcular métricas objetivas para eficácia, eficiência e produtividade do usuário na interação com o sistema; c) Diagnosticar as características do projeto que provavelmente atrapalhem a interação por estarem em desconformidade com padrões implícitos e explícitos de usabilidade; d) Prever dificuldades de aprendizado na operação do sistema; e) Prever os tempos de execução de tarefas informatizadas; f) Conhecer a opinião do usuário em relação ao sistema; g) Sugerir as ações de re-projeto mais evidentes em face dos problemas de interação efetivos ou diagnosticados. O objetivo da comunicabilidade é revelar qualitativamente as falhas de comunicação potenciais, que podem ocorrer durante a interação. Segundo Prates e Barbosa (2003), a análise dos dados é dividida em 3 passos: a) Etiquetagem: o avaliador deve identificar as rupturas da interação, por meio de um conjunto de expressões, com o objetivo de ser o conjunto mínimo capaz de caracterizar suficientemente as rupturas de interação que acontecem durante o uso de uma aplicação. Estas expressões são relacionadas com o usuário, como caracterizadas a seguir:

43

Onde está? O usuário sabe o que deseja executar, mas não o encontra de imediato; E agora? O usuário não sabe o que significa e procura descobrir qual é o seu próximo passo; O que é isto? O usuário não sabe o que significa um elemento na interface; Epa! O usuário realizou uma ação indesejada e percebe imediatamente; Onde estou? O usuário efetua operações que são apropriadas para outros contextos, e não para o atual; Assim não dá! O usuário efetuou uma seqüência longa de operações, antes de perceber que estava seguindo um caminho improdutivo; Por que não funciona? A operação efetuada não produz o resultado esperado, mas o usuário não entende; Ué, o que houve? O usuário não entende a resposta dada pelo sistema para a sua ação; Para mim está bom... O usuário acha equivocadamente que concluiu uma tarefa com sucesso; Desisto. O usuário não consegue fazer a tarefa e desiste; Vai de outro jeito. O usuário não consegue realizar a tarefa como o projetista gostaria, e resolve seguir outro caminho; Não, obrigado. O usuário já conhece a solução preferencial do designer, mas opta por uma outra forma de interação; Socorro! O usuário não consegue realizar sua tarefa. b) Interpretação: o avaliador deve associar as expressões identificadas a classificações de problemas de interação ou diretrizes de design. Como exemplo veja-se a seguinte classificação genérica dos problemas:

44

Execução: o usuário não consegue atingir o objetivo; Navegação: o usuário se perde durante a interação; Atribuição de significado: o usuário não é capaz de atribuir um significado relevante a signos da interface; Percepção: o usuário não consegue perceber alguma resposta ou estado do sistema; Incompreensão de affordance: o usuário não entende uma solução oferecida pelo designer e executa de uma forma mais complicada; Recusa de affordance: o usuário entende a solução principal oferecida, mas escolhe outra. c) Perfil semiótico: neste passo o especialista interpreta a etiquetagem e tabulação realizada nos passos anteriores, tentando reconstruir a meta-mensagem que é transmitida pelo designer ao usuário através da interface. Assim, este passo acrescenta à avaliação os problemas identificados, podendo fazer considerações sobre possíveis premissas de design e conhecimentos táticos. Abaixo é apresentada uma tabela de associação entre expressões e classes de problemas (Tabela 1):

45

Tabela 1. Associação entre expressões e classes de problemas Associação entre expressões e classes de problemas
Expressão de Comunicabilidade Onde está? E agora? O que é isto? Epa! Onde estou? Assim não dá. Por que não funciona? Ué, o que houve? Para mim está bom. Não, dá. Vai de outro jeito Não, obrigado. Socorro! Execução Navegação Problemas de Interação Atribuição Percepção Incompreensão de de affordance significado X X X X X X X X X X X X X X X Recusa de affordance

X X X X X

X X X X X

Fonte: Prates e Barbosa (2003)

Após alguns aspectos e tipos de técnicas no campo de avaliação de IHC, a próxima etapa enriquece este estudo com noções sobre medidas da norma ISO 9241.

2.5 Avaliação de Interfaces segundo a Norma ISO 9241

A norma ISO 9241-11 de 1998, de acordo com ISO (2007), foi criada pela International Standard Organization e consideradas como requisitos ergonômicos para trabalho de escritórios com computadores. Essa norma objetiva promover a saúde e a segurança de usuários de computadores, garantindo eficiência e conforto, e descreve os benefícios de medir usabilidade em termos de desempenho e satisfação do usuário, considerando o contexto de uso: usuários, tarefas, equipamentos, ambiente físico e social, possibilitando que os usuários alcancem seus objetivos e satisfaçam suas necessidades. As definições dos termos que envolvem a norma ISO 9241-11 são descritas como

46

segue (ISO, 2007): a) Usabilidade: é a medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso; b) Eficácia: está ligada à acurácia e completude com as quais os usuários alcançam objetivos específicos; c) Eficiência: relaciona-se com o nível de eficácia alcançada no consumo de recursos relevantes, como esforço mental ou físico, tempo, custos materiais ou financeiros; d) Satisfação: tem a ver com o conforto e com atitudes positivas em relação ao uso de um produto, podendo ser medida pela avaliação subjetiva em escalas de desconforto experimentado, gosto pelo produto, satisfação com o uso do produto ou aceitação da carga de trabalho, quando da realização de diferentes tarefas, ou a extensão dos objetivos de usabilidade que foram alcançados; e) Contexto de uso: refere-se a usuários, tarefas, equipamentos (hardware, software e materiais) e ao ambiente físico e social no qual um produto é usado; f) Sistema de trabalho: envolve o sistema, composto de usuários, equipamento, tarefas e o ambiente físico e social, com o propósito de alcançar objetivos específicos. Com esses termos, a ISO (2007) traz uma estrutura de usabilidade, ilustrado na Figura 2:

47

Estrutura de Usabilidade resultado pretendido

usuário

objetivos

tarefa

Usabilidade: medida na qual objetivos são alcançados com eficácia, eficiência e satisfação.

equipamento

resultado de uso

eficácia eficiência satisfação

ambiente

Contexto de uso produto

Medidas de usabilidade

Figura 2 – Estrutura de Usabilidade (ISO, 2007).

Na especificação de usabilidade devem descrever os objetivos pretendidos e os componentes do contexto de uso como usuários, tarefas, equipamento e ambientes, detalhando-se os aspectos que influenciam a usabilidade e, descrevem-se, também os valores reais ou desejados de eficácia, eficiência e satisfação para o objetivo do contexto que são necessários. Segundo ISO (2007), no campo de usabilidade, é necessário ter as medidas de eficácia, eficiência e satisfação, de acordo com o contexto de uso e das propostas. O nível de detalhes de cada medida dependem dos objetivos das partes envolvidas na medição, devendo ser considerada a importância relativa de cada medida para os objetivos. Essas medidas podem ser especificadas para objetivos globais ou para objetivos menores. Um exemplo de objetivos globais é ilustrado na Tabela 2.

48

Tabela 2. Exemplo de Medidas de Usabilidade Medidas de Usabilidade Objetivos de Usabilidade Usabilidade global Medidas de Eficácia Porcentagem de objetivos alcançados; Medidas de Eficiência Tempo para completar uma tarefa; Tarefas completadas por unidade de tempo; Custo monetário de realização da tarefa. Medidas de satisfação Escala de satisfação;

Porcentagem de usuários que completam a tarefa com sucesso; Média da acurácia de tarefas completadas.
Fonte: ISO (2007)

Freqüência de uso;

Freqüência de reclamações

Porém, podem ser necessárias algumas medidas adicionais para propriedades particulares do produto que contribuam para a usabilidade, conforme a Tabela 3:

49

Tabela 3. Exemplo de Medidas para Propriedades Desejáveis do Produto. Medidas para Propriedades Desejáveis do Produto
Objetivos de Usabilidade Adequados às necessidades de usuários treinados Adequados às necessidades para usar facilmente Adequados às necessidades para uso não-freqüente ou intermitente Redução de necessidade de suporte Medidas de Eficácia Número de tarefas importantes realizadas; Porcentagem de funções relevantes usadas Porcentagem de tarefas completadas com sucesso na primeira tentativa Porcentagem de tarefas completadas com sucesso depois de um período específico sem uso Número de referências para documentação; Número de chamadas ao suporte; Número de acessos para obter ajuda Número de funções aprendidas; Porcentagem de usuários que conseguem aprender por critério Medidas de Eficiência Eficiência relativa comparada com um usuário experiente Medidas de satisfação Escala para satisfação com características importantes Taxa de uso voluntário

Tempo gasto na primeira tentativa 1) ; Eficiência relativa na primeira tentativa Tempo gasto reaprendendo funções 1) ; Número de erros persistentes Tempo produtivo 1) ; Tempo para aprender por critério 1)

Freqüência de reuso

Escala para satisfação com recursos de apoio

Facilidade de Aprender

Tempo para aprender por critério 1) ; Tempo para reaprender por critério 1) ; Tempo gasto na correção de erros

Escala para facilidade de aprendizado

Tolerância a erros

Legibilidade
1)

Porcentagem de erros corrigidos ou apresentados pelo sistema; Número tolerado de erros do usuário Porcentagem de palavras lidas corretamente em uma distância normal de visualização

Escala para verificar erros

Tempo para ler corretamente um número especificado de caracteres

Escala para desconforto visual

Convém que nesses exemplos os recursos sejam medidos em relação a um nível especificado de eficácia.
Fonte: ISO (2007)

De acordo com ISO (2007), as medidas de usabilidade dependem dos requisitos do produto e das necessidades da organização. Os objetivos de usabilidade podem ser: primários, menores, ou secundários, em que, determinar objetivos menores pode permitir uma avaliação antecipada no processo de desenvolvimento. Em relação aos critérios, estes podem reduzir-se ao menor nível aceitável, ou para o nível esperado de usabilidade, e seus valores para um grupo de usuários podem ser uma média, para todos indivíduos ou para uma porcentagem de usuários, tomando-se cuidado para que seja dado o peso apropriado para cada item de medida.

50

Uma outra fonte de informações importante sobre ergonomia são os critérios estabelecidos pelos pesquisadores Bastien e Scapin (1993), descritos na seguinte seção.

2.6 Critérios Ergonômicos segundo Bastien e Scapin

Os critérios ergonômicos é um conjunto de qualidades ergonômicas que auxiliam nas avaliações de IHC, para verificação de possíveis problemas. Esses critérios foram definidos por Bastien e Scapin (1993), e são formados por oito divisões. Tais critérios representam as características mínimas que um sistema interativo deve ter para apresentar um nível razoável de usabilidade. As divisões junto com as subdivisões dos critérios relacionados nas próximas etapas são definidas por Bastien e Scapin (1997).

2.6.1 Condução

A condução refere-se aos meios disponíveis para aconselhar, orientar, informar e conduzir o usuário na interação com o computador, por exemplo: mensagens, alarmes, rótulos, etc. São necessários quatro critérios: a) Presteza: relaciona-se com as informações que permitem ao usuário identificar o estado ou contexto no qual se encontra, bem como as ferramentas de ajuda e o modo de acesso, incluindo-se os mecanismos ou meios que permitem ao usuário conhecer as alternativas, no que se refere a ações. Esse critério engloba os meios utilizados para levar o usuário a realizar determinadas ações, como, por exemplo, entrada de dados, na qual, sua finalidade é facilitar a navegação do aplicativo e diminuir a ocorrência de erros; b) Agrupamento/distinção de itens: diz respeito à organização visual dos itens de

51

informação, relacionados uns com os outros, mostrando se esses itens pertencem ou não a uma classe, ou se indicam as diferenças entre as classes. Considera-se a topologia e algumas características gráficas que podem indicar as relações entre os itens, dependendo, da compreensão do usuário, entre outras coisas, da ordenação, do posicionamento, e da distinção dos objetos de uma interface. Esse critério está subdividido em outros 2 critérios elementares: Agrupamento/distinção por localização: tem relação com o posicionamento relativo dos itens, indicando as diferenças entre as classes, se os itens pertencem ou não a uma determinada classe, e o posicionamento relativo dos itens de uma classe; Agrupamento/distinção por formato: está relacionado com as características gráficas por exemplo, formato e cor e indicam se os itens pertencem ou não a uma classe as distinções entre classes diferentes e as distinções entre itens de uma classe. c) Feedback imediato: a qualidade e rapidez do feedback são fatores importantes para a satisfação e confiança do usuário. Esse critério diz respeito às respostas do sistema às ações do usuário. Essas entradas podem ir do simples pressionar de uma tecla até uma lista de comandos. As respostas do computador devem ser fornecidas, de forma rápida, com um tempo de resposta condizente e consistente; d) Legibilidade: no que tange às características cognitivas e perceptivas dos usuários, a legibilidade diz respeito aos aspectos lexicais das informações apresentadas na tela, que possam dificultar ou facilitar a leitura desta informação. Citam-se como exemplo: brilho do caractere, contraste entre letra e fundo, tamanho da fonte, espaçamento entre palavras, espaçamento entre linhas, espaçamento de parágrafos, comprimento da linha, entre outros.

52

2.6.2 Carga de Trabalho

A carga de trabalho diz respeito a todos elementos da interface que têm um papel importante na redução da carga cognitiva e perceptiva do usuário e no aumento da eficiência do diálogo, e comporta: a) Brevidade: corresponde ao objetivo de limitar a carga de trabalho de leitura e entradas e o número de passos, com base na carga de trabalho perceptiva e cognitiva, para as entradas e saídas ou para os conjuntos de entradas. Esse critério supõe duas qualidades: Concisão: diz respeito à carga perceptiva e cognitiva de saídas e entradas individuais, e por definição não se refere às mensagens de erro e feedback; Ações mínimas: procura-se limitar o número de passos pelos quais o usuário deve passar para a realização de uma tarefa, tentando diminuir a carga de trabalho e a probabilidade de ocorrência de erros. b) Densidade informacional: essa qualidade relaciona-se com a carga de trabalho do usuário, de um ponto de vista perceptivo e cognitivo, com relação ao conjunto total de itens de informação apresentados aos usuários, e não ao item individual, objetivando minimizar a carga de memorização.

2.6.3 Controle Explícito

O controle explícito refere-se tanto ao processamento das ações do usuário pelo sistema, quanto ao controle que os usuários têm do processamento de suas ações pelo sistema, e subdivide-se em dois critérios:

53

a) Ações explícitas do usuário: referem-se às relações entre o que se processa pelo computador e as ações do usuário, devendo, o computador processar somente aquelas ações solicitadas pelo usuário e somente quando solicitado a fazê-lo. Dessa forma, o usuário aprende e entende melhor o funcionamento da aplicação, ficando menos sujeito a erros; b) Controle do usuário: os usários devem estar sempre no controle do sistema, ou seja, eles podem interromper, cancelar, suspender e continuar uma determinada ação. E cada ação possível do usuário deve ser antecipada, e disponibilizadas opções apropriadas. Assim, o computador se torna mais previsível.

2.6.4 Adaptabilidade

A adaptabilidade de um sistema diz respeito a sua capacidade de reagir conforme o contexto e conforme as necessidades e preferências do usuário. Dois subcritérios constam na adaptabilidade: a) Flexibilidade: corresponde aos meios colocados à disposição do usuário que permitem personalizar a interface levando-se em conta as exigências da tarefa, de suas estratégias ou seus hábitos de trabalho com vistas a possibilitar ao usuário várias maneiras para alcançar seu objetivo; b) Consideração da experiência do usuário: a interface deve ser concebida para lidar com as variações dos níveis de experiência, de novatos a experientes. Através dos meios implementados, as opções possíveis do sistema devem ser mostradas de maneiras diferentes, de acordo com o tipo de usuário.

54

2.6.5 Gestão de Erros

A gestão de erros compreende todos os mecanismos que permitem evitar ou reduzir a ocorrência de erros e, quando eles ocorrem, favorecer sua correção. Os erros são aqui considerados como entradas de dados incorretos, entradas com formatos inadequados, entradas de comandos com sintaxes incorretas etc. Três subcritérios participam da manutenção dos erros: a) Proteção contra os erros: refere-se aos mecanismos empregados para detectar e prevenir os erros de entradas de dados ou comandos, ou possíveis ações de conseqüências desastrosas e/ou não sanáveis; b) Qualidade das mensagens de erros: fundamenta-se na pertinência, legibilidade e exatidão da informação dada ao usuário sobre a natureza do erro cometido e sobre as ações que se devem executar para corrigi-lo. Este critério favorece o aprendizado do sistema indicando ao usuário a razão ou a natureza do erro cometido, o que ele fez de errado, o que ele deveria ter feito e o que ele deve fazer; c) Correção dos erros: diz respeito aos meios colocados à disposição do usuário com o objetivo de permitir a correção de seus erros para tornar mais ágil essa correção.

2.6.6 Consistência

O critério da consistência, também chamado de homogeneidade ou coerência, referese à forma pela qual as escolhas, na concepção da interface, são conservadas idênticas em contextos idênticos, e diferentes em contextos diferentes. Essas escolhas podem ser códigos, denominações, formatos, procedimentos etc.

55

2.6.7 Significado dos Códigos e Denominações

O significado dos códigos e denominações diz respeito à adequação entre o objeto ou a informação apresentada ou pedida e sua referência. Códigos e denominações significativas possuem uma forte relação semântica com seu referente. Termos pouco expressivos para o usuário podem ocasionar problemas de condução podendo ele ser levado a fazer uma opção errada.

2.6.8 Compatibilidade

A compatibilidade refere-se ao acordo que possa existir entre as características do usuário, como: memória, percepção, hábitos, competências, idade, expectativas etc. As tarefas por um lado, e por outro a organização das saídas, das entradas e do diálogo de uma dada aplicação. Diz respeito também ao grau de similaridade entre diferentes ambientes e aplicações.

2.7 Quanto à Escolha das Técnicas

Nas seções anteriores expressaram-se questões essenciais sobre as técnicas de avaliações de IHC, mas não se pode esquecer que o sucesso de uma avaliação depende, e muito, da escolha correta da técnica utilizada no contexto a ser avaliado. Para a determinação de uma técnica de avaliação, faz-se necessário o entendimento do objetivo particular de um ambiente a ser avaliado, considerando-se os recursos disponíveis e as expectativas dos resultados da avaliação. Em Cybis (2003), são relatadas algumas características importantes para a escolha de uma avaliação:

56

a) Efetividade: refere-se à quantidade de problemas sérios identificados - técnicas indicadas: avaliação heurística e ensaios de interação; b) Abrangência: refere-se à quantidade de problemas reais de todos os tipos identificados – técnicas indicadas: inspeções por checklist e avaliação heurística; c) Eficiência: é a razão da quantidade de problemas sérios identificados em, face da quantidade de problemas reais identificados de todos os tipos – técnica indicada: ensaios de interação; d) Produtividade: refere-se à razão entre a quantidade de problemas reais de todos os tipos identificados e a quantidade de recursos financeiros necessários; e) Sistematização: para esta qualidade concorrem dois fatores igualmente importantes: repetitividade e reproduzibilidade. A repetitividade relaciona-se à medida pela qual os resultados produzidos pela técnica se repetem, quando o mesmo avaliador examina o mesmo software algum tempo depois da primeira avaliação. A reproduzibilidade está relacionada com a medida pela qual dois avaliadores diferentes, examinando um mesmo software, produzem os mesmos resultados – técnica indicada: inspeções por checklist; f) Facilidade de aplicação: refere-se à qualidade da técnica que não exige formação ou competências específicas para a realização da tarefa - técnica indicada: inspeções por checklist; g) Poder de persuasão: refere-se a qualidade da técnica de produzir resultados capazes de convencer os projetistas da gravidade dos problemas de usabilidade identificados – técnicas indicadas: ensaios de interação e avaliações heurísticas; h) Poder de desobstrução – refere-se à qualidade da técnica produzir indicações de melhorias na usabilidade dos sistemas.

57

Neste capítulo, foram descritas várias questões relacionadas ao campo de IHC, para um melhor entendimento do estudo deste trabalho. O passo seguinte será contextualizar o estudo sobre avaliação de IHC.

58

59

3 CONTEXTUALIZAÇÃO DO ESTUDO SOBRE AVALIAÇÃO DE IHC

Com a proliferação dos computadores, existe uma grande demanda pelo desenvolvimento de interfaces intuitivas e amigáveis. Muitas pesquisas têm sido desenvolvidas procurando avaliar propostas de interfaces. Apesar disso, é possível notar na literatura trabalhos que tratam superficialmente o tema avaliação, quando não confundem avaliação com a extração de dados. Assim, com o objetivo de contribuir para o estudo da avaliação de interfaces é que surgiu a motivação para o desenvolvimento do presente trabalho, dedicado a mostrar um conjunto de procedimentos que constituem uma metodologia para avaliação de interfaces humano-computador. Em seguida analisam-se alguns métodos de avaliação consagrados na literatura. O processo de interação humano-computador é multidimensinal e envolve vários fatores, o que o torna complexo e difícil de formalizar. Apesar dessa dificuldade é preciso traduzi-lo de forma pragmática e operacional. Diante dessa situação, o presente trabalho inicia-se interpretando o processo de interação humano computador, para depois, através de uma análise, elencar quais os atributos que maximizam este processo. Não há como avaliar algo sem antes conhecer o que se está avaliando. Neste contexto, o presente trabalho optou por interpretar a interação humanocomputador a analogia de que este funciona como um processo comunicacional. Para tanto, inicia-se uma análise dos fundamentos epistemológicos que estabelecem a relação de comunicação, ou seja, a relação entre um sujeito cognoscente e um objetivo cognoscível veiculado através de uma interface humano computador.

60

De acordo com este conceito, a interface é um elemento de mediação entre o sujeito e o objeto de conhecimento, podendo ser assim expressa (Figura 3):

Processo de Mediação entre Sujeito e Objeto

As Raízes Epistemológicas
SUJEITO COGNOSCENTE

OBJETO COGNOSCÍVEL INTERFACE (MEDIAÇÃO)

Figura 3 – O Processo de Mediação entre Sujeito Cognoscente e Objeto Cognoscível.

O processo de avaliar interfaces requer inicialmente a definição clara dos objetivos da avaliação e em seguida criar situações factíveis de medição para posterior avaliação. A grande preocupação deste trabalho reside no fato de que no processo de avaliação estão presentes aspectos humanos tais como motivação, entendimento, compreensão, percepção, entre outros que são de difícil classificação e mensuração. Dentro desse processo, um fundamento importante é o entendimento da comunicação, e nesse sentido Fernandes et al (1996) definem comunicação como efeito ou meio de comunicar, e conceituam comunicar como: fazer saber, participar, transmitir, estabelecer comunicação entre, corresponder-se. Nesse conceito, a comunicação é um meio de expressão. Gomes (1988) nos ensina que o ser humano possui uma grande riqueza: a comunicação. A semiologia se encarrega de estudar e compreender os signos que compõem os diferentes tipos de linguagens usados na comunicação.

61

De acordo com Hoelzel (2004 apud MASER, 1975), são descritos dois tipos básicos de comunicação: verbal e não-verbal. O tipo verbal é através da linguagem escrita ou oral, no não-verbal insere-se, a comunicação visual constituído pelos recursos de ordem gráfica ou pictórica. Abaixo expõe-se um esquema da comunicação (Figura 4):

Esquema Geral da Comunicação

Repertórios Emissor

Repertórios Receptor

Figura 4 – Esquema Geral da Comunicação (HOELZEL 2004 apud SHANNON e WEAVER, 1949). Esse esquema identifica os elementos de uma comunicação e como se relacionam. A fonte da mensagem é construída por vários elementos (palavras, números, letras, pictogramas, cores, texturas, intermitências, entre outros) que são repertórios do emissor (REPE) expresso durante a comunicação por um sistema de regras que transforma informação em mensagem. Repertório e sistema de regras organizam a informação e formam a ‘linguagem’ do emissor. O receptor é o ponto de chegada da mensagem. Ele, por sua vez, também tem repertório (RepR) que, embora seja diverso do emissor, deve ter uma parte em comum a fim de que haja comunicação. A comunicação apenas se torna um fato quando o emitente e o recipiente têm domínio da mesma linguagem. Ao emitente cabe a codificação da mensagem que tem a intenção de transmitir, e ao recipiente, a decodificação com base numa mesma linguagem. Nessa interação, os ruídos são interferências que podem modificar os sinais ou a mensagem transmitidos pelo canal e impedir a comunicação efetiva e eficiente (HOELZEL, 2004).

Uma ilustração do processo comunicativo, que integra elementos cognitivos da recepção do sinal e considera aspectos socioculturais, é apresentada por Hoelzel (2004 apud PETTERSSON, 1982), na Figura 5:

62

Modelo de Comunicação

Figura 5 – Modelo de Comunicação (HOELZEL 2004 apud PETTERSSON, 1982).

Portanto, salienta-se a grande importância da comunicação em uma interação. Nesse contexto, existem variáveis subjetivas que são difíceis de classificar ou medir, como por exemplo o aprendizado, que envolve questões socioculturais e o tempo. Como auxílio de uma avaliação de IHC, pode-se ainda contar com o estudo sobre a teoria da atividade. De acordo com Hoelzel (2004 apud NARDI, 1997), esta teoria oferece um quadro conceitual para descrever a estrutura, o desenvolvimento e o contexto de atividades apoiadas por um computador, com os seguintes princípios: a) Princípio da unidade entre consciência e atividade: a atividade e a interação humana com sua realidade objetiva. A mente humana emerge e existe como um

63

componente especial de interação humana com o ambiente. É esse processo de interação, que permite a atividade, a evolução e a sobrevivência num contexto. Logo, a observação da atividade só tem sentido se contextualizada; b) Princípio de orientação a objetos: foca a teoria da atividade para o ambiente com o qual os seres humanos interagem. O ambiente é significativo para o ser que o habita. O ambiente contém entidades que combinam várias características objetivas, e pode determinar, em grande parte, como as pessoas agem sobre estas entidades. Por outro lado, a forma, a organização e o uso dessas entidades, que estão contidas no ambiente, também podem servir de indícios do comportamento humano; c) Princípio de estrutura hierárquica da atividade: os procedimentos humanos são diferenciados em atividade, ação e operação, levando em conta os objetivos aos quais estes procedimentos se orientam. É útil para prever o comportamento humano em situações reais. São associados em três níveis: atividade, ação e operação; d) Princípios de internalização e externalização: descrevem os mecanismos básicos da origem dos processos mentais. Internalização é o processo de absorção de informação que ocorre a partir do contato com o ambiente, e externalização é oposto à internalização, é a manifestação através dos atos, de forma que eles possam ser verificados e analisados; e) Princípio da mediação: a atividade humana é mediada por ferramentas externas e internas. As internas, como mapas mentais e as heurísticas, as externas, como computador, lápis, interfaces. As ferramentas são "veículos" da experiência social e do conhecimento cultural. Pode-se inferir que elas apresentam uma função, uma forma de uso, uma representação, eficiência e efetividade;

64

f) Princípio do desenvolvimento: entender o fenômeno significa conhecer como ele se desenvolveu através do tempo até sua forma atual. Ao longo do tempo, o trabalho sofre alterações as quais, compreendidas, possibilitam entender o estado atual e as demandas de um novo desenho. Com base nesses estudos, pode-se fazer uma análise dos fatores que envolvem a comunicação em uma interação, de acordo com a codificação e decodificação da mensagem, na qual são: icônicos, lingüísticos, cinéticos e sonoros (Figura 6).

Fatores de uma Interação X Comunicação
Codifica mensagem: Código Comunicação Decodifica mensagem

FATORES: ICÔNICO LINGUÍSTICO CINÉTICO

Decodifica mensagem

SONOROS
Figura 6 – Fatores de uma Interação X Comunicação.

Codifica mensagem: Código Comunicação

Até o presente momento foram apresentados modelos gerais de uma comunicação. Em síntese, estes modelos são um meio essencial para identificar um problema de interface. A importância desta parte do estudo está em identificar fatores não abordados por diversas técnicas de avaliação de IHC. A aplicação dessas técnicas é uma parte do processo para uma solução em IHC, mas não se pode esquecer que o processo em si começa com a detecção dos problemas e com o estágio de formulação, com vistas a chegar no fim desejado, que é fazer uma avaliação válida e fidedigna. Nesse contexto, faz-se necessário interpretar o processo de interação, detectando suas fases, com o objetivo de encontrar soluções para as medidas que são de difícil classificação e mensuração, e se representam de modo simbólico na Figura 7.

65

Interpretação do Processo de IHC

Designer Interface Ação Filtro interpretação Codificação Características: Físicas Cognitivas Emocionais Usuário
Figura 7 – Interpretação do Processo de IHC.

Objeto X

Conforme a Figura 7 pode-se conhecer como o usuário executa uma ação através de uma interface, que recebe a codificação do objeto X, elaborada pelo designer. Essa codificação chega ao usuário através de uma interpretação, que, até o seu destino final, passa por um meio, representado por um filtro, o qual depende de variações baseadas em características físicas, cognitivas e emocionais, em razão de aspectos como cultura, tempo, e outros. Em relação aos aspectos que envolvem o filtro de uma comunicação, Raupp e Reichle (2003 apud CAMPBELL e STANLEY, 1966) relacionam os fatores mais comuns de interferências e imperfeições encontradas na vida real:

66

a) História: a influência dos acontecimentos do mundo exterior, por exemplo, uma eleição, um desastre natural, a situação econômica e a mudança de liderança; b) Maturação: tem a ver com o crescimento pessoal dos participantes ou beneficiários, dissociado daquilo que está ocorrendo no projeto; c) Instrumentação: a ameaça à credibilidade de uma avaliação também está ligada à credibilidade dos instrumentos e procedimentos utilizados para a coleta de dados, que devem ser válidos e confiáveis. Com base na interpretação do processo de interação humano-computador, fica evidente, a complexidade de classificar e mensurar os fatores envolvidos, mas, apesar disso, deve-se procurar a solução mais próxima possível de um valor confiável em uma avaliação. Essa solução poderá ser encontrada por meio das análises qualitativas e dos julgamentos das situações, pelas quais se chega a dados quantificáveis. Essas análises devem estabelecer os fatores envolvidos, bem como fornecer condições e prever situações que mostram como mensurá-los de forma válida e fidedigna, subsidiando um processo de avaliação mais preciso e menos subjetivo. É preciso definir cada atributo de modo inequívoco, objetivo e funcional, esclarecendo como se manifesta. É preciso identificar comportamentos que reflitam níveis diferentes de intensidade, ou seja, estabelecer indicadores e suas gradações. É necessário montar escalas de mensuração marcando seus limites e entre eles os pontos que correspondem aos graus de intensidade. A abordagem aprofundada sobre essas questões será apresentada na proposta deste estudo, relacionada na seção seguinte.

67

4 UMA PROPOSTA PARA AVALIAÇÃO DE IHC

Como relacionado nos capítulos anteriores, existe uma série de trabalhos sobre avaliação de interfaces humano-computador tais como o de Nielsen (2006 e 2007), o de Bastien e Scapin (1997) ou mesmo o exposto na norma ISO-9241 (2007). Apesar do esforço empreendido por muitos pesquisadores, é difícil encontrar na literatura uma classificação clara e representativa dos métodos de avaliação de interfaces humano-computador. Além disso, as propostas de avaliação apresentam baixa fidedignidade, ou seja, quando o processo é replicado o resultado não é o mesmo. É bem verdade que é preciso considerar que qualquer avaliação ou medida está sujeita a erro, mas este deve ser controlado e estar dentro de padrões aceitáveis. O fato a se destacar é que os métodos possuem grande carga de subjetividade em vários pontos, prejudicando a validade dos métodos e por conseguinte a fidedignidade. Diante desse problema, o presente trabalho apresentou, em capítulos anteriores, um arcabouço teórico sobre o processo de avaliação que deve ser utilizado quando da avaliação de interfaces. São questões básicas que são negligenciadas, ou mesmo desprezadas, mas não podem faltar num processo de avaliação, se bem que, não aparecem na maioria dos métodos utilizados. Assim, com a preocupação de fornecer uma análise critica sobre a avaliação de interfaces humano-computador, o presente trabalho propõe um conjunto de procedimentos que devem ser realizados para minimizar a subjetividade da avaliação de interfaces, bem como melhorar a precisão e exatidão dos resultados. Além disso, vale lembrar que avaliar não é algo que ocorra aleatoriamente, requer fundamentação, pois se vale de técnicas e métodos

68

apropriados, apreciação segura da realidade, controle do erro e preocupação constante com a exatidão e consistência, e ainda a validade e fidedignidade do processo. Em vista disso é que o presente estudo vem dar uma contribuição, procurando mostrar que a avaliação de interfaces humano-computador pode ser realizada respeitando-se esses princípios. Para tanto, serão apresentados os requisitos que envolvem o processo avaliatório. Após, será realizado um mapeamento desses requisitos para o processo de avaliação de interfaces humano-computador, que resulta um delineamento que deve nortear a avaliação de interfaces, para assim se chegar na análise dos métodos existentes, ou dos mais utilizados.

4.1 O processo de Avaliação

Como já visto, avaliação é o exame sistemático e objetivo de um projeto ou programa, finalizado ou em curso, que contemple o seu delineamento, implementação e resultados, com vistas à determinação do seu impacto, eficácia, eficiência e sustentabilidade (UNICEF, 1991). A palavra avaliar a uma primeira vista está geralmente, relacionada com a idéia de fazer juízo de valor em relação a alguma coisa, classificando-a como boa, suficiente, melhor ou pior que outra. Pode-se dizer que avaliar é determinar até que ponto uma característica ou fenômeno obedece a certos padrões desejados. Para se emitir um juízo de valor, primeiramente é necessário conhecer bem aquilo que se está julgando. Em seguida é essencial contar com um padrão de comparação, uma norma, um critério, que permita fazer comparações (RAUPP e REICHLE, 2003). O principal objetivo de uma avaliação é responder à seguinte pergunta: A combinação de materiais, métodos, atividades, procedimentos, tarefas e pessoas

69

que formam um projeto ou programa leva aos objetivos propostos?

4.1.1 Classificação dos Métodos de Avaliação de Interfaces Humano-Computador

Avaliação não é uma atividade isolada e auto-suficiente, mas é parte do planejamento de um projeto ou programa, que gera um processo de retro-alimentação, ou seja, cria a possibilidade de retificar as ações e reorientá-las na direção do fim desejado. Os métodos de avaliação de interfaces, podem basicamente podem ser classificados segundo duas grandes linhas: analíticos/empíricos ou em relação ao papel do usuário no processo de avaliação. A Figura 8 mostra um esquema de classificação para os métodos quando classificados com base na experimentação e análise, como se vê abaixo:

Classificação de Métodos de Avaliação: experimentação e análise
Críticas Incidentes Diagnóstico de Uso Métodos Empíricos Avaliação de Interfaces Testes de Concepção Questionários Monitoramento Seleção de Alternativa Avaliação Interativa Banco de Testes Prototipagem Engenharia de Avaliação Estação de Avaliação Metodologia Geral Métodos Informais Especialistas Planilha de Avaliação Modelo de Tarefas Modelo Preditivo Modelos Formais Modelo de Qualidade Modelo Lingüístico Complexidade Cognitiva Método Cognitivo Método de Otimização

Métodos Analíticos

Figura 8 – Classificação de Métodos de Avaliação da Experimentação e Análise (OLIVER, 2001).

Já o esquema mostrado na Figura 9 mostra uma classificação baseada na participação

70

do usuário, como segue:

Classificação de Métodos de Avaliação: participação do usuário
Métodos Empíricos Métodos Centrados no Usuário Avaliação de Interfaces Estimativa da Carga de Trabalho

Testes de Concepção Métodos Centrados em Especialistas

Modelos Formais Preditivos Avaliação Automática Modelos Formais de Qualidade

Métodos Centrados sobre uma Modelização de IHC

Generalização Automática

Figura 9 – Classificação de Métodos de Avaliação em relação à Participação do Usuário (OLIVER, 2001).

4.1.2 Critérios para a Avaliação

Raupp e Reichle (2003) descrevem que, como em qualquer outra atividade, a definição de critérios ou parâmetros que permitam dizer se um projeto ou programa teve ou não êxito é um passo fundamental em um processo de avaliação. Ao avaliar um projeto ou programa é necessário estabelecer critérios ou parâmetros que, se atendidos, permitam dizer que o projeto teve sucesso. No caso de interfaces humanocomputador, esses parâmetros incluem: eficácia, eficiência, impacto (ou efetividade), sustentabilidade e custo-efetividade.

4.1.3 Validade e Fidedignidade nos Delineamentos de Pesquisas de Avaliação

O processo avaliatório é valido quando suas conclusões são corretas. É fidedigno

71

quando seus resultados são replicáveis. Fidedignidade e validade são requisitos que se aplicam tanto ao delineamento quanto à mensuração da pesquisa de avaliação. No nível do delineamento do processo de avaliação são examinadas as conclusões, e a pergunta é se estão corretas e aplicáveis. No nível de mensuração são examinados os escores (resultados) ou observações, e a pergunta é se são precisos e replicáveis. Há muitas maneiras de classificar a validade de delineamentos de pesquisa de avaliação, conforme explicam Cook e Campbell (1979), Yin (1989) e Sykes (1990). Para este estudo, a escolha abrange as seguintes classificações: validade interna, validade de constructo e validade externa.

4.1.3.1

Validade Interna

Uma pesquisa de avaliação tem validade interna quando identifica relações causais com precisão, que garantem estratégias cujo o objeto é eliminar a ambigüidade e a contradição. Quem queira afirmar que um evento foi causa de outro deverá estar apto a descartar as explicações rivais e demonstrar que sua conclusão é válida.

4.1.3.2

Validade de Constructo

Uma pesquisa de avaliação possui validade de constructo quando identifica ou nomeia adequadamente as variáveis em estudo, estabelecendo definições conceituais e operacionais dos principais termos e variáveis do estudo, para que se saiba exatamente o que se quer estudar, medir ou descrever.

72

4.1.3.3

Validade Externa

Há validade externa quando a pesquisa de avaliação demonstra algo que é verdadeiro para além dos estreitos limites do seu estudo. Se os resultados forem verdadeiros não apenas para o momento, lugar e pessoas de um certo estudo, mas também o forem para outros momentos lugares e pessoas, o estudo possuirá validade externa. Esta pode ser obtida pela replicação da pesquisa, testando-se a coerência entre os achados do estudo e os resultados de outras investigações semelhantes.

4.1.3.4

Fidedignidade

Os resultados de uma pesquisa de avaliação fidedigna são replicáveis: as conclusões podem ser generalizadas para além das condições especificas da pesquisa original. Para demonstrar que a avaliação é fidedigna, é preciso demonstrar que ela pode ser repetida ou replicada. Contudo, os pesquisadores raramente são recompensados por simplesmente repetir uma pesquisa, seja sua ou de autor. Replicações fiéis são menos criativas e interessantes que novas descobertas; conseqüentemente os investigadores acham difícil publicar trabalhos que replicam uma pesquisa anterior ou receber reconhecimento por eles. Replicar um resultado em uma situação diferente e com diferentes procedimentos é o mesmo que demonstrar que uma pesquisa de avaliação tem validade externa e pode ser generalizada para diferentes pessoas, lugares e condições. Replicações exatas de procedimentos e resultados demonstram que os resultados são fidedignos. Replicações conceituais de idéias e conclusões demonstram que a pesquisa tem validade externa.

73

4.1.4 Ameaças à Validade

Muitos fatores colocam em risco a validade interna de estudos de avaliação experimentais, entre os quais destacam-se (AIRASIAN et al., 1977): a) História: refere-se aos acontecimentos exteriores ao programa, método ou atividade de investigar, ocorridos durante o processo de avaliação, alterando seus resultados; b) Maturação: é o desenvolvimento natural, biológico, psicológico ou sociológico, que pode ocorrer durante o processo de avaliação; c) Instabilidade: é a falta de fidedignidade das medidas que vai causar flutuações nos escores, independentemente do programa, método ou atividade a ser em estudados; d) Testagem: diz respeito à influência da aplicação de um teste, em determinado momento, sobre a aplicação posterior do mesmo teste; e) Instrumentação: uma grande ameaça à credibilidade de uma avaliação são os instrumentos e procedimentos utilizados para a coleta de dados. Para reduzir essa ameaça é essencial estabelecer a validade e a confiabilidade das informações coletadas; f) Seleção: inclui aspectos tendenciosos, resultantes das diferenças entre os tipos de indivíduos recrutados para compor amostras ou grupos; g) Mortalidade experimental: consiste na perda de indivíduos em proporções diferentes quando a avaliação se vale de comparação de amostras; h) Regressão estatística: refere-se ao efeito decorrente da seleção de indivíduos com base em escores extremamente baixos ou altos em determinados instrumentos de

74

medida. Os escores situados nos extremos de uma distribuição não são fidedignos e no reteste observa-se, geralmente, que as pessoas que apresentam escores extremamente altos passam a produzir resultados mais baixos e daí a regressão em sentido descendente dos escores no teste; por outro lado, os que obtiveram escores extremamente baixos passam a apresentá-los relativamente mais altos, e daí a regressão em sentido ascendente. A falta de fidedignidade dos escores situados nos extremos da distribuição causam por si mesmos modificações nos resultados do reteste.

4.2 Requisitos do Processo de Avaliação

Avaliar é uma prática que permeia a vida humana; a todo instante avalia-se ou se é avaliado. Ajuízam-se as características de objetos e pessoas, que são ditos como incomuns ou vulgares, simples ou complicados, flexíveis ou rígidos, atraentes ou desinteressantes, e assim por diante. Embora medida e avaliação se complementem, elas guardam diferenças marcantes, que é preciso observar. Na mensuração, verifica-se a extensão, a quantidade, a massa ou grau de intensidade dos atributos de algum ser, comparando-se tais dados com determinada grandeza, adotada como unidade. Na avaliação, as pessoas atribuem um valor ao observado, conforme seus propósitos. O resultado na mensuração é um número igual para todos os examinadores, já o resultado da avaliação representa uma tomada pessoal de posição diante dos dados colhidos na realidade. Na avaliação há mais risco de erro que na medida, porque ela exige o julgamento de valor. Cada pessoa percebe e interpreta a realidade de acordo com a própria ótica que, por sua vez, depende da experiência de cada um. Dessa forma, as avaliações

75

refletem os quadros pessoais como referência. Daí a recomendação de apoiá-las o máximo possível com fatos. Dos dois processos, o mais complexo é a avaliação, porém ambos se subordinam aos fins visados, que condicionam: o ângulo a que o observador se situa; a ordem de prioridade dos valores que orientam o seu julgamento (quem avalia um quadro aprecia-o diferentemente de quem o pintou, de quem quer comprá-lo ou vendê-lo), e o grau de precisão exigido da medida. Sabe-se que algo pode ser muito valioso para uma pessoa (certo emprego, por exemplo no caso de quem depende inteiramente dele), mas secundário ou até indesejável para a outra, que aspira situação melhor (ou já a tem assegurada). Assim, antes de avaliar uma jóia, é preciso definir o que se pretende fazer dela para, a seguir, examinar os seus aspectos materiais. O valor final que lhe será atribuído vai depender de tudo isso, mas também do apreço que merece e da beleza nela percebida. Não raro o valor estimativo de um objeto supera os dados desapaixonados da medida. Daí define-se a avaliação como o processo de conferir valor a pessoas, objetos ou fatos, conforme se afigurem ao avaliador mais ou menos importantes (pertinentes, necessários, adequados, úteis, etc.) para os fins visados. Em razão disso, qualquer avaliação requer a explicitação prévia do seguinte: a) Os propósitos visados, ordenados por seu grau de importância para o caso; b) A definição funcional da característica a apreciar; c) Os valores que deverão orientar os julgamentos traduzidos nos critérios a adotar; d) A escala de propriedade desses valores ou, na prática, a hierarquização dos critérios que presidirão o julgamento.

76

Diversamente do processo metódico da avaliação, a opinião situa-se em uma esfera de intenso colorido afetivo, onde cada qual ouve somente o coração, e confia no seu próprio parecer. Com os requisitos estabelecidos, pode-se aplicá-los ao processo de avaliação de interfaces humano-computador, pois é antes de qualquer coisa um processo de avaliação.

4.3 Definição da Proposta para Avaliação de IHC

O processo de avaliação possui certos requisitos e certamente estes não podem ser desprezados no momento de avaliar uma interface. Nesse sentido podem ser definidas as seguintes etapas para o processo de avaliação de interfaces humano-computador, formando assim uma proposta de delineamento para avaliação: a) Definição dos objetivos da avaliação; b) Planejamento e definição do delineamento de avaliação; c) Determinação dos atributos de qualidade segundo os objetivos propostos; d) Determinação dos pesos dos atributos; e) Determinação de indicadores quantificáveis e mensuráveis para os atributos previamente estabelecidos; f) Determinação dos pesos dos indicadores; g) Determinação dos instrumentos de medida dos indicadores; h) Determinação da validade, fidedignidade e calibração dos instrumentos de medida; i) j) Determinação das escalas de referência; Validação do delineamento de avaliação;

77

k) Avaliação.

4.3.1 Definição dos Objetivos da Avaliação

A definição precisa dos objetivos facilita o processo de avaliação. É com a definição dos objetivos que se construirá o design do processo de avaliação, bem como os atributos que deverão ser considerados. A avaliação pode ser desenhada para comparar desempenho, fazer prognósticos, para prospecção de uma determinada linha de raciocínio, entre outras.

4.3.2 Planejamento e Definição do Delineamento da Avaliação

Aqui chama-se de delineamento o design, o planejamento da situação de avaliação. O delineamento deve contemplar os objetivos de forma a criar situações que permitam a sua verificação. Além disso, é preciso que o planejamento das situações de avaliação também permita a mensuração dos indicadores. Fazem parte do delineamento todas as etapas de avaliação, ou seja, desde a determinação dos objetivos até a efetivação do juízo de valor.

4.3.3 Determinação dos Atributos de Qualidade segundo os Objetivos Propostos

Todo processo de avaliação determina atributos para julgamento. No processo de avaliação de interfaces não é diferente; no entanto, o grande problema da avaliação de interfaces humano-computador é a definição dos atributos com a finalidade de contribuir para o cumprimento dos objetivos da avaliação. Os atributos têm de ser representativos no processo avaliatório. Ocorre que o processo de avaliação de interfaces é complexo, por envolver várias áreas de conhecimento e nem sempre os atributos são de fácil determinação e

78

mensuração. Por exemplo, o atributo: satisfação do usuário. Como definir satisfação? Como medir satisfação? Como definir níveis de medição de satisfação? Assim, é preciso muita cautela na determinação dos atributos.

4.3.4 Determinação dos Pesos dos Atributos

Uma vez determinados os atributos, é preciso realizar um balanceamento graças ao qual se possa verificar qual a contribuição de cada um deles para o processo de avaliação. Por exemplo: tomam-se como atributos de um processo de avaliação dois deles indicados pela norma 9241 – eficácia e eficiência. Pergunta-se: todos possuem o mesmo peso, ou seja, a mesma importância para o processo de avaliação de acordo com os objetivos a serem verificados? A eficácia é mais importante que a eficiência? É bem verdade que a determinação de qual atributo é mais importante, bem como quanto é mais importante, depende dos objetivos, e isso mostra a importância do planejamento do delineamento do processo de avaliação. Exemplificando, Pfleeger (2004) utiliza o termo importância para uma escala de pesos, com variação de 1 a 5, para cada atributo, em um estudo de caso sobre avaliação de ferramentas de projeto, conforme Anexo II.

4.3.5 Determinação dos Indicadores Quantificáveis e Mensuráveis

Muitos atributos não são quantificáveis e mensuráveis diretamente. Além disso, cabe destacar que mesmo indicadores qualitativos devem ser de alguma forma contabilizados para subsidiar o processo de avaliação. Quando não permitem a quantificação e mensuração de forma direta, os atributos devem ser explicitados em indicadores que possam atender, a esses requisitos. É possível que seja necessário em alguns casos discriminar indicadores, assim

79

como foi necessário fazer com os atributos até se chegar a indicadores quantificáveis e mensuráveis.

4.3.6 Determinação dos Pesos dos Indicadores

Assim como os atributos possuem certo grau de importância diante de seus pares, um atributo pode ser discretizado em vários indicadores, que podem receber contribuições diferenciadas para representar o atributo em questão. Dessa forma, cada indicador pode possuir um determinado peso diante de outros indicadores.

4.3.7 Determinação dos Instrumentos de Medida dos Indicadores

Medir significa atribuir magnitudes a certa propriedade de um objeto ou classe de objetos, de acordo com certas regras preestabelecidas e com a ajuda de um sistema numérico, de forma que sua validade possa ser comprovada empiricamente. Existem algumas características importantes quanto ao processo de medir. Em primeiro lugar, ele implica sempre um resultado numérico e não frases descritivas. Assim dizse que o processo de mensuração é sempre quantitativo. Em segundo lugar, apresenta-se em unidades relativamente constantes, desde que as condições de mensuração também o sejam. O sistema métrico é um exemplo dessa característica: no tempo em que o metro não existia, a jarda, o palmo, o pé etc serviam de medição e, evidentemente, não havia unidade constante, pois essa medida dependia das características das pessoas que realizavam tal procedimento (tamanho do braço, do pé, etc.) Essas implicações da medida levaram à busca da uniformidade.

80

Em terceiro lugar, especificamente no caso da psicologia, a medida é relativa por não dispor de um ponto zero absoluto, como certas variáveis físicas. Não existe um ponto zero de inteligência ou um ponto zero de aptidão, embora exista um ponto zero para a variável distância ou para a velocidade de um corpo em repouso. Dessa forma, é preciso exprimir os resultados em dependência de algum outro quadro de referência a média, por exemplo, que sirva, arbitrariamente, como ponto de partida. Se a mensuração é o processo de atribuir símbolos a objetos de acordo com as regras, os números atribuídos a esses objetos, ou eventos, devem representar quantidades de atributos. No intuito de esclarecimento, são definidos abaixo os principais termos: a) Símbolo: é o que representa o atributo medido. Exemplo: número, letra, palavra, etc; b) Objeto: elemento para o qual a mensuração se dirige. Exemplo: em psicologia, pessoas, animais, etc; c) Atributo: característica do objeto deduzida pela mensuração. Exemplo: inteligência, atitude, tempo de reação, satisfação; d) Instrumento: meio utilizado para medir o atributo do objeto. Exemplo: teste, polígrafo (detector de mentiras), questionário, etc; e) Regras: formulações previamente estabelecidas, indicadoras dos procedimentos para a atribuição de símbolos aos atributos dos objetos que determinam as relações entre o objeto e o símbolo. Exemplo: atribuição de percentil em um teste de inteligência de acordo com o número de pontos atingidos; f) Situação padrão: diz respeito ao controle de variáveis que podem interferir no resultado da mensuração, chamada medida. Exemplo: instruções padronizadas de aplicação de um teste de atributo.

81

A medida desempenha um papel fundamental na investigação científica, mas não é um fim em si mesma. Seu valor somente pode ser avaliado sob uma perspectiva instrumentalista, pois do contrário se exagera o valor atribuído aos números, concedendo-se atenção demasiada à objetividade, sem se considerar o que possa ser feito posteriormente com a medida. É como se o número tivesse um valor científico intrínseco. De acordo com Kaplan (1975), a essa distorção costuma-se denominar: “mística da quantidade”. De acordo com ERTHAL (2003), são quatro as funções que a medida desempenha: quantificação, comunicação, padronização e objetividade. Por quantificação entende-se que a medida permite uma descrição precisa do fenômeno. Considerando-se tudo que existe, existe em certa quantidade, uma descrição que inclua uma referência à magnitude com que o fenômeno se mostra é uma descrição mais completa e precisa, pois permite, inclusive, compará-lo com outros. A precisão será tão maior, quanto maior tiver sido o cuidado mantido na mensuração e quanto mais adequado tiver sido o símbolo. O símbolo que garante maior precisão é o número. A medida também permite uma melhor comunicação e porque condensa informações, é mais precisa e objetiva. Ao dizer que a medida de uma mesa é de três metros, não se precisa com isso dizer que a mesa é grande, pois isso já está implícito, uma vez que foge ao padrão. Pode ser um instrumento de padronização porque assegura a equivalência entre objetos com características diversas. O uso do percentil permite, por exemplo, a formalização na expressão dos resultados de um teste. Há uma unificação da linguagem, o que facilita a comunicação. A função da objetividade é a que permite classificações com menor ambigüidade.

82

Utilizam-se numerais para objetivar características que são diferentes, mas são próximas. Ao se empregar, em uma pesquisa, a expressão “idoso” em lugar de seu correspondente numérico relacionado à idade, a descrição torna-se cientificamente ambígua. Apenas classificações livres de ambigüidade podem permitir ao pesquisador enunciar leis sobre o que está medindo. Lembra-se, ainda, que é essencial a construção de um instrumento de medida, relacionando a sua fidedignidade com a sua validade. Como exemplo, tem-se a régua, que caso em sua construção, ela tiver os centímetros demarcados com imprecisão, será um instrumento fidedigno porque sempre replicará as mesmas medidas, mas não será válido porque suas medidas não estão corretas.

4.3.7.1

Tipos de Medidas

Existem dois tipos de medida: a fundamental e a derivada. A medida fundamental é aquela que é obtida como resultado da mensuração direta, ou seja:

“o atributo de um objeto é alcançado através de uma comparação simples e direta com outro objeto que apresenta uma quantidade padronizada dessa propriedade” (HAYS, 1970). Por exemplo, o peso e o comprimento podem ser medidos diretamente através de comparações com padrões. As características dos objetos mensurados através desse tipo de medida são chamadas extensivas. A medida derivada é o produto de uma operação de mensuração baseada em indícios que se supõe estarem relacionados com o atributo do objeto medido. Cita-se como exemplo, a temperatura de um objeto com mercúrio: o que diz que a temperatura está alta ou baixa é o movimento ascendente ou descendente do mercúrio, pois existe a comprovação de que, com

83

temperaturas altas, esse metal apresenta dilatação, o contrário ocorrendo com temperaturas baixas. As características dos objetos alcançados por essa medida são chamadas intensivas. A medida de fenômenos psicológicos é, em geral, do tipo derivado, e por isso é necessário estabelecer os indícios associados a essas medidas. Por exemplo: como medir moral de um grupo? A freqüência e rapidez com que o êxito é alcançado no desempenho de uma tarefa pelo grupo podem ser um índice adequado para uma medida derivada relativa à moral do grupo.

4.3.7.2

Dimensões a serem Medidas

As dimensões são chamadas atributos quando discretas (sexo, estado civil, etc.) e são chamadas variáveis quando são contínuas (peso, altura, etc.). A diferença entre uma dimensão contínua e uma dimensão discreta pode ser explicada quando se consideram altura e estado civil como exemplos. Teoricamente, pode-se passar de uma estatura a outra por gradações mínimas, e somente devido à imperfeição de instrumentos é que essas gradações são alcançadas. No caso do estado civil, não há grau intermediário entre um estado e outro. Suas categorias são qualitativamente distintas (solteiro, casado, etc.).

4.3.7.3

Classificação dos Instrumentos de Medida

De acordo com BABBIE (1999), existem, basicamente três técnicas de coleta de informações: a) Observação; Registros de comportamentos;

84

Escalas de classificação. b) Inquirição; Questionários: inventários, escala de atitudes e levantamento de opiniões; Entrevistas. c) Testagem. Testes não-padronizados; Testes padronizados. Algumas características sobre observações são relacionadas no Quadro 1. Quadro 1. Vantagens e Limitações de Observações. Observações Vantagens Limitações
Requer-se que um ou mais sua • Há alta credibilidade porque os acontecimentos são registrados no momento em que ocorrem por um individuo imparcial e capacitado; • Os observadores representam um ponto de vista distinto das pessoas mais próximas das • A presença do observador pode observadores atenção, período por voltem um para modificar os comportamento ou as situações; • Para que a observação seja imparcial, é necessário contar com indivíduos competentes e bem capacitados; • Elaboração capacitação do dos instrumento e

terminado certos

acontecimentos no momento em que estão ocorrendo. são Aos dadas

observadores

instruções detalhadas de como realizar a observação e como utilizar um instrumento elaborado para esse fim. Ou em uma observação não estruturada se pede que se observe e em seguida se escreva um relato do que ocorreu durante a

observadores

atividades do projeto.

demandam tempo; • Pode ser necessário fazer diversas observações; • Demanda-se a elaboração cuidadosa de um calendário

observação

Fonte: (Raupp e Reichle, 2003).

As principais vantagens e limitações dos questionários são demonstradas no Quadro 2.

85

Quadro 2. Vantagens e Limitações de Questionários. Questionários Vantagens Limitações
Questionários são instrumentos que apresentam a informação aos • É possível examinar vários aspectos de um projeto utilizando apenas um instrumento; • Por ser anônimo permite que o respondente seja sincero e expresse sua verdadeira opinião; • As perguntas são as mesmas para todos os respondentes; • Permite que o respondente reflita sobre a pergunta e a resposta; • Não inibe o respondente; • Permite utilização de folhas de • Não é tão flexível quanto a entrevista; • A maioria das pessoas se expressa melhor oralmente do que por escrito; • A informação pode ser

respondentes por escrito e pedem uma resposta escrita fechada ou aberta. As perguntas com respostas abertas ou fechadas (múltipla

escolha) podem incluir informação demográfica (idade, formação, tempo de experiência, etc.), informação

superficial; • Requer que o instrumento seja enviado ou entregue aos respondentes; • Muitas pessoas se

factual (liste ou selecione na lista abaixo as tarefas que você executa em um dia típico de trabalho) ou opiniões (você considera que seu gerente utiliza da melhor maneira as habilidades que você possui?) Aos respondentes são dadas instruções detalhadas instrumento. de como utilizar o

esquecem e devolver os questionários ameaçando preenchidos assim a

resposta próprias para a leitura ótica; • Baixo custo.

validade de informação.

Fonte: (Raupp e Reichle, 2003).

No Quadro 3 encontra-se aspectos que envolvem as entrevistas. Quadro 3. Vantagens e Limitações de Entrevistas. Vantagens Limitações
um • Entrevistas podem ser feitas por telefone e em horário conveniente para o • Demandam tempo e esforço, possuindo, assim, custo alto; • O entrevistador pode

Entrevistas
Entrevistas supõem

encontro entre duas ou mais pessoas durante o qual o às pelo perguntas

entrevistado e entrevistador; • Têm um alto grau de flexibilidade, pois permitem que o entrevistador explore caminhos adicionais; • Permitem aprofunde interesse; • Deixam mais a vontade pessoas que não de expressam bem por escrito; • Não há perda de sujeitos como ocorre com os questionários. que em o entrevistador de se

entrevistado perguntas entrevistador.

responde feitas As

influenciar as respostas do entrevistado; • Elaborar um protocolo de

podem ser predeterminadas e, nesse caso, um protocolo de entrevistas é elaborado, mas o entrevistador com a pode investigar

entrevistas é um processo complexo; • É necessário capacitar os

questões

maior

entrevistadores; • Transcrever a informação

maior

profundidade,

explorar temas interessantes ou esclarecer dúvidas surgidas.

obtida é uma tarefa muitas vezes árdua.

Fonte: (Raupp e Reichle, 2003).

86

4.3.8 Validade, Fidedignidade e Calibração dos Instrumentos de Medida

A utilização de instrumentos de medida em situações práticas requer a satisfação de pelo menos dois requisitos básicos: primeiramente, o instrumento de medida deve fornecer medidas confiáveis, de modo que se obtenham os mesmos resultados ao tornar a medir o atributo em condições similares às do objeto ou indivíduo em questão. Em segundo lugar, os instrumentos usados devem realmente medir aquilo a que se propõem. Os resultados obtidos por meio do instrumento de medida devem, então, ser reproduzíveis e significativos. Assim, quanto à fidedignidade tem-se o mesmo instrumento, aplicado ao mesmo grupo, em ocasiões iguais ou diferentes, possibilitando que uma avaliação possa ter confiabilidade nos resultados obtidos. Quanto à validade, observa-se a concordância de resultados obtidos por métodos muito diferentes no mesmo grupo. Na determinação da validade, a questão essencial é; Para quem e para que é válido o teste? Assim, sempre que possível, o teste deve ser validado na situação específica em que vai ser utilizado. Outro aspecto a ser assinalado é que uma alta fidedignidade não indica uma alta validade. A fidedignidade é condição necessária, mas não suficiente para que um instrumento seja válido.

4.3.8.1

Validade de Conteúdo

O teste é uma amostra do universo de observações em que se está interessado. A validade de conteúdo consiste no exame sistemático do conteúdo do teste, e tem por fim assegurar a representatividade dessa amostra, isto é, que todos os aspectos fundamentais do

87

comportamento sejam, adequadamente e em proporções corretas, abrangidos pelos itens do teste. A validade de conteúdo é muito utilizada em testes de rendimento escolar e profissional. É também utilizada na etapa inicial de elaboração de outros instrumentos objetivos.

4.3.8.2

Validade de Constructo, de Conceito ou Teórica

Os tipos de validade mencionados anteriormente são utilizados quando um teste vai ter uma aplicação prática. Algumas vezes, porém, o teste é analisado em termos de significado de seus resultados e expresso em conceitos psicológicos. Assim, ao invés de falar sobre os escores de uma pessoa em determinado teste, fala-se acerca de sua inteligência, aptidão mecânica, ansiedade, depressão etc. Estas são qualidades hipotéticas, denominadas constructos. A validade de constructo é, então, a demonstração de que o instrumento de medida avalia determinado constructo.

4.3.8.3

Validade Aparente

A validade aparente não é validade em sentido técnico, refere-se ao que o teste aparenta medir e não ao que realmente mede. Consiste em uma forma de adequação do material do teste ao seu objetivo, visando uma maior cooperação e motivação por parte dos dois sujeitos. Por exemplo: testes inicialmente elaborados para crianças e adolescentes, quando tiveram seu uso ampliado para adultos, sofreram resistência e crítica devido à falta de validade aparente. Assim, não é suficiente a validade objetiva ou científica para que o instrumento de medida funcione em situações práticas; é preciso, também, que o sujeito aceite como válidos os objetivos do teste, ou seja, sua validade aparente.

88

4.3.9 Determinação das Escalas de Referência

Escala de avaliação é um instrumento de medida psicológica, na qual, se ordenam aspectos qualitativos de indivíduos ou objetos, para que haja uma correspondência numérica. O avaliador deve posicionar o indivíduo ou objeto cujas características estão sendo julgadas em determinado ponto de um contínuo ou numa categoria pertencente a uma série ordenada de categorias. As medidas escalares são utilizadas mais freqüentemente na mensuração de atitudes, de traços de personalidade e nas avaliações de desempenho. Pfleeger (2004), para medir os principais aspectos dos produtos, processos e recursos e determinar a satisfação em relação aos objetivos de produtividade, desempenho, qualidade e outros atributos desejáveis, descreve uma escala de 1 a 5, para análise de características. Essa escala inicia em 1 caracterizando o atributo como “não satisfaz”, até atingir o nível 5 como “satisfaz completamente”. Um exemplo dessa escala é apresentado no Anexo II.

4.3.9.1

Tipos de Escalas de Avaliação

Em qualquer atividade que utilize o planejamento, os resultados obtidos são considerados bons desde que alcancem os objetivos propostos. Neste caso, utiliza-se um indicador daquilo que se havia estabelecido como desejável. O desafio está em expressar os objetivos de maneira que possam ser medidos e em selecionar os indicadores que demonstrem que se alcançou o nível que se desejava. a) Escala nominal: a medição nominal apenas distingue as categorias que compõem uma variável. Sexo, por exemplo, é uma variável composta das categorias

89

masculino e feminino. Outros exemplos são filiação religiosa, região do país e tipo de curso superior. As categorias que compõem uma variável nominal são mutuamente excludentes, não tem qualquer outra relação entre si; b) Escala ordinal: a medição ordinal reflete uma ordenação entre as categorias que compõem uma variável. Classe social é um exemplo de variável ordinal, geralmente composta das categorias: classe baixa, classe média e classe alta. Embora tais medidas sejam muitas vezes representadas por números num índice ou escala, estes números não têm outro significado além da indicação da ordem; c) Escala intervalar: A medição de intervalo também usa números para descrever condições, mas eles têm mais sentido do que na medição ordinal, porque as distâncias entre os pontos têm significado real. O exemplo mais comum é a escala de temperatura Fahrenheit. A diferença entre 80 e 90 graus é a mesma que a diferença entre 60 e 70 graus. Observe que na escala ordinal esta diferença não teria a mesma relação; d) Escala razão: a medição de razão tem as mesmas características da de intervalo, com a característica adicional de ter um zero real. Em comparação com a escala Fahrenheit (uma medida intervalar), a escala de temperatura Kelvin (baseada em graus de temperatura de zero absoluto) é uma medida de razão: enquanto 40 graus Fahrenheit não são necessariamente duas vezes mais quentes do que 20 graus Fahrenheit, 200 graus Kelvin são duas vezes mais quentes do que 100 Kelvins. Outros exemplos de escala de razão são: idade, altura, peso, tempo de moradia numa cidade, entre outros.

90

4.3.10 Validação do Delineamento de Avaliação

A validade do delineamento verifica se a situação criada para realizar o processo de avaliação é capaz de revelar as questões que surgem na busca dos objetivos. O método, ou caminho escolhido, deve ser capaz de mostrar as respostas que subsidiarão o processo de avaliação, deve além disso, criar situações e condições que possibilitem mensurar o processo. A validação do delineamento implica uma análise de toda a situação, bem como do método utilizado e sua capacidade de criar situações de quantificação e mensuração dos indicadores (também válidos) que formam a correspondência com o que se pretende elucidar, responder ou explicar. A Figura 10 sintetiza a proposta de avaliação de interfaces humano-computador mostrando suas etapas:

Etapas do Processo de Avaliação
Indicador: X Peso: X Atributo: X Peso: X Indicador: Y Peso: Y Instrumento Y Escala Y Instrumento X Escala X

. . .
Indicador: X Peso: X OBJETO Atributo: Y Peso: Y Indicador: Y Peso: Y Instrumento Y Escala Y Instrumento X Escala X AVALIAR

. . . . . .

- Criar - Validar - Certificar sua Fidedignidade - Calibrar

Figura 10 – Etapas do Processo de Avaliação

91

4.4 Aplicação da Proposta para Análise de Alguns Métodos de Avaliação de

Interface Humano-Computador

Atualmente muito se têm falado e escrito sobre o processo de avaliação de interfaces humano-computador. Conforme já descrito, acredita-se que esses métodos em sua grande maioria ainda não conseguem responder adequadamente ou cientificamente aos objetivos propostos. Para ilustrar essa assertiva analisar-se-ão alguns métodos que de certa forma são utilizados com grande freqüência e referidos na literatura, utilizando-se como base a proposta apresentada neste trabalho. Dentre diversos métodos ou técnicas apresentadas na literatura, nesta seção serão analisados os seguintes: a) A Norma 9241-11 de 2002 que trata de Requisitos Ergonômicos para o Trabalho de Escritórios com Computadores. Parte 11 – Orientações sobre Usabilidade (ISO, 2007); b) Avaliação heurística proposta por Nielsen (2006); c) Critérios ergonômicos propostos por Bastien e Scapin (1993).

4.4.1 Análise da Norma 9241-11/2002

4.4.1.1

Objetivo

O objetivo de projetar e avaliar computadores buscando usabilidade é dar condição aos usuários para que alcancem seus objetivos e satisfaçam suas necessidades em um contexto particular de uso. A ISO 9241-11 esclarece os benefícios que há em medir usabilidade no respeitante a

92

desempenho e satisfação do usuário. Esses são medidos pela extensão do alcance dos objetivos de uso pretendidos, pelos recursos gastos para alcançar os objetivos pretendidos e pelo tanto de uso do produto que o usuário considera aceitável (ISO, 2007). É importante destacar que a norma tem como objetivo principal a mensuração da usabilidade e para tanto enfatiza-se que se trata de medir a usabilidade no que diz respeito a desempenho e satisfação do usuário.

4.4.1.2

Características

Princípio utilizado para interpretar o processo de IHC: Usabilidade; Princípio de Avaliação referente ao Usuário: Centrada no Usuário; Tipo de Avaliação suportada: Empírica; Explicitação dos Atributos: Usabilidade; Indicadores: o Satisfação: Freqüência de uso; Freqüência de reclamações. o Eficácia: Porcentagem dos objetivos alcançados; Porcentagem de usuários que realizam tarefas com sucesso; Média da acurácia das tarefas completadas. o Eficiência Tempo gasto para completar uma tarefa; Tarefas completadas por unidade de tempo;

93

Custo monetário para realização da tarefa. Instrumentos de Medida: o Planilha de Observação; o Questionário de Opiniões; o Testes de Desempenho; o Entrevistas. Níveis de Medida: O avaliador deverá construir os níveis de medida para cada processo de acordo com as características do uso.

4.4.1.3

Análise

A Norma 9241-11 mostra-se consistente na sua proposta quanto ao aspecto formal do processo avaliatório, pois indica claramente seus requisitos, ou seja: explicita o principio da avaliação que é o da usabilidade e que sua mensuração será feita através de atributos. Porém, a norma é genérica e fala pouco sobre o rigor necessário para relacionar indicadores com o objetivo da avaliação e, também, sobre os instrumentos de medida e o delineamento escolhido para avaliação, nos quais o cuidado é importante para a validade e fidedignidade. Além disso, seus atributos devem ser discretizados em indicadores quantificáveis e mensuráveis. A Figura 11 ilustra uma síntese da análise.

94

Análise dos Indicadores: Norma 9241-11/2002
Freqüência de uso Peso: ? Satisfação Peso: ? Instrumento: X Escala: ?

Freqüência de reclamações Peso: ? Instrumento: X Escala: ?

Porcentagem dos objetivos alcançados I N D I C A D O R E S Peso: ? Eficácia Peso: ? Instrumento: X Escala: ?

Porcentagem de usuários realizando tarefas com sucesso Peso: ? Instrumento: X Escala: ?

Média da acurácia das tarefas completadas Peso: ? Instrumento: X Escala: ?

Tempo gasto para completar uma tarefa Peso: ? Eficiência Peso: ? Instrumento: X Escala: ?

?: significa ausência Instrumentos X: - Planilha de Observação - Questionário de Opiniões - Testes de Desempenho - Entrevistas

Tarefas completadas por unidade de tempo Peso: ? Instrumento: X Escala: ?

Custo monetário para realização da tarefa Peso: ? Instrumento: X Escala: ?

Figura 11 – Análise dos Indicadores da Norma 9241-11/2002

4.4.2 Análise das Heurísticas de Nielsen

4.4.2.1

Objetivo

Avaliação heurística, definida por Nielsen (2006), é um método de avaliação de usabilidade pela qual um avaliador procura problemas de usabilidade em uma interface com o usuário através da análise e interpretação de um conjunto de princípios ou heurísticas. Esse método de avaliação é baseado no julgamento do avaliador. Neste método é importante destacar o significado da palavra heurística que, segundo Ferreira (2004), é: metodologia, ou algoritmo, usado para resolver problemas por métodos que, embora não rigorosos, geralmente refletem o conhecimento humano e permitem obter

95

uma solução satisfatória. Por seu significado a palavra heurística indica que o método de avaliação de interfaces proposto por Nielsen (2006) não é rigoroso, ou seja, não é preciso e deve ser utilizado levando-se em conta esta premissa.

4.4.2.2

Características

Princípio utilizado para interpretar o processo de IHC: Usabilidade; Princípio de Avaliação referente ao Usuário: Centrada no Avaliador; Tipo de Avaliação suportada: Analítica; Explicitação dos Atributos: Usabilidade; Indicadores: o Visibilidade do status do sistema; o Compatibilidade do sistema com o mundo real; o Controle e liberdade do usuário; o Consistência e padrões; o Prevenção de erro; o Reconhecimento em vez de relembrança; o Flexibilidade e eficiência de uso; o Design estético e minimalista; o Ajudar os usuários a reconhecer, diagnosticar erros e saná-los; o Ajuda e documentação. Instrumentos de Medida: o Planilha de Observação.

96

Níveis de Medida: Nielsen (2007) cria uma regra que funciona como escala nominal aplicada a cada atributo. Essa regra é mostrada na Tabela 4. Tabela 4. Grau de Severidade dos Problemas de Usabilidade. Grau de Severidade dos Problemas de Usabilidade Grau de Tipo Descrição Severidade Sem importância Não afeta a operação da interface 0 Cosmético Não há necessidade imediata de solução 1 Simples Problema de baixa prioridade (pode ser reparado) 2 Grave Problema de alta prioridade (deve ser reparado) 3 Catastrófico Muito grave (deve ser reparado com urgência) 4 Fonte: Nielsen (2007)

4.4.2.3

Análise

Conforme as análises do conjunto básico de heurísticas de Nielsen (2006), numa avaliação, verifica-se a inexistência de alguns princípios essenciais para um bom desempenho, como a precisão e a exatidão, devendo esses princípios ser utilizados apenas de maneira prospectiva para indicar que caminho avançar com métodos mais rigorosos. Este método não possui a definição de instrumentos de medidas apropriados e não estabelece escalas para comparação, caracterizando-se como um método rudimentar que carece de validação desde seu delineamento até a definição dos instrumentos de medida. Por exemplo, o indicador “visibilidade do status do sistema”, sugere verificar essa qualidade, diretamente sem ressaltar a necessidade de questões básicas e importantes, como: a) Não demonstra o peso relacionado aos termos de seu indicador; b) O atributo não é mensurável, nem discretizado em indicadores; c) O indicador não é quantificável; d) Os instrumentos de medida são subjetivos, podendo comprometer sua validade e

97

sua fidedignidade. Complementando a análise das heurísticas, Nielsen (2007) apresenta uma escala relacionada à severidade de um problema de usabilidade. Para chegar até as escalas apresentadas, Nielsen (2007), baseia-se na freqüência, no impacto e na persistência do problema. No entanto, não se sabe até que ponto essas escalas apresentam um nível de validade em uma avaliação. E, ainda, a sua planilha de observação não apresenta validação, é de difícil interpretação e configura-se de baixa fidedignidade. A baixa fidedignidade significa que, aplicando-se a planilha por diversos avaliadores, os resultados são diversos e mostram assim variabilidade nos resultados do instrumento. É como se uma balança indicasse valores diferentes a cada vez que fosse utilizada, quando diversos avaliadores mensuram um mesmo objeto. Além disso, os indicadores não são precisos e quantificáveis o que depõe contra a fidedignidade. De acordo com a análise acima, fica evidente a falta de um esclarecimento mais detalhado, podendo ela dar com resultado uma avaliação não confiável. Pois, qual é a garantia de que uma mesma avaliação, baseada nessas heurísticas tenha o mesmo resultado quando feita por vários avaliadores, levando-se em consideração, que muitos itens ficam relacionados com o que cada pessoa entende. Essa confirmação é feita por Bastien e Scapin (1993), que, relatam que 5 avaliadores produzem relatórios com apenas 10% de diagnósticos idênticos, utilizando essas heurísticas. Acredita-se que o sucesso deste método se deve à pretensa facilidade de aplicação sendo aparado e utilizado por leigos ou iniciantes na área. É um processo modesto de avaliação ancorado em pálidos critérios de cientificidade.

98

Os detalhes da análise das heurísticas estão demonstrados na Figura 12.

Análise dos Indicadores: Heurísticas por Nielsen
Visibilidade do status do sistema Peso: ? Instrumento: X Escala: ?

Compatibilidade do sistema com o mundo real Peso: ? Instrumento: X Escala: ?

Controle e Liberdade do usuário Peso: ? Instrumento: X Escala: ?

Consistência e padrões Peso: ? Instrumento: X Escala: ?

INDICADORES

Prevenção de erro Peso: ? Instrumento: X Escala: ?

Reconhecimento ao invés de relembrança Peso: ? Instrumento: X Escala: ?

Flexibilidade e eficiência de uso Peso: ? Instrumento: X Escala: ?

Design estético e minimalista Peso: ? Instrumento: X Escala: ?

?: significa ausência

Ajudar os usuários a reconhecer, diagnosticar e recuperar de erros Peso: ? Instrumento: X Escala: ?

Ajuda e documentação Peso: ? Instrumento: X Escala: ?

Instrumentos X: - Planilha de Observação

Figura 12 – Análise dos Indicadores das Heurísticas de Nielsen

O exemplo de avaliação do Anexo I do projeto Oré, por Prates e Barbosa (2003), é uma afirmação desta análise. A primeira consideração do Quadro 3 do Anexo I é sobre a heurística violada: correspondência entre o sistema e o mundo real, que identifica um problema de gravidade 4 (catastrófico). A segunda heurística violada é o reconhecimento, que sua identificação foi como gravidade 3 (grave). Já a terceira heurística, é a correspondência entre o sistema e o mundo real. A grande dúvida sobre as três violações enquadradas na escala de gravidade de

99

Nielsen, é que, para chegar nesta escala, o autor não teve como auxílio nenhum indicador mais consistente, a não ser o seu próprio entendimento em relação a essas heurísticas. Isso pode comprometer o resultado de uma avaliação, por caracterizar subjetivismo.

4.4.3 Análise dos Critérios Ergonômicos Propostos por Bastien e Scapin

4.4.3.1

Objetivo

Os critérios ergonômicos definidos por Bastien e Scapin (1993), pesquisadores do INRIA (Institut National de Recherche em Informatique et em Automatique da França), têm por objetivo incorporar considerações de ergonomia dentro do processo de design e de avaliação da interface humano-computador. Sendo essas considerações vistas como definição e operacionalização de dimensões de usabilidade, para dar origem a um caminho de melhoria da finalização e exposição da diagnose de padronização do formato, e uma melhor documentação da avaliação. Neste método, a ênfase está na ergonomia apresentada pela interface de interação humano-computador.

4.4.3.2

Características

Princípio utilizado para interpretar o processo de IHC: Ergonomia; Princípio de avaliação em relação ao usuário: Modelização de IHC; Tipo de avaliação suportada: Analítica e Empírica; Explicitação dos atributos:

100

o Condução; o Carga de trabalho; o Controle explícito; o Adaptabilidade; o Gestão de erros; o Homogeneidade/coerência; o Significado dos códigos e denominações; o Compatibilidade. Indicadores: o Condução: Presteza; Agrupamento/distinção de itens: • • Por localização; Por formato.

Feedback imediato; Legibilidade. o Carga de trabalho: Brevidade: • • Concisão; Ações mínimas.

Densidade informacional. o Controle explícito: Ações explícitas do usuário; Controle do usuário.

101

o Adaptabilidade: Flexibilidade; Consideração da experiência do usuário. o Gestão de erros: Proteção contra erros; Qualidade das mensagens de erros; Correção de erros. o Consistência; o Significado dos códigos e denominações; o Compatibilidade. Instrumentos de medida: planilha de observação; Níveis de medida: o avaliador baseia-se nos conceitos de usabilidade e ergonomia.

4.4.3.3

Análise

Os atributos encontrados em Bastien e Scapin (1993), já possuem uma característica importante, que é o início da alternativa em discriminar os indicadores primários. Mas mesmo assim, encontra-se com uma certa subjetividade, dificultando uma possível mensuração. Isto pode comprometer uma avaliação; por isso faz-se necessário possibilitar que os indicadores sejam mensuráveis, para se criar em escalas. Dessa forma, resultará um processo de avaliação mais confiável. Esta análise permite identificar a falta de importantes componentes do processo de avaliação, relacionados no design elaborado por este trabalho, como: Determinação dos pesos dos atributos;

102

Indicadores mensuráveis; Determinação dos pesos dos indicadores; Escalas de referência. Segundo Cybis et al (1998), os princípios ergonômicos, por não serem processos algorítmicos e sua formulação ser o resultado de uma experiência coletiva acumulada pela comunidade de ergonomia e de IHC, que examinam as práticas bem ou mal sucedidas, são apresentados na forma de critérios, recomendações ou norma. Dessa forma, como são apresentados raramente, são associados a algum método de concepção e por isso, são altamente dependentes de quem os interpreta. Essa confirmação identifica a validade desta análise e destaca a importância deste estudo. A análise dos critérios ergonômicos é demonstrada graficamente na Figura 13.

103

Análise dos Indicadores: Critérios Ergonômicos por Bastien e Scapin
Presteza Peso: ? Condução Instrumento: X Escala: ? Escala: ? Escala: Por Localização Peso: ? Instrumento: X Por Formato Peso: ? Feedback Imediato Instrumento: X Peso: ? Legibilidade Peso: ? Instrumento: X Brevidade Escala: ? Escala: ? Instrumento: X Escala: ? Escala: Instrumento: X

Agrupamento / Distinção de Itens

Concisão Peso: ?

I N D I C A D O R E S

Carga de Trabalho

Ações Mínimas Peso: ? Instrumento: X Densidade Informacional Instrumento: X Peso: ? Escala: ? Escala: ? Escala: ?

Controle Explícito

Ações Explícitas do Usuário Instrumento: X Peso: ? Controle do Usuário Peso: ? Instrumento: X

Adaptabilidade

Flexibilidade Instrumento: X Escala: ? Peso: ? Consideração da Experiência do Usuário Peso: ? Instrumento: X Escala: ? Proteção Contra os Erros Peso: ? Instrumento: X Escala: ? Qualidade das Mensagens de Erros Peso: ? Instrumento: X Escala: ? Correção dos Erros Peso: ? Instrumento: X Escala: ?

Gestão de Erros

Consistência Instrumento: X Escala: ? Peso: ? Significado dos Códigos e Denominações Peso: ? Instrumento: X Escala: ? Compatibilidade Peso: ? Instrumento: X Escala: ?

?: significa ausência Instrumentos X: - Planilha de Observação

Figura 13 – Análise dos Indicadores dos Critérios Ergonômicos de Bastien e Scapin (1993).

104

105

5 CONCLUSÕES

O presente trabalho mostrou que o processo de avaliação é complexo e precisa de organização e planejamento para sua execução. Particularmente o processo de avaliação de interfaces humano-computador envolve fatores multidimensionais e exige, para sua execução, conhecimentos de ciência da computação, psicologia cognitiva, sociologia, design, entre outros. E também revelou que métodos de avaliação de interfaces largamente utilizados possuem grande subjetividade, uma vez que seus resultados não são replicáveis com precisão. Além disso, carecem de requisitos importantes indispensáveis a um processo avaliatório. E ainda, identificou que é possível mitigar a subjetividade através da utilização dos quesitos elementares de um genuíno processo de avaliação. Apresentou uma seqüência lógica de procedimentos capaz de orientar processos de avaliação de interfaces humano-computador e tornar preciso os resultados minimizando o erro e a subjetividade. Estes procedimentos são válidos para todos os tipos de avaliação e, se forem respeitados, trazem capacidade de replicação de resultados gerando estabilidade nas mensurações obtendo, portando fidedignidade, além do que, orienta a determinação segura dos atributos que devem compor o processo de avaliação e a criação de situações capazes de revelar indicadores precisos, mensuráveis e quantificáveis que visam a validade do processo.

5.1 Recomendações para Trabalhos Futuros

Os aspectos apresentados neste estudo foram sobre questões que envolvem a validade

106

e a fidedignidade de uma avaliação de IHC. Essas questões foram ressaltadas nos capítulos 3 e 4, assinalando conceitos para uma melhor consistência nas avaliações. Nesse aspecto, a sugestão para o complemento deste trabalho é relacionada a seguir.

5.1.1 Discriminar os Atributos em Indicadores

Como visto neste estudo, na maioria das avaliações existentes, para chegar a uma mensuração, deve-se discriminar seus atributos em indicadores. Uma das propostas para trabalhos futuros é em torno dos atributos das principais avaliações, devendo ser relacionados todos os atributos e divididos em partes menores, para que assim seja possível mensurá-los.

5.1.2 Criar Instrumentos e Escalas para os Indicadores

Outra sugestão para a continuação do estudo proposto é, a partir dos indicadores discriminados, criar instrumentos e escalas que possibilitem sua mensuração. Para a efetiva criação destes instrumentos será necessária a sua validação, certificação de fidedignidade e calibração.

107

REFERÊNCIAS
[Airasian et al, 1977] Airasian, P. W. et al; Avaliação educacional: planejamento, análise de dados, determinação de custos. Petrópolis: Vozes, 1977. [Babbie, 1999] Babbie, E.; Métodos de Pesquisas de Survey. Belo Horizonte: Editora da UFMG, 1999. [Bastien e Scapin, 1993] Bastien, C.; Scapin, D.; Human factors criteria, principles, and recommandations for HCI: methodological and standardisation issues. Internal Repport INRIA, 1993. [Bastien e Scapin, 1997] Bastien, C.; Scapin, D.; Ergonomic criteria for evaluating the ergonomic quality of interactive system. Behaviour and Information Technology 16 (4/5): 220-231, 1997. [Benyon , 1993] Benyon, D.; Adaptive Systems: A Solution to Usability Problems. Computing Department, Open University, Milton Keynes, MK7 6AA UK, 1993. [Cook e Campbell, 1979] Cook, T. D.; Campbell, D.T.; Quasi-experimentation: design and analysis issues for field settings. Chicago: Rand Mc Nally, 1979. [Cybis, 2003] Cybis, W. A.; Engenharia de Usabilidade: uma abordagem ergonômica, Florianópolis: Universidade Federal de Santa Catarina, 2003. [Cybis et al, 1998] Cybis, W. A. et al; Uma Abordagem Ergonômica para o Desenvolvimento de Sistemas Interativos, Florianópolis: Universidade Federal de Santa Catarina, 1998. [de Souza et al, 2001] de Souza, C. S. et al; Projeto de Interfaces de Usuário – Perspectivas Cognitivas e Semióticas. Rio de Janeiro, 2001. [Erthal, 2003] Erthal, T. C.; Manual de Psicometria. Rio de Janeiro: Jorge Zahar Ed., 2003. [Fernandes et al, 1996] Fernandes, F. et al; Dicionário Brasileiro Globo. 43 ed. São Paulo: Globo, 1996. [Ferreira, 2004] Ferreira, A. B. H.; Novo Dicionário Aurélio da Língua Portuguesa. 3 ed. Curitiba: Positivo, 2004.

108

[Fischer, 1998] Fischer, G.; "Beyond 'Couch Potatoes': From Consumers to Designers", Proceedings of the 3rd Asia Pacific Computer Human Interaction Conference, IEEE Computer Society, 1998. [Hoelzel, 2004] Hoelzel, C. G. M.; Design Ergonômico de Interfaces Gráficas HumanoComputador: Um Modelo de Processo, Florianópolis: Universidade Federal de Santa Catarina, 2004. [ISO, 2007] ISO 9241-11:1998; Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs), Part 11, Guidance on Usability. Disponível em: <http://www.inf.ufsc.br/~cybis/pg2003/iso9241-11F2.pdf>; acesso em: Abr. 2007 [Kaplan, 1975] Kaplan, A.; A conduta na pesquisa: metodologia para as ciências do comportamento. 2. ed. São Paulo: EPU, 1975. [LabIUtil, 2006] Laboratório de Utilizabilidade, ErgoList, Universidade Federal de Santa Catarina, <http://www.labiutil.inf.ufsc.br/ergolist/>; acesso em: jan. 2006. [Moran, 1981] Moran, T.; The Command Language Grammars: a representation for the user interface of interactive computer systems. International Journal of Machine Studies, 1981. [Nevo, 1986] Nevo, D.; The conceptualization of educational evaluation: An analytical review of the literature. House, Ernest R. (editor). New directions in educational evaluation. Philadelphia, USA: The Falmer Press, 1986. [Nielsen, 2007] Nielsen, J.; Severity Ratings for Usability Problems. Disponível em: <http://www.useit.com/papers/heuristic/ severityrating.html>; acesso em: 5 jan. 2007. [Nielsen, 2006] Nielsen, J.; Ten Usability Heuristics. Disponível <http://www.useit.com/papers/heuristic/heuristic_list.html>; acesso em: 10 dez. 2006. em:

[Nielsen e Mack, 1994] Nielsen, J. & Mack, R.; Usability inspection methods. EUA: John Wiley & Sons, 1994. [Oliver, 2001] Oliver, H..; Contribution à l’évaluation des logiciels multimédias pédagogiques, PhD Thesis, University of Technology of Compiegne, France, 2001. [Pfleeger, 2004] Pfleeger, S. L.; Engenharia de Software: teoria e prática. 2. ed. São Paulo: Prentice Hall, 2004.

109

[Prates e Barbosa, 2003] Prates, R.O.; Barbosa, S.D.J.; Avaliação de Interfaces de Usuário – Conceitos e Métodos. Anais do XXIII Congresso Nacional da Sociedade Brasileira de Computação. XXII Jornadas de Atualização em Informática (JAI). SBC’2003. Agosto de 2003. [Preece et al, 1994] Preece, J. et al; Human-Computer Interaction. Addison Wesley Longman Limited, England, 1994. [Raupp e Reichle, 2003] Raupp, M.; Reichle, A.; Avaliação: ferramenta para melhores projetos. EDUNISC, Santa Cruz do Sul, 2003. [Rocha e Baranauskas, 2000] Rocha, Heloisa V. da; Baranauskas, Maria C. C.; Design e avaliação de interfaces humano-computador. IME-SP, São Paulo, 2000. [Scriven, 1996] SCRIVEN, M.; Types of evaluation and types of evaluators. Evaluation Pratice, v. 1, n.13, 1996, p.151-161. [Sykes, 1990] Sykes, V.; Validity and Reliability in Qualitative Marketing Research : a Review of Literature. Journal of the Market Research Society, Vol. 32, nº 3, July, 1990. [Unicef, 1991] A UNICEF guide for monitoring and evaluation: making a difference? Evaluation Office, 1991. [Yin, 1989] Yin, R. K.; Case Study Research - Design and Methods. Newbury Park. Sage Publications, 1989.

110

111

ANEXOS

112

ANEXO I: Avaliação Heurística
Este anexo demonstra um exemplo de avaliação heurística aplicada no item Quadro de Avisos do site do Projeto Ore, elaborado por Prates e Barbosa (2003).

113

114

ANEXO II: Análise de Características
O anexo II apresenta uma tabela desenvolvida por Pfleeger (2004), com o exemplo de avaliação de ferramentas de projeto, com os valores e a importância dos critérios.

Avaliação de Ferramentas de Projeto: valores e importância de critérios Valores dos Critérios Atributo Ferramenta 1: Ferramenta 2: Ferramenta 3: t-OO-1 ObjectTool EasyDesign Boa interface com o usuário 4 5 4 Projeto orientado a objetos 5 5 5 Verificação da consistência 5 3 1 Casos de uso 4 4 4 Execução em UNIX 5 4 5 Pontuação 85 77 73

Importância 3 5 3 2 5

Escala dos Valores dos Critérios: 1 (não satisfaz) até 5 (satisfaz completamente). Escala da Importância: 1 a 5. Regra do Cálculo da Pontuação: multiplica-se a importância pelo valor atribuído a cada critério e, após, efetua-se a soma.