See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/271824067

Design of a Brazilian Portuguese Virtual Keyboard for People with Severe Motor
Disability

Conference Paper · October 2014

CITATIONS READS

4 279

4 authors, including:

Nirvana da Silva Antonio Pamela C Levy

FPF Tech FPF Tech
4 PUBLICATIONS   16 CITATIONS    7 PUBLICATIONS   65 CITATIONS   

SEE PROFILE SEE PROFILE

Rogério Caetano
FPF Tech - Fundação Des. Paulo Feitoza
12 PUBLICATIONS   33 CITATIONS   

SEE PROFILE

All content following this page was uploaded by Pamela C Levy on 20 January 2016.

The user has requested enhancement of the downloaded file.

 ActiveIris: Uma solução para comunicação alternativa e
autonomia de pessoas com deficiência motora severa
Pamela C. Levy, Nirvana S. Antonio, Thales R. B. Souza, Rogério Caetano, Priscila G. Souza
Núcleo de Tecnologias Assistivas - FPF Tech
Av. Danilo Areosa, 1170, Distrito Industrial, 69075-351, Manaus-AM, Brasil
{pamela.levy, nirvana.silva, thales.souza, rcaetano, pgomes}@fpf.br
ABSTRACT
Eyes movement detection has been broadly explored as an
alternative of computer interaction for people with physical
disabilities to interact with the computer. Nowadays,
accessibility products present a high cost for the user,
becoming impracticable for most of the target audience. In
this work, we present ActiveIris, an accessibility suite that
uses a common webcam to capture eyes movements and
integrates several functionalities. With a differentiated
interface, the suite facilitates the access to social networks,
mobile phone and internet navigation as a way of social and
educational inclusion and furthermore it promotes more
autonomy of the person with disability by enabling
residential environmental control. Initial tests show that
ActiveIris interface turns the tasks easier and faster when
compared to another interfaces.
Keywords
Iris tracking; Cursor controller; Assistive Technology;
Accessibility; Virtual Keyboard; Residential Environmental
Control.
ACM Classification Keywords
H.5.2. Information interfaces and presentation (e.g., HCI):
User Interfaces; H.5.m. Information interfaces and
presentation (e.g., HCI): Miscellaneous; I.4.8. Image
processing and computer vision: Scene Analysis---tracking.
RESUMO
A detecção do movimento dos olhos tem sido amplamente
explorada como uma alternativa para pessoas com
deficiência física interagirem com o computador.
Atualmente, produtos de acessibilidade apresentam um alto
custo para o usuário, tornando-se inviáveis para grande
parte do público alvo. Neste trabalho apresentamos o
ActiveIris, uma suíte de acessibilidade que utiliza uma
webcam comum para captar o movimento dos olhos e
integra diversas funcionalidades. Com uma interface
Permission to make digital or hard copies of all or part of this
work for personal or classroom use is granted without fee
provided that copies are not made or distributed for profit or
commercial advantage and that copies bear this notice and the full
citation on the first page. To copy otherwise, or republish, to post
on servers or to redistribute to lists, requires prior specific
permission and/or a fee. IHC'13, Brazilian Symposium on Human
Factors in Computing Systems. October 8-11, 2013, Manaus, AM,
Brazil. Copyright 2013 SBC. ISSN 2316-5138 (pendrive). ISBN
978-85-7669-278-2 (online).
diferenciada, a suíte facilita o acesso a redes sociais, celular
e navegação na internet como forma de inclusão social e
educacional e, além disso, promove maior autonomia da
pessoa com deficiência ao possibilitar o controle do
ambiente residencial. Testes iniciais mostram que a
interface do ActiveIris torna as tarefas mais fáceis e ágeis
quando comparada com outras interfaces.
Palavras-chave
Rastreamento da íris; Controlador de cursor; Tecnologia
Assistiva; Acessibilidade; Teclado virtual; Controle de
ambiente residencial.
INTRODUÇÃO
Neste mundo mergulhado em profundas e aceleradas
transformações, a chamada Tecnologia Assistiva (TA)
emerge como uma área do conhecimento e de pesquisa que
tem se revelado como um importante horizonte de novas
possibilidades para maior autonomia e inclusão social da
pessoa com deficiência. Por meio da TA, pessoas com
graves limitações físicas são capazes de realizar tarefas que,
até recentemente, lhes eram inalcançáveis. O computador,
uma poderosa ferramenta de trabalho e canal de
comunicação, proporciona novas possibilidades às pessoas
com deficiência física. Para garantir que estas
possibilidades sejam efetivadas, é extremamente importante
a disponibilização de produtos de acessibilidade que
potencializem plenamente as capacidades de cada usuário.
Muitas pessoas com deficiência física não conseguem
utilizar o mouse ou o teclado se estes não forem
modificados ou adaptados. Dar um clique com o botão do
mouse, por exemplo, pode ser uma tarefa muito difícil ou
mesmo impossível para alguns em função de suas
dificuldades de coordenação física fina, ou por causa de
alterações anatômicas em seus membros superiores.
Pessoas com deficiência física severa, como os pacientes
afetados pela Esclerose Lateral Amiotrófica (ELA), cujo
controle muscular voluntário do corpo foi atingido,
geralmente conservam a capacidade intelectual intacta e
vivem literalmente o drama da prisão pessoal, uma vez que
só podem interagir com o mundo através do movimento dos
olhos e das pálpebras [4]. O acesso a recursos tecnológicos,
ao computador e à internet deve deixar de ser percebido
como algo apenas opcional ou secundário. É um direito
fundamental da pessoa com deficiência o uso de
ferramentas que proporcionam a inclusão educacional,
42
social e produtiva através do aprendizado, comunicação,
trabalho, diversão, entre outros.
A tendência atual é o desenvolvimento de ferramentas
adaptativas altamente tecnológicas para ajudar as pessoas
com deficiência a viver de forma mais independente [7].
Podem ser encontrados diversos trabalhos na área de TA
cujo objetivo é solucionar problemas específicos para
voltados para deficiência física severa [17, 25]. Entre as
soluções propostas, encontram-se aplicativos que facilitam
a navegação na internet [13, 22] e a comunicação
alternativa [2, 10], que muitas vezes são por meio de
teclados virtuais [11, 19, 23] otimizados para o acesso que
utilizam sistemas de rastreamento ocular.
Grande parte das soluções de TA não são adaptados à
realidade do nosso país, pois além do alto custo associado à
importação e ao preço do produto, estes aplicativos não
possuem suporte à língua portuguesa. Este trabalho propõe
a Suíte de Acessibilidade ActiveIris, cujo principal objetivo
é proporcionar às pessoas com os mais diversos graus de
limitação física nos membros superiores um meio de acesso
ao computador através do movimento dos olhos, porém de
maneira não intrusiva, fácil utilização e, principalmente,
baixo custo.
O ActiveIris conta com uma interface centralizada e
unificada, podendo ser usada mesmo por usuários com
pouco conhecimento em informática. A suíte permite maior
autonomia do deficiente físico ao facilitar a utilização de
redes sociais, do celular e o controle de equipamentos
eletrônicos do seu ambiente residencial. O movimento do
cursor é baseado na análise das imagens dos olhos
capturadas por uma webcam e o clique é realizado a partir
dos piscados.
O trabalho está organizado da seguinte maneira:
inicialmente são apresentados os principais conceitos e
trabalhos relacionados a rastreamento da íris e controle de
ambiente residencial. Em seguida, as funcionalidades e
principais características do ActiveIris são explanadas. Os
resultados de testes com alguns usuários são apresentados e
discutidos. Por fim, a conclusão é apresentada com algumas
observações e sugestões de trabalhos futuros.
REVISÃO BIBLIOGRÁFICA
Rastreamento da Íris
O rastreamento dos olhos de forma robusta, precisa e não
intrusiva, é um passo importante para o desenvolvimento de
aplicações de TA baseada em Interfaces Homem-
Computador (IHC). Existem técnicas intrusivas, como as
que utilizam eletrodos na face [15, 21, 25] e técnicas não
intrusivas que evitam contato físico com o usuário [2].
Além disso, a literatura classifica as técnicas de
rastreamento ocular em duas categorias: ativa e passiva
[39]. O método ativo é baseado em iluminação
infravermelho (IR) e o passivo utiliza apenas a imagem da
câmera.
IHC 2013 Proceedings ▪ Full Papers
O método de rastreamento ocular ativo consiste em
determinar a posição do olhar por meio da relação entre o
movimento da pupila e a reflexão da luz IR pela córnea [1].
Este método é aplicado na maioria dos produtos comerciais,
pois alcança resultados precisos mesmo com a interferência
da iluminação ambiente. Contudo, é necessário um emissor
de luz IR e a posição da câmera não é flexível, sendo
muitas vezes acoplada à cabeça do usuário (head-mounted)
como um capacete [10, 17].
Em relação aos métodos de rastreamento passivo, existem
alguns propostos na literatura: baseado em modelos
(template matching) [1, 12, 28, 37], baseado em aparência
(padrões) [39, 29], baseado em características (cor,
intensidade, contorno) [24, 27]. Porém, a maior parte dos
métodos passivos não é aplicada em cenas ativas, ou seja,
cenas onde há o movimento da cabeça e da câmera [1].
O método de rastreamento ocular desenvolvido neste
trabalho utiliza uma webcam comum de baixo custo e não
necessita de iluminação IR. Além disso, permite um
movimento livre da cabeça e a câmera não necessita estar
acoplada na mesma.
Controle de Ambiente Residencial
Recentemente, tem-se observado um crescimento
tecnológico de aplicações relacionadas ao controle de
ambiente para aumentar a independência de pessoas com
deficiência. Denominam-se Eletronic Aids for Daily Living
(EADLs) os dispositivos que facilitam a operação de
aplicações elétricas em um dado ambiente para pessoas com
deficiência física severa [14].
Muitos EADLs foram desenvolvidos nas últimas décadas,
como em [6], que utiliza um sistema baseado em sinal IR
para controlar várias funções de uma aplicação. No entanto,
o sinal IR é facilmente bloqueado por obstáculos.
Recentemente, Yang et al [34, 35] desenvolveram um
sistema de controle de ambiente baseado em rádio
frequência (RF) para o ambiente residencial. A
comunicação RF resolve o problema direcional apresentado
pela transmissão IR, contudo o dispositivo controlado deve
ser modificado pela adição de um módulo RF. Observa-se
também que o consumo de energia de um módulo RF é
muito elevado para ser alimentado por bateria.
A definição da tecnologia a ser empregada no ActiveIris
deve levar em consideração o baixo consumo de energia de
forma que os módulos possam ser alimentados por bateria.
Uma tecnologia diferenciada em comunicações sem fio é o
ZigBee. Baseado no padrão Open Systems Interconnection
(OSI) de sete camadas, o ZigBee define um protocolo de
comunicação de uma rede sem fio com baixa taxa de
transferência, baixo consumo e curto alcance [38]. Entre as
tecnologias baseadas em ZigBee, encontram-se as redes de
sensores sem fio [9, 26, 32, 36]. Em [20], foi implementada
uma unidade de controle remoto universal com ZigBee para
controlar vários aplicações eletrônicas residenciais
diferentes.
43
Em muitas aplicações da tecnologia ZigBee, o tempo total  Interação com o ambiente residencial;
em que o dispositivo sem fio está em atividade é bem
 Interação com o celular;
limitado. O dispositivo passa a maior parte do tempo no
modo de economia de energia, também conhecido como  Funcionalidades customizadas como: tamanho
sleep mode. Podemos ver na Figura 1, um quadro diferenciado dos botões, posicionamento ajustável das
comparativo entre ZigBee, Bluetooth e WiFi. ferramentas e botões na barra, entre outros.

Figura 2 – Principais funcionalidades do ActiveIris.

Figura 1 – Comparação entre os padrões

ZigBee, Bluetooth e WiFi.
Fonte: Adaptado de Farahani [8].
Na Suíte de Acessibilidade ActiveIris, o sistema de
automação residencial foi desenvolvido utilizando um
método de controle remoto integrado, combinando
comunicação sem fio ZigBee com transmissão IR. Deste
modo, o problema direcional da transmissão IR é resolvido
sem a necessidade de modificar o equipamento controlado.

SUÍTE DE ACESSIBILIDADE ACTIVEIRIS

A Suíte de Acessibilidade ActiveIris é um conjunto de
aplicativos que agrega diversas funcionalidades com o
objetivo de possibilitar a utilização plena do computador
por pessoas com deficiência física. A partir do movimento
dos olhos, que é captado e processado pelo controlador de
cursor, é possível manipular um teclado virtual, navegar na
internet, acessar as redes sociais, controlar o ambiente
residencial e interagir com o celular na tela do computador,
conforme o esquema apresentado na Figura 2.
De maneira geral, as principais funcionalidades
proporcionadas pelo ActiveIris podem ser divididas nas
seguintes categorias:
 Interação com o computador através do controlador de
cursor;
 Interação com o teclado por meio de um teclado virtual;
 Interação com a web proporcionada por acesso rápido ao
navegador padrão, ferramenta de busca, visualização de
feeds de notícias (RSS) e exibição do clima atual e
previsão do tempo; Figura 3 – Suíte de Acessibilidade ActiveIris
 Interação social ao acessar as redes sociais Twitter e O software da Suíte de Acessibilidade ActiveIris foi
Facebook; desenvolvido em linguagem de programação Java, podendo

IHC 2013 Proceedings ▪ Full Papers 44

ser executado tanto em ambiente Windows quanto em na nova ROI diminui para 0,04 segundos. Esta ROI, como
ambiente Linux. Um dos principais focos durante o mostra a Figura 6, assume uma largura e altura um pouco
desenvolvimento do aplicativo foi apresentar ao usuário maior que a região dos olhos localizada no último quadro
uma interface gráfica especialmente elaborada para facilitar processado. Caso não se tenha localizado os olhos no
o controle de cursor por meio dos movimentos oculares. quadro anterior, a busca é reiniciada na região que
compreende o quadro inteiro até que a posição dos olhos
A Figura 3 mostra em detalhe a Suíte de Acessibilidade
seja detectada novamente.
ActiveIris, a qual possui a forma de uma barra vertical que
pode ser alocada na lateral esquerda ou direita da tela
(Figura 4), minimizando o espaço ocupado pelo software. O
acesso aos aplicativos é realizado através de botões que
Figura 5 – Par de olhos detectado.
possuem dimensão diferenciada de forma a aumentar a área
de clique sobre eles. Além dos botões representando as
funcionalidades citadas anteriormente, há um espaço
reservado para exibição de feeds de notícias, visualização
do clima e na parte inferior é apresentada a imagem do
usuário capturada pela câmera, fornecendo um feedback Figura 6 – ROI para a localização do par de olhos.
visual sobre o rastreamento da íris.
Um algoritmo de limiar adaptativo para a binarização da
imagem foi implementado na etapa de detecção da pupila.
A componente vermelha (R - Red) do espaço de cor RGB
(Red Green Blue – vermelho verde azul) é utilizada como
uma imagem na escala de cinza (greyscale), conforme
mostra a Figura 7a, e um filtro de suavização (blur) é
aplicado para reduzir os ruídos.

Figura 7 - Detecção da pupila e da íris. (a) Imagem do olho em

escala de cinza. (b) Imagem binária do olho. (c) Contorno do
objeto selecionado como pupila em verde e localização do
Figura 4 – ActiveIris em execução no computador centro de massa em azul. (d) Localização da íris.

Controlador de cursor Após aquisição da imagem binária (Figura 7b), filtros

A implementação de um método confiável de rastreamento morfológicos e de área são utilizados para remover os
da íris é fundamental para a interação dos movimentos dos ruídos e objetos pequenos. O objeto, definido como pixels
olhos com o computador. O algoritmo desenvolvido neste pretos conectados, que apresentar o valor de circularidade
trabalho compreende as etapas de localização do par de mais alto é definido como pupila (Figura 7c). Para a
olhos, detecção da pupila e identificação do centro da localização da íris, o centro de massa deste objeto é
pupila (íris). O código foi desenvolvido em linguagem C++, calculado. Na Figura 7d, o ponto branco na imagem
utilizando a biblioteca de visão computacional OpenCV (do representa a íris detectada.
inglês Open Source Computer Vision) [18]. Rastreamento da íris para diferentes resoluções
Para a localização do par de olhos, foi aplicada a e distancias da câmera
implementação de [5] integrada ao OpenCV, que estende o Resolução 30 cm 60 cm 90 cm
método em cascata proposto por Viola e Jones [30]. Este Detecta com
640x320 Detecta Não detecta
método utiliza características simples de Haar (assim deficiência
chamadas porque são calculadas de forma similar aos Detecta com
800x448 Detecta Não detecta
coeficientes das Transformadas Wavelets de Haar) e um deficiência
conjunto de classificadores interligados em cascata. A Detecta com
Figura 5 ilustra a região com o par de olhos localizado pelo 1280x800 Detecta Detecta
deficiência
método empregado. Após a primeira localização dos olhos,
Tabela 1 – Planilha de avaliação da detecção da íris em
que é realizada na região que envolve todo o quadro
diferentes resoluções de captura
capturado, as demais buscas se realizam em uma nova
região de interesse (ROI – Region of Interest) de tamanho Para uma detecção mais robusta da íris, a resolução dos
reduzido, com o objetivo de diminuir o tempo de quadros a serem capturados pela webcam foi definida por
processamento, pois a busca em um quadro inteiro é de meio de uma análise qualitativa de várias imagens da região
aproximadamente 0,3 segundos, enquanto que a detecção do olho obtidas de quadros com três resoluções diferentes

IHC 2013 Proceedings ▪ Full Papers 45

combinadas com três distancias entre o usuário e a câmera.
O algoritmo de rastreamento da íris foi aplicado para cada
combinação, como mostra a Tabela 1. A resolução adotada
neste trabalho foi de 1280x800, pois garante a detecção
para uma distância confortável entre o usuário e a câmera.
A detecção do piscado é realizada simultânea a detecção da
íris, como em [33]. Ao capturar os olhos fechados, o objeto
que representa a pupila na imagem binária assume a forma
apresentada na Figura 8, onde a razão entre altura e largura
é menor que a observada quando o olho está completamente
aberto (Figura 7c). Quando esta razão é menor que um
limiar de 0,35 (estabelecido experimentalmente) e este tipo
de objeto é detectado em quadros consecutivos por um
tempo maior que 1,5 segundos, considera-se que um
piscado foi realizado.
semelhante à proposta em [19] e aplicando conceitos de
frequência de utilização das teclas, conforme abordado em
[11, 16]. Inicialmente, com o intuito de minimizar o esforço
de deslocamento entre um ponto e outro da tela, a tecla
correspondente ao espaço ficou situada no centro do teclado
de forma a ficar o mais equidistante possível das demais
teclas. Como pode ser visto na Figura 9a, próxima à posição
central, foram colocadas as letras que aparecem com maior
frequência nas palavras da língua portuguesa, como as
vogais e as letras R, S e M. Nas posições mais distantes da
tecla espaço foram colocadas as letras menos acessadas,
como K, W e X. Além do posicionamento por frequência de
utilização, foram dispostas próximas umas das outras as
letras que compõem as terminações onde a vogal é seguida
de R ou S, como “-ar”, “-er”, “-ir”, “-as”, “-es”, etc, e as
teclas M, P e B, obedecendo à regra gramatical, onde o M é
escrito antes de P e B.

Figura 8 – Captura do piscado e imagem binária resultante.

Para determinar a direção do movimento do cursor, é
necessário mapear um ponto de referência dos olhos em
relação à tela. Esta referência é definida quando o usuário
olha para o centro da tela na etapa de calibração do sistema
e, posteriormente, é utilizada para determinar os possíveis
movimentos do cursor em relação a esta posição central,
assim como em [21]: para cima, para baixo, para a esquerda
e para a direta. Assim, ao olhar para uma destas direções, o
controlador de cursor envia um comando para o sistema
operacional que realiza um movimento contínuo na direção
detectada. Este movimento é interrompido apenas quando
um piscado é detectado ou quando uma mudança de
movimento ocorre. Quando o cursor está parado, a detecção
de um novo piscado realiza o clique correspondente ao
botão esquerdo do mouse.

Teclado Virtual
A interação do usuário com o computador por meio dos
olhos exige um método alternativo de entrada de caracteres
para substituir o teclado convencional. Normalmente, os
sistemas operacionais fornecem seu próprio teclado virtual
como forma de acesso alternativo ao computador. Este
teclado, porém, apresenta a mesma configuração de teclas
que um teclado físico, sendo o QWERTY o exemplo mais
conhecido pelos usuários.
Conforme analisado em [19], teclados virtuais com layouts
projetados inicialmente para teclados convencionais podem
sobrecarregar o usuário na tarefa de “digitar” com os olhos,
pois o processo torna-se mais lento e cansativo devido a
características como disposição, dimensão e espaçamento
entre as teclas. Figura 9 – Teclado Virtual do ActiveIris. Em (a) a disposição
geral do teclado alfabético, em (b) os caracteres especiais, em
O ActiveIris propõe um teclado virtual (Figura 9) (c) o teclado numérico e em (d) as teclas de acentuação gráfica.
adaptando a disposição inicial de teclas de maneira

IHC 2013 Proceedings ▪ Full Papers 46

Complementando as ferramentas necessárias para o usuário
redigir um texto, o teclado também apresenta botões que
exercem as funções de Tab, Capslock, Shift, Apagar (ou
Backspace) e Enter na parte superior e botões de atalho
para caracteres especiais, teclado numérico e acentuação,
conforme podem ser observados na Figura 9b, na Figura 9c
e na Figura 9d, respectivamente.
A Figura 10 ilustra a versão expandida do teclado virtual,
que pode ser acessada através dos botões verticais
localizados nas laterais da interface. Nesta versão, funções
adicionais para manipulação de texto ficam disponíveis nas
abas laterais.
Na interface para o Facebook é possível visualizar a linha
do tempo (ou timeline), onde são exibidas atualizações de
status dos amigos, o mural, que contém apenas os
compartilhamentos do usuário, o perfil e a lista de amigos.
Na interface do Twitter, a timeline do usuário é apresentada
de forma semelhante a do Facebook. Ao lado de cada tweet
são exibidos os botões representando as ações de responder
e retweet (RT). Além da timeline, podem ser acessadas as
menções ao usuário, mensagens diretas, trending topics e
lista de amigos.

Figura 10 – Teclado Virtual Expandido do ActiveIris.

Na aba esquerda, são exibidas cinco sugestões de palavras
que são atualizadas à medida que o usuário “digita” uma
letra. Ao clicar na sugestão desejada, o teclado insere
automaticamente as letras que faltam para completar a
palavra selecionada. As palavras que compõem as sugestões
são armazenadas em um banco de palavras e possuem um
contador de frequência de uso. Desta forma, palavras mais
usadas pelo usuário aparecem no topo da lista.
Na aba direita, estão disponíveis teclas correspondentes às
setas de navegação e botões que auxiliam nas tarefas de
Figura 11 – Interface para as redes sociais Facebook e Twitter.
selecionar, copiar, colar e recortar. Estas ferramentas foram
incluídas no teclado virtual devido à dificuldade de executar Controle de Ambiente Residencial
operações como a seleção de trechos de texto com o cursor Controlar o ambiente de forma simples é um dos requisitos
e a ativação simultânea de teclas, como é o caso dos básicos de um sistema de automação residencial. Neste
comandos Ctrl + C, Ctrl + V e Ctrl + X. contexto, o módulo de controle de ambiente do ActiveIris
consegue unir usabilidade à praticidade tanto no controle da
Redes Sociais Facebook e Twitter
iluminação quanto na interface com equipamentos
Atualmente, as redes sociais de relacionamento online
eletrônicos.
tornaram-se populares meios de integração social, porém a
interação com estes sites de relacionamento a partir de um Uma pessoa com deficiência física severa não consegue
navegador de internet apresenta-se como uma difícil tarefa controlar a iluminação do ambiente e manipular a TV ou o
a ser realizada por meio da movimentação dos olhos, pois ar condicionado por meio do um controle direcional
exige maior precisão em ações como o clique em links. tradicional sem a ajuda de terceiros. Para vencer esta
barreira física e tecnológica, é necessária uma solução de
Como forma de facilitar a integração social de pessoas com
baixo consumo de energia que possibilite não só o
deficiência física, o ActiveIris proporciona acesso as
acionamento remoto de cargas, como também resolva o
principais redes sociais utilizadas no Brasil atualmente:
problema do controle direcional. Conforme visto
Facebook e Twitter. Após associar a conta de usuário do
anteriormente, o ActiveIris integra a tecnologia ZigBee aos
Facebook ou Twitter à Suíte, a pessoa pode ter acesso a
equipamentos e interruptores no ambiente do usuário. Neste
uma interface diferenciada, conforme mostra a Figura 11.
sentido, o módulo de controle de ambiente foi projetado
Entre as facilidades proporcionadas pela interface de redes
para comunicar-se com vários dispositivos através de uma
sociais do ActiveIris, destaca-se o uso de botões com uma
base central conectada ao computador, conforme mostra o
maior área de clique para inclusão de comentários em feeds
esquema da Figura 12.
de amigos, envio de novas mensagens ou fotos.
Através de uma comunicação sem fio, a base envia
comandos para os módulos que estão associados a cada

IHC 2013 Proceedings ▪ Full Papers 47

dispositivo que se deseja controlar. Estes receptores podem
atuar de forma direcional, no caso de dispositivos que
utilizam IR, como TV, DVD e ar condicionado, ou não
direcional, para interruptores de iluminação e dispositivos
de acionamento de cargas, como ventilador.
Figura 12 – Solução para controle de ambiente do ActiveIris.
Com a base central conectada ao computador, o usuário do
ActiveIris terá acesso aos dispositivos conectados a ela
através do botão “Controle de Ambiente”, como pode ser
visto na Figura 3. Existem três módulos de controle de
dispositivos: módulo IR, módulo de iluminação e módulo
de acionamento.
Figura 13 – Interface para controle de ambiente residencial
O módulo IR funciona em duas etapas:
 Configuração: Nesta etapa, o usuário utiliza o controle
remoto do equipamento específico para configurá-lo. Ao
pressionar a tecla Power, direcionando o controle para
um receptor IR localizado na base central, o sinal é
reconhecido.
 Operação: Ao receber o comando do usuário através da
Suíte, a base central comunica-se com o módulo IR
específico que emite o sinal para o equipamento. A
Figura 13 ilustra a interface de controle da TV, onde o
IHC 2013 Proceedings ▪ Full Papers
usuário é capaz de ligar/desligar, aumentar/diminuir o
volume ou canal e inserir o número do canal desejado
usando o teclado numérico.
O módulo de iluminação funciona como um interruptor
paralelo, também conhecido como “Three way”, ou seja, a
lâmpada pode ser acionada tanto pela interface de
iluminação do ActiveIris (Figura 13) quanto pelo seu
interruptor físico.
Para o módulo de acionamento, exemplificado pelo
ventilador na Figura 13, é possível realizar a interrupção ou
o fornecimento de energia do equipamento.
Interação com o celular
A interação com o celular é realizada por meio de um
aplicativo instalado no aparelho. Este aplicativo foi
desenvolvido na plataforma Android e se comunica com o
computador através de uma rede sem fio. Através do botão
“Telefone”, que pode ser acessado na Suíte, o usuário pode
buscar todos os aparelhos que estão conectados na mesma
rede sem fio local e possuem o aplicativo instalado. Ao
selecionar o aparelho desejado, é possível acessar as
seguintes funcionalidades (Figura 14):
 Enviar, receber e apagar mensagens de texto (SMS);
 Acessar a agenda telefônica;
 Realizar e receber ligações;
 Visualizar listas de chamadas recebidas, discadas e
perdidas;
 Outras informações, como nível da bateria do celular,
potência do sinal e status da conexão do celular com o
computador.
Figura 14 – Interface para interação com o celular. (a) Agenda
de contatos. (b) Teclado para discagem. (c) Lista de chamadas.
(d) Visualização de mensagens de texto.
48
RESULTADOS E DISCUSSÃO para cada teclado, como mostra a Tabela 3. A quantidade
Para avaliar a solução proposta para interface do Facebook mínima de botões para escrever a frase utilizando o teclado
e do Teclado Virtual do ActiveIris, foram realizados testes virtual do ActiveIris é de 42 e para o VirtualKeyboard é de
iniciais de usabilidade sem o uso das mãos. Os testes foram 39, ou seja, os usuários que apresentam valores superiores a
executados por oito voluntários divididos em três níveis de estes cometeram erros durante a “digitação”.
experiência (iniciante, intermediário e avançado) no uso de
teclados virtuais. Após os testes, cada usuário respondeu De acordo com os dados apresentados na Tabela 3, apesar
um questionário de avaliação. de necessitar de mais teclas para formar a frase, grande
parte dos usuários levou menos tempo para completar a
O primeiro teste consistiu em cronometrar o tempo para tarefa e cometeu uma quantidade menor de erros utilizando
realizar uma atividade no Facebook usando tanto o o teclado do ActiveIris, pois afirmaram que a disposição e o
navegador de internet quanto a Suíte de Acessibilidade. A tamanho das teclas contribuiu para o bom desempenho.
tarefa envolveu curtir e comentar uma postagem presente na
linha do tempo do usuário. A Tabela 2 apresenta os tempos Tempo (segundos) Botões pressionados
de execução em segundos para cada pessoa, sendo P1 um Usuário Virtual Virtual
ActiveIris ActiveIris
usuário com deficiência física nos membros superiores. Keyboard Keyboard
Além destes resultados, no questionário preenchido pelos P1 249 156 41 42
voluntários, 75% afirmaram que se sentiram mais
P2 183 164 45 50
confortáveis ao utilizar o Facebook através da Suíte.
P3 390 312 43 46
Entre os usuários avaliados, apenas P5 realizou a tarefa
mais rápido no navegador, o que indica que a interface para P4 309 229 58 52
Facebook tornou a atividade proposta mais ágil. Todos os P5 297 170 44 42
usuários afirmaram que a maior dificuldade encontrada foi P6 307 330 42 51
efetuar o posicionamento do cursor sobre o link “Curtir” no
navegador. Por outro lado, o tamanho dos botões e das P7 393 256 60 44
áreas clicáveis na interface do ActiveIris facilitou a tarefa. P8 431 352 44 47
Tempo para curtir e Tabela 3 – Comparação entre o teclado virtual do ActiveIris e
Experiência comentar uma postagem o teclado VirtualKeyboard para escrever uma frase.
Usuário com teclados no Facebook (segundos)
virtuais Com base no nível de experiência na utilização de teclados
Navegador ActiveIris
virtuais, foi calculada a média de tempo gasto no segundo
P1 Avançado 155 94 teste, conforme mostra o gráfico da Figura 15. Vale
ressaltar que o usuário P3 não foi considerado nos cálculos,
P2 Avançado 67 45
pois, diferente dos demais usuários, utilizou a função de
P3 Avançado 164 161 clique automático do controlador de cursor, que consistiu
P4 Intermediário 130 84 em aguardar 2 segundos para executar cada clique. Para o
ActiveIris, foi verificado que os usuários gastaram em
P5 Intermediário 92 98 média 312 segundos no nível iniciante, 199 segundos no
P6 Iniciante 166 153 nível intermediário e 160 segundos no nível avançado. Em
relação ao VirtualKeyboard, o tempo médio para realizar a
P7 Iniciante 227 114
tarefa foi de 377 segundos para iniciantes, 303 segundos
P8 Iniciante 123 93 para intermediários e 216 segundos para avançados.
Tabela 2 – Comparação entre o tempo que o usuário levou
para curtir e comentar uma postagem no Facebook utilizando
o navegador e o ActiveIris.
O segundo teste teve como objetivo avaliar o teclado virtual
do ActiveIris. O desempenho na utilização deste teclado foi
comparado ao desempenho dos usuários ao utilizar outro
teclado virtual com configuração QWERTY. Para este
teste, foi selecionado o teclado VirtualKeyboard [31]
desenvolvido pela Universidade de Lleida (UdL).
Por meio dos teclados virtuais selecionados, cada pessoa
escreveu a frase “A taça é nossa, somos tetracampeões!”, a Figura 15 – Nível de experiência relacionado ao tempo médio
qual possui 36 caracteres. O tempo de “digitação” e a para escrever uma frase com os teclados virtuais testados.
quantidade de botões pressionados foram contabilizados

IHC 2013 Proceedings ▪ Full Papers 49

Através do gráfico da Figura 15, pode ser observado que o
teclado do ActiveIris proporcionou uma execução mais
rápida da tarefa quando comparado ao VirtualKeyboard,
independente da experiência do usuário. Outro ponto que
pode ser destacado é a redução do tempo que o usuário leva
para realizar a tarefa à medida que aumenta sua experiência.
CONCLUSÃO
Este trabalho propôs uma solução tecnológica para
amenizar as grandes limitações e dependências enfrentadas
por pessoas com deficiência física severa. Nas últimas
décadas, inúmeras pesquisas na área de TA foram
realizadas com o objetivo de facilitar a comunicação e
interação do usuário com o mundo. Entre as soluções mais
promissoras está o controle por meio do rastreamento dos
olhos. A Suíte de Acessibilidade ActiveIris utiliza-se desta
forma de interação homem-computador para proporcionar à
pessoa com deficiência o acesso à ferramentas de
comunicação social, como as redes sociais de
relacionamento e o celular; educação e trabalho, com um
teclado virtual adaptado para uso através do movimento dos
olhos; controle de ambiente residencial, entre outros.
Comparado a outros tipos de sistemas controlados pelo
movimento dos olhos, o ActiveIris apresenta-se como uma
aplicação não intrusiva e de baixo custo. Além disso, é um
sistema flexível, pois não se limita apenas a usuários com
deficiência física severa, podendo ser utilizado por pessoas
com dificuldade de comunicação ou de acesso ao teclado e
mouse.
Os resultados obtidos nos testes demonstram que as
interfaces do Facebook e do teclado virtual do ActiveIris
tornam as tarefas mais fáceis e ágeis quando comparadas
com uma interface alternativa, como o navegador de
internet e o teclado virtual com configuração QWERTY. A
interface do Facebook facilita o acesso a links como
“Curtir” e “Comentar”, pois possui maior área de clique
para estas opções. No teclado virtual, o tamanho maior das
teclas ameniza os erros do usuário e a disposição das
mesmas torna a “digitação” do texto mais ágil.
Como trabalhos futuros, pretende-se:
 Inserir outras funcionalidades do mouse como clique
duplo, clique com o botão direito e “clicar e arrastar”;
 Implementar outros tipos de teclados virtuais, como o
teclado por varredura, necessário para pessoas que
possuem movimento limitado dos olhos;
 Integrar módulos de consulta a sinais biológicos para
auxiliar no acompanhamento médico;
 Implementar ferramentas voltadas para o público infantil;
 Consultar os níveis de bateria dos módulos de forma a
alertar quando o mesmo estiver com pouca carga;
 Consultar o nível de potência do sinal recebido através do
Received Signal Strength Indicator (RSSI) para decidir a
IHC 2013 Proceedings ▪ Full Papers
melhor localização dos módulos de controle, evitando a
perda de pacotes de comunicação;
 Coletar variáveis do ambiente para identificar a condição
de conforto térmico do usuário e autoconfigurar o sistema
de ar condicionado.
AGRADECIMENTOS
Os autores gostariam de agradecer à FINEP e ao CNPq pelo
apoio financeiro, ao designer Bruno Lopes pelo
desenvolvimento da interface gráfica do aplicativo e aos
voluntários da FPF Tech por sua ajuda nos testes realizados
para este trabalho.
REFERÊNCIAS
1. Akashi, T., Wakasa, Y. e Tanaka, K. Using Genetic
Algorithm for Eye Detection and Tracking in Video
Sequence. In Systemics, Cybernetics and Informatics,
vol. 5, 2 (2007), 72-79.
2. Bacivarov, I., Ionita, M. e Corcoran, P. Statistical
Models of Appearance for Eye Tracking and Eye-Blink
Detection and Measurement. In IEEE Trans. on
Consumer Electronics, vol. 54, 3 (2008), 1312-1320.
3. Biswas, P. e Samanta, D. Friend: A Communication Aid
for Persons with Desabilities. In IEEE Trans. on Neural
Systems and Rehabilitation Engineering, vol. 16, 2
(2008), 205-209.
4. Cassemiro, C. R. e Arce, C. G. Comunicação visual por
computador na esclerose lateral amiotrófica. In Arquivos
Brasileiros de Oftalmologia, v. 67 (2004), 295-300.
5. Castrillón-Santana, M., Déniz-Suárez, O., Antón-
Canalís, L. e Lorenzo-Navarro, J. Face and Facial
Feature Detection Evaluation: Performance Evaluation
of Public Domain Haar Detectors for Face and Facial
Feature Detection.
6. Ciarcia, S. A. Build a Trainable Infrared Master
Controller. Byte, vol. 12 (1987), 113-123.
7. Cook, A. M. e Polgar, J. M. Cook & Hussey’s Assistive
Technologies: Principles and Practice, (2008).
8. Farahani, S. ZigBee Wireless Networks and
Transceivers, (2008).
9. Figueiredo, M., Nakamura, E., Ribas, A., Souza, T. R.
B. e Barreto, R. S. Assessing the Communication
Performance of Wireless Sensor Networks in
Rainforests. In IFIP Wireless Days, vol. 1 (2009), 1-6.
10. Galante, A. e Menezes, P. A Gaze-based Interaction
System for People with Cerebral Palsy. In Conf. on
Enterprise Information Systems and Technologies/ Intl.
Conf. on Health and Social Care Information Systems
and Technologies, (2012), 895-902.
11. Ghosh, S., Sarcar, S., Sharma, M. K. e Samanta, D.
Effective Virtual Keyboard Design with Size and Space
Adaption. In Proc. IEEE Students’ Technology
Symposium, (2010), 262-267.
50
 12. Katada, T., Kobatake, M., Yoshimura, Y., Mizukami,
Y., Wakasa, Y., Akashi, T. e Tanaka, K. A
Communication System Using Eye Gaze. In Proc. Intl.
Conf. on Instrumentation, Control and Information
Technology, (2005), 3466–3469.
13. Kumar, M. e Winograd, T. Gaze-enhanced Scrolling
Techniques. In Proc. Symposium on User Interface
Software and Technology, (2007).
14. Litte, R. Electronic Aids to Daily Living. In Phys. Med.
Rehabil. Clin. N. Am., vol. 21 (2010), 33-42.
15. Lv, Z., Wu, X., Li, M. e Zhang, D. A Novel Eye
Movement Detection Algorithm for EOG Driven Human
Computer Interface. In Pattern Recognition Letter, vol.
31 (2010) 1041-1047.
16. MacKenzie, I. S. e Zhang, S. X. The Design and
Evaluation of a High Performance Soft Keyboard. In
Proc. Conf. on Human Factors in Computing Systems,
(1999).
17. Mascarenhas, I. C., Oliveira, S. C. e Fontana, E.
Desenvolvimento de Aplicativo Gráfico para uso de
Sistema de Rastreamento Ocular por Portadores de
Deficiência Motora Severa. In Proc. XXIII Congresso
Brasileiro em Eng. Biomédica, (2012), 1536-1540.
18. OpenCV. http://opencv.org/about.html.
19. Panwar, P., Sarcar, S. e Samanta, D. EyeBoard: A fast
and accurate eye gaze-based text entry system. In IEEE
Proc. 4th Intl. Conf. on Intelligent Human Computer
Interaction, (2012), 1-8.
20. Park. W. K., Han, I. e Park, K. R. ZigBee Based
Dynamic Control Scheme for Multiple Legacy IR
Controllable Digital Consumer Devices. In IEEE Trans.
Consumer Electronics, vol. 53 (2007), 172-177.
21. Postelnicu, C., Girbacia, F. e Talaba, D. EOG-based
Visual Navigation Interface Development. In Proc.
Expert Systems with Applications, vol. 39 (2012) 10857-
10866.
22. Porta, M. e Ravelli, A. WeyeB, an Eye-Controlled Web
Browser for Hands Free Navigation. In Proc. 2nd Conf.
on Human Systems Interations, (2009), 210-215.
23. Prabhu, V. e Prasad, G. Designing a Virtual Keyboard
with Multi-Modal Access for People with Disabilities.
In Proc. World Congress on Information and
Communication Technologies, (2011), 1133-1138.
24. Rikert, T. D. e Jones, M. J. Gaze Estimation using
Morphable Models, in Proc. Intl. Conf. on Face &
Gesture Recognition, (1998), 436–441.
25. Rocha, L. A. A., Naves, E. L. M., Soares, A. B., Morere,
Y., Pino, P. e Bourhis, G. Interface Homem Máquina
Aplicada à Comunicação Alternativa de Pessoas com
IHC 2013 Proceedings ▪ Full Papers
View publication stats
Deficiências Motoras Graves. In Proc. Congresso
Brasileiro em Eng. Biomédica, (2012), 692-695.
26. Ruiz-Garcia, L., Barreiro, P. e Robla, J. I. Performance
of ZigBee-based wireless sensor nodes for real-time
monitoring of fruit logistics. In Journal of Food
Engineering, vol. 87 (2008), 405-415.
27. Stiefelhagen, R. e Yang, J. Gaze Tracking for
Multimodal Human-Computer Interaction. In Proc.
IEEE Intl. Conf. on Acoustics, Speech, and Signal
Processing, vol. 4, (1997), 2617–2620.
28. Tan, H., Zhang, Y. e Li, R. Robust Eye Extraction using
Deformable Template and Feature Tracking Ability. In
Proc. Intl. Conf. on Information, Communications and
Signal Processing, vol. 3 (2003), 15-18.
29. Valenti, R. e Gevers, T. Accurate Eye Center Location
throught Invariant Isocentric Patterns. In Proc. IEEE
Trans. on Pattern Analysis and Machine Intelligence,
vol. 34, 9 (2012), 1785-1798.
30. Viola, P. e Jones, M. Robust real-time object detection.
In Intl. Journal of Computer Vision, vol. 57, 2 (2004),
137-154.
31. VirtualKeyboard. http://robotica.udl.cat.
32. Wheeler, A. Commercial Applications of Wireless
Sensor Networks using ZigBee. In Proc. IEEE
Communications Magazine, vol. 45, 4 (2007), 70-77.
33. Wu, J., Trivedi, M. M. An Eye Localization, Tracking
and Blink Pattern Recognition System: Algorithm and
Evaluation. In ACM Trans. on Multimedia Computing,
Communications and Applications. Vol. 6, 2 (2010).
34. Yang, C. H., Chuang, L. Y., Yang, C. H. e Luo, C. H.
Environmental Control Aid System for People with
Physical Disabilities. In Proc. IEICE Trans. Inf.
Systems, (2006), 1948-1954.
35. Yang, C. H., Chuang, L. Y., Yang, C. H. e Luo, C. H.
Morse Code Application for Wireless Environmental
Control Systems for Severely Disabled Individuals. In
IEEE Trans. on Neural Systems and Rehabilitation
Engineering, vol. 11, 4 (2003), 463-469.
36. Yick, J., Mukherjee, B. e Ghosal, D. Wireless Sensor
Network Survey. In Computer Network, vol. 52 (2008),
2292-2330.
37. Yuille, A., Hallinan, P. e Cohen, D. Feature Extraction
from Faces Using Deformable templates. In Intl.
Journal of Computer Vision, vol. 8, 2 (1992) 99-111.
38. ZigBee Specification. (2008), www.zigbee.org.
39. Zhu, Z. e Ji, Q. Robust Real-Time Eye Detection and
Tracking under Variable Lighting Conditions and
Various Face Orientations. In Computer Vision and
Image Understanding, vol. 98 (2005), 124–154
51