JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617

HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 28

Integration of Expert System Technology Into

VoiceXML-Based Systems
Oyelami M. Olufemi, Uwadia C. Onuwa, and Akinwale A. Taofeek

Abstract— VoiceXML-based systems are dialogue systems that users interact with using either dual tone multi frequency key input or
speech. These systems are generally limited in their level of intelligence, capability and sophistication essentially because the language they
are built with is a markup language. However, previous work have successfully integrated intelligent component technologies into these sys-
tems so as to enable them generate and understand natural language. This work investigated the viability of building expert systems with
VoiceXML. In achieving the objectives of this work, the VoiceXML architecture was augmented with expert system component technology.
VoiceObjects Desktop for Eclipse was used to develop a dialogue system for diagnosing diseases, and Java expert system shell was used as
the intelligent expert system component technology. The result shows that expert system technology can be seamlessly integrated into
VoiceXML-based systems thereby making these systems smarter, more sophisticated and enhancing their capability. This kind of system is
useful in Africa where the ratio of doctors to citizens is abysmally low, but where the use of mobile phone is on the rise, as a means of aug-
menting healthcare delivery.

Index Terms— Diagnosis, Expert System, Jess, VoiceXML.

——————————  ——————————

1 INTRODUCTION

V oiceXML is  a  markup  language  for  specifying  inter‐

active voice dialogues between a human and a com‐
puter  [1],  [2],  [3].  VoiceXML  standard  requires  provision 
marily  using  natural  language  dialogue.  These  systems 
have been used for a wide range of applications including 
[7], [8], [9]: 
of speech recognition and text‐to‐speech (TTS), but not of  i. Encouraging screening tests; 
any  natural  language  processing  (NLP)  techniques  such  ii. Reminding  of  patients  of  scheduled  appoint‐
as  natural  language  understanding  (NLU),  natural  lan‐ ments and medication adherence; 
guage generation (NLG), or natural language knowledge  iii. Monitoring of clinical indicators; 
representation  [4].  The  standard  does  not  also  support  iv. Educating  patients  about  chronic  disease  man‐
expert systems [1].   agement; 
From the works of  Rouillard, [2] and Marta et al. [5], it  v. Screening of diseases. 
is  evident  that  previous  works  have  successfully  inte‐ Of  particular  interest  are  health  dialogue  systems  for 
grated  intelligent  components  into  VoiceXML‐based  sys‐ screening  diseases.    Giorgino  et  al.  observed  that  these 
tems  to  make  them  intelligent  to  handle  NLU  and  NLG.  health  dialogue  systems  for  screening  diseases  make  use 
This work is, however, concerned with the integration of  of  state‐based  dialogue  technology  in  which  a  simple  se‐
intelligent component technology suitable for expert sys‐ ries of questions that are scaled (clinical rating scales) are 
tems into VoiceXML‐based systems to make them smarter  used  to  determine  if  a  user  has  a  disease  or  not  [10].  It 
and  to  enhance  their  capability  and  utility.  In  achieving  has,  however,  been  reported  that  clinical  rating  scales 
this  objective,  the  paper  proposes  the  integration  of  an  have  clinometric  shortcomings  in  that  they  have  pro‐
intelligent  component  suitable  for  building  expert  sys‐ duced  incorrect  conclusions  [11],  [12].  This  compels  the 
tems  into  health  dialogue  systems  to  enable  them  diag‐ need  for  an  approach  that  emulates  the  intelligent  prob‐
nose diseases based on expert knowledge.   lem‐solving behaviour of physicians in the process of di‐
As  defined  by  Bickmore  and  Giorgino  [6],  health  di‐ agnosing  diseases.  Oxford  Concise  Medical  Dictionary 
alogue  systems  (HDS)  are  Interactive  Voice  Response  describes  diagnosis  as  determining  the  nature  of  a  dis‐
(IVR)  systems  whose  primary  purpose  is  to  provide  order by considering patient’s signs and symptoms [13]. It 
health  communication  with  patients  or  consumers  pri‐ involves  reasoning  based  on  expert  knowledge  to  deter‐
mine the nature of illness.   
———————————————— The existing HDSs for screening diseases are tradition‐
 M. O. Oyelami is with the Department of Computer and Information al IVR systems. Traditional IVR systems cannot be used to 
Sciences, Covenant University, Ota, Nigeria. build expert systems. With the advent of VoiceXML, how‐
 C. O. Uwadia is with the Department of Computer Science, University of
Lagos, Akoka, Nigeria. ever,  dialogue  systems  can  also  be  developed  with  the 
 A. T. Akinwale is with the Department of Computer Science, University of language instead of using the proprietary traditional sys‐
Agriculture, Abeokuta, Nigeria.
tems. But VoiceXML does not also support expert systems 
development.  To  make  the  language  suitable,  it  must  be 
JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617
HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 29

augmented  with  an  expert  system  component.  This  is  3 VOICEXML

important because it will enhance the capability of dialo‐
gue  systems.    In  this  paper,  we  show  that  dialogue  sys‐ VoiceXML (VXML) is the W3Cʹs standard XML format for 
tems  could  be  made  smarter,  and  that  VoiceXML  can  be  specifying  interactive  voice  dialogues  between  a  human 
used  to  build  expert  systems.  This  is  shown  by  the  inte‐ and a computer [1], [3]. AT&T, IBM, Lucent Technologies, 
gration  of  Java  Expert  System  Shell  (Jess)  into  health  di‐ and  Motorola  created  VXML  1.0  in  a  joint  effort  to  pro‐
alogue systems to enable them diagnose diseases.  mote  the  technology.  VXML  is  the  HTML  of  the  voice 
web, the open standard markup language for voice appli‐
2 LITERATURE REVIEW cations. The language describes the human‐machine inte‐
Rouillard  proposed  and  implemented  a  web  service  ap‐ raction provided by voice response systems, and its scope 
proach that couples a traditional VoiceXML platform with  includes [1]: 
an  independent  system  of  voice  recognition  to  increase   Output of synthesized speech (text‐to‐speech). 
VoiceXML’s  capacities  of  understanding  that  enables  a   Output of audio files. 
user  to  pronounce  a  sentence  initially  not  configured  at   Recognition of spoken input. 
the  VoiceXML  grammar  level  [1].  Marta  et  al.  proposed   Recognition of DTMF input. 
the  integration  of  intelligent  components  technologies   Recording of spoken input. 
(natural  language  and  discourse  management)  in  voice   Control of dialog flow. 
web  interfaces  to  make  them  smarter.  The  authors  de‐  Telephony features such as call transfer and dis‐
scribe how reusable components of dialogue management  connect. 
and language processing in a multilingual voice system to  However,  the  language  being  a  markup  language  is  not 
improve  its  friendliness  and  portability  were  integrated  suitable for building expert systems because this does not 
[5].  Mundt  et  al.  used  touch‐tone  IVR  to  screen  for  de‐ fall within its scope. As such, the language lacks the facili‐
mentia  disease  using  Clinical  Dementia  Rating  Scale.  It  ties for such kinds of systems. 
was  concluded  that  computer‐automated  telephone  3.1 Features of VoiceXML Platform
screening  for  early  dementia  was  feasible  and  that  such 
A  VoiceXML  platform  is  the  foundation  for  developing 
systems  could  provide  wide‐scale,  cost‐effective  screen‐ and  operating  voice  automation  applications.  During  the 
ing, education, and referral services to patients and care‐ human‐computer  interaction,  it  executes  the  commands 
givers  [7].  Kim  and  Bracha  also  used  touch‐tone  IVR  to  and  logic  specified  by  applications  written  in  VoiceXML. 
screen  depression  among  high‐risk  perinatal  women.  It also provides the speech processing capabilities (speech 
Consenting subjects used a phone in a private clinic room  recognition,  speech  synthesis,  voice  authentication,…). 
to  complete  an  IVR  version  of  the  Edinburgh  Postnatal  VoiceXML platform architecture is based on HTTP proto‐
Depression Scale (EPDS) [8]. IVR systems have also been  col, and uses both phone and Internet networks. The doc‐
used  to  encourage  screening:  Polinski  et  al.  used  IVR  to  ument  server  (Web  server)  is  often  connected  to  a  data‐
encourage  bone  mineral  density  (BMD)  testing  that  is  base  which  the  user  can  question  and  update  [2].    Fig.  1 
used  to  diagnose  osteoporosis  [9].  Corktrey  et  al.  used  below shows the VoiceXML architecture. 
IVR to encourage cervical screening [17]. Crane et al. used   
IVR  intervention  to  promote  screening  mammography 
among low‐income women [18]. In addition, IVR systems 
have been used to remind patients of scheduled appoint‐
ments and medication adherence [19], [20], [21], [22], [23], 
[24].  
Although  dialogue  systems  have  been  used  for 
screening diseases using clinical rating scales, it has how‐
ever,  been  found  that  the  clinical  rating  scales  they  used 
have clinometric shortcomings [11], [12]. This necessitates 
the  need  for  an  approach  that  simulates  the  problem‐
solving behaviour of physicians when diagnosing diseas‐
es. In addition, although intelligent component technolo‐
gies  have  been  successfully  integrated  into  VoiceXML‐
based systems to handle NLU and NLG, this work, how‐
ever,  investigated  the  viability  of  integrating  an  expert   
system component into VoiceXML‐based systems to make 
them smarter and enhance their capability.  Fig. 1. VoiceXML architectural model 
 
JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617
HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 30

A document server (e.g. a Web server) processes requests   Engaging  users  through  audio  prompts  that  are 

from  a  client  application,  the  VoiceXML  interpreter,  either pre‐recorded or synthesized from text (TTS 
through  the  VoiceXML  interpreter  context.  The  server  – Text To Speech);  
produces  VoiceXML  documents  in  reply,  which  are   Collecting  and  validating  responses  either 
processed  by  the  VoiceXML  interpreter.  The  VoiceXML  through  DTMF  or  through  voice  (ASR  –  Auto‐
Interpreter  Context  may  monitor  user  inputs  in  parallel  matic Speech Recognition). 
with the VoiceXML Interpreter. The implementation plat‐ 3. Retrieving the VoiceXML pages and fetching associated 
form  is  controlled  by  the  VoiceXML  Interpreter  Context  sub‐components. 
and the VoiceXML Interpreter. For instance, in an interac‐ 4. Interpreting VoiceXML content: Interpretation of VXML 
tive voice response application, the VoiceXML Interpreter  content  is  done  by  a  voice  browser.  A  voice  browser  is 
Context  may  be  responsible  for  detecting  an  incoming  composed of an interpreter which parses VoiceXML doc‐
call,  acquiring  the  initial  VoiceXML  document,  and  ans‐ uments and interfaces to access to external resources (Au‐
wering the call, while the VoiceXML Interpreter conducts  tomatic  speech  recognition  (ASR),  Text  to  speech  (TTS), 
the  dialogue  after  answer.  The  implementation  platform  DTMF recognition, Call handling). 
generates  events  in  response  to  user  actions  (e.g.  spoken  The application server hosts the application. It accepts the 
or  character  input  received,  disconnect)  and  system  HTTP request from the voice browser and sends dynami‐
events  (e.g.  timer  expiration).  Some  of  these  events  are  cally generated VXML pages as response. The application 
acted  upon  by  the  VoiceXML  Interpreter  itself,  as  speci‐ server  also  implements  the  business  logic,  accesses  the 
fied  by  the  VoiceXML  document,  while  others  are  acted  database and provides data to the voice browser in form 
upon by the  VoiceXML Interpreter  Context. Fig. 2 below  of VXML. 
shows the VoiceXML application architecture. 
4 PROPOSED ARCHITECTURE FOR
VOICEXML AND INTELLIGENT
COMPONENT INTEGRATION
To  make  health  dialogue  expert  system  possible,  the 
proposed architecture is as shown below in fig. 3.  

Fig. 2. Architecture diagram for VoiceXML application 
 
The  VoiceXML  gateway  is  a  computer  equipped  with  a 
telephone  card,  able  to  manage  incoming  and  outgoing 
calls, a VoiceXML Interpreter charged to carry out all the   
orders  programmed  in  the  language,  and  a  connection 
with Internet network. It also has the capability for auto‐ Fig. 3. The architecture for the dialogue expert system 
matic  speech  recognition  (ASR),  and  can  record  audio  for diagnosis of diseases 
files. Dual Tone Multi Frequency (DTMF) telephone key‐  
board  and  voice  are  the  inputs  users  supply.  Text  to  In  the  architecture,  the  VoiceXML  architecture  is  aug‐
Speech  (TTS)  voice  synthesis  and  restitution  of  pre‐ mented  with  an  intelligent  component.    The  symptoms 
recorded audio files are the outputs the machine can use.  provided by the user and captured by the VXML platform 
As  a  gateway,  it  bridges  the  world  of  telephony  to  other  are sent to the intelligent component which in this case is 
networks such as Internet and data networks. The Voice‐ the Jess. The symptoms are stored in the working memo‐
XML gateway is responsible for:   ry of Jess. The knowledge base contains diagnosis‐specific 
1. Processing calls:  facts  and  heuristics  useful  for  determining  the  nature  of 
 It accepts/rejects incoming calls;  the  illness.  The  inference  engine  applies  and  operates  on 
 It initiates outgoing calls;  the  knowledge  in  the  knowledge  source  to  carry  out  the 
 It transfers calls.  diagnosis.  The  diagnosed  disease  stored  in  the  working 
2.  Interacting  with  speech  related  resources:  ASR,  TTS,  memory is extracted and sent to the VoiceXML interpreter 
DTMF  where it is relayed to the caller.  
 
 
JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617
HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 31

5. EXPERT SYSTEMS chaining, rules are treated as if... then statements, with the 

Expert  systems  otherwise  called  Knowledge‐Based  Sys‐ engine passively executing the right hand side (RHSs) of 
tems (KBS) are computer programs which solve problems  activated rules while in backward chaining, rules are still 
within  a  limited  and  a  specific  field  using  data  on  the  if... then statements, but the engine seeks steps to activate 
problem,  knowledge  related  to  the  problem  and  “intelli‐ rules whose preconditions are not met. 
gent” decision making capability [25], [26]. They simulate   
the  thought  process  of  a  human  expert  to  solve  complex  7. METHODOLOGY
decision  problems  in  a  specific  domain.  Fig.  4  below  Towards  developing  the  system,  physicians  were  inter‐
shows the structure of an expert system.  viewed  and  literatures  were  also  consulted  as  to  the 
  symptoms  of  the  case  diseases  diagnosed  by  the  system 
and  the  process  involved  in  their  diagnosis.  The  devel‐
oped  prototype  health  dialogue  system  diagnoses  Lassa 
fever, Yellow fever, Typhoid fever as well as Malaria fever. 
These  fevers  were  chosen  because  they  are  prevalent  in 
Sub‐Saharan Africa and the choice could serve as a means 
of augmenting healthcare in this part of the world where 
it is inadequate.  
       In achieving the objectives of this work, the VoiceXML 
architecture  was  augmented  with  an  intelligent  compo‐
  nent.  In  order  to  show  the  technical  feasibility  of  this 
project, VoiceObjects Desktop for Eclipse was used for the 
Fig. 4. Expert system structure  development  of  the  prototype  system,  while  Voxeo 
  Prophecy  was  used  as  the  speech  server.  The  intelligent 
The working memory or database gives the context of the  component is provided by Java expert system shell (Jess) 
problem domain and is generally considered to be a set of  which  is  manipulated  through  its  Jess  Java  application 
useful  facts.    The  knowledge  base  contains  domain‐ programming interface (API). The rules were created with 
specific facts and heuristics useful for solving problems in  WordPad and stored as “.CLP” file. A JavaBean was used 
the domain. The inference engine applies and operates on  to capture the symptoms supplied by the user. The Java‐
the  knowledge  in  the  knowledge  source  to  solve  prob‐ Bean then creates an instance of another class that creates 
lems  and  arrive  at  conclusions.  For  a  knowledge  base  K  an  instance  of  the  Jess  rule  engine.  The  symptoms  are 
and  a  set  of  data  or  information  D  on  a  particular  prob‐ forwarded  from  the  JavaBean  to  the  class  it  creates.  This 
lem, the procedure of arriving at a decision or inference is  class then sends the symptoms to the working memory of 
given  as:  I=M[P(D),  K],  where  the  “processing  operator”  Jess.  Jess  carries  out  the  diagnosis  and  stores  the  diag‐
P(.) converts the context information on the process into a  nosed disease in its working memory. The diagnosed dis‐
form  that  is  compatible  with  K.  Knowledge‐base  match‐ ease is then extracted from the working memory and for‐
ing  of  the  pre‐processed  information  is  performed  using  warded  to  the  JavaBean,  which  then  sends  the  disease 
the matching operation M[.] [25].  diagnosed  to  VoiceObjects  Desktop  for  Eclipse  to  be  re‐
  layed  to  the  user.  The  Java  files,  the  .CLP  file  containing 
  the  rules,  and  the  jess.jar  file  are  packaged  into  a  jar  file 
6. JAVA EXPERT SYSTEM SHELL (Jess) which is accessed from the dialogue system 
Ernest Friedman‐Hill, the developer of Jess described Jess   
as a rule engine for the Java platform [27]. The Jess system 
implements  the  CLIPS  language  developed  at  NASA.  To  8. A DIALOGUE SCENARIO OF THE
use it, the logic is specified in the form of rules using one  PROTOTYPE SYSTEM
of two formats: the Jess rule language or XML. Rules can 
create  new  data,  or  they  can  do  anything  that  the  Java  A  dialogue  scenario  of  the  prototype  system  between  a 
programming language can do. Although Jess can run as  human and the computer is as below in fig. 5: 
a  standalone  program,  it  can  also  be  embedded  in  Java  1. Computer: Welcomes the user and explains how to use 
code and manipulated using its own Java API or the basic  the system. 
facilities  offered  by  the  javax.rules  API.  Jess  language  2. Computer: Lists the symptoms from which the user 
code  can  be  developed  in  any  text  editor,  but  Jess  comes  can select from. 
with  a  full  featured  development  environment  based  on  3. Computer: Asks the user to say the first symptom or 
the  award‐winning  Eclipse  platform.  Jess  supports  both  press an equivalent key on the telephone keypad. 
forward  chaining  and  backward  chaining.  In  forward  4. Human: Responds with the first symptom. 
JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617
HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 32

5. Computer: Asks the user for the second symptom.  provides  a  property  called  ‘salience’  which  is  a  kind  of 

6. Human: Responds with the second symptom.  rule  priority.  Activated  rules  of  the  highest  salience  will 
7. Computer: Asks the user for the third symptom  fire first, followed by rules of lower salience. Declaring a 
8. Human: Responds with the third symptom.  low  salience  value  for  a  rule  makes  it  fire  after  all  other 
9. Computer: Asks the user to confirm the symptoms.  rules  of  higher  salience.  A  high  value  makes  a  rule  fire 
10. Human: Confirms symptom. If symptoms are con‐ before all rules of lower salience. The default salience val‐
firmed, then step 11 is executed, otherwise, step 12 is  ue is zero. The order in which multiple rules of the same 
executed.  salience are fired is determined by the active conflict reso‐
11. Computer: Responds with the diagnosed fever if  lution  strategy.  Jess  comes  with  two  strategies:  ʺdepthʺ 
symptoms are sufficient to diagnose the kind of fever.  and  ʺbreadth.ʺ  In  the  ʺdepthʺ  strategy,  the  most  recently 
If symptoms supplied are common to the fevers, it asks  activated rules will fire before others of the same salience. 
questions which the user must respond to, until the  In  the  ʺbreadthʺ  strategy,  rules  fire  in  the  order  in  which 
kind of fever is diagnosed.  they are activated. 
12.  If symptoms are not confirmed, any of steps 3, 5 and   
7is executed. 
9. RESULTS AND DISCUSSION
Fig. 5. Dialogue scenario of the developed health dialogue 
expert system  9.1 Snapshots of the Prototype Application
 
The  system  welcomes  the  caller  and  explains  what  the  The  fig.  6  below  shows  the  dialogue  flow  of  the  applica‐
system  is  meant  for  and  how  it  can  be  used.  The  system  tion as generated by VoiceObjects Desktop for Eclipse. 
then lists the symptoms of all the case fevers it can diag‐  
nose. The caller either says the symptoms observed in his 
body  or  presses  the  equivalent  keys  on  the  telephone 
keypad.  The  caller  is  expected  to  confirm  that  the  symp‐
toms  supplied  are  actually  the  symptoms  mentioned  by 
the  system.  Any  improperly  recognized  symptoms  are 
allowed  to  be  re‐entered.  In  this  prototype  application, 
the  caller  is  allowed  to  say  three  symptoms  initially.  The 
design  is  so  because  it  has  been  recommended  that  for 
dialogue systems, the menu list must be kept minimal for 
memory sake [28]. The larger the number of items in the 
menu, the higher the degree of memory loss by the user. 
The system is, however, intelligent enough to ask the call‐
er  for  other  symptoms  it  suspects  the  caller  might  have.   
Once the symptoms supplied are confirmed by the caller, 
they  are  sent  to  the  working  memory  of  Jess.  The  infe‐ Fig. 6. Dialogue flow of the prototype system 
rence  engine  then  applies  the  knowledge  in  the  know‐  
ledge  base  to  diagnose  the  type  of  ailment  the  caller  is  Fig. 7 below shows the connector object that links Jess, the 
suffering  from  using  forward  chaining,  if  the  symptoms  rules file and Java code (jar file) with the dialogue system.  
are  sufficient  to  determine  the  nature  of  ailment.  The  di‐  
agnosed  ailment  is  then  stored  in  the  working  memory 
from where it is extracted by a JavaBean and sent back to 
the  dialogue  system  on  the  VoiceXML  platform  to  be  re‐
layed to the caller. If the symptoms are however, not suf‐
ficient  to  determine  the  nature  of  ailment  due  to  the fact 
that  all  or  some  of  the  symptoms  supplied  by  caller  are 
common to the case fevers, the system asks the caller for 
the presence of other symptoms that would enable it de‐
termine  the  nature  of  the  ailment.  The  user  either  says 
‘yes’ or press ‘1’ on the phone keypad if those symptoms 
have been observed, or says ‘no’ or press ‘2’ if the symp‐
toms  are  absent.  This  interrogation  continues  until  the 
system is able to determine the nature of the ailment. Jess 
JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617
HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 33

health  dialogue  disease  diagnosis  expert  system  which 

emulates  the  thought  process  of  physicians  when  diag‐
nosing diseases. This eliminates the limitations of the use 
of  clinical  rating  scales  which  have  been  found  not  to  be 
reliable.  
 

10. CONTRIBUTIONS
VoiceXML  as  a  markup  language  cannot  be  used  to  de‐
velop  expert  systems,  but  with  its  augmentation  with  a 
suitable  intelligent  component,  this  work  shows  that  the 
language can be effectively used for developing expert or 
knowledge‐based  systems.  This  is  useful  in  Africa  and 
other  developing  nations  where  healthcare  is  inadequate 
as  reported  by  the  World  Health  Organization  [14],  but 
where the use of mobile phone is on the increase [15], [16] 
as a means of enhancing healthcare delivery.  
This  work  has  also  presented  an  approach  that  simu‐
 
lates the thought process of physicians in the diagnosis of 
diseases by health dialogue systems. This is in contrast to 
Fig. 7. Connector object showing how Jess and the Jar files 
are embedded into the dialogue system.  the  use  of  clinical  rating  scales  that  have  been  found  to 
  have clinometric shortcomings.  
Lastly,  the  existing  health  dialogue  systems  for  screen‐
9.2 DISCUSSION ing diseases allow for only the use of DTMF as a mode of 
interaction with them, but the provision of a platform for 
The  idea  of  integrating  an  intelligent  component  for  ex‐ both  DTMF  and  speech  input  in  this  work  caters  for  the 
pert  systems  into  VoiceXML‐based  systems  to  allow  the  needs of people who have motor disabilities affecting the 
development of expert systems is an intuitive one. It is a  hands or arms that cannot use DTMF. It is also a means of 
way of making these systems smarter, and enhancing and  enhancing the utility and user satisfaction of the system. 
widening  their  utility  and  capability.  Generally,  markup   
languages  including  VoiceXML  do  not  support  building 
expert systems. Even VoiceXML 3.0 specification which is  11. CONCLUSION AND FUTURE WORK
the  latest  enhancement  to  VoiceXML  does  not  cater  for 
this  [29].  This  leaves  no  option  than  to  work  around  It has been explained that VoiceXML standard does not 
VoiceXML and the notion of integrating a component that  support  the  development  of  expert  systems,  but 
will  make  this  achievable.  Solutions  close  to  service  through the augmentation of an intelligent component 
oriented architecture philosophy were researched and the  into  VoiceXML‐based  systems,  it  has  been  shown  that 
integration of an intelligent component that would facili‐ it is possible to make VoiceXML applications in general 
tate  the  development  of  dialogue  expert  systems  was  smarter to the level of expert systems.   
proposed.  A  service‐oriented  architecture  (SOA)  is  de‐ The existing HDS for screening disease make use of 
fined  as  a  collection  of  services  [30]  while  a  service  is  an  clinical  rating  scales  in  screening  diseases,  but  these 
action  carried  out  by  a  component  called  “supplier”  to  scales have been found out to have reliability problem 
the  need  of  a  consuming  component  called  “consumer”  necessitating  the  need  for  an  approach  that  emulates 
[31].  The  VoiceXML  application  in  this  case  serves  as  the  the  way  physicians  diagnose  diseases.    This  work  has 
consumer while Jess serves as the supplier.  presented  a  health  dialogue  disease  diagnosis  expert 
     With the successful integration of Jess into VoiceXML‐ system  which  emulates  the  thought  process  of  physi‐
based  systems,  it  has  been  shown  that  it  is  possible  to  cians  when  diagnosing  diseases.  This  eliminates  the 
build expert systems with VoiceXML through the integra‐ limitations  of  the  use  of  clinical  rating  scales  which 
tion of expert system technologies. Furthermore, the exist‐ have been found not to be reliable.  
ing HDSs for  screening diseases make use of clinical rat‐ The provision of a platform that incorporates the use 
ing  scales  in  screening  diseases,  but  these  scales  have  of speech in addition to DTMF takes care of the needs 
been  found  out  to  have  reliability  problem,  necessitating  of the people with  motor disabilities affecting the hands 
the  need  for  an  approach  that  emulates  the  way  physi‐ or  arms  that  cannot  use  DTMF.  This  implementation  is 
cians  diagnose  diseases.    This  work  has  presented  a  the  first  step  towards  the  evaluation  of  the  system  to 
JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617
HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 34

test  its  reliability,  effectiveness,  efficiency,  and  which  http://www.itu.int/osg/spu/ni/mobileovertakes/Resources/Mobi

mode of input (speech or DTMF) will provide a better  leovertakes_Paper.pdf. 2010. 
[17]  C. Corktrey,  L. Parkinson,  L. Bates, S. Green, and A. T. Htun,  
user satisfaction. 
“Pilot  of  a  Novel  Cervical  Screening  Intervention:  Interactive 
  Voice Response”,  Aust N Z J Public Health,  vol.  29,  pp. 261‐264, 
2005. 
REFERENCES [18]  L. A. Crane, T. A. Leakey, B. K. Rimer, P.  Wolfe,  M. A. Wood‐
[1]   “W3C, Voice  Extensible Markup Language (VoiceXML)  Version 2.0  worth, and R. B. Warnecke, “Effectiveness of a telephone outcall 
W3C  Working  Draft,  23  October  2001”,  intervention to promote screening mammography among low‐
http://www.w3.org/TR/2001/WD‐voicexml20‐20011023/ . 2010.  income women”, Prev Med., vol. 27, pp.  S39‐S49, 1998. 
[2]  J.  Rouillard,  “Web  services  and  speech‐based  applications  [19]  E. F. Dini, R. W. Linkins and M. Chaney, “Effectiveness of com‐
around VoiceXML”, Journal of Networks, vol.  2, no. 1, pp. 27‐35,  puter‐generated telephone messages in increasing clinic visits”, 
2007.  Arch Pediatr Adolesc Med., vol.  149, pp.  902‐905, 1995. 
[3]  Sharmilee Adgaonkar, “Real Time Alert Management in Transpor‐ [20]  E. D. Tanke and V. O. Leirer, “Automated telephone reminders 
tation  using  VoiceXML”,  in tuberculosis care”, Med Care, vol.  32, pp. 380‐389, 1994. 
http://www.satyam.com/industries/travel/documents/wp_Real_ [21]  V.  O.  Leirer,  D.  G.  Morrow,  G.  Pariante,  and  T.  Doksum,    “In‐
Time_Alert_Management  in_Trasportation_using_VXML.pdf.  creasing influenza vaccination adherence through voice mail”, J 
2009.  Am Geriatr Soc., vol. 37, pp. 1147‐1150, 1989. 
[4]  M. Mittendorfer, G. Niklfeld and W.  Winiwarter, “Evaluation of  [22]  R. W. Linkins, E. F. Dini, G. Watson and P. A. Patriarca, “A ran‐
Intelligent  Component  Technologies  for  VoiceXML  Applications”,  domized  trial  of  the  effectiveness  of  computer‐generated  tele‐
SCCH  technical  report,  FTW  technical  report  phone messages  in increasing immunization visits among pre‐
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.92.39 school  children”,  Arch  Pediatr  Adolesc  Med.,  vol.  148,  pp.  908‐
37&rep=rep1&type=pdf. 2010.  914, 1994. 
[5]  G.  Marta,  G.  Meritxell,  and  C.  Elisabet,    “An  Information  State‐ [23]  V.  O.  Leirer,  D.  G.  Morrow,  E.  D.  Tanke  and  G.  M.  Pariante,  
Based  Dialogue  Manager  for  Making  Voice  Web  Smarter”,  Proc.  of   “Elders’ nonadherence: its assessment and medication remind‐
WWW 2007, ( Banff, Alberta, Canada, 2007).  ing by voice mail”, Gerontologist, vol.  31, pp. 514‐520, 1991. 
[6]  T.  Bickmore,  and  T.  Giorgino,  “Health  Dialog  Systems  for  Pa‐ [24]  E. D. Tanke, C. M. Martinez and V. O. Leirer, “Use of automated 
tients and Consumers”, Journal of Biomedical Informatics, vol. 39 ,  reminders  for tuberculin skin test return”, Am J  Prev Med., vol. 
no. 50, pp. 556‐572, 2006.  13, pp. 189‐192, 1997. 
[7]  J. C. Mundt, K. L. Ferber, M. Rizzo, and J. H. Greist, “Comput‐ [25]  F.  O.  Karray  and    C.  De  Silva,  Soft  Computing  and  Intelligent 
er‐Automated  Dementia  Screening  Using  a  Touch‐Tone  Tele‐ Systems Design. England: Addison Wesley, 2004. 
phone”, Arch Intern Med., vol.  161, pp. 2481‐2487, 2001.  [26]  “Expert Sytems”, 
[8]  H. Kim and Y. T. Bracha, “Automated Depression Screening In  http://media.willey.com/product_data/excerpt/18/04712933/047
Disadvantaged  Pregnant  Women  In  An  Urban  Obstetric  Clin‐ 1293318.pdf. 2009. 
ic”,  Archives Of Women’s Mental Health, vol.  10, no. 4, pp. 163‐ [27]  Ernest Friedman‐Hill, “Jess® The Rule Engine for the Java™ Plat‐
169, 2007.   form,  Version  7.1p2  November  5,  (2008)” 
[9]  J. M. Polinski., A. Patrick, C. Truppo, L. Breiner, C. Ya‐Ting, C.  http://www.jessrules.com/jess/docs/71/index.html. 2010. 
Egan, S. Jan, M. Patel,  T., W. Weis and D. H. Solomon , “Interac‐ [28]   M.      Daniel  and  S.  Hao.,  “Voice  User  Interface  Design  for  a 
tive  Voice  Response  Telephone  Calls  to  Enhance  Bone  Mineral  Telephone  Application  Using  VoiceXML”,  Proc.  of  Web 
Density Testing”,  Am J Manag Care, vol. 12, pp. 321‐332, 2006.  Technologies  Research  and  Development  (  APWeb  2005,  Springer 
[10]  T. Giorgino,  I. Azzini, C. Rognoni, S. Quaglini, M. Stefanelli, R.  Berlin / Heidelberg) 2005. 
Gretter,  and  D.  Falavigna,  “Automated  Spoken  Dialog  System  [29]  “Voice Extensible Markup Language (VoiceXML) 3.0, W3C Working 
for  Hypertensive  Patient  Home  Management”,  International  Draft  4  March  2010”,  http://www.w3.org/TR/2010/WD‐
Journal of medical Informatics, vol. 74, no. 2, pp. 159‐167, 2005.  voicexml30‐20100304/. 2010. 
[11]  C. Ramaker J. Marinus and B. J.  Van Hilten , “Systematic eval‐ [30]  E.  Newcomer  and  G.  Lomow,    Understanding  SOA  with  Web 
uation of rating scales for impairment and disability in Parkin‐ services, USA: Addison Wesley, 2005. 
sonʹs disease”, Mov Disord. vol. 17, no. 5, pp. 867‐876, 2002.  [31]  D.  Krafzig,  K.  Banke  and  D.    Slama,  Enterprise  SOA:  Service 
[12]  J. C. Hobart,  S. J.  Cano, J. P.  Zajicek and A. J. Thompson, “Rat‐ Oriented‐Architecture  Best  Practices,  New  York:  Prentice  Hall, 
ing scales as Outcome Measures for Clinical Trials in Neurolo‐ PTR, 2004. 
gy:  Poblems,  Solutions,  and  Recommendations”,  The  Lancet 
Neurlogy,  vol. 6, no. 12, pp. 1094‐1105, 2007. 
[13]  Oxford  Concise  Medical  Dictionary.  Oxford:    Oxford  University 
Oyelami Moses Olufemi holds a BSc. in Computer Science (1999),
Press, 2002.  MSc. in Computer Science (2004) and currently teaches the same in
[14]  World  Health  Organization,  “The  World  Health  Report  2007,  A  Covenant University, Nigeria. He won a South African Institute of
Safer  Future:  Global  Public  Health  Security  in  the  21st  Century”,  Computer Scientists and Technologists (SAICSIT) African best pa-
World Health Organization, Switzerland, 2007.  per award in 2009. He currently has about 18 publications. His cur-
rent research interests include mobile computing, dialogue systems
[15]  Countries and Consumers, “Euromonitor International, No end 
and alogorithm design. He is a member of Computer Professional
in  sight  for  Africa’s  mobile  telephone  boom”,  Registration Council of Nigeria (CPN) as well as a fellow of the Nige-
http://www.euromonitor.com/No_end_in_sight_for_Africas_m rian Computer Society (NCS).
obile_telephone_boom. 2008. 
[16]  ITU: International Telecommunications Union, “Mobile overtakes 
fixed:  Implications  for  policy  and  regulation”, 
JOURNAL OF COMPUTING, VOLUME 3, ISSUE 3, MARCH 2011, ISSN 2151-9617
HTTPS://SITES.GOOGLE.COM/SITE/JOURNALOFCOMPUTING/
WWW.JOURNALOFCOMPUTING.ORG 35

Uwadia Charles Onuwa holds a BSc, MSc and a PhD in Computer

Science. He is a professor of Computer Science in the University of
Lagos, Nigeria. He is also the president of the Nigeria Computer
Society (NCS). He is a visiting fellow to a number of universities and
institutions in the United States of America, Europe, Asia and Austar-
lia. He is the current Director of centre for Information Technology
and Systems (CITS) of the University of Lagos

Akinwale A. Taofeek is a member of the Polish Academy of

Science.