You are on page 1of 6




Prof. Sunita Chand, Mr. Aditya Varshney         
Abstract - A face recognition system has been developed by integrating a Neural Network with Fuzzy Logic technique in order to improve the decision making process. Face Recognition is emerging as an active research are spanning several disciplines such as image processing, pattern recognition, computer visions and neural network. The upper and lower parts of the human face features are extracted for the face recognition process. Different weight ages are imposed on the features and in this study the upper-face feature has been given more weight age than the lower face feature by using a fuzzy logic technique. This system has been proven effective in developing a security system with high recognition rate for different human facial expressions. Index Terms :- Face Recognition , Image Resolution , Neural Network, Fuzzy Logic.

——————————  ——————————


in face recognition mechanism during on-line recognition mode. Biometrics makes automated use of the unique personal features to establish the identity of a person. It is a tool for positive identification of a human subject as biometric signatures cannot be stolen, forgotten, lost or communicated to another, as is possible in the case of authentication, Employing cards, keys or passwords, so common in day-today use. In the present scenario of increased security concern, the necessity and relevance of making use of biometrics to establish personal identity and to detect impostors are assuming significance.

In recent years, face recognition has been the subject of 
very  intensive  security  system  with  the  current  perceived world security situation, governments as well  as  business  require  reliable  methods.  The  system  described  here  incorporates  neural  network  back  error  propagation  and  fuzzy  logic  approach  and  is  an  extension  to  previous  works  to  achieved  better  system.  It  is  believed  that  by  incorporating  both  techniques,  a  more  natural  decision‐making  process  can  be  achieved.  The system also exploits face features.            From  observation  the  upper  and  lower  parts  of  the  human  face  possess  significant  characteristics  human  recognition  process.  It  is  found  that  given  upper  and  lower  faces  we  can  differentiate  faces  more  easily  with  the  upper‐face  portion  compared  to  the  lower  face  portion.  By  assigning  higher  priority  to  upper  face  feature  during  the  recognition  process.  It  is  possible  to  design a face recognition system that exploits the above  situation. 

During the image processing session, image acquisition, feature extraction and data normalization are performed. Image processing is required in both the neural network training mode and the on-line recognition mode. However, image acquisition is performed only in neural network training mode. As opposed to the manual feature extraction process in neural network training mode, feature extraction in online recognition mode is automated by a head and eye detector.


Overview of the System
the face recognition system consists of three major Image processing Neural network training Face recognition mechanism

Generally sessions:i. ii. iii.

Neural network training is performed in off-line mode and the trained upper- and lower-face neural network are then employed

In neural network training mode, acquisition of a suitable face image is essential to train a neural network that can characterize the user satisfactorily. In addition to this, the head-size should be standardized to ensure proper training. The criteria for head orientations and facial expressions that are adopted in this study are as follows: 1) Normal pose, 2) Normal with smile, 3) Browse left 20 O, 4) Browse left 20 O with smile, 5) Browse right 20 O,

© 2011 Journal of Computing Press, NY, USA, ISSN 2151-9617



6) B Browse right 20 O with smile, 0 7) B Browse up 20 O, O 8) B Browse up 20 O with smile, 9) B Browse down 20 O, 2 10) Browse down 20 O with smile, and ) 11) Free pose. )

2.2 H Head Detector
              The head de etector is capa able of verifyi ing a valid  head  image, determ mination of th he top head loc cation and  the  fa side.  It  is  used  to  facilitate  the  eye detection  ace  e    ss;  proces the  area  f eye  detect for  tion  process  i reduced  is  signifi ficantly  by  im mposing  a  we defined  are for  eye  ell  ea  search h which is det termined by h head locator as s shown in  figure e.   

2.1 Feature Extr raction
Th hree  areas  of interest  on  the  face  are  f  use ed for neural n network traini ing ‐ upper fac ce, lower face  and d eye. A frame e of I12 x 128 p pixels is used to extract the  face.  The  frame is  then  divi e  ided  into  upp half  and  per  low half  the  fe wer  eature  extract tion  process  is carried  out  s  ma anually  in  neu ural  network  Training  mo ode,  but  it  is  aut tomated by he ead detector a and eye detect tor in on‐line  rec cognition mode.     

e Selection               Template  



2.3 Eye Detector E
The  eye  detector  is  a  multi‐layer  perception  neur d m ral  Network  that  has  been trained  with eye  pattern  as  t n  h  well as no on‐eye pattern n. A window f frame of 32 x 3 32  pixels is sc canned throug gh the eye sea arch area, whic ch  is  determi ined  by  the  he locator,  to search  for  th ead  o  he  locations  of  the  eyes.  The  eye  detecto is  capable  of  o or  recognizin ng both the left eye and the r right eye.    In  order  to  determine process  tha exploits  th e  at  he  geometric  constraint  im mposed  by  fac structure  on  ce  o feature po oint such as eye and mouth l location.     

3. N Neural Netw work
               A  multi i‐layer  percep ption  feed  fo orward  is  ined  based  on  the  bac error  pro ck  opagation  trai alg gorithm.  In  ad ddition,  an  a adaptive  learn ning  rate,  mo omentum,  bat tch  is  also  ap pplied  to  imp prove  the  neu ural  network  learning  time Two  types  of  neural  e.  net twork  are  u used  in  this  feature‐bas sed  face  rec cognition syste em namely, fa ace neural netw work and  eye e neural netwo ork. 

3.1 Face Neural Network l
  Face  ne eural  network consists  of  4 input  k  448  nod des,  12  hidde nodes  and  I  output  nod and  it  en  de, 



can  be  use to  train  eit ed  ther  the  uppe face  or  low er  wer  face image es.  i. Authorized  fac A ce images  ii. Non‐face images  N iii. Unauthorized f U face images     3.2‐ Eye N Neural Networ rk    rk contains 25 56 node at inpu ut            Eye  neural networ ode  n  ut  layer,  1  no at  hidden layer  and  I  node  at  outpu layer.  The training  im e  mages  is  div vided  into  tw wo  groups namely, eye ima ages and non‐e eye images. Ey ye  neural net twork is  Trained  to produce  an output  of  either  I  for  ey o  n  e ye  images or 0 for non‐eye images. A tra ained eye neur ral  s used in the e eye detector to o determine th he  network is possible Location of eye e for a given im mage. 

ormation and  also the locat tions of the up pper‐ and  info low wer‐face  neura network  file,  which  resides  in  a  al  dat tabase in the te erminal or com mputer.    he  n         Basically,  th tests  were  conducted  in a  dual  sys stem  mode  bo in  the  off‐ oth  ‐line  mode  an on‐line  nd  mo ode.  The  off‐ ‐line  mode  te ests  provides a  good  s  fee dback that can n be used to i improve system design  fur rther,  whereas the  on‐line  t s  tests  reveal  th overall  he  per rformance  Of  the security sy ystem.     

Off f-line Tests
  Ima ages  of  six  users  are  tra ained  to  obt tain  their  pective  face  neural  netw resp work.  The  ey neural  ye  net twork  is  tra ained  with  e eye  images  that  are  ext tracted  &  on the  User’s  images.  Both trained  n  h  ima ages  and  unt trained  image are  used  to test  the  es  o  trai ined eye neur ral network an nd face neural l network  in t the off‐line mo ode. 

4. Fuzzy System
 T The fuzzy sys stem acts as th he final decisio on  making  stage  by  utilizing  the  rec s cognition  lev vel  informatio provided  by  the  upper‐f on  b face  and  lowe er‐ fixe neural networks.  Three  inp fuzzy  sets have  been  defmed  for  th put  s  d he  fuzzy syst tem namely, un nmatched,   in‐  determ ministic  and  matched.  Co orrespondingl ly,  three  outp fuzzy  sets have  also  be defined  i.e.  put  s  een  unauthoriz zed, unknown n and authoriz zed.  In  the  reco ognition  proce the  fuzzy system  Fuzzes  ess,  y  the  recogn nition  levels  fr rom  both  the  upper‐face  an nd  lower‐face neural  network  by  us e  sing  the  inpu ut  membersh functions.  The  fuzzy  ru hip  ules  are  set  in a  n  manner  That  emphasis is  given  to  the  upper‐face  T s  images  du uring  the  deci ision  making  process.  This  is  based  on  the  observa ation  that  the  upper  faci ial  expression changes  min n  nimally,  but  the  lower  faci t ial  expression n changes sign nificantly. 

5. System Tests and Results m
  Tests  wer performed  on  the  intelligent  security  re  system to determine its reliability and d performance e.                            The  face recognition system  is  e  n  incorporat ted  into  a  in ntelligent  sma artcard  security  system.  Sm martcard  is  used  as  a  key  to  the  security  u system an nd the fixe reco ognition syste em is applied  as  a second le evel of protect tion to identif fy a card owne er.  The  sma artcard  cont tains  the  user  person u nal 

# sign indicat a user who wears sp tes pectacle



# sign ind dicates a use who wears spectacle er s

      ce Neural Net twork Test Re esults  Fac  It  is  found  that there  are  se t  everal  failures on  face  s  rec cognition  fou und  to  be  a actually  due  to  poor  rec cognition on th he lower face i images.    On n‐line Tests  Tw major  tests are  conducte to  evaluate the  face  wo  s  ed  e  rec cognition syste em performan nce namely, au uthorized  car rd owner tests s and unauthorized card ow wner tests.  it is s also a measu ure of system  flexibility to r recognize  a  use er with a diffe erent facial exp pression. As w we except  ,  th system  rec he  corded  94%  s success  for  au uthorized  and 92.8%  suc d  ccess  for  the unauthorize cases.  e  ed  Fai ilures were du ue to subjects w wearing specta acles. 

This chart indicates the o overall off‐line e system test  results for both  d and untrained images.  the trained    

Eye Neura Network Te Results al est
               Pr reliminary tes sts on the eye  neural networ rk  show  that the  eye  neur network  is not  capable  of  t  ral  s  detecting  the  eye  location  for  tho ose  who  wear  spectacles. Most of the f failure to locat te the eye is du ue  to improp per head orien ntation that res sults in the ey ye.  It is  Also found d that reflectio on & on spect tacles can resu ult  in failure t to detect the e eye. Thus, it is very importan nt  to ensure p proper lightin ng to reduce th his effect. 

Online te est
Th is chart indicates the overall on-lin tests ne sult for both the authori h ized and res un authorized person.



Unsolved Problems:  i. Preliminary tes P sts on the eye neural networ rk  sh hows  that  the eye  neural  network  is  not  e  n ca apable  of  det tecting  the  ey location  for  ye  th hose who wea ar spectacles.  ey ye detector fai iled in a numb ber of  occasions.  Most of the fail M lure to locate t the eye is due  to o improper he ead orientation n.  It t is also found that reflection n from  sp pectacles can r result in  a. failure e to detect the eye. 

6. C Conclusion  The face  recogn e  nition  system which  emp m  ploys  the  upp per‐face and lo ower‐face feat tures in the recognition  pro ocess  has  been proven  to  b very  succes n  be  ssful.  The  sys stem  is  examin ned  by  an  im mages  data  bas of  face  se  ima ages  with  v varying  pose as  well  a facial  e  as  exp pression. This  strategy is als so useful for s searching  ima ages data base e when the pu urpose of the  search is  not only  finding the  given  pe t  g  erson,  but  also ranking  o  the similar  pe e  eople  from  the  data  ba ase.  The  inte egration  of  f fuzzy  logic  a approach  int neural  to  net twork  techniq que  has  creat ted  an  enhan nced  face  ma age recognition n process.    Bes sides, there ar re some limita ation of the system that  has to  be  consid s  dered  such  a the  face  recognition  as  sys stem  would  n work  for  images  that  with  eye  not  clos sed and imag ges of a bald P Person. face recognition  is  b becoming  very  important in  many  re world  t  eal  app plication inclu uding security, , robotics, ban nking etc.                       Imple ementation  of the  face  recognition  f  sys stem in the sec curity system in this researc ch reveals  tha there  is  a  w at  wide  area  of  a application  for the  face  r  rec cognition  syste to  be  app em  plied  especially in  high  y  sec curity situation ns such as aut tomatic teller  machine,  sec curity room etc c. 

[1]  R Linggard, D J M Myers, C Nighting gale, “Neural  works For Vision, Speech And Natu ural  Netw Lang guage”    Cedric Sheerer, ‘‘ Fuzzy ‐ Logic  [2]  David Brubaker, C tem Solves Contro ol Problem ”,  Syst   Andrew W. Ellis, Brenda M. Flude, Familiar  [3] A Face e Recognition : A Comparative Stud dy of A  Con nnectionist Model and Human Perfo ormance”,    Abu Bakar Hassan n, “Human Face R Recopnition  [4] A Svst tem using Artifici ial Neural Networ rks”,   

ii. iii. iv.

My Ideas:     o be implemen nt it in Securit ty System..  To To o implement i it into Internet t Security  Sy ystem.  To implement  it  into  Payment  Gatewa o  ay  Option of Bank O ks.