2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

Eliptik Gabor Süzgeçler ve Yerel En Küçük Noktalar

Kullanarak Göz Bebeği Tespiti
Eye Pupil Localization on Face Images Using
Eliptical Gabor Filters and Local Minima

Belgin Ayhan, Bahri Abacı, Tayfun Akgül

Elektronik ve Haberleşme Mühendisliği Bölümü
İstanbul Teknik Üniversitesi
İstanbul, Türkiye
Email: ayhanbel,abacibahri,tayfunakgul@itu.edu.tr

Özetçe —Bu çalışmada eliptik Gabor süzgeçler ve yüz üze-
rindeki yerel en küçük noktalar kullanılarak göz bebeği yerlerinin
tespiti yapılmaktadır. Çalışmada giriş imgesi üzerinde yüz bulun-
muş, bulunan yüz imgesi gri seviyeye çevrilmiş, imgeye eliptik
Gabor süzgeç uygulanmış, daha sonra yüz üzerindeki yerel en
küçük noktalarının da yardımı ile göz bebeği mevkileri belir-
lenmiştir. Yöntemin başarısı "ScFace", Hong Kong Üniversitesi
"Face", "Karolinska Faces" ve "MUCT" veri tabanlarından
alınan imgelerden oluşturulmuş karma bir veri tabanı üzerinde
test edilmiş, toplam 569 imgede %89 başarı elde edilmiştir.
Anahtar Kelimeler—yüz tanıma, göz bebeği tespiti, Gabor
süzgeç, yerel en küçük noktalar.
Abstract—In this paper an eye localization algorithm which
uses elliptical Gabor filters and local minima to detect eye pupils
on a face image is proposed. First, face is detected in a given
image. Then this face image is converted into gray-scale. Finally
eye pupils are localized using elliptical Gabor filters and local
minimum points. The method is tested on our combined data
set using images form "ScFace", Hong Kong University "Face",
"Karolinska Faces" and "MUCT" databases. For eye localization,
a success rate of %89 for 569 images is achieved.
Keywords—face recognition, eye pupil localization, Gabor fil-
ters, local minima.
kızılötesi ışınlar kullanan aktif göz saptama yöntemleridir [2].
Bu yöntemler ek donanım gereksinimleri nedeniyle daha çok
iris tanıma yapan güvenlik sistemlerinde tercih edilmektedir.
Pasif göz tespit yöntemleri ise, yüzdeki diğer öznitelikleri de
kullarak göz noktalarına karar veren bütüncül ya da diğer
özniteliklerle ilgilenmeden yalnızca göz noktalarını arayan
soyutlayıcı yaklaşımlardır. Genelleştirilmiş ikili örüntü ile göz
tespiti [3] ve izdüşüm fonksiyonları ile göz tespiti [4] yöntem-
leri soyutlayıcı yaklaşımlara verilebilecek örnek çalışmalardır.
Soyutlayıcı yöntemlerin kullandığı araçlardan birisi de Gabor
süzgeçlerdir. İki boyutlu Gabor süzgeçler görme hücrelerinin
önemli özelliklerini birleştiren bir matematiksel model oluştu-
rur [5]. Ayrıca süzgeci tanımlayan parametreler değiştirilerek
istenilen frekansta ve yönelimde süzgeç oluşturulabilir. Bu
özellikleri nedeniyle Gabor süzgeçler görüntü işleme uygula-
malarında öznitelik tespiti için yaygın kullanım alanı bulmakta
ve kayda değer başarılar sağlamaktadır.
Bu bildiride Viola-Jones yüz belirleme yöntemi, göz
tespitinde kullanılan Gabor süzgeçler, yerel en küçük nokta-
ların bulunması ve bu yöntemlerin birleştirilmesi Bölüm II’de
verilmiştir. Bölüm III’de deneysel sonuçlar, Bölüm IV ise
sonuç ve gelecekte yapılacak çalışmalar tartışılmaktadır.

I. G İR İ Ş II. YÖNTEM

Yüz tanıma alanındaki çalışmalar artarak devam etmesine
karşın halen çözülemeyen problemler mevcuttur. Bu problem-
lerin başlıcalarından birisi poz değişimlerinin etkisidir. Önden
çekilmiş yüz imgelerinde mimik ve pozdan en az etkilenen
öznitelik, göz bebeği noktalarının yapısı ve aralarındaki uzak-
lıktır. Bu nedenle otomatik göz tespiti birçok yüz tanıma
algoritması için önemli bir ön işleme adımıdır. Göz bebeği
noktaları yüz eğim açısının bulunması ve düzeltilmesi, yüz
imgelerinin hizalanması ve diğer önemli yüz nirengi nokta-
larının tespiti için referans nokta kabul edilir [1]. Göz be-
beği konumlarının doğru tespit edilmesi bu tip algoritmaların
başarısı için gereklidir.
Göz bebeği noktalarının saptanması amacıyla yapılan
çalışmalarda temel iki yöntem izlenmektedir. Bunlardan ilki
978-1-4799-4874-1/14/ $31.00
2014
c IEEE
923
Göz tespiti yönteminin ilk adımı yüzün bulunmasıdır. Bu-
lunan yüz bölgesi gri seviyeye çevrildikten sonra aday göz
noktalarının belirlenmesi için iki ayrı yöntem izlenir. Bunların
ilki Gabor süzgeçleme, ikincisi ise yerel en küçük noktaların
tespitidir. Daha sonra, bu iki yöntemle kestirilen aday noktalar
birleştirilerek göz bebeği noktasına ulaşılır. Kullanılan yön-
temin akış diyagramı Şekil 1’de gösterilmiştir. Viola-Jones yüz
tespit yöntemi, Gabor süzgeçler, yerel en küçük noktalarının
belirlenmesi ve bu yöntemlerin birleştirilmesi alt bölümlerde
detaylandırılmıştır.
A. Viola-Jones Yöntemi ile Yüz Tespiti
Önerilen yöntemde yüz tespiti için Viola-Jones yön-
temi kullanılmaktadır. [6]. Viola-Jones, yüz tespitinde yük-
sek başarım gösteren ve sıklıkla kullanılan bir yöntemdir.
Yöntemin temel yaklaşımı imge üzerinde toplamsal işlemlere
 2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

Şekil 1. Önerilen yöntemin akış diyagramı: (a) Giriş imgesi; (b) Viola-Jones yöntemi ile tespit edilen yüz; (c) Gri seviyeye çevrilmiş yüz imgesi; (d) Gabor
süzgeçten geçirilmiş yüz imgesi; (e) Yüz imgesi üzerindeki yerel en küçük noktalar; (f) Sıra düzenli süzgeçten geçirilmiş yerel en küçük noktalar; (g) Önceki
adımlardaki (d) ve (f) imgelerinin toplandığı imge üzerinde göz bölgesinin kesilmesi; (h) Göz bebeği noktalarının bulunması.

dayanan öznitelikler elde ederek bu özniteliklere sahip im-
genin bir yüze ait olup olmadığını belirlemektir [6]. Öznite-
likler Haar sınıflayıcılar ile tespit edilir. Kullanılan bazı Haar
sınıflandırıcılar Şekil 2 de gösterilmiştir.
Burada σx ve σy Gauss çekirdeğinin yatay (x) ve düşey
(y) doğrultulardaki yaygınlığını, ω sinüzoidalin frekansını, θ
ise yönelimini düzenler. θ açısının değişimi Gabor süzgecin
yönelimini değiştirir, açılı kenarların tespitini kolaylaştırır.
Şekil 3’de θ = 0 için ω = 0, π/32, π/16 ve ω = π/16 için
θ = 0, π/4 ve π/2 değerleri ile oluşturulan Gabor süzgeçler
verilmiştir.

Şekil 2. Viola-Jones yönteminde kullanılan bazı Haar sınıflayıcılar.

Sınıflayıcılar yüz aranan imge üzerinde gezdirilir. Sınıflayıcının siyah kısımları
ile örtüşen piksel değerleri toplamı beyaz kısımları ile örtüşen piksel değerleri
toplamından çıkarılır. Elde edilen sonuç o sınıflayıcıya ait özniteliktir.

Özniteliklerin tespitinden sonra zayıf sınıflandırıcılar kul-

lanarak kuvvetli bir sınıflandırıcı oluşturmak için kullanılan
Ada-Boost metodu [7] ile hangi özniteliklerin yüz imgesini
belirlemede daha önemli olduğu çıkarılır. Bu amaçla her
bir sınıflandırıcı adımında doğru sınıflandırılan örneklerin
ağırlığını azaltıp, yanlış sınıfladırılan örneklerin ağırlığını
artıran özyineli bir yöntem kullanır. İterasyonlar sonunda
zayıf sınıflandırıcıların katsayıları belirlenerek kuvvetli bir
sınıflandırıcı oluşturulur. Viola-Jones yönteminin eğitim aşa-
masında 180.000’in üzerinde sınıflayıcı kullanılmış, AdaBoost
metodu ile bu sayı 32 sınıflayıcıya kadar düşürülmüştür.
Şekil 3. Farklı ω ve θ değerleri ile oluşturulan Gabor süzgeç örnekleri.
B. Gabor Süzgeçler Süzgeçler oluşturulurken kullanılan diğer parametrelerin değerleri; σx =45,
σy =45, süzgeç boyutu 256x256’dır. Bütün değerler piksel cinsindendir.
Gabor süzgeçler yönlü kenarların tespitinde başarılı
sonuçlar verir. Aranan açı ve frekansın uygun süzgeç paramet- Sinüzoidal taşıyıcının eliptik formda yazılması ile eliptik
releri kullanılarak kolaylıkla bulunabilmesi nedeniyle Gabor Gabor çekirdeği elde edilir.
süzgeçler imge işleme uygulamalarında sıklıkla kullanılmak-
tadır. √ 0
1 − 1 ( x 2+ y 2) 0
Gabor süzgeç, G(x, y), sinüzoidal bir taşıyıcı tarafından G(x, y) = √ e 2 σx σy ejω x αcosθ+y βsinθ (2)
σx σy 2π
modüle edilmiş Gauss çekirdeğinden oluşur:
Burada α ve β elipsin parametreleri olup x0 = xcosθ + ysinθ
ve y 0 = −xsinθ + ycosθ’dir. Şekil 4’de farklı α ve β değerleri
1 − 1 ( x 2+ y 2) için eliptik Gabor süzgeç örnekleri verilmiştir. 4Şekil 4(b)’de
G(x, y) = √ e 2 σx σy ejω(xcosθ+ysinθ) (1)
σx σy 2π görüldüğü gibi α = β iken dairesel Gabor süzgeç oluşur.
924
 2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
Şekil 4. Farklı α ve β değerleri ile oluşturulan Gabor süzgeç örnekleri.
Süzgeçler oluşturulurken kullanılan diğer parametrelerin değerler; σx =45,
σy =45, süzgeç boyutu 128x128’dır. Bütün değerler piksel cinsindendir.
Göz bölgesi de eliptik yapıdadır ve süzgeç göz be-
beği noktasına oturduğunda yüksek genlikli çıkış vermektedir.
Dolayısıyla yüz imgesi uygun bir Gabor süzgeçten geçirildik-
ten sonra elde edilen imgede yüksek genlikli noktalar göz
bebeği adayıdır.
C. Yerel En Küçük Noktalarının Bulunması
Göz bebeği göz yuvarlağının ortasındadır. Siyah olması ne-
deniyle de etrafındaki diğer noktalardan düşük renk seviyesine
sahip yerel en küçük noktalarıdır.
Yerel en küçük noktalarının belirlenmesinde [8]’deki yön-
tem kullanılmıştır. Yöntemde yüz bölgesi üzerindeki her nokta,
noktaya (w, h) komşuluğundaki 8 nokta ile karşılaştırılır ve
nokta bütün komşularından küçükse yerel küçük kabul edilir.
Şekil 5’de w ve h parametreleri örnek bir göz şekli üze-
rinde gösterilmiştir. Karşılaştırma işlemi aşağıdaki denklem
kullanılarak yapılmaktadır.
1 I(x + pn , y + qn ) ≥ I(x, y)

W (i, j) =
0 I(x + pn , y + qn ) < I(x, y)
Burada pn = {w, h, 0, −h, −w, −h, 0, h} ve qn
{w, h, 0, −h, −w, −h, 0, h} değerlerini alır
Şekil 5. Göz bölgesi ve komşuluk için tanımlanacak w ve h parametreleri
Bu işlemden sonra yerel en küçük noktaları için 1, diğer
noktalar için 0 değerini alan bir harita elde edilir. Yüz üze-
rinde herhangi bir nokta yerel en küçük olabilir. Ancak göz
bölgesinde bu noktalar yoğunlaşır. Yoğun bölgeleri tutmak
ve seyrek bölgeleri elemek için haritaya sıra düzenli süzgeç
uygulanır. Bu süzgeç, imgenin süzgeci oluşturan çekirdek ile
örtüştüğü kısımda belli sayıda 1 varsa 1, 1 sayısı istenen
değerin altındaysa sıfır verir. Sıra düzenli süzgeçleme işle-
minden sonra aday göz noktaları belirlenmiş olur.
D. Göz Bebeği Noktalarının Bulunması
Önerilen yöntem Gabor süzgeçlerler ve yüz üzerindeki
yerel en küçük noktalar kullanılarak göz bebeği noktalarını
bulmaktadır. Yöntem imgede Viola-Jones yönteminin yüzü
tespit etmesi ile başlar. Daha sonra yüz imgeleri gri seviyeli
imgeye çevrilerek imgeye eliptik Gabor süzgeç uygulanır.
Süzgeçleme işlemiyle elde edilen çıkış değerleri, yerel en
küçük noktaları belirten harita ile toplanır; böylece göz bebeği
adayı noktalar belirginleştir. Bu aşamadan sonra yüz imgesi
üzerinde göz bebeklerinin bulunduğu olası bölgeler kesilir. Bu
bölgeler veri tabanında imgelerde gözün yerleşimine bakılarak,
M xN boyutlarındaki bir imge için dikeyde 0.3M ile 0.5M
yatayda ise sol göz için 0.2N ile 0.45N sağ göz için 0.55N
ile 0.8N mesafeleri arası şeklinde belirlenmiştir. Sağ ve sol
göz bölgelerindeki en yüksek genlikli noktalar göz bebeği
noktasıdır.
III. DENEYSEL SONUÇLAR
Yöntemin test edilmesi için dört farklı veri tabanı kul-
lanılmıştır. Bunlar "ScFace" [9] veri tabanından alınan 130,
Hong-Kong Üniversitesi "Face" veri tabanından alınan 66,
"Karolinska Faces" veri tabanından alınan 97 [10], "MUCT"
[11] veri tabanından alınan 276 imgeden oluşmaktadır. İmge-
lerdeki göz bebeği noktaları el ile işaretlenmiş, başarım bu
noktalar üzerinden ölçülmüştür.
Başarı ölçümü için iki göz arasındaki gerçek uzaklık refe-
rans alınmıştır 0.1’lik hata ölçütünde yöntemin yanılma payı
iki göz arasındaki gerçek mesafenin %10’u kadardır. Bu hata
ölçütünde ScFace veri tabanında %94, Face veri tabanında
%100, Karolinska Faces veri tabanında %100 ve MUCT veri
tabanında %80 başarı elde edilmiştir. Yöntemin farklı hata
ölçütlerine göre başarısı Tablo I’de verilmiştir.
Tablo I. FARKLI H ATA T OLERASLARI VE V ERI TABANLARINA G ÖRE
BA ŞARI
(3) Hata Ölçütü ScFace Face Karolinska MUCT
0.05 0.66 0.5100 0.5846 0.1993
0.1 0.9462 1 1 0.8007
0.15 0.9615 1 1 0.9312
= 0.20 0.9729 1 1 0.9529
0.25 0.9847 1 1 0.9674
Şekil 7’da doğru kestirilen göz bebekleri işaretlenerek ve
Şekil 8’de hatalı kestirilen noktalar işaretlenerek elde edilen
bazı imgeler verilmiştir.
Ayrıca çalışmada yerel en küçük noktalarının yönteme
katkısı da incelenmiş, başarıyı artırdıkları görülmüştür. Öner-
ilen yöntemin başarısı ile yalnızca Gabor süzgeçler kul-
lanıldığında elde edilen başarı farklı hata ölçütleri için hesa-
planmış, sonuçlar Şekil 6’deki başarı eğrileri ile verilmiştir.
Yalnızca Gabor süzgeçler kullanıldığında 0.1’lik hata ölçütü ile
başarı ScFace veri tabanında %86, Face veri tabanında %100,
Karolinska Faces veri tabanında %86 ve MUCT veri tabanında
%52 olmuştur.
IV. TARTI ŞMA
Bu bildiride yerel en küçük noktalar ve Gabor süzgeçler
kullanılarak göz noktalarının kestirim çalışmasının sonuçları
tartışılmaktadır. Göz noktaları birçok yüz tanıma sisteminde
hizalama, eğim açısı düzeltme ve diğer önemli noktaların
925
 2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

Şekil 6. Farklı veri setleri üzerinde elde edilen göz bebeği tespiti başarı grafikleri (a) Yerel en küçük noktalar kullanılmadığında Gabor süzgeçleme ile elde edilen
başarı grafiği. (b) Önerilen yöntemin başarı grafiği. Grafikler, seçilen hata ölçütüne (yatay eksen) karşı düşen başarı oranlarını (düşey eksen) göstermektedir.

K AYNAKÇA
[1] O. Ayhan, B. Abaci, and T. Akgul, “Improved active shape model
for variable illumination conditions,” in Multimedia Signal Processing
(MMSP), 2013 IEEE 15th International Workshop on, Sept 2013, pp.
322–327.
[2] Z. Zhu, Q. Ji, K. Fujimura, and K. Lee, “Combining kalman filtering
and mean shift for real time eye tracking under active ir illumination,” in
Pattern Recognition, 2002. Proceedings. 16th International Conference
Şekil 7. Yöntemin göz bebeği noktalarını 0.1 hata ölçütünde doğru tespit on, vol. 4, 2002, pp. 318–321 vol.4.
ettiği imgeler. (a) ScFace (b) Face (c) Karolinska Faces (d) MUCT veri [3] I. Choi and D. Kim, “Generalized binary pattern for eye detection,”
tabanlarına ait imgelerdir. Signal Processing Letters, IEEE, vol. 20, no. 4, pp. 343–346, 2013.
[4] Z.-H. Zhou and X. Geng, “Projection functions
for eye detection,” Pattern Recognition, vol. 37,
no. 5, pp. 1049 – 1056, 2004. [Online]. Available:
http://www.sciencedirect.com/science/article/pii/S0031320303003674
[5] J. P. Jones, Larry, and A. Palmer, “The two-dimensional spatial structure
of simple receptive fields in cat striate cortex,” Journal of Neurophysi-
ology, pp. 1187–1211, 1987.
[6] P. Viola and M. Jones, “Rapid object detection using a boosted cascade
of simple features,” in Computer Vision and Pattern Recognition,
2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society
Şekil 8. Yöntemin göz bebeği noktalarını 0.1 hata ölçütünde yanlış tespit Conference on, vol. 1, (2001), pp. I–511–I–518 vol.1.
ettiği imgeler. (a) ScFace (b),(c),(d) MUCT veri tabanlarına ait imgelerdir. [7] Y. Freund and R. E. Schapire, “Experiments with a
New Boosting Algorithm,” in International Conference on
Machine Learning, 1996, pp. 148–156. [Online]. Available:
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.6252
belirlenmesinde referans alınır. Önerilen yöntem yüz eğim
[8] J. Ren and X. Jiang, “Fast eye localization based on pixel differences,”
açısından bağımsız olması nedeniyle hizalama gerektiren yüz in Image Processing (ICIP), 2009 16th IEEE International Conference
tanıma sistemleri için idealdir. on, 2009, pp. 2733–2736.
Göz bebeği tespitinde karşılaşılan en büyük sorunlardan [9] R. Wallace, M. McLaren, C. McCool, and S. Marcel, “Inter-session
variability modelling and joint factor analysis for face authentication,”
birisi gözlük kullanımıdır. Önerilen yöntemin başarısız olduğu in Biometrics (IJCB), 2011 International Joint Conference on, Oct 2011,
imgeler genellikle gözlük kullanan kişilere aittir. Gözlük pp. 1–8.
camının neden olduğu parlamalar ve gözlük kenarları hatalara [10] D. Lundqvist, A. Flykt, and A. Öhman, “The karolinska directed emo-
neden olmaktadır. Bu sorunun çözümü için olası bir yak- tional face kdef,” in CD ROM from Department of Clinical Neuroscience
laşım, yöntemin makine öğrenmesi tabanlı yöntemlerle bir- Psychology section, 1988.
likte çalıştırılarak sistemin gözlüklü örneklerdeki göz yapısını [11] S. Milborrow, J. Morkel, and F. Nicolls, “The MUCT Landmarked
öğrenmesi sağlamaktır. Face Database,” Pattern Recognition Association of South Africa, 2010,
http://www.milbo.org/muct.

TE ŞEKKÜR
Bu çalışma TÜBİTAK tarafından 112E142 nolu proje kap-
samında desteklenmektedir.
926