2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
GÖZBEBEĞİ BÜYÜMESİ VE YÜZ SICAKLIĞI ÖZNİTELİKLERİNİN
STRES TESPİTİNDEKİ ROLÜ
ROLE OF PUPIL DILATION AND FACIAL TEMPERATURE
FEATURES IN STRESS DETECTION
Serdar Baltacı, Didem Gökçay
Enformatik Enstitüsü Tıp Bilişimi Bölümü
Ortadoğu Teknik Üniversitesi
Ankara, TURKEY
{e145920, dgokcay}@metu.edu.tr
Özetçe—Bilgisayar kullanıcısının rahatlama
durumundan stres haline değişen duygusal durumunu
ölçebilmek için, gözbebeği büyümesi ve yüzdeki periorbital
bölgedeki sıcaklık değişimlerinden elde edilen öznitelikler
makine öğrenme teknikleriyle işlenmiştir. Sinyal
değerlerinden elde edilen öznitelikler ile entropi tabanlı
özniteliklerin birlikte kullanılmasıyla duygu
sınıflandırmanın doğruluğunun arttığı gözlenmiştir.
Çalışmamızda karar ağacı (C4.5) metodu sınıflandırma
amacıyla kullanıldığında, nötr duyguya karşı stres
durumunun tespitinde en yuksek doğruluk oranı %90’nın
üzerindedir.
Anahtar Kelimeler — yüz sıcaklığı değişimleri, gözbebeği
büyümesi, stres tespiti
Abstract—In order to differentiate the affective state of
a computer user as it changes from relaxation to stress,
features derived from pupil dilation and periorbital
temperature are processed with machine learning
techniques. When absolute signal values are used together
with entropy based features, the accuracy of affective
classification is observed to increase. When decision tree
(C4.5) is tested for classification, best accuracy of detection
of neutral versus aroused states is above 90%.
Keywords — facial temperature changes, pupil dilation,
stress detection
1. GİRİŞ
Fizyolojik uyarılma ve stres sırasındaki değişiklikler
derinin geçirgenliği [1], termal kamera kaydı [2,3] ve
gözbebeğindeki büyüme [4] aracılığıyla ölçülebilmektedir.
Bradley’e göre[4], gözbebeğindeki büyüme 2-3 saniye içinde
gözlemlenmekte ve pozitif ve negatif duygusal uyarılmalar
nötr durumdaki uyarılmalara göre gözbebeğindeki büyümeyi
arttırmaktadır. Diğer fizyolojik sinyallerin ölçümleri ile
karşılaştırıldığında, gözbebeği boyutunun ölçülmesi
avantajlıdır, çünkü kullanıcıya bağlı bir aparat gerektirmez.
Gözbebeği ölçümünün diğer bir avantajı ise, gözbebeği
büyümesindeki değişimin otonom sinir sistemi (OSS)
aktivitesinin istemsiz bir göstergesi olması ve manipulasyonla
etkilenmesinin güç olmasıdır [5].
Diğer yandan, kişinin duygu durumu değiştiğinde
yüzde bazı bölgelerde kan akışını değişir. Buna bağlı olarak
978-1-4799-4874-1/14/$31.00 ©2014 IEEE
1259
oluşan sıcaklık değişimi, termal görüntüleme ile de güvenilir
bir şekilde tespit edilebilmektedir[6-8]. Termografi, tamamen
temassız olması ve görünür ışığa dayalı sistemlerin aksine cilt
rengi veya çevre aydınlatma koşullarından etkilenmemesi
nedeniyle ilgi çekici bir yöntemdir.
Bu çalışmada, nötr duygulardan heyecan verici
negatif duyguları (ör: stres) ayırmak için yeni bir yöntem
önerilmektedir. Çalışmamızın bu alana ana katkısı,
gözbebeğindeki büyüme ve yüzdeki ısı değişikliklerinin,
öznitelik temelli birleştirilmesinde yatmaktadır. Gözbebeği
büyümesi ve deri sıcaklığı gibi, biri hızlı ve biri yavaş birbirini
tamamlayıcı niteliğe sahip iki fizyolojik sinyal ile daha yüksek
duygu ayrımına ulaşılması hedeflenmektedir.
2. SİNYAL TOPLAMA
Bu çalışmada, bilgisayarla etkileşen 9 denekten
TOBII TX300 kızılötesi kamera ve FLIR SC620 termal
kamerayla sinyaller toplanarak duygusal durum
değişikliklerini tespit etmek için analiz yapılmıştır.
Gözbebeğindeki büyüme ve yüz sıcaklığı değişimi sırasıyla 60
Hz ve 30 Hz hızında kaydedilmiştir. Gözbebeği verisi
toplanması sırasında gerçek zamanlı bakış takibi ve sıcaklık
verisi işlemesinde ilgili bölge (region-of-interest-ROI) takibi,
tarafımızca geliştirilmiş bir yazılımla yapılmış, kafa sabitleyici
kullanılmamıştır. Hızlı veri toplama işlemi için birden çok iş
parçacığı oluşturulmuş ve tarafımızca geliştirilmiş .Net
uygulaması tarafından deneyler kontrol edilmiştir. MS Visual
C# kullanarak yazdığımız uygulama ile veri analizi ve
istatistikler gerçekleştirilmiştir.
İki bölümden oluşan bir deney uygulanmıştır: İlk
bölüm nötr duyguları ölçmek için taban çizgisi olarak
sınıflandırılmış, ikinci bölüm stres duygulanımı yaratmak için
tasarlanmıştır. Bölüm I ve II’de IAPS (International Affective
Picture System) resimleri kullanılmıştır. Bilişsel psikoloji
çalışmalarında sıklıkla kullanılan IAPS, Lang, Bradley, ve
Cuthbert [9] tarafından geliştirmiştir. IAPS içerisinde yer alan
1196 resim çeşitli yaş grubundaki yetişkinlerce ve çocuklarca
duyuşsal değer (affective valence), uyarılmışlık (arousal) ve
baskınlık (dominance) olmak üzere üç boyutta
derecenlendirilerek belirlenmiştir. Seçilen resimler, gözdeki
parlaklık etkisini önlemek için renk yeğinlik değerleri
açısından ortalama 96.66/255 (std sapma 0.279) olacak şekilde
normalize edilmiştir.
 2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
Bölüm-I: Nötr heyecan ve nötr olumluluk
değerine sahip 12 IAPS resmi seçilmiştir 1 . Resimler her
uyaran için rastgele 3x3 grid şeklinde birleştirilmiştir. Gridin
içerisindeki bazı görüntülerin gelişigüzel yerlerine ok
sembolleri yerleştirilmiştir. Her uyaranda 3-6 arasında ok
bulunmasına dikkat edilmiştir. Deneklerden, gösterilen uyaran
içerisindeki toplam ok sayısını söylemeleri istenmiştir.
Deneklere, tahminleri doğru ise "Doğru", doğru değil ise
"Yanlış, okların sayısı aslında x kadardı." şeklinde geri
bildirim yapılmıştır. Bu bölümde toplam 20 uyaran
gösterilmiş, her uyaran 6 sn ekranda kalmış, sonrasında diğer
uyaran ekrana gelene kadar 12 sn boş ekran gösterilmiştir.
Bölüm-II: Deneysel prosedür Bölüm-I ile aynı
olmakla beraber, gösterilen IAPS resimlerinin heyecan ve
olumluluk değerleri, uyaranların içerisine yerleştirilen okların
sayısı ve sözlü geri bildirimde farklılıklar bulunmaktadır.
Seçilen IAPS resimleri yüksek heyecan ve olumsuz değerlere
sahiptir 2 . Uyaranlara eklenen okların sayısı 6-9 arasında
rastgele değişmektedir. Deneklerin cevabı sırasında %30
oranında yanıltıcı sözlü geri bildirimde bulunulmuş, ve doğru
cevap verildiği halde yanlış olduğu belirtilmiştir. Böylece
stres seviyesinin arttırılması amaçlanmıştır. Bu parametre
değişiklikleri sonrasında denekteki stresin arttığı gözlenmiş,
tüm deneyin bitiminde katılımcılar kendileri de ikinci kısımda
zorlandıklarını ve heyecanlandıklarını ifade etmiştir.
Şekil 1: Deney Akışı: gri ekran: 12 sn dinlenme;
uyaran ekranı: 6 sn derlenmiş IAPS resimleri
Deney akışı Şekil 1’de sunulmuştur. Bölüm I ve II
arasında, deneklerin duygusal durumunu belirlemek ve onların
dinlenmesini sağlamak amacıyla bir kaç dakika süren PANAS
testi 3 uygulanmıştır. Bu ölçek, çeşitli duygu ve hisleri
1
Heyecan değerleri: ort=2.77, std=1.896, Olumluluk değerleri: ort=4.949
std=1.185
2
Heyecan değerleri: ort=6.12, std=2.02, Olumluluk değerleri: ort=2.87 std=1.74
3 The Positive and Negative Affect Schedule (PANAS; Watson et al., 1988)
1260
tanımlayan kelimeler içermektedir. Denekler, testte yer alan
maddeleri okumakta ve maddelerin yanındaki ilgili seviyeyi
seçerek nasıl hissettiklerini belirtmektedirler. Mevcut ruh
durumuna göre aykırı denekleri tespit etmek ve dışlamak için
yapılan bu uygulama sonrasında tüm denekler çalışmaya
uygun bulunmuştur.
3. SİNYAL İŞLEME VE HEYECAN TESPİTİ
Her uyaran için toplanan gözbebeği (60 Hz) ve yüz
sıcaklığı (30 Hz) sinyalleri 6 sn’lik resim gösterimi ve
sonrasındaki 12 sn’lik dinlenmeyi içerecek şekilde tek bir
kayıt olarak birarada derlenmiştir. Kayıtta, gözbebeği verileri
sağ ve sol gözden, k=1...K ve K=(6+12)*60 olmak üzere
sırasıyla dL=l1, l2,.., lk,.., lK ve dR=r1, r2,.., rk,.., rK olarak
toplanmıştır. Sıcaklık verileri periorbital bölgeden, m=1...M
and M=(6+12)*30 olmak üzere t=t1, t2,.., tm,.., tM olarak
toplanmıştır. Kayıt adedi, her bir bölüm için uyaran adedi (20)
kadardır.
3.1. Gözbebeği Verilerinin Ön İşlemesi
Her gözbebeği kaydı için, denek ekran dışına
baktığında yada gözünü kırptığında kaybolan veri, Tobii
kamerası tarafından eksi bir sayı olarak kaydedilmektedir. Bu
kayıpların telafisi için tarafımızca geliştirilen ekstrapolasyon
algoritması kullanılmıştır. Sadece tek bir göz için veri kaybı
söz konusuysa, diğer gözün gözbebeği verileri interpolasyon
için alınmış, iki gözün verisi kayıp ise, kayıp veriden önceki
ve sonraki beş verinin ortalamasından doğrusal kestirim
yapılmıştır. Daha sonra verilerin değişkenliğini azaltmak için,
hareketli ortalama süzgeci[10] kullanılmıştır (Süzgecin
pencere boyutu deneysel olarak 20 olarak belirlenmiştir).
Son olarak, her iki göz için sağ ve sol gözbebeği
büyüklüklerinin yüksek korelasyonu nedeniyle, tek bir
gözbebeği büyüklüğü verisi elde etmek için p1,p2,…,pk,…pK
şeklinde sağ ve sol gözbebeğinin ortalaması hesaplanlanmıştır.
Bu metodun örnek sonucu Şekil 2’de üst sırada görülebilir
(dL:mavi, dR:kırmızı).
Şekil 2: Ön işleme öncesi ve sonrasında
gözbebeği kaydı (üst sıra) ve Termal yüz kaydı (alt sıra)
3.2. Sıcaklık Verilerinin Ön İşlemesi
Her termal kayıt, önceden belirlenmiş bir ROI içinde
en yüksek yeğinlikli %10 pikselin ortalama sıcaklığından elde
 2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

edilmiştir. Deneğin hareket edeceği gözönüne alınarak, deneye Her kayıttan elde edilen verilerle ortalama, en az, en
başlamadan önce deneğin gözlerinin arasındaki damarları çok, medyan ve standart sapma değerleri üretilerek, bu
içeren periorbital bölge seçilmiş (Şekil 2), ve deney süresi değerler öznitelik olarak kullanılmıştır. Bu öznitelikler, hem
boyunca şablon eşleştirme algoritmasıyla takip edilmiştir 1 . veri ön işlemeden sonra oluşturulan gerçek sinyaller için hem
Deney boyunca, bu karesel alandaki en yüksek %10 yeğinlikli de entropi bazlı sinyaller için (Hj) ayrı ayrı hesaplandığından,
pikseller, her örneklem için otomatik olarak seçilerek 10 bileşenli bir öznitelik vektörü elde edilmiştir.
kaydedilmiştir [2]. Ayrıca bu kısmın yeğinlik değerlerinin
ortalaması alınıp (tm) daha sonra öznitelik çıkarımında 3.4. Heyecan Tespiti
kullanılmak üzere zaman serisi olarak saklanmıştır. Büyük
Bölüm I’e karşı Bölüm II kayıtlarının sınıflandırılması için,
hareketlerin yaşandığı bazı nadir durumlarda takip işlemi
Accord.NET yazılımının 3 parçası olan C4.5 Karar Ağacı
başarısız olduğundan kayıt alınamamış ve buna çözün olarak
yöntemi kullanılmıştır. Karar ağaçları, basit şartlı kuralları
kayıp verileri kurtarmak için interpolasyon yapılmıştır. Basit
kullanarak girdileri hedef değerlerle eşleştiren öngörü
Hareketli Ortanca (Simple Moving Median - SMM) süzgeç,
modelleridir. Karar ağacı öğrenmedeki en önemli ve klasik
parazit giderme için elverişli bulunmuştur (süzgeç için pencere
örnek, ID3 (Quinlan, 1986) ve C4.5 (Quinlan, 1993)
boyutu 10 seçilmiştir).
algoritmalarıdır. C4.5, verileri bilgi kazancına (information
Aykırı değerleri atmak için medyan ile standart
gain - IG) göre bölerek veri kümesinden karar ağacı oluşturur.
aykırı değer ayıklama algoritması (Grubb’s testi [11])
Eğitim seti içinde en yüksek IG’ye göre ağaç tekrarlanarak
kullanılmıştır. Özellikle termal sinyaller toplanırken, termal
bölünür ve elde edilen karar ağacı daha sonra sınıflandırma
takip sistemi, deneğin hareketlerinden etkilenebilmekte ve
için kullanılır[13]. Karar Ağacı, öznitelikler arası etkileşimin
interpolasyon yeterli olamayabilmektedir. İstenmeyen bu
anlaşılması ve yönetimi bakımından avatajlar sağlaması
verilerin hariç tutulması, daha sonraki sınıflandırma aşaması
nedeniyle tercih edilmiştir.
için önemlidir. Kaydedilen termal veriler ve gözbebeği
verilerinde eksik değerler %30’dan daha fazla olduğu durumda 4. DENEY SONUÇLARI VE DEĞERLENDİRME
ilgili kayıt tamamen yok sayılmıştır.
Bölüm 1 de %10 oranında, bölüm 2 de %8 oranında
3.3. Öznitelik Çıkarımı kayıt, aykırı değer olarak atılmıştır. Her katılımcının Bölüm I
ve II verileri için ön işleme yapılarak, bölümlere ait veriler,
Denekler arasında sinyal değişkenliğinden
sınıf 1 (nötr) veya sınıf 2 (stres) olarak etiketlenmiştir.
kurtulmak amacıyla öznitelik belirlemeden önce, tüm veriler
Sınıflandırıcının, daha doğru ve gerçekçi bir
normalize edilmiştir. Bütün kayıtlarda ilk sinyal örnekleminin
değerlendirmesinin yapılabilmesi için, 10-kat çapraz
sıfır değerinden başlamasını sağlayacak şekilde her kayıttaki
doğrulama yöntemi [14] kullanılmıştır. Çapraz doğrulama
sinyal değerleri kaydırılmıştır.
yapılırken objektif olunması açısından deneklerin özdeşliği
Her kayıtta, gözbebeği büyümesinin ve termal
göz önüne alınmamıştır. Veri ilk olarak 10 eşit alt kümeye
sinyallerin entropi tabanlı temsilini oluşturmak için W
bölündükten sonra, alt kümelerden dokuz alt küme üzerinde
genişliğinde bir pencerede Shannon Entropi değerleri,
eğitim yapılıp kalan veri test olarak kullanımıştır. Bu işlem her
gözbebeği (pk) ve termal veri örnekleri (tm) üzerinde kayarak
bir alt küme test için kullanılana kadar tekrar edilmiştir.
ilerleyen iki ayrı pencerede hesaplanmıştır[12]. Sinyalin Sınıflandırıcının genel doğruluk değeri, yapılan 10
tümünün genliği öncelikle N tane genlik seviyesine sınıflandırma üzerinden elde edilen ortalama ile
bölümlendirilmiş, W penceresinde j kaydırma aralığı olmak hesaplanmıştır. Sınıflandırma sonuçları, sırası ile gözbebeği
üzere, her bir pencere için Shannon entropi değeri şu şekilde sinyal değerleri, termal sinyal değerleri ve her ikisinin
hesaplanmıştır (Cover ve Thomas [11]) birleştirilmesi ile elde edilen değerler üzerinden Tablo 1'de
N
sunulmuştur. Tablo 1’de gösterilen sınıflandırmanın
H j = − ∑ s n log 2 ( s n ) sonuçlarına göre, gözbebeği ve termal sinyaller
n =1
birleştirildiğinde en iyi başarım %98 oranında olmuştur.
Burada j değeri 1,…,J şeklinde tüm kayıt boyunca
bir dizindir ve sn, W penceresinde bölümlendirilmiş her bir
Tablo 1: Gerçek ve entropi veri sınıflandırma sonuçları
sinyal seviyesinin (n) olasılık değeridir. J değeri, örnekleme
oranları farklı olduğundan2, gözbebeği ve termal kayıtları için VERİ Doğruluk (%)
farklıdır. pk 66.7 ± 4.1
Zaman ekseninde W genişliğindeki bu pencere, stres tm 81.6 ± 2.0
ve nötr durumu birlikte içeren sinyaller arasında geçişi pk ve tm 91.2 ± 7.4
yansıtabiliyorsa, pencere içinde hesaplanan entropi değeri
yüksek olacaktır. Buna karşılık, pencere yalnızca stres ya da En iyi sonucun elde edildiği Karar Destek Agaç
yalnızca nötr sinyaller içeren bir bölgeye konumlandırılırsa, bu yapısı Şekil 3’de gösterilmektedir. Agacın kök kısmında
pencerede entropi değeri düşük olacaktır. Kuşkusuz, pencere gerçek gözbebeği en küçük özniteliği yer almaktadır.
büyüklüğü seçimi duygu tespiti için önemlidir. W değeri
sinyalin özelliğine ve füzyolojik tepkiye göre
değişebilmektedir. 10 ile 500 zaman noktası arasında değişen
W değerleri denenmiş olup, termal için W=30, gözbebeği için
W=170 değerlerinin en iyi ayrımı sağladığı gözlenmiştir.

1
Şablon eşleştirme yöntemi için Kemal Doğuş Türkay’a teşekkür ederiz.
2
Gözbebeği kayıdı için J, W uzunluğunun K’den farkıdır. Termal kayıt için J, W
uzunluğunun M’den farkıdır.
3
Web adresi: http://code.google.com/p/accord

1261
 2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)
Şekil 3: Karar Ağacı Sonucu
(P_:Gözbebeği,T_:Termal,G_:Gerçek Sinyal verisi, E_:Entropi Verisi,
Bölüm1:-1, Bölüm2:1 )
Literatürde, göz bebeği boyutu yada yüzdeki sıcaklık
sinyallerinin ayrı ayrı kullanıldığı durumlarda heyecan ya da
stres tespitinde başarı oranının az olduğu görülmektedir.
Sadece göz bebeği ölçümü yapan Peng Ren’e göre [15],
bilgisayar kullancısının "rahatlama" durumu "stres" durumuna
karşı % 83.03 doğrulukla ayırt edilebilmektedir. Bu ekibin
çalışmasında, gerçek zamanlı göz bebeği analizi yerine,
Kalman filtrelemesi, Wavelet görüntü giderme ve Walsh
dönüşümü gibi bir kaç ön işlem offline olarak uygulanmıştır.
Bir başka çalışmada [16], yüzün termal video görüntüleri
kullanılmış, IAPS görüntülerinin izlenmesi sırasında
katılımcıda oluşan duygusal durumun ancak %70 ve %80
arasında bir doğrulukla nötr durumdan ayırt edilebildiği
bulunmuştur.
1262
Bu yöntemlerle kendi çalışmamızı karşılaştıracak
olursak, eğitim bir kez çevrimdışı olarak tamamlandıktan
sonra, veriyi gerçek zamanlı sınıflandırma1 avantajı sayesinde
yüksek sınıflandırma başarımı elde edilebilecektir.
5. SONUÇ
Burada önerilen yöntemin stres tespitinde işe
yarayacak önemli bir özelliği, yavaş ve hızlı yükselip alçalan
tüm fizyolojik sinyallerde kullanılabilmesi ve bu sinyalleri
başarıyla birleştirebilmesidir. Nötr ve stres durumlarında
bazen sinyalin tepe noktasından ziyade fizyolojik profili
değişmekte, bu durumlarda entropiden edinilen öznitelikler
fayda sağlanmaktadır. Karar ağacında sinyal ve entropi tabanlı
özniteliklerin beraber kullanılmasıyla, sınıflandırmadaki
doğruluk % 90’ın üzerine çıkmıştır.
6. KAYNAKÇA
[1] Lang, P.J., et al., Looking at pictures: Affective, facial, visceral,
and behavioral reactions. Psychophysiology, 1993. 30(3): p.
261-273.
[2] Pavlidis, I., et al., Interacting with human physiology. Computer
Vision and Image Understanding, 2007. 108(1): p. 150-170.
[3] Pavlidis, I. Continuous physiological monitoring. in Engineering
in Medicine and Biology Society, 2003. Proceedings of the 25th
Annual International Conference of the IEEE. 2003. IEEE.
[4] Bradley, M.M., et al., The pupil as a measure of emotional
arousal and autonomic activation. Psychophysiology, 2008.
45(4): p. 602-607.
[5] T. Partala, V.S., Pupil Size Variation as an Indication of
Affective Processing. Int’l J. Human-Computer Studies, 2003.
59: p. 185-198,.
[6] Shastri, D., et al., Imaging facial signs of neurophysiological
responses. Biomedical Engineering, IEEE Transactions on,
2009. 56(2): p. 477-484.
[7] Yun, C., et al. O'game, can you feel my frustration?: improving
user's gaming experience via stresscam. in Proceedings of the
27th international conference on Human factors in computing
systems. 2009. ACM.
[8] Gane, L., et al., Thermal Imaging of the Periorbital Regions
during the Presentation of an Auditory Startle Stimulus. PloS
one, 2011. 6(11): p. e27268.
[9] Lang, P.J., M.M. Bradley, and B.N. Cuthbert, International
affective picture system (IAPS): Technical manual and affective
ratings, 1999, Gainesville, FL: The Center for Research in
Psychophysiology, University of Florida.
[10] Witten, I.H. and E. Frank, Data Mining: Practical machine
learning tools and techniques2005: Morgan Kaufmann.
[11] Cover, T.M. and J.A. Thomas, Elements of information theory,
1991, Wiley New York.
[12] De Araujo, D., et al., Shannon entropy applied to the analysis of
event-related fMRI time series. NeuroImage, 2003. 20(1): p. 311-
317.
[13] Quinlan, J.R., Improved use of continuous attributes in C4. 5.
arXiv preprint cs/9603103, 1996.
[14] Efron, B. and R. Tibshirani, An introduction to the bootstrap.
Vol. 57. 1993: CRC press.
[15] Ren, P., et al., Affective Assessment by Digital Processing of the
Pupil Diameter. Affective Computing, IEEE Transactions on ,
vol.4, no.1, pp.2,14, Jan.-March 2013
[16] Nhan, B.R. and T. Chau, Classifying affective states using
thermal infrared imaging of the human face. Biomedical
Engineering, IEEE Transactions on, 2010. 57(4): p. 979-987.
1
Gerçek zamanlı işlemler, bazen veri toplama işlemeni etkileyebilmektedir. Bu
nedenle iş parçacığı yönetimi optimize edilmelidir.