Aktif Algılama Hareketlerinin Makine Öğrenmesi
Teknikleri ile Sınıflandırılması
Classification of Active Sensing Movements via
Machine Learning Approaches
Sinan Vargeloğlu ve İsmail Uyanık
Elektrik ve Elektronik Mühendisliği Bölümü, Hacettepe Üniversitesi, Ankara, Türkiye
sinan.vargeloglu@hacettepe.edu.tr, uyanik@ee.hacettepe.edu.tr
2021 29th Signal Processing and Communications Applications Conference (SIU) | 978-1-6654-3649-6/21/$31.00 ©2021 IEEE | DOI: 10.1109/SIU53274.2021.9477837
Özetçe — Aktif algılama canlıların çevrelerinden aldıkları
duyusal geri bildirim sinyallerini çeşitli motor hareketleri
vasıtasıyla şekillendirmesi olarak tanımlanabilir. Bu hareketler
her ne kadar direk bir motor görevine hizmet etmese de duyu ve
motor sistemler arasındaki etkileşimden faydalanarak canlının
çevreden aldığı duyusal sinyalleri iyileştirebilmek amacıyla
kullanılabilmektedir. Bu davranışa en iyi örneklerden birisi
olarak canlıların gözlerini, başlarını ve hatta vücutlarını hareket
ettirerek optik algılama hacimlerini arttırabilmeleri verilebilir.
Amacımız öncelikle aktif algılama hareketlerini davranışsal
hareketlerden ayırmaktır. Ardından farklı formlar içeren bu
hareketleri kendi içinde sınıflandırarak ilgili hareketlerin
davranışsal görevler sırasında hangi amaca nasıl hizmet ettiğini
anlayabilmektir. Bu bağlamda bu çalışmada zayıf elektrik
balıklarının bir türü olan Eigenmannia virescens balıklarının
doğal sığınak takibi davranışı sırasında toplanmış bir veri
kümesinden faydalanacağız. Bu balıklar sığınak arama içgüdüleri
nedeniyle doğal ortamlarında su içerisinde bulunan kaya olukları
ve bitkilerin arasına saklanırlar. Evrimsel süreçte geliştirdikleri
uzun anal yüzgeçleri sayesinde ise bu sığınaklar hareket etse bile
ileri/geri tek eksende yüzerek içlerinde kalmaya devam
edebilirler. Laboratuvar ortamında deney akvaryumu içerisine
bir PVC tüp konularak benzeri bir sığınak ortamı kolaylıkla elde
edilebilmektedir. Bu balıklar motor kontrollü olarak hareket
ettirilen PVC sığınakların hareketlerini ileri/geri yüzerek tek
eksende ‘başarılı’ bir şekilde takip edebilmektedirler. Ancak bu
deneyler sırasında sığınak takibi için yaptığı doğrusal hareketlere
ek olarak aktif algılama hareketleri olarak adlandırılan ve balığın
algılama performansını iyileştirdiği varsayılan çeşitli hareketler
gerçekleştirmektedirler. Balık tarafından gerçekleştirilen aktif
algılama hareketlerinin tespiti ve sınıflandırılması bu hareketlerin
duyumotor kontrol sırasındaki rollerinin anlaşılması bakımından
oldukça önemlidir. Biz bu çalışmada makine öğrenmesi
tekniklerinden yararlanarak öncelikle aktif algılama hareketlerini
tespit etmek ardından bu hareketleri daha önceden atanmış bazı
davranışsal gruplara görev sınıflandırmayı amaçlıyoruz.
Anahtar Kelimeler – aktif algılama, davranışsal
sınıflandırma, bilişimsel sinirbilim, makine öğrenmesi
Abstract — Active sensing can be defined as shaping the
sensory feedback signals perceived from the environment via
various motor movements. Despite not aiming to serve a motor
goal, these movements can enhance the sensory feedback received
from the environment by utilizing interaction between the sensory
978-1-6654-3649-6/21/$31.00 ©2021 IEEE
Authorized licensed use limited to: ULAKBIM UASL - Hacettepe Universitesi. Downloaded on August 12,2022 at 11:15:38 UTC from IEEE Xplore. Restrictions apply.
and motor systems. A common natural example to active sensing
is the ability of animals to extend their optical sensory volume by
moving their eyes, heads and bodies. Our primary goal is to
distinguish active sensing movements from the task-dependent
movements. Then, we aim to classify active sensing movements
based on their characteristics to reveal how these movements assist
behavioral task performance. In this context, we will use a dataset
that includes the behavioral data collected during the refuge
tracking behavior of Eigenmannia virescens, a species of weakly
electric fishes. These fish hide between rocks and plants in the
water due to their natural refuge seeking behavior. They can track
the movements of such refuges via swimming forwards/backwards
by benefiting from the long anal fin they developed during the
evolutionary process. A similar environment can be achieved in a
lab environment by placing a PVC tube into the aquarium. These
fish can ‘successfully’ track the movements of such tubes by
swimming forwards/backwards in a single linear dimension.
However, in addition to the movements performed for the sake of
tracking the refuge, these fish also exhibit some active sensing
movements to increase their sensing performance. Detection and
classification of such active sensing movements is critical to
understand the roles of these movements in sensorimotor control.
In this study, we plan to utilize machine learning approaches first
to detect the active sensing movements performed by the fish and
then to classify them into previously labeled types of active sensing
movements.
Keywords: active sensing, behavioral classification,
computational neuroscience, machine learning
I. GİRİŞ
Canlılar çevreleriyle sürekli olarak dinamik bir etkileşim
içerisinde yaşamlarına devam ederler. Canlılar hareket ettiğinde
çevrelerinde çeşitli değişimlere neden olurlar ve bu
değişimlerin etkisini duyu organları tarafından algılayabilirler.
Algılanan bu bilgiler canlıların daha sonraki hareketlerine karar
verme aşamasında tekrar kullanılırlar. Birçok canlı bu
kaçınılmaz kapalı döngü etkileşimi kendi faydalarına en iyi
kullanabilecek şekilde hareketlerini düzenlemektedirler. Bu
bağlamda canlıların çevrelerinden aldıkları duyusal geri
bildirim sinyallerini şekillendirebilmek amacıyla yaptıkları,
herhangi bir motor amacına hizmet etmeyen hareketlere aktif
algılama hareketleri denilmektedir. Tabi ki aktif algılama
sadece hareket tabanlı bir algılama sistemi değildir. Canlıların uzman kontrolünde el ile etiketlendirilmesini gerektirmektedir.
algılamayı iyileştirmek amacıyla enerji harcadıkları tüm Bu durum çok yüksek zaman kayıplarına neden olmakta ve
davranışlar aktif algılama içerisinde düşünülmektedir. Bu sonuçların tekrarlanabilirliğini zorlaştırmaktadır. Bu
çalışma temel olarak hareket tabanlı aktif algılama davranışına çalışmanın amacı makine öğrenmesi tekniklerinden
odaklanmaktadır. faydalanarak bir uzman girdisine ihtiyaç duymadan balıklardan
toplanan davranışsal verilerin otomatik olarak analiz edilmesini
Aktif algılama canlılar arasında oldukça yaygın olarak
sağlamaktadır. Bu bağlamda daha önce Eigenmannia virescens
kullanılmaktadır. Bunlara en bilindik örnek olarak yarasa ve
türünden balıklarla çok farklı algısal belirginlik koşullarında
yunuslar tarafından kullanılan ekolokasyon sistemi verilebilir
gerçekleştirilmiş deneylerden meydana gelen bir veri kümesini
[1,2]. Hareket tabanlı aktif algılamaya iyi bir örnek olarak ise
kullanacağız [8]. Bu veri kümesi balık davranışlarının uzman
farelerin bıyıklarını oynatarak yiyecek olduklarını düşündükleri
bir personel kontrolünde el ile işaretlenmesinden oluşmaktadır
nesneleri uyarmaları, ortaya çıkan kokudan sevdikleri
ve çalışmamızda ‘gerçek’ sınıflandırma sonucu olarak
yiyecekleri ayırt edebilmeleri verilebilir [1]. Bu çalışmanın
kullanılacaktır. Amacımız makine öğrenmesi tekniklerinden
konusu olan zayıf elektrik balıkları ise birçok farklı formda
faydalanarak benzeri bir başarıma otomatik olarak ulaşacak
aktif algılama davranışından yararlanmaktadır [3]. Öncelikle
teknikler geliştirebilmektir.
zayıf elektrik balıkları evrimsel süreçlerinde su içerisinde aktif
olarak bir elektrik alan oluşturmalarına olanak sağlayan bir II. SINIFLANDIRMA, YÖNTEM VE BULGULAR
elektrik organ geliştirmişlerdir [4]. Bu balıklar elektrik
Bu çalışmada daha önce Eigenmannia virescens türünden
organları sayesinde su içerisine devamlı olarak türüne göre
balıklarla farklı algısal belirginlik koşullarında gerçekleştirilen
dalga ya da pulse şeklinde bir elektriksel sinyal yollamaktadır.
deneylerden oluşan bir veri seti kullanılmıştır [8]. Balığın farklı
Balığın etrafında oluşan bu elektrik alan balığın yüzeyinde
davranışsal cevaplarını tetikleyecek koşullarda 710 deneme
bulunan elektro-reseptörler tarafından algılanabilmektedir [4].
gerçekleştirilmiştir. Her deney sırasında PVC sığınak doğrusal
Balığın çevresinde bir nesne ya da başka bir balık olması
bir motor sistemi yardımıyla sabit frekanslı bir sinüzoidal sinyal
durumunda elektrik alanın genlik ve fazı değişmekte, balık da
yörüngesinde 30 saniye boyunca hareket ettirilmektedir. Buna
bu bilgileri işleyerek çevresini algılayabilmektedir. Böylece
karşın balığın hareketleri bir kamera yardımıyla kaydedilmiş ve
zayıf elektrik balıkları bir elektrolokasyon sistemi yardımıyla
daha sonra şablon eşleştirme tabanlı bir görüntü işleme
aktif algılama gerçekleştirmektedirler. Balıklar çevre
algoritmasıyla dijitalleştirilmiştir. Balık hareketlerinde balık
koşullarına göre yaydıkları elektriksel sinyalin frekansını
hızının sıfırı kestiği noktalar ayraç olarak kullanılarak her
güncelleyerek bir başka aktif algılama formu da ortaya
deney verisi farklı kesitlere ayrılmıştır. Bu veri setinde her kesit
çıkarabilmektedir. Bizim bu çalışmada ilgilendiğimiz asıl aktif
doğrusal takip, tarama, sürüklenme, sıfırlama ve kıpırdanma
algılama formu ise balıkların vücut hareketleriyle çevrelerinden
olarak beş farklı sınıfa ayrılmıştır. Doğrusal takip balığın
aldıkları elektriksel geri bildirim sinyalini modüle ettikleri
sığınak hareketlerini düzgün bir şekilde takip edebildiği veri
hareket tabanlı aktif algılamadır [2].
kesitleri olarak tanıtılabilir. Tarama balığın sığınağı tespit
Zayıf elektrik balıkları doğal sığınak arama iç güdüleri
nedeniyle sürekli olarak saklanarak yaşamayı tercih ederler.
Doğal ortamlarında kaya parçaları ve bitkilerin arasına
saklanarak sadece gerekli olduğunda ve genellikle karanlıkta
dışarı çıkarlar. Uzun anal yüzgeçleri sayesinde diğer birçok
balıktan farklı olarak gerektiğinde ileri ve geri yüzerek
yaşadıkları sığınakların içerisinde kalmaya çalışırlar. Benzeri
bir ortam laboratuvar koşullarında kolaylıkla elde
edilebilmektedir. Örneğin akvaryum içerisine hareketi
dışarıdan bir motor yardımıyla kontrol edilebilen bir sığınak
yerleştirildiğinde balıklar hemen bu sığınağın içerine girmekte
ve hareket etmesi durumunda ileri/geri yüzerek sığınak
hareketlerini takip etmektedirler [5,6]. Balıklar özellikle
yalnızca elektrolokasyona dayalı algılama yaptıkları karanlık
ortam deneylerinde sığınağı takip etmek için yaptıkları
hareketlere ek olarak bazı yüksek frekanslı salınım hareketleri
gerçekleştirmektedirler [7]. Biz bu çalışmada temel olarak
elektrolokasyon sisteminin algılama kalitesini arttırmak
amacıyla uygulandığı düşünülen bu aktif algılama hareketlerini
tespit etmeyi ve sınıflandırmayı amaçlıyoruz.
Gerek zayıf elektrik balıklarında gerekse diğer başka
canlılarda aktif algılama hareketlerinin anlaşılması amacıyla
çeşitli kestirim ve sınıflandırılma çalışmaları yapılmıştır [7]. Şekil 1. Balıklar tarafından gerçekleştirilen farklı hareket tipi
Ancak bu çalışmaların önemli bir bölümü ilgili davranışların bir örneklerinin gerçek deney verisi üzerinde görselleştirilmesi.

Authorized licensed use limited to: ULAKBIM UASL - Hacettepe Universitesi. Downloaded on August 12,2022 at 11:15:38 UTC from IEEE Xplore. Restrictions apply.
edebilmek için yaptığı nispeten yüksek frekanslı ileri/geri
yüzme hareketleridir. Sürüklenme balığın yavaşça sığınak
içerisinde geriye doğru yüzdüğü hareketlerdir. Sıfırlama balığın
sığınak içerisinde hızlı bir biçimde konumunu değiştirerek
takibe devam ettiği hareketlerdir. Son olarak kıpırdanma
balığın özellikle yön değişimi sırasında gerçekleştirdiği çok
düşük genlikli ve yüksek frekanslı ani salınım hareketleridir. Bu
hareketlerin her biri için ilgili örnekler Şekil 1’de gösterilmiştir.
Bu çalışmada amacımız daha önce sınıflandırması el ile
yapılması gereken bu davranışsal kesitlerin makine öğrenmesi
tekniklerden faydalanarak otomatik olarak sınıflandırılmasını
sağlayacak bir yöntem geliştirmektir. Bu bağlamda öncelikle
Matlab’ın Classification uygulaması kullanılarak farklı
sınıflandırma algoritmalarının veri kümesi üzerindeki
başarımları incelenmiştir. Beşli çapraz doğrulama kullanılarak
elde edilen başarım performansları (validasyon verisi
üzerindeki doğruluk oranları) Tablo I’de gösterilmektedir.
TABLO I: FARKLI SINIFLANDIRMA
ALGORİTMALARININ VERİ SETİ ÜZERİNDEKİ
ÇAPRAZ DOĞRULAMA BAŞARIM ORANLARI
Algoritma Algoritma Tam Adı Ortalama
Türü Doğruluk
(%)
Tree Medium Tree 87,9
Linear Linear Discriminant 73,1
Disc.
SVM Fine Gaussian SVM 89,4
KNN Coarse KNN 84,5
Ensemble Bagged Trees 90,3
Araştırmamızda makine öğrenmesi algoritmalarını
eğitebilmek amacıyla dokuz tane öznitelik belirlenmiştir.
Bunlardan çevresel olarak kullanılacak etmenler sığınağın
hareket frekansı, sığınağın uzunluğu, sığınak üzerinde
pencerelerin olup olmaması ve deneylerin aydınlık ya da
karanlık ortamda gerçekleştirilmesidir. Bunlara ek olarak
balığın gerçekleştirdiği hareket kesitinin süresi, hareket kesiti
süresindeki yer değişimi, aldığı yol, ortalama hızı ve en
önemlisi bir önceki kesitinin tahmin edilen davranış tipi
kullanılmaktadır.
Şekil 2. İki aşamalı sınıflandırma modeli blok diyagramı.
Authorized licensed use limited to: ULAKBIM UASL - Hacettepe Universitesi. Downloaded on August 12,2022 at 11:15:38 UTC from IEEE Xplore. Restrictions apply.
Bu ön çalışma sonuçları çalışmanın devamı için Bagged
Trees algoritması üzerine yoğunlaşılması konusunda motive
edici olmuştur. Bu algoritma için aynı zamanda daha önce
çapraz doğrulama aşamasında hiç kullanılmamış (holdout
dataset) bir test seti üzerinde başarım ölçümü yapılmış ve
%87,6 oranında bir sınıflandırma performansı elde edilmiştir.
Sınıflandırma performansının daha da iyileştirilebilmesi
adına iki aşamalı bir sınıflandırıcı geliştirilmesi planlanmıştır.
Bu bağlamda tüm verileri daha önce bahsedilen beş gruba
ayırmak yerine öncelikle tespiti nispeten daha kolay olan
doğrusal takip davranışının ayrılması, ardından kalan verilerin
diğer sınıflara dağıtılması planlanmıştır. Şekil 2 planlanan iki
aşamalı sınıflandırma modelini tanıtmaktadır. Öncelikle tüm
veriler öncelikle Bagged Trees algoritmasına verilerek doğrusal
takip davranışları ayıklanmaktadır. Ardından kalan veriler
(varsayılan aktif algılama hareketleri) ikincil bir Bagged Trees
algoritmasına beslenerek bu verilerin sınıflandırması
yapılmaktadır. Burada önemli bir nokta ikincil sınıflandırıcının
birinci aşamada tespit edilememiş olası doğrusal takip
davranışlarını da tespit ederek geri besleme yapmasıdır.
Tablo II elde edilen sınıflandırma başarımları gösterilmektedir.
Buna istinaden ilk aşamada doğrusal takip davranışlarının daha
önce karşılaşılmamış veri üzerindeki tespiti %92,29 oranında
sağlanabilmektedir. İkinci aşamada yapılan sınıflandırmanın
sonucu ise yine test verisi üzerinde %89,67 olarak
hesaplanmıştır. Toplamda iki aşamalı sınıflandırıcı test verisi
%89,78 oranında bir başarıma sahiptir. Bu oran her ne kadar tek
aşamalı sınıflandırıcı ile elde edilen %87,6 oranından yüksek
olsa da iyileştirmelere oldukça açıktır.
TABLO II: İKİ AŞAMALI MODELİN TEST DATASI
ÜZERİNDE PERFORMANSI
Sınıflandırma Aşamaları Doğruluk (%)
Takip ve Aktif Algılama Davranışlarının 92,29
Sınıflandırılması
Varsayılan Aktif Algılama Davranışlarının 89,67
Sınıflandırılması
İki Aşamalı Sınıflandırılmanın Sonucu 89,78
 Elde edilen iki aşamalı sınıflandırma modelinin başarımını
arttırabilmek amacıyla son olarak balığın durum değişim
olasılıklarından faydalanılması planlanmıştır. Her davranış tipi
bir durum ifadesi olarak düşünüldüğünde balığın genel
hareketleri farklı durumlar arasında geçiş yapan bir durum
makinesi gibi ifade edilebilmektedir. Balığın eğitim aşamasında
kullanılan verilerden elde edilen durum değişim olasılıkları
grafiği Şekil 3’te gösterilmektedir.
Şekil 3. Durum değişim diyagramı ve karşılıklı geçiş
olasılıkları.
Amacımız literatürdeki benzer çalışmalardan esinlenerek bu
durum makinesinde yer alan olasılık bilgilerini makine
öğrenmesi tekniği içerisine entegre edebilmektir [9].
Beklentimiz özellikle arada kalınan durumlarda olasılıksal
bilgilerden de destek alarak sınıflandırma performansını
iyileştirebilmektir. Bu çalışmada ilk adım olarak aday bir
davranış kesiti için kendisinden önce gelen kesitin kestirilen
durum bilgisi de öznitelik kümesine eklenmiştir. Ardından Şekil
2’de gösterilen iki aşamalı sınıflandırma algoritması tekrar
çalıştırılmış ve sınıflandırma performansları değerlendirilmiştir.
Bu yeni özniteliğin eklenmesiyle elde edilen sınıflandırma
sonuçları Tablo III’te görülebilmektedir. Her ne kadar detaylı
olasılıksal geçiş bilgisi içermese de bir önceki durum bilgisinin
eklenmesi sınıflandırma performansını ~%1 oranında
iyileştirilmiştir. Ne yazık ki bu performans iyileştirmesi
istatiksel bir önem taşıyacak kadar büyük olmamıştır.
TABLO III: İKİ AŞAMALI MODELİN GEÇMİŞ ETKİSİ
İLE TEST DATASI ÜZERİNDE PERFORMANSI
Sınıflandırma Aşamaları Doğruluk (%)
Takip ve Aktif Algılama Davranışlarının 93,55
Sınıflandırılması
Varsayılan Aktif Algılama 90,66
Davranışlarının Sınıflandırılması
İki Aşamalı Sınıflandırılmanın Sonucu 90,66
Authorized licensed use limited to: ULAKBIM UASL - Hacettepe Universitesi. Downloaded on August 12,2022 at 11:15:38 UTC from IEEE Xplore. Restrictions apply.
III. SONUÇ VE TARTIŞMA
Bu çalışma canlı deneylerinden elde edilen davranışsal
verilerin sınıflandırılması bakımından büyük önem arz
etmektedir. Önerilen yöntemler bize %90,66 oranında bir
başarım sağlamaktadır. Şüphesiz bu oran el ile sınıflandırmaya
nazaran oldukça önemli bir avantaj sağlayacaktır. Ancak bu
başarım oranı ne yazık ki bu yöntemlerin kendi başına bir
sınıflandırıcı olarak kullanılması için yeterli değildir.
Bu çalışmanın devamı olarak bir önceki durum sınıfını bir
öznitelik kullanmak yerine sınıflandırıcının sınıf tahmin
performansını modüle edecek bir ek bilgi olarak kullanmayı
planlıyoruz. Böylece sınıflandırma modelinin herhangi bir
davranış kesitine atadığı sınıf olasılıkları, durum geçiş
olasılıklarına göre modüle edilerek sınıflandırıcının
başarımının arttırılması hedeflenmektedir.
BİLGİLENDİRME
Bu çalışma Türkiye Bilimsel ve Teknolojik Araştırma
Kurumu (TÜBİTAK) tarafından 120E198 numaralı bilimsel
araştırma projesi kapsamında desteklenmektedir.
KAYNAKLAR
[1] V. Hofmann, J. I. Sanguinetti-Scheck, S. Künzel, B.
Geurten, L. Gómez-Sena, J. Engelmann. Sensory flow
shaped by active sensing: sensorimotor strategies in
electric fish, Journal of Experimental Biology, 216: 2487-
2500, 2013.
[2] G. Jones. Echolocation, Current Biology, 15(13), 2005.
[3] S. A. Stamper, E. Roth, N. J. Cowan, E. S. Fortune, Active
sensing via movement shapes spatiotemporal patterns of
sensory feedback, Journal of Experimental Biology, 215:
1567-1574, 2012.
[4] T. H. Bullock, C. D. Hopkins. Electroreception, Springer
Science and Business Media, vol. 21, 2006.
[5] N. J. Cowan, E. S. Fortune. The critical role of locomotion
mechanics in decoding sensory systems, Journal of
Neuroscience, 27(5), 2007.
[6] I. Uyanik, S. Sefati, S. A. Stamper, Kyoung-A. Cho, M. M.
Ankarali, E. S. Fortune, N. J. Cowan. Variability in
locomotor dynamics reveals the critical role of feedback in
task control, eLife, 23;9:e51219, 2020.
[7] I. Uyanik, S. A. Stamper, N. J. Cowan, E. S. Fortune.
Sensory cues modulate smooth pursuit and active sensing
movements, Frontiers in Behavioral Neuroscience, vol.
84, p 49, 2019.
[8] I. Uyanik, S. Sefati, S. A. Stamper, Kyoung-A. Cho, M. M.
Ankarali, E. S. Fortune, N. J. Cowan. Data and software
associated with publication "Sensory Cues Modulate
Smooth Pursuit and Active Sensing Movements", Johns
Hopkins University Data Archive, V1, 2020.
[9] A. Chattopadhyay, U. Mitra. Active Sensing for Markov
Chain Tracking, IEEE Global Conference on Signal and
Information Processing, Anaheim, 2018.