Braille Kabart Metinlerinin Doruluklarnn Denetlenmesi ve Bilgisayar Destekli Sistem Kontrol

Gleser Kalayc Demir, Turgay Kale, Mehmet Emin Orhan Elektrik - Elektronik Mhendislii Blm Dokuz Eyll niversitesi, zmir
guleser.kalayci@deu.edu.tr , trgykl@gmail.com deerlendirilmesi, retim srecine ilikin istatistiksel lm ve bilgilendirmenin yan sra genel bir imge bilgi havuzu oluturma srecini iermektedir. lem esnasnda hatasz olarak deerlendirilen rnler, bask kalitelerine gre iyi, orta ve kt olarak snfa ayrlmakta, hatal rnler pnmatik veya mekanik bir kol vastasyla farkl bir blme ynlendirilmektedir. lgili kutunun bilgileri gnlk bazda kayt altna alnmaktadr. Operatr bilgi ekran ile gerekli tm bilgi ve istatistiklere eriilebilmekte, yntem parametreleri anlk olarak deitirilebilmektedir.

zet
Bu almada, endstriyel otonom retim ve denetleme uygulamalarnda kullanlmak zere; ila kutularnn zerinde bulunan Braille kabart metinlerinin doruluklarn, dijital grnt ileme yntemleriyle denetleyen ve bilgisayar destekli sistem kontroln salayan bir prototip sistem gelitirilmitir.

1. Giri
Braille, grme engelliler tarafndan okuma ve yazma amacyla kullanlan, gelimi lkelerde nispeten daha yaygn bir kullanm alanna sahip olan bir alfabe sistemidir. Braille temel olarak noktalarn farkl kombinasyonlarna karlk gelen karakterlerin, saylarn, imla ve noktalama iaretlerinin temsil edildii, dnya zerinde yer alan farkl alfabe sistemlerine gre deikenlik gsteren kabart eklinde bir bask yaz sistemidir. Braille karakter tanma ilemi son yllarda olduka popler olmaya balam ve zerinde birok aratrma yaplan bir alan olarak ilgi grmektedir. zellikle son yllarda, lkemizde de yaygnlama eilimi gsteren ve Avrupa Birlii standartlar kapsamnda yasal gereklilik ve resmi denetim zorunluluu erevesinde deerlendirilmeye balayacak olan rnlerde kullanm desteklenmektedir.
Bu alanda yaplan almalar gz nne alndnda, yksek oranda baarl olabilen karakter tanma ilemleri [1] zerinde younlama grlmektedir. Pratik uygulamalar gz nne alndnda, bask-tarama [2], metinden-metine eviri [3] ve nispeten az da olsa metinden-sese [4] eviri konularnda almalar yapld grlmektedir. Bu almada; zerinde younlalan sistem, ila kutularnn zerinde grme engelliler iin bulunan kabart eklindeki braille metinlerinin (genellikle ilacn ismi ve son kullanma tarihi) denetimini baz alan bir retim kontrol sisteminin tasarlanmasdr . Bildiimiz kadar ile u ana dek Trkiyede, bu konu zerinde gerekletirilmi bir alma bulunmamakla beraber; genel olarak rnlerin doruluklarnn dijital grnt ileme teknikleriyle belirlenmesi, bask kalitelerinin

2. Yntem
Uygulanan ynteme ilikin detaylara gemeden nce braille yaz sisteminde kullanlmakta olan karakter ablonlar ve hcre boyutlarnn evrensel veya yerel lekte farkl standartlar olabileceini belirtmek uygun olacaktr. Bu almada, ila kutular zerinde yer alan braille kabartmalarnn doruluunu ve bask kalitesini test edeceimizden dolay bu konuda Avrupa Birlii tarafndan art koulmu olan ynetmelik dikkate alnmtr. Dolays ile sistemde karakter eletirme aamasnda kullanlan braille karakter ablonlar ve hcre boyutlar lleri, International Building Standard (IBS) [5] lleri baz alnarak oluturulmu ablonlarla gerekletirilmitir. Bu ablon ve bu ablona ilikin hcre boyut parametreleri, ekil 1.de gsterilmekte ve IBS lleri, Tablo 1.de milimetre baznda verilmektedir.

ekil 1 : Karakter ablonu ve hcre boyut parametreleri

a (mm)

b (mm)

c (mm)

d (mm)

e (mm)

IBS alt IBS st

2.5 2.5

2.5 2.5

6.1 7.6

10.0 10.1

1.5 1.6

ekil 3 : Yntem ak emas 2.1 Veri toplama Bask ve birletirme/yaptrma ilemlerinden geen ila kutular bir sonraki aama olan paketleme ilemine gemeden nce; tama bandnda ekil 4.de gsterilen kameral sistemle izlenmektedir. Ik ve aydnlatma asndan deiken olmayan ortam dzeneinin ierisine yerletirilen Genie M1024 kamera, saniyede yaklak olarak veya drt rnn takibini yapabilmektedir. 1024x768 znrle, 4.65x4.65 piksel geniliine sahip Genie M1024, saniyede yirmi tam ereve yakalayabilme zelliinde ve ierisinde tam ervee alan taramas yapabilen Sony ICX204AL CCD sensrler bulunduran on bit gri seviye bir kameradr.

Tablo 1 : International Building Standard lleri IBS llerine gre oluturulmu bir ablon, IBS alt ve st l aralnda olmaldr. Bununla birlikte bir noktann ykseklii, IBSnin belirttii hcre boyut ykseklii llerine gre 0.6 - 0.9 mm araln salamaldr. lgili sistemde veri almna ynelik olarak bir aydnlatma dzenei kurulmutur. Bu dzenekte, braille kabart noktalarnn ne karlmas ilemi iin gerekli olan ayarlanabilir led aydnlatmal tek dizi krmz k kayna, rnn ak dorultusuyla ayn dorultuda konumlandrlm ve yatay dzlemle 25 - 35 arasnda bir a deeri yapacak ekilde, rnn kameray tetikledii konuma yaklak 35 cm uzaklkta ve yerden 12 cm ykseklikte bulunacak ekilde sabitlenmitir. lgili dzenek ekil 2.de grntlenmitir.

ekil 4 : Genie M1024 kamera

ekil 5 : Optik sensr

Dzenek ierisinde bulunan ve Genie M1024 ile uyumlu alabilen ekil 5.de gsterilen optik sensr, belirlenen konumdan geen rnlerin kameray tetiklemesini salamakta ve ilgili imgenin verilerini ilenmek zere bilgisayar ilemci tamponlarna gndermektedir. lemci tamponlarndan alnan veriler, ilenmek zere sekiz bit veya tercihen on bit gri seviye imge formuna evrilmektedir. 2.2 Hizalama ekil 2 : Sistem prototipinden bir grnm Sistem zerinde almakta olan grnt ileme yntemi, ekil 3.de gsterildii zere, sral olarak be aamada gereklenmektedir. Bunlar srasyla i) veri toplama ve elde etme, ii) ilgi blgesi hizalama ilemi, iii) imgenin ilgili alannn n ilemlerden geirilmesi ve kabart nokta niteliklerinin belirginletirilmesi, iv) karakter tanma ilemi iin karakter eletirme ileminin uygulanmas ve v) nokta kalite ltnn belirlenmesi iin balantlk ilikisi ynteminin uygulanmas ilemleridir. Aadaki alt blmlerde bu ilemlerin detaylar zerine tartlacaktr. Hizalama ilemi, retim band zerinde hareket halinde bulunan ila kutularnn dorultularnda meydana gelebilen yn deiimlerini ve kaymalarn, ekil 6.da grld zere imge zerinde uygulanan dndrme teknii ile ortadan kaldrabilen bir yntem olarak kullanlmaktadr.

ekil 6 : Gerek imge (sol) ve hizalanm imge (sa) Kamerann gr dorultusundan kutularn retim band zerindeki merkezi pozisyonlarnn 45o ye kadar olan asal deiimlerine izin verebilen bu teknie

gre; rn zerinde bulunan belirgin iki nokta veya blge referans olarak alnmakta, hareket halindeki rnn bant zerinde yapabilecei olas asal deiimler bu iki blgenin merkez konumlar kullanarak belirlenmektedir. Bu sayede, imge zerindeki dndrme ilemi gerekletirilebilmektedir.

zerinde genel bir dk-frekans geirgenlii salamakta ve var olan grlty belli llerde szmektedir. Bu ilem, pusula ynelim filtresinin ilevselliini nispeten arttrmaktadr . Aydnlatma kayna, rne belli bir ada k saladndan kabart noktalarnn glgelerinde; bu k kaynann konumuna bal olarak k kaynayla ayn dorultuda elips formuna yakn kabart glgeleri olumaktadr. Pusula ynelim filtresi aydnlatma kaynann, kutunun zerine geli dorultusundan yola karak bir varsaym yapmakta ve olumu glgenin k kaynayla ayn dorultudaki dikey ykseklii zerinde bir iyiletirme yapmaktadr. Bylece elips formuna daha yakn gzkmekte olan kabart glge biimlerinin, dairesel forma yaklatrlmas salanmaktadr. Pusula ynelim filtresinde ele alnan temel yaklam, oluan herhangi bir nokta glgesinin ierisinde yer alan piksellerin oluturmu olduu kmede aralarnda en byk mesafeye ait iki pikselin, birletirilmesinden meydana gelen doru parasna dik ynde ve kmenin merkezinden balayarak, merkeze en yakn noktann dorultusunda yaplan bir doldurma ilemidir.

ekil 7 : Referans alma ilemi la kutusu zerinde ekil 7.deki gibi yaplmakta olan referans alma ileminde, rastgele olarak alnan bir rn imgesi zerinde belirgin olarak grlebilen herhangi iki blge elcil olarak referans alnmaktadr. rnein Strepto metninin de ierisinde bulunduu ekil 7.de grlebilen krmz ereveli blge ile S karakterinin alt kuyruunun da yer ald mavi ereveli blge, iki referans blgesi olarak belirtilmektedir. Ayn imge zerinde kabartl braille noktalarnn bulunduu ilgi blgesi ise yeil ereve ile kararlatrlm olup, belirtilen blgenin merkez konumlar sar renkteki dorularla birletirilmektedir. Bylece blgenin merkezi konumlarn birletiren bir merkezi gen oluturulmaktadr. lenmekte olan yeni bir imge zerinde, ncelikle nceden belirtilen iki referans blgesi dnmeden bamsz olarak imge zerinde aranmakta ve bulunan blgelerin merkezi konumlar bir doruyla birletirilmektedir. Daha sonra nceden oluturulmu olan merkezi gen, kenar uzunluklar ve kenarlar aras a deerleri sabit kalacak ekilde korunarak, yeni bulunan bu iki nokta ve oluturulan doru zerine yerletirilerek, yeil ereveli blgenin bu iki nokta ile e zamanl olarak dnmesi salanmaktadr. Bylece ilk bata dzgn dorultuda bulunan bir kutu imgesinden alnan referans blgeleri vastasyla, alnan herhangi bir imge zerinde dorultma ilemi uygulanabilmekte ve braille kabart noktalarnn srekli olarak yeil renkteki ilgi blgesi alannn ierisinde olmas salanmaktadr. 2.3 n ilemlerden geirme Hizalama ilemi sonras aydnlatmadan dolay tepe ksmlar parlak olarak grnen kabart noktalar, aamadan oluan n ilemlere tabi tutulmakta ve noktalarn olabildiince iyi ekilde n plana karlmas hedeflenmektedir. Srasyla medyan [6], pusula [7] ve eik deeri [8] n ilemleri, ekil 7.de yeil ereveli olarak grlen ilgi blgesine uygulanmaktadr. Medyan filtreleme ilemi, pusula ynelim filtresi ncesi imge

ekil 8 : n ilemli ilgi blgesi ekil 8.de pusula ynelim filtresi sonucu elde edilmi sonular grlmektedir. Daha sonra elde edilen n ilemli imgeden arka plan gri seviye eik deeri yntemi ile ayrtrlarak sadece noktalarn belirginletirildii ikili imge elde edilmektedir. 2.4 Karakter tanma n ilemlerden geen ilgi blgesi, karakter eletirme yntemi ile sisteme nceden retilen standart braille ablonu rnekleriyle karlatrlarak olas en uygun eleme bulunmaya allmaktadr. Bu admdaki karlatrma parametreleri uygulamaya gre deikenlik gsterdiinden farkl rnler iin farkl sonular elde edilebilmektedir. Karakter tanma ileminde yaplan temel yaklamda, standart braille ablon rnekleriyle, n ilemlerden geen imgenin ilgi blgesi arasndaki benzerlik ilikisi (korelasyon) dikkate alnmaktadr. Ayrca Sherlock gelitirme ortamnda yaplan tantma ilemi, International Building Standard lleri referans alnarak oluturulmu, karakter baznda ve 26 farkl olas duruma ilikin braille ablonlarnn sisteme aktarlmasyla gerekletirilmektedir. Resim formatnda kaydedilen ablonlar, sistem tarafndan ikili imgeye dntrlmekte ve saklanmaktadr. ekil 9.da karakter tanma ilemine ait imge grlebilmektedir.

3. Operatr Paneli
ekil 9 : Karakter tanma ilemi Karakter eletirmede kullanlan matematiksel ifade denklem 1.de verildii ekildedir. Burada u(.) iki boyutlu uzaysal dzlemi ifade etmektedir. Yntem ak emas dorultusunda ilem gren imgelerden elde edilen baz deerlendirme verileri ve performans sonular,rn bask kalitesinin belirlenmesi ve gnlk ilem ktnn karlmas asndan operatr paneline yanstlmaktadr. Hatal ve doru rn istatistikleri, kalite ve saysal durum gibi bilgilendirme paneli ile hatal rn gemii gibi ilem grm rnlerle ilgili bilgi ve kaytlara erime olana da sunmaktadr. Bunun yan sra yntem parametrelerini anlk olarak deitirme ve yeni rn ekleme gibi ihtiyalara da cevap vermektedir. lgili grntleme paneli visualbasic.net yazlm ortamnda gelitirilmi olup, gsterim paneli yntem admlarn ileyen Sherlock gelitirme ortamyla da nesne-balantl entegrasyonu salanmaktadr. Sherlock yazlm gelitirme ortam ekil 11.de, sistem yntem ayarlar ekil 12.de gsterilmektedir.

Ayrca e uzaysal dzlemdeki nitelikleri, uzaysal dzlemdeki niteliklerin ortalamas ve (a , b), u (x , y) nin nitelik blgesindeki ortalamasdr; x, y uzaysal dzlem koordinatlarn ve a,b uzaysal dzlem blgesini ifade etmektedir. Bylece denklemde elde edilen karlkl ilinti [9] deeri, karakter eletirmede kullanlan benzerlik deerini vermektedir. Karakter tanma ileminde performansa etki eden baz parametreler; karakter says, karakterler aras yatay ve dikey boluklar, keskinlik, znrlk ve benzerlik seviyesi olarak zetlenebilmektedir. 2.5 Balantlk ilikisi Karakter tanma ileminde baarl olarak belirlenen bir imge de, bir sonraki adm olarak balantlk ilikisi yntemi test edilerek, rnn bask kalitesi hakknda belirli bir lt belirlenmeye allmaktadr. Balantlk ilikisi temelde, seime gre drtl veya sekizli komuluk ilikisi baz alnarak yaplmaktadr. Buna gre; 4-l komuluk, (x 1, y) veya (x, y 1) konumlarnda bulunan her pikselin yatay veya dikey olarak (x, y) ye bal olmas durumudur. 8-li komuluk, (x 1, y 1) veya (x+1, y-1) ve (x+1, y-1) konumlarnda bulunan her pikselin yatay, dikey ve kelerden (x,y) ye bal olmas durumudur. Balantlk ilikisi yntemi kullanlarak noktalar hakknda elde edilen baz bilgi ve yntem parametreleri unlardr; komuluk ilikisi, minimum ve maksimum alan, minimum ve maksimum genilik, minimum ve maksimum yksekliktir.

ekil 11 : Sherlock gelitirme ortam

ekil 12 : Yntem ayarlar ekil 10 : Balantlk ilemi Bu bilgiler, olumu her bir nokta iin ekil 10.da gzkt zere; ilgi blgesinden kartlarak noktalarn kaliteleri deerlendirilmekte ve metnin tamam iin iyi, orta ve kt seviyelerinde bir deerlendirme lt belirlenmektedir. Gsterim paneli, sistem ynetim asndan baz nemli uygulamara da izin verebilmektedir. Sistemin gerek zamanl almas esnasnda, gerekebilecek herhangi bir rn ayar veya sistemin karakter tanmasnda ve balantlk ilikisinde kullanlan bir parametre anlk olarak deitirilebilmektedir. Bylelikle sistem parametrelerinde dinamik olarak deiiklikler yaplabilmektedir.

Operatr gsterim paneli ekil 13.de gsterilmektedir. Ekrann sol alt tarafnda bulunan yn tular,yeil ereve ile gsterilen ilgi blgesini saa,sola,yukarya ve aaya tamay salamakta; sa alt tarafta bulunan yn tular ise ilgi blgesini merkezden dar doru yatay ve dikey olarak byltme ve kltme ilemlerini gerekletirmektedir.

5. Deerlendirme
Test sonular asndan, krmz aydnlatma kaynana sahip deiken olmayan ortam koullar altnda elde edilen sonular baarl olup, daha iyi ortam koullar altnda sistem performansnn daha iyi sonular verecei dnlmektedir. Bir sonraki aamada bu koullarn iyiletirilmesine ynelik almalarn gerekletirilmesi ile yntem parametrelerinin hassasiyetinin drlmesi ve kararsz deerlendirme sonularnn azaltlmas planlanmaktadr.

Teekkr
Bu almann gerekletirilmesinde altyap destei veren Kibele Plant Information Management Systems e ve Erdal Baaranere teekkrlerimizi sunarz.

6. Referanslar
ekil 13 : Gsterim paneli Sa tarafta bulunan bilgi ekran, ilem grmekte olan rnlerle ilgili olarak, rn bask kalitesi, kutu zerinden okunan metin, ilem grm rn istatistikleri ile gnlk bazda kaydedilen hatal rn resim klasr gibi zelliklere sahiptir. [1] Fujisawa/H.Nakano/Y.Kurino , Segmentation methods for character recognition, from segmentation to document structure analysis, 2002 [2] Bo Li/Junbiao Liu/Zhiping Wang/Guangrong Fang, Graphic printing method for New Braille Printer,2011 [3] V. Nabiyev/O. Akgul, Text-Braille to translation system, 2010[4] Gnoping Qiu, An improved recursive median filtering scheme for image processing, 2002 [4] Saad D. Al-Shamma and Sami Fathi, Arabic Braille Recognition and Transcription into Text and Voice, 2010 [5] Mennens, J./Van Tichelen, L./Francois, G./Engelen, J.J., Optical recognition of Braille writing using standard equipment, 2002 [6] Fu-guo Dong, A novel fast algorithm for image median filtering based on improved sign test method, 2010 [7] Mei Yu/Rangding Wang/Gang Jiang/Xiao Liu/TaeYoung Choi, New morphological operators for color image processing, 2005 [8] Xu Dong/Tang Xu-dong, Multi-threshold image segmentation based on two-dimensional Tsallis, 2010 [9] Belmont, M.R./Savic, D., Generalised crosscorrelation functions for image processing applications, 2002

4. Sonular
Sistem zerinde yaplan testlerde, ayn ila kutularna ait farkl bask kalitelerindeki rnekler arasndaki snflandrma ilemi, ayn ortam koullar altnda iyi performans vermektedir. ekil 14. rnek bir rn zerinden elde edilen grntnn be aamadan oluan grnt ilem sonularn gstermektedir. Aydnlatma asndan deiken ortam koullar altnda yaplan testlerde ise, yntem parametrelerinin yksek hassasiyete sahip olmasndan kaynaklanan, kt performans ve kararsz deerlendirme sonular kaydedilmitir.

ekil 14 : Yntem aamalar