evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

Grnt leme Yntemleriyle Ara Plakalarnn Tannarak Kap Kontrolnn Gerekletirilmesi

Nide niversitesi Bor Meslek Yksekokulu Bor/Nide Sleyman Demirel niversitesi Teknik Eitim Fakltesi Isparta eposta: kcevik@nigde.edu.tr, cakir@tef.sdu.edu.tr Geli Tarihi: 02 Austos 2010; Kabul Tarihi: 29 Ocak 2011
a

Kerim Krat evika, Abdlkadir akrb

zet Bu almada, bir giri kapsna gelen aracn plakasnn grnt ileme algoritmalar ile tannarak kapnn otomatik olarak alp kapanmasn salayan bir sistem gelitirilmitir. almada, insan gcnden tasarruf salamak ve gvenlii artrmak amalanmtr. Gelitirilen sistemde, kapya gelen aracn grnts kamera ile alnarak bilgisayara aktarlmakta ve C# programlama dili kullanlarak gelitirilen grnt ileme algoritmalar tabanl bir yazlm sayesinde plaka tanma ilemi ok hzl bir ekilde gerekletirilmektedir. Yazlm tarafndan okunan plaka veri tabanndan kontrol edilmekte ve plaka veri tabannda kaytl ise kap almakta, kaytl deilse uyar verilmektedir. almada plakadaki karakterleri ayrmak iin Blob Coloring (kili Renklendirme) algoritmas kullanlmtr. Gelitirilen yazlm ile plakalarn yerinin bulunmasnda %98, plakalarn doru olarak okunmasnda ise % 88,1 baar elde edilmi ve daha nceki almalara oranla bir iyiletirme saland grlmtr. Anahtar Kelimeler: Karakter tanma, blob coloring, plaka tanma, grnt ileme, C#

Recognition of the Vehicle License Plate Using Image Processing Techniques

Abstract In this study, a system allowing to open and close an entrance gate automatically by recognizing license plate of a car using image processing algorithms has been developed. The aim of the study is to save manpower and increase security. Taking the image of vehicle approaching gate with the help of camera, the developed system sends it to computer to be processed by the processing algorithms-based software which was written in C# programming language. License plates recognition is performed at high speed. The plate read by software is checked through the database and if the plate is registered in database, the gate is opened, otherwise, it gives warning. In this study, Blob Coloring Algorithm has been employed to assort characters on the license plate. Finding location of license plate and reading it correctly by software developed in the study have been found 98 % and 88.1%, respectively. As a result, improvement has been achieved compared to the previous studies. Key Words: Character recognition; Blob coloring, License plate recognition, image processing, C #

1. Giri Son eyrek yzylda ara saysnn artmas ve trafikte oluan sorunlar, otomatik ara tanma ve trafik ak kontrol sistemlerine duyulan ihtiyac arttrmtr. Bu amaca ynelik almalar temel olarak aralar zel bir noktadan geerken tanmlamak, aracn konumunu belirlemek, davranlarn gzlemlemek ve bu verileri kullanarak trafik denetimi salamaya yneliktir.

Bilgisayar tabanl grsel sistemlerle ara plakas tanma yeni gelitirilen bir sistemdir. Ayrca bu sistemlerinin ticari deerinin yksek olmasndan dolay yaplan almalarn detaylar hakknda literatr bilgisi birka yaklamla snrldr. Genel olarak ara plakas tanma ilemi iki temel admda gerekletirilir; plaka yer tespiti ve plaka zerindeki karakterlerin tannmas (Auty ve ark. 1995; Setchell, 1997). almalarda plaka yeri bulma ileminde grnt ileme rutinlerinden
31

evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

ya da yapay sinir alarndan yararlanlmtr. Plaka tanmann ikinci aamas olan karakter tanma ileminde ise genelde yntem kullanlr: rnek eletirme (template matching) karakteristik tabanl tanma ve yapay sinir alardr (Draghici, 1997; Collomosse ve ark. 2001; Hauslen, 1977). Otomatik Ara Tanma konusunda ilk gelime optik tarayc sistemlerin kullanlmasyla 1960larda ABDde gereklemitir (Hauslen, 1977). Daha sonraki yllarda mikro elektronikte ki gelimeler almalar younlatrm, induktif dng, radyo frekanslar, kzltesi ve mikrodalga sistemleri ara gzetleme ve trafik kontrolnde kullanlmtr. 1990 larda Newcastle Upon Tyne niversitesi nin gelitirdii plaka tanma sisteminde aracn getiini alglayan tetikleme nitesi ve bu tetiklemeyle resim yakalayan kamera nitesi bulunmaktayd. Plakann yeri, plaka zemini ve karakterlerin renk farkndan yararlanlarak bulunmutur. Yeri tespit edilen plakadaki karakterler etiketleme algoritmas ile ayrtrlm ve yapay sinir alar kullanlarak tannmtr (Fahmy, 1993). 1995de CSIRO ve Telstra Corporation ibirlii ile gelitirilen trafik denetleme sistemi bir ara plakas tanma modl ve ara tespit modlnden olumakta ve sistem yksek kaliteli resimlerden aralarn plakasn bulup kontrol merkezine gndermekteydi. Merkez aralarn hzn lerek ofrlerin yolda geirdikleri sreyi hesaplamaktayd. Yapay sinir alar, sistemde hem plakann yerinin tespiti hem de karakter tanmada kullanlmaktayd. Plakalarn %90 baaryla tannd rapor edilmitir (Auty ve ark. 1995). Bristol niversitesi bnyesinde bulunan aratrma merkezi The Advanced Computing Research Centre trafik denetleme, trafik gzetleme ve plaka tanma sistemleri zerinde alm, niversiteden E. L. Dagless ve arkadalar plaka yerini bulmak iin izgi metodunu gelitirmilerdir. Metot da, grntden yatay izgiler alnm ve bu izgiler zerindeki histogramdan yararlanlmtr. Histogramdaki deiimlerden karakter olabilecek yerler

saptanm ve karakterler ayn yntemle ayrtrlmtr (Barroso ve ark. 1997). Ayn niversiteden C. John Setchell trafik denetleme amacyla yapt almada, plaka yerini bulmada bu yntemi kullanm karakterleri tanmay yapay sinir alaryla gerekletirmitir (Setchell, 1997). 2003 ylnda Mustafa Kemal niversitesi Elektrik-Elektronik Mhendislii Bilim Dal Tarafnda yaplan Motorlu Aralar in Plaka Tanma Sistemi almas MATLAB ve Yapay Sinir Alar kullanlarak plaka tannmasnda %86,2 baar elde etmitir (elik ve ark. 2003). Proksima Bilgi lem Yazlm irketi tarafndan MATLAB ve Yapay Sinir Alar kullanlarak, tamamen Trkiyede gelitirilmi olan PLATASSTM 2004 ylnda kullanma sunulmutur (Proksima, 2004). 2006 ylnda Hacettepe niversitesinde yaplan bir alma sonucu plaka yeri tespitinde matlab uygulamalar kullanlarak %89,09 orannda bir plaka tespit ilemi gerekletirilmitir ( Caner, 2006). 2007 ylnda Sleyman Demirel niversitesinde gerekletirilen bir alma sonucunda plaka karakterlerinin tannmas orannn %90lara kadar kt grlmektedir (Boztoprak, 2007). Ege niversitesinde 2008 ylnda yaplan almaya gre plaka tanma sisteminde genel baar oran %86.89 olarak bulunmutur (Irmak, 2008). 2009 ylnda Atatrk niversitesinde yaplan bir almada ise plaka tanma sistemlerinde ablon eletirme yntemlerinden yararlanlmtr (Akar, 2009). Gerekletirilen bu alma ise, u ana kadar yaplm olan almalardan farkl olarak herhangi bir hesaplama, grnt ileme program (Matlab vb.) kullanlmadan sadece C# kodlar ile Visual Studio ortamnda grsel olarak bir yazlm tasarlanmtr. Yazlm ile ara grntlerinden aracn plakasnn yerinin bulunmas ve bu plakadaki karakterlerin tannp metin bilgisine dntrlmesi salanmaktadr. Bu grnt ileme algoritmalar tabanl plaka bulma algoritmas yazlm sayesinde plaka tanma ilemi
32

evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

ok hzl bir ekilde yaplmaktadr. Bu sayede alma baars ilerlemeye ak hale getirilmitir. Sistemde plaka tanma ilemi plakann yerinin tespiti ve bu plakadaki karakterlerin tannmas olmak zere iki aamadan olumaktadr. Bu aamalardan sonra okunan plaka veri tabanndan kontrol edilerek plaka kaytl ise kap almakta, deilse uyar mesaj verilmektedir. Ayn zamanda bu bilgiler veri tabanna kaydedilmektedir. Motorlu aralar iin gelitirilen bu plaka tanma sistemi trafik denetleme, gie otomasyonu ve denetimli saha giri kontrol (hastane, askeri tesis vb.) uygulamalarnda kullanlabilecek ekilde tasarlanmtr. 2. Ara plaka tanma sistemi Gerekletirilen ekil 1 deki blok emada grld gibi temel olarak alt ana blmden olumaktadr.

Arayz Yazlm: Sistem iin yazlan arayz programnn bilgisayarda ykl olmas gerekir. Bu arayzn almas iin .Net Framework altyaps bilgisayarda kurulu olmaldr. Veritaban: Veritaban plakalarn kaytl olduu ortam belirtmektedir. Bu sistem iin veritaban Microsoft Ofis Access programnda oluturulmutur. Kap: Bu alma iin bir otoparkn bariyerli bir giri kapsnn kontrol yaplmtr. Sistemin tm bu bileenleri ve balant yaplar ekil 2' de gsterilmektedir.

ekil 2. Sistemin bileenleri 2.1. Resmin kameradan alnmas almada kameradan alnan renkli grntler zerinde daha rahat ve daha hzl almak iin gri tonlamal (Gray Level) hale dntrlmtr. Gri tonlama, 256 renk iinde her rengin tonu kadar gri tonlar almas ile oluan gri lektir. Bu gri resimde her pikseldeki renk deerinin ortalamas alnarak bir gri lek elde edilir. Gri lekleme; P bir grnty, i ve j de koordinatlar belirtmek zere Denklem 1de verilmitir. Ort= (P(i,j).Red+P(i,j).Green+P(i,j).Blue)/3 P(i,j).Red=Ort P(i,j).Green=Ort P(i,j).Blue=Ort (1)

ekil 1. Ara plaka tanma sistemi blok emas Ara: Sistemin kurulduu yerde kameradan grnt alnarak yazlan algoritmalar ile plakann tannmas bir aracn geiine baldr. Kamera: Sistemin kurulduu yere gelen aracn grnts kamera yardmyla alnarak ilenmektedir. Kullanlan kamerann video znrl 1024X768 olmaldr. Bilgisayar: Sistemin hzl alabilmesi iin kullanlan bilgisayarn performans yeterli olmal ve giri kaps bilgisayarn paralel portuna balanmaldr.

33

evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

ekil 3' de kameradan alnan renkli bir grnt ve bu grntnn gri tonlamal hale dntrlm hali grlmektedir.

Yatay Fark= (fark > 50) {P(i,j) = white;} Else {P(i,j) = black}

(2)

ekil 4' de kenarlar bulunmu bir grnt gsterilmektedir.

ekil 3. Kameradan alnan renkli grnt ve gri tonlamal hale dntrlm hali 2.2. Alnan grntde plaka blgesinin bulunmas Trkiye trafik denetleme kurumlarna kaytl yasal plakalar; sivil, resmi, askeri, diplomatik vs. gibi deiik tiplerde ve her tip deiik renk ve formatta olmaktadr (Trafik Denetleme, 2010). Bu almada da, Trk plaka standartlarna uyan sivil plakalarn tannmas amalanmtr. Bu plakalarn genel zellii; beyaz zemin zerine siyah karakterlerden olumas, ilk iki karakterde ehir kodunu belirten rakamlarn olmas ve ondan sonra gelen karakterlerin rastgele harf ve rakam dizisinden olumasdr. Gri tonlamal hale getirilmi resimde plakann bulunmas iin ilk olarak resme kenar buldurma (Edge Detection) algoritmas uygulanmtr. Kenar bulma algoritmasnda; sadan sola ve yukardan aaya taramalar yaplarak iki piksel arasndaki renk farkna baklm ve bu fark belli bir eik deerden fazla ise o blge beyaz olarak belirlenmitir. Eer belli bir deerden az bir renk geii var ise o blge siyah olarak belirlenmitir. Bu sayede kenarlar belirlenmitir (Denklem 2). Dikey Fark= Dikey Fark= Yatay Fark=

ekil 4. Kenar bulma algoritmas uygulanm resim almada kenar bulma algoritmas yaplan resimde en youn olan blge (beyaz noktalarn en fazla olduu blge) plaka blgesi olarak belirlenmitir ve bu noktalarn koordinatlar belirlenerek resimden kesilip alnmtr. Bu durumda plaka blgesi bulunmu bir resim ekil 5' de gsterilmitir.

ekil 5. Plaka blgesi bulunmu resim Farkl alardan ve gnn deiik zamanlarnda plaka blgesi bulunmu bu grntlerde n younluuna, ynne ve bir takm etkenlere bal olarak resimlerin znrlklerinde bir farkllk grldnden dolay grntlere netletirme algoritmalar uygulanmtr. Grntleri netletirmek iin Kontrast Geniletme ve Ortanca (Medyan) Filtresi algoritmalar uygulanmtr.

34

evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

Kontrast Geniletme: Bir resmin kontrastn geniletmek koyu blgeleri daha koyu ak blgeleri ise daha ak hale getirerek resmi keskinletirmektir. Bu amala bir dng ile plakann bulunduu blgenin 0255 arasnda olan ortalama deeri bulunmakta ve bu deer bulunduktan sonra bir dng daha yaplmakta ve bu ikinci dngde okunan her piksel deeri iin belli bir forml uygulanmaktadr (Denklem 3). Ort= P(i,j)=(P(i,j).P(i,j))/Ort (3) Ortanca (Median) Filtresi: Ortanca filtresinde bir piksel merkezi piksel olarak seilir ve onun etrafndaki pikseller de komu pikseller olarak belirlenir. Bu dokuz piksel arasnda kkten bye sralama yaplr ve sralama yapldktan sonra merkezi pikselin deeri sralama yaplan dizinin 5. eleman (ortadaki eleman) olarak atanr. Daha sonra bir sonraki piksele geilir ve bu ilem batan sona tm pikseller iin yaplr.

Sralanan Dizi={119, 120, 123, 124, 125, 126, 127, 150, 215 } Ortadaki deer=125 olarak bulunur. ekil 7' da plaka blgesi bulunmu bir grntnn netletirme ileminden nceki ve sonraki halleri gsterilmektedir.

ekil 7. Plaka blgesi netletirilmi grnt 2.3. Karakterlerin kartlmas / ayrlmas Gerekletirilen almada plaka blgesi karlan blgedeki karakterlerin kartlmas iin Blob Coloring (kili Renklendirme) algoritmas kullanlmtr. Binary Large Object szcklerinden tretilen blob, iki renkli (binary, siyah-beyaz) resimde birbirine demeyen kapal blgenin her biridir. Bu algoritmann kullanlmasndaki ama farkl blgeleri farkl numaralarla snflamaktr. Bu da karakterleri birbirine ekilde plaka zerinde her bir karakteri ve yine plaka zerinde grlt olarak sayabileceimiz siyah renkli her blgeyi farkl numaralarla gsterilmesidir. Blob Coloring algoritmas aadaki gibidir; Eer f(xC) = 0 ise Devam Et Deilse Bala Eer (f(xu)=1 ve f(xL)=0) ise Renk (xC) := Renk (xU) Eer (f(xL)=1 ve f(xU)=0) ise Renk (xC) := Renk (xL) Eer (f(xu)=1 ve f(xL)=1) ise Bala Renk (xC) := Renk (XL) Renk (xL) := Renk (xU) Bitir Aklama: ki renk birbirine eittir. Eer (f(xL) =0 ve f(xU) =0) ise Renk (xL) =k k:=k+1
35

ekil 6. Ortanca filtresi uygulanacak alan ekil 6da verilen rnek iin ortanca filtresini uyguladmzda; Merkezi piksel=150 Komuluklar={124, 126, 127, 120, 150, 125, 215, 119, 123}

evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

Aklama: Yeni Renk Bitir. ekil 8' da plaka blgesi bulunmu ve Blob-1 olarak gsterilen grntde farkl snflandrlabilecek 10 blge krmz renkle belirtilmitir.

ekil 10. Ayrlm karakterlerin okunmas ekil 8. Blob Coloring uygulanm grnt ekil 8 zerinde grlt olarak adlandrabileceimiz, plaka blgesinin dnda kalan blgeler Ortanca Fitresi kullanlarak yok edilmitir. Filtre sonunda yok edilemeyen baz blgeler de karakterlerin piksel, hizalama, oran gibi zellikleri gz nnde bulundurularak grntden atlmtr. Bu aamadan sonra, ekil 9' da da grld gibi, plaka grltlerden arndrlarak sadece karakter grnmne getirilmitir. Bylece plaka blgesi sadece karakter durumuna gelmi olmaktadr. 2.5. Plakann veri tabannda kontrol Programn kullanm alanlar gz nnde bulundurularak bir otopark sisteminde kullanlabilecek ekilde veri taban hazrlanmtr. Okunan plakann bu aamada veritabanyla karlatrlmasyla kaytl olup olmad gelitirilen yazlm ile kontrol edilmitir. Gelitirilen yazlmn ekran grnts ekil 11' de grlmektedir.

ekil 9. Karakterleri ayrlm plaka 2.4. Karakterlerin okunmas Bu aamada, plaka blgesinde ayrlm karakterler bir metin dosyasnda bulunan rnekleri ile karlatrlarak karaktere en yakn deere edeer olarak bulunur. ekil 10' de ayrlm karakteri okunmu bir grnt gsterilmitir.

ekil 11. Gelitirilen yazlmn ekran grnts Veritaban Microsoft SQL Server ve Microsoft Access programlar iin ayr ayr tasarlanp uygulanmtr. ekil 12' de gelitirilen veritaban rnei gsterilmitir.

36

evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

Bulgular incelendiinde, okunamayan veya yanl okunan / tannmayan plakalarn sorunun, plakalardaki ekil ve renk bozukluklar, plaka zerinde amur gibi deiik maddelerin olmas gibi nedenlerden kaynakland anlalmtr. 4. Sonu ve neriler ekil 12. Gelitirilen veritaban 2.6. Plakaya gre kapnn almas / uyar verilmesi Son aamada veritabannda kontrol edilen plakann tannmas halinde kapnn almas, tannmamsa uyar verilmesi ilemleri gerekletirilmektedir. 3. Elde edilen bulgular Gerekletirilen algoritma 100 ara zerinde test edilmitir. izelge 1' de grld zere, test ilemlerinin sonularna gre; plaka yerinin tespitinde 100 plakann 98inde olumlu sonu alnarak %98 baar elde edilmitir. Bu 98 plakann da 93 karakterlerine ayrlarak %94,9 baar elde edilmitir. Karakterlerine ayrlan bu 93 plakadan 82sinin karakterleri okunarak tamamen text formata evrilerek %88,1 baar tespit edilmitir. Karakterlerine ayrlan 93 plakann 5inde en ok bir karakter farkl tespit edilerek %94,6 baarya ulalmtr (izelge 1). izelge 1. Sistemin doruluk oranlar Uygulanan lem Plaka Yerinin Tespiti Karakterlerin Ayrlmas Karakterlerin Okunmas En ok Bir Karakterin Farkl Olduu Durum Deer (%) 98,0 94,9 88,1 94,6 Olumlu Sonu rnek Says Gerekletirilen bu almada grnt ileme teknikleri kullanlarak bir plaka tanma sistemi gelitirilmitir. Daha nceki almalardan farkl olarak yazlmda, hazr sistemler yerine C# programlama dili kullanlarak btn algoritmalar yeniden yazlmtr. Bu yazlmda plakalarn okunmas Blob Coloring algoritmas kullanlmtr. Plaka tanma sonular incelendiinde plakalarn okunma hz ve doruluk oranlarnda iyiletirmeler saland uygulamalarla dorulanmtr. Plakalarn yerinin %98 baar ile plakalarn %88,1 ile doru olarak okunmas bu durumu desteklemektedir. Sistemde, giri/bekleme/k srelerini azaltmak iin gelitirilen sistemin denemeleri yaplm ve baarl sonular elde edilmitir. Veri tabannda tutulan plakalar ile okunan plakalar karlatrlm ve sistemin hatasz alt tespit edilmitir. alma, temel grnt ileme tekniklerini gerekletirecek konumda olmasyla birlikte gelimeye ak tutulmutur. Sonraki almalarda karakterlerin okunmas ksmnda yapay zek yntemleri kullanlarak karakter tanmadaki ve genel baar oranlarnda baar oran ykseltilebilir. Kaynaklar Akar, F., 2009. ablon Eleme Yntemi ile Plaka Tanma ve Deerlendirme Sistemi Doktora Tezi, Atatrk niversitesi, Fen Bilimleri Enstits, Erzurum. Auty, G. , Corke, P. , Dunn, P. , Jensen, M. , Macintyre, I. , Mills, D. , Nguyen, H. Simons,B., 1995. An Image Aquisition System for Trafic Monitoring Applications, SPIE: Cameras and Systems for Electronic
37

100 98 93 93

98 93 82 88

evik ve akr/ AK Fen Bilimleri Dergisi 2010-01 31-38

Photography and Scientific Imaging, February, 2416, 118-133. Barroso, J. R., Dagless, E. L., Bulas-Cruz, J., 1997. Number Plate Reading Using Computer Vision. IEEE-International Symposium on Industrial Electronics ISIE'97, Universidade do Minho, Guimares, Julho, Portugal, 123-132. Boztoprak, H., 2007. Gerek Zamanl Tat Plaka Tanma Sistemi Yksek Lisans Tezi, Sleyman Demirel niversitesi Fen Bilimleri Enstits, Isparta. Caner, H., 2006. Car Licence Plate Recognition System On FPGA Hardware Yksek Lisans Tezi, Hacettpe University Institue of Science, Ankara. Chanson, D., Roberts, T., 2001. License Plate Recognition System. The 2001 International Conference on Imaging Science, Systems, and Technology, Monte Carlo Resort, Las Vegas, Nevada-USA, 256-260. Collomosse, J. P. and Oliver, M. A., 2001. Recognition of Vehicle Licence Plates from Real Worid Images. Final year project. University of Bath, Bath-UK. elik, U., Oral, M., 2003. Motorlu Aralar in Plaka Tanma Sistemi, Elektrik ElektronikBilgisayar Mhendislii 10. Ulusal Kongre ve Fuar, stanbul, 17-21 Eyll, 453-456. Draghici, S., 1997. A neural network based artificial vision system for license plate recognition, Int. J. on Neural Systems, February, Vo1.8, Iss.1, 113-126. Fahmy, M., 1993. Computer Vision Application to Automatic Number-Plate Recognition, In Proceedings of 26th. International Symposium on Automotive Technology and Automation, Aachen-Germany, 625-633. Hauslen, R. A. , 1977. The Promise Of Automatic Vehicle identification. IEEE Transactions on Vehicular Technology, February, Vol. 26 Iss.1, 30-38. Irmak, ., 2008. Otomatik Ara Plaka Tanma Sistemi Yksek Lisans Tezi, Ege niversitesi Fen Bilimleri Enstits, zmir.

Proksima, 2004. nternet Sitesi. http://www.proksima.com.tr/ Eriim Tarihi:12.05.2010 Setchell, C.J., 1997. Application of Computer Vision to Road-Traffic Monitoring, PhD Thesis, University of Bristol, September. Trafik Denetleme, 2010. nternet Sitesi. http://trfdenetleme.iem.gov.tr/Default.aspx Eriim Tarihi:15.05.2010

38