Professional Documents
Culture Documents
Real Time Fabric Detection System
Real Time Fabric Detection System
Real time fabric defect detection system on Matlab and C++/Opencv platforms
Anahtar Kelimeler — kumaú hatasÕ tespiti; algoritma analizi; Otomatik kumaú hatasÕ tespitinde görüntü iúleme ve makine
C++ uygulamalarÕ;yazÕlÕm performansÕ. ö÷renmesi alanlarÕnda kullanÕlan algoritmalar ve metotlardan
faydalanÕlmaktadÕr[3]. Özellikle spektral metotlar kumaú
Abstract—In industrial fabric productions, real time systems görüntülerindeki periyodikli÷i ortaya çÕkardÕklarÕ için oldukça
are needed to detect the fabric defects. This paper presents a real baúarÕlÕ sonuçlar vermektedirler. Fourier dönüúümü, dalgacÕk
time defect detection approach which compares the time dönüúümü ve Gabor filtreleri en önemli spektral metotlar
performances of Matlab and C++ programming languages. In the
arasÕnda yer almaktadÕrlar. YapÕlan bir çalÕúmada kumaú
proposed method, important texture features of the fabric images
görüntülerinin Fourier dönüúümleri sonucu ile elde edilen
are extracted using CoHOG method. Artificial neural network is
used to classify the fabric defects. The developed method has
frekans spektrumundan faydalanÕlmÕútÕr [4]. Histogram
been applied to detect the knitting fabric defects on a circular eúitleme yöntemi yardÕmÕyla görüntülerdeki piksel da÷ÕlÕmlarÕ
knitting machine. An overall defect detection success rate of 93% daha düzgün bir yapÕya kavuúturularak frekans dönüúümünün
is achieved for the Matlab and C++ applications. To give an idea daha etkin elde edilmesi amaçlanmÕútÕr. DalgacÕk dönüúümü ile
to the researches in defect detection area, real time operation farklÕ ölçek ve seviyelerde kumaú görüntüleri analiz edilmiú ve
speeds of Matlab and C++ codes have been examined. Especially, baúarÕlÕ hata tespit çalÕúmalarÕ yapÕlmÕútÕr. DalgacÕk dönüúümü
the number of images that can be processed in one second has ile kumaú dokusu ve hatalÕ bölgeyi modelleyerek
been determined. While the Matlab based coding can process 3 gerçekleútirilen bir çalÕúmada oldukça baúarÕlÕ sonuçlara
images in 1 second, C++/Opencv based coding can process 55 ulaúÕlmÕútÕr [5]. Yöntemin baúarÕsÕnÕ arttÕrmak için kumaú
images in 1 second. Previous works have rarely included the görüntülerine morfolojik iúlemler uygulanmÕútÕr. AyÕrt edici
practical comparative evaluations of software environments. dalgacÕk öznitelikler elde etmek için yapÕlan baúka bir
Therefore, we believe that the results of our industrial çalÕúmada ise kapsamlÕ bir dalgacÕk dönüúümü yapÕsÕ inúa
experiments will be a valuable resource for future works in this edilmiútir. Görüntüler farklÕ dalgacÕk türü ve ölçek
area. parametreleri ile analiz edilerek yüksek sÕnÕflandÕrma baúarÕlarÕ
elde edilmiútir. Model temelli yapÕlan hata tespit çalÕúmalarÕnda
Keywords—fabric defect detection; algorithm analysis; C++ temel olarak autoregressive model ve Gaussian markov rastgele
applications; software performance.
alanlar modelleri ile hata tespit çalÕúmalarÕ yapÕlmÕútÕr [6].
YapÕlan bu çalÕúmada sinyal iúleme modülü üzerinde yapÕlan
I. GøRøù
gerçek zamanlÕ kumaú hatasÕ tespit çalÕúmasÕnda autoregressive
Tekstil endüstrisinde üretim esnasÕnda meydana gelebilen modelinden faydalanÕlmÕútÕr. Markov rastgele alanlar metodu
kumaú hatalarÕnÕn tespiti kritik öneme sahiptir. Bu iúlem ile hata içermeyen kumaú görüntülerine ait bir Gauss modeli
inúa edilmiútir [7]. SonrasÕnda her bir kumaú görüntüsü inúa
1
978-1-5386-1880-6/17/$31.00 ©2017 IEEE edilen model ile karúÕlaútÕrÕlarak hata içeren kumaú görüntüleri
tespit edilmiútir. Gri seviye eú oluúum matrisi doku birim zamanda incelenecek görüntü sayÕsÕnÕn oldukça yüksek
sÕnÕflandÕrmada oldukça yaygÕn bir metot oldu÷u için hatalÕ olmasÕna neden olmaktadÕr. Çünkü örgü makinesinin üretim
kumaú dokularÕnÕn tespit edilmesinde de kullanÕlmÕútÕr. Bu hÕzÕ, çapÕ ve üretilen kumaúÕn karakteristikleri anlÕk olarak
istatistiksel metot eúikleme ve morfolojik iúlemler ile birlikte izlenmesi gerekli olan alanÕn büyüklü÷ünü do÷rudan
kullanÕlarak dokuma kumaú hatalarÕnÕn bulundu÷u piksel etkilemektedir. Bunun sonucunda yuvarlak örgü makineleri
koordinatlarÕnÕ tespit edebilmektedir [8]. Filtreleme üzerinde yürütülen bazÕ çalÕúmalarda herhangi bir hatanÕn
yaklaúÕmlarÕ genellikle çok ölçekli filtre bankalarÕ inúa edilerek gözden kaçÕrÕlmamasÕ için saniyede yaklaúÕk 90 görüntünün
doku sÕnÕflandÕrma problemlerinde kullanÕlmaktadÕr. Bu elde edilmesi gerekti÷i tespit edilmiútir [2]. Üretim esnasÕnda
metotlardan biri olan çok ölçekli fark filtre metodu 12 farklÕ her 1 saniyede kamera ile yakalanan 90 farklÕ kumaú
türde düz dokuma kumaúlarÕnÕn içerdikleri hatalarÕ tespit görüntüsünün analiz edilmesi ve hata içerip içermediklerine tek
etmede kullanÕlmÕútÕr [9]. Her biri 256 × 256 boyutunda olan tek karar verilmesi oldukça zaman gerektiren bir süreçtir. Bu
kumaú görüntüleri dokuma makinesi üzerinde gerçek zamanlÕ durumda görüntü iúleme uygulamalarÕnda sÕklÕkla kullanÕlan
olarak elde edilerek hata tespiti yapÕlmÕútÕr. Optimal morfolojik Matlab yazÕlÕmÕnÕn bu ihtiyacÕ karúÕlamasÕ mümkün de÷ildir.
filtreler yardÕmÕyla yapÕlan gerçek zamanlÕ kumaú hatasÕ tespit Bu nedenle hata tespit sistemlerinin daha hÕzlÕ çalÕúabilen
çalÕúmasÕnda farklÕ kumaú türlerine ait kumaú hatalarÕ %97.40 Python, Opencv ve C++ gibi programlama dillerinde
sÕnÕflandÕrma baúarÕsÕ ile sÕnÕflandÕrÕlmÕútÕr [10]. Kumar ve kodlanmasÕ ve test edilmesi gerekmektedir.
Pang[11], Gabor dalgacÕklarÕndan türeterek 4 farklÕ yönde ve Bu çalÕúmada yuvarlak örgü makineleri üzerinde çalÕúabilen
16 farklÕ kanalda inúa ettikleri filtreler ile kumaú üretim sistemi bir hata tespit sisteminin ayrÕ ayrÕ hem Matlab hem de
tasarlamÕúlardÕr. Bu çalÕúma baúarÕlÕ sonuçlar vermekle birlikte Opencv/C++ programlarÕnda kodlamasÕ ve tasarÕmÕ yapÕlmÕútÕr.
gerçek zamanlÕ hata tespitinde zaman maliyeti içermektedir. Her iki yazÕlÕm ortamÕnda ayrÕ ayrÕ geliútirilen hata tespit
Gerçek zamanlÕ çalÕúmalarda anlÕk olarak kameradan gelen algoritmasÕ test edilerek elde edilen do÷ruluk oranlarÕ
kumaú görüntüsünün analiz edilmesi ve hata içerip karúÕlaútÕrÕlmÕútÕr. Daha önemlisi ise her iki ortamÕn gerçek
içermedi÷ine karar verilmesi gerekmektedir. Filtre temelli zamanlÕ olarak endüstriyel koúullarda test edilerek çalÕúma
çalÕúmalardan olup daha uygun çalÕúma zamanÕna ihtiyaç duyan
sürelerinin detaylÕ olarak analiz edilmiú olmasÕdÕr. Bu sayede
di÷er bir çalÕúmada filtre bankasÕ ile çÕkartÕlan öznitelik
çizgi tarama kamerasÕ ile kumaú hatasÕ tespiti alanÕnda
vektörlerinin boyutlarÕ temel bileúen analizi yöntemi ile
çalÕúacak olan araútÕrmacÕlara farklÕ bakÕú açÕlarÕ ve tecrübeler
azaltÕlmÕútÕr [12]. Filtre bankasÕnÕn içerdi÷i çeúitli
kazandÕrÕlmasÕ amaçlanmÕútÕr.
özelliklerdeki filtrelerden incelenen kumaú türüne en uygun
olanÕ tespit etmek dokuma ve örgü makineleri üzerinde Bölüm 2’de kumaú hatasÕ tespitinde kullanÕlan eú oluúum
çalÕúacak gerçek zamanlÕ hata tespit sistemlerinin zaman matrisi temelli özellik çÕkarma algoritmasÕ kÕsaca
maliyetini indirgeyecektir. Bu gerçekten hareket ile yapÕlan tanÕmlanmÕútÕr. Bölüm 3’te özellik çÕkarma algoritmasÕ ve
bazÕ çalÕúmalarda bu yönde araútÕrmalar yapÕlmÕú ve probleme Yapay Sinir A÷Õ (YSA) ile öncelikle laboratuvar ortamÕnda
uygun filtre seçimi baúarÕlÕ bir úekilde seçilmiútir [13], [14]. elde edilen hata tespit çalÕúmalarÕna yer verilmiútir. Daha sonra
Dokuma makinesi üzerinde gerçek zamanlÕ çalÕúabilen bir di÷er yuvarlak örgü makinesi üzerinde yürütülen gerçek zamanlÕ hata
çalÕúmada FPGA temelli bir sistem kurularak kumaú üretimi tespit çalÕúmalarÕna ait elde edilen sonuçlara karúÕlaútÕrmalÕ
kontrol edilmiútir [15]. Kumaú kontrol sisteminin hÕzlÕ olarak de÷inilmiútir. Bölüm 4’te ise çalÕúmalar sonucu elde
çalÕúmasÕ için oluúturulan sistem FPGA mimarisi üzerine edilen genel sonuçlar ve gelecekte yapÕlmasÕ düúünülen
taúÕnmÕútÕr. çalÕúmalar sunulmuútur.
Yapay sinir a÷larÕ (YSA) farklÕ birçok problemde oldu÷u II. COHOG YÖNTEMø
gibi kumaú hatasÕ tespitinde de yo÷un bir úekilde
kullanÕlmaktadÕr. 3 katmanlÕ ve geri beslemeli bir YSA Bu çalÕúmada özellik çÕkarma problemlerinde etkili
mimarisi ile yürütülen bir çalÕúmada düz ve beyaz renkli kumaú sonuçlar üretebilen Eú-oluúum Yönlü Gradyan Histogram
kumaúa ait hatalar %86.20 oranÕnda tespit edilmiútir [16]. (CoHOG) yöntemi kullanÕlarak kumaú görüntülerinin anlamlÕ
Benzer mimariye sahip bir YSA ile çizgi tarama kamerasÕndan özellik vektörleri hesaplanmÕútÕr. CoHOG yöntemi temel olarak
elde edilen düz kumaú türüne ait ve 4 farklÕ kumaú hatasÕ türü görüntülerin gradyan yönelimleri arasÕndaki uzaysal iliúkiyi
içeren 160 hatalÕ kumaú görüntüsü sÕnÕflandÕrÕlmÕú ve %91.88 ifade etme prensibine dayanmaktadÕr [19].
oranÕnda sÕnÕflandÕrma baúarÕsÕ yakalanmÕútÕr [17]. Dokuma CoHOG özellik vektörü hesaplanmasÕnda öncelikle iúlem
kumaú hatalarÕnÕ tespit etmek için yapÕlan di÷er bir çalÕúmada görüntünün gradyan yönelimlerini hesaplamaktÕr. Gradyan
ise alan tarama kamerasÕ ile kumaú görüntüleri elde edilerek bir yönelimleri kullanÕlarak eú oluúum matrisi hesaplanÕr. Eú
veri tabanÕ oluúturulmuútur. 4 farklÕ kumaú hatasÕ içeren toplam oluúum matrisinin temel iúlevi, kullanÕcÕ tanÕmlÕ bir ofset
240 adet kumaú görüntüsü YSA ile sÕnÕflandÕrÕlmÕú ve baúarÕ de÷erine göre görüntü üzerindeki gradyan yönelimlerinin
oranÕ %94.38 olarak ölçülmüútür [18]. da÷ÕlÕmÕnÕ ifade etmektir. Gradyan yönelimlerinin komúuluk
Yürütülen tüm bu çalÕúmalarÕn birço÷unun temel eksikli÷i kombinasyonlarÕ kullanÕlarak görüntüdeki nesne ve úekilleri
gerçek zamanlÕ olmayÕúlarÕ ve herhangi bir dokuma/örgü uzaysal düzlemde ayrÕntÕlÕ olarak ifade edilmektedir. Özellikle
makinesi üzerinde ciddi üretim kontrol testlerine tabi nesne sÕnÕrlarÕnda birinci mertebe türev de÷erinin maksimuma
tutulmamÕú olmalarÕdÕr. DolayÕsÕyla ihtiyaç duyulan kumaú ulaúmasÕ ile nesne kenarlarÕ elde edilebilmektedir.
izleme sistemlerinin geliútirilmesinde hala ciddi Ar-Ge Görüntüdeki nesnelerin úekillerinin elde edilebilir olmasÕ
çalÕúmalarÕna ihtiyaç oldu÷u sonucuna ulaúÕlmaktadÕr. Özellikle nesne sÕnÕflandÕrma problemi için oldukça önemlidir.
yuvarlak örgü makinelerinin yüksek hÕzda üretim yapmasÕ Matematiksel olarak ݉ ൈ ݊ boyutundaki imge ve ሺݔǡ ݕሻ ofset
de÷eri için eú oluúum matrisi denklem (1)’deki gibi Literatürdeki benzer çalÕúmalara dayanarak bu çalÕúmada da
tanÕmlanmaktadÕr [19]: CoHOG yöntemini test etmek için daha önce inúa edilmiú olan
bir kumaú veri tabanÕndan faydalanÕlmÕútÕr[20]. ønúa edilen
veritabanÕ örgü makinesi üzerine kurulan çizgi kamera ve
ܿǡ ൌ
do÷rusal ÕúÕk kayna÷Õ yardÕmÕyla gerçek üretimden elde edilen
kumaú görüntüleri kullanÕlarak oluúturulmuútur. Bu veri
σିଵ ିଵ ͳǡ݁º݁ܫݎሺǡ ݍሻ ൌ ݅ܫ݁ݒሺ ݔǡ ݍ ݕሻ ൌ ݆ tabanÕnda 3242’i hatalÕ 5923’ü hatasÕz olmak üzere toplam
ୀ σୀ ൜ (1)
Ͳǡ݀݁º݈݅݁ݏ 9165 kumaú görüntüsü bulunmaktadÕr. Veri tabanÕnda bulunan
hatalÕ ve sa÷lam kumaú görüntülerinden bazÕlarÕ ùekil 2’de
Burada ܫgradyan yönelim görüntüsünü,݅ ve ݆ ise gradyan görülmektedir. ølk satÕrda sÕrasÕyla i÷ne kÕrÕ÷Õ, delik ve patlak
yönelimlerini göstermektedir. CoHOG yöntemi gradyan tabanlÕ hatalarÕ görülmektedir. økinci satÕrda ise sa÷lam kumaú
olarak histogram bilgilerini yorumlamakta ve kodlamaktadÕr.
görüntüleri verilmiútir.
Bu nedenle lokal ve bölgesel ÕúÕk de÷iúimleri ile gürültü
durumlarÕnda oldukça duyarlÕ davranmakta ve istenmeyen
kenar ve úekil bilgileri üretebilmektedir. Görüntünün yatay ve
dikey radyanlarÕ kullanÕlarak gradyan yönelimleri bilgisi
aúa÷Õdaki gibi elde edilir:
௩
ߠ ൌ ିଵ (2)