You are on page 1of 10

SISTEMA DE INSPECCIÓN VISUAL AUTOMÁTICA DE AZULEJOS DE PATRÓN FIJO

José Miguel Valiente, Floreal Acebrón, Fernando López, José Ramón Navarro
Universidad Politécnica de Valencia, España
Departamento de Informática de Sistemas y Computadores Correo electrónico: jvalient@disca.upv.es

RESUMEN
En este trabajo se presenta un sistema de inspección visual automática desarrollado para detectar y clasificar defectos superficiales en piezas cerámicas que presentan un patrón fijo. El sistema realiza un proceso de análisis estructurado en varias etapas: La primera etapa es el registrado de imágenes, necesario para alinear espacialmente las imágenes de las piezas a inspeccionar con una imagen de referencia libre de defectos. La segunda etapa consiste en la comparación pixel a pixel entre ambas imágenes, obteniendo un mapa de defectos. Posteriormente , del mapa de diferencias se extraen una serie de características que son de utilidad para discriminar los tipos de defectos más comunes en este ámbito. En función de estas características se etiquetan los distintos defectos, estimando la categoría de la pieza. Palabras clave: registrado de imágenes, inspección de azulejos, extracción de características, clasificación de azulejos.

ABSTRACT
This work introduces an Automatic Visual Inspection System developed to detect and classify surface defects in tile pieces that have fixed decorative patterns. The image processing work is structured in several stages. The first stage is image registration, needed for the spatial alignment between the test tile image and the reference image. The second stage is a pixel to pixel comparison between both images, obtaining a defect map. Afterward, a set of features is extracted from the defect map. Using these features, the defects are labelled, according to the defect types commonly used in this field. Finally, the whole piece category is estimated. Key words: image registration, ceramic tile inspection, feature extraction, tile classification.

1

Introducción

En la última década los sistemas de visión por computador se han consolidado como una pieza fundamental en los sistemas de producción de las industrias. En este ámbito las dos aplicaciones más importantes de la visión, en un sentido amplio, han sido el ensamblaje automático (Robótica) y la Inspección Visual Automática. En el ámbito de la Inspección Visual Automática se ha producido una gran cantidad y variedad de aplicaciones. La mayoría de los procesos industriales donde se han introducido los sistemas de inspección visual automática se caracterizan por alguna o algunas de las siguientes propiedades (i) Procesos complejos con múltiples etapas en la cadena de producción. (ii)Elevado ritmo de producción. (iii)Alto valor añadido de cada pieza individual. (iv) Necesidad de control de calidad, no sólo del producto final, sino también de los subproductos intermedios de la cadena de producción. (v)Necesidad de una inspección del 100% de la producción. En marco de la industria cerámica, donde se inscribe el presente trabajo, se cumplen las propiedades antes citadas. Se producen una gran cantidad de piezas, las cuales tienen que ser analizadas en su totalidad por inspectores humanos. El control de calidad se

no sólo uniformizar el proceso de inspección. Por consiguiente es necesario el uso de un método de registrado fiable que nos permita alinear ambas imágenes como paso previo a la comparación. aunque conservando una apariencia global uniforme. El cráter consiste en un sobresaliente de la superficie del azulejo. En estos modelos se pretende que cada pieza sea diferente. lo único que se puede hacer es venderla como pieza defectuosa. como por ejemplo aceite. Defectos de cocción: Aparecen en la etapa de paso por el horno y pueden dividirse en dos subtipos: cráter y pinchazo. de las condiciones ambientales y de otros factores subjetivos difícilmente cuantificables. 2 . debido a la diversidad de defectos superficiales y a la gran variedad de patrones decorativos presentes en las piezas. El resultado final de esta inspección humana puede variar mucho. entre la imagen que contiene la pieza a analizar (test) y una imagen que contiene un patrón de referencia. varia entre 60 y 120 piezas por minuto. Además. Todo este proceso debe realizarse en el menor tiempo posible. Este tipo de defecto es cuantitativamente el más importante.realiza en el producto final. cuando el azulejo es todavía un material frágil. dependiendo del estado anímico de la persona. ni siquiera el operador humano puede efectuar la labor directa de inspección visual. dando lugar a patrones visuales aleatorios o pseudo-aleatorios. 2 3 4 Actualmente las empresas del sector cerámico fabrican una gran cantidad de modelos. Manchas: En todas las etapas de producción pueden aparecer manchas en los azulejos debidas a suciedades que provienen del entorno de trabajo. al tiempo que permiten eliminar piezas defectuosas en dichas etapas con el correspondiente ahorro de coste y la posibilidad de reciclado de material.. Entre los tipos de defectos más comunes podemos encontrar: 1 Defectos de integridad: Son debidos a perdidas de material en la superficie de la pieza. La técnica usada para detectar defectos superficiales en este tipo de piezas esta basada en la comparación directa. Defectos serigráficos: Se producen en las etapas de serigrafía y corresponden. El trabajo que se presenta aquí esta restringido a modelos de patrón fijo. bien por la velocidad del proceso o por la necesidad de analizar aspectos no diferenciables por el ojo humano. para que el sistema de inspección sea capaz de adaptarse a la velocidad de las líneas de producción. Se trata de una tarea muy tediosa y repetitiva. etc.. Los sistemas automáticos de inspección. pixel a pixel. que puede llegar a ser estresante para la persona que la realiza. mientras que el pinchazo consiste en una hendidura en la superficie del mismo. Se producen fundamentalmente antes de la entrada al horno. o bien a desfases entre las distintas capas serigráficas. con la posibilidad de ajustar dicho proceso. impurezas en los esmaltes. basados en sistemas de visión y otras tecnologías complementarias permiten. La realización de un sistema de inspección para la detección automática de defectos superficiales es una tarea extremadamente compleja. en algunas ocasiones. Algunos de estos modelos son novedosos e intentan en muchos casos imitar productos naturales como por ejemplo piedra o mármol. o bien a que los poros de la plancha se saturen y queden pegados momentáneamente al azulejo. sino que posibilitan la inclusión de la inspección en etapas intermedias del proceso productivo. Otra parte de la producción la ocupan los modelos que presentan un patrón visual fijo. En estos modelos se pretende que todas las piezas sean exactamente iguales entre si. con lo cual si se detecta un defecto una vez cocida la pieza.

pueden detectarse los posibles defectos computando la diferencia entre ambas imágenes. Adquisición imagen de referencia Registrado rígido Extracción de características Clasificación Figura 2: Fases del método de inspección Cualquier imagen de test puede ser alineada con la imagen de referencia usando un método global de registrado rígido. dos fotocélulas que realizan un control de presencia y un sistema de iluminación fluorescente de alta frecuencia. CABINA LUCES ALARMAS Fo e lu toc l as CAMARA LINEAL DE COLOR (Trillium) 12 ENCODER POSICIONADOR NEUMÁTICO CINTAS ENTRADA AZULEJO AZULEJO LAMPARAS Fluorescentes de alta frecuencia Figura 1. A la entrada del sistema de inspección se encuentra un posicionador neumático. La calidad de esta primera pieza debe ser contrastada por un operador experimentado para garantizar el correcto funcionamiento posterior. encargada de realizar la adquisición de las imágenes de las piezas. Si se detecta una secuencia de piezas defectuosas el módulo de proceso activa una señal luminosa y/o acústica para informar al operario de que algo anormal esta ocurriendo en la línea. que coloca la pieza en una posición óptima para ser adquirida por la cámara. Dentro del módulo de adquisición pueden encontrarse los siguientes elementos: una cámara lineal RGB (Dalsa Trillium). La metodología propuesta se basa en un esquema típico de visión por computador como el mostrado en la figura 2.000 impulsos/vuelta) que se utiliza para sincronizar la adquisición de la imagen con la velocidad de la línea en cada instante. El módulo de proceso esta formado por un cluster de cuatro procesadores industriales unidos por una red de alta velocidad. La primera etapa consiste en la adquisición de una imagen de la pieza libre de defectos. para utilizarla como patrón de referencia. Este módulo es el encargado de analizar todas las piezas de la línea de producción.2 El sistema de inspección El sistema de inspección desarrollado (véase figura1) consta de dos módulos: el módulo de adquisición y el módulo de proceso. Las imágenes adquiridas tienen información de color en formato RGB. Una vez la imagen de test esta alineada con la imagen de referencia de forma precisa. También se dispone de un codificador óptico (10. Sistema de inspección. Sin embargo este espacio de color no es 3 .

como puede apreciarse en la figura 3. En un artículo reciente [4] se introduce una interesante aproximación basada en un proceso de refinamiento. 3 El método de registrado Las técnicas de registrado de imágenes han sido aplicadas a una gran variedad de áreas como tratamiento de imágenes médicas. En el presente trabajo se ha procedido a implementar el método de registrado que mejor se comporto en aquellos experimentos. Sin embargo. inspección automática.y) and pr(xr. necesariamente. Este método es el que se comenta a continuación: El método. En general se dice que una distancia euclídea de 2. Es por esto por lo que se ha decidido utilizar otros espacios de color perceptualmente uniformes. y α el ángulo de rotación. Posteriormente aplican una transformación geométrica a la imagen de test para alinearla con la imagen de referencia. al igual que ocurre en [6]. El mapa de distancias o mapa de diferencias obtenido es umbralizado empleando un umbral de 2. etc. [7]. con pequeñas diferencias de color percibido. reconocimiento de objetos. De cada objeto se extrae un conjunto de características que posteriormente servirán para la clasificación de cada objeto y en ultima instancia para la clasificación de la pieza. En un segundo estado refinan los parámetros de la transformación usando un método de correlación de fase.. 4 . En una primera fase se produce un registrado grosero pero muy rápido. La distancia euclídea es la más sencilla de cuantas se pueden utilizar los espacios de color CIELAB y CIELUV. basado en una detección de bordes.yr) son las esquinas superior izquierda de la imagen de test y la imagen de referencia. se selecciono un método de entropía cruzada. Los experimentos se realizaron considerando que la imagen de test podía estar trasladada. Una vez convertidas a estos espacios de color. En un trabajo previo [5] realizamos un estudio de las diferentes técnicas de registrado rígido aplicadas a la inspección de piezas cerámicas. Usando 20 líneas de muestreo convenientemente espaciadas en horizontal y vertical se obtienen cuatro conjuntos de 20 puntos.3 por lo comentado anteriormente.3 o superior es perceptible por el ojo humano [2]. como son el CIELAB y el CIELUV [1]. ambas imágenes se registran usando la siguiente transformación:  x r   cos α   = y   r   − sin α sin α   x   d x  ⋅ +      cos α    y dy  donde p(x. sólo hay un conjunto reducido de trabajos en el campo de la inspección visual de azulejos. Después de estudiar algunos de los mejores métodos para obtener un umbral óptimo. como el tiempo de computo requerido. rotada y escalada con respecto a la imagen de referencia.. Una recopilación muy detallada de las técnicas de registrado puede encontrarse en [3]. Todos los objetos que aparecen en el mapa de diferencias son posibles defectos. Una vez se han computado los rectángulos que forman la imagen de test y la de referencia. Cada uno de estos conjuntos de puntos es aproximado a una recta utilizando el método de mínimos cuadrados. seguido de la transformada de Hough para encontrar las cuatro rectas que definen los laterales de la pieza. A continuación se comentan con más detalle cada una de las etapas. teniendo en cuenta tanto su precisión y fiabilidad. en el sentido de que pequeñas distancias entre dos puntos de este espacio no se corresponden. trabaja solamente con la información almacenada en los puntos de bordes. las imágenes de referencia y de test pueden ser comparadas usando una medida estándar de distancia.perceptualmente uniforme.

y) tile Reference Y ile Test t Figura 3. el resultado obtenido tras la etapa de registrado y el mapa de diferencias.dy) X α p (x.O pr (xr.yr) (dx. Todos los objetos que aparecen en el mapa de diferencias son posibles defectos. Longitud del eje mayor y eje menor: LongEjeMayor = 4 ∗ (( µ 20 + µ 02 ) + ( µ 20 − µ 02 ) 2 + 4 ∗ µ 11 ) 2 2 ∗ µ 00 5 . Con el objetivo de caracterizar cada uno de los objetos se han extraído para cada uno de ellos un conjunto de características que se exponen detalladas a continuación: Área: m00 = ∑∑ f ( x. y ) = 1 Perímetro: Se ha calculado averiguando para cada píxel que formaba parte del objeto si dicho píxel estaba en el límite del objeto en cuyo caso pertenece al perímetro. 4 Extracción de características Una vez registradas ambas imágenes se obtiene un mapa de diferencias computando la distancia euclídea entre todos los pixeles de la imagen patrón y sus parejas en la imagen de test. y ) x =1 y =1 N N f ( x. Parámetros de la transformación. (a) (b) (c) (d) Figura 4: (a) referencia (b) test (c) test registrada (d) mapa de diferencias. en el que aparece un azulejo de referencia. un azulejo a analizar (test). En la figura 4 puede apreciarse un ejemplo.

Si el ratio es 1 el objeto es un círculo perfecto. El resultado es una medida de la "redondez" o lo compacto del objeto. y ) x =1 y =1 N N N N f ( x. 1 Elongación = LongEjeMenor LongEjeMayor Circularidad del objeto: Relación entre el área y el perímetro. y ) = 1 f ( x. Compacidad = 1 Circularidad Perímetro/Area: Establece la Relación entre el perímetro y el área de tal forma que valores cercanos a 1 indicarán que el objeto es más fino y valores cercanos a 0 indican que el objeto es más grueso. Si el valor es alto. el objeto presenta varios entrantes y salientes y/o huecos. A mayor ratio. y ) x =1 y =1 m10 m y 0 = 01 m00 m00 Orientación del objeto: Es el ángulo que forma el Eje Mayor con respecto a la horizontal: x0 = α= 2 ∗ µ11 1 ∗ arctan( ) µ 20 − µ 02 2 Elongación del objeto: Da una medida de la elongación del objeto. su valor está entre 0 y 1: Objeto alargado. PerimetroVSArea = Perimetro Area 6 . Circularidad = 4 ∗ π * área perímetro 2 Compacidad del objeto: Describe lo circular o estrellado que es un objeto. más redondo es el objeto. 0 Objeto cuadrado o circular.LongEjeMenor = 4 ∗ donde: (( µ 20 + µ 02 ) − ( µ 20 − µ 02 ) 2 + 4 ∗ µ11 ) 2 2 ∗ µ 00 m pq = ∑∑ x p y q f ( x. y ) = 1 µ pq = ∑∑ ( x − x 0 ) p ( y − y 0 ) q f ( x. su valor está entre 0 y 1.

s. normalmente .5mm. también serán eliminados debido a que corresponden a líneas muy finas. 0 Objeto en el borde completamente. y para reducir los efectos debidos a artefactos introducidos durante la etapa de registrado.65 y que tengan una elongación < 0. Estos criterios van a establecer la relación existente entre las características calculadas y los tipos de defectos a considerar. es decir son 7 . se deben al ruido producido en el proceso de registrado. teniendo en cuenta que estamos trabajando con una resolución de 4 píxeles/mm.2. Area ejes: Relación del área del objeto respecto al área del rectángulo cuyas dimensiones son EjeMayor x EjeMenor: AreaObjetoVSAreaEjes = AreaObjeto | EjeMayor | * | EjeMenor | Para eliminar el ruido que se produce durante el registrado. únicamente se van a tener en cuenta los objetos que cumplan las siguientes condiciones: 1 Tener un área mayor a 2. 1 PuntosBordeVSPerimetro = N º PuntosBorde Perimetro Area objeto v. 2 3 4 Estas restricciones se han introducido para limitar el número final de defectos detectados. Aquellos objetos interiores cuyo perímetro/area sea >= 0. los cuales pueden apreciarse en la figura 5: El defecto de integridad: Las características que tienen esta clase de defectos son las de ser bastante compactos y localizarse mayoritariamente en los bordes. 5 Clasificación de defectos A continuación se proponen unos criterios de clasificación basados en la experiencia de los clasificadores y en los experimentos realizados con una gran variedad de azulejos. Área rectángulo: Relación del objeto respecto al rectángulo que lo contiene: AreaObjetoVSArea Re c = AreaObjeto Area Re c Area objeto v. Perímetro: Define la relación entre el número de puntos del objeto que tocan el borde y el perimetro de dicho objeto.Nº puntos borde v. todos aquellos objetos con un área menor a 10 píxeles serán filtrados. que son producidas por el ruido generado en el registrado. de tal forma que: Objeto totalmente interior.s. Aquellos objetos cuyo perímetro/área supere el 98%. Los objetos alargados cuyo número de puntos en el borde superen el 40% de su perímetro y además tengan una elongación < 0.s.2 serán eliminados ya que.

Para cada modelo de azulejo se dispone de 10 piezas sin defectos y tres conjuntos de 50 piezas que presentan defectos de integridad. utilizando azulejos etiquetados por clasificadores experimentados. 6 Experimentos y resultados Con el objetivo de fijar los umbrales TI. mancha o serigráfico. Nº de puntos en el borde > 0 AreaObjetoVSAreaEjes > TI El defecto de serigrafía: Las características que caracterizan a los objetos con este tipo de defecto es la elevada dispersión. Estas pruebas se han realizado en laboratorio. manchas y serigrafía. Se han propuesto unos criterios de clasificación muy sencillos basados en nuestra experiencia y en la experiencia de los clasificadores de la empresa cerámica. 8 . Nº puntos en el borde = 0 AreaObjetoVSAreaEjes > TM (a) (b) Figura 5. TS. TM. propuestos en el punto anterior se han realizado pruebas con nueve modelos de los más representativos de la empresa.defectos que se localizan mayoritariamente en el exterior del azulejo y además son compactos. En un trabajo posterior se abordará el desarrollo de un clasificador más robusto teniendo en cuenta el resto de características propuestas. además de no encontrarse en el borde. son las de ser compactas e interiores. a) Integridad. es si existe defecto y si éste es de integridad. Únicamente se pretende decidir. b) Manchas. Que ha colaborado en este proyecto. Nº puntos en el borde = 0 AreaObjetoVSAreaEjes <= TS El defecto de mancha: Las características que definen a una mancha. sin realizar ninguna cuantificación dentro de cada categoría. de momento. Imágenes que contiene piezas defectuosas.

4). 7 Conclusiones Como conclusión es de destacar la importancia. Se han estudiado diferentes espacios de color que nos permitan realizar una buena detección de los defectos generando el menor ruido posible. Observaciones obtenidas a partir de las pruebas indican que su compacidad está por debajo del 40% (TS = 0. para hacer corresponder de forma muy precisa cada píxel del test con su pareja en el patrón y poder realizar así la diferencia entre ambos. compacidad. su posición. de cada una de las etapas en que se divide y que son: Se ha hecho especial énfasis en desarrollar un buen método de registrado de las imágenes. lo que permite eliminar posibles inexactitudes del registrado. mancha o serigrafía. se estima la categoría de la misma utilizando un segundo 9 . etc. Tomando como medida de compacidad la característica de AreaObjetoVSAreaEjes. Por último. se detecta correctamente pero se clasifica como un defecto de integridad. Se ha propuesto un conjunto amplio de características que nos aportan información sobre la forma del defecto. Los defectos serigráficos se extienden por el interior del azulejo y además poseen una gran dispersión. Los resultados han sido los siguientes: 5 Los defectos de integridad se localizan siempre en los bordes de la pieza cerámica. Todo el proceso posterior depende enormemente de la fiabilidad y precisión de esta primera etapa. en todo este proceso. Si una mancha esta situada de tal forma que ocupa parte del borde de la pieza.4). Si un defecto de integridad se sitúa en el interior de la pieza. En ambos espacios se han obtenido buenos resultados trabajando con distancias euclídeas para el calculo de las diferencias entre colores. Dichos defectos deberían ser tratados utilizando un sistema de iluminación direccional que resalte los cambios de relieve y con una cámara de área que sea capaz de recoger esos cambios. Las manchas son interiores y compactas observándose que un valor de la compacidad por encima del 40% (TM = 0. además suelen ser bastante compactos y se ha establecido que su grado de compacidad es siempre mayor al 40% (TI = 0. Es importante destacar que el algoritmo detecta el 100% de los defectos de los tres tipos. pero cuando se detectan son tratados como manchas debido a que son interiores y compactos. lo que nos permite obtener una buena caracterización de los defectos.4) indica mancha. Los espacios estudiados han sido CIELAB. se ha implementado un clasificador ad-hoc basado en las experiencias que se han realizado con un gran número de modelos. es detectada. Es posible utilizar una ventana de dimensión n x n centrada en el pixel bajo estudio. 6 7 8 Sobre los defectos de tipo pinchazo o cráter es de destacar que suelen ser bastante pequeños y que normalmente no se detectan. Este clasificador permite determinar si el defecto es de integridad. CIELUV. pero clasificada como defecto de integridad. Una vez clasificados todos los defectos de la pieza. es detectado correctamente pero clasificado como una mancha. pero debido a lo rudimentario del clasificador ocurren algunas cosas curiosas que pasamos a comentar. Y por último si un defecto serigráfico esta situado en el borde de la pieza.Para realizar las pruebas una de las imágenes que contiene un azulejo sin defectos se ha utilizado como imagen de referencia y las 150 imágenes con azulejos defectuosos como imágenes de test.

Este clasificador de nivel superior determina a cual de las cuatro categorías: primera. C. pp. v. v. Jose & PÉREZ. nº 2. 10 . v. M. 327-376. se ha contado con la colaboración del grupo de empresas cerámicas Gres de Nules – Keraben S. And Appl. Machine Vision and Applications. Stephen & HORNE. 105-121. 4) COSTA.MCyT) y de la Comisión Europea. nº 4. 145-150. pp. 2) MAHY. como por ejemplo si la pieza es clasificada como tiesto. segunda. pp. v. 24.E & PETROU. Floreal & VALIENTE. nº 2. 225-230. M. 6) HSIEH. Minimum Cross Entropy Thresholding. dar la orden a un brazo neumático para que lo retire de la línea. A Study of Registration Methods for Ceramic Tile Inspection Purposes.clasificador.H. v. 1997. C. In: IX Spanish Symposium on Pattern Recognition and Image Analysis. & LEE. 19. Enrique. 617-625. Agradecimientos El presente trabajo se inscribe en el marco del proyecto Feder 1FD97-0999. 5) LÓPEZ. Computer Vision and Image Understanding. tercera. pp. J. 3) GOTTESFELD. Este proyecto cuante con la financiación del Ministerio de Ciencia y Tecnología (CICYT. A Survey of Image Registration Techniques. 11. ACM Computing Surveys. Así mismo. 1992. denominado “Sistema de inspección óptica para la detección automática de defectos en azulejos (SIO)”. 7) LI. pp. 112-130. 67. tiesto pertenece la pieza. 1994. Fernando & ACEBRÓN. v. Evaluation of uniform Color Spaces developed after the Adoption of CIELAB and CIELUV. pp. C. Image Registration Using a new Edge-Based Approach. Robin. Clasificada la pieza el operador puede asociar diferentes acciones a cada tipo de categoría. 2001. Cahpman &Hall. A. 1993. 1998. 1. Pattern Recognition. Automatic Registration of Ceramic Tiles for the Purposes of Fault Detection.L & VAN EYCKDENM. 26. L.A. Referencias 1) SANGWINE. 2000. nº 4.K. Castellón. Colour Image Processing Handbook. Color Res.