Visin por computador

Sumario
Conceptos bsicos
Definicin de visin por computador (VC) Nomenclatura Antecedentes histricos Estado del arte Estructura fsica de un sistema VC Estructura lgica de un sistema VC

Aplicaciones de VC Visin humana

Autor: S. Domnguez

Visin por computador

Definicin
Definicin de visin por computador
de news:comp.ai.vision (30-11-1994)
A branch of artificial intelligence and image processing concerned with computer processing of images from the real world. Computer vision typically requires a combination of low level image processing to enhance the image quality (e.g. remove noise, increase contrast) and higher level pattern recognition and image understanding to recognise features present in the image.

adoptada por
The Free On-line Dictionary of Computing (10-10-2003)

Autor: S. Domnguez

Visin por computador

Definicin
de Wikipedia (http://en.wikipedia.org)
Is the science and technology of machines that see

de fuente desconocida
Is inverse optics

se puede concretar como

Es la ciencia que estudia la interpretacin de imgenes mediante computadores

Autor: S. Domnguez

Visin por computador

Definicin
La interpretacin de imgenes comporta
Adquisicin Procesamiento
Preprocesamiento
Transformaciones de la imagen para mejorar sus caractersticas Facilita las siguientes etapas

Segmentacin
Divisin de la imagen en regiones con significado

Descripcin
Parametrizacin de las regiones de inters en la imagen

Reconocimiento
Comparacin de los valores extrados con la base de conocimiento
Autor: S. Domnguez

Visin por computador

Definicin

Volumen de datos

Complejidad operaciones

Dependencia Aplicacin

Resultados

Preprocesamiento Segmentacin Descripcin y Reconocimiento

+ -

+ 5

Autor: S. Domnguez

Visin por computador

Sumario
Conceptos bsicos
Definicin de visin por computador (VC) Nomenclatura Antecedentes histricos Estado del arte Estructura fsica de un sistema VC Estructura lgica de un sistema VC

Aplicaciones de VC Visin humana

Autor: S. Domnguez

Visin por computador

Nomenclatura
Procesamiento de imgenes
Transformacin de una imagen en otra
Operaciones pixel a pixel Transformaciones de imagen Operaciones geomtricas ...

No se formulan hiptesis previas No se generan interpretaciones de la imagen

Autor: S. Domnguez

Visin por computador

Nomenclatura
Visin por computador
Recuperar informacin de la escena 3D partiendo de una/varias imagen/es Normalmente se basa en una/varias hiptesis sobre la escena

Autor: S. Domnguez

Visin por computador

Nomenclatura
Machine vision
Suele hacer referencia a aplicaciones industriales
guiado de robots inspeccin medida...

Suele implicar la integracin de:

tecnologa de sensores teora de control sistemas de tiempo real

Autor: S. Domnguez

Visin por computador

Nomenclatura
Imaging
Suele hacer referencia al proceso de generar una imagen En ocasiones tambin incluye aspectos de procesamiento y anlisis
Medical imaging

Autor: S. Domnguez

10

Visin por computador

Nomenclatura
Reconocimiento de patrones
mtodos para extraer informacin de seales en general
normalmente estadsticos

una parte importante de esta disciplina se ocupa de imgenes

Autor: S. Domnguez

11

Visin por computador

Nomenclatura
Visin artificial
Se suele usar indistintamente con visin por computador La tendencia es identificar visin artificial como:
Ciencia que trata de restaurar en algn grado la visin de los ciegos profundos

Autor: S. Domnguez

12

Visin por computador

Sumario
Conceptos bsicos
Definicin de visin por computador (VC) Nomenclatura Antecedentes histricos Estado del arte Estructura fsica de un sistema VC Estructura lgica de un sistema VC

Aplicaciones de VC Visin humana

Autor: S. Domnguez

13

Visin por computador

Antecedentes histricos
Mejora de la imagen para su visualizacin
1920: transmisin de imgenes por cable submarino
Transmisin Bartlane Codificacin parecida al semitono Eleccin de los niveles de gris

1964: uso del computador en el procesamiento

En el Jet Propulsion Laboratory Mejora de imgenes transmitidas lunares del Ranger 7
Eliminacin de distorsiones en la transmisin

Posteriormente: Surveyor (lunar), Mariner (Marte), Apolo (lunar)

Autor: S. Domnguez

14

Visin por computador

Antecedentes histricos
Interpretacin de imgenes
1967: Marvin Minsky, MIT
Propone a un estudiante el problema de la visin por computador como trabajo de verano

70s-80s: rama de la AI
Entender la visin humana Emular la percepcin humana 1979: Nagel
Digitalizacin y estudio de imgenes de trfico

Autor: S. Domnguez

15

Visin por computador

Antecedentes histricos
1990s: se independiza de la AI
Aproximacin geomtrica al problema 1996: Dickmanns
Navegacin autnoma en autopistas

Autor: S. Domnguez

16

Visin por computador

Antecedentes histricos
Hoy: multiplicidad de mtodos matemticos
Estadstica, ecuaciones diferenciales, optimizacin 2002: Blthoff
Modelado de rostros para reconocimiento

Autor: S. Domnguez

17

Visin por computador

Sumario
Conceptos bsicos
Definicin de visin por computador (VC) Nomenclatura Antecedentes histricos Estado del arte Estructura fsica de un sistema VC Estructura lgica de un sistema VC

Aplicaciones de VC Visin humana

Autor: S. Domnguez

18

Visin por computador

Estado del arte

Es un campo inmaduro y disperso
Hasta finales de los 70 el problema no se centra
capacidad de manejar grandes conjuntos de datos con computadores

No hay una formulacin estndar del problema VC No hay una formulacin estndar de cmo resolverlo Existen mtodos para resolver tareas de VC
especficos de difcil o imposible generalizacin

Autor: S. Domnguez

19

Visin por computador

Estado del arte

La visin por computador se relaciona con:
AI
genera datos para toma de decisiones: sensor toma algoritmos para la extraccin de informacin

Fsica
comprensin del comportamiento de la luz
reflexin, refraccin, difraccin,... captura, sensorizacin,... ptica, fsica del estado slido,...

Autor: S. Domnguez

20

Visin por computador

Estado del arte

Neurobiologa
estudio de sistemas biolgicos de visin: humano
ojos, neuronas, estructuras cerebrales

sistemas orientados a la reproduccin del sistema humano mtodos de autoaprendizaje

Procesamiento de seal
extensin de mtodos mono a multivariables multivariable + no linealidad: campo especfico

Autor: S. Domnguez

21

Visin por computador

Estado del arte

Autor: S. Domnguez

22

Visin por computador

Sumario
Conceptos bsicos
Definicin de visin por computador (VC) Nomenclatura Antecedentes histricos Estado del arte Estructura fsica de un sistema VC Estructura lgica de un sistema VC

Aplicaciones de VC Visin humana

Autor: S. Domnguez

23

Visin por computador

Estructura fsica de un sistema VC

Escena Sensor Host

TAPI Sensor Sensor

Autor: S. Domnguez

24

Visin por computador

Sumario
Conceptos bsicos
Definicin de visin por computador (VC) Nomenclatura Antecedentes histricos Estado del arte Estructura fsica de un sistema VC Estructura lgica de un sistema VC

Aplicaciones de VC Visin humana

Autor: S. Domnguez

25

Visin por computador

Estructura lgica de un sistema VC

Segmentacin Extraccin de caractersticas Descripcin

Procesamiento de imagen

Reconocimiento

BASE DE CONOCIMIENTOS (previos y extrados on line)

Adquisicin de imagen Toma de decisiones

Autor: S. Domnguez

26

Visin por computador

Estructura lgica de un sistema VC

Visualizacin de imgenes

Visualizacin de datos

Anlisis de imgenes Procesamiento de imgenes Imgenes Sntesis de imgenes Adquisicin de imgenes Comunicacin de datos Datos Procesamiento de datos

Autor: S. Domnguez

27

Visin por computador

Sumario
Conceptos bsicos Aplicaciones de VC Visin humana

Autor: S. Domnguez

28

Visin por computador

Aplicaciones de VC
Cartografa Robtica Inspeccin industrial Seguridad y vigilancia Bases de datos Mdicas Percepcin remota ...

Autor: S. Domnguez

29

Visin por computador

Aplicaciones de VC
Cartografa
Levantamiento de mapas a partir de imgenes areas

Autor: S. Domnguez

30

Visin por computador

Aplicaciones de VC
Cartografa
Levantamiento de mapas a partir de imgenes areas

Autor: S. Domnguez

30

Visin por computador

Aplicaciones de VC
Cartografa
Levantamiento de mapas a partir de imgenes areas

Autor: S. Domnguez

30

Visin por computador

Robtica
Guiado de vehculos mviles

Autor: S. Domnguez

31

Visin por computador

Robtica
Servo visual

Autor: S. Domnguez

32

Visin por computador

Inspeccin industrial
Aplicaciones industriales de la visin por computador
Control de calidad Control e inspeccin de los procesos
Manipulado

Mecanizado Ensamblado

Autor: S. Domnguez

33

Visin por computador

Inspeccin industrial
Objetivos de las aplicaciones industriales de VC
Mejora en la calidad de la inspeccin Mayor rapidez en la inspeccin Aumento de la cadencia de produccin Integracin en el entorno automatizado Sustitucin de los operarios
Evitar su presencia en entornos peligrosos
Trmicos, riesgo fsico, contaminacin

Abaratamiento de los costes de produccin

Incremento de la fiabilidad
Eliminacin de criterios subjetivos
Por ejecucin de tareas rutinarias o repetitivas Por cambio de turno
Autor: S. Domnguez

34

Visin por computador

Inspeccin industrial
Mejora de la calidad de los productos y procesos
Deteccin de defectos ms pequeos, manipulado ms preciso de piezas,...

Autor: S. Domnguez

35

Visin por computador

Inspeccin industrial
Limitaciones de las aplicaciones industriales de la visin por computador
Mala adaptacin a situaciones imprevistas
Ocultacin temporal de la escena Falta temporal de iluminacin

Ausencia de equipos genricos

Imposibilidad de ofrecer soluciones a distintas aplicaciones sin ayuda de personal especializado Dificultad para simular el reconocimiento humano

Utilizacin de mtodos indirectos en la determinacin de las caractersticas

Autor: S. Domnguez

36

Visin por computador

Inspeccin industrial
Caractersticas de las aplicaciones industriales
Coste del equipo
Cmaras, ptica, TAPIs, ... Ingeniera de desarrollo

Tiempo de procesado
Sistemas de tiempo real Procesamiento paralelo

Precisin obtenida Adaptacin al entorno Aceptacin del mtodo

Autor: S. Domnguez

37

Visin por computador

Inspeccin industrial
Aplicaciones industriales de la visin por computador
Inspeccin visual automatizada o control de calidad de productos Control e inspeccin de los procesos
Manipulado Mecanizado Ensamblado

Aplicaciones compartidas
Inspeccin de un producto a la vez que se corrige el proceso de fabricacin Anlisis de una pieza para el manipulado e inspeccin simultneamente
38

Autor: S. Domnguez

Visin por computador

Inspeccin industrial
Control de calidad de productos
Proceso automtico para decidir si un determinado producto cumple con un conjunto de especificaciones, previamente establecidas, definidas como estndar de calidad

Autor: S. Domnguez

39

Visin por computador

Inspeccin industrial
Control de calidad de productos

Autor: S. Domnguez

39

Visin por computador

Inspeccin industrial
Caractersticas del control de calidad de productos
Tamao mnimo de la imperfeccin a detectar Probabilidad de deteccin (segn tipo y tamao). Repetitividad en el anlisis. Robustez. Nmero de falsos rechazos Velocidad de inspeccin. Control en tiempo real. Coste de los equipos Caractersticas operativas Complejidad del patrn de comparacin Flexibilidad para adaptarse a los cambios del producto Grado de contaminacin introducido en el producto Interfaz de usuario
Autor: S. Domnguez

40

Visin por computador

Inspeccin industrial
Caractersticas productivas del Control de Calidad
Naturaleza del defecto, segn su generacin:
Espordicos Repetitivos (puede ser motivado por fallo en el proceso de produccin)

Degenerativos (puede ser por desgaste de un til)

Naturaleza del defecto, segn su funcionalidad: Inspeccin cualitativa. El producto no cumple una caracterstica funcional. Inspeccin cuantitativa. Se miden unas variables que deben estar dentro de unas tolerancias. Inspeccin hbrida. Segn el grado de aceptacin de una caracterstica. Inspeccin implcita. Reconocimiento de defectos no definidos anteriormente Autor: S. Domnguez

41

Visin por computador

Inspeccin industrial
Ubicacin del producto a inspeccionar (pueden coexistir):
Material de entrada: Anlisis de las especificaciones requeridas en el proceso de fabricacin. Producto intermedio: Permite un control en lnea del proceso productivo. Especialmente indicado en defectos repetitivos. Producto acabado: Determina la aceptabilidad del producto final.

Criterios de inspeccin:
Inspeccin 100 % (se inspeccionan todos los productos) Inspeccin por muestreo. Con el objetivo de validar lotes o detectar fallos repetitivos.

Autor: S. Domnguez

42

Visin por computador

Inspeccin industrial
Control e inspeccin de los procesos
ntimamente ligado a los elementos mecnicos o de control que intervienen en el proceso de automatizacin
Robot Manipuladores Mquinas Sistemas de transporte

Autor: S. Domnguez

43

Visin por computador

Inspeccin industrial
Control e inspeccin de los procesos

Autor: S. Domnguez

43

Visin por computador

Inspeccin industrial
Clasificacin del Control e inspeccin de procesos
Control de presencia de un producto.
La presencia activa el comienzo de un proceso

Manipulado de piezas paletizadas

El objetivo es determinar la posicin

Manipulado de piezas apiladas (Bin-Picking) Mecanizado de piezas

Realizado con la ayuda de la informacin visual Ajuste de aparatos

Ensamblado y desensamblado automtico

Fusin sensorial con ms sensores (fuerza, tacto, etc.) Intervienen movimientos acomodaticios

Seguimiento de objetos en movimiento

Autor: S. Domnguez

44

Visin por computador

Seguridad y vigilancia
Control de acceso, vigilancia, biometra, ...

Autor: S. Domnguez

45

Visin por computador

Bases de datos
De imgenes o vdeos

Autor: S. Domnguez

46

Visin por computador

Aplicaciones mdicas

Autor: S. Domnguez

47

Visin por computador

Percepcin remota
Percepcin remota
Clasificacin de cultivos Monitorizacin de recursos naturales Control de incendios e inundaciones Cartografa Control urbano Estudio del clima Espionaje militar Control militar

Autor: S. Domnguez

48

Visin por computador

Sumario
Conceptos bsicos Aplicaciones de VC Visin humana
Sistema visual humano Caractersticas del SVH Humano vs. computador

Autor: S. Domnguez

49

Visin por computador

Sistema visual humano

El ojo humano

Autor: S. Domnguez

50

Visin por computador

Sistema visual humano

Formacin de la imagen

Modelo pin-hole

Autor: S. Domnguez

51

Visin por computador

Sistema visual humano

La retina
Es la pelcula del ojo Convierte estmulos luminosos en seales elctricas que se envan al cerebro a travs del nervio ptico Los lados de la retina son responsables de la visin perifrica El rea central, llamada mcula, se usa para la visin detallada y la percepcin del color
Dentro de la mcula est la fvea (~1.5 mm), responsable de la mayor agudeza visual

Autor: S. Domnguez

52

Visin por computador

Sistema visual humano

La retina

Autor: S. Domnguez

53

Visin por computador

Sistema visual humano

Los fotorreceptores en la retina son de dos tipos
Conos
Presentan baja sensibilidad Son responsables de la visin diurna Perciben el color Visin fotpica
Es la visin que permite, en condiciones normales de iluminacin, la correcta interpretacin del color por el ojo

Autor: S. Domnguez

54

Visin por computador

Sistema visual humano

Hay unos 6 millones de conos en el ojo humano
Se distribuyen por toda la retina
La fvea contiene slo conos A medida que nos alejamos su densidad disminuye En la periferia de la retina casi no hay

Se conectan uno a uno con terminaciones nerviosas

Se reproducen los estmulos individuales Permite distinguir pequeos detalles

Existen conos de tres tipos

Pequeos, medianos y grandes (S, M, L) Se corresponden con la percepcin de rojo, verde y azul

Autor: S. Domnguez

55

Visin por computador

Sistema visual humano

Sensibilidad de los tres tipos de conos

Autor: S. Domnguez

56

Visin por computador

Sistema visual humano

Bastones
Presentan alta sensibilidad (500x conos) Son responsables de la visin con baja iluminacin Visin escotpica
La visin escotpica es aquella percepcin visual que se produce principalmente con los bastones

Visin mespica
La visin mespica es una visin intermedia (intermedia entre la fotpica y la escotpica) que se da en situaciones de iluminacin, que sin llegar a la oscuridad total, tampoco llegan a ser la luz de un da a pleno sol

Autor: S. Domnguez

57

Visin por computador

Sistema visual humano

Hay unos 120 millones de bastones en el ojo humano
Al haber slo un tipo de conos no permite la percepcin de color
visin monocromtica

No hay casi conos en la fvea

visin perifrica
De noche se ve mejor por el rabillo del ojo

Se conectan varios a una terminacin nerviosa

bajo detalle en la percepcin

Autor: S. Domnguez

58

Visin por computador

Sistema visual humano

Conos y bastones Fvea

Retina

Autor: S. Domnguez

59

Visin por computador

Sistema visual humano

Distribucin de conos y bastones en la retina
En la mcula

Conos
Autor: S. Domnguez

Bastones

60

Visin por computador

Sistema visual humano

En la retina

Conos
Autor: S. Domnguez

Bastones
61

Visin por computador

Sistema visual humano

Densidad de conos y bastones en el ojo

Autor: S. Domnguez

62

Visin por computador

Sistema visual humano

Agudeza visual
Viene dada por la distancia de los conos en la fvea
2 . . . 2.3m 25 . . . 29sec

Autor: S. Domnguez

63

Visin por computador

Sistema visual humano

Transmisin de la seal

Autor: S. Domnguez

64

Visin por computador

Sumario
Conceptos bsicos Aplicaciones de VC Visin humana
Sistema visual humano Caractersticas del SVH Humano vs. computador

Autor: S. Domnguez

65

Visin por computador

Caractersticas del sistema visual humano

La visin es...
Aparentemente simple Engaosa Computacionalmente costosa Crtica en muchas aplicaciones

Autor: S. Domnguez

66

Visin por computador

Caractersticas del sistema visual humano

Aparentemente simple
Vemos sin esfuerzo
parece ms sencillo que pensar
todos vemos slo unos pocos juegan bien al ajedrez

utilizamos alrededor del 70% del cerebro para ver

Todas las criaturas ven

aunque no todas ven igual

Autor: S. Domnguez

67

Visin por computador

Caractersticas del sistema visual humano

La visin es engaosa
es inmediata percibimos el mundo visual como algo externo
pero es una reconstruccin en nuestros cerebros

pensamos que vemos el mundo tal como es pero la visin humana:

est sujeta a ilusiones es cuantitativamente imprecisa se limita a un reducido margen de longitudes de onda es pasiva

Autor: S. Domnguez

68

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Poggendorf

Autor: S. Domnguez

69

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Poggendorf

Autor: S. Domnguez

69

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Muller-Lyer

Autor: S. Domnguez

70

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Muller-Lyer

Autor: S. Domnguez

70

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Muller-Lyer

Autor: S. Domnguez

70

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Muller-Lyer

Autor: S. Domnguez

70

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Zllner

Autor: S. Domnguez

71

Visin por computador

Caractersticas del sistema visual humano

Ilusin de Ponzo

Autor: S. Domnguez

72

Visin por computador

Caractersticas del sistema visual humano

La ilusin lunar

Autor: S. Domnguez

73

Visin por computador

Caractersticas del sistema visual humano

La ilusin del muro del caf

Autor: S. Domnguez

74

Visin por computador

Caractersticas del sistema visual humano

La espiral de Fraser

Autor: S. Domnguez

75

Visin por computador

Caractersticas del sistema visual humano

La espiral de Fraser

Autor: S. Domnguez

75

Visin por computador

Caractersticas del sistema visual humano

Las serpientes giratorias

Autor: S. Domnguez

76

Visin por computador

Caractersticas del sistema visual humano

Ambigedad

Autor: S. Domnguez

77

Visin por computador

Caractersticas del sistema visual humano

Contar los puntos negros entre cuadrados

Autor: S. Domnguez

78

Visin por computador

Caractersticas del sistema visual humano

Ilusin fotomtrica

Autor: S. Domnguez

79

Visin por computador

Caractersticas del sistema visual humano

Ilusin fotomtrica

Autor: S. Domnguez

79

Visin por computador

Caractersticas del sistema visual humano

Ilusin de camuflaje

Autor: S. Domnguez

80

Visin por computador

Caractersticas del sistema visual humano

La ilusin de la cara hueca

Autor: S. Domnguez

81

Visin por computador

Caractersticas del sistema visual humano

La ilusin del dragn

Autor: S. Domnguez

82

Visin por computador

Caractersticas del sistema visual humano

La ilusin del dragn

Autor: S. Domnguez

82

Visin por computador

Caractersticas del sistema visual humano

Probabilidad
Estamos ms acostumbrados a que la iluminacin proceda de arriba

Autor: S. Domnguez

83

Visin por computador

Caractersticas del sistema visual humano

Saliencia

Autor: S. Domnguez

84

Visin por computador

Caractersticas del sistema visual humano

Saliencia

Autor: S. Domnguez

84

Visin por computador

Caractersticas del sistema visual humano

Ceguera ante cambios
Errores de racord

Ceguera inatencional
http://viscog.beckman.uiuc.edu/grafs/demos/15.html

Autor: S. Domnguez

85

Visin por computador

Caractersticas del sistema visual humano

Reconocimiento 3D
Perspectiva Oclusin Gradiente de textura Estereoscopa Movimiento

Autor: S. Domnguez

86

Visin por computador

Caractersticas del sistema visual humano

Perspectiva

Autor: S. Domnguez

87

Visin por computador

Caractersticas del sistema visual humano

Se puede engaar...

Autor: S. Domnguez

88

Visin por computador

Caractersticas del sistema visual humano

Se puede engaar...

Punto de observacin

Autor: S. Domnguez

88

Visin por computador

Caractersticas del sistema visual humano

Oclusin

Autor: S. Domnguez

89

Visin por computador

Caractersticas del sistema visual humano

Oclusin

Autor: S. Domnguez

89

Visin por computador

Caractersticas del sistema visual humano

Gradiente de textura

Autor: S. Domnguez

90

Visin por computador

Sumario
Conceptos bsicos Aplicaciones de VC Visin humana
Sistema visual humano Caractersticas del SVH Humano vs. computador

Autor: S. Domnguez

91

Visin por computador

Humano vs. computador

Sistema Humano
Mejor capacidad de reconocimiento Mejor adaptacin a situaciones imprevistas Utilizacin de conocimiento previo

Sistema Artificial
Mejor evaluacin de magnitudes fsicas Buen desempeo de tareas rutinarias

Autor: S. Domnguez

92