27
Control visual de robots con cambios temporales de
visibilidad en las caracterı́sticas de la imagen
N. Garcı́a-Aracil,J.M. Sabater, J.M. Azorı́n, R. Saltarén, Miembro, IEEE,
C. Pérez, Universidad Miguel Hernández,Elche,España
Abstract— En este artı́culo se presenta una solución novedosa
y original a la restricción de visibilidad que en los últimos años es
uno de los tópicos más importantes en el campo de los sistemas
de control visual de robots. La solución propuesta se basa en
la aceptacin de los cambios de visibilidad de las caracterı́sticas
durante la ejecución de la tarea de control frente a las soluciones
propuestas hasta la fecha que se basan en la restricción de los
movimientos de la cámara con el objetivo de evitar la salida de
las caracterı́sticas del campo de visión de la misma.
La solución propuesta se aplica con posterioridad a un novedoso
sistema de control visual invariante respecto a los cambios en los
parámetros intrı́nsecos de la cámara mediante su reformulación.
Index Terms— Visión por computador, control visual de robots,
robótica, restricción de visibilidad, continuidad, robustez.
I. I NTRODUCCI ÓN
El control visual de robots ha sido investigado profunda-
mente en las tres últimas décadas [1], [2]. En los últimos años,
el problema de la visibilidad de las caracterı́sticas durante el
control ha sido uno de los tópicos más importantes en este
campo. La restricción de visibilidad se podrı́a enunciar como:
un mı́nimo de caracterı́sticas visuales deben permanecer en
el campo de visión de la cámara durante el control [3], [4].
La investigación sobre este tópico se concentra en desarrollar
técnicas de control visual capaces de mantener el objeto dentro
del campo de visión de la cámara. De entre las técnicas
presentadas durante los últimos años cabe destacar dos aprox-
imaciones realmente originales: la primera de ellas se basa en
la planificación de trayectorias en el plano de la imagen [5],
[6] y la segunda ellas se basa en utilizar el zoom de la cámara
para evitar la perdida de caracterı́sticas en la imagen [7].
Contrariamente a las dos soluciones, presentadas en el
párrafo anterior, la idea novedosa propuesta en este artı́culo
para abordar la restricción de visibilidad es permitir la de-
saparición temporal de las caracterı́sticas durante la ejecución
Este trabajo ha sido cofinanciado por la Generalitat Valenciana mediante
el proyecto GV05-192 ”Desarrollo de Técnicas Avanzadas de Realimentación
Sensorial aplicadas a Ciruga Asistida por Robots” y por el Ministerio de
Educación y Ciencia a través de la ’Comisión Interministerial de Ciencia
y Tecnologa’(CICyT) mediante el proyecto ”Técnicas avanzadas de teleop-
eración y realimentacin sensorial aplicadas a la cirugı́a asistida por robots”
DPI2005-08203-C02-02
Nicolás M. Garcı́a Aracil, José Marı́a Azorı́n Poveda, José Marı́a Sabater
Navarro y Carlos Pérez Vidal pertenecen al Departamento de Ingenierı́a
de Sistemas Industriales de la Universidad Miguel Hernández de Elche.
Av. de la Universidad s/n 03202 Elche(Alicante), España. Tel: +34-
966658592; Fax: +34-966658979; email:{nicolas.garcia, jm.azorin, j.sabater,
carlos.perez}@umh.es
Roque Saltarén Pazmiño pertenece al Departamento de Automática, Ingenierı́a
Electrónica e Informática Industrial de la Escuela Técnica Superior de
Ingenieros Industriales de la Universidad Politécnica de Madrid, España.
de la tarea de control (Figura 1). Antes de llevar a la práctica
la idea de permitir la desaparicin y reaparicin temporal de car-
acterı́sticas en la imagen durante el control, hay que plantearse
qué efecto produce esta estrategia. Como el control visual
basado en caracterı́sticas de la imagen se define en el espacio
de la imagen, el efecto producido por la prdida y recuperación
de caracterı́sticas es el de producir una discontinuidad en la ley
de control. Dependiendo de la magnitud de la discontinuidad
se producirán o no movimientos no deseados en la cámara o
en el robot.
Imágenes adquiridas por la cámara en distintos instantes de muestreo
2 6
1 6 6
7
5 8 7 2 7
1
4 3
2 8 5
3
8
1 4
5 3
4
Imagen en T0 Imagen en TK Imagen en TK+N
Fig. 1. Desaparición temporal de caracterı́sticas
En este artı́culo se introduce una nueva formulación de
control visual que tiene en cuenta la posible aparición o
desaparición de las caracterı́sticas de la imagen. Aunque es
aplicable a todas las aproximaciones basadas en caracterı́sticas
de la imagen, se ha escogido el control visual en el espacio
invariante debido a su versatilidad. El control visual invariante
fue presentado por el Dr. E. Malis en [12] y se basa en
realizar el control en base a las proyecciones de los puntos
caracterı́sticos de la imagen en un espacio proyectivo que es
invariante respecto a los parámetros intrı́nsecos de la cámara.
Por lo tanto, este tipo de control permite, por ejemplo, variar
el zoom de la cámara durante el control o bien que el control
sea igual de preciso aunque se modifiquen los parámetros
intrı́nsecos de la cámara por cualquier motivo.
II. E L P ROBLEMA DE LA A PARICI ÓN O P ÉRDIDA DE
C ARACTER ÍSTICAS EN LA I MAGEN
El objetivo del control visual basado en caracterı́sticas de
la imagen es posicionar una cámara respecto a un objeto, ya
sea un objeto fijo o móvil. Esto se consigue haciendo que un
vector de caracterı́sticas de la imagen s(ξ) = (s1 , s2 , · · · , sn ),
siendo ξ = (t, r) un vector (6×1) que contiene la posición
y orientación del sistema de referencia asociado a la cámara
F, converja a un vector de caracterı́sticas de la imagen de
referencia s∗ (ξ ∗ ) = (s∗1 , s∗2 , · · · , s∗n ), aprendidas normalmente
durante un paso previo al control.
 28

Para llevar a buen término este objetivo, se define una
función de la tarea (task function approach [13]) asociada a
un sistema formado por una cámara y un robot. Toda función
de la tarea vendrá dada por una función de salida que en este
caso consiste en una función de error e definida en el espacio
de caracterı́sticas de la imagen:

+ (s − s∗ )
e=L
no deseados en la posición y orientación de la cámara. En la
Figura 4 (a), se puede apreciar un cambio brusco en la posición
de la cámara debido a las discontinuidades producidas en la
ley de control. Aunque se produce un cambio de orientación
de la cámara, ste no es apreciable debido a su pequea magnitud
(Figura 4 (b)).
(1) 0.1 0.1

y un objetivo de control que será la regulación de la señal de 0.05

0
0.05

v
salida e para que en un determinado intervalo de tiempo se −0.05 0

anule. Donde L
+ es la pseudoinversa de la matriz de interaccin −0.1

−0.05
−0.15

[1], s el vector de caracterı́sticas actuales y s∗ el vector de −0.1

ω
−0.2

caracterı́sticas referencia. −0.25

−0.3
vx −0.15
ω
x

El decrecimiento exponencial de la función de la tarea e se −0.35

v
v
y −0.2
ωy
ωz
z
consigue mediante la definición de una sencilla ley de control: −0.4
0 87 200 300 400 500
Iteraciones
600 700 800 900 1000
−0.25
0 87 200 300 400
Iteraciones
500 600 700 800 900 1000

v = −λ e
+ (s − s∗ )
siendo e = L (2) (a) (b)

donde λ es una constante proporcional definida positiva direc- Fig. 3. Discontinuidades en la ley control cuando algunas caracterı́sticas
tamente relacionada con la velocidad de convergencia. desaparecen del campo de visión de la cámara. Las velocidades de traslación
(a) y rotación (b) de la cámara están medidas en m y deg respectivamente
Supongamos que durante la tarea de control una o más s s

caracterı́sticas salen del plano de la imagen o aparecen en

el mismo debido por ejemplo a la trayectoria que sigue la
cámara en el espacio. En estos casos, como se muestra en
0.25 0.18
t
tx t
x
0.16
y
t
la Figura 2, habrá que eliminar del vector de caracterı́sticas
0.2 t
y z
tz 0.14

actuales s y del de referencia s∗ las caracterı́sticas que hayan

0.15
0.12

0.1
desaparecido de la imagen o bien en el caso de que aparezcan 0.1

t
0.05 0.08

nuevas caracterı́sticas en la imagen habrá que añadirlas tanto 0.06

0

en el vector de caracterı́sticas actuales s como en el de las

t

0.04

de referencia s∗ . Debido a esta variación en las caracterı́sticas

−0.05
0.02

−0.1

actuales y en las de referencia se produce una discontinuidad

0
0 200 400 600 800 1000 0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150
Iteraciones Iterations number

de salto finito en la ley de control (2). La magnitud de (a) Error de posición (b) Detalle (Error posición)
la discontinuidad depende del número de caracterı́sticas que 18

aparecen o desaparecen del plano de la imagen al mismo uθ

11.5

uθ x
uθ
16 x y
uθ uθ
tiempo, de la distancia entre las caracterı́sticas actuales y las
11
14 y z
uθ
z
12
de referencia y de la pseudoinversa de la matriz de interacción
10.5

10

L+ .
10
uθ

8
uθ

6 9.5

4
9

2
8.5
0

−2 8
0 200 400 600 800 1000

sn+1
50 60 70 80 90 100 110
Iteraciones Iterations number

(c) Error de orientacón (d) Detalle (Error orientacón)

sj
Fig. 4. Errores de posición y orientación de la cámara. Están medidos en
m y deg respectivamente

Plano de la imagen Plano de la imagen

III. C ONTROL V ISUAL EN EL E SPACIO I NVARIANTE

T T En este punto se presentan los conceptos básicos de un
s = (s1 , . . . , sj , …. sn) s = (s1 , . . . sn , sn + 1 ) esquema de control visual que es invariante respecto a las
* * * * T * * * * T
s = (s 1 , . . . , s j , …. s n) s = (s 1 , . . s n , s n + 1 ) posibles variaciones de los parámetros intrı́nsecos de la cámara
Eliminar Añadir [12].
Supongamos n puntos caracterı́sticos del objeto. Su
Fig. 2. Efectos en los vectores de caracterı́sticas debido a la aparición o proyección perspectiva en el plano de la imagen será pi =
desaparición de las mismas durante el control. (ui , vi , 1) en pixels y mi = (xi , yi , 1) sus coordenadas
normalizadas en metros. Con los n puntos se puede calcular
Se puede apreciar en la Figura 3 la discontinuidad que las siguientes matrices (3×3) simétricas:
presenta la ley de control debido a estos fenómenos de cambio n n
de visibilidad. visión de la cámara. Dependiendo de la mag- 1 1
Sp = pi p
i y Sm = mi m
i (3)
nitud de la discontinuidad se pueden o no producir cambios n n
i=1 i=1
 29

Como pi = K mi = (ui , vi , 1), la matriz Sp puede ponerse
en función de Sm y de los parámetros intrı́nsecos de la cámara
K: Sp = K Sm K . Si los puntos son no colineales y n >
3, las matrices Sp y Sm son definidas positivas y pueden
descomponerse utilizando la descomposición de Cholesky en:
Sp = Tp T 
p y Sm = Tm Tm . De estas ecuaciones se
puede obtener la relación: Tp = K Tm
La matriz Tp al igual que la matriz Tm definen un trans-
formación proyectiva al nuevo espacio proyectivo Q. Podemos
ahora, por tanto, calcular los vectores qi ∈ Q mediante la
expresin qi = Tp −1 pi partiendo de los puntos de la imagen,
o bien mediante la expresin qi = Tm −1 mi si se conoce el
modelo del objeto y la posición/orientación deseada. Estas
ecuaciones definen el mismo punto en el espacio proyec-
en la cámara. La segunda será contestada a lo largo de esta
sección pero la idea fundamental es anticipar mediante los
pesos, las caracterı́sticas que son potencialmente más proclives
a desaparecer o a aparecer en el plano de la imagen.
La idea clave de esta formulación es asociar a cada carac-
terı́stica (puntos, lı́neas, momentos, etc) un peso que puede
ser función de las coordenadas de la imagen (u,v) y/o de la
distancia a un objeto que pueda ocluir el objeto de referencia,
etc. En esta sección se utilizará una función de pesos que
depende de la posición de la caracterı́stica en la imagen (u,v).
Denominando γy al peso asociado a una caracterı́stica, se ha
utilizado la siguiente función para obtener su valor:

(x−xmed )2n
γy (x) = − m
e (x−xmin ) (xmax −x)
m
xmin < x < xmax

tivo Q, como se demuestra en la siguiente ecuación:qi = 0 x = {xmin , xmax }

T−1p pi = Tm K
−1 −1
Kmi = T−1 m mi . Por tanto, el nuevo La función γy (x) es una función simétrica respecto a xmed =
espacio proyectivo Q es independiente de los parámetros xmin +xmax
y con forma de campana. Con los parámetros n,
2
intrı́nsecos de la cámara (T−1 m y mi no dependen de los m se puede controlar la forma de la función(Figure 5). En la
parámetros intrı́nsecos de la cámara). De igual forma que en el Figura se muestra también la representación gráfica de γuv
i
en
control visual clásico basado en caracterı́sticas de la imagen, la cual se puede observar que los pesos tienden a cero cerca
el control de la cámara se consigue introduciendo todos los del borde de la imagen mientras que tienden a 1 cerca del
puntos de referencia del espacio invariante Q en un vector centro de la imagen.
s∗ (ξ ∗ ) = (q∗1 , q∗2 , · · · , q∗n ) de dimensión (3n×1). De la misma
manera, los puntos caracterı́sticos en la posición/orientación
actual del sistema de referencia de la cámara son introducidos 1

en un vector s(ξ) = (q1 , q2 , · · · , qn ) de dimensión (3n×1). 1 0.8

Si s(ξ) = s∗ (ξ ∗ ) entonces ξ = ξ∗ y por tanto la cámara estará

0.6
0.8 γiuv
0.4

en la posición de referencia independientemente del valor de 0.6

γy(x)

0.2
n=m=1

los parámetros intrı́nsecos de la cámara. 0.4

n=m=2
n=m=3 0
500

+ (s − s∗ )) y
n=m=4

La ley de control utilizada es (v = −λ L

n=m=5 400 500
0.2 n=m=6 300 400
200 300

las prestaciones del sistema de control están estrechamente

200
v (pixels) 100
100
0 0 0
0 50 100 150 200 250 300 350 400 450 500
Pixels u (pixels)
relacionadas con la estimación de la matriz de interacción
L que depende de los puntos normalizados mi (ξ) ∈ M Fig. 5. Representación de las funciones de peso
calculados en cada instante de tiempo a partir de los puntos
de la imagen mediante la expresión mi = K−1 pi , de los
puntos en el espacio invariante qi (ξ) ∈ Q y de la dis-
B. Definición de una Función de la Tarea Continua
tribución de profundidades en cada instante de tiempo z(ξ) =
(Z1 , Z2 , ..., Zn ). Su cálculo detallado se puede consultar en Supongamos que disponemos de n puntos de corresponden-
[9]. cia entre la imagen real y la imagen de referencia. Cada uno de
estos puntos tendrá asociado un peso total γuv
i
cuya magnitud
IV. S OLUCI ÓN DE LAS S INGULARIDADES se obtiene como se ha mostrado en la Sección IV-A. Con los
n puntos de correspondencia y sus correspondientes pesos se
En esta sección se presenta una solución que anticipa la
construye la siguiente función de tarea:
pérdida e incorporación de caracterı́sticas en el plano de la
imagen mediante la inclusión de funciones de peso con el e = CW (s − s∗ (t)) (4)
objetivo de suavizar las discontinuidades producidas por este
fenómeno [10]. donde W es una matriz diagonal (2n × 2n) cuyos elementos
son los pesos totales γuv
i
y C es una matriz de dimensión
(2n × 6) denominada matriz de combinación.
A. Caracterı́sticas Ponderadas
La derivada de la función de la tarea será:
Al leer el tı́tulo de esta sección, se produce una pregunta casi
instintiva: ¿Qué se entiende por caracterı́sticas ponderadas?. ė = CW (ṡ − ṡ∗ ) + (CẆ + ĊW)(s − s∗ ) (5)
La contestación a esta pregunta es fácil: Son caracterı́sticas
visuales pre-multiplicadas por un peso. Ms difcil es hacer Sustituyendo ṡ = L v en (5), obtenemos:
entender que se pretende conseguir y para que se utilizan. ė = CW Lv − CWṡ∗ + (CẆ + ĊW)(s − s∗ ) (6)
Bien, la primera cuestión ha sido contestada a lo largo de
la introducción de esta sección y se puede resumir en una La ley de control se puede obtener imponiendo la convergencia
idea básica: evitar que se produzcan discontinuidades en la ley exponencial de la función de la tarea a cero (ė = −λe), donde
de control que puedan dar lugar a movimientos no deseados λ es un escalar positivo que permite ajustar la velocidad de
 30

convergencia. Sustituyendo ė por su expresión obtenida en la
ecuación (6), se obtiene la expresión de la ley de control v:
CWLv − CWṡ∗ + (CẆ + ĊW)(s − s∗ ) = −λe
v = −λ (CWL)−1 e + (CWL)−1 CWṡ∗ +
+ (CWL)−1 (CẆ + ĊW) (s − s∗ )
Ya que los pesos asociados a las caracterı́sticas varı́an muy
lentamente se puede considerar que la derivada de la matriz
W es aproximadamente nula (Ẇ ≈ 0). Si a la matriz C le
damos el valor (W∗ L∗ )+ , entonces (CWL) > 0 y la función
de la tarea definida converge a cero resultando que, en ausencia
de mı́nimos locales y singularidades, el error de caracterı́sticas
de la imagen s − s∗ tambin converge a cero. En este caso C
es constante y por tanto Ċ = 0. Tomando en consideración
estas suposiciones , la ley de control que permitirı́a controlar
el movimiento de la cámara vendrı́a dada por:
v = −λ (CWL)−1 e + (CWL)−1 CWṡ∗
C. Control Visual Invariante con Caracterı́sticas Ponderadas
Las bases teóricas del control visual en el espacio invariante
se han introducido en la Sección III. En este punto se va
a reformular el control visual en el espacio invariante para
que pueda ser utilizado con las caracterı́sticas ponderadas
propuestas en este artı́culo.
En la nueva formulación propuesta cada caracterı́stica de la
imagen pi es multiplicada por su propio peso γi (pγi i = γi pi ).
Hay que tener presente que γi no es el mismo peso total γuv i
De forma similar a cmo se procedi en la seccin 3, se tiene
que si los puntos son no colineales, se cumple la restricción
indicada anteriormente mediante la redistribución de pesos (9)
y n > 3, entonces Sγpi y Sγmi son matrices definidas positivas
y pueden ser expresadas, utilizando la descomposición de
Cholesky, como: Sγpi = Tγpi Tγpi  y Sγmi = Tγmi Tγmi 
(7) Como pi = K mi = (ui , vi , 1), la matriz Sγpi puede ponerse
en función de Sγmi y de los parámetros intrı́nsecos de la cámara
K:Sγpi = K Sγmi K . De estas ecuaciones se puede obtener
la relacin: Tγp = K Tγm La matriz Tγp al igual que la matriz
Tγm definen un transformación proyectiva al nuevo espacio
proyectivo Qγ . Podemos ahora por tanto calcular los vectores
qi ∈ Qγ a partir de los puntos de la imagen según la siguiente
transformación: qi = Tγp −1 pi o si se conoce el modelo del
objeto y la posición/orientación deseada:qi = Tγm −1 mi . Estas
ecuaciones definen el mismo punto en el espacio proyectivo
Qγi . Sin embargo, al contrario de lo que sucede en el control
visual en el espacio invariante comentado ampliamente en
(8) la Sección III, los vectores qi no son independientes de los
parámetros intrı́nsecos de la cámara debido a que Tγp y Tγm
dependen de los pesos redistribuidos γi . A su vez, los pesos
redistribuidos γi dependen directamente de los pesos totales
γuv
i
asociados a cada caracterı́stica de la imagen los cuales se
calculan en función de la posición de la caracterı́stica en la
imagen. Por lo tanto γuv i
varı́a en función de los parámetros
intrı́nsecos de la cámara. No obstante el esquema de control
que se propone en este punto permite dirigir la cámara a la
posición de referencia aunque los parámetros intrı́nsecos de la
cámara varı́en durante el control.

que se introdujo con anterioridad sino que se denominará peso

redistribuido y será introducido a lo largo de esta sección. D. Esquema de Control Propuesto
Supongamos n puntos caracterı́sticos visibles del objeto. Con Supongamos que en un paso previo (off-line), una imagen
los puntos caracterı́sticos proyectados en la imagen con coor- de referencia de la escena, correspondiente con la posición
denadas pi = (ui , vi , 1) y sus pesos γi podemos calcular la de referencia ξ∗ , se ha adquirido y se han calculado las
siguiente matriz (3×3) simétrica: caracterı́sticas p∗i . Una vez llevado a cabo este paso la cámara
1 1  γi γi  se sitúa en una posición/orientación ξ donde se adquiere una
n n
Sγpi = γi pi γi p
i = p p nueva imagen y se obtienen las caracterı́sticas pi que van a ser
n i=1 n i=1 i i
calculadas en cada iteración. Basándose en las caracterı́sticas
Esta ecuación se puede expresar en forma matricial: actuales pi se obtienen los pesos totales γuv i
asociados a
⎡ n ⎤ cada una de dichas caracterı́sticas. Con estos pesos γuv i
se
 n
n

⎢
2 2
γi ui
2
γi ui vi
2
γi ui
⎥ redistribuyen mediante (9) obteniendo los pesos γi . Con los
⎢ i=1 ⎥ pesos redistribuidos se obtienen las caracterı́sticas actuales
⎢  i=1

i=1
 ⎥
1 ⎢ n n n
⎥ ∗
y de referencia ponderadas pγi i , pγi i pre-multiplicando las
Sγpi = ⎢ ⎢
2
γi ui vi
2 2
γi vi γi vi ⎥
2
⎥
n ⎢ i=1 ⎥ caracterı́sticas por el peso γi y por último, se calculan qi y q∗i .
⎢  n
i=1
n
i=1
n ⎥ Hay que destacar que como q∗i se calcula en cada instante de
⎣ 2 2 2 ⎦
muestreo, (q∗i (t)), y por tanto en el diseño de la ley de control
γ u i γ iv γ i i i

i=1 i=1 i=1

y de forma anloga a la
mostrada, se podra expresar como Sγmi . esquema de control propuesto considerando la utilización de
En esta ecuación, γi 2 debe ser igual a n para que una
vez descompuestas mediante la descomposición de Cholesky
permitan definir un nuevo espacio proyectivo. El imponer
esta condición supone la redistribución de los pesos totales
asociados a cada caracterı́stica γuvi
mediante la siguiente
ecuación: 
hay que introducir la derivada de q∗i respecto del tiempo. El
caracterı́sticas ponderadas se muestra en la Figura 6.
De igual forma que en el control visual en el espacio invari-
ante clásico, el control de la cámara se consigue introduciendo
todos los puntos de referencia del espacio proyectivo ponder-
ado Qγi en un vector s∗ (ξ ∗ ) = (q∗1 , q∗2 , · · · , q∗n ) de dimensión
(3n×1). De la misma manera, los puntos caracterı́sticos en
 n i
γi = 
 n · γuv (9) la posición orientación actual del sistema de referencia de la

i
(γ ) 2 cámara son introducidos en un vector s(ξ) = (q1 , q2 , · · · , qn )
uv
i=1 de dimensión (3n×1). Si s(ξ) = s∗ (ξ ∗ ) entonces ξ = ξ∗
 31
0.05 0.05

y por tanto la cámara estará en la posición de referencia 0 0

independientemente del valor de los parámetros intrı́nsecos de −0.05 −0.05

la cámara. −0.1 −0.1

−0.15 −0.15

ω
v
Imagen Referencia −0.2 −0.2

Zoom-in Modelo del Objeto −0.25 vx −0.25 ωx

v
y
ωy
−0.3 −0.3
v
z
ω
z
−0.35 −0.35
0 200 400 600 800 1000 0 200 400 600 800 1000
Iteraciones Iteraciones

Extracción
Calculo
Fig. 7. Ley de control continua cuando algunas caracterı́sticas desaparecen
Caract.
Profundidad Amplificadores Zoom del campo de visión de la cámara. Las velocidades de traslación (a) y rotación
q*( t ) de potencia
(b) de la cámara están medidas en m s
y deg
s
respectivamente
Transfor. Control Controlador
Espacio del Robot articulaciones
Invariante

gi q tx 0.25
t
y tx
t
z ty
0.2
0.2
tz
Calculo
Transfor.
Pesos
Espacio 0.15
Invariante giuv gi

t
1
0.1
0.8

i 0.6
g

Imagen
uv
0.4

0.2
Características 0
0

0.05
500
400 500
300 400
200 300
200
v (pixels) 100
100
0 0
u (pixels)

0 100 200 300 400 500 600 700 800 900 1000 0
0 50 100 150
Iterations number
Fig. 6. Control visual en el espacio invariante con caracterı́sticas ponderadas: Iteraciones

Esquema de Control (a) Error de posición (b) Detalle (Error posición)

16 16
uθ
x
uyθ
uθ
Para controlar el movimiento de la cámara, se utilizará la x
14
14
uθ uθ
12 z y
uzθ
siguiente ley de control basada en la definición de la función 10
12

10
de la tarea continua (4) y en la ecuación (8): 8

uθ
8
uθ

v = −λ (WL)+ W (s − s∗ (t)) + (WL)+ Wṡ∗ (10)

4
6

2
4

donde s∗ (t) (q∗1 (t), q∗2 (t), · · · , q∗n (t)) y s

0

= = −2
2

(q1 , q2 , · · · , qn ) son las caracterı́sticas actuales evaluadas en −4

0 100 200 300 400 500

Iterations number
600 700 800 900 1000
0
0 10 20 30 40 50 60 70
Iteraciones
80 90 100 110 120 130 140 150

cada instante de muestreo. Con esta ley de control el sistema

(c) Error de orientación (d) Detalle (Error orientación)
es localmente estable como se demuestra en [9], [11].
Como se ha comentado con anterioridad, las prestaciones Fig. 8. Errores de posición y orientación de la cámara. Están medidos en
del sistemas de control están estrechamente relacionadas con m y deg respectivamente
la estimación de la matriz de interacción L que depende de los
puntos normalizados mi (ξ) ∈ M calculados en cada instante
de tiempo a partir de los puntos de la imagen mediante la V. R ESULTADOS E XPERIMENTALES
expresión mi = K−1 pi , de los puntos qi (ξ) en el espacio En los experimentos se ha considerado un sistema formado
proyectivo Qγ , de la distribución de profundidades en cada por un robot y una microcámara, unida rı́gidamente a la pinza
instante de tiempo z(ξ) = (Z1 , Z2 , ..., Zn ) y de los pesos del robot. Al extremo del robot se le aplica constantemente
redistribuidos γi . Su cálculo detallado se puede consultar en una perturbación senoidal decreciente diseñada de forma que
[9]. las caracterı́sticas salgan del campo de visión de la cámara.
El objetivo del control es mantener la posición inicial de
E. Demostración de la Continuidad del Control referencia a pesar de que el extremo del robot está afectado
por dicha perturbación en su posición.
En las Figuras 3 y 4 en la Sección II, se muestran los En los resultados presentados se va a comparar la utilización
efectos de la pérdida de caracterı́sticas en la imagen sobre la de las aproximaciones de control visual clásicas frente a la
continuidad de la ley de control y los movimientos no deseados estrategia propuesta en este capı́tulo, que utiliza caracterı́sticas
de la cámara que pueden causar estas discontinuidades. En ponderadas. En las siguientes secciones se presentarán los
las Figuras 7 y 8, se muestran las mismas variables que las resultados obtenidos en los experimentos: en primer lugar
mostradas en las Figuras 3 y 4 pero una vez aplicado el control cuando la matriz de interacción L permanece constante durante
visual en espacio invariante con caracterı́sticas ponderadas el control y en segundo lugar cuando la matriz de interacción
presentado en esta sección. Como puede observarse en la L es actualizada en cada iteración.
Figura 7, la ley de control es continua aunque hay algunas
caracterı́sticas que salen fuera del plano de la imagen durante
el control. Evitando las discontinuidades en la ley de control A. Matriz de Interacción Constante
también se evita el movimiento brusco de la cámara reflejado En esta sección, se presentan los resultados obtenidos
en la Figura 4 (a) y que en la Figura 8 no se produce. utilizando durante el control una estimación constante de

la matriz de interacción determinada con las caracterı́sticas
visuales y aproximación de sus profundidades calculadas para
la posición de referencia. El objetivo del control es mantener
al robot en su posición de referencia corrigiendo el desplaza-
miento introducido por la perturbación aplicada a la pinza del
robot. Durante la tarea de control una caracterı́stica ((U4 V4 ))
abandona el plano de la imagen como se muestra en el error
de caracterı́sticas representado en la Figura 9 (a). Debido a
la eliminación de la caracterı́stica del vector de caracterı́sticas
actuales y de referencia se produce una discontinuidad en la
ley de control (Figura 9c-d). En la Figura 9 (b), se muestran las
velocidades articulares enviadas al controlador del robot. Los
picos son debidos a las discontinuidades en la ley de control.
Como se puede intuir de los resultados presentados el sistema
es inestable como se muestra en la trayectoria seguida por
el robot (Figura 9 (e))y en dos posiciones del robot en dos
instantes de muestreo distintos presentados en la Figura 9 (f).
En el segundo experimento, el objetivo del control es el
mismo empleando la nueva formulación con caracterı́sticas
ponderadas que evita las discontinuidades producidas en la
ley de control por la prdida de caracterı́sticas en la imagen.
En la Figura 11 (f), se muestran los pesos asociados a cada
caracterı́stica ponderada. De la observación de dicha figura, se
puede deducir que las caracterı́sticas 2, 3 y 4 han abandonado
el plano de la imagen (caracterı́stica 4) o se han encontrado
próximas al borde de la misma (caracterı́sticas 2 y 3) durante
la tarea de control. A pesar de que la caracterı́stica 4 ha
desaparecido del plano de la imagen y se ha vuelto a incorporar
con posterioridad, la ley de control es continua como muestra
la Figura 11c-d. El sistema es estable como se muestra en
la trayectoria seguida por el robot (Figura 11e) y por la
convergencia a cero de las velocidades articulares (Figura
11b). De esta forma quedan demostradas las ventajas que
introduce la utilización de esta nueva aproximación en cuanto
a la continuidad de la ley de control y a la estabilidad del
sistema. Hay que resaltar que en esta ópcion de diseño del
sistema de control, la única forma de asegurar la estabilidad
es utilizar la aproximación propuesta en este artı́culo, como se
demuestra en los resultados experimentales de esta sección.
B. Matriz de Interacción Variable
En esta sección, se presentan los resultados obtenidos
utilizando durante el control una estimación de la matriz
de interacción que será actualizada cada iteración con las
caracterı́sticas visibles y una aproximación de sus profundi-
dades calculadas mediante el algoritmo de DeMenthon [8].
El objetivo del control es mantener al robot en su posición
de referencia corrigiendo el desplazamiento introducido por
la perturbación aplicada a la pinza del robot.Durante la tarea
de control una caracterı́stica ((U4 V4 )) abandona el plano de
la imagen como se muestra en el error de caracterı́sticas
representado en la Figura 10 (a). Debido a la eliminación
de la caracterı́stica de los vectores de caracterı́sticas actuales
y de referencia se produce una discontinuidad en la ley de
control (Figura 10c-d). En la Figura 10 (b), se muestran las
velocidades articulares enviadas al controlador del robot, los
picos producidos en qp4 son debidos a las discontinuidades en
32
la ley de control y a pesar de las discontinuidades el sistema
es estable tendiendo las velocidades articulares a cero.
En el segundo experimento, el objetivo de control es el
mismo pero se emplea la nueva formulación con caracterı́sticas
ponderadas que evita las discontinuidades producidos en la ley
de control por la aparición/desaparición de caracterı́sticas en la
imagen. En la Figura 12 (b), se muestran los pesos asociados
a cada caracterı́stica ponderada. De la observación de la
Figura, se puede deducir que las caracterı́sticas 2, 3 y 4 han
abandonado el plano de la imagen (caracterı́stica 4) o se han
encontrado próximas al borde de la misma (caracterı́sticas 2 y
3) durante la tarea de control. A pesar de que la caracterı́stica
4 ha desaparecido del plano de la imagen y se ha vuelto a
incorporar con posterioridad, la ley de control es continua
como muestra la Figura 12c-d. El sistema es estable como
se muestra por la convergencia a cero de la ley de control
(Figura 12c-d). De esta forma quedan demostradas las ventajas
en cuanto a continuidad y estabilidad proporcionadas por la
aproximación propuesta en este capı́tulo.
VI. C ONCLUSIONES
En este artı́culo se ha presentado la restricción de visibil-
idad que afecta a todas las aproximaciones de control visual
aportadas durante las últimas tres décadas. Dentro de este
contexto se han enunciado los problemas de continuidad que
introducen la permisibilidad respecto a la presencia temporal
de las caracterı́sticas en la imagen en la ley de control.
Se ha presentado y desarrollado una novedosa aproximación
a la solución de la problematica que introducen los cambios de
visibilidad en las caracterı́sticas durante la ejecución de la tarea
de control. Posteriormente se ha aplicado esta formulación al
control visual en el espacio invariante aportando el esquema de
control utilizando caracterı́sticas ponderadas y la presentación
de resultados donde se demuestra la continuidad del sistema.
R EFERENCES
[1] Espiau, B., Chaumette, F. y Rives P., (1992) A new approach to visual
servoing in robotics. IEEE Trans. on Robotics and Automation, 8(3):313–
326
[2] Hutchinson, S., Hager, G. y Corke, P., (1996) A tutorial on visual servo
control. IEEE Trans. on Robotics and Automation, 12(5):651–670
[3] P. I. Corke and S. Hutchinson, “A new partitioned approach to image-
based control,” IEEE Trans. Robotics and Automation, vol. 17, no. 4, pp.
507–515, August 2001.
[4] G. Chesi, K. Hashimoto, D. Prattichizzo, and A. Vicino, “Keeping
features in the camera field of view:a visual servoing strategy,” in 15th Int.
Symp. on Mathematical Theory of Networks and Systems, Notre-Dame,
Indiana, August 2002.
[5] Mezouar, Y. y Chaumette, F., (2002) Path Planning For Robust Image-
based Control, IEEE Trans. on Robotics and Automation,v. 18, 4, 534–549
[6] Y. Mezouar and F. Chaumette, “Optimal camera trajectory with image-
based control,” Int. Journal of Robotics Research, vol. 22, no. 10, pp.
781–804, October 2003.
[7] Benhimane, S. y Malis, E., (2003) Vision-based control with respect to
planar and non-planar objects using a zooming camera, IEEE Interna-
tional Conference on Advanced Robotics, v. 18, 991-996, July, 2003
[8] DeMenthon, D. y Davis, L.S., (1995) Model-Based Object Pose in 25
Lines of Code, International Journal of Computer Vision, v. 15, 123–
141.
[9] Garcı́a, N., (2004) Técnicas avanzadas para el control visual de robots
basadas en caracterı́sticas de la imagen. Aplicación a la solución de
posibles singularidades. Tesis Doctoral. Universidad Miguel Hernández.
((http://lorca.umh.es/isa/es/personal/nicolas.garcia/tesis/tesis.html)
[10] Garcı́a, N. y Malis, E. (2004) Preserving the continuity of visual ser-
voing despite changing image features. In Proc. IEEE/RSJ International
Conference on Intelligent Robots and Systems, Sendai, Japan.
 33

[11] Garcı́a-Aracil, N., Malis, E., Reinoso, O., Aracil, R.(2005) Parame- 250
U1
V1
0.4
qp
1

velocidades articulares (rad/s)

200

ters Selection and Stability Analysis of Invariant Visual Servoing with

U2
V2
0.3 qp
150 U3
2
qp
Weighted Features. In To be published in Proc. IEEE International
V3
U4 0.2 3
100
V4 qp

Image Error (pixels)

4

Conference on Robotics and Automations, Barcelona, Spain. 50

0.1 qp
qp
5
6
[12] Malis, E., (2004) Visual servoing invariant to changes in camera intrinsic
0
0
−50

parameters. IEEE Transaction on Robotics and Automation, 20(1):72-81 −100 −0.1

[13] Samson, C., Le Borgne, M. y Espiau, B., (1990) Robot Control: the Task −150
−0.2

Function Approach, volume 22 of Oxford Engineering Science Series.

−200

−0.3
−250 0 50 100 150 200

Clarendon Press, Oxford, UK.

0 20 40 60 80 100 120 140 160 180 200
Iterations number Iteraciones

(a) Error en la imagen (b) Velocidades articulares

300 2
U1 qp1

velocidades articulares (rad/s)

1.5
200
V1 qp2 0.07 0.1

ωx vx
U2 1 qp 0.06
0.08 vy
3 ω
100
V2 0.5 qp ω
y
vz
Error (pixels)

4 0.04 z 0.06
U qp5
3 0 0.04

0
V3 qp6 0.02

U −0.5 0.02
4
V4 0 0

v
ω
−100 −1
−0.02
−1.5 −0.02
−200 −0.04
−2
−0.04 −0.06

−300 −2.5
0 5 10 15 20 25 30 0 5 10 15 20 25 30 −0.08

Iteraciones Iteraciones −0.06

−0.1
0 20 40 60 80 100 120 140 160 180 200 0 20 40 60 80 100 120 140 160 180 200

(a) Error en la imagen (b) Velocidades articulares Iteraciones Iteraciones

(c) Velocidad Rotacional de la (d) Velocidad Traslacional de

1.2
ωx
0.4
cámara la cámara
1
ω 0.2
y
ω
0.8 z 1
0
0.6
0.9

0.4 −0.2 0.8

0.8

Estable
v

0.2
ω

0.7 0.7
−0.4
0.6
0 0.6
0.5
−0.6
Trayectoria del Robot

uv
−0.2
0.4 Robot 0.5

γi
−0.4 vx 0.3
0.4
−0.8
v 0.2
y
−0.6 0.3
vz 0.1
s
−1 1
0 0.2
−0.8
0 5 10 15 20 25 30
0 5 10 15 20 25 30
0.05
s
2
Iteraciones Iteraciones 0 s
0.7 0.1 3
−0.05
0.5
0.6 s
4
0.4

(c) Velocidad Rotacional de la (d) Velocidad Traslacional de

−0.1 0
0.3 0 20 40 60 80 100 120 140 160 180 200
−0.15 0.2
0.1
−0.2 0 Iteraciones

cámara la cámara
(e) Trayectoria del robot (f) γuv
i

Fig. 11. Resultados experimentales con sistemas industriales: Aproximación

utilizando caracterı́sticas ponderadas con la matriz de interacción constante.

0.8
Inestable

0.7

0.6

0.5 Trayectoria del Robot 1

100
0.4

0.3 0.9
Robot
50
0.2
0.8
0.1
0 0.7
0
U
Feature Weights

0.05
1
Error (pixels)

0 0.8
−50
V1 0.6
−0.05 0.6 U
−0.1 2 0.5
0.4
V
−0.15 0.2 2
−100
−0.2 0
U3 0.4
V
3
−150 U 0.3

(e) Trayectoria del robot (f) Posiciones del robot V4

4

0.2 Feature1
−200 Feature2
0.1 Feature3
Feature4

Fig. 9. Resultados experimentales con sistemas industriales: Aproximación

−250
0 10 20 30 40 50 60 70 80 0
0 10 20 30 40 50 60 70 80
Iteraciones Iterations number

clásica con la matriz de interacción constante.

(a) Error en la imagen (b) i
γuv
0.1 0.05

50 0.7 ωx
qp1 0.08
ω
y
0.6 qp2 ω
0.06 z 0
0 qp3
0.5
velocidades articulares (rad/s)

qp4 0.04
0.4 qp5
−50 qp 0.02 −0.05
0.3
6
Error (pixels)

0
ω

0.2
−100 U1 −0.02 −0.1
V1 0.1
U −0.04
−150 2
V2 0
−0.15
U
−0.06
vx
3 −0.1
V vy
−0.08
−200 3
U v
−0.2 z
4 −0.1 −0.2
V4 0 10 20 30 40 50 60 70 80 0 10 20 30 40 50 60 70 80
−0.3
−250
0 10 20 30 40 50 60 70 80
0 10 20 30 40 50 60 70 80 Iteraciones Iteraciones
Iteraciones Iteraciones

(c) Velocidad Rotacional de la (d) Velocidad Traslacional de

(a) Error en la imagen (b) Velocidades articulares
cámara la cámara
0.1 0.1

0.08
ωx
ω
y 0.05
Fig. 12. Resultados experimentales con sistemas industriales: Aproximación
0.06
ωz

0
utilizando caracterı́sticas ponderadas con la matriz de interacción variable.
0.04

0.02 −0.05
v

0
ω

−0.1
−0.02

−0.04 −0.15

−0.06 v
x
−0.2
v
y
−0.08
v
z
−0.25
−0.1 0 10 20 30 40 50 60 70 80
0 10 20 30 40 50 60 70 80
Iteraciones Iteraciones

(c) Velocidad Rotacional de la (d) Velocidad Traslacional de

cámara la cámara

Fig. 10. Resultados experimentales con sistemas industriales: Aproximación

clásica con la matriz de interacción variable.