You are on page 1of 28

Introducci´ on T´ ecnicas Diferenciales

Optical Flow: Movimiento Aparente
Mat´ ıas Godoy Campbell1
1 Departamento

de Ingenier´ ıa Matem´ atica, Universidad de Chile.

Presentaci´ on para el curso: MA695-1 Seminario Avanzado de Matem´ aticas I Jueves 19 de Noviembre 2009

Mat´ ıas Godoy Campbell

Optical Flow

Introducci´ on T´ ecnicas Diferenciales

Tabla de Contenidos

1

Introducci´ on

2

T´ ecnicas Diferenciales ´ Restricci´ on de Flujo Optico (OFC)

Mat´ ıas Godoy Campbell

Optical Flow

relativo al cambio de intensidades (brillo) de la imagen. Mat´ ıas Godoy Campbell Optical Flow . Luego.Introducci´ on T´ ecnicas Diferenciales Motivaci´ on y Conceptos B´ asicos Desplazamiento en 3-D. Proyecci´ on a 2-D Los desplazamientos en un entorno f´ ısico solo podemos observarlos como una proyecci´ on. solo podemos percibir un movimiento aparente.

´ Optical Flow (Flujo Optico) Es el movimiento aparente de los objetos. superficies y bordes de la escena Notar que este u ´ltimo es causado por el movimiento relativo entre el observador y la escena Mat´ ıas Godoy Campbell Optical Flow . debido a la p´ erdida de informaci´ on producto de la proyecci´ on.Introducci´ on T´ ecnicas Diferenciales Definiciones El ejemplo anterior motiva a definir: Motion Field (Campo de Movimiento) Es la proyecci´ on en el plano de la imagen de la velocidad 3-D de la escena. Notemos que no somos capaces de medir el Campo de Movimiento 2-D.

Introducci´ on T´ ecnicas Diferenciales Definiciones ¿Optical Flow = Campo de Movimiento? Ej. movimiento que se percibe Mat´ ıas Godoy Campbell Optical Flow . 1: a) No basta la existencia de movimiento para percibirlo b) El movimiento de la fuente genera cambios de intensidad Ej. 2: a) Flujo de movimiento b) Optical Flow.

coinciden en sus propiedades cualitativas. al menos cuantitativamente. el Flujo ´ Optico es distinto al Campo de Movimiento. Mat´ ıas Godoy Campbell Optical Flow . como por ejemplo las discontinuidades.Introducci´ on T´ ecnicas Diferenciales ¿Optical Flow = Campo de Movimiento? Los ejemplos anteriores muestran que. Sin embargo. en general. ´ Luego. o de la geometr´ ıa de una regi´ on. el Flujo Optico es una fuente amplia de informaci´ on sobre el movimiento 3-D de los objetos.

Segmentaci´ on Detecci´ on de Movimiento Compresi´ on de Video (p. podemos mencionar. MPEG) Mat´ ıas Godoy Campbell Optical Flow .Introducci´ on T´ ecnicas Diferenciales Aplicaciones En vista de lo anterior.e. a modo de motivaci´ on. las aplicaciones que presenta la informaci´ on que ´ provee el Flujo Optico: 1 2 3 4 Reconocimiento de Objetos y Geometr´ ıa.

como por ejemplo: T´ ecnicas basadas en Correlaci´ on T´ ecnicas basadas en Caracter´ ısticas M´ etodos de Gradiente (T´ ecnicas Diferenciales) Campos Markovianos (T´ ecnicas Probabilistas) An´ alisis de Fourier EDP’s En esta presentaci´ on se har´ a´ enfasis en las T´ ecnicas Diferenciales.Introducci´ on T´ ecnicas Diferenciales ´ ¿C´ omo determinar el Flujo Optico? Se han propuesto numerosos m´ etodos para determinarlo. Mat´ ıas Godoy Campbell Optical Flow .

x2 ) en un tiempo t. y definiendo la trayectoria desde un punto x0 en un tiempo t0 como: t → (t. x) como la intensidad del pixel x = (x1 .. para los cuales los cambios de intensidad de la fuente de luz es peque˜ na y no existe oclusi´ on (es decir. x(t)) Entonces.Introducci´ on T´ ecnicas Diferenciales ´ Restricci´ on de Flujo Optico (OFC) Optical Flow y Variaci´ on de Intensidad Resulta razonable asumir que la intensidad de un punto permanece constante a lo largo de su trayectoria. si consideramos a u(t. la fuente no es bloqueada) Luego. siempre que los desplazamientos sean peque˜ nos.. Mat´ ıas Godoy Campbell Optical Flow .

x0 ) = 0 dt Luego. x(t0 )) = (t0 . definido como el campo de dx velocidades: σ (x0 ) = dt (t0 ) tal que satisface la ecuaci´ on anterior. x(t)) = u(t0 . x0 ) Derivando respecto a t y evaluando en t = t0 se obtiene: dx (t0 ) · ∇u(t0 . x0 ) + (t0 . x0 ) ∀t (t0 . buscamos el flujo ´ optico. Mat´ ıas Godoy Campbell Optical Flow .´ Restricci´ on de Flujo Optico (OFC) Se cumple que: u(t.

dada una intensidad u(t. debemos determinar la velocidad instant´ anea aparente σ (x) tal que satisfaga: ´ Restricci´ on de Flujo Optico (OFC en Ingl´ es) σ (x0 ) · ∇u(t. x0 ) + ut (t. x) y un tiempo de observaci´ on t0 . x0 ) = 0 Mat´ ıas Godoy Campbell Optical Flow .´ Restricci´ on de Flujo Optico (OFC) Resumiendo.

lo cual es insuficiente para determinar las dos componentes del campo de velocidad.¡Problema! (OFC) es solo una ecuaci´ on escalar. La ecuaci´ on anterior solo nos entrega la componente en la direcci´ on de ∇u. Este problema se denomina usualmente Problema de Apertura Mat´ ıas Godoy Campbell Optical Flow . Este es llamado el flujo normal.

Resoluci´ on del Problema de Apertura Para resolver el problema de apertura se han propuesto variados m´ etodos. entre ellos: Restricciones de derivadas de segundo orden. calcular σ (x0 ) a partir de: ´ ınf z B (x0 . Es decir. Por ejemplo: d∇u dt (t.r) w2 (x)(z · ∇u + ut )2 dx w(x) es una funci´ on que entrega mayor peso en las cercan´ ıas de x0 Mat´ ıas Godoy Campbell Optical Flow . x) = 0 Aproximaci´ on cuadr´ atica con pesos.

∞[ y φ(s) no-decreciente para que exista soluci´ on Mat´ ıas Godoy Campbell Optical Flow .Resoluci´ on del Problema de Apertura Modelos param´ etricos de velocidad para aproximar a σ . en el caso af´ ın: σ (x) = σθ (x) = θ1 + θ2 x 1 + θ3 x 2 θ4 + θ5 x 1 + θ6 x 2 Con θ ∈ R6 a determinar. √ φ( s) c´ oncava en ]0. ∞[ . v´ ıa minimizaci´ on de: E (θ ) = Ω φ(σθ · ∇u + ut )dx Con φ funci´ on apropiada. Por ejemplo. ∞[→ [0. Observaci´ on: Basta que φ cumpla: φ : [0.

La idea es considerar un problema de minimizaci´ on del tipo: ´ ınf A( σ ) + S (σ ) σ termino de fidelidad termino de suavidad Este tipo de resoluci´ on posee un gran n´ umero de variantes. a saber: Horn y Schunck proponen: 2 ´ ınf σ Ω (σ · ∇u + ut )2 dx + α j =1 A(σ ) Ω |∇σj |2 dx S (σ ) Con α constante.Resoluci´ on del Problema de Apertura Regularizaci´ on del campo de velocidades. Mat´ ıas Godoy Campbell Optical Flow . El problema de este modelo est´ a en que no preserva discontinuidades.

Resoluci´ on del Problema de Apertura Ejemplo del M´ etodo de Horn y Schunk N´ otese que las discontinuidades cerca de los bordes se pierden. Mat´ ıas Godoy Campbell Optical Flow .

Por ejemplo: s2 φ(s) = 1+ (Geman y Reynolds) s2 φ(s) = log (1 + s2 ) (Malik y Perona) φ(s) = 2√ log [cosh(s)] (Green) φ(s) = 2 1 + s2 − 2 (Aubert) Mat´ ıas Godoy Campbell Optical Flow .Resoluci´ on del Problema de Apertura Para superar el problema de preservaci´ on de discontinuidades se proponen: (Black y otros) Modifican el t´ ermino S (σ ) de Horn y Schunck proponiendo: 2 φ(|∇σj |)dx j =1 Ω Con φ una funci´ on tal que preserve discontinuidades.

Luego.Resoluci´ on del Problema de Apertura (Nagel y Enkelmann) Proponen restricciones de suavidad orientadas. introduciendo el largo del conjunto de discontinuidades de σ . Con t´ ermino de penalizaci´ on del tipo: 1 traza((∇σ )T D(∇u)(∇σ ))dx |∇u| + 2λ2 Ω ux2 −ux1 (Nesi) Propone una versi´ on modificada de la formulaci´ on de Horn y Schunck. Notemos que esta es la idea de Mumford y Shah para el problema de segmentaci´ on. que notaremos por |Sσ |. de modo tal de atenuar las oclusiones. el t´ ermino de regularizaci´ on en este caso es del tipo: Con D(∇u) = nnT + λ2 · Id y n = Mat´ ıas Godoy Campbell Optical Flow .

Para resolver esto. Tal como en el caso del problema de segmentaci´ on. Mat´ ıas Godoy Campbell Optical Flow .Resoluci´ on del Problema de Apertura 2 |∇σj |2 dx + α|Sσ | j =1 Ω con α constante. el principal problema es determinar el u ´ltimo t´ ermino. se pueden usar las nociones de la llamada Γ-convergencia.

el espacio de trabajo debe ser BV (Ω). Mat´ ıas Godoy Campbell Optical Flow .An´ alisis caso Preservaci´ on de Discontinuidades Consideraremos en esta secci´ on un t´ ermino de suavidad an´ alogo al del problema de restauraci´ on. x) se desea buscar un campo de velocidades σ que realice el m´ ınimo de energ´ ıa: 2 E (σ ) = Ω |σ · Du + ut | + αs j =1 Ω φ(Dσj ) + αh Ω c(|Du|)|σ |2 dx E (σ ) = A(σ ) + αs S (σ ) + αh H (σ ) Con αs y αh constantes positivas. Notar que. Dada una secuencia u(t. dado que buscamos Optical Flows discontinuos.

es s.An´ alisis caso Preservaci´ on de Discontinuidades Notemos que la energ´ ıa est´ a compuesta por: A(σ ): Es la norma L1 de (OFC). Luego. si agregamos a φ las condiciones pedidas por la regularizaci´ on del problema de restauraci´ on. uno desea que φ preserve discontinuidades. para la topolog´ ıa d´ ebil-* de BV (Ω) Mat´ ıas Godoy Campbell Optical Flow . con φ(0) = 0 l´ ıms→∞ φ(s) = +∞ ∃c > 0 y b ≥ 0 tal que cs − b ≤ φ(s) ≤ cs + b ∀s ≥ 0 Adem´ as.i. se tiene que S (σ ) es una funci´ on convexa (de medidas). debe interpretarse como una medida) S (σ ): T´ ermino de suavidad. no decreciente de R+ en R+ . (En un contexto formal. para ello. Tal como en restauraci´ on de im´ agenes.c. necesitamos que: φ sea estrictamente convexa.

1]∀x ∈ Ω Este u ´ltimo termino. entonces no hay forma de estimarlo correctamente.An´ alisis caso Preservaci´ on de Discontinuidades H (σ ): T´ ermino asociado a regiones homogeneas. La idea es que si no hay texturas (osea. sin perdida de generalidad asumimos que: x → c(|Du|(x)) ∈ C ∞ (Ω) ∃mc > 0 tal que c(|Du|(x)) ∈ [mc . exigido para poseer coercividad del funcional. imponemos que sea cero. Lo anterior se realiza considerando una funci´ on c(s) tal que: s→0 l´ ım c(s) = 1 y s→∞ l´ ım c(s) = 0 Adem´ as. no hay gradiente). luego. Mat´ ıas Godoy Campbell Optical Flow .

solo nos falta imponer condiciones sobre la regularidad del dato u. si asumimos que el dato es Lipschitz en espacio y tiempo. el cual evidentemente condicionar´ a la naturaleza del problema. i.An´ alisis caso Preservaci´ on de Discontinuidades Notemos que con el problema ya definido.∞ (R × Ω) Entonces. se tiene el siguiente resultado: Mat´ ıas Godoy Campbell Optical Flow .e.: u ∈ W 1. En efecto.

An´ alisis caso Preservaci´ on de Discontinuidades Teorema Bajo las hipotesis mencionadas en esta secci´ on. el problema de minimizaci´ on 2 σ ∈BV (Ω) ´ ınf E (σ ) = Ω |σ ·Du+ut |+α s j =1 Ω φ(Dσj )+αh Ω c(|Du|)|σ |2 dx admite una u ´nica soluci´ on en BV (Ω) Mat´ ıas Godoy Campbell Optical Flow .

Estp se hace.An´ alisis caso Preservaci´ on de Discontinuidades Dado que el teorema asegura la existencia. al igual que en restauraci´ on de im´ agenes v´ ıa alg´ un algoritmo semiquadr´ atico. solo falta generar una sucesi´ on que aproxime la soluci´ on del problema. basado en la Γ-convergencia. Ejemplo: Horn y Schunck Original v/s Modificaci´ on (Aubert) Mat´ ıas Godoy Campbell Optical Flow .

no se tiene a priori convergencia a una soluci´ on. que si satisfaga las condiciones anteriores. pues ya no existe semicontinuidad inferior d´ ebil-*. Se debe plantear un funcional relajado en este caso.∞ (R × Ω)? Intuitivamente: Existen saltos en u En este caso.An´ alisis caso Preservaci´ on de Discontinuidades ¿Que ocurre si u ∈ W 1. Luego. el OFC final pasa a ser de la forma: σ (x) = A(x) + J (x) con A(x) una parte absolutamente continua. y J (x) una parte asociada a la longitud de los saltos de u En este caso la existencia de soluciones es m´ as complicada. Mat´ ıas Godoy Campbell Optical Flow .

Alternativas a OFC Si bien es la primera forma de afrontar el problema de c´ alculo del Optical Flow. en vez de OFC. una ecuaci´ on tipo conservaci´ on de masa. calcular OFC en cada nivel disponible y combinar los resultados. considerar un t´ ermino de fidelidad de la forma: A( σ ) = Ω (u(t + t. x + σ t) − u(t. existen variadas razones para intentar utilizar otros m´ etodos. No diferenciar la ecuaci´ on de conservaci´ on de intensidad. en este caso: div (uσ ) + ut = 0 Desear relajar la condici´ on de intensidad constante. Esto se puede hacer cuando el movimiento relativo es paralelo al Mat´ ıas Godoy Campbell Optical Flow . Existen 2 posibilidades en este caso: M´ etodos multiresoluci´ on. algunos de ellos son. x))2 dx Plantear. por ejemplo: Desplazamientos importantes. Luego.

Se cree que Sσ ⊂ Su . se debe considerar el acoplamiento entre los t´ erminos regularizadores y los de fidelidad. y no es una u ´nica posibilidad. tanto en modelaci´ on como en resultados num´ ericos Aun no se conoce mayormente la relaci´ on entre u y σ en funci´ on de sus conjuntos de discontinuidades. Finalmente. Respeco a los t´ erminos de regularizaci´ on. Mat´ ıas Godoy Campbell Optical Flow .Conclusiones y Desaf´ ıos El problema de Optical Flow est´ a aun lejos de ser resuelto completamente. La elecci´ on del t´ ermino de datos aun no est´ a bien establecida. o est´ a claro cual soluci´ on es ”la mejor”. hay que notar que: La mayor´ ıa son intr´ ınsecos: La difusi´ on es controlada solo por el Flujo Algunos son extr´ ınsecos: La difusi´ on es controlada por la intensidad de la imagen.