Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Repblica Bolivariana De Venezuela Ministerio Del Poder Popular Para La Defensa Universidad Nacional Experimental Politcnica De la Fuerza Armada UNEFA - Ncleo Barinas

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Optimizacin No Lineal

BACHILLERES: C.I: 19.192.119 Burgos Raibellys C.I: 20.867.895 Suarez Lindy

Ing. Sistemas VI Semestre S61 Ing. Walter Ayala

Diciembre de 2012

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Mtodo de Cuasi Newton

En optimizacin, mtodos Cuasi-Newton (tambin conocido como mtodos mtricos variables) son los algoritmos bien conocidos para encontrar locales mximos y mnimos de funciones. Los mtodos Cuasi-Newton se basan en el mtodo de Newton para encontrar el punto fijo de una funcin, donde el gradiente es 0. El mtodo de Newton supone que la funcin puede localmente aproximarse como una ecuacin cuadrtica en la regin alrededor del grado ptimo, y utiliza las primeras y segundas derivadas para encontrar el punto estacionario. En dimensiones ms altas, el mtodo de Newton utiliza el gradiente y la matriz hessiana de segundas derivadas de la funcin que debe reducirse al mnimo. Los mtodos Quasi-Newton se basan en utilizar aproximaciones sucesivas de la matriz Hessiana para acelerar el proceso de convergencia. Teniendo en cuenta que:

Gradiente: es un vector formado por las derivadas parciales de una funcin. El

gradiente evaluado en un punto dado apunta en la direccin de mayor ascenso de la funcin:

Matriz Hessiana: matriz simtrica formada por las derivadas parciales del

gradiente de una funcin. La matriz Hessiana da informacin de la curvatura de una funcin:

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Cuando no es posible evaluar analticamente las primeras y segundas derivadas, se pueden emplear mtodos de diferencias finitas para calcularlas:

Descripcin del mtodo: Como en el mtodo de Newton , se utiliza una aproximacin de segundo orden para encontrar el mnimo de una funcin una iteracin es: . La serie de Taylor de alrededor de

donde (

) Es el gradiente y

una aproximacin a la matriz de Hesse . El gradiente de ) Es:

esta aproximacin (con respecto a

y el establecimiento de este gradiente a cero proporciona el paso de Newton:

La aproximacin de Hesse

se elige para satisfacer:

que se llama la ecuacin secante (la serie de Taylor de la propia gradiente). En ms de una dimensin es bajo determinado . En una dimensin, para resolver y la etapa de

aplicacin de Newton con el valor actualizado es equivalente al mtodo de la secante .Los diversos mtodos cuasi-Newton difieren en su eleccin de la solucin a la ecuacin de la secante (en una dimensin, todas las variantes son equivalentes). La mayora de los mtodos (aunque con excepciones, como el mtodo de Broyden ) buscan una solucin simtrica ( ), Por otro lado, las variantes que figuran a continuacin pueden que est tan cerca como sea donde es

estar motivados por la bsqueda de una actualizacin posible a en algunos norma , es decir,

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

cierta matriz definida como matriz positiva que define la norma. Un valor aproximado inicial de desconocido a menudo es suficiente para lograr una rpida convergencia. Lo se actualiza aplicando el paso de Newton, que se calcula utilizando la :

actual matriz hessiana aproximada de

Con

elegido para satisfacer las condiciones Wolfe ; ;

El gradiente calculado en el nuevo punto:

,Y

se utiliza para actualizar la aproximacin de Hessian inversa utilizando la frmula Sherman-Morrison .

, O directamente su

Una propiedad clave de los BFGS y actualizaciones de DFP es que si positiva y se elige para satisfacer las condiciones Wolfe luego

es definida Tambin es

definida positiva. Otra manera de interpretar este mtodo es de la siguiente manera: Calcular la matriz Hessiana de una funcin y su inversa puede ser un

procedimiento muy costoso e imprctico. Una solucin a este problema es utilizar aproximaciones a la inversa de la matriz

Hessiana en lugar de la inversa real. Esta es la idea subyacente de los mtodos Cuasi Newton Las aproximaciones se construyen a partir de informacin del gradiente durante
n

un proceso de descenso. Sea f(x) en R una funcin con segundas derivadas parciales continuas. Para dos y matriz Hessiana constante F se cumple:

puntos Xk+1 y Xk, con

; (1)

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Esto implica que F puede ser determinada de manera nica a partir de n

direcciones linealmente independientes y sus respectivos valores del gradiente. Si llamamos P a la matriz cuyas columnas son los vectores pk y Q la matriz cuyas columnas son los vectores qk, a partir de (1), se cumple: F=QP-1 Ejemplo Ilustrativo: Mtodo: Descenso ms rpido

Primera Iteracin:

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Segunda Iteracin:

Tercera Iteracin:

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Cuarta Iteracin:

Condicin Cuasi Newton: Es natural intentar construir aproximaciones sucesivas Hk de F-1 de forma tal que para todas las direcciones

en cada iteracin estas sean consistentes con utilizadas. Es decir:

; 0ik

Condicin de Cuasi Newton

Al hacer esto, despus de n pasos linealmente independientes, tenemos que:

Hn = F-1, si la matriz Hessiana es constante, o Hn ~= F (xk)-1 en caso contrario. Para k < n existen infinitas soluciones a este problema ya que hay ms grados de

libertad que restricciones Aproximacin de rango a uno: Una solucin sencilla es actualizar iterativamente aadiendo una matriz simtrica

de (a lo sumo) rango uno que satisfaga la condicin Quasi-Newton. Una forma de conseguir esto es hacer:

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Matriz Simtrica de (a lo sumo) rango a uno

Siendo

y
Este proceso se inicia a partir de una matriz simtrica H0 cualquiera. Este algoritmo no garantiza que la aproximacin a la inversa de la matriz hessiana

sea positiva definida. Adems puede presentar dificultades numricas. Ejemplo Ilustrativo: Descripcin y Puntos Iniciales: Mtodos: Descenso Rpido, Actualizacin del Hessiano de rango a uno

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Primera Iteracin:

Segunda Iteracin:

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Tercera Iteracin:

Cuarta Iteracin:

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

Mtodo de la Mtrica Variable

Existe una gran similitud entre los esfuerzos actuales por mejorar los mtodos de mtrica variable y aquellos que buscan mejorar los mtodos de gradiente conjugado. Por tanto, mucho de lo descrito en mtodos de gradiente conjugado aplica tambin para los mtodos de mtrica variable. Davidon (1975) ha propuesto una clase de actualizaciones que permiten bsquedas lineales inexactas. Powell (1977) estableci posteriormente la propiedad de terminacin cuadrtica de estos mtodos en la ausencia de bsquedas lineales. Pareciera ser que un mtodo de mtrica variable con terminacin cuadrtica pero sin la necesidad de bsquedas lineales costosas seria robusto y rpido en funciones generales. Goldfarb (1977) se cuenta entre los que han explorado esta promisoria lnea de investigacin. En general, el mtodo de Davidon-Fletcher-Powell suele reinicializarse (es decir, hacemos A = I) despus de N actualizaciones. Esto es usualmente una medida muy conservadora, ya que pueden requerirse muchos ms pasos antes de que realmente se requiera una reinicializacin. La necesidad de reinicializar se incrementa conforme empeora el valor de condicionamiento de la matriz:

Donde K(A) es el nmero de condicionamiento de la matriz A,

son los

valores de mayor y menor modulo, respectivamente. Una matriz con un valor de condicionamiento grande est mal condicionada. Una matriz con un valor de condicionamiento cercano a 1 est bien condicionada. Es importante hacer notar que aunque las reinicializaciones proporcionan un cierto grado de seguridad (o robustez) en los mtodos de mtrica variable, estas tpicamente hacen ms lento el progreso a la solucin, puesto que se desecha una estimacin de segundo orden.

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

McCormick (1972), Shanno (1978) y Shanno & Phua (1979) han investigado de manera extensiva la relacin entre el gradiente conjugado y los mtodos de mtrica variable. Shanno ve a los mtodos de gradiente conjugado como mtodos de mtrica variable sin memoria. La mayor parte de los investigadores coinciden en la actualidad en afirmar que estas 2 clases de mtodos comparten mucho ms de lo que originalmente se crea. Adems, resulta claro que las muchas variantes de los mtodos de mtrica variable tienen mucho en comn en la prctica (Dixon, 1972), lo que hace que se tenga que sopesar cuidadosamente el costo computacional adicional de los mtodos ms complejos. Shanno & Phua (1978) proporcionan numerosos resultados que favorecen el uso del mtodo de Broyden-Fletcher-Goldfarb-Shanno. Los mtodos de mtrica variable han sido utilizados de manera extensiva para el desarrollo de tcnicas de optimizacin para problemas con restricciones. Tambin hay una cantidad importante de trabajo en torno a hacer los mtodos de mtrica variable ms atractivos para problemas grandes. Los mtodos de gradiente conjugado son los que suelen considerarse como los mejores para problemas de alta dimensionalidad (o sea, aquellos con muchas variables de decisin). Sin embargo, se han logrado muchos avances en lo que a los mtodos de mtrica variable se refiere, sobre todo en aquellos casos en los que la matriz Hessiana es dispersa. Algoritmo de la mtrica variable: 1. Elegir X0 IRn y B0 matriz n n denida positiva; k = 0. 2. Test de convergencia: (por ejemplo f(xk) < , pequeo dado) Si se verica, PARAR Si no se verica, continuar

Optimizacin No Lineal

Mtodo de Cuasi Newton & Mtodo de la Mtrica Variable

3. Calcular la direccin de bsqueda dK como solucin del sistema lineal:

(BK)dK = f(xK)
4. Calcular tK > 0 por una regla de bsqueda lineal adecuada. Hacer xK+1 = xK + tkdk 5. Calcular BK+1 = (BK, yK, sK) , con sk = xK+1 xk, e yk = f(xK+1)

f(xK). Hacer k = k + 1. Ir a 2.

Optimizacin No Lineal